CN113313678A - 一种基于多尺度特征融合的精子形态学自动分析方法 - Google Patents
一种基于多尺度特征融合的精子形态学自动分析方法 Download PDFInfo
- Publication number
- CN113313678A CN113313678A CN202110554987.1A CN202110554987A CN113313678A CN 113313678 A CN113313678 A CN 113313678A CN 202110554987 A CN202110554987 A CN 202110554987A CN 113313678 A CN113313678 A CN 113313678A
- Authority
- CN
- China
- Prior art keywords
- sperm
- image
- sample image
- feature
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 46
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 231100000527 sperm abnormality Toxicity 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002759 z-score normalization Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011206 morphological examination Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 231100000182 Sperm DNA damage Toxicity 0.000 description 1
- 206010050208 Teratospermia Diseases 0.000 description 1
- 208000002312 Teratozoospermia Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000002558 medical inspection Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000019100 sperm motility Effects 0.000 description 1
- 231100001040 sperm-head abnormality Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明属于精子形态学检测的技术领域，具体为一种基于多尺度特征融合的精子形态学自动分析方法，包括通过显微镜自动扫描平台精子样本图像的扫描，将获取的精子样本图像进行归一化处理，利用SD Net网络模型在多个尺度上提取精子的特征并进行融合，输出精子样本图像上精子的坐标和边界框信息，检测出精子样本图像中存在的精子图像；对检测出的精子图像利用SR Net网络模型进行特征提取和区域特征融合，最终完成异常精子细胞的识别。通过对多尺度上的特征进行融合，相比于一般的深度学习方法，该方法对体积较小的精子有更好的检测能力，检测准确率更高，泛化性更强，在样本图像差异较大的情况下也能取得很好的检测效果。
Description
技术领域
本发明属于精子形态学检测的技术领域，具体为一种基于多尺度特征融合的精子形态学自动分析方法。
背景技术
精子的形态学检测结果是精子质量评判的重要标准之一，研究表明精子形态与精子活力之间存在很大的关系，并且畸形精子症(正常精子数量小于4％)的男性可能存在较高的精子DNA损伤风险，因此，精子的形态学检测是评估男性生育能力以及生育质量的重要方法。
传统的精子形态学检测是通过专家人工完成，其结果具有高度的主观性，且耗时较多。自动化地精子分析能够使人为因素最小化，但传统的精子分析是基于小波的图像增强技术和梯度分析来寻找精子的方向，然后再进行精子细胞检测，虽然在一定程度能够提升精子检测的准确率，但是样本杂质较多，样本质量差异较大的情况下，容易造成误检。进一步地，采用字典学习来进行精子头部异常检测能够进一步的提取复杂的精子形态学特征，但是算法鲁棒性较差，在样本差异较大的情况下检测准确率下降明显。
伴随着工业4.0时代的到来，深度学习技术在医学检验领域大放光彩。目前流行的人工智能精子形态学分析方法都是采用简单线性回归以及卷积神经网络等多种方法进行精子细胞的检测，这证明了深度学习在精子自动检测任务中的高效性，但由于模型对小目标提取能力较弱，在检测目标体积较小的精子细胞时也难以达到很高的准确率。
发明内容
本发明的目的是克服现有技术的不足，提出了一种基于多尺度特征融合的精子形态学分析方法，该方法解决了传统精子形态学分析方法鲁棒性较差的问题，并且在样本图像质量差别较大、背景杂质较多、且目标较小的情况下也能取得很高的准确率。
本发明提供如下技术方案：一种基于多尺度特征融合的精子形态学分析方法，包括：
S1：扫描精子样本图像，并对所述精子样本图像进行预处理；
S2：将预处理的精子样本图像输入到精子检测卷积神经网络SD Net模型中，计算所述精子样本图像上精子的坐标和边界框信息；
S3：基于所述精子的坐标和边界框信息在所述精子样本图像上分割出精子图像；对所述精子图像进行预处理；
S4：将预处理的精子图像输入到精子识别卷积神经网络SR Net模型中，预测所述精子图像的精子类别；
S5：将所述精子坐标、边界框信息和所述精子类别结合，标记所述精子样本图像。
进一步地，S1中对所述精子样本图像进行预处理包括对图像像素进行归一化处理，图像归一化处理公式为：
其中n(x,y)表示归一化之后图像的像素值；f(x,y)(0≤x≤xmax，0≤y≤ymax)为图像位于坐标(x,y)的像素值，min(f(x,y)为图像像素的最小值，max(f(x,y))为图像像素的最大值。
进一步地，S2中的所述SD Net模型包括特征提取层、特征融合层、输出层；所述特征提取层用于提取输入尺寸为608×608图像的特征，以获取尺寸为19×19×512的特征张量；所述特征融合层用于融合尺寸为19×19×512的特征张量与尺寸为38×38的中间特征张量；所述输出层用于输出一个尺寸为76×76×5的特征张量。
进一步地，所述SD Net模型中特征提取层通过卷积空间传播网络CSPN模块作为特征提取器，所述CSPN模块由m个卷积层以及n个残差网络组成。
进一步地，S4中所述SR Net模型包括M个CSPN模块和N个全连接层组。
进一步地，S2中计算所述精子样本图像上精子的坐标和边界框信息包括采用极大值抑制算法去除精子重叠的边界框，获取最终的精子目标边界框信息。
进一步地，S2中在预处理的精子样本图像输入到精子检测卷积神经网络SD Net模型之前训练SD Net模型。
进一步地，训练SD Net模型的具体步骤包括：
S21：对所述精子样本图像中的精子和精子异常类别进行标记，构建用于模型训练的数据集；
S22：随机从训练的数据集中抽取四张精子样本图像进行拼接，得到一张新的训练图像，并随机选取一定比例已标记的精子复制到其他不存在精子的区域，构成一个训练样本；
S23：提取所述训练样本的特征张量，对所述特征张量进行上采样，并与中间特征向量进行融合，最终获取输出特征张量；
S24：利用所述输出张量计算所述训练SD Net的损失函数Lsd，其中，所述损失函数Lsd由置信度损失Lc和边界框回归损失函数Lb组成；对计算的损失函数进行反向求导，更新调整权重值；
S25：当所述SD Net模型的损失函数收敛时停止训练，获取最终用于精子检测的训练模型。
进一步地，S5中还包括统计异常类别精子的数量以及样本中存在的总异常类别数量，生成分析报告。
本发明提供一种基于多尺度特征融合的精子形态学自动分析方法，通过显微镜自动扫描平台精子样本图像的扫描，将获取的精子样本图像进行归一化处理，利用SD Net网络模型在多个尺度上提取精子的特征并进行融合，输出精子样本图像上精子的坐标和边界框信息，检测出精子样本图像中存在的精子图像；对检测出的精子图像利用SR Net网络模型进行特征提取和区域特征融合，最终完成异常精子细胞的识别。通过对多尺度上的特征进行融合，相比于一般的深度学习方法，该方法对体积较小的精子细胞有更好的检测能力，检测准确率更高，泛化性更强，在样本图像差异较大的情况下也能取得很好的检测效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的基于多尺度特征融合的精子形态学自动分析方法的流程图。
图2为本发明实施例提供的待检测的精子样本图像。
图3为本发明实施例提供的分割出的精子目标图像的结果示意图。
图4为本发明实施例提供的精子形态学自动分析结果示意图
图5为本发明实施例提供的SD Net网络结构示意图。
图6为本发明实施例提供的精子样本图像中精子检测结果示意图。
图7为本发明实施例提供的CSPN模块结果示意图。
图8为本发明实施例提供的SD Net训练集增强后图像示意图。
图9为本发明实施例提供的SR Net训练集增强后图像示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例采用基于多尺度特征融合的精子形态学分析方法进行精子图像的自动分析。
具体地，图1所示了基于多尺度特征融合的精子形态学自动分析方法的流程图。
S1：扫描精子样本图像，并对所述精子样本图像进行预处理；
在具体实施过程中，通过显微镜自动扫描平台采集精子样本图像，图2所示了待检测精子样本图像。可选地，为了加快图像的检测速度，在进行精子检测之前需要对扫描的精子样本图像进行预处理，保持宽高比不变的同时将图像缩小到640×640并进行归一化处理。
可选地，图像归一化处理公式为式(1)：
其中n(x,y)表示归一化之后图像的像素值；f(x,y)(0≤x≤xmax，0≤y≤ymax)为图像位于坐标(x,y)的像素值，min(f(x,y)为图像像素的最小值，max(f(x,y))为图像像素的最大值。
S2：将预处理的精子样本图像输入到精子检测卷积神经网络SD Net模型中，计算所述精子样本图像上精子的坐标和边界框信息；
一般地，精子样本图像存在成像光线分布不均匀，对焦不准确并且精子部位形状频谱较宽等问题，这使得精子检测算法通常鲁棒性较差。由于对不同尺度下的特征进行融合能够有效提升模型对精子特征的抽象能力，因此本实施例利用多尺度特征融合的精子检测卷积神经网络SD Net。可选地，该模型将一幅包含精子的目标图像划分为S×S的网格单元，每个网格单元负责检测该位置可能存在的精子目标，并对该精子目标边界框坐标和宽高进行回归预测，最终对所有网格单元所检测的精子目标边界框进行非极大值抑制(Non-Maximum Suppression,NMS)运算，计算出精子样本图像上精子图像的坐标和边界框信息。
相比于一般的精子检测深度学习算法，本发明对精子目标的检测任务进行明确量化，将待检测的精子样本图像划分为S×S个网格单元，通过检测每个网格中可能存在的精子目标，将所有的检测结果进行回归预测并进行非极大值抑制运算，以此来提升精子检测的准确率，该方法能够更加快速准确地完成精子目标的检测。
S3：基于所述精子的坐标和边界框信息在精子样本图像上分割出精子图像，并对分割出精子图像进行预处理；
在本发明实施例中，可选地，根据SD Net的检测结果在精子样本图像上分割出精子图像，将分割出的精子图像尺寸调整为112×112并进行Z-Score标准化运算；Z-Score标准化使得精子图像的像素值被映射为均值为0，标准差为1的正态分布。通过Z-Score标准化能够使不同精子细胞图像具有相似的特征分布，能够在一定的程度上消除因为过度曝光，质量不佳或者噪声等各种原因对模型权值更新的影响。Z-Score标准化公式为式(2)：
其中，σ表示数据集的像素均值，μ表示数据集的像素方差。图3所示了分割出的精子目标图像。
S4：将预处理的精子图像输入到精子识别卷积神经网络SR Net模型中，预测精子图像的精子类别；
在本发明实施例中，精子识别卷积神经网络模型SR Net则由若干个CSPN模块和最终的全连接层组成，用于预测精子图像类别。将预处理过后的精子图像输入到SR Net模型中，获取一个长度为16的输出向量。进一步地，选择输出向量大于设定阈值的类别作为该输入精子图像的预测类别。可选地，SR Net的输入精子图像尺寸为112×112，经过4个CSPN模块进行特征提取和局部特征融合，并采用4个卷积核尺寸为3×3，步长为2的卷积层进行下采样，最终通过两个全连接层获取一个长度为16的输出向量来预测精子可能存在的16种异常类别。
S5：将所述精子坐标、边界框信息和所述精子类别结合，标记所述精子样本图像。
在本发明实施例中，将精子检测结果和精子类别预测结果结合，标记在输入的精子样本图像上，图4所示了精子形态学自动分析结果；可选地，统计该样本中存在的精子数量，并统计不同异常类别精子的数量以及样本中存在的总异常类别数量，生成自动分析报告。
在本发明中，为了提升神经网络模型对小目标的检测能力，本实施例提出了一种SD Net模型，图5所示了SD Net模型，该模型包括特征提取层、特征融合层和输出层。所述特征提取层用于提取输入尺寸为608×608图像的特征，以获取尺寸为19×19×512的特征张量；所述特征融合层用于融合尺寸为19×19×512的特征张量与尺寸为38×38的中间特征张量；所述输出层用于输出一个尺寸为76×76×5的特征张量。
具体地，在SD Net模型中输入尺寸为608×608的精子样本图像，经过特征提取层提取该图像的深层特征，获取一个尺寸为19×19×512的特征张量，对该特征张量进行上采样，并和特征提取层中尺寸为38×38的中间特征张量进行一次融合，经过特征提取之后对该特征张量再进行一次上采样和特征融合，将融合结果整理后输出一个尺寸为76×76×5的输出张量来检测样本图像中可能存在的精子图像。图6所示了精子样本图像中精子检测结果示意图，包括精子图像的坐标和边界框信息。
进一步地，SD Net模型中特征提取层通过CSPN模块作为特征提取器，CSPN是一种简单有效的线性传播模型，其中以递归卷积运算的方式执行传播。CSPN模块主要由若干个卷积层以及n个循环的残差单元(residual unit)组成。利用CSPN模块能够对所提取的特征进行局部融合，从而提升神经网络对图像特征的提取能力，图7所示了CSPN模块的结构，其中卷积层都采用尺寸为3×3，步长为1的卷积核来控制特征深度。本发明采用CSPN模块构建主干神经网络来进行特征的提取，相比于一般的卷积模块，能够更有效提取精子细胞等小目标的局部特征，采用层次化特征融合策略来提升主干神经网络对小目标的深层特征的提取能力，提高了精子检测的准确率。
在本发明实施例中，为了提升SD Net网络的训练效果，提出了一种多样本随机组合的数据增强策略来复杂化精子形态学图像的训练样本，以此提升模型的训练效果，具体地，对所述精子样本图像中的精子和精子异常类别进行标记，构建用于模型训练的数据集；随机从训练的数据集中抽取四张精子样本图像进行拼接，得到一张新的训练图像，拼接之后的图像大小与SD Net的输入尺寸应当保持一致，并随机选取一定比例已标记的精子复制到其他不存在精子的区域，构成一个训练样本；如图8所示了SD Net训练集增强后的图像。利用增强后的训练样本训练网络，能够极大的丰富训练样本的背景特征。
本发明实施例中，为了进一步地提升SD Net网络的训练效果，还包括提取所述训练样本的特征张量，对所述特征张量进行上采样，并与中间特征向量进行融合，最终获取输出特征张量。利用所述输出张量计算所述训练SD Net的损失函数Lsd，用于训练SD Net的损失函数Lsd主要由Lc和Lb两部分组成，其中Lc是用来衡量是否存在精子细胞的置信度损失，Lb是用来预测精子图像边界框的坐标损失。
其中，置信度损失函数Lc公式为式(3):
p表示模型预测样本图像中每个位置是否存在精子图像的概率，y表示相应的标记，y＝1表示存在精子图像，y＝0表示不存在精子图像，γ为调整因子，α为平衡因子。
边界框回归损失函数Lb公式为式(4)：
其中，DC表示同时包含预测边界框和实际边界框的最小闭包区域的对角线距离，DP表示预测边界框和实际边界框中心点的距离，IOU为预测边界框与实际边界框的交集和并集的比值，影响因子δ是用来衡量预测边界框和实际边界框长宽比一致性的参数。影响因子δ的计算公式为式(5)，
其中w′,h′分别表示预测边界框的宽和高，w,h分别表示实际边界框的宽和高。通过δ能够使模型对精子细胞边界框的宽高比进行学习，提升精子检测模型边界框回归预测的精确度。
为了解决置信度损失Lc和精子细胞边界框回归损失Lb对总损失值影响权重不同的问题，实验通过调整权重值λ来均衡置信度损失函数Lc和边界框回归损失函数Lb在总损失函数Lsd中的占比，可选地，λ＝0.37时模型的训练结果更好，用于训练SD Net的损失函数Lsd公式为式(6)，
Lsd＝Lc+λLb 式(6)
当所述SD Net模型的损失函数收敛时停止训练，获取最终用于精子检测的训练模型。
在本发明实施例，为了进一步地提升所训练模型的鲁棒性，需要在每轮训练之前对训练集进行随机数据增强，以此提升模型的准确率。SR Net的主要任务是对精子图像进行异常类别识别，因此模型在训练过程中主要对精子的形态和颜色纹理等特征进行学习。通过在每次训练之前对精子图像进行随机旋转和反转并在一定程度上进行随机放射变换，以此来丰富精子图像的形态特征，同时对样本图像进行随机高斯模糊来增强模型在显微镜相机对焦不准确情况下的鲁棒性，图9所示了SR Net训练集增强后的图像。
本实施例在SD Net和SR Net的训练过程中都进行了较大程度的图像预处理工作，利用随机样本组合以及随机精子目标复制的方法来丰富训练样本前景和背景的复杂度，通过对待分类的精子图像进行随机反转，旋转以及仿射变换来丰富精子图像的形态和颜色纹理等特征。实验表明，采用本发明所提出的精子样本预处理方法进行模型的训练，所训练出模型的准确率相比于普通的训练方法有明显的提升。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (9)
1.一种基于多尺度特征融合的精子形态学分析方法，其特征在于：
S1：扫描精子样本图像，并对所述精子样本图像进行预处理；
S2：将预处理的精子样本图像输入到精子检测卷积神经网络SD Net模型中，计算所述精子样本图像上精子的坐标和边界框信息；
S3：基于所述精子的坐标和边界框信息在所述精子样本图像上分割出精子图像，对所述精子图像进行预处理；
S4：将预处理的精子图像输入到精子识别卷积神经网络SR Net模型中，预测所述精子图像的精子类别；
S5：将所述精子坐标、边界框信息和所述精子类别结合，标记所述精子样本图像。
2.如权利要求1所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：S1中对所述精子样本图像进行预处理包括对图像像素进行归一化处理，图像归一化处理公式为：
其中n(x,y)表示归一化之后图像的像素值；f(x,y)(0≤x≤xmax，0≤y≤ymax)为图像位于坐标(x,y)的像素值，min(f(x,y)为图像像素的最小值，max(f(x,y))为图像像素的最大值。
3.如权利要求1所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：S2中的所述SD Net模型包括特征提取层、特征融合层、输出层；所述特征提取层用于提取输入尺寸为608×608图像的特征，以获取尺寸为19×19×512的特征张量；所述特征融合层用于融合尺寸为19×19×512的特征张量与尺寸为38×38的中间特征张量；所述输出层用于输出一个尺寸为76×76×5的特征张量。
4.如权利要求3所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：所述SD Net模型中特征提取层通过卷积空间传播网络CSPN模块作为特征提取器，所述CSPN模块由m个卷积层以及n个残差网络组成。
5.如权利要求1所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：S4中所述SR Net模型包括M个CSPN模块和N个全连接层组。
6.如权利要求1所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：S2中计算所述精子样本图像上精子的坐标和边界框信息包括采用极大值抑制算法去除精子重叠的边界框，获取最终的精子目标边界框信息。
7.如权利要求1所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：S2中在预处理的精子样本图像输入到精子检测卷积神经网络SD Net模型之前训练SD Net模型。
8.如权利要求7所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：训练SD Net模型的具体步骤包括：
S21：对所述精子样本图像中的精子和精子异常类别进行标记，构建用于模型训练的数据集；
S22：随机从训练的数据集中抽取四张精子样本图像进行拼接，得到一张新的训练图像，并随机选取一定比例已标记的精子复制到其他不存在精子的区域，构成一个训练样本；
S23：提取所述训练样本的特征张量，对所述特征张量进行上采样，并与中间特征向量进行融合，最终获取输出特征张量；
S24：利用所述输出张量计算所述训练SD Net的损失函数Lsd，其中，所述损失函数Lsd由置信度损失Lc和边界框回归损失函数Lb组成；对计算的损失函数进行反向求导，更新调整权重值；
S25：当所述SD Net模型的损失函数收敛时停止训练，获取最终用于精子检测的训练模型。
9.如权利要求1所述的基于多尺度特征融合的精子形态学分析方法，其特征在于：S5中还包括统计异常类别精子的数量以及样本中存在的总异常类别数量，生成分析报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110554987.1A CN113313678A (zh) | 2021-05-20 | 2021-05-20 | 一种基于多尺度特征融合的精子形态学自动分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110554987.1A CN113313678A (zh) | 2021-05-20 | 2021-05-20 | 一种基于多尺度特征融合的精子形态学自动分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313678A true CN113313678A (zh) | 2021-08-27 |
Family
ID=77374056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110554987.1A Pending CN113313678A (zh) | 2021-05-20 | 2021-05-20 | 一种基于多尺度特征融合的精子形态学自动分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313678A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807259A (zh) * | 2021-09-18 | 2021-12-17 | 上海北昂医药科技股份有限公司 | 一种基于多尺度特征融合的染色体分裂相定位与排序的方法 |
| CN114022515A (zh) * | 2021-11-10 | 2022-02-08 | 苏州贝康智能制造有限公司 | 精子活动力检测方法、装置、计算机设备、存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458821A (zh) * | 2019-08-07 | 2019-11-15 | 屈晨 | 一种基于深度神经网络模型的精子形态分析方法 |
| CN110705639A (zh) * | 2019-09-30 | 2020-01-17 | 吉林大学 | 一种基于深度学习的医学精子图像识别系统 |
| CN112257810A (zh) * | 2020-11-03 | 2021-01-22 | 大连理工大学人工智能大连研究院 | 一种基于改进FasterR-CNN的海底生物目标检测方法 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112668663A (zh) * | 2021-01-05 | 2021-04-16 | 南京航空航天大学 | 一种基于YOLOv4的航拍小汽车检测方法 |
| CN112686172A (zh) * | 2020-12-31 | 2021-04-20 | 上海微波技术研究所（中国电子科技集团公司第五十研究所） | 机场跑道异物检测方法、装置及存储介质 |
| CN112801967A (zh) * | 2021-01-21 | 2021-05-14 | 苏敬勇 | 一种精子形态分析方法和装置 |
-
2021
- 2021-05-20 CN CN202110554987.1A patent/CN113313678A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458821A (zh) * | 2019-08-07 | 2019-11-15 | 屈晨 | 一种基于深度神经网络模型的精子形态分析方法 |
| CN110705639A (zh) * | 2019-09-30 | 2020-01-17 | 吉林大学 | 一种基于深度学习的医学精子图像识别系统 |
| CN112257810A (zh) * | 2020-11-03 | 2021-01-22 | 大连理工大学人工智能大连研究院 | 一种基于改进FasterR-CNN的海底生物目标检测方法 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112686172A (zh) * | 2020-12-31 | 2021-04-20 | 上海微波技术研究所（中国电子科技集团公司第五十研究所） | 机场跑道异物检测方法、装置及存储介质 |
| CN112668663A (zh) * | 2021-01-05 | 2021-04-16 | 南京航空航天大学 | 一种基于YOLOv4的航拍小汽车检测方法 |
| CN112801967A (zh) * | 2021-01-21 | 2021-05-14 | 苏敬勇 | 一种精子形态分析方法和装置 |
Non-Patent Citations (7)
| Title |
|---|
| ALEXEY BOCHKOVSKIY 等: "YOLOv4: Optimal Speed and Accuracy of Object Detection", 《ARXIV》 * |
| CHIEN-YAO WANG 等: "CSPNet: A New Backbone that can Enhance Learning Capability of CNN", 《CVPR 2020 WORKSHOP》 * |
| GAO HUANG 等: "Densely Connected Convolutional Networks", 《ARXIV》 * |
| 乔霓丹: "《深度学习与医学大数据》", 30 November 2019, 上海科学技术出版社 * |
| 刘树春 等: "《深度实践OCR基于深度学习的文字识别》", 31 May 2020, 机械工业出版社 * |
| 李林 等: "基于深度学习的医学精子图像分类算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 * |
| 武玉伟: "《深度学习基础与应用》", 30 April 2020, 北京理工大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807259A (zh) * | 2021-09-18 | 2021-12-17 | 上海北昂医药科技股份有限公司 | 一种基于多尺度特征融合的染色体分裂相定位与排序的方法 |
| CN114022515A (zh) * | 2021-11-10 | 2022-02-08 | 苏州贝康智能制造有限公司 | 精子活动力检测方法、装置、计算机设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| WO2019104767A1 (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
| CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN111783819B (zh) | 小规模数据集上基于感兴趣区域训练改进的目标检测方法 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| CN114897816A (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN113313107B (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
| CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN114581709A (zh) | 识别医学图像中的目标的模型训练、方法、设备及介质 | |
| CN116740758A (zh) | 一种防止误判的鸟类图像识别方法及系统 | |
| CN117854072B (zh) | 一种工业视觉缺陷自动标注方法 | |
| CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
| CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及系统 | |
| CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210827 |
|
| RJ01 | Rejection of invention patent application after publication |