CN111291716B - 精子细胞识别方法、装置、计算机设备和存储介质 - Google Patents
精子细胞识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111291716B CN111291716B CN202010126736.9A CN202010126736A CN111291716B CN 111291716 B CN111291716 B CN 111291716B CN 202010126736 A CN202010126736 A CN 202010126736A CN 111291716 B CN111291716 B CN 111291716B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- feature
- characteristic
- intermediate result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 159
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000005859 cell recognition Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种精子细胞识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别图像、预设卷积核以及预设尺度变换比例；提取待识别图像中的图像特征，得到特征图像；根据预设的卷积核以及预设尺度变换比例，对特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；基于预设的尺度变换比例，获取与位于图像金字塔中目标层级的卷积特征图像相关联的第一中间以及第二中间结果；基于预训练的分类子网络以及回归子网络对所述第一中间结果和第二中间结果进行分类，得到所述待识别图像中的精子细胞的位置信息。采用本方法能够提升精子细胞检测效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种精子细胞识别方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的发展，往往需要对图像中的精子细胞进行识别。如在医学领域，就需要对患者的精子细胞的图像进行自动识别。
目前，主要是通过阈值分割和多特征参数模板匹配对图像中的精子细胞进行识别，通过阈值分割出图像中可能具有精子细胞的候选区域，再基于多特征参数模板对候选区域进行识别，从而确定图像中的精子细胞的位置信息。但是由于图像中的精子细胞尺寸不一，有大有小，基于传统的方法极容易忽略某些尺度较大或尺度较小的精子细胞，从而导致识别效率降低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够识别不同尺寸精子细胞的精子细胞识别方法、装置、计算机设备和存储介质。
一种精子细胞识别方法，所述方法包括：
获取待识别图像、预设卷积核以及预设尺度变换比例；
提取所述待识别图像中的图像特征，得到特征图像；
根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；
根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
基于预训练的分类子网络以及回归子网络对所述第一中间结果和第二中间结果进行分类，得到所述待识别图像中的精子细胞的位置信息。
在其中一个实施例中，所述根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔包括：
对所述特征图像按照预设的尺度变换比例进行多尺度特征变换，得到具有多个第一特征图像的多层级特征金字塔；
根据所述预设卷积核，对所述特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的多层级图像金字塔。
在其中一个实施例中，所述根据所述预设卷积核，对所述特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的图像金字塔包括：
分别基于所述1*1卷积核对所述特征金字塔中的每个第一特征图像进行卷积计算，得到卷积特征图像集；
确定所述卷积特征图像集中每个卷积特征图像的特征尺度；
基于所述特征尺度对所述卷积特征图像集中每个卷积特征图像进行排序，得到图像金字塔。
在其中一个实施例中，所述基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果包括：
提取所述图像金字塔中的位于顶层以及目标层级的卷积特征图像；
按照所述预设尺度变换比例，对位于顶层的卷积特征图像进行尺度变换；
将所述目标层级的卷积特征图像与尺度变换后的位于顶层的卷积特征图像进行像素叠加，得到与所述目标层级的卷积特征图像相关联的第一中间结果。
在其中一个实施例中，所述根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果包括：
确定所述图像金字塔中除顶层卷积特征图像以及目标层级的卷积特征图像之外的当前层级卷积特征图像；
基于所述预设的尺度变换比例，对第一中间结果进行尺度变换；
将所述尺度变换后的第一中间结果与所述当前层级卷积特征图像进行像素叠加，得到与所述当前层级卷积特征图像相关联的第二中间结果；
将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于所述预设的尺度变换比例，对第一中间结果进行尺度变换的步骤，直至遍历完整个图像金字塔。
在其中一个实施例中，所述根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果之后还包括：
确定与所述特征图像中的每个特征点相关联的多个目标检测框，并统计所述目标检测框的尺寸大小以及目标检测框在所述待识别图像中的位置信息；
基于所述尺寸大小，分别确定与所述目标检测框的相关联的一个第一中间结果或第二中间结果；
根据所述目标检测框在所述待识别图像中的位置信息，从所述相关联的第一中间结果或第二中间结果中提取出目标区域；
所述基于预训练的分类子网络以及回归子网络对所述第一中间结果和第二中间结果进行分类，得到所述待识别图像中的精子细胞的位置信息包括：
基于预训练的分类子网络以及回归子网络对所述目标区域进行分类，得到所述待识别图像中的精子细胞的位置信息。
在其中一个实施例中，所述确定与所述特征图像中的每个特征点相关联的多个目标检测框包括：
分别确定所述待识别图像中与所述特征点相对应的位置区域；
以所述位置区域为中心区域，绘制多个不同尺寸的候选物体检测框；
判断所述候选物体检测框中是否存在待检测物体；
若存在待检测物体，将所述候选物体检测框判定为目标检测框。
一种精子细胞识别装置，所述装置包括：
特征金字塔获取模块，用于获取待识别图像、预设卷积核以及预设尺度变换比例；提取所述待识别图像中的图像特征，得到特征图像；根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
中间结果获取模块，用于基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
精子细胞识别模块，用于基于预训练的分类子网络以及回归子网络对所述第一中间结果和第二中间结果进行分类，得到所述待识别图像中的精子细胞的位置信息。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待识别图像、预设卷积核以及预设尺度变换比例；
提取所述待识别图像中的图像特征，得到特征图像；
根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；
根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
基于预训练的分类子网络以及回归子网络对所述第一中间结果和第二中间结果进行分类，得到所述待识别图像中的精子细胞的位置信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待识别图像、预设卷积核以及预设尺度变换比例；
提取所述待识别图像中的图像特征，得到特征图像；
根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；
根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
基于预训练的分类子网络以及回归子网络对所述第一中间结果和第二中间结果进行分类，得到所述待识别图像中的精子细胞的位置信息。
上述精子细胞识别方法、装置、计算机设备和存储介质，通过提取待识别图像中的图像特征，可以基于预设的预设卷积核以及预设尺度变换比例对图像特征进行缩放、卷积运算，得到卷积金字塔；通过获取与卷积金字塔中目标层级的卷积特征图相关联第一中间结果，可以基于预设的尺度变换比例以及第一中间结果获取第二中间结果；通过将第一中间结果和第二中间结果输入分类自网络和回归子网络中，可以基于分类自网络和回归子网络输出待识别图像中精子细胞的位置信息。由于待识别图像中的精子细胞尺寸不一，有大有小，因此，生成不同尺度的卷积特征图像，并使用不同尺度的不同尺度的卷积特征图像匹配到不同尺度的感受野，从而可以捕获不同尺度的精子细胞，进而提升精子细胞的检测准确率，避免漏检。
附图说明
图1为一个实施例中精子细胞识别方法的应用场景图；
图2为一个实施例中精子细胞识别方法的流程示意图；
图3为一个实施例中特征金字塔与图像金字塔的示意图；
图4为一个实施例中特征图像进行叠加运算的示意图；
图5为一个实施例中第一中间结果获取步骤示意图；
图6为一个实施例中精子细胞识别装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中精子细胞识别方法的应用环境图。参照图1，该行精子细胞识别方法应用于精子细胞识别系统。该精子细胞识别系统包括终端110和服务器120。该精子细胞识别方法可以在终端110或服务器120完成。当需要从待识别图像中识别出精子细胞的图像数据时，终端110可以对待识别图像进行精子细胞识别，也可以将待识别图像发送至服务器120，由服务器120对待识别图像进行精子细胞识别。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑和笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种精子细胞识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S202，获取待识别图像、预设卷积核以及预设尺度变换比例。
其中，待识别图像是基于图像采集设备采集得到的包含一个或多个精子细胞的图像。卷积核为一个由函数定义的权值，在进行图像处理时，基于此权值可以对待识别图像中一个小区域中像素进行加权平均计算。尺度变换比例是指对图像进行上采样或下采样时所式样的缩放比例。
具体地，可以在预设的图像采集区域部署图像采集设备，图像采集设备在实时扫描摄像视野中的现实场景，并按照预设时间频率实时地生成图像帧，所生成的图像帧可缓存在图像采集设备本地。例如，可以通过对人类精液推片，染色得到精子染片。对染片用显微镜100倍油镜观察，通过CCD(Charge Coupled Device，电荷耦合器件)采集图片，得到精子形态学图像。在当前采集时段结束时，图像采集设备将采集到的当前采集时段的全部精子形态学图像发送至计算机设备进行图像裁剪，得到待识别图像。计算机设备中预存储有卷积核和尺度变换比例，当获取得到待识别图像时，计算机设备从预设存储空间中提取出卷积核和尺度变换比例存放于临时空间中。
S204，提取待识别图像中的图像特征，得到特征图像，
具体地，计算机设备中预存储有已训练完成的特征提取子网络。特征提取子网络以端到端的方式提取出待识别图像中的图像特征，得到特征图像。其中，特征提取子网络是基于深度学习训练而得的机器学习模型，具体可以为ResNet，DenseNet等。
在另一个实施例中，用户可以获取针对精子细胞采集得到的海量图像，并将海量图像分为训练集和测试集。用户对训练集中的每张图像中的精子细胞进行标签标注，并基于标注后的训练集对特征提取网络进行训练，基于测试集对训练后的特征提取网络进行测试，直至测试结果符合预设要求。
S206，根据预设的卷积核以及预设尺度变换比例，对特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔。
其中，特征图像为由多个特征点组成的矩阵式图像。
具体地，当尺度变换比例为S时，计算机设备生成一个S*S的窗口，并基于此窗口获取特征图像中S*S范围内的特征点数据。计算机设备将S*S窗口内的特征点数据进行求均值计算，得到第一特征图像中的一个特征点。如此，计算机设备基于生成的S*S窗口依次遍历整个特征图像，得到第一特征图像。其中，第一特征图像为计算机设备基于尺度变换比例对特征图像进行缩放后得到的一个特征图像。
例如，当特征图像的尺寸为M*N，尺度变换比例为S时，计算机设备对特征图像对其进行S倍下采样，即得到(M/S)*(N/S)尺寸的第一特征图像。其中，尺度变换比例为S是M和N的公约数。
当得到第一个第一特征图像后，计算机设备继续对第一个第一特征图像按尺度变换比例S进行缩小，得到第二个第一特征图像，如此，缩小预设次数后，便得到一个如图3所示的特征金字塔。其中，每个第一特征图像为特征金字塔的一个层级，特征金字塔最顶层为特征尺寸最小的第一特征图像，最低层为特征尺寸最大的第一特征图像。图3为一个实施例中特征金字塔与图像金字塔的示意图。
进一步地，计算机设备基于预设的卷积核对特征金字塔中的每一层第一特征图像进行计算，得到如图3所示的具有多个卷积特征图像的图像金字塔。其中，卷积核可以为1*1的卷积核，基于1*1的卷积核对特征金字塔进行计算后，可以有效降低通道数量，从而降低计算量。其中，卷积特征图像为基于预设的卷积核对第一特征图像进行计算得到的特征图像，每一个卷积特征图像为构成图像金字塔的一个层级。
在另一个实施例中，预设的尺度变换比例可以有多个，例如，可以基于尺度变换比例S1对特征图像进行缩小，得到特征金字塔中最底层的第一特征图像，基于尺度变换比例S2对最底层的第一特征图像进行缩小，得到特征金字塔中倒数第二层的第一特征图像，如此，进行缩小预设次数后，便可得到一个特征金字塔。
S208，基于预设的尺度变换比例，获取与位于图像金字塔中目标层级的卷积特征图像相关联的第一中间结果。
其中，图像金字塔为与特征金字塔相对应的，一个由卷积特征图像排列组合而成的金字塔模型。图像金字塔的顶层为特征尺寸最小的卷积特征图像，底层为特征尺寸最大的卷积特征图像。目标层级的卷积特征图像为与图像金字塔中，与顶层卷积特征图像相邻，且位于顶层卷积特征图像下一层级的卷积特征图像，即为图像金字塔中第二层级的卷积特征图像。
具体地，计算机设备获取位于图像金字塔顶层的卷积特征图像，并基于预设的尺度变换比例对顶层的卷积特征图像进行放大。计算机设备获取位于图像金字塔目标层级的卷积特征图像，即获取与顶层的卷积特征图像相邻，且位于下一层级的卷积特征图像，并将目标层级的卷积特征图像与顶层的卷积特征图像进行线性叠加，从而得到与目标层级的卷积特征图像相关联的第一中间结果。
S210，根据第一中间结果以及预设的尺度变换比例，分别获取与图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果。
具体地，计算机设备按顺序，从顶至下，从除顶层卷积特征图像以及目标层级的卷积特征图像之外的卷积特征图像中确定当前层级卷积特征图像，例如，计算机设备可以将第三层级的卷积特征图像确定为当前卷积特征图像。计算机设备根据预设的尺度变换比例，对第一中间结果进行尺度变换，并将尺度变换后的第一中间结果与当前层级的卷积特征图像进行线性叠加，得到与当前层级卷积特征图像相关联的第二中间结果。比如，在上述举例中，计算机设备将于目标层级的卷积特征图像相关联的第一中间结果进行按比例放大，并将第三层级的卷积特征图像与放大后的第一中间结果进行线性叠加，得到与第三层级相关联的中间结果。
进一步地，计算机设备将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于预设的尺度变换比例，对当前层级的卷积特征图像进行尺度变换的步骤，直至遍历完整个图像金字塔。例如，当图像金字塔由4层时，计算机设备按照预设的尺度变换比例对与第三层级的卷积特征图像相关联的第二中间结果进行放大，并将第四层级的卷积特征图像与放大后的第二中间结果进行叠加，最终得到与第四层级的卷积特征图像相关联的第二中间结果。
S212，基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类，得到待识别图像中的精子细胞的位置信息。
其中，分类子网络和回归子网络结构基本相同且并行，分类子网络与回归子网络均采具有4个3x 3转换层，每个转换层具有256个滤波器。分类子网络最后一层输出分类预测，回归子网络最后一层输出精子细胞所在边界框的位置。
具体地，如图4所示，计算机设备将第一中间结果以及第二中间结果分别输入分类子网络和回归子网络。分类子网络和回归子网络分别基于3x 3转换层对第一中间结果和第二中间结果进行计算，并在每个层之间进行ReLU函数激活。分类子网络最后一层对待识别图像中的物体进行分类判断，从而输出分类预测，回归子网络最后一层对待识别图像中的精子细胞所在的位置信息进行预测，从而输出精子细胞所在边界框的位置坐标。图4为一个实施例中，特征图像进行叠加运算的示意图。
在另一个实施例中，计算机设备基于一个预设的3*3卷积核对第一中间结果和第二中间结果进行运算，之后，再将运算后的第一中间结果以及第二中间发送至分类子网络和回归子网络。由于当前层级的卷积特征图像与放大后的中间结果进行叠加后，会产生混叠小于，通过3*3卷积核可以有效消除混叠效应，从而提升了精子细胞的检测效率。
上述精子细胞识别方法中，通过提取待识别图像中的图像特征，可以基于预设的预设卷积核以及预设尺度变换比例对图像特征进行缩放、卷积运算，得到卷积金字塔；通过获取与卷积金字塔中目标层级的卷积特征图相关联第一中间结果，可以基于预设的尺度变换比例以及第一中间结果获取第二中间结果；通过将第一中间结果和第二中间结果输入分类自网络和回归子网络中，可以基于分类自网络和回归子网络输出待识别图像中精子细胞的位置信息。由于待识别图像中的精子细胞尺寸不一，有大有小，因此，生成不同尺度的卷积特征图像，并使用不同尺度的不同尺度的卷积特征图像匹配到不同尺度的感受野，从而可以捕获不同尺度的精子细胞，进而提升精子细胞的检测准确率，避免漏检。
在另一个实施例中，根据预设的卷积核以及预设尺度变换比例，对特征图像进行多尺度变换，得到具有多个卷积特征图像的图像金字塔包括：对特征图像按照预设的尺度变换比例进行多尺度特征变换，得到具有多个第一特征图像的特征金字塔；根据预设卷积核，对特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的图像金字塔。
具体地，计算机设备中具有预训练的特征金字塔网络。当特征金字塔网络获取得到特征图像时，特征金字塔根据预设的尺度变换比例以及变换次数对特征图像进行下采样，从而得到具有多个第一特征图像的特征金字塔。计算机设备根据预设的卷积核对特征金字塔中每一个第一特征图像进行卷积运算，得到具有多个卷积核的图像金字塔。
本实施例中，由于大尺寸的特征图像中具有丰富的位置信息，小尺寸的特征图像中具有更丰富的高级语义信息，将特征图像进行下采样，使得后续计算机设备即可以从大尺寸的特征图像中推测出准确地精子细胞的位置信息，也可以从小尺寸的特征图像对待识别图像中的全部物体进行准确地分类判断。
在另一个实施例中，根据预设卷积核，对特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的图像金字塔包括：分别基于1*1卷积核对特征金字塔中的每个第一特征图像进行卷积计算，得到卷积特征图像集；确定卷积特征图像集中每个卷积特征图像的特征尺度；基于特征尺度对卷积特征图像集中每个卷积特征图像进行排序，得到图像金字塔。
其中，预设卷积核为1*1卷积核。特征尺度是指当前特征图像中特征点的横纵个数，例如，当特征图像为矩阵式时，特征尺度即为矩阵的维度。
具体地，计算机设备基于1*1的卷积核对特征金子塔中的每一个特征图像继续同步运算，得到卷积特征图像集。计算机设备获取卷积特征图像集中每个卷积特征图像的特征尺度，并基于特征尺度对卷积特征图像进行排序，从而得到位于金字塔顶层的卷积特征图像的特征尺度最小，位于底层的卷积特征图像的特征尺度最大。
本实施例中，基于1*1的卷积核对特征金字塔中的第一特征图像进行卷积运算，可以减少输出的通道数，从而降低机器学习模型的计算量，进而提升识别效率。
在另一个实施例中，如图5所示，基于预设的尺度变换比例，获取与位于图像金字塔中目标层级的卷积特征图像相关联的第一中间结果包括：
S302，提取图像金字塔中的位于顶层以及目标层级的卷积特征图像；
S304，按照预设尺度变换比例，对位于顶层的卷积特征图像进行尺度变换；
S306，将目标层级的卷积特征图像与尺度变换后的位于顶层的卷积特征图像进行像素叠加，得到与目标层级的卷积特征图像相关联的第一中间结果。
具体地，计算机设备获取图像金字塔中的位于顶层以及目标层级的卷积特征图像以及预设尺度变换比例，并将预设尺度变换比例进行倒数运算。计算机设备基于倒数运算后的尺度变换比例对顶层的卷积特征图像进行放大运算，得到放大尺寸后的卷积特征图像。例如，当预设的尺度变换比例为0.5时，计算机设备对0.5进行倒数运算，之后再对顶层的卷积特征图像扩大两倍。
进一步地，计算机设备分别将扩大后的卷积特征图像中的每一个像素点，即每一个特征点，与目标层级的卷积特征图像中的每个对应叠加，得到第一中间结果。
本实施例中，通过对两幅卷积特征图像中的对应像素点进行叠加，可以得到第一中间结果，从而可以将低层级的卷积特征图像中的位置信息，与高层及的卷积特征图像中的高级语义信息进行特征融合，进而后续可以基于融合后的特征进行准确地精子细胞识别。
在一个实施例中，根据第一中间结果以及预设的尺度变换比例，分别获取与图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果包括：确定图像金字塔中除顶层卷积特征图像以及目标层级的卷积特征图像之外的当前层级卷积特征图像；基于预设的尺度变换比例，对第一中间结果进行尺度变换；将尺度变换后的第一中间结果与当前层级卷积特征图像进行像素叠加，得到与当前层级卷积特征图像相关联的第二中间结果；将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于预设的尺度变换比例，对第一中间结果进行尺度变换的步骤，直至遍历完整个图像金字塔。
具体地，计算机设备按顺序，从顶至下，从除顶层卷积特征图像以及目标层级的卷积特征图像之外的卷积特征图像中确定当前层级卷积特征图像。计算机设备根据预设的尺度变换比例，对第一中间结果进行尺度变换，并将尺度变换后的第一中间结果与当前层级的卷积特征图像进行线性叠加，得到与当前层级卷积特征图像相关联的第二中间结果。计算机设备将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于预设的尺度变换比例，对当前层级的卷积特征图像进行尺度变换的步骤，直至遍历完整个图像金字塔。
本实施例中，通过对每一层级的卷积特征网络与对应层级的中间结果进行像素叠加，使得不同尺寸特征图像中的位置信息可以与对应尺寸的特征图像中的高级语义信息进行特征叠加，从而使得机器学习模型可以更容易捕获待识别图像中不同尺寸的精子细胞，进而提升了精子细胞的识别准确率。
在另一个实施例中，根据第一中间结果以及预设的尺度变换比例，分别获取与图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果之后还包括：确定与特征图像中的每个特征点相关联的多个目标检测框，并统计目标检测框的尺寸大小以及目标检测框在待识别图像中的位置信息；基于尺寸大小，分别确定与目标检测框的相关联的一个第一中间结果或第二中间结果；根据目标检测框在待识别图像中的位置信息，从相关联的第一中间结果或第二中间结果中提取出目标区域；基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类、回归，得到待识别图像中的精子细胞的位置信息包括：基于预训练的分类子网络以及回归子网络对目标区域进行分类、回归，得到待识别图像中的精子细胞的位置信息。
具体地，计算机设备针对待识别图像生成一个或多个具有不同尺寸的目标检测框。计算机设备确定目标检测框的尺寸大小以及在待识别图像中的位置信息。计算机设备获取每个目标检测框的尺寸大小，并基于公式分别确定与每个目标检测框相关联的一个第一中间结果或第二中间结果。其中，k0为第一中间结果和第二中间结果的数量，w为目标检测框的宽度，h为目标检测框的高度，k为与选定的中间结果相关联的卷积特征网络的在图像金字塔中的层级。例如，当第一中间结果与第二中间结果的数量为4，/>时，k即为4，此时与/>相对应的中间结果即为与目标层级的卷积特征网络相关联的中间结果。
进一步地，计算机设备依次根据目标检测框在待识别图像中地位置信息，从相关联的第一中间结果或第二中间结果中提取出对应位置的目标区域。例如，当待识别图像的尺寸大小为100*100,第一中间结果的尺寸大小为10*10，目标检测框在待识别图像中的位置信息为[(10,20)，(40，20)，(10，10)，(40，20)]时，对应的目标区域的位置信息为[(1,2)，(4，2)，(1，1)，(4，2)]。
进一步地，计算机设备将全部目标区域输入分类子网络和回归子网络，由分类子网络和回归子网络对目标区域进行分类、回归，得到待识别图像中的精子细胞的位置信息。
本实施例中，由于目标检测框为针对物体而框选的检测框，因此机器学习模型可以仅对待识别图像中地物体进行检测，忽略待识别图像中的背景信息，从而可以有效提升精子细胞的识别效率。
在另一个实施例中，确定与特征图像中的每个特征点相关联的多个目标检测框包括：分别确定待识别图像中与特征点相对应的位置区域；以位置区域为中心区域，绘制多个不同尺寸的候选物体检测框；判断候选物体检测框中是否存在待检测物体；若存在待检测物体，将候选物体检测框判定为目标检测框。
具体地，特征图像中的每个特征点均对应待识别图像中的一块区域。计算机设备对特征点所对应的图像区域为中心区域，生成多个具有不同尺寸的候选物体检测框。计算机设备判定候选物体检测框中是否存在物体，当存在物体时，即当存在精子细胞或杂志时，计算机设备将存在物体的候选物体检测框判定为目标物体检测框。
本实施例中，通过生成不同尺寸的候选检测框，可以对待识别图像中不同尺寸的物体均进行框选，从而后续可以对不同尺寸的物体进行检测识别，进而提升了精子细胞的检测准确率。
应该理解的是，虽然图2、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种精子细胞识别装置600，包括：特征金字塔获取602、中间结果获取模块604和精子细胞识别模块606，其中：
特征金字塔获取模块602，用于获取待识别图像、预设卷积核以及预设尺度变换比例；提取待识别图像中的图像特征，得到特征图像；根据预设的卷积核以及预设尺度变换比例，对特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔。
中间结果获取模块604，用于基于预设的尺度变换比例，获取与位于图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；根据第一中间结果以及预设的尺度变换比例，分别获取与图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果。
精子细胞识别模块606，用于基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类，得到待识别图像中的精子细胞的位置信息。
在另一个实施例中，特征金字塔获取模块602还包括卷积运算模块6021，用于对特征图像按照预设的尺度变换比例进行多尺度特征变换，得到具有多个第一特征图像的特征金字塔；根据预设卷积核，对特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的图像金字塔。
在另一个实施例中，卷积运算模块6021还用于分别基于1*1卷积核对特征金字塔中的每个第一特征图像进行卷积计算，得到卷积特征图像集；确定卷积特征图像集中每个卷积特征图像的特征尺度；基于特征尺度对卷积特征图像集中每个卷积特征图像进行排序，得到图像金字塔。
在另一个实施例中，中间结果获取模块604还包括第一中间结果计算模块6041，用于提取图像金字塔中的位于顶层以及目标层级的卷积特征图像；按照预设尺度变换比例，对位于顶层的卷积特征图像进行尺度变换；将目标层级的卷积特征图像与尺度变换后的位于顶层的卷积特征图像进行像素叠加，得到与目标层级的卷积特征图像相关联的第一中间结果。
在另一个实施例中，中间结果获取模块604还包括第二中间结果获取模块6042，用于确定图像金字塔中除顶层卷积特征图像以及目标层级的卷积特征图像之外的当前层级卷积特征图像；基于预设的尺度变换比例，对第一中间结果进行尺度变换；将尺度变换后的第一中间结果与当前层级卷积特征图像进行像素叠加，得到与当前层级卷积特征图像相关联的第二中间结果；将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于预设的尺度变换比例，对第一中间结果进行尺度变换的步骤，直至遍历完整个图像金字塔。
在另一个实施例中，精子细胞识别装置600还包括目标检测框获取模块608，用于确定与特征图像中的每个特征点相关联的多个目标检测框，并统计目标检测框的尺寸大小以及目标检测框在待识别图像中的位置信息；基于尺寸大小，分别确定与目标检测框的相关联的一个第一中间结果或第二中间结果；根据目标检测框在待识别图像中的位置信息，从相关联的第一中间结果或第二中间结果中提取出目标区域；基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类，得到待识别图像中的精子细胞的位置信息包括：基于预训练的分类子网络以及回归子网络对目标区域进行分类，得到待识别图像中的精子细胞的位置信息。
在另一个实施例中，目标检测框获取模块608还用于分别确定待识别图像中与特征点相对应的位置区域；以位置区域为中心区域，绘制多个不同尺寸的候选物体检测框；判断候选物体检测框中是否存在待检测物体；若存在待检测物体，将候选物体检测框判定为目标检测框。
关于精子细胞识别装置的具体限定可以参见上文中对于精子细胞识别方法的限定，在此不再赘述。上述精子细胞识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储精子细胞识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种精子细胞识别方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取待识别图像、预设卷积核以及预设尺度变换比例；
提取待识别图像中的图像特征，得到特征图像；
根据预设的卷积核以及预设尺度变换比例，对特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
基于预设的尺度变换比例，获取与位于图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；
根据第一中间结果以及预设的尺度变换比例，分别获取与图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类，得到待识别图像中的精子细胞的位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对特征图像按照预设的尺度变换比例进行多尺度特征变换，得到具有多个第一特征图像的特征金字塔；
根据预设卷积核，对特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的图像金字塔。
在一个实施例中，预设卷积核为1*1卷积核；处理器执行计算机程序时还实现以下步骤：
分别基于1*1卷积核对特征金字塔中的每个第一特征图像进行卷积计算，得到卷积特征图像集；
确定卷积特征图像集中每个卷积特征图像的特征尺度；
基于特征尺度对卷积特征图像集中每个卷积特征图像进行排序，得到图像金字塔。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取图像金字塔中的位于顶层以及目标层级的卷积特征图像；
按照预设尺度变换比例，对位于顶层的卷积特征图像进行尺度变换；
将目标层级的卷积特征图像与尺度变换后的位于顶层的卷积特征图像进行像素叠加，得到与目标层级的卷积特征图像相关联的第一中间结果。
在一个实施例中，图像金字塔的层级大于等于三；处理器执行计算机程序时还实现以下步骤：
确定图像金字塔中除顶层卷积特征图像以及目标层级的卷积特征图像之外的当前层级卷积特征图像；
基于预设的尺度变换比例，对第一中间结果进行尺度变换；
将尺度变换后的第一中间结果与当前层级卷积特征图像进行像素叠加，得到与当前层级卷积特征图像相关联的第二中间结果；
将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于预设的尺度变换比例，对第一中间结果进行尺度变换的步骤，直至遍历完整个图像金字塔。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定与特征图像中的每个特征点相关联的多个目标检测框，并统计目标检测框的尺寸大小以及目标检测框在待识别图像中的位置信息；
基于尺寸大小，分别确定与目标检测框的相关联的一个第一中间结果或第二中间结果；
根据目标检测框在待识别图像中的位置信息，从相关联的第一中间结果或第二中间结果中提取出目标区域；
基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类，得到待识别图像中的精子细胞的位置信息包括：
基于预训练的分类子网络以及回归子网络对目标区域进行分类，得到待识别图像中的精子细胞的位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
分别确定待识别图像中与特征点相对应的位置区域；
以位置区域为中心区域，绘制多个不同尺寸的候选物体检测框；
判断候选物体检测框中是否存在待检测物体；
若存在待检测物体，将候选物体检测框判定为目标检测框。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待识别图像、预设卷积核以及预设尺度变换比例；
提取待识别图像中的图像特征，得到特征图像；
根据预设的卷积核以及预设尺度变换比例，对特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
基于预设的尺度变换比例，获取与位于图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；
根据第一中间结果以及预设的尺度变换比例，分别获取与图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类，得到待识别图像中的精子细胞的位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对特征图像按照预设的尺度变换比例进行多尺度特征变换，得到具有多个第一特征图像的特征金字塔；
根据预设卷积核，对特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的图像金字塔。
在一个实施例中，预设卷积核为1*1卷积核；计算机程序被处理器执行时还实现以下步骤：
分别基于1*1卷积核对特征金字塔中的每个第一特征图像进行卷积计算，得到卷积特征图像集；
确定卷积特征图像集中每个卷积特征图像的特征尺度；
基于特征尺度对卷积特征图像集中每个卷积特征图像进行排序，得到图像金字塔。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
提取图像金字塔中的位于顶层以及目标层级的卷积特征图像；
按照预设尺度变换比例，对位于顶层的卷积特征图像进行尺度变换；
将目标层级的卷积特征图像与尺度变换后的位于顶层的卷积特征图像进行像素叠加，得到与目标层级的卷积特征图像相关联的第一中间结果。
在一个实施例中，图像金字塔的层级大于等于三；计算机程序被处理器执行时还实现以下步骤：
确定图像金字塔中除顶层卷积特征图像以及目标层级的卷积特征图像之外的当前层级卷积特征图像；
基于预设的尺度变换比例，对第一中间结果进行尺度变换；
将尺度变换后的第一中间结果与当前层级卷积特征图像进行像素叠加，得到与当前层级卷积特征图像相关联的第二中间结果；
将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于预设的尺度变换比例，对第一中间结果进行尺度变换的步骤，直至遍历完整个图像金字塔。
在一个实施例中，特征图像中具有多个特征点；计算机程序被处理器执行时还实现以下步骤：
确定与特征图像中的每个特征点相关联的多个目标检测框，并统计目标检测框的尺寸大小以及目标检测框在待识别图像中的位置信息；
基于尺寸大小，分别确定与目标检测框的相关联的一个第一中间结果或第二中间结果；
根据目标检测框在待识别图像中的位置信息，从相关联的第一中间结果或第二中间结果中提取出目标区域；
基于预训练的分类子网络以及回归子网络对第一中间结果和第二中间结果进行分类，得到待识别图像中的精子细胞的位置信息包括：
基于预训练的分类子网络以及回归子网络对目标区域进行分类，得到待识别图像中的精子细胞的位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
分别确定待识别图像中与特征点相对应的位置区域；
以位置区域为中心区域，绘制多个不同尺寸的候选物体检测框；
判断候选物体检测框中是否存在待检测物体；
若存在待检测物体，将候选物体检测框判定为目标检测框。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种精子细胞识别方法，其特征在于，所述方法包括：
获取待识别图像、预设卷积核以及预设尺度变换比例；
提取所述待识别图像中的图像特征，得到特征图像；
根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；
根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
确定与所述特征图像中的每个特征点相关联的多个目标检测框，并统计所述目标检测框的尺寸大小以及目标检测框在所述待识别图像中的位置信息；
基于所述尺寸大小，分别确定与所述目标检测框的相关联的一个第一中间结果或第二中间结果；
根据所述目标检测框在所述待识别图像中的位置信息，从所述相关联的第一中间结果或第二中间结果中提取出目标区域；
基于预训练的分类子网络以及回归子网络对所述目标区域进行分类，得到所述待识别图像中的精子细胞的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔包括：
对所述特征图像按照预设的尺度变换比例进行多尺度特征变换，得到具有多个第一特征图像的多层级特征金字塔；
根据所述预设卷积核，对所述特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的多层级图像金字塔。
3.根据权利要求2所述的方法，其特征在于，所述预设卷积核为1*1卷积核；所述根据所述预设卷积核，对所述特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的多层级图像金字塔包括：
分别基于所述1*1卷积核对所述特征金字塔中的每个第一特征图像进行卷积计算，得到卷积特征图像集；
确定所述卷积特征图像集中每个卷积特征图像的特征尺度；
基于所述特征尺度对所述卷积特征图像集中每个卷积特征图像进行排序，得到图像金字塔。
4.根据权利要求1所述的方法，其特征在于，所述基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果包括：
提取所述图像金字塔中的位于顶层以及目标层级的卷积特征图像；
按照所述预设尺度变换比例，对位于顶层的卷积特征图像进行尺度变换；
将所述目标层级的卷积特征图像与尺度变换后的位于顶层的卷积特征图像进行像素叠加，得到与所述目标层级的卷积特征图像相关联的第一中间结果。
5.根据权利要求1所述的方法，其特征在于，所述图像金字塔的层级大于等于三；所述根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果包括：
确定所述图像金字塔中除顶层卷积特征图像以及目标层级的卷积特征图像之外的当前层级卷积特征图像；
基于所述预设的尺度变换比例，对第一中间结果进行尺度变换；
将所述尺度变换后的第一中间结果与所述当前层级卷积特征图像进行像素叠加，得到与所述当前层级卷积特征图像相关联的第二中间结果；
将下一层级的卷积特征图像作为当前层级的卷积特征图像，将第二中间结果作为第一中间结果，并返回基于所述预设的尺度变换比例，对第一中间结果进行尺度变换的步骤，直至遍历完整个图像金字塔。
6.根据权利要求1所述的方法，其特征在于，所述确定与所述特征图像中的每个特征点相关联的多个目标检测框包括：
分别确定所述待识别图像中与所述特征点相对应的位置区域；
以所述位置区域为中心区域，绘制多个不同尺寸的候选物体检测框；
判断所述候选物体检测框中是否存在待检测物体；
若存在待检测物体，将所述候选物体检测框判定为目标检测框。
7.一种精子细胞识别装置，其特征在于，所述装置包括：
特征金字塔获取模块，用于获取待识别图像、预设卷积核以及预设尺度变换比例；提取所述待识别图像中的图像特征，得到特征图像；根据所述预设的卷积核以及所述预设尺度变换比例，对所述特征图像进行多尺度变换，得到具有多个卷积特征图像的多层级图像金字塔；
中间结果获取模块，用于基于所述预设的尺度变换比例，获取与位于所述图像金字塔中目标层级的卷积特征图像相关联的第一中间结果；根据所述第一中间结果以及所述预设的尺度变换比例，分别获取与所述图像金字塔中，除位于顶层卷积特征图像以及位于目标层级的卷积特征图像之外的卷积特征图像相关联的第二中间结果；
精子细胞识别模块，用于确定与所述特征图像中的每个特征点相关联的多个目标检测框，并统计所述目标检测框的尺寸大小以及目标检测框在所述待识别图像中的位置信息；基于所述尺寸大小，分别确定与所述目标检测框的相关联的一个第一中间结果或第二中间结果；根据所述目标检测框在所述待识别图像中的位置信息，从所述相关联的第一中间结果或第二中间结果中提取出目标区域；基于预训练的分类子网络以及回归子网络对所述目标区域进行分类，得到所述待识别图像中的精子细胞的位置信息。
8.根据权利要求7所述的装置，其特征在于，所述特征金字塔获取模块还包括卷积运算模块，用于对所述特征图像按照预设的尺度变换比例进行多尺度特征变换，得到具有多个第一特征图像的多层级特征金字塔；根据所述预设卷积核，对所述特征金字塔中的每个第一特征图像进行卷积处理，得到具有多个卷积特征图像的多层级图像金字塔。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126736.9A CN111291716B (zh) | 2020-02-28 | 2020-02-28 | 精子细胞识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126736.9A CN111291716B (zh) | 2020-02-28 | 2020-02-28 | 精子细胞识别方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291716A CN111291716A (zh) | 2020-06-16 |
| CN111291716B true CN111291716B (zh) | 2024-01-05 |
Family
ID=71021587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010126736.9A Active CN111291716B (zh) | 2020-02-28 | 2020-02-28 | 精子细胞识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291716B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330652A (zh) * | 2020-11-13 | 2021-02-05 | 深圳大学 | 基于深度学习的染色体识别方法、装置和计算机设备 |
| CN113780145A (zh) * | 2021-09-06 | 2021-12-10 | 苏州贝康智能制造有限公司 | 精子形态检测方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096670A (zh) * | 2016-06-17 | 2016-11-09 | 北京市商汤科技开发有限公司 | 级联卷积神经网络训练和图像检测方法、装置及系统 |
| CN106203619A (zh) * | 2015-05-29 | 2016-12-07 | 三星电子株式会社 | 数据优化的神经网络遍历 |
| CN107844795A (zh) * | 2017-11-18 | 2018-03-27 | 中国人民解放军陆军工程大学 | 基于主成分分析的卷积神经网络特征提取方法 |
| CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN110490840A (zh) * | 2019-07-11 | 2019-11-22 | 平安科技（深圳）有限公司 | 一种肾小球病理切片图像的细胞检测方法、装置及设备 |
| CN110570363A (zh) * | 2019-08-05 | 2019-12-13 | 浙江工业大学 | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 |
-
2020
- 2020-02-28 CN CN202010126736.9A patent/CN111291716B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203619A (zh) * | 2015-05-29 | 2016-12-07 | 三星电子株式会社 | 数据优化的神经网络遍历 |
| CN106096670A (zh) * | 2016-06-17 | 2016-11-09 | 北京市商汤科技开发有限公司 | 级联卷积神经网络训练和图像检测方法、装置及系统 |
| CN107844795A (zh) * | 2017-11-18 | 2018-03-27 | 中国人民解放军陆军工程大学 | 基于主成分分析的卷积神经网络特征提取方法 |
| CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN110490840A (zh) * | 2019-07-11 | 2019-11-22 | 平安科技（深圳）有限公司 | 一种肾小球病理切片图像的细胞检测方法、装置及设备 |
| CN110570363A (zh) * | 2019-08-05 | 2019-12-13 | 浙江工业大学 | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291716A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255352B (zh) | 目标检测方法、装置及系统 | |
| CN110569721B (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| CN109271870B (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| GB2580671A (en) | A computer vision system and method | |
| CN108875456B (zh) | 目标检测方法、目标检测装置和计算机可读存储介质 | |
| CN111524145A (zh) | 图片智能裁剪方法、系统、计算机设备及存储介质 | |
| CN111242128B (zh) | 目标检测方法、装置、计算机可读存储介质和计算机设备 | |
| CN111291716B (zh) | 精子细胞识别方法、装置、计算机设备和存储介质 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN114037637A (zh) | 一种图像数据增强方法、装置、计算机设备和存储介质 | |
| CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
| CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
| CN111753782A (zh) | 一种基于双流网络的假脸检测方法、装置及电子设备 | |
| CN112883983B (zh) | 特征提取方法、装置和电子系统 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN112381107A (zh) | 基于深度学习的物品x光检测方法、装置和计算机设备 | |
| CN110532959B (zh) | 基于双通道三维卷积神经网络的实时暴力行为检测系统 | |
| CN111242840A (zh) | 手写体字符生成方法、装置、计算机设备和存储介质 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN115272691A (zh) | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 | |
| CN109871814B (zh) | 年龄的估计方法、装置、电子设备和计算机存储介质 | |
| CN116612272A (zh) | 一种图像处理智能数字化的检测系统及其检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210630 Address after: 518000 F406, building F, Huafeng International Robot Industrial Park, Hangcheng Avenue, Nanchang community, Xixiang street, Bao'an District, Shenzhen City, Guangdong Province Applicant after: SHENZHEN REETOO BIOTECHNOLOGY Co.,Ltd. Address before: 518051 Shenzhen University, 3688 Nanhai Avenue, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |