CN112069874B - 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种胚胎光镜图像中细胞的识别方法，包括：对胚胎光镜图片进行预处理；对预处理后的胚胎光镜图片进行标注处理；将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果，所述FasterRCNN识别模型包括特征提取网络、RPN网络、Roi Align网络、分类回归网络及C‑NMS网络；根据所述细胞预测结果进行细胞识别。本发明还公开了一种胚胎光镜图像中细胞的识别系统、一种计算机设备及一种计算机可读存储介质。采用本发明，通过对FasterRCNN网络的深度优化，实现了胚胎光镜图片中细胞的精准提取，同时，本发明还构建了全新的C‑NMS网络，通过对被检测物体之间的重叠比例及面积比例的检测，灵活地调整检测分数，显著地降低了漏检率。

Description

胚胎光镜图像中细胞的识别方法及系统、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种胚胎光镜图像中细胞的识别方法、胚胎光镜图像中细胞的识别系统、计算机设备及计算机存储介质。

背景技术

随着医学的不断进步，医院试管婴儿、体外授精的技术日趋成熟，到医院尝试试管婴儿的个案不断增多，生殖科医生的工作量和强度随之增大。生殖科医生对胚胎光镜图片进行胚胎细胞的数量检测以及质量评估，既需要高度的精准判断，也需要不断地重复的图像浏览。目前，胚胎细胞数量检测与质量评估均是由人工完成，国内外并没有相应的自动化辅助技术。如何减少医生的重复劳动，同时解决胚胎图片中细胞重叠比例高，边界不明显等问题，提高判断的准确率，是当前医疗人工智能的一个重要和必要的任务。

深度学习技术应用于类似的医疗领域的技术也有一些尝试，例如：

技术1：Faster RCNN模型(Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time object detection with region proposal networks[C]//Advancesin neural information processing systems.2015:91-99.)是任少卿于2017年提出的一个通用目标检测框架，它是基于FastRCNN的改进版，在相同的检测精度下，达到了更快的检测速度。FasterRCNN是一种深度卷积神经网络模型，包括特征提取网络、RPN网络、分类回归网络三个模块。原论文中，作者采用了VGG16卷积神经网络作为特征提取网络。FasterRCNN进行目标检测的流程如下：首先，训练FasterRCNN模型，并且保存训练好的权重，然后进行检测，FasterRCNN模型载入训练好的权重，图片进入特征提取网络进行特征提取，得到特征图；然后，特征图输入到RPN网络，进行推荐框的产生；接着，产生的推荐框进入分类回归网络，进行推荐框的筛选与边界修正，并且得到预测的框；最后，用NMS算法去除冗余的预测框并在图片上标出预测得到的框，输出图片。虽然，原始的Faster RCNN模型检测速度较快，但是，其使用的NMS算法对于重叠物体的检测存在较高的漏检率，导致一些高重叠的细胞被漏检。

技术2：SoftNMS(Bodla N,Singh B,Chellappa R,et al.Soft-NMS--ImprovingObject Detection With One Line of Code[C]//Proceedings of the IEEEinternational conference on computer vision.2017:5561-5569.)是2017年提出的一种检测重叠物体的算法。NMS(非极大值抑制算法)是fasterrcnn的基本结构，它用于在模型预测阶段去除冗余的重叠检测框，SoftNMS是对原始NMS算法的改进，在低重叠物体的检测中表现较好，但是，其在高重叠物体以及覆盖物体上表现很差，会导致部分高重叠细胞被漏检。

因此，现有技术并没有提出能自动化高效检测和量化评估体外授精卵胚胎发育的技术方法。

发明内容

本发明所要解决的技术问题在于，提供一种胚胎光镜图像中细胞的识别方法、系统、计算机设备及计算机存储介质，可显著地降低了漏检率。

为了解决上述技术问题，本发明提供了一种胚胎光镜图像中细胞的识别方法，包括：对胚胎光镜图片进行预处理；对预处理后的胚胎光镜图片进行标注处理；将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果，所述FasterRCNN识别模型包括特征提取网络、RPN网络、Roi Align网络、分类回归网络及C-NMS网络；根据所述细胞预测结果进行细胞识别。

作为上述方案的改进，所述将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果的步骤包括：将经标注处理后的胚胎光镜图片输入特征提取网络进行特征提取，获得特征图；将所述特征图输入RPN网络进行识别及筛选处理，获得推荐框；将所述特征图及推荐框输入Roi Align网络进行映射及池化处理，获得推荐特征图；将所述推荐特征图输入分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。

作为上述方案的改进，所述将预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度的步骤包括：将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络；将所述初始置信度最大的预测框作为基准预测框；根据所述初始坐标分别计算每一预测框与所述基准预测框的重叠比；将所述重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；根据所述待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度；所述预测框将所述初始坐标作为目标坐标，将所述初始类别作为目标类别，将更新后的初始置信度作为目标置信度。

作为上述方案的改进，所述根据待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度的步骤包括：根据公式s_i＝s_if(iou(M,b_i),ar(M,b_i))，更新所述待调整预测框的初始置信度，其中，所述s_i为初始置信度，所述f为分值惩罚函数且

所述a＝iou(M,b_i)，所述iou(M,b_i)为待调整预测框b_i与基准预测框M的重叠比，所述b＝ar(M,b_i)，所述ar(M,b_i)为待调整预测框b_i与基准预测框M的面积比。

作为上述方案的改进，所述特征提取网络为ResNet50全卷积网络。

作为上述方案的改进，所述RPN网络包括三种推荐框，所述三种推荐框的长宽比例分别为1:1.5，1:1及1.5:1，所述推荐框的最大数量为80-120个。

作为上述方案的改进，采用邻域直方图均衡方法对所述胚胎光镜图片进行预处理。

相应地，本发明还提供了一种胚胎光镜图像中细胞的识别系统，包括：预处理模块，用于对胚胎光镜图片进行预处理；标注模块，用于对预处理后的胚胎光镜图片进行标注处理；预测模块，用于将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果，所述FasterRCNN识别模型包括特征提取网络、RPN网络、Roi Align网络、分类回归网络及C-NMS网络；识别模块，用于根据所述细胞预测结果进行细胞识别。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述识别方法的步骤。

相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述识别方法的步骤。

实施本发明，具有如下有益效果：

本发明通过对FasterRCNN网络的深度优化，实现了胚胎光镜图片中细胞的精准提取，可有效辅助医生确定发育最优的胚胎。具体地：

本发明构建了全新的C-NMS网络，C-NMS网络采用适用于拥挤检测物体的非极大值抑制算法，依据预测框的初始置信度的大小、预测框之间的重叠比例以及预测框之间的面积比，对预测框进行筛选，显著地降低了漏检率；

同时，本发明摒弃了原模型使用的ROI Pooling网络的取整操作，而是使用RoiAlign网络的双线性插值的方法估计推荐框非整数点的坐标值，然后再通过池化操作统一推荐框的尺寸，大大地提高了预测框位置的准确性。

本发明还在特征提取网络中引入ResNet50全卷积网络，层数更深，且具有残差结构，大大地提升了在特征提取的功能；

本发明还针对胚胎细胞的独特物理状态，对RPN网络的参数做了优化，提高了特征提取的效率。

附图说明

图1是本发明胚胎光镜图像中细胞的识别方法的第一实施例流程图；

图2是本发明胚胎光镜图像中细胞的识别方法的第二实施例流程图；

图3是本发明中FasterRCNN识别模型的示意图；

图4是本发明胚胎光镜图像中细胞的识别系统的结构示意图；

图5是本发明中预测模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

参见图1，图1显示了本发明胚胎光镜图像中细胞的识别方法的第一实施例流程图，其包括：

S101，对胚胎光镜图片进行预处理。

胚胎光镜图片由光镜拍摄，并未做染色处理，所以胚胎光镜图片整体呈现灰色。由于细胞的透明性，严重的重叠性，使得细胞的边界模糊，同时，胚胎光镜图片之间的亮度差异小，前景与背景颜色区分度的不足，这都给细胞识别造成了很大的困难。

为了提升前景与背景，以及各个细胞之间的颜色差异，本发明采用邻域直方图均衡方法对所述胚胎光镜图片进行预处理，从而提升胚胎光镜图片的对比度及各个胚胎光镜图片之间的亮度差异，使得胚胎光镜图片中细胞的边界更加清晰，细胞识别准确率提升将近3％。

S102，对预处理后的胚胎光镜图片进行标注处理。

在进入FasterRCNN识别模型之前，每一张训练集、验证集及测试集的胚胎光镜图片都需要进行标注。具体地：

训练集的标注信息用于计算损失，然后计算梯度进行求解；

验证集的标注信息用于计算当前训练条件下，验证集的准确率，评估当前模型是否收敛，是否过拟合；

测试集的标注信息用于与最终得到的模型的预测结果比较，计算得到最终模型的准确率。

S103，将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果。

现有的FasterRCNN框架由特征提取网络、RPN网络及分类回归网络3部分组成。与现有技术不同的是，本发明中，所述FasterRCNN识别模型对检测胚胎细胞的任务做了深度的优化，其包括特征提取网络、RPN网络、Roi Align网络、分类回归网络及C-NMS网络。同时，本发明还引入了全新的C-NMS方法，专门用于胚胎光镜图片中高重叠物体的检测，使得细胞的漏检率显著降低。

进一步，FasterRCNN识别模型的训练方式有三种：交替训练、近似联合训练和非近似联合训练。

本发明使用的是近似联合训练方式。首先，将特征提取网络初始化为ImageNet上的预训练ResNet50网络权重；然后，将其他网络的权重随机初始化为均值为0.1，方差为0.01的正态分布；再使用Keras和Tensorflow作为深度学习框架，在反向传播中使用的优化算法为SGD(Stochastic Gradient Descent)、学习率为0.025(学习率随迭代步数衰减至0.001)，总共做了70000次迭代。

S104，根据细胞预测结果进行细胞识别。

由上可知，本发明使用人工智能学习的技术，采用深度优化后的FasterRCNN识别模型自动检测体外授精卵的胚胎光镜图片，获得正常分裂的细胞个数，以辅助医生确定发育最优的胚胎。

参见图2及图3，图2及图3显示了本发明胚胎光镜图像中细胞的识别方法的第二实施例流程图，其包括：

S201，对胚胎光镜图片进行预处理。

S202，对预处理后的胚胎光镜图片进行标注处理。

S203，将经标注处理后的胚胎光镜图片输入特征提取网络进行特征提取，获得特征图。

现有技术中，特征提取网络一般选用VGG网络。与现有技术不同的是，本发明中，所述特征提取网络为ResNet50全卷积网络。ResNet50网络比原来的VGG网络层数更深，而且具有残差结构，在特征提取的功能上更胜一筹。

ResNet50是一个全卷积网络，总共有50个卷积层。ResNet50全卷积网络的输入是RGB三通道的胚胎光镜图片，胚胎光镜图片大小不做要求，输出是1024个通道的张量，包含了胚胎光镜图片的全部特征，张量大小取决于输入胚胎光镜图片的大小，张量的长宽会缩小为胚胎光镜图片长宽的1/16。

S204，将所述特征图输入RPN网络进行识别及筛选处理，获得推荐框。

RPN(Region Proposal Network)网络是一个三层的卷积网络，其作用是针对特征图产生一些感兴趣的推荐区域(也称作推荐框)，并且对这些推荐区域做一个初步的筛选，这些推荐区域可能代表着原始图像上的细胞的位置。

实际应用时，用户在特征图上滑动一个小窗口，这个窗口与特征图是全连接的。每一个滑动窗口得到一个低维的向量，这个向量将被用于推荐区域的分类和回归。事实上，滑动窗口的尺寸选取为3×3，滑动窗口的中心点将被映射到特征图上，用于在特征图上提取推荐框。每个中心点在特征图上提取9个不同的推荐框(含3种尺寸及3种比例)。这9个不同的推荐框将会送入RPN网络内部的分类网络及回归网络中，其中，分类网络用于判断这些推荐框是否属于细胞，而回归网络用于对推荐框的边界进行修正，使得推荐框准确的框住的细胞。分类网络是一个1×1卷积核的卷积网络，对每个推荐框都产生一个得分，得分越高则是细胞的概率越高。回归网络也是一个1×1卷积核的卷积网络，对每个推荐框都做4个位置的回归，包括推荐框的中心点坐标(x,y)以及推荐框的长与宽。在整个特征图上，大概会产生20000个推荐框，这些推荐框在进入分类网络以及回归网络之前，会进行一个筛选，筛选过后大概会留下100个推荐框。

所述RPN网络包括三种推荐框，现有技术中，RPN网络中三种推荐框的长宽比例一般为1:2，1:1及2:1，推荐框的最大数量为300。针对胚胎细胞的独特物理状态(细胞的形状偏圆形)，个数在11个以下等特点，本发明对RPN网络的一些超参数做了优化。具体地，本发明将RPN网络中三种推荐框的长宽比由现有的(1:2，1:1，2:1)改为(1:1.5，1:1，1.5:1)，将推荐框的最大个数由300改为80-120个(优选为100个)，大大地提高了特征提取的效率。

S205，将所述特征图及推荐框输入Roi Align网络进行映射及池化处理，获得推荐特征图。

Roi Align网络的输入有两个，一个是特征提取网络输出的特征图，另一个是RPN网络输出的推荐框。特征图及推荐框输入Roi Align网络后，先通过所述Roi Align网络将所述推荐框映射至所述特征图上，再通过所述Roi Align网络在所述特征图上对所述推荐框进行池化处理，生成固定大小的推荐特征图(proposal feature maps)。

需要说明的是，RPN层输出的推荐框尺寸不一致，没法输入到全连接层进行推荐框类别的判定，而ROI Align网络的作用是将输入的推荐框池化到同一种尺寸(14×14)。与现有技术不同的是，本发明摒弃了原模型使用的ROI Pooling网络的取整操作，而是使用双线性插值的方法估计推荐框非整数点的坐标值，然后再通过池化操作统一推荐框的尺寸，这提高了预测框位置的准确性。

S206，将所述推荐特征图输入分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度。

分类回归网络的输入是Roi Align网络输出的大小相同的推荐特征图，分类回归网络对推荐特征图再次进行边界框回归的操作，获得更高精度的推荐框，其中，所述分类回归网络包括分类网络及回归网络，具体地：所述分类网络对所述推荐特征图进行识别判断，生成预测框初始类别及预测框初始置信度；所述回归网络对所述推荐特征图进行边界修正，生成预测框初始坐标。

S207，将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。

传统的物体检测流程常常采用多尺度滑动窗口，根据每个物体类别的前景/背景分数对每个窗口计算其特征。然而，相邻窗口往往具有相关的分数(即置信度)，这会增加检测结果的假阳性。为了避免这样的问题，通常会采用NMS(非极大值抑制方法)对预测框进行后续处理来得到最终的预测框。

NMS是目标检测模型在预测阶段剔除冗余目标的标准方法，其针对特定物体类别分别设定重叠阈值来解决这个问题。NMS首先在被检测图片中产生一系列的检测框以及对应的分数。当选中最大分数的检测框后，任何与该检测框的重叠部分大于重叠阈值的相邻检测框也将随之移除。非极大值抑制算法中的最大问题就是它将相邻检测框的分数均强制归零。在这种情况下，如果一个真实物体在重叠区域出现，则将导致对该物体的检测失败并降低了算法的平均检测率。由于NMS仅仅用到检测物体之间的重叠比例，没有用到物体本身的特性，使得NMS在普通的物体检测问题的表现优异，但是在检测目标重叠率较高时，NMS容易漏检。

因此，本发明引入了全新、独特的C-NMS网络。C-NMS网络采用适用于拥挤检测物体的非极大值抑制算法，依据预测框的初始置信度的大小、预测框之间的重叠比例以及预测框之间的面积比，对预测框进行筛选，输出最终筛选得到的预测框的目标坐标、目标类别及目标置信度。

具体地，所述将预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度的步骤包括：

(1)将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络；

(2)将所述初始置信度最大的预测框作为基准预测框；

(3)根据所述初始坐标分别计算每一预测框与所述基准预测框的重叠比；

(4)将所述重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；

(5)根据所述待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度；

因此，本发明中的C-NMS不仅使用了被检测物体之间的重叠比例，而且使用了被检测物体自身所占的面积之间的比例，重叠比例越高，面积差距越大的细胞，被抑制的可能性就越大，该算法在胚胎细胞检测这种超高重叠比例的检测中，显著降低了漏检率。

具体地，所述根据待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度的方法为：

根据公式s_i＝s_if(iou(M,b_i),ar(M,b_i))，更新所述待调整预测框的初始置信度，其中，

所述s_i为初始置信度，所述f为分值惩罚函数且

所述a＝iou(M,b_i)，所述iou(M,b_i)为待调整预测框b_i与基准预测框M的重叠比，即iou(M,b_i)＝M与b_i的交集面积/M与b_i的并集面积；

所述b＝ar(M,b_i)，所述ar(M,b_i)为待调整预测框b_i与基准预测框M的面积比，即r(M,b_i)＝min(M,b_i)/max(M,b_i)。

需要说明的是，iou(M,b_i)越大，待调整预测框b_i的分值降低的越多；ar(M,b_i)越大，待调整预测框b_i的分值降低的也越多。而且iou(M,b_i)与ar(M,b_i)是独立的。

综上所述，C-NMS基于重叠部分的大小以及相邻检测框之间的面积比，为相邻检测框设置一个分值惩罚函数，而非彻底将其分数置为零，该分值惩罚函数的变量是相邻检测框之间的重叠比例以及相邻检测框之间的面积比。简单来讲，如果一个检测框与基准预测框有大部分重叠，而且他们的面积比接近于1，则它会有很低的分数；而如果检测框与基准预测框只有小部分重叠，或者他们之间的面积比低于某一个阈值，那么它的原有检测分数不会受太大影响。而且，C-NMS不需要额外的训练且易于实现。

(6)所述预测框将所述初始坐标作为目标坐标，将所述初始类别作为目标类别，将更新后的初始置信度作为目标置信度。

因此，通过步骤S207可进一步确定预测框的目标坐标、目标类别及目标置信度。

S208，根据细胞预测结果进行细胞识别。

由上可知，本发明通过对FasterRCNN网络的深度优化，实现了胚胎光镜图片中细胞的精准提取，可有效辅助医生确定发育最优的胚胎。具体地：本发明构建了C-NMS网络，通过对被检测物体之间的重叠比例及面积比例的检测，灵活地调整检测分数，显著地降低了漏检率；同时，本发明在特征提取网络中引入ResNet50全卷积网络，层数更深，且具有残差结构，大大地提升了在特征提取的功能；另外，本发明还针对胚胎细胞的独特物理状态，对RPN网络的参数做了优化，提高了特征提取的效率。

参见图4，图4显示了本发明胚胎光镜图像中细胞的识别系统100的具体结构，其包括：

预处理模块1，用于对胚胎光镜图片进行预处理。预处理模块1采用邻域直方图均衡方法对所述胚胎光镜图片进行预处理，从而提升胚胎光镜图片的对比度及各个胚胎光镜图片之间的亮度差异，使得胚胎光镜图片中细胞的边界更加清晰。

标注模块2，用于对预处理后的胚胎光镜图片进行标注处理。在进入FasterRCNN识别模型之前，每一张训练集、验证集及测试集的胚胎光镜图片都需要通过标注模块2进行标注，其中，训练集的标注信息用于计算损失，然后计算梯度进行求解；验证集的标注信息用于计算当前训练条件下，验证集的准确率，评估当前模型是否收敛，是否过拟合；测试集的标注信息用于与最终得到的模型的预测结果比较，计算得到最终模型的准确率。

预测模块3，用于将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果。所述FasterRCNN识别模型包括特征提取网络、RPN网络、RoiAlign网络、分类回归网络及C-NMS网络。

识别模块4，用于根据所述细胞预测结果进行细胞识别。

因此，本发明通过计算机辅助的手段，使用人工智能学习的技术，采用深度优化后的FasterRCNN识别模型自动检测体外授精卵的胚胎光镜图片，获得正常分裂的细胞个数，以辅助医生确定发育最优的胚胎。

如图5所示，预测模块3包括：

特征提取单元31，用于将经标注处理后的胚胎光镜图片输入特征提取网络进行特征提取，获得特征图。所述特征提取单元31引入ResNet50全卷积网络，比原来的VGG网络层数更深，而且具有残差结构，在特征提取的功能上更胜一筹。

RPN单元32，用于将所述特征图输入RPN网络进行识别及筛选处理，获得推荐框。RPN单元32对RPN网络的一些超参数做了优化。具体地，RPN单元将RPN网络中三种推荐框的长宽比由现有的(1:2，1:1，2:1)改为(1:1.5，1:1，1.5:1)，将推荐框的最大个数由300改为80-120个(优选为100个)，大大地提高了特征提取的效率。

Roi Align单元33，用于将所述特征图及推荐框输入Roi Align网络进行映射及池化处理，获得推荐特征图。

分类回归单元34，用于将所述推荐特征图输入分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；

C-NMS单元35，用于将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。

需要说明的是，C-NMS单元35中引入了独特的C-NMS网络。C-NMS网络采用适用于拥挤检测物体的非极大值抑制算法，依据预测框的初始置信度的大小、预测框之间的重叠比例以及预测框之间的面积比，对预测框进行筛选，输出最终筛选得到的预测框的目标坐标、目标类别及目标置信度。

工作时，C-NMS单元35先将所述初始置信度最大的预测框作为基准预测框；再根据所述初始坐标分别计算每一预测框与所述基准预测框的重叠比；并将所述重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；然后，根据所述待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度，具体地，根据公式s_i＝s_if(iou(M,b_i),ar(M,b_i))，更新所述待调整预测框的初始置信度，其中，所述s_i为初始置信度，所述f为分值惩罚函数且

所述a＝iou(M,b_i)，所述iou(M,b_i)为待调整预测框b_i与基准预测框M的重叠比，即iou(M,b_i)＝M与b_i的交集面积/M与b_i的并集面积；所述b＝ar(M,b_i)，所述ar(M,b_i)为待调整预测框b_i与基准预测框M的面积比，即r(M,b_i)＝min(M,b_i)/max(M,b_i)。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述识别方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述识别方法的步骤。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种胚胎光镜图像中细胞的识别方法，其特征在于，包括：

对胚胎光镜图片进行预处理；

对预处理后的胚胎光镜图片进行标注处理；

将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果，所述FasterRCNN识别模型包括特征提取网络、RPN网络、RoiAlign网络、分类回归网络及C-NMS网络；

根据所述细胞预测结果进行细胞识别；

所述将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果的步骤包括：将经标注处理后的胚胎光镜图片输入特征提取网络进行特征提取，获得特征图；将所述特征图输入RPN网络进行识别及筛选处理，获得推荐框；将所述特征图及推荐框输入RoiAlign网络进行映射及池化处理，获得推荐特征图；将所述推荐特征图输入分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度；

所述将预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度的步骤包括：将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络；将所述初始置信度最大的预测框作为基准预测框；根据所述初始坐标分别计算每一预测框与所述基准预测框的重叠比；将所述重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；根据所述待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度；所述预测框将所述初始坐标作为目标坐标，将所述初始类别作为目标类别，将更新后的初始置信度作为目标置信度；

所述C-NMS网络采用非极大值抑制算法，并依据预测框的初始置信度的大小、预测框之间的重叠比例以及预测框之间的面积比，对预测框进行筛选，以输出最终筛选得到的预测框的目标坐标、目标类别及目标置信度，其中，所述C-NMS网络根据公式s_i=s_if(iou(M,b_i),ar(M,b_i))，更新待调整预测框的初始置信度，所述s_i为初始置信度，所述f为分值惩罚函数且

，所述a=iou(M,b_i)，所述iou(M,b_i)为待调整预测框b_i与基准预测框M的重叠比，所述b=ar(M,b_i)，所述ar(M,b_i)为待调整预测框b_i与基准预测框M的面积比。

2.如权利要求1所述的胚胎光镜图像中细胞的识别方法，其特征在于，所述特征提取网络为ResNet50全卷积网络。

3.如权利要求1所述的胚胎光镜图像中细胞的识别方法，其特征在于，所述RPN网络包括三种推荐框，所述三种推荐框的长宽比例分别为1:1.5，1:1及1.5:1，所述推荐框的最大数量为80-120个。

4.如权利要求1所述的胚胎光镜图像中细胞的识别方法，其特征在于，采用邻域直方图均衡方法对所述胚胎光镜图片进行预处理。

5.一种胚胎光镜图像中细胞的识别系统，其特征在于，包括：

预处理模块，用于对胚胎光镜图片进行预处理；

标注模块，用于对预处理后的胚胎光镜图片进行标注处理；

预测模块，用于将经标注处理后的胚胎光镜图片输入事先训练的FasterRCNN识别模型以生成细胞预测结果，所述FasterRCNN识别模型包括特征提取网络、RPN网络、RoiAlign网络、分类回归网络及C-NMS网络；

识别模块，用于根据所述细胞预测结果进行细胞识别；

所述预测模块包括：特征提取单元，用于将经标注处理后的胚胎光镜图片输入特征提取网络进行特征提取，获得特征图；RPN单元，用于将所述特征图输入RPN网络进行识别及筛选处理，获得推荐框；RoiAlign单元，用于将所述特征图及推荐框输入RoiAlign网络进行映射及池化处理，获得推荐特征图；分类回归单元，用于将所述推荐特征图输入分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；C-NMS单元，用于将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度；

所述C-NMS单元将所述预测框的初始坐标、初始类别及初始置信度输入C-NMS网络；将所述初始置信度最大的预测框作为基准预测框；根据所述初始坐标分别计算每一预测框与所述基准预测框的重叠比；将所述重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；根据所述待调整预测框与基准预测框的重叠比及面积比更新所述待调整预测框的初始置信度；所述预测框将所述初始坐标作为目标坐标，将所述初始类别作为目标类别，将更新后的初始置信度作为目标置信度；

所述C-NMS网络采用非极大值抑制算法，并依据预测框的初始置信度的大小、预测框之间的重叠比例以及预测框之间的面积比，对预测框进行筛选，以输出最终筛选得到的预测框的目标坐标、目标类别及目标置信度，其中，所述C-NMS网络根据公式s_i=s_if(iou(M,b_i),ar(M,b_i))，更新待调整预测框的初始置信度，所述s_i为初始置信度，所述f为分值惩罚函数且

，所述a=iou(M,b_i)，所述iou(M,b_i)为待调整预测框b_i与基准预测框M的重叠比，所述b=ar(M,b_i)，所述ar(M,b_i)为待调整预测框b_i与基准预测框M的面积比。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

Images