CN110263656A - 一种癌细胞识别方法、装置和系统 - Google Patents

Abstract

本发明公开了一种癌细胞识别方法、装置和系统。方法包括处理细胞图像以获取第一特征图；处理第一特征图以获得集合；处理集合以获得第二特征图，处理第二特征图以获得癌细胞检测框和癌细胞编码；基于深度学习网络处理癌细胞检测框以输出种类信息。本发明通过处理细胞图像以获得椭圆的细胞候选框的集合，椭圆形候选框相对于正常的矩形框，能够降低后续处理时出现的背景噪音；处理集合以获得癌细胞检测框和癌细胞编码，分割癌细胞以供种类分析，癌细胞编码能降低后续批量处理图像难度；处理癌细胞检测框以输出种类信息，能够通过成熟的深度学习网络识别得到癌细胞的类型，相对于现有的识别方式，更能适应复杂细胞环境下的癌细胞识别。

Description

一种癌细胞识别方法、装置和系统

技术领域

本发明涉及医疗技术领域，尤其是一种癌细胞识别方法、装置和系统。

背景技术

癌细胞是一种变异的细胞，也是产生癌症的病源，癌细胞与正常细胞不同，有无限增殖、可转化和易转移三大特点，能够无限增殖并破坏正常的细胞组织。癌细胞除了分裂失控外(能进行多极分裂)，还会局部侵入周遭正常组织甚至经由体内循环系统或淋巴系统转移到身体其他部分，导致人体产生难以治愈的恶性肿瘤；现有的癌症的治愈率不高的一个主要的原因在于癌症发现的时期太晚，因此，如果能够提前发现癌症的迹象，然后采取合理的治疗方法，则能够显著提高癌症的治疗率。

现有的癌细胞识别的算法，其原理大多基于针对癌细胞的形态与正常细胞的区别来判断是否属于癌细胞；出于降低检测的难度的考虑，会提取小部分的细胞组织进行分离，然后进行检测，被检测细胞存在细胞层数单薄的问题，但是实际上，由于癌细胞的转移特性，出现地点的复杂性，导致现场面临的细胞检测会出现需要提取更大体积的、具备多种细胞结构的细胞组织，因此出现细胞数量大，细胞层数多导致识别率不高的问题。

发明内容

本发明实施例旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明实施例的一个目的是提供一种癌细胞识别方法、装置和系统。

本发明所采用的技术方案是：

第一方面，本发明实施例提供一种癌细胞识别方法，包括：处理待检测的细胞图像以获取第一特征图；基于区域建议网络处理所述第一特征图以获得椭圆的细胞候选框的集合；基于ROI Align处理所述细胞候选框的集合以获得第二特征图，通过预设的全连接网络处理所述第二特征图以获得癌细胞检测框并赋予用于区别癌细胞的癌细胞编码；基于预设的深度学习网络处理所述癌细胞检测框以输出用于标记癌细胞种类的种类信息。

优选地，还包括：通过Mask RCNN算法处理所述第二特征图以获得细胞掩码图。

优选地，还包括：基于非极大值抑制方法消除重复的所述癌细胞检测框。

优选地，基于ResNet网络、inception网络、VGG网络和DenseNet中的一种以上的网络，处理待检测的细胞图像以获取第一特征图。

优选地，还包括：保存最少两张不同的所述待检测的细胞图像；基于欧氏距离确定不同的待检测的细胞图像中的同一个细胞，赋予其统一的癌细胞编码和统一的种类信息。

优选地，还包括：当完成输出种类信息，获取外部输入信息以重新标记指定的癌细胞的种类信息，根据癌细胞编码确定被保存的所述待检测的细胞图像中的对应癌细胞，修改其种类信息。

优选地，还包括：获取外部输入信息以重新标记指定的癌细胞的种类信息，以重新标记后的癌细胞的图像作为深度学习网络的训练样本。

第二方面，本发明实施例提供一种癌细胞识别装置，包括：特征处理单元，用于处理待检测的细胞图像以获取第一特征图；细胞识别单元，用于基于区域建议网络处理所述第一特征图以获得椭圆的细胞候选框的集合；癌细胞标记单元，用于基于ROI Align处理所述细胞候选框的集合以获得第二特征图，通过预设的全连接网络处理所述第二特征图以获得癌细胞检测框和用于区别癌细胞的癌细胞编码；癌细胞识别单元，用于基于预设的深度学习网络处理所述癌细胞检测框以输出用于标记癌细胞种类的种类信息。

优选地，所述癌细胞标记单元，用于通过Mask RCNN算法处理所述第二特征图以获得细胞掩码图。

优选地，所述癌细胞标记单元，用于基于非极大值抑制方法消除重复的所述癌细胞检测框。

优选地，所述特征处理单元，用于基于ResNet网络、inception网络、VGG网络和DenseNet中的一种以上的网络，处理待检测的细胞图像以获取第一特征图。

优选地，癌细胞标记单元，用于保存最少两张不同的所述待检测的细胞图像；基于欧氏距离确定不同的待检测的细胞图像中的同一个细胞，赋予其统一的癌细胞编码和统一的种类信息。

优选地，装置还包括修改单元，用于当完成输出种类信息，获取外部输入信息以重新标记指定的癌细胞的种类信息，根据癌细胞编码确定被保存的所述待检测的细胞图像中的对应癌细胞，修改其种类信息。

优选地，装置还包括反馈单元，用于获取外部输入信息以重新标记指定的癌细胞的种类信息，以重新标记后的癌细胞的图像作为深度学习网络的训练样本。

第三方面，本发明实施例提供一种癌细胞识别系统，包括：图像输入单元，用于执行上述识别方法的处理单元，显示单元和输入组件；所述图像输入单元获取待处理的细胞图像，所述处理单元处理所述细胞图像以获取用于确定细胞核位置的候选框、用于描述细胞种类的种类信息，整合所述细胞图像、所述候选框和所述种类信息以生成整体图像；所述显示单元显示所述整体图像。

优选地，所述输入组件获取外部输入信息并将所述外部输入信息传输至所述处理单元以重新标记指定的癌细胞的种类信息。

优选地，还包括图像处理单元，用于根据处理单元输出的处理指令调整所述整体图像的基本图像属性，将调整后的所述整体图像传输至所述显示单元。

优选地，所述输入组件包括键盘、鼠标、写字板和触摸屏中的最少一个。

优选地，还包括存储介质，所述存储介质用于存储残差网络、区域建议网络、全连接网络、深度学习网络和Mask RCNN网络中的最少一个。

本发明实施例的有益效果是：

本发明实施例基于残差网络处理细胞图像以获取第一特征图；基于区域建议网络处理第一特征图以获得椭圆的细胞候选框的集合，椭圆形候选框相对于正常的矩形框，能够降低后续处理时出现的背景噪音；基于ROI Align处理细胞候选框的集合以获得第二特征图，通过全连接网络处理第二特征图以获得癌细胞检测框并赋予用于区别癌细胞的癌细胞编码，能通过分割癌细胞以供后续的种类的分析，通过癌细胞编码能够降低后续批量处理图像的难度；基于深度学习网络处理癌细胞检测框以输出用于标记癌细胞种类的种类信息，能够通过成熟的深度学习网络识别得到癌细胞的类型，相对于现有的识别方式，更能适应复杂细胞环境下的癌细胞识别。

附图说明

图1是本发明实施例的一种癌细胞识别方法的示意图；

图2是本发明实施例的一种癌细胞识别装置的示意图；

图3是本发明实施例的一种癌细胞识别系统的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

随着全球高科技的发展，智能医疗和安全的治疗成为每个国家的聚焦话题，实现这一概念所需的基础设施中的一个要点就是：无处不在的人工智能网络将有可能被嵌入到每个医疗设备，包含正电子CT，MRI，电镜系统当中去，然后被用于检测图片中的异常细胞。通过的通过检测细胞的各种形态以区别细胞种类的方式，所检测的目标都是简单细胞组织，例如细胞种类少，细胞重叠不多，而面对更多细胞种类存在、细胞重叠不易判断的细胞组织时，识别率不高。为了避免误判事故的发生，我们不仅仅需要检测细胞的大小，还要预测细胞的形状以及在组织中的分布密度，当医生拿到图片的时候可以看到更多的提示信息。

现有的细胞识别原理包括：细胞以及细胞核的长短轴平均值和方差的算法一直以来被用于分析癌细胞特征，是一种传统的统计解决方法。细胞识别还包括：语义识别，即通常意义上的目标分割指的是语义分割，语义分割已经有很长的发展历史，已经取得了很好地进展；癌细胞切片图包含的细胞种类并不多，所以单纯的语义分割不解决问题，尤其是恶性肿瘤，以及在一个月以下的癌组织，实例中，癌组织的边界的形状会奇形怪状，现有很多语义分析方法模型可解释非常低，癌细胞的预测结果很难让医生相信。

考虑到植物细胞是方形的，动物细胞是圆形的，传统方形的矩形的候选框更加合适检测植物细胞的异常。本发明主要关注人的癌细胞，所以提出了椭圆细胞候选框的新概念，能够更好的适应动物细胞的检测需求。

平均值和方差参数被用作细胞长短轴变动的度量，它涉及到空间序列的第一阶矩和第二阶矩，并且它们通过标准方差相连。本实施例将实数域整幂次方差概念继续扩展到一个复数域分数幂次方差，并给出自动识别应用案例，一个基于贝塞尔修正的无偏估计量的方差由下式给出，用n代替n-1来表示产生无偏差的样本方差，公式为：其中，S为标准差，ξ为涉及的变量，该公式等效于样品的二阶中心矩，均值是第一阶矩。

由于癌细胞的绝对尺寸与相对尺寸都同时与正常细胞不一样，采用普通方差不能同时提取这两个特征。为此，需要在上述的定义基础上扩展到分数方差，计算椭圆模板(该模板属于语义识别的一环)时，椭圆模板是分数阶的，比方说1.5。

该公式可以区别不同种类的癌细胞的特征。

为解决现有技术的缺陷，本实施例提供如图1所示的一种癌细胞识别方法，包括：

S1、处理待检测的细胞图像以获取第一特征图；

S2、基于区域建议网络处理所述第一特征图以获得椭圆的细胞候选框的集合；

S3、基于ROI Align处理所述细胞候选框的集合以获得第二特征图，通过预设的全连接网络处理所述第二特征图以获得癌细胞检测框并赋予用于区别癌细胞的癌细胞编码；

S4、基于预设的深度学习网络处理所述癌细胞检测框以输出用于标记癌细胞种类的种类信息。

癌细胞的具体的识别原理和步骤包括：

1.图像特征提取：先对细胞图片，即细胞图像，进行立方插值拉伸缩放到指定大小，再使用预先训练好的特征提取网络作为特征提取层，对输入图像进行特征提取，得出特征图给后续的模块使用；其中，插值的目的是统一图像的尺寸以适应特征提取网络，而图像的特征提取属于领域内的常规手段，本实施例不进行进一步的说明，通过本步骤，能够将图像转换成更易进行计算机解释和分析的图像特征，即第一特征图。

2.基于特征图的区域生成：将第一特征图划分成很多很多个小栅格，使用一个固定大小的滑窗，对于窗口内的像素进行卷积操作，遍历所得的特征图，产生一个1*256维度的向量，即特征向量，其实质为以颜色作为特征的向量，因为不同的物体颜色不一致的可能性较大，而在图像处理中像素的颜色是很重要的区别特征；然后对于此向量，同时进行两个卷积操作，第一个卷积操作生成若干个候选框，例如为9个，一个候选框为(x,y,w,h)形式的1*4维向量，其中，x和y是生成的候选框的中心坐标，w和h是候选框的宽度和高度，并且w和h的比例固定，可以有多种不同的比例，第二个卷积输出是与候选框对应的，9个形式为(foreground,background)的1*2维向量，foreground和background分别是是物体/细胞的概率和不是物体/背景的概率，之后只保留指定概率区间内的候选框；其中，通过关于颜色的特征向量的生成，能够作为分辨不同物体的区域的计算基础，而通过第一个卷积操作处理颜色的特征向量并生成用于显示物体的位置的候选框；通过第二个卷积操作来计算出一个合理的参考值，根据参考值和用于比较的阈值来判断识别的概率，而具体的卷积操作所涉及的计算系数/计算参数的选择，可以从日常的实践中得到，通过本步骤，能够区别细胞和背景，有利于降低后续处理的难度，而本实施例所涉及的背景为在生成细胞图像时，未被形成显著展示特征的图像元素的细胞液、血液、培养皿等物体。

3.池化过程：得到了候选框后，使用四舍五入的方法对不同尺寸的特征图上的候选框区域进行拉伸缩放到同一尺寸，然后池化为相同大小的特征区域以便后续的识别网络工作；其中，由于癌细胞的变异特性，实际中同一类的癌细胞仍然会存在一定的形态上的区别，出于适应这些区别，设置了多个候选框的高度和宽度的比例，因此，也会出现候选框尺寸不一的情况，通过本实施例的池化的过程，能够降低后续的识别工作/识别步骤的处理难度。

4.椭圆去重叠：对池化后的图像，进行卷积识别，识别出物体种类，并且再次使用回归网络对每个候选框进行回归以得到(x,y,a,b)形式的1*4维向量，a为椭圆长轴，b为椭圆半轴，这个向量表征一个椭圆框，框的集合即第二特征图；在实际的测试中，椭圆框筛选能够弥补长方窗口的背景噪音短板，因此采取池化、归化的方式进行第二特征图的生成，通过调节候选框的方式调整重叠边界的位置和大小，同时计算每个像素的类别以进行掩码的处理，最后每个细胞只保留一个椭圆候选框并且彼此没有重叠，进行细胞核的分割；因为细胞核边界通常没有重叠，因此计算细胞核掩码时，在传统IoU损失函数外，增加一个边界损失函数，惩罚重叠的边缘。

损失函数就是计算边界的评分标准，则回归加掩码预测的损失之和：L＝Lbox+Lclass+Lmask+Loverlap，其中，对于掩码分支和其他的分类分支一样，使用全卷积网络输出，输出了若干类的掩码，注意这里掩码的输出使用了sigmoid函数。最后可以通过与阈值0.5作比较输出二值掩码。这样避免了类间的竞争，将分类的任务交给专业的语义分支。通过掩码的方式能够降低不同的细胞之间的显示的冲突，通过语义识别的方式处理具体的细胞能够实现细胞种类的识别，语义识别所涉及的具体的参数，可以从训练中获取。

通过椭圆拟合的方式修改候选框以形成椭圆的癌细胞检测框的本质在于根据组织背景以及细胞的特征，学习推理优化形成最佳椭圆拟合窗口以弥补检测窗口对大小反应迟钝的缺陷，同时结合椭圆窗口筛选弥补长方(矩形)窗口的背景噪音较多的短板。

实施例2

本实施例的目的在于进一步说明实施例涉及的前序的训练工作的原理/步骤，和后续的现实应用的过程。

用于识别癌细胞的识别网络的建立和训练，包括：

S01、对组织切片的显微镜视频逐桢进行人工处理，对每张图片中出现细胞的区域进行人工标定，每个细胞得出一张标定图，标定图内每个像素只能为0或者1(为0代表该像素不是属于该细胞，为1代表该像素属于该细胞)，同一个组织切片样本的视频图片文件编号为V，该细胞的编号为N，则对应的标定图命名为V_N，最终对图像pi得到标定图集合Ti，即建立一帧图像的训练样本

S02、重复S01，标定M桢图像，例如M>8000，逐一进行人工判断，分别确定每个细胞是否为癌细胞，记录癌细胞的编号为集合{n1,n2,n3,……}，编号从1开始到n,n为癌细胞的个数，n>100,每个癌细胞出现的次数>12，对于编号为ni的癌细胞记录身份为1x(n+1)编号向量di＝(0,0,0……,0,ei,0,0…)，首位位置为第0位，则第i位元素ei＝1，并且记录类别向量(0，1)，对于非癌细胞，则编号向量为d0＝(1,0,0,0,……),只有首位为1，其他位置的元素全为0，该向量尺寸为1x(N+1)，并且记录类别向量(1，0)，对每桢图像，都可以得到对应的细胞编号向量集合Di和类别向量集合CLi，i为图像的对应标识编号，即建立多帧图像的训练样本。

S03、运用立方插值算法，对S01中显微镜视频每桢图像和标定图图像逐一进行缩放到H*W，使各图像大小相同，得到图像集合P，调用opencv的fitEllipse函数，使用椭圆曲线拟合细胞，计算每张标定图里细胞的长轴a和短轴b、两个焦点(Xa,Ya)和(Xb,Yb)、细胞中心在缩放后的原图片里的坐标(x,y)，记录为检测框向量(Xa,Ya,Xb,Yb,a,b)，对P里的图像pi最终得到检测框集合GTi，P里一个图片pi、对应的标定图集合Gi、检测框向量集合GTi、类别向量集合CLi四个数据一起，作为一个训练和测试样本，其中，pi是训练和测试的输入数据，Gi、GTi、CLi是标签，抽取M1个训练样本作为训练集合Train，抽取M-Mi个作为验证集合Test，Mi>7000，同一尺寸并区分为各种样本以供后续的使用。

S04、网络架构特征提取阶段，使用Resnet101的卷积层CN1作为整个模型的前端用来提取特征图，并且初始参数使用Pytorch官方提供的完成训练的模型参数，即基于残差网络处理待检测的细胞图像以获取第一特征图；Resnet系列网络结构如下，[3x3,128]x2的含义为有两层的卷积核尺寸为3x3，卷积步长默认1，输出通道个数位128，激活函数为ReLu的卷积层：输入的图片尺寸为H*W，经过conv1到conv4_x的计算，获得尺寸为(H/16)*(W/16)*1024的输出O1，长宽高缩小16倍，当然除了残差网络也可以采取inception网络、VGG网络和DenseNet中一种以上的网络进行第一特征图的获取，而inception网络、VGG网络和DenseNet属于成熟的技术，本实施例不进行进一步的说明。

S05、网络架构检测框(候选框)的回归和物体分类阶段，O1输入RPN(RegionProposal Networks，即区域建议网络)回归出物体检测框并且判别该框内物体类别。RPN使用一个固定大小为3x3的滑窗，对于窗口内的像素进行卷积操作，遍历S04所得的特征图，每次滑窗产生一个1*256维度的向量，然后对于此向量，同时输入两个全连接网络模块，第一个全连接网络模块F1一共两个并行的一层的全连接层，每个全连接层输出一个候选框向量，一共生成两个候选框，每个候选框为(xa,ya,xb,yb,a,b)形式的1*6维向量，xa和xb是生成的椭圆候选框两个焦点的x轴的坐标,ya和yb则是y轴坐标，a和b是候选框的长轴和短轴，第二个全连接网络模块F2只有一个单层的全连接层是两个形式为(foreground,background)的1*2维向量，foreground和background分别是是物体的概率和不是物体的概率，之后只保留指定概率区间(0.5到1)内的候选框，候选框输出为候选框向量gi＝(xai,yai,xbi,ybi,ai,bi)的集合G，候选框的坐标是基于输入图片的坐标系H*W，其目的与上述的步骤2一致，即通过针对于卷积特征图所得到的向量借由全连接网络进行处理，而本步骤的全连接网络的具体的参数是根据其要实现的目的决定的，其目的是区别细胞与背景，其对应的权值、激活函数、偏置值等都可以借由实际的训练/实践得到。

S06、网络架构特征图提炼阶段，对G内每个候选框对应到O1的区域，比如gi＝(xai,yai,xbi,ybi,ai,bi)，计算该椭圆候选框的外界矩形为(xi,yi,xi+wi,yi+hi)，xi和yi是矩形左上角的定点坐标，w和h是矩形的宽和高，对应的，O1每一个通道的区域为(xi/16,yi/16,(xi+wi)/16,(yi+hi)/16)，使用双线性插值方法统一缩放到到(xi,yi,xi+wi,yi+hi),然后进行最大池化操作，该候选框都得到7x7x1024的特征图O2i，具体可以是基于ROIAlign池化处理所述细胞候选框的集合以获得第二特征图，其中，ROI(Region ofinterest)Align，是Faster RCNN的ROI pooing的改进版本。

S07、网络架构结果输出阶段，把O2i输入识别网络的四个模块以分别得到物体掩码图、两个检测框(检测框的输出形式和RPN一样)、物体类别向量、细胞的身份向量。

其中，通过Mask RCNN算法处理所述第二特征图以获得细胞掩码图，包括：O2i经过转置卷积网络模块CN2，CN2是一个简单的转置卷积网络，第一层是卷积核尺寸为2x3，步长为2，输出通道为256的转置卷积层，第二层卷积核尺寸为2x3，步长为2，输出通道为2的转置卷积层，最终得到两张28x28的掩码图，通道一的掩码图是非癌细胞的掩码图，通道二的掩码图是癌细胞的掩码图，如果该细胞是癌细胞则通道二输出的该细胞的掩码，而通道一输出的图像元素应全为0，非癌细胞则反之，最后得到的掩码图缩放到最终椭圆检测框的外界矩形大小作为CN2的输出，即通过转置卷积网络处理所述第二特征图以获得细胞掩码图，其目的主要是有利于后续的识别处理免于收到相互的干扰，同时也能作为一个输出的结果，根据该输出的结果，实际操作的医疗人员就可以直接对可疑的细胞进行识别，其中，通道一和通道二为相对的概念，并非具体设置哪一个为一、而是其中为一，另一个为二。

同时对O2i进行向量化操作，同时输入三个全连接网络模块，第一个全连接网络模块F’1一共两个并行的一层的全连接层，每个全连接层输出一个候选框向量，一共生成两个候选框，每个候选框为(xa,ya,xb,yb,a,b)形式的1*6维向量，xa和xb是生成的椭圆候选框两个焦点的x轴的坐标,ya和yb则是y轴坐标，a和b是候选框的长轴和短轴，第二个全连接网络F’2输出是两个形式为(c1,c2)的1*2维向量，c1和c2分别是非癌细胞的概率和癌细胞的概率，如果c1>c2，则CN2的输出只保留通道一的掩码结果，如果c2<c1，则CN2的输出只保留通道二的结果，c1＝c2则输出通道一叠叠加通道二并且进行归一化后的结果，并且只保留指定概率区间(0.5到1)内的候选框，候选框输出为候选框向量g’i＝(xai,yai,xbi,ybi,ai,bi)的集合G’，候选框的坐标是基于输入图片的坐标系H*W，第三个全连接网络模块F’3包含一层的全连接层，输出为di＝(other,n1,n2,n3,n4……)，输出期望只有一个元素为1，其他全算全为0，如果该细胞不是癌细胞，则other为1，其他元素为0，如果该细胞为编号为ni的癌细胞，则ni为1，其他元素为0，对于G’。

使用非极大值抑制方法，阈值设置为0.6，把G’进行整合，尽量去掉重复的候选框，得到G”，所述三个全连接网络模块均隶属于所述的预设的全连接网络，而F’1的目的在于输出物体候选框，F’2的目的在于输出对细胞的种类识别概率(癌细胞的概率和非癌细胞的概率)，F’3的目的在于进行癌细胞的再识别，输出每个癌细胞的身份编号，即癌细胞编码，并且非癌细胞则为第一个元素为1其余为0的编号，其中，F’3的输入可以作为细胞特征向量从细胞数据库里通过计算欧式距离获得最相似的癌细胞，即基于欧氏距离确定不同的待检测的细胞图像中的同一个细胞，当确定之后，赋予其统一的癌细胞编码和统一的种类信息，如此可以降低整个癌细胞识别的运算量。

S08、从S03到S07，即为一次前向传播，根据实际要求初步设置学习率lr，采用梯度下降法和反向传导算法进行层与层之间连接值的更新，即为一次后向反馈，至此，细胞识别的网络架构阶段完成。下面则进入训练的阶段。

S09、网络训练阶段，采取有监督的学习方式，F1的输出结果G经过非极大值抑制后的候选框集合作为结果输出和使用标定图计算出的细胞检测框向量集合GT计算对应的欧式距离作为损失函数L1，F2的输出结果使用softmax进行变换后使用交叉熵计算损失函数L2，F’1的最终结果G”和GT计算对应的欧式距离作为损失函数L3，F’2的输出结果使用softmax进行变换后使用交叉熵计算损失函数L4，F’3的输出结果使用softmax进行变换后使用交叉熵计算损失函数L5，同时使用center loss计算损失函数L6，最终，损失函数L＝L1+L2+L3+L4+L4+L5+L6，使用L进行反向传播计算，进行一次前向传播和反向传播计算，则视为一次训练结束；使用S03整理出的训练集合Train，混合打乱顺序后，逐个样本的输入数据输入网络进行训练，训练次数>1000。

S10、计算损失函数L，若呈现下降走势，并逐渐趋近于0，至此，网络训练阶段完成，否则转S08，进行梯度下降法中学习率的更改。

S11、网络测试阶段，使用测试集合Test里一个元素的将其输入网络，进行一次前向传播，则视为一次测试结束。

S12、使用测试集合Test打乱顺序后逐个进行测试。

S13、计算L，若满足指定要求，至此，网络测试阶段完成，否则转S07，进行梯度下降法中学习率的更改。

S14、网络的架构、训练、测试均完成后，则获得了可用于癌细胞自动检测识别分割和再识别的卷积神经网络。下面则进入本发明实施例的癌细胞识别方法的范围。

S15、获取待检测的图像，运用立方插值值算法，将图像大小缩放为H*W。

S16、将S15中缩放后的图像，作为输入，输入网络进行测试，CN2输出输入图像内所有细胞对应的掩码图，F’1输出输入图像内所有细胞的椭圆检测框，F’2输出细胞类别向量(c1,c2)，c1>c2则为非癌细胞，c1<c2则为癌细胞，c1＝c2则说明模型无法判断该细胞类别，F’3输出所有输入图像内细胞的编码。

S17、基于预设的深度学习网络处理S16的输出的结果，获得癌细胞的种类信息，由于之前的步骤能够正确的分割细胞，因此，能够很大程度的降低外部的干扰，此时通过深度学习网络能够正确的识别癌细胞的种类。

实施例3

本实施例提供如图2所示的一种癌细胞识别装置，包括：特征处理单元1，用于基于残差网络处理待检测的细胞图像以获取第一特征图；细胞识别单元2，用于基于区域建议网络处理所述第一特征图以获得椭圆的细胞候选框的集合；癌细胞标记单元3，用于基于ROIAlign处理所述细胞候选框的集合以获得第二特征图，通过预设的全连接网络处理所述第二特征图以获得癌细胞检测框和用于区别癌细胞的癌细胞编码；癌细胞识别单元4，用于基于预设的深度学习网络处理所述癌细胞检测框以输出用于标记癌细胞种类的种类信息。

所述癌细胞标记单元3，用于通过Mask RCNN算法处理所述第二特征图以获得细胞掩码图。

所述癌细胞标记单元3，用于基于非极大值抑制方法消除重复的所述癌细胞检测框。

所述特征处理单元1，用于基于ResNet网络、inception网络、VGG网络和DenseNet中的一种以上的网络，处理待检测的细胞图像以获取第一特征图。

癌细胞标记单元3，用于保存最少两张不同的所述待检测的细胞图像；基于欧氏距离确定不同的待检测的细胞图像中的同一个细胞，赋予其统一的癌细胞编码和统一的种类信息。

装置还包括修改单元，主要包括键盘鼠标等接收器材和处理芯片，用于当完成输出种类信息，通过键盘鼠标获取外部输入信息，处理芯片重新标记指定的癌细胞的种类信息，根据癌细胞编码确定被保存的所述待检测的细胞图像中的对应癌细胞，修改其种类信息。

装置还包括反馈单元，主要包括键盘鼠标等接收器材和处理芯片，键盘鼠标获取外部输入信息，处理芯片重新标记指定的癌细胞的种类信息，以重新标记后的癌细胞的图像作为深度学习网络的训练样本。

本实施例提供如图3所示的一种癌细胞识别系统，包括：图像输入单元5，用于执行上述实施例的识别方法的处理单元6，显示单元7和输入组件8；所述图像输入单元5获取待处理的细胞图像，所述处理单元6处理所述细胞图像以获取用于确定细胞核位置的候选框、用于描述细胞种类的种类信息，整合所述细胞图像、所述候选框和所述种类信息以生成整体图像；所述显示单元7显示所述整体图像；所述输入组件8获取外部的输入信号并将所述输入信号传输至所述处理单元6，图像处理单元9，用于根据处理单元输出的处理指令调整所述整体图像的基本图像属性(大小、分辨率颜色等)，将调整后的所述整体图像传输至所述显示单元。

其中，图像输入单元具体包括显微镜和对应的图像转器、数据输出线路等；显示单元包括液晶显示等常规显示器；处理单元的目的在于执行识别方法，(可选的)输入组件包括键盘、鼠标、写字板和触摸屏等常规设备，具体可以选择其中的一个或多个以作为输入组件，通过输入组件获取外部输入信息并将所述外部输入信息传输至所述处理单元以重新标记指定的癌细胞的种类信息，其目的是允许医生能够对电脑识别的结果进行人工识别和编辑，有利于运用医生的经验提高识别的准确率，还可以是当完成输出种类信息，获取外部输入信息以重新标记指定的癌细胞的种类信息，根据癌细胞编码确定被保存的所述待检测的细胞图像中的对应癌细胞，修改其种类信息，即借由癌细胞编码统修改所有被存储的细胞图片进行一次性修改，提高处理的效率。

图像处理单元9设置于处理单元6与显示单元7之间，而处理单元6也可以直接连接显示单元7。

处理单元6还用于输出关于细胞的长度轴的具体数值，其目的是让医疗人员能够正确的确定细胞的长度轴，毕竟要求人眼来确定长度轴的比例是不现实的，具体可以是显示待识别的细胞的长短轴l、r的尺寸与已知的癌细胞的长短轴L、R相似度：D＝(l^1.5-r^1.5)/(L^1.5-R^1.5)。

同时，如实施例2的内容，本识别系统实际上会设置有存储介质，所述存储介质用于存储残差网络、区域建议网络、全连接网络、深度学习网络和Mask RCNN网络中的最少一个，在本实施例中，处理单元从存储介质中调用对应的网络来执行功能。而上述的网络也可以进行训练和接收反馈。

例如深度学习网络能够执行训练、接收医师通过输入模块输入的反馈，即获取外部输入信息以重新标记指定的癌细胞的种类信息，以重新标记后的癌细胞的图像作为深度学习网络的训练样本。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (19)

1.一种癌细胞识别方法，其特征在于，包括：

处理待检测的细胞图像以获取第一特征图；

基于区域建议网络处理所述第一特征图以获得椭圆的细胞候选框的集合；

基于ROIAlign处理所述细胞候选框的集合以获得第二特征图，通过预设的全连接网络处理所述第二特征图以获得癌细胞检测框并赋予用于区别癌细胞的癌细胞编码；

基于预设的深度学习网络处理所述癌细胞检测框以输出用于标记癌细胞种类的种类信息。

2.根据权利要求1所述的一种癌细胞识别方法，其特征在于，还包括：

通过Mask RCNN算法处理所述第二特征图以获得细胞掩码图。

3.根据权利要求1所述的一种癌细胞识别方法，其特征在于，还包括：

基于非极大值抑制方法消除重复的所述癌细胞检测框。

4.根据权利要求1所述的一种癌细胞识别方法，其特征在于，基于ResNet网络、inception网络、VGG网络和DenseNet中的一种以上的网络，处理待检测的细胞图像以获取第一特征图。

5.根据权利要求1所述的一种癌细胞识别方法，其特征在于，还包括：

保存最少两张不同的所述待检测的细胞图像；

基于欧氏距离确定不同的待检测的细胞图像中的同一个细胞，赋予其统一的癌细胞编码和统一的种类信息。

6.根据权利要求5所述的一种癌细胞识别方法，其特征在于，还包括：

当完成输出种类信息，获取外部输入信息以重新标记指定的癌细胞的种类信息，根据癌细胞编码确定被保存的所述待检测的细胞图像中的对应癌细胞，修改其种类信息。

7.根据权利要求1所述的一种癌细胞识别方法，其特征在于，还包括：

获取外部输入信息以重新标记指定的癌细胞的种类信息，以重新标记后的癌细胞的图像作为深度学习网络的训练样本。

8.一种癌细胞识别装置，其特征在于，包括：

特征处理单元，用于处理待检测的细胞图像以获取第一特征图；

细胞识别单元，用于基于区域建议网络处理所述第一特征图以获得椭圆的细胞候选框的集合；

癌细胞标记单元，用于基于ROI Align处理所述细胞候选框的集合以获得第二特征图，通过预设的全连接网络处理所述第二特征图以获得癌细胞检测框和用于区别癌细胞的癌细胞编码；

癌细胞识别单元，用于基于预设的深度学习网络处理所述癌细胞检测框以输出用于标记癌细胞种类的种类信息。

9.根据权利要求8所述的一种癌细胞识别装置，其特征在于，所述癌细胞标记单元，用于通过Mask RCNN算法处理所述第二特征图以获得细胞掩码图。

10.根据权利要求8所述的一种癌细胞识别装置，其特征在于，所述癌细胞标记单元，用于基于非极大值抑制方法消除重复的所述癌细胞检测框。

11.根据权利要求8所述的一种癌细胞识别装置，其特征在于，所述特征处理单元，用于基于ResNet网络、inception网络、VGG网络和DenseNet中的一种以上的网络，处理待检测的细胞图像以获取第一特征图。

12.根据权利要求8所述的一种癌细胞识别装置，其特征在于，癌细胞标记单元，用于保存最少两张不同的所述待检测的细胞图像；基于欧氏距离确定不同的待检测的细胞图像中的同一个细胞，赋予其统一的癌细胞编码和统一的种类信息。

13.根据权利要求12所述的一种癌细胞识别装置，其特征在于，还包括修改单元，用于当完成输出种类信息，获取外部输入信息以重新标记指定的癌细胞的种类信息，根据癌细胞编码确定被保存的所述待检测的细胞图像中的对应癌细胞，修改其种类信息。

14.根据权利要求8所述的一种癌细胞识别装置，其特征在于，还包括反馈单元，用于获取外部输入信息以重新标记指定的癌细胞的种类信息，以重新标记后的癌细胞的图像作为深度学习网络的训练样本。

15.一种癌细胞识别系统，其特征在于，包括：

图像输入单元，用于执行权利要求1～7任一项所述的识别方法的处理单元，显示单元和输入组件；

所述图像输入单元获取待处理的细胞图像，

所述处理单元处理所述细胞图像以获取用于确定细胞核位置的候选框、用于描述细胞种类的种类信息，整合所述细胞图像、所述候选框和所述种类信息以生成整体图像；

所述显示单元显示所述整体图像。

16.根据权利要求15所述的一种癌细胞识别系统，其特征在于，所述输入组件获取外部输入信息并将所述外部输入信息传输至所述处理单元以重新标记指定的癌细胞的种类信息。

17.根据权利要求15所述的一种癌细胞识别系统，其特征在于，还包括图像处理单元，用于根据处理单元输出的处理指令调整所述整体图像的基本图像属性，将调整后的所述整体图像传输至所述显示单元。

18.根据权利要求15所述的一种癌细胞识别系统，其特征在于，所述输入组件包括键盘、鼠标、写字板和触摸屏中的最少一个。

19.根据权利要求15所述的一种癌细胞识别系统，其特征在于，还包括存储介质，所述存储介质用于存储残差网络、区域建议网络、全连接网络、深度学习网络和Mask RCNN网络中的最少一个。