CN110580699A - 基于改进Faster RCNN算法的病理图像细胞核检测方法 - Google Patents

基于改进Faster RCNN算法的病理图像细胞核检测方法 Download PDF

Info

Publication number
CN110580699A
CN110580699A CN201910405516.7A CN201910405516A CN110580699A CN 110580699 A CN110580699 A CN 110580699A CN 201910405516 A CN201910405516 A CN 201910405516A CN 110580699 A CN110580699 A CN 110580699A
Authority
CN
China
Prior art keywords
image
cell nucleus
frame
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910405516.7A
Other languages
English (en)
Inventor
叶佳琪
左海维
朱玉亮
孙世强
常笙玥
祁婷婷
陈献鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Medical University
Original Assignee
Xuzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Medical University filed Critical Xuzhou Medical University
Priority to CN201910405516.7A priority Critical patent/CN110580699A/zh
Publication of CN110580699A publication Critical patent/CN110580699A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

本发明提供一种基于改进Faster RCNN算法的病理图像细胞核检测方法,其包括组织病理切片图像特征抽取网络;基于深度学习理论,利用数据增强变换、难样本挖掘、优化小目标检测等方法处理组织病理切片图像,降低目标检测难度;根据交叉验证避免过拟合现象,结合损失函数中的分类损失和定位损失探究完成区域提名。本发明达到1s/张图像检测速度,满足实际应用的实时性需求,且表现出较好的鲁棒性,具有检测精度高和召回率高的优点。

Description

基于改进Faster RCNN算法的病理图像细胞核检测方法
技术领域
本发明涉及电子信息领域,特别是一种基于改进Faster RCNN算法的病理图像细胞核检测方法。
背景技术
病理图像中细胞核以及核分裂象的自动检测和分类是现今的热点硏究领域,目前来说针对病理图像的计算机分析算法大致可以分为两大类:
一类是利用手工设计特征加上机器学习分类的传统方法,依赖数字图像处理技术或计算机视觉技术,一般需要手工设计特征。对于病理图像分析而言,这需要相关领域的专业知识来定义描述细胞核和核分裂象的形态学特征、纹理特征。硏究者们大多利用方向梯度直方图特征(Histogram of Oriented Gradient,HoG)、局部二值模式特征(LocalBinary Pattern,LBP),SIFT特征(Scale-Invariant Feature Transform)、Haar特征等计算机视觉领域常用的特征计算方法抽取得到图像的特征,然后用这些特征作为支持向量机(Support Vector Machine,SVM)、Adaboost等分类器的输入训练分类器。训练完成后就可以用得到的模型来做预测。针对细胞核检测问题,Basavanhally等人利用区域生长(Region-Growing Algorithm)结合最大后验估计(Maximum a Posteriori Estimate,MAP)和马尔科夫随机场(Markov Random Field,MRF)进行细胞核检测,Petushi等人利用自适应阈值法对细胞核进行分割,Cataldo等人提出非监督的颜色聚类法进巧细胞核分割。而对于核分裂象检测问题,Irshad等人对核分裂象做了大量统计学和形态学的特征分析,构建了一个基于决策树的分类器来检测核分裂象;Sommer等人利用形状和纹理特征构建了一个像素级别的分类器来对病理切片中的核分裂象进行检测;Tek等人利用通用特征和级联Adaboost分类器对有丝分裂区域和非有丝分裂区域进行分类。
但面对细胞核检测和核分裂象检测这样的问题,诸如SIFT特征、HoG特征等特征对于细胞应样的形态差异巨大且密集堆积的小目标缺乏鲁棒的描述能力,因而对于细胞与背景、核分裂象和非核分裂象缺乏足够的分辨能力,从而严重影响后续的分类与检测任务。
第二类是基于深度学习的病理图像分析,其完全是数据驱动,深度网给可以从数据中学习得到不同层次的数据表达,可以挖掘出超越人工设计的特征,因而在数据表达方面有更强的能力。
Dan C.Ciresan等首先在病理图像分析中提出用深度学习的方法做细胞有丝分裂检测。其提出使用深层卷积神经网络(Convolutional Neural Networks,CNN)作为一个分类器,训练样本从病理切片图像中截取获得,其中存在核分裂象样本和非核分裂象样本。然后将这些样本送入卷积神经网络做分类训练,训练分类卷积神经网络完成后便可以用该模型进行检测。检测时用滑动窗口的方法遍历切片图像中的每一个像素,对以该像素为中心的小块图像是否为核分裂象以卷积神经网络计算得到的概率值,这样就可得到一个得分图;此时处于核分裂象周围的像素应该有较高的概率,远离核分裂象中心的区域的概率则趋向于零;然后对这个得分图做一个平滑来抑制噪声,接着对得分图进行非极大值抑制(Non-Max Suppression,NMS),取以某一固定像素值为半径的区域内拥有最大概率的像素作为核分裂象的中心即可得到检测结果。Ciresan所做的工作取得了当时最突出的成绩,证明了深度学习方法在核分裂象检测上的有效性。然而该方法逐像素的对整个切片图像进行处理的,处理一张4M大小的切片图像要花几分钟,效率比较低。
Hao Cheney等人使用由粗到精的思路构建了一个级联卷积神经网络,前一层卷积神经网络做粗检测,所用的卷积神经网络结构为全卷积网络(Fully ConvolutionalNetwork,FCN),可以快速检测可能是核分裂象的候选区域。然后需要对这些候选区域进一步做细分类,为此又训练了另一个卷积神经网络来实现分类任务。作者为了提高精度和鲁棒性,训练了三种不同结构的卷积神经网络同时做预测,最后将三个卷积神经网络的预测结果做投票。该方法充分利用了全卷积网络丢弃全连接层后参数减少的优势,大大提高了核分裂象检测的速度。利用全卷积网络可以输入任意尺寸图片的特点,输入的病理切片可以是任意尺寸。
Wang等人提出使用结合手工设计特征和卷积神经网络的方法来进行核分裂象检测。首先用图像分割算法分割出核分裂象的候选区域,送样可以很大程度上减少算法要处理的区域。随后设计了一个级联分类器用于对这些核分裂象候选区域进行分类。第一阶段利用基于手工设计特征的随机森林分类器和一个简单的7层CNN网络分别对一块候选区域进行分类,如果两个的分类结果一致,则输出该候选区域的判定结果;否则候选区域被送到下一个更加复杂的分类器中进行判别然后输出结果。
因此设计出一种结合深度学习方法,基于改进Faster RCNN算法的病理图像细胞核检测方法是业界亟需解决的课题。
发明内容
为了克服上述现有技术的缺点,本发明提供一种基于改进Faster RCNN算法的病理图像细胞核检测方法,提高算法的适应性,来实现鲁棒性好和实时性高的组织病理切片检测。
本发明适宜如下技术方案实现的:一种基于改进Faster RCNN算法的病理图像细胞核检测方法,具体步骤如下:
(1)组织病理切片图像特征抽取网络;
(2)基于transfer learning初始化模型,利用数据增强变换、难样本挖掘、优化细胞核小目标;
(3)通过对优化细胞核小目标检测处理组织病理切片图像,降低目标检测难度;根据交叉验证避免过拟合现象,结合损失函数中的分类损失和定位损失探究完成区域提名完,为后续细胞检测、分割、特征提取等步骤降低图像源信息差异行性。
进一步,采用ZF作为Faster RCNN的特征抽取网络,利用小尺度的3*3卷积核叠形成深层网络。
进一步,transfer learning初始化模型具体步骤:
网络参数的初始化使用ImageNet数据集训练的分类模型所得到的参数,根据迁移学习的理论,网络在初始几层学习的是浅层特征,后层网络是前一层网络特征的进一步抽象,浅层特征更具有通用性,后层所学习的参数根据具体任务的不同才出现较大的差异性,整个网络由浅到深所学习的特征是由低层次到高层次。
进一步,数据增强变换具体内容为:对数据集施加处理,采用了将原图像旋转90度,180度,270度,再对每幅图像做水平翻转。
进一步,难样本挖掘的具体内容为:采用把细胞密集堆叠区域的图像截取出来作为新样本输入网络的方法,在图像分割区域中初始化一个轮廓曲线,利用图像边界处的加权能量总和最小的特性,将该曲线收敛至该边界,得出分割轮廓的边界,从而获取H&E染色图像中的细胞核、细胞质等感兴趣区域。
进一步,根据权利要求1所述的优化细胞核小目标检测,将浅层和深层的特征结合起来,将CNN的多层特征融合进行目标检测。
进一步,数据标注具体步骤如下:采用手工调整边框大小,标注时边框的中心与细胞的中心尽量重合,边框的大小应该随细胞的形态大小而调整,同时边框包裹的范围带有部分细胞周围的环境。
进一步,交叉验证具体步骤:
把原始数据进行分组,一部分作为训练集,另一部分作为验证集,首先用训练集对模型进行训练,再利用验证集来测试训练得到的模型,通过分析模型在训练集与验征集上的结果判断模型是否产生过拟合以及该什么时候停止训练网络,实现方法如下:
(1)将原始训练数据集均分成N组;
(2)每次将一个子集数据作为验证集,其余N-1组数据作为训练集,在训练集上训练得到一个模型,计算模型在验证集上的误差;
(3)训练完毕得到N个模型,计算每个模型的平均泛化误差,选择泛化误差最小的模型作为训练得到的模型。
进一步,实验参数设置如下:
置Anchor产生的尺度为2,4,8,与0.5、1.0、2.0的长宽比结合,以(7.5,7.5)为中心生成的9个基准Anchor的坐标如下:
array([[-15,-4,30,19],
[-38,-16,53,31],
[-84,-40,99,55],
[-8,-8,23,23],
[-24,-24,39,39],
[-56,-56,71,71],
[-3,-14,18,29],
[-14,-36,29,51],
[-36,-80,51,95])
这里的坐标都是相对原图而言,可看出产生的Anchor最大为139*139,最小为31*31;
NMS中重叠面积IoU参数设置如下:
(1)将所有候选边框的得分降序排列,选中最高分及負对应的边框;
(2)将得分最高的边框加入保留边框集,同时从候选边框中删除得分最高的边框遍历其余的边框,如果和当前最高分边框的重叠面积IoU大于一定飼值,我们就将该论文删除;
(3)如果候边框集中剰余边框数为0,执行(4);否将剩余的的边框作为新的侯选边,重复(1)(2);
(4)输出保留边框集,退化。
相较于现有技术,本发明提供一种基于改进Faster RCNN算法的病理图像细胞核检测方法,尤其在细胞核多尺度目标检测这一方面做出创新,提出了一种新的多层特征融合方法——双向特征金字塔网络DSFPN,有效提升目标检测的准确度。基于本发明的算法模型可以实现1s/张图像检测速度,满足实际应用的实时性需求,且表现出较好的鲁棒性,具有检测精度高和召回率高的优点。
附图说明
图1为本发明原理框图;
图2为染色后密集堆积呈现块状和条化的病理切片图;
图3Faster RCNN数据流图;
图4网络结构改进示意图;
图5为本发明细胞核检测方框图;
图6为基于FPN的多层融合检测;
图7为DSFPN特征融合检测结构图;
图8为DSFPN在RPN中的实现方式图;
图9为DSFPN在Faster-RCNN中的实现图。
具体实施方式
如图1所示,一种基于改进Faster RCNN算法的病理图像细胞核检测方法,具体步骤如下:
(1)组织病理切片图像特征抽取网络;
(2)基于transfer learning初始化模型,利用数据增强变换、难样本挖掘、优化细胞核小目标;
(3)通过对优化细胞核小目标检测处理组织病理切片图像,降低目标检测难度;根据交叉验证避免过拟合现象,结合损失函数中的分类损失和定位损失探究完成区域提名完,为后续细胞检测、分割、特征提取等步骤降低图像源信息差异行性。
特征抽取网络的选择:采用ZF作为Faster RCNN的特征抽取网络,利用小尺度的3*3卷积核叠形成深层网络,以出色的性能实现图片分类与目标特征检测,如图3所示。输入数据依次经过VGG-16网络抽取特征,RPN产生区域提名,Fast RCNN做分类和回归。
transfer learning初始化模型的训练:利用transfer learning初始化模型训练处更强大的模型,克服现有标注的病理切片图像匮乏的困难。
数据增强变换:对数据集施加一些人为的处理,本发明在不改变原图像色彩、形状的情况下对原图像旋转90度,180度,270度,再对每幅图像做水平翻转,以扩大数据集的规模,提升网络模型性能,减弱过拟合现象,加强泛化能力解决训练数据匮乏的问题。
加强难样本挖掘:采用把细胞密集堆叠区域的图像截取出来作为新样本输入网络的方法。让检测器的学习重点放到细胞密集堆叠区域,如图2所示,这样的思路类似于adaboost算法中增加错分样本权重的做法,对算法的性能会有提升。如图4所示,将pool3与pool4的浅层特征图与高层特征图融合,使得高低层的特征图大小一致,需要对高层特征图进行上采样。
优化细胞核多尺度目标检测:众所周知,一张组织病理切片图像中存在着不同类别、不同尺度的目标物体,如正常的细胞核、癌变的细胞核、细胞质等。同时,在同一张图像中,由于染色、取样、局部遮挡等因素,可能会造成同样类型的细胞核在形状、大小可能会有很大差异,不同类型的细胞核在形状上又可能存在一定的相似性,在图像中会同时存在占整张图像比例较大的细胞核,也会有占整张图像比例很小的细胞核,同时实现大尺寸细胞核和小尺寸细胞核的高效精准检测是目前细胞核目标检测领域的一个挑战。
本项目在对细胞核进行多尺度目标检测的时候,基于图像特征金字塔(FeaturePyramid Network,FPN)的检测思路,FPN检测模型的特征融合(如图6)过程使得低层特征图能借助高层特征图丰富的语义信息以改善小尺寸物体的检测效果,但该模式对于大尺寸物体检测性能的提升不明显。基于这个问题,本发明在FPN特征融合的思想上改进提出了一种新的特征融合方法——双向特征金字塔网络DSFPN来实现多尺度目标检测。
DSFPN及其在RPN中的实现
根据FPN自顶向下特征融合的设计思想,本发明改进了FPN中的自顶向下的特征融合方式,并增加自底向上特征融合过程以提升检测模型对大尺寸目标检测的性能,DSFPN基本实现结构如图7所示。
如图7所示,在DSFPN特征处理中主要有三个过程,一个特征图前向过程,一个自底向上融合过程,一个自顶向下融合过程。
特征图前向:该过程实质为CNN特征提取的过程,在融合过程中实际使用的是每个Stage最后一层的输出,自下而上构造出图像特征金字塔。
自顶向下融合:该过程基于FPN的自顶向下融合过程改进,使用语义信息丰富的最高层特征图来融合底层位置信息丰富的特征图提升小目标的检测精度。该融合过程采用上采样来实现,高层特征图通过多次上采样放大到融合层的尺寸,通过横向连接将上采样的特征图和前向生成对应层特征图进行叠加,前向特征图在叠加前需经过1*1的卷积核以进行通道匹配,叠加后再利用3*3的卷积核对各层的叠加结果进行卷积以消除上采样带来的特征混叠。
自底向上融合:使用位置信息丰富的最底层特征图来融合底层语义信息丰富的特征图提升大目标的检测精度。该过程采用下采样来实现,底层特征图通过下采样到融合层的尺寸,通过横向连接将下采样的特征图和前向生成的特征图进行叠加,同自底向上融合过程,也需要通道匹配和去混叠操作。
将自顶向下融合的特征层表示为{D5,D4,D3,D2,D1},自底向上融合的特征层表示为{U5,U4,U3,U2,U1}。在RPN中,Faster-RCNN原始操作方式是在输出特征图上采用三种尺寸、三种比较生成的共9中不同的anchor,而DSFPN在RPN中实现时表现为多尺度特征图,各层特征图之间本就存在着尺寸对应关系,所以本章方法在RPN中选择固定每层特征图的anchor尺寸,如图8所示{D5,D4,D3,D2,D1}、{U5,U4,U3,U2,U1}对应的anchor尺寸为{512^2,256^2,128^2,64^2,32^2},每层中每个尺寸仍采用{1:2,1:1,2:1}三种比例,因此,DSFPN中共存在30种anchor。这就降低了多层特征的冗余,避免特征抵消等问题,对大尺寸目标和小尺寸目标的检测效果都有一定的改善意义。
DSFPN在Faster-RCNN中的实现
Faster R-CNN实质上就是Fast-RCNN加RPN的过程。在Fast-RCNN进行最终的目标分类与选框回归之前,首先要进行ROI Pooling操作,ROI Pooling的过程是根据输入的特征图,将RPN中生成的候选框(ROI)映射到特征图中的对应位置进而实现后续的MaxPooling操作。本项目在RPN中实现了DSFPN并生成了不同尺度的ROI,则ROIPooling层的ROI输入也就存在着多个尺度,对于不同尺度的ROI,其应该映射到的特征图的尺寸也是不同的,较大尺寸的ROI就需要用较大尺寸的特征图,小尺寸的ROI就需要用较小尺寸的特征图,因此,在ROI Pooling中我们就需要判断当前ROI应该使用DSFPN中的哪一层输出的特征图。引用FPN中的特征图选定方法,其确定规则如下:
式中,为向下取整操作,K0为基准值,本发明在实验中设置其值为5,表示默认为D5和U5层的输出,w和h为当前ROI区域的宽度和高度,224位ImageNet的标准输入大小。在进行ROI Pooling时先根据上述规则确定层数,再获取对应层的特征映射实现目标检测最终的目标分类和边框回归,实现结构如图9所示。
数据标注:采用手工调整边框大小,为网络的学习提供更多指导信息,网络学习的目的性更强,更加容易收敛。标注时要注意边框的中心与细胞的中心尽量重合,而且边框的大小应该随细胞的形态大小而调整,同时边框包裹的范围应该带有部分细胞周围的环境,这些周围的环境信息相对细胞存在较大的差异,能形成很好的对比,能为细胞的检测提供参考信息。
实验参数设置:PN min size控制RPN产生的区域提名的最小尺寸,宽度或高度小于这个值的的区域提名都会被过滤掉。考虑到检测的目标较小,所以试验中该值设置为16个像素。
Anchor参数设置,因为检测的目标大小基本只在100*100像素以内,所以设置Anchor产生的尺度为2,4,8,与0.5、1.0、2.0的长宽比结合,以(7.5,7.5)为中心生成的9个基准Anchor的坐标如下:
array([[-15,-4,30,19],
[-38,-16,53,31],
[-84,-40,99,55],
[-8,-8,23,23],
[-24,-24,39,39],
[-56,-56,71,71],
[-3,-14,18,29],
[-14,-36,29,51],
[-36,-80,51,95])
这里的坐标都是相对原图而言,可看出产生的Anchor最大为139*139,最小为31*31,大小基本能覆盖所有的要检测的目标的尺寸。
NMS是算法中另外一个重要的参数,需要找到这个最合适的边框同时抑制那些冗余的适框,抑制的过程是一个迭代-遍历-消除的过程,以下为NMS描述:
(1)将所有候选边框的得分降序排列,选中最高分及負对应的边框;(2)将得分最高的边框加入保留边框集,同时从候选边框中删除得分最高的边框遍历其余的边框,如果和当前最高分边框的重曇面积(IoU)大于一定飼值,我们就将该论文删除;
(3)如果候边框集中剰余边框数为0,执行(4);否将剩余的的边框作为新的侯选边,重复(1)(2);
(4)输出保留边框集,退化。
NMS中Iou是一个关键参数。直观来看,IoU太大会产生很多误检,降低精度,过小则会产生很多纰漏,降低召回率。
在NMS中置信度是另一个重要的参数。该参数的意义是只有分数大于该值的检测框会被输出。
利用交叉验证,避免过拟合现象:基本思路是把原始数据进行分组,一部分作为训练集(train set),另一部分作为验证集(validation set)。首先用训练集对模型进行训练,再利用验证集来测试训练得到的模型,通过分析模型在训练集与验征集上的结果判断模型是否产生过拟合以及该什么时候停止训练网络。
本发明结合深度学习开源框架Caffe,采用python语言进行编程最终建立了病理图像细胞核检测与状态判识模型。在实验中采用了标准PASCAL VOC2007数据集和英国华威大学的一个公开的病理图像数据集来验证此模型的性能。针对原始Faster-RCNN、FPN+Faster-RCNN和DSFPN+Faster-RCNN三种目标检测模型开展了多组对比实验。各组实验中模型学习率设置为0.01,迭代次数为70000次。基于标准VOC2007数据集多组实验使用VGG16作为基础特征提取网络,针对多个目标检测模型的实验测试结果如表1所示,通过分析数据可知,DSFPN+Faster-RCNN模型的mAP相较原始Faster-RCNN、和FPN+Faster-RCNN有明显的提高。
表1
于是将病理图像数据集的多组实验也使用VGG16作为基础特征提取网络针对多个目标检测模型的实验测试结果如表2所示。DSFPN+Faster-RCNN模型的mAP同样有提高。
表2
通过两种实验数据对比表明,本发明提出的DSFPN引入到Faster-RCNN中都展现出较好的识别精准度提升,验证了DSFPN方法理论的正确性和适用性。
以上内容是结合具体的训练方式对本发明操作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:具体步骤如下:
(1)组织病理切片图像特征抽取网络;
(2)基于transfer learning初始化模型,利用数据增强变换、难样本挖掘、优化细胞核小目标;
(3)通过对优化细胞核小目标检测处理组织病理切片图像,降低目标检测难度;根据交叉验证避免过拟合现象,结合损失函数中的分类损失和定位损失探究完成区域提名完,为后续细胞检测、分割、特征提取等步骤降低图像源信息差异行性。
2.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:采用ZF作为Faster RCNN的特征抽取网络,利用小尺度的3*3卷积核叠形成深层网络。
3.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:transfer learning初始化模型具体步骤:
网络参数的初始化使用ImageNet数据集训练的分类模型所得到的参数,根据迁移学习的理论,网络在初始几层学习的是浅层特征,后层网络是前一层网络特征的进一步抽象,浅层特征更具有通用性,后层所学习的参数根据具体任务的不同才出现较大的差异性,整个网络由浅到深所学习的特征是由低层次到高层次。
4.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:数据增强变换具体内容为:对数据集施加处理,采用了将原图像旋转90度,180度,270度,再对每幅图像做水平翻转。
5.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:难样本挖掘的具体内容为:采用把细胞密集堆叠区域的图像截取出来作为新样本输入网络的方法,在图像分割区域中初始化一个轮廓曲线,利用图像边界处的加权能量总和最小的特性,将该曲线收敛至该边界,得出分割轮廓的边界,从而获取H&E染色图像中的细胞核、细胞质等感兴趣区域。
6.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:优化细胞核小目标检测,将浅层和深层的特征结合起来,将CNN的多层特征融合进行目标检测。
7.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:数据标注具体步骤如下:采用手工调整边框大小,标注时边框的中心与细胞的中心尽量重合,边框的大小应该随细胞的形态大小而调整,同时边框包裹的范围带有部分细胞周围的环境。
8.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:交叉验证具体步骤:
把原始数据进行分组,一部分作为训练集,另一部分作为验证集,首先用训练集对模型进行训练,再利用验证集来测试训练得到的模型,通过分析模型在训练集与验征集上的结果判断模型是否产生过拟合以及该什么时候停止训练网络,实现方法如下:
(1)将原始训练数据集均分成N组;
(2)每次将一个子集数据作为验证集,其余N-1组数据作为训练集,在训练集上训练得到一个模型,计算模型在验证集上的误差;
(3)训练完毕得到N个模型,计算每个模型的平均泛化误差,选择泛化误差最小的模型作为训练得到的模型。
9.根据权利要求1所述的基于改进Faster RCNN算法的病理图像细胞核检测方法,其特征在于:实验参数设置步骤如下:RPN min size控制RPN产生的区域提名的最小尺寸,宽度或高度小于这个值的的区域提名都会被过滤掉。考虑到检测的目标较小,所以试验中该值设置为16个像素。
Anchor参数设置,因为检测的目标大小基本只在100*100像素以内,所以设置Anchor产生的尺度为2,4,8,与0.5、1.0、2.0的长宽比结合,以(7.5,7.5)为中心生成的9个基准Anchor的坐标如下:
array([[-15,-4,30,19],
[-38,-16,53,31],
[-84,-40,99,55],
[-8,-8,23,23],
[-24,-24,39,39],
[-56,-56,71,71],
[-3,-14,18,29],
[-14,-36,29,51],
[-36,-80,51,95])
这里的坐标都是相对原图而言,可看出产生的Anchor最大为139*139,最小为31*31,大小基本能覆盖所有的要检测的目标的尺寸;
NMS是算法中另外一个重要的参数,需要找到这个最合适的边框同时抑制那些冗余的适框,抑制的过程是一个迭代-遍历-消除的过程,以下为NMS描述:
(1)将所有候选边框的得分降序排列,选中最高分及負对应的边框;
(2)将得分最高的边框加入保留边框集,同时从候选边框中删除得分最高的边框遍历其余的边框,如果和当前最高分边框的重叠面积(IoU)大于一定飼值,我们就将该论文删除;
(3)如果候边框集中剩余边框数为0,执行(4);否将剩余的的边框作为新的侯选边,重复(1)(2);
(4)输出保留边框集,退化。
CN201910405516.7A 2019-05-15 2019-05-15 基于改进Faster RCNN算法的病理图像细胞核检测方法 Pending CN110580699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405516.7A CN110580699A (zh) 2019-05-15 2019-05-15 基于改进Faster RCNN算法的病理图像细胞核检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405516.7A CN110580699A (zh) 2019-05-15 2019-05-15 基于改进Faster RCNN算法的病理图像细胞核检测方法

Publications (1)

Publication Number Publication Date
CN110580699A true CN110580699A (zh) 2019-12-17

Family

ID=68810813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405516.7A Pending CN110580699A (zh) 2019-05-15 2019-05-15 基于改进Faster RCNN算法的病理图像细胞核检测方法

Country Status (1)

Country Link
CN (1) CN110580699A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368872A (zh) * 2019-12-20 2020-07-03 浙江大学 基于融合特征和验证模型的乳腺癌有丝分裂细胞检测方法
CN111368873A (zh) * 2020-01-15 2020-07-03 江西理工大学 基于深度融合卷积神经网络模型及其组织学图像分类方法
CN111461243A (zh) * 2020-04-08 2020-07-28 中国医学科学院肿瘤医院 分类方法、装置、电子设备及计算机可读存储介质
CN111597922A (zh) * 2020-04-28 2020-08-28 腾讯科技(深圳)有限公司 细胞图像的识别方法、系统、装置、设备及介质
CN111598849A (zh) * 2020-04-29 2020-08-28 北京小白世纪网络科技有限公司 一种基于目标检测的病理图像细胞计数方法、设备及介质
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111739025A (zh) * 2020-05-08 2020-10-02 北京迈格威科技有限公司 一种图像处理方法、装置、终端及存储介质
CN111798427A (zh) * 2020-06-30 2020-10-20 天津大学 基于迁移学习的胃肠道间质瘤中核分裂象检测系统
CN111898615A (zh) * 2020-06-16 2020-11-06 济南浪潮高新科技投资发展有限公司 一种物体检测模型的特征提取方法、装置、设备及介质
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112347977A (zh) * 2020-11-23 2021-02-09 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置
CN112419335A (zh) * 2020-11-19 2021-02-26 哈尔滨理工大学 一种细胞核分割网络的形状损失计算方法
CN112798504A (zh) * 2020-12-07 2021-05-14 西安电子科技大学 大视场高通量流式细胞分析系统及分析方法
CN113034451A (zh) * 2021-03-15 2021-06-25 北京医准智能科技有限公司 一种基于深度学习的胸部dr图像识别方法
CN113409923A (zh) * 2021-05-25 2021-09-17 济南大学 骨髓图像个体细胞自动标记中的纠错方法及系统
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、系统以及存储介质
CN113989265A (zh) * 2021-11-11 2022-01-28 哈尔滨市科佳通用机电股份有限公司 基于深度学习的速度传感器螺栓丢失故障识别方法
CN114445408A (zh) * 2022-04-11 2022-05-06 山东仕达思生物产业有限公司 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质
CN114627337A (zh) * 2022-05-12 2022-06-14 江苏智维自动化设备有限公司 一种基于rcnn算法的猪只尺体测量方法
CN114782372A (zh) * 2022-04-25 2022-07-22 昆明金域医学检验所有限公司 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统
CN115359056A (zh) * 2022-10-19 2022-11-18 浙江华诺康科技有限公司 分裂细胞检测方法、装置和计算机设备
CN116432543A (zh) * 2023-06-13 2023-07-14 湖南大学 功率半导体模块剩余寿命预测方法、终端设备及存储介质
CN117557557A (zh) * 2024-01-09 2024-02-13 广州锟元方青医疗科技有限公司 一种基于细胞核分割模型的甲状腺病理切片细胞检测方法
CN117557557B (zh) * 2024-01-09 2024-04-26 广州锟元方青医疗科技有限公司 一种基于细胞核分割模型的甲状腺病理切片细胞检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CN107103601A (zh) * 2017-04-14 2017-08-29 成都知识视觉科技有限公司 一种乳腺癌评分系统中的细胞有丝分裂检测方法
CN107330263A (zh) * 2017-06-26 2017-11-07 成都知识视觉科技有限公司 一种计算机辅助乳腺浸润性导管癌组织学分级的方法
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109272492A (zh) * 2018-08-24 2019-01-25 深思考人工智能机器人科技(北京)有限公司 一种细胞病理涂片的处理方法及系统
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CN107103601A (zh) * 2017-04-14 2017-08-29 成都知识视觉科技有限公司 一种乳腺癌评分系统中的细胞有丝分裂检测方法
CN107330263A (zh) * 2017-06-26 2017-11-07 成都知识视觉科技有限公司 一种计算机辅助乳腺浸润性导管癌组织学分级的方法
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109272492A (zh) * 2018-08-24 2019-01-25 深思考人工智能机器人科技(北京)有限公司 一种细胞病理涂片的处理方法及系统
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何剑: "目标检测算法在乳腺病理图像分析中的应用", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
朱秀昌等: "《数字图像处理与图像通信》", 31 August 2016 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368872A (zh) * 2019-12-20 2020-07-03 浙江大学 基于融合特征和验证模型的乳腺癌有丝分裂细胞检测方法
CN111368873A (zh) * 2020-01-15 2020-07-03 江西理工大学 基于深度融合卷积神经网络模型及其组织学图像分类方法
CN111461243A (zh) * 2020-04-08 2020-07-28 中国医学科学院肿瘤医院 分类方法、装置、电子设备及计算机可读存储介质
CN111597922A (zh) * 2020-04-28 2020-08-28 腾讯科技(深圳)有限公司 细胞图像的识别方法、系统、装置、设备及介质
CN111598849A (zh) * 2020-04-29 2020-08-28 北京小白世纪网络科技有限公司 一种基于目标检测的病理图像细胞计数方法、设备及介质
CN111598849B (zh) * 2020-04-29 2023-11-28 北京小白世纪网络科技有限公司 一种基于目标检测的病理图像细胞计数方法、设备及介质
CN111739025A (zh) * 2020-05-08 2020-10-02 北京迈格威科技有限公司 一种图像处理方法、装置、终端及存储介质
CN111739025B (zh) * 2020-05-08 2024-03-19 北京迈格威科技有限公司 一种图像处理方法、装置、终端及存储介质
WO2021227295A1 (zh) * 2020-05-11 2021-11-18 苏州大学 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111652927B (zh) * 2020-05-11 2023-12-19 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111898615A (zh) * 2020-06-16 2020-11-06 济南浪潮高新科技投资发展有限公司 一种物体检测模型的特征提取方法、装置、设备及介质
CN111798427B (zh) * 2020-06-30 2022-06-21 天津大学 基于迁移学习的胃肠道间质瘤中核分裂象检测系统
CN111798427A (zh) * 2020-06-30 2020-10-20 天津大学 基于迁移学习的胃肠道间质瘤中核分裂象检测系统
CN112419335A (zh) * 2020-11-19 2021-02-26 哈尔滨理工大学 一种细胞核分割网络的形状损失计算方法
CN112419335B (zh) * 2020-11-19 2022-07-22 哈尔滨理工大学 一种细胞核分割网络的形状损失计算方法
CN112347977B (zh) * 2020-11-23 2021-07-20 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置
CN112347977A (zh) * 2020-11-23 2021-02-09 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112798504A (zh) * 2020-12-07 2021-05-14 西安电子科技大学 大视场高通量流式细胞分析系统及分析方法
CN113034451A (zh) * 2021-03-15 2021-06-25 北京医准智能科技有限公司 一种基于深度学习的胸部dr图像识别方法
CN113409923B (zh) * 2021-05-25 2022-03-04 济南大学 骨髓图像个体细胞自动标记中的纠错方法及系统
CN113409923A (zh) * 2021-05-25 2021-09-17 济南大学 骨髓图像个体细胞自动标记中的纠错方法及系统
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、系统以及存储介质
CN113989265A (zh) * 2021-11-11 2022-01-28 哈尔滨市科佳通用机电股份有限公司 基于深度学习的速度传感器螺栓丢失故障识别方法
CN113989265B (zh) * 2021-11-11 2022-07-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的速度传感器螺栓丢失故障识别方法
CN114445408A (zh) * 2022-04-11 2022-05-06 山东仕达思生物产业有限公司 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质
CN114445408B (zh) * 2022-04-11 2022-06-24 山东仕达思生物产业有限公司 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质
CN114782372A (zh) * 2022-04-25 2022-07-22 昆明金域医学检验所有限公司 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统
CN114627337A (zh) * 2022-05-12 2022-06-14 江苏智维自动化设备有限公司 一种基于rcnn算法的猪只尺体测量方法
CN115359056A (zh) * 2022-10-19 2022-11-18 浙江华诺康科技有限公司 分裂细胞检测方法、装置和计算机设备
CN116432543A (zh) * 2023-06-13 2023-07-14 湖南大学 功率半导体模块剩余寿命预测方法、终端设备及存储介质
CN116432543B (zh) * 2023-06-13 2023-09-05 湖南大学 功率半导体模块剩余寿命预测方法、终端设备及存储介质
CN117557557A (zh) * 2024-01-09 2024-02-13 广州锟元方青医疗科技有限公司 一种基于细胞核分割模型的甲状腺病理切片细胞检测方法
CN117557557B (zh) * 2024-01-09 2024-04-26 广州锟元方青医疗科技有限公司 一种基于细胞核分割模型的甲状腺病理切片细胞检测方法

Similar Documents

Publication Publication Date Title
CN110580699A (zh) 基于改进Faster RCNN算法的病理图像细胞核检测方法
WO2019192397A1 (zh) 一种任意形状的场景文本端到端识别方法
Pandey et al. Hybrid deep neural network with adaptive galactic swarm optimization for text extraction from scene images
CN106778835B (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN104361313B (zh) 一种基于多核学习异构特征融合的手势识别方法
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN107292875A (zh) 一种基于全局‑局部特征融合的显著性检测方法
Li et al. Remote sensing airport detection based on end-to-end deep transferable convolutional neural networks
CN111612008A (zh) 基于卷积网络的图像分割方法
CN111353544B (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN111738055A (zh) 多类别文本检测系统和基于该系统的票据表单检测方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN113435319B (zh) 一种联合多目标跟踪和行人角度识别的分类方法
CN113159215A (zh) 一种基于Faster Rcnn的小目标检测识别方法
Zhou et al. Building segmentation from airborne VHR images using Mask R-CNN
CN114463205A (zh) 一种基于双分支Unet噪声抑制的车辆目标分割方法
CN113128564B (zh) 一种基于深度学习的复杂背景下典型目标检测方法及系统
Naiemi et al. Scene text detection using enhanced extremal region and convolutional neural network
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191217