CN111598849B - 一种基于目标检测的病理图像细胞计数方法、设备及介质 - Google Patents
一种基于目标检测的病理图像细胞计数方法、设备及介质 Download PDFInfo
- Publication number
- CN111598849B CN111598849B CN202010356821.4A CN202010356821A CN111598849B CN 111598849 B CN111598849 B CN 111598849B CN 202010356821 A CN202010356821 A CN 202010356821A CN 111598849 B CN111598849 B CN 111598849B
- Authority
- CN
- China
- Prior art keywords
- model
- pathological
- rcnn
- image
- fast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 21
- 230000007170 pathology Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004163 cytometry Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000004043 dyeing Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002246 antineoplastic agent Substances 0.000 description 1
- 229940041181 antineoplastic drug Drugs 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009456 molecular mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了一种基于目标检测的病理图像细胞计数方法、计算机设备及介质，该方法包括获取待识别的病理图像样本；将病理图像输入预先训练完成的病理图像细胞计数模型，从而获得病理细胞的个数；其中，病理图像细胞计数模型由两个训练完成的Faster‑RCNN模型同时连接模型融合模块构成；模型融合模块对所述两个Faster‑RCNN模型输出的病理细胞的计数结果进行求平均得到最终的病理细胞的个数。本发明通过引用两个不同的bockbone训练的Faster‑RCNN模型对病理图像进行病理细胞的个数检测，并将检测结果进行融合，准确、快速、高效实现病理细胞计数。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于目标检测的病理图像细胞计数方法、计算机设备及介质。
背景技术
为了研究诸如癌症等复杂疾病的分子机制，显微图像可以提供有价值的信息，但是通常有必要在几种条件下进行一系列分子生物学实验。传统方法是，来自实验的图像是手动评估的。因此，这很耗时，并且需要大量的人力和专业知识。
因此，随着高容量，高通量数字成像系统的新兴发展，有必要设计用于当前显微图像的新型自动化分析工具。在使用显微图像完成的各种任务中，细胞计数是至关重要的任务之一。
显微图像中的细胞数量可以用作要比较不同的组的度量。例如，我们可以评估不同剂量的抗癌药的治疗效果，通过比较指定条件下基于显微镜的癌细胞计数。因此，在显微镜图像中具有最小细胞计数的实验组可被视为该特定癌症所用药物的最佳剂量。相同的原理可以应用于确定最有效的药物。因此，重要的是生物学家自动收集不同实验条件下每个实验组的准确细胞计数，这样就可以对进一步的统计意义进行建模和评估。
在计算机视觉领域，静态图像中的自动计数对象已得到广泛研究和实践，以减少行人交通中的交通事故死亡人数。根据Loy等人的评论，静态图像中的自动对象计数有两种主要策略具体如下：
1)检测计数法；通过检测计数是最早的方法用于对象计数，它涉及到首先训练一个物体探测器，然后将探测器应用于使用滑动窗口或其他分割技术识别整个对象并进行估计对象的数量，已经提出了许多检测器，并在不同的研究中对其进行了评估，但是这些检测器的性能仍有改进的空间，尤其是当图像分辨率很低，并且图像中的某些对象重叠。
2)回归计数法；通过回归计数是通过回归研究进行的计数，首先采用预处理步骤来提取低级特征，例如大小，面积，直方图和纹理，和高级功能，例如对象前景分割图，点密度代表图等，以及然后将这些特征回归到对象计数。可以手动或自动执行预处理步骤。为了自动提取强大的功能，已经做了很多努力。例如，卷积神经网络(CNN)。但通过回归计数存在模型训练困难，不易收敛的问题，而且大多使用合成的细胞数据，不够贴合实际。
有鉴于此，亟需提供一种能够实现快速、高效实现病理细胞计数且准确性更高的基于目标检测的病理图像细胞计数方法。
发明内容
为了解决上述技术问题，本发明所采用的技术方案是提供了一种基于目标检测的病理图像细胞计数方法，包括以下步骤：
获取待识别的病理图像样本；
将病理图像输入预先训练完成的病理图像细胞计数模型，从而获得病理细胞的个数；
其中，病理图像细胞计数模型由两个训练完成的Faster-RCNN模型同时连接模型融合模块构成；其中两个Faster-RCNN模型分别是backbone为vgg16和backbone为ResNet101的模型；
模型融合模块对所述两个Faster-RCNN模型输出的病理细胞的计数结果进行求平均得到最终的病理细胞的个数。
在上述方法中，所述病理图像细胞计数模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接backbone为vgg16的第一Faster-RCNN模型；所述第二输入模块backbone为ResNet101的第二Faster-RCNN模型，所述第一Faster-RCNN模型与第二Faster-RCNN模型输出连接模型融合模块；
所述第一Faster-RCNN模型与第二Faster-RCNN模型分别对输入的图像进行识别并将病理细胞的计数结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出病理细胞的个数。
在上述方法中，所述病理图像细胞计数模型中对所述第一Faster-RCNN模型与第二Faster-RCNN模型通过以下方式进行训练：
分别获取由专家标注检测结果与原始的病理图像样本形成的训练集；
将训练集图像样本输入至初始第一Faster-RCNN模型对模型进行训练，直至损失函数收敛，则初始第一Faster-RCNN模型训练完成，得到训练好的第一Faster-RCNN模型；
将训练集图像样本输入至初始第二Faster-RCNN模型对模型进行训练，直至损失函数收敛，则初始第二Faster-RCNN模型训练完成，得到训练好的第二Faster-RCNN模型；
获得训练好的病理图像细胞计数模型。
在上述方法中，还包括步骤：
获取至少一张病理图像作为预测样本；
将任意一个预测样本根据预设的第一像素值对预测样本进行切分，形成多个第一小图像，再将同一个预测样本根据预设的第二像素值对预测样本进行切分，形成多个第二小图像，其中，第一像素值≠第二像素值；
将切分获得的多个第一小图像与多个第二小图像分别输入至训练好的病理图像细胞计数模型中的两个Faster-RCNN模型且分别获得病理细胞计数结果；
将两个病理细胞计数结果进行求平均得到最终的预测结果。
在上述方法中，通过FocalLoss损失函数和计数损失函数同时达到收敛作为条件作为收敛条件训练所述第一Faster-RCNN模型和第二Faster-RCNN模型。
在上述方法中，包括对待识别的病理图像样本、第一训练集和第二训练集中的各图像样本使用SPCN增强方法进行图像增强处理。
本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述基于目标检测的病理图像细胞计数方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述基于目标检测的病理图像细胞计数方法。
本发明通过引用两个不同的bockbone训练的Faster-RCNN模型对病理图像进行病理细胞的个数检测，并将检测结果进行融合，准确、快速、高效实现病理细胞计数。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的方法流程图；
图2为本发明提供的模型结构框图；
图3为本发明提供的模型结构原理框图；
图4为本发明提供的计算机设备结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于目标检测的病理图像细胞计数方法，包括以下步骤：
S1、获取待识别的病理图像样本；
S2、将病理图像输入预先训练完成的病理图像细胞计数模型，从而获得病理细胞的个数。
本实施例中，病理图像细胞计数模型由两个训练完成的Faster-RCNN模型同时连接模型融合模块构成；其中两个Faster-RCNN模型分别是使用提取特征的骨干网络backbone为vgg16和backbone为ResNet101的模型；模型融合模块对两个Faster-RCNN模型输出的病理细胞的计数结果进行求平均得到最终的病理细胞的个数。
本实施例，通过引用两个不同的bockbone训练的Faster-RCNN模型对病理图像进行病理细胞的个数检测，并将检测结果进行融合，两个模型分开训练，只在预测时进行融合，准确、快速、高效实现病理细胞计数。
如图2-3所示，病理图像细胞计数模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
第一输入模块连接backbone为vgg16的第一Faster-RCNN模型1；第二输入模块backbone为ResNet101的第二Faster-RCNN模型2；第一Faster-RCNN模型与第二Faster-RCNN模型输出连接模型融合模块；
第一Faster-RCNN模型1与第二Faster-RCNN模型2分别对输入的图像进行识别并将病理细胞的计数结果发送至模型融合模块，模型融合模块通过平均法计算求的并输出病理细胞的个数。
本实施例中，通过对初始病理图像细胞计数模型进行训练才能获取到步骤S1中的病理图像细胞计数模型，具体为对初始病理图像细胞计数模型中的两个Faster-RCNN模型进行训练，训练步骤如下：
A1、分别获取由专家标注检测结果与原始的病理图像样本形成的训练集；其中，专家标注检测结果(下称标签数据)，即细胞检测框的左上右下坐标。
A2、将训练集图像样本输入至初始第一Faster-RCNN模型对模型进行训练，直至损失函数收敛，则初始第一Faster-RCNN模型训练完成，得到训练好的第一Faster-RCNN模型；
A3、将训练集图像样本输入至初始第二Faster-RCNN模型对模型进行训练，直至损失函数收敛，则初始第二Faster-RCNN模型训练完成，得到训练好的第二Faster-RCNN模型；
A4、获得训练好的病理图像细胞计数模型。
本实施例优选，对于训练完成的病理图像细胞计数模型，通过输入测试数据对模型进行测试，测试结果的评价指标根均方误差越小越好。
本实施例，由于常用的交叉熵损失(CE)作为分类任务的损失函数，无法抗衡“类别极不平衡”，容易导致分类器训练失败，且为了缓解前景和后景样本不均衡问题以及提高计数准确性，其中，前景指的是模型产生的框中是细胞，后景指的是模型产生的框是不是细胞而是背景，本实施例通过FocalLoss损失函数和计数损失函数同时达到收敛作为条件训练两个模型，使用FocalLoss损失函数缓解前景和后景样本不均衡问题，提出的计数损失提高计数准确性，实现训练多个模型并使其在相同的位置有不同的检测能力，对模型进行平均融合，进一步提升计数准确性；且使用FocalLoss可以使模型更关注那些难分类的样本，可以大大缓解类别样本不均衡问题。训练两个不同的backbone模型，相当于从不同角度来检测细胞。因此，引入上述两个损失函数对初始病理图像细胞计数模型进行训练的步骤包括：
B1、利用FocalLoss和计数损失函数，及标签数据和原始的病理图像样本来训练backbone为VGG16的Faster RCNN模型，得到训练后的模型Mθ1，其中θ1是模型的参数；
B2、利用FocalLoss和计数损失函数，训练数据和标签数据来训练backbone为ResNet101的Faster RCNN模型，通过SGD算法进行模型的优化得到模型Mθ2，其中θ2为模型参数。
B3、利用前两步得到的两个训练好的模型分别得到两个计数结果。
B4、将两个不同的计数结果进行融合，融合方式为输出的求平均。
本实施例将病理图像细胞计数模型和提出的计数损失用于细胞计数以及结果融合的方式得到计数最终的结果，提出的计数损失函数可以提高计数精度，让不同的网络分别对细胞进行计数，提高计数准确率，从实验的结果来看，且本实施例所提出的基于目标检测和多计数模型计数结果融合方法具有计数精度高、适用范围广等优点，具有较强的实际应用前景。
本实施例，病理图像样本可能包含多部位病理图像数据集，为了减少图像之间的染色差异性，提高训练效果，需要将图像进行增强处理；具体为，在本实施例中使用SPCN进行预处理，由于染色分离是每个染色密度图的估计，因此了解RGB颜色与每个像素处的染色密度之间的关系很有帮助。染色的组织会根据吸收的染色剂的类型和数量来衰减特定光谱中的光。
贝尔-兰伯特法则记录了这种关系，设I为RGB强度矩阵，其中RGB通道为3，并且设I0为样本上的照明光强度(对于8位图像，通常为255)；将W作为染色颜色外观矩阵，其列代表每种染色的颜色基础，即染色的数量，并H作为染色密度图，其中其行代表每种染色的浓度。然后，可以写成如下：I＝I0exp(-WH),设V为相对光密度,V＝WH,具体操作如下，为了将源图像的颜色外观标准化为目标图像的颜色外观，首先通过将V分解为WH，并使用建议的SNMF来估计其颜色外观和污点密度图；然后，将源的密度图的缩放版本与目标而不是源的颜色外观进行组合，以生成标准化的源图像。这样就保留了染色密度的结构，而仅改变了外观的外观。
可以描述如下：
式中，为标准化后源图染色密度图矩阵，/>i＝(s,t)；/>为标准化后的相对光密度，Wt为目标图染色外观矩阵，/>为源图像标准化后的RGB强度矩阵，RM(·)计算每个行向量的鲁棒伪极大值(99％)。
本实施例中，模型融合模块使用平均法求得病理细胞的个数，具体计算如下：
训练后的两个模型Mθ1和Mθ2后，本实施例利用两个Faster-RCNN模型对测试集分别生成不同的细胞结果R1和R2，其中，R1和R2为图像每一个框是否为细胞的概率，将对应的概率大于预设值的检测框个数加和得到预测的细胞个数C1和C2，即模型融合模块计算为：
本实施例，将概率大于0.5的检测框视为病理细胞,概率大于0.5说明模型更认为该检测框是细胞。
本实施例，对上述两个训练完成的Faster-RCNN模型还进行以下进一步优化，具体包括步骤：
C1、获取至少一张病理图像作为预测样本；
C2、将任意一个预测样本根据预设的第一像素值对预测样本进行切分，形成多个第一小图像，再将同一个预测样本根据预设的第二像素值对预测样本进行切分，形成多个第二小图像，其中，第一像素值≠第二像素值；
C3、将切分获得的多个第一小图像与多个第二小图像分别输入至训练好的病理图像细胞计数模型中的两个Faster-RCNN模型且分别获得病理细胞计数结果；
C4、将两个病理细胞计数结果进行求平均得到最终的预测结果。
本实施例，通过滑窗的方式无重叠的方式切分预测样本；
具体如下案例说明，例如将25600*25600像素的病理图像分别切分成256*256像素的小图像和128*128像素的小图像，然后将两种不同像素的所得到的小图像分别输入至两个模型中进行预测，且分别将各模型中每张小图像得到的细胞数加和得到整张大图的细胞数，最后将两个计数结果求平均得到最终的预测结果。
下面通过具体案例说明本实施例方法。
通过在病理图像分割公开数据集MoNuSeg上的实验，将分割标注转换成边界框来进行细胞计数，本发明所提出的模型训练方式表现出了有效性。具体来说，MoNuSeg数据集的照片来自几名患有不同器官肿瘤并且在多家医院被诊断出的患者。数据集是通过40倍放大倍率捕获的H&E染色的组织图像来创建的。在MoNuSeg数据集中，以包含30张图像和约22,000个细胞标注的数据作为训练集，14张图像和7000个细胞标注作为测试集，最终评价标准为14张测试图像的计数根均方误差。对于MoNuSeg数据集，本发明方法在细胞计数任务上取得了48.13的根均方误差成绩，效果优异。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于目标检测的病理图像细胞计数方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中识别模型训练方法，或者计算机程序被处理器执行时实现上述实施例基于目标检测的病理图像细胞计数方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明有益效果:
(5)本发明运用计数损失的损失函数，使得在病理图像细胞计数模型的训练过程中模型对总的细胞个数具有一定的注意力。
(4)本发明使得不同backbone训练出来的模型生成的结果能够相互融合，起到集成学习的作用。
(3)本发明使用一种利用不同尺度的小图片对超大分辨率的病理图像进行多次预测方式，使得最终细胞计数结果更加精准，提高细胞计数准确性。
本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
Claims (5)
1.基于目标检测的病理图像细胞计数方法，其特征在于，包括以下步骤：
获取待识别的病理图像样本；
将病理图像输入预先训练完成的病理图像细胞计数模型，从而获得病理细胞的个数；
其中，病理图像细胞计数模型由两个训练完成的Faster-RCNN模型同时连接模型融合模块构成；其中两个Faster-RCNN模型分别是backbone为vgg16和backbone为ResNet101的模型；
模型融合模块对所述两个Faster-RCNN模型输出的病理细胞的计数结果进行求平均得到最终的病理细胞的个数；
所述病理图像细胞计数模型中对第一Faster-RCNN模型与第二Faster-RCNN模型通过以下方式进行训练：
分别获取由专家标注检测结果与原始的病理图像样本形成的训练集；
将训练集图像样本输入至初始第一Faster-RCNN模型对模型进行训练，直至损失函数收敛，则初始第一Faster-RCNN模型训练完成，得到训练好的第一Faster-RCNN模型；
将训练集图像样本输入至初始第二Faster-RCNN模型对模型进行训练，直至损失函数收敛，则初始第二Faster-RCNN模型训练完成，得到训练好的第二Faster-RCNN模型；
获得训练好的病理图像细胞计数模型；
通过FocalLoss损失函数和计数损失函数同时达到收敛作为条件训练所述第一Faster-RCNN模型和第二Faster-RCNN模型；
获取至少一张病理图像作为预测样本；
将任意一个预测样本根据预设的第一像素值对预测样本进行切分，形成多个第一小图像，再将同一个预测样本根据预设的第二像素值对预测样本进行切分，形成多个第二小图像，其中，第一像素值≠第二像素值；
将切分获得的多个第一小图像与多个第二小图像分别输入至训练好的病理图像细胞计数模型中的两个Faster-RCNN模型且分别获得病理细胞计数结果；
将两个病理细胞计数结果进行求平均得到最终的预测结果。
2.如权利要求1所述的基于目标检测的病理图像细胞计数方法，其特征在于，所述病理图像细胞计数模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接backbone为vgg16的第一Faster-RCNN模型；所述第二输入模块backbone为ResNet101的第二Faster-RCNN模型，所述第一Faster-RCNN模型与第二Faster-RCNN模型输出连接模型融合模块；
所述第一Faster-RCNN模型与第二Faster-RCNN模型分别对输入的图像进行识别并将病理细胞的计数结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出病理细胞的个数。
3.如权利要求1所述的基于目标检测的病理图像细胞计数方法，其特征在于，包括对待识别的病理图像样本、第一训练集和第二训练集中的各图像样本使用SPCN增强方法进行图像增强处理。
4.计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述基于目标检测的病理图像细胞计数方法。
5.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述基于目标检测的病理图像细胞计数方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356821.4A CN111598849B (zh) | 2020-04-29 | 2020-04-29 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356821.4A CN111598849B (zh) | 2020-04-29 | 2020-04-29 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598849A CN111598849A (zh) | 2020-08-28 |
| CN111598849B true CN111598849B (zh) | 2023-11-28 |
Family
ID=72186912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010356821.4A Active CN111598849B (zh) | 2020-04-29 | 2020-04-29 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598849B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580748B (zh) * | 2020-12-30 | 2022-10-14 | 电子科技大学 | 一种对染色图像的分类细胞计数的方法 |
| CN115620284B (zh) * | 2022-12-19 | 2023-04-18 | 广东工业大学 | 基于卷积注意力机制的细胞凋亡计数方法、系统及平台 |
| CN116758072B (zh) * | 2023-08-17 | 2023-12-22 | 苏州熠品质量技术服务有限公司 | 一种基于Faster-RCNN的细胞识别计数方法、装置及计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106940889A (zh) * | 2017-03-30 | 2017-07-11 | 福建师范大学 | 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法 |
| CN108537775A (zh) * | 2018-03-02 | 2018-09-14 | 浙江工业大学 | 一种基于深度学习检测的癌细胞跟踪方法 |
| CN110033440A (zh) * | 2019-03-21 | 2019-07-19 | 中南大学 | 基于卷积神经网络与特征融合的生物细胞计数方法 |
| CN110580699A (zh) * | 2019-05-15 | 2019-12-17 | 徐州医科大学 | 基于改进Faster RCNN算法的病理图像细胞核检测方法 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080795A1 (en) * | 2017-09-14 | 2019-03-14 | Foram Mahendra Sanghavi | Digitized needle biopsies nuclei information based prostate cancer detection, grading, scoring, and reporting systems and methods |
-
2020
- 2020-04-29 CN CN202010356821.4A patent/CN111598849B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106940889A (zh) * | 2017-03-30 | 2017-07-11 | 福建师范大学 | 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法 |
| CN108537775A (zh) * | 2018-03-02 | 2018-09-14 | 浙江工业大学 | 一种基于深度学习检测的癌细胞跟踪方法 |
| CN110033440A (zh) * | 2019-03-21 | 2019-07-19 | 中南大学 | 基于卷积神经网络与特征融合的生物细胞计数方法 |
| CN110580699A (zh) * | 2019-05-15 | 2019-12-17 | 徐州医科大学 | 基于改进Faster RCNN算法的病理图像细胞核检测方法 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Rohit Kempanna Atyali ; Shivchandra R Khot.An enhancement in detection of brain cancer through image fusion.2016 IEEE International Conference on Advances in Electronics, Communication and Computer Technology (ICAECCT).2017,全文. * |
| 融合LBP和小波矩特征的肺癌图像精细分类;王生生;王琪;;东北师大学报(自然科学版)(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598849A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110799B (zh) | 细胞分类方法、装置、计算机设备和存储介质 | |
| CN111598849B (zh) | 一种基于目标检测的病理图像细胞计数方法、设备及介质 | |
| CN109670429B (zh) | 一种基于实例分割的监控视频多目标人脸检测方法及系统 | |
| CN110909756A (zh) | 用于医学图像识别的卷积神经网络模型训练方法和装置 | |
| WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN109492706B (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| Ismael et al. | Medical image classification using different machine learning algorithms | |
| De Guzman et al. | Design and evaluation of a multi-model, multi-level artificial neural network for eczema skin lesion detection | |
| CN111260055A (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| US20210214765A1 (en) | Methods and systems for automated counting and classifying microorganisms | |
| US20150186755A1 (en) | Systems and Methods for Object Identification | |
| CN111815609B (zh) | 基于情境感知及多模型融合的病理图像分类方法及系统 | |
| CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
| CN112668462B (zh) | 车损检测模型训练、车损检测方法、装置、设备及介质 | |
| JP2023543044A (ja) | 組織の画像を処理する方法および組織の画像を処理するためのシステム | |
| Turan et al. | A novel method to identify and grade DNA damage on comet images | |
| Marcuzzo et al. | Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging | |
| Kloeckner et al. | Multi-categorical classification using deep learning applied to the diagnosis of gastric cancer | |
| CN109460768B (zh) | 一种用于组织病理学显微图像的文本检测与去除方法 | |
| US11966842B2 (en) | Systems and methods to train a cell object detector | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
| Yancey | Deep Feature Fusion for Mitosis Counting | |
| CN112085747A (zh) | 一种基于局部关系指导的图像分割方法 | |
| Avila et al. | Shadow detection in complex images using neural networks: application to wine grape seed segmentation | |
| Marcuzzo et al. | A hybrid approach for Arabidopsis root cell image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |