CN113393454A - 活检组织中病理目标实例分割方法和装置 - Google Patents
活检组织中病理目标实例分割方法和装置 Download PDFInfo
- Publication number
- CN113393454A CN113393454A CN202110753406.7A CN202110753406A CN113393454A CN 113393454 A CN113393454 A CN 113393454A CN 202110753406 A CN202110753406 A CN 202110753406A CN 113393454 A CN113393454 A CN 113393454A
- Authority
- CN
- China
- Prior art keywords
- images
- pathological
- full
- result
- dyeing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001574 biopsy Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 238000004043 dyeing Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000013480 data collection Methods 0.000 claims abstract description 6
- 230000002401 inhibitory effect Effects 0.000 claims abstract description 6
- 230000005764 inhibitory process Effects 0.000 claims abstract description 6
- 238000010186 staining Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 20
- 238000005520 cutting process Methods 0.000 claims description 12
- 239000000975 dye Substances 0.000 claims description 11
- 230000001434 glomerular Effects 0.000 claims description 11
- 238000007447 staining method Methods 0.000 claims description 11
- 238000011862 kidney biopsy Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 210000001519 tissue Anatomy 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000007170 pathology Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010827 pathological analysis Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- DHRLEVQXOMLTIM-UHFFFAOYSA-N phosphoric acid;trioxomolybdenum Chemical compound O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.OP(O)(O)=O DHRLEVQXOMLTIM-UHFFFAOYSA-N 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012916 structural analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- -1 Periodic acid-silver chloride Chemical compound 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012317 liver biopsy Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000005084 renal tissue Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种活检组织中病理目标实例分割方法与装置，所述方法包括以下步骤：在数据收集阶段，对同一组织上相邻的多个切片使用多种不同染色方法进行染色获得多个染色图像，并对获得的染色图像进行标注，获取不同染色对应的多种染色全切片图像放入数据集中；基于训练数据对Cascade Mask R‑CNN模型进行训练，其中，Cascade Mask R‑CNN模型的输出结构的维度与染色全切片图像的病理目标种类一致；将数据集中多种染色的切片图像作为训练后的Cascade Mask R‑CNN模型的输入，得到初始的实例分割输出结果，初始的实例分割输出结果包括病理目标检测结果、分类结果和分割结果；利用非极大值抑制算法抑制分类结果中的所有分类对应的实例分割输出结果，得到病理目标最终的实例分割输出结果。
Description
技术领域
本发明涉及人工智能技术领域和生物医学信息技术领域，具体涉及一种活检组织中病理目标实例分割方法和装置，尤其涉及一种基于深度学习的多染色病理目标实例分割方法与装置。
背景技术
活检组织中的组织学评价在各种疾病的诊断中起着关键作用，对制定治疗策略和预测预后也具有重要意义。目前，活检的组织病理学评估大都依赖于病理学家的人工判断。然而，尽管病理学家们已经做了很多努力来确定评估标准，提升分类结果，但在处理组织学特征分级或评分的情况下依旧很费时且可复现性不佳。近年来，深度学习方法，特别是卷积神经网络(CNNs)在医学图像分析中得到了越来越重要的应用，并取得了很好的效果。在病理分析中，计算机辅助算法不仅能减轻病理医师的工作负担，还可以提升病理诊断的准确率。一方面可以在病理医生已经进行过诊断的基础上，快速对病理切片进行第二轮复核检查，降低漏诊的概率；另一方面，对于大量的要检查的病理切片，可以使用自动诊断程序快速进行判别和筛查，把可信度高的低优先级病种先滤出，让病理医生优先投入更多的精力处理疑难杂症。
病理诊断通常需要将病变组织制成病理切片，染以各种颜色，供在显微镜下检查，用来观察病理变化。常用的病理切片染色方法包括苏木精-伊红染色(Hematoxylin-Eosin，HE)、过碘酸-雪夫染色(Periodic acid-Schiff，PAS)、马松三色染色(Masson Trichrome),过碘酸六胺银染色(Periodic acid-silver metheramine，PASM)等。不同的染色方法由于其染色原理不同，能够突出病理图像不同的组织信息。
从病理图像中提取和识别一些病理目标是活检自动分析的基本步骤，例如在肾活检病理图中识别肾小球，在肝脏活检病理图中识别汇管区。对于提取和识别病理目标任务中，目前大部分工作可以大致分为两类：目标检测和语义分割。关于目标检测，TemerinacOtt等人使用卷积神经网络(CNN)从不同染色的切片中获得分类结果，并利用CNN改进了一次染色的肾小球检测，得到比HOG(Histogram of Oriented Gradient，方向梯度直方图)检测器高10-20％的F1分数。Bukowy等人使用基于区域的卷积神经网络(R-CNN)和CNN作为“肾小球”或“背景”对象进行最终分类，平均准确率和召回率分别为96.94％和96.79％。关于语义分割，随着深度学习方法的发展，DeepLab-V2、SegNet和U-Net通常被用来处理语义分割任务。
目标检测任务可以对病理目标进行检测和分类，但病理目标的边界是未知的，目标检测无法获知目标的边界。语义分割虽然可以确定病理目标的边界，但却无法计算病理目标的数目，因此无法在同一图像中区分不同的病理目标。此外，在最近对人类病理组织进行检测和分割的研究中，所有的结果都来自单一染色切片，没有研究可以使用单一模型用多种染色方法从图像中分割病理目标。而每种染色方法在阐明特定的组织学特征方面都有其独特的价值，对病理分析是必不可少的。
因此，如何在多种染色上同时完成病理目标检测和分割任务，是目前难以解决的问题。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种活检组织中病理目标实例分割方法和装置，以基于Cascade Mask R-CNN实现在多种染色上同时完成病理目标检测和分割任务。
本发明的一个方面，提供了一种活检组织中病理目标实例分割方法，该方法包括以下步骤：
在数据收集阶段，对同一组织上相邻的多个切片使用多种不同染色方法进行染色获得多个染色图像，并对获得的染色图像进行标注，获取不同染色对应的多种染色全切片图像，放入数据集中作为训练数据；
基于所述训练数据对Cascade Mask R-CNN模型进行训练，其中，所述CascadeMask R-CNN模型的输出结构的维度与所述染色全切片图像的病理目标种类一致；
将数据集中多种染色的切片图像作为训练后的Cascade Mask R-CNN模型的输入，得到初始的实例分割输出结果，所述初始的实例分割输出结果包括病理目标检测结果、分类结果和分割结果；
利用非极大值抑制算法抑制分类结果中的所有分类对应的实例分割输出结果，得到病理目标最终的实例分割输出结果。
在本发明一些实施方式中，在对Cascade Mask R-CNN模型进行训练之前，所述方法还包括：数据预处理步骤，将染色全切片数字图像进行切块，切成预定大小的子块图像；
将切块后得到的子块图像输入Cascade Mask R-CNN模型，对Cascade Mask R-CNN模型进行训练。
在本发明一些实施方式中，所述对同一组织上相邻的多个切片使用多种不同染色方法进行染色获得多个染色图像，并对获得的染色图像进行标注，包括：
对同一组织上相邻的多个切片使用多种不同染色方法进行染色，得到多个染色图像；
对多个染色图像中的一个染色图像进行标注，并对多个染色图像中的其他染色图像采用与标注的一个染色图像相同或基本相同的标注结果，从而获取不同染色对应的多种染色全切片图像。
在本发明一些实施方式中，所述将全切片数字图像进行切块，切成预定大小的子块图像，包括：采用有重叠步长的切块方法对全切片数字图像进行切块，切成预定大小的子块图像；所述预定大小的子块图像为2048像素×2048像素大小；
所述采用有重叠步长的切块方法对全切片数字图像进行切块时，用于切块的窗口滑动步长为窗口边长的四分之三。
在本发明一些实施例中，所述方法还包括：在训练后的Cascade Mask R-CNN模型的输入数据为子块图像的情况下，将所述实例分割输出结果按照切片坐标映射回原全切片数字图像获得全切片数字图像对应的实例分割输出结果，并提取图像中病理目标的区域以及对病理目标计数。
在本发明一些实施例中，所述方法还包括：对全切片数字图像或子块图像进行以下转换中的一种或多种：随机旋转90°、水平翻转、垂直翻转、转置和随机裁剪，并将装换后的全切片数字图像或子块图像放入数据集中。
在本发明一些实施例中，所述方法还包括：在训练阶段，将Cascade Mask R-CNN模型的输出结果与人工标注结果进行对比，基于对比结果计算损失函数，并基于损失函数指导模型进行参数优化。
在本发明一些实施例中，所述病理目标实例为肾小球实例；所述全切片数字图像为肾活检全切片数字图像；所述利用非极大值抑制算法抑制分类结果中的所有分类对应的实例分割输出结果，得到病理目标最终的实例分割输出结果包括：将分类结果中的所有分类对应的初始的实例分割输出结果依次计算交并比，并抑制交并比过大的输出结果，从而得到病理目标最终的实例分割输出结果。
本发明的另一方面，提供了一种活检组织中病理目标实例分割装置，该装置包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
本发明的又一方面，还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述方法的步骤。
本发明实施例提供的病理目标实例分割方法和装置，能够训练出一个对于多染色、多病种都具有鲁棒性的病理目标实例分割模型。能对病理目标进行检测、分型。在临床实践中，本模型可帮助医生计算病理目标数目，快速定位病理目标，为病理目标的进一步结构分析打下基础。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中基于深度学习的多染色病理目标实例分割方法的流程示意图。
图2为本发明一实施例中Cascade Mask R-CNN模型的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
本发明实施例提出了一种基于深度学习的多染色病理目标实例分割方法，该方法基于Cascade Mask R-CNN模型对活检组织全切片数字图像进行处理，能够训练出一个对于多染色、多病种都具有鲁棒性的病理目标实例分割模型，并实现病理目标实例的精确分割。
Cascade Mask R-CNN模型是是一个用于通用的实例分割的模型，基本结构图如图2所示，由于Cascade Mask-RCNN能够同时完成检测出病理目标和对病理目标完成分割这两项任务，且相比其他实例分割模型具有较高精度，因此本发明采用Cascade Mask R-CNN模型来对活检组织全切片数字图像进行处理。
图1为本发明一实施例提出的基于深度学习的多染色病理目标实例分割方法的流程示意图。如图1所示，该方法包括如下步骤：
步骤S110，在数据收集阶段，对同一组织上相邻的多个切片使用多种不同染色方法进行染色获得多个染色图像，并对获得的多个染色图像进行标注，获取多种染色对应的多种染色全切片图像。可将该多染色全切片图像放入数据集中作为训练数据。
为了能够训练出能够处理基于多染色全切片图像的病理目标实例分割问题的模型，本发明首先要收集并标注不同染色的活检组织病理图像。因此，本发明在数据收集阶段，对于同一组织采取不同的染色方法进行染色获得多个染色图像，并对获得的染色图像进行标注，来获取不同染色对应的训练数据。
在本发明实施例中，为了提升标注的效率，可以将同一组织上的相邻多个切片(例如3个以上的切片)分别使用多种不同的染色方法进行染色获得多个染色图像，然后仅先标注一种染色图像。由于各切片是相邻的，病理目标的位置及大小不会有太多的变化，因此对于尚未标注的染色图像直接采用与已标注的染色图像相同或基本相同的标注结果。在此，“基本相同的标注结果”包括依据各自染色的实际情况对标注结果进行微调后得到的标注结果。这样，可以极大地提高整理标注的效率。本发明实施例中，依据各自染色的实际情况对标注结果进行微调包括人工查看标注结果后，通过对少量可能存在标注偏移的目标进行略微调整来修改标注信息。
以全切片数字图像为肾活检全切片数字图像，需要被实例分割的病理目标为肾小球为例，本步骤中，为了收集并标注不同染色的肾组织活检病理图像，可对同一肾活检组织上相邻的3片切片使用3种不同的染色方法进行染色获得3个染色图像。由于三片切片是相邻的，肾小球的位置及大小不会有太多的变化，因此本实施例先只标注一个染色图像，然后对其他染色图像直接采用同一种标注结果。对于其他染色图样的同样的标注结果，可进一步依据各自染色的实际情况进行微调，例如对少量可能存在标注偏移的目标进行略微调整，这可以极大地提高标注的效率。当然，本发明并不限于此，也可以对各染色图像一一进行标注。
步骤S120，将从数据集中选择的全切片数字图像进行切块，切成预定大小的子块图像。
本步骤为数据预处理步骤，且为可选步骤。
在数据训练阶段，需要利用数据集中的数据对Cascade Mask R-CNN模型进行数据训练，但如果全切片数字图像分辨率过大而计算资源有限，则无法将整张图直接输入Cascade Mask R-CNN模型。在这种情况下，在数据训练之前需要对全切片数字图像进行数据预处理，因此本步骤中将全切片数字图像进行切块，切成预定大小的子块图像，例如切成分辨率为2048像素×2048像素的小的子块图像，但本发明并不限于此。
同时，为了避免切块过程中对病理目标结构的破坏造成数据资源浪费，在预处理过程中本发明采用有重叠步长的切块方法对全切片数字图像进行切块。例如，可以以窗口边长的预定比例，如1/4，作为重叠步长来进行切块，也即，用于切块的窗口滑动步长为窗口边长的3/4。在此，以窗口边长的1/4作为重叠步长仅为示例，本发明并不限于此，也可以是窗口边长的更大或更小的比例值。以肾活检全切片数字图像为例，为了避免切块过程中对肾小球结构的破坏造成数据资源浪费，在预处理中采用了有重叠步长的切块方法，用于切块的窗口滑动步长为窗口边长的四分之三(如1536个像素点)。
进一步地，为了使得训练数据更加丰富，本发明在不破坏病理目标组织结构的前提下还使用了数据增强方法，数据增强方法例如包括以下数据变换中的一种或多种：将子块图像随机旋转90°或其他角度、水平翻转、垂直翻转、转置、随机裁剪等，这些变换仅为示例，本发明并不限于此。数据增强方法作用是增加训练集图片数量，使得图像分布更具有多样性。例如，在不破坏肾小球组织结构的前提下使用数据增强方法，对肾活检全切片数字图像的子块图像分别进行随机旋转90°、水平翻转、垂直翻转、转置、随机裁剪这五种数据增强方法。将输入的子块图像分别经过以上五种变换后，便得到五张变换后的图像，将变换后的图像加入数据集，可以达到数据增强(增加训练样本数量)的效果。
本发明另选实施例中，不仅可以对子块图像使用数据增强的方法，也可以在对全切片数字图像进行切块之前，对全切片数字图像使用数据增强的方法，并将数据增强处理后得到的变换后的图像加入到数据集中，使得数据集更加丰富。
步骤S130，将样本数据(切块后得到的子块图像)放进Cascade Mask R-CNN模型中进行训练。
该样本数据可以是数据集中未经数据预处理的样本数据，只要大小符合模型计算的要求。也有可能是经过了步骤S120的数据预处理后的样本数据。
由于数据收集阶段得到的数据样本是多种染色对应的多种染色全切片图像，在本发明实施例中，输入至Cascade Mask R-CNN模型的全切片图像或子块图像基于多种不同染色方法而被分为多类。针对全切片图像或子块图像的这种分类的数据形式，本发明调整了Cascade Mask R-CNN模型的输出结构。由于本发明是从病理数据集中获得的输入数据，基于数据集中病理目标的类别数，本发明将Cascade Mask R-CNN模型的输出结构的维度调整为与预设的病理目标的类别数一致。以肾小球为例，在使用3种不同的染色方法进行染色获得3种染色的肾活检全切片数字图像的情况下，对肾小球的种类分为正常的肾小球、硬化的肾小球、病变后结构缺失的肾小球3类，由于肾小球的类别数是3，于是将输出结构的维度调整成3，在此，将肾小球的种类分为3类仅为示例，还可以基于实际需要将病理目标分为2类、4类或更多的类。
图2为本发明一实施例中采用的Cascade Mask R-CNN模型的结构示意图。如图2所示，Cascade Mask R-CNN模型包括若干卷积层、特征池化层pool、分类结果输出分支(C1-C3)、检测结果输出分支(B1-B3)和分割结果输出分支S。
图2中，“conv”代表卷积骨架网络，由若干卷积层组成，用于提取图像特征；“pool”代表基于区域的特征池化，用于对图像特征降维；“H”(如H1，H2，H3)代表模型头部，其由若干卷积层组成，用于图像特征转换；“B”(如B1，B2，B3)代表检测结果输出分支，用于输出图像的检测结果；“C”(如C1，C2，C3)代表分类结果输出分支，用于输出图像的分类结果；“S”代表分割结果输出分支，用于输出图像的分割结果；GN、GL、GS分别代表不同的肾小球类别。最终的肾小球分类结果接在“C3”之后，肾小球的检测结果接在“B3”之后，肾小球的分割结果接在“S”之后。
全切片图像或子块图像通过Cascade Mask R-CNN模型后，即可获得肾小球的分类、检测和分割结果。
可进一步将Cascade Mask R-CNN模型输出的结果与人工的标注进行对比来计算损失，计算的损失可通过反向传播来指导模型进行参数优化。
Cascade Mask R-CNN模型训练好后，变可以基于训练后的Cascade Mask R-CNN模型对病理目标进行实例分割。
步骤S140，将数据集中多种染色的切片图像作为训练后的Cascade Mask R-CNN模型的输入，得到初始的实例分割输出结果，利用非极大值抑制算法抑制初始的实例分割输出结果中的所有分类对应的实例分割输出结果，得到病理目标最终的实例分割输出结果。
将数据集中多种染色的全切片图像或子块图像输入模型进行实例分割后，模型就会输出实例分割的结果，该结果包含检测结果、分类结果和分割结果，其中检测结果表示对病理目标(如肾小球)的定位结果；分类结果表示每个病理目标的类别，该类别表示每个病理目标的类别，每个病理目标的分类结果也叫分型；分割结果表示对病理目标界限的界定。对分类结果进行统计，即可实现病理目标的计数。
本步骤中，是对Cascade Mask R-CNN模型的输出结果采用非极大值抑制算法，来消除重合率大的输出结果。非极大值抑制是将输出的检测结果进行交并比计算，设置一个阈值，对于交并比过大的检测结果，只取置信度最高的那一个，舍去其他所有结果的检测算法。
本发明实施例中，由于病理切片在制作时切得很薄，厚度通常远远小于细胞核的直径，因此病理目标具有不会相互重叠的特性，于是本发明改进了传统的非极大值抑制算法，对模型输出结果进行后处理，以进一步减少模型错误检测的结果。传统的图像实例分割问题上，由于不同类之间会存在重叠现象，因此只能针对同一分类的病例目标进行非极大值抑制，即进行输出边界框交并比的判断，也就是说，传统的非极大值抑制算法只抑制同一类病例目标对应的输出结果。然而，对病理目标而言，类与类之间可能差异没有那么大，很可能模型会对同一个病理目标，产生两种不同类别的检测结果，这时，传统的非极大值抑制就无法起到作用了。
因此在本发明实施例的实例分割问题上，由于切片很薄，往往远小于细胞的直径，因此病例目标不会重叠，以肾小球实例为例，肾活检全切片中肾小球具有不会重叠的属性。因此，本发明针对所有分类的病例目标将所有的输出结果依次计算交并比，并抑制交并比过大的输出结果。由于病理目标不会重叠，因此不存在不同类之间也会出现交并比很大的情况。因此本发明将非极大值抑制算法修改为抑制所有分类，而不是同一类别。
对于交并比过大的输出结果，只保留置信度最高的一个结果，作为最后的输出结果使用，从而抑制了传统方法对于同一个病理目标(如肾小球)的重复识别现象。对于其他活检组织的病理目标同样如此。
在步骤S140中Cascade Mask R-CNN模型的输入数据为子块图像的情况下，本发明实施例的方法将还包括：
步骤S150，将模型输出的最终结果按照切片坐标映射回原全切片图像，由此实现了对于多染色全切片图像的病理目标实例分割。
基于多染色全切片图像的病理目标实例分割结果，能够基于多染色对病理目标进行检测、提取图像中病理目标的区域以及对病理目标计数和分型，帮助医生进行后续诊断。
对于肾活检全切片数字图像而言，完成了整张全切片数字图像的肾小球实例分割问题。
本发明实施例提供的病理目标实例分割方法和装置，能够训练出一个对于多染色、多病种都具有鲁棒性的病理目标实例分割模型。能对病理目标进行检测、分型。在临床实践中，本模型可帮助医生计算病理目标数目，快速定位病理目标，为病理目标的进一步结构分析打下基础。
与上述方法相应地，本发明还提供了一种基于深度学习的多染色病理目标实例分割装置，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述边缘计算服务器部署方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如光盘、U盘、软盘、硬盘等。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种活检组织中病理目标实例分割方法，其特征在于，该方法包括以下步骤：
在数据收集阶段，对同一组织上相邻的多个切片使用多种不同染色方法进行染色获得多个染色图像，并对获得的染色图像进行标注，获取不同染色对应的多种染色全切片图像，放入数据集中作为训练数据；
基于所述训练数据对Cascade Mask R-CNN模型进行训练，其中，所述Cascade Mask R-CNN模型的输出结构的维度与所述染色全切片图像的病理目标种类一致；
将数据集中多种染色的切片图像作为训练后的Cascade Mask R-CNN模型的输入，得到初始的实例分割输出结果，所述初始的实例分割输出结果包括病理目标检测结果、分类结果和分割结果；
利用非极大值抑制算法抑制分类结果中的所有分类对应的实例分割输出结果，得到病理目标最终的实例分割输出结果。
2.根据权利要求1所述的方法，其特征在于，
在对Cascade Mask R-CNN模型进行训练之前，所述方法还包括：数据预处理步骤，将染色全切片数字图像进行切块，切成预定大小的子块图像；
将切块后得到的子块图像输入Cascade Mask R-CNN模型，对Cascade Mask R-CNN模型进行训练。
3.根据权利要求1所述的方法，其特征在于，
所述对同一组织上相邻的多个切片使用多种不同染色方法进行染色获得多个染色图像，并对获得的染色图像进行标注，包括：
对同一组织上相邻的多个切片使用多种不同染色方法进行染色，得到多个染色图像；
对多个染色图像中的一个染色图像进行标注，并对多个染色图像中的其他染色图像采用与标注的一个染色图像相同或基本相同的标注结果，从而获取不同染色对应的多种染色全切片图像。
4.根据权利要求2所述的方法，其特征在于，
所述将染色全切片数字图像进行切块，切成预定大小的子块图像，包括：采用有重叠步长的切块方法对全切片数字图像进行切块，切成预定大小的子块图像；所述预定大小的子块图像为2048像素×2048像素大小；
所述采用有重叠步长的切块方法对全切片数字图像进行切块时，用于切块的窗口滑动步长为窗口边长的四分之三。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在训练后的Cascade Mask R-CNN模型的输入数据为子块图像的情况下，将所述实例分割输出结果按照切片坐标映射回原全切片数字图像获得全切片数字图像对应的实例分割输出结果，并提取图像中病理目标的区域以及对病理目标计数。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对全切片数字图像或子块图像进行以下转换中的一种或多种：随机旋转90°、水平翻转、垂直翻转、转置和随机裁剪，并将装换后的全切片数字图像或子块图像放入数据集中。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在训练阶段，将Cascade Mask R-CNN模型的输出结果与人工标注结果进行对比，基于对比结果计算损失函数，并基于损失函数指导模型进行参数优化。
8.根据权利要求7所述的方法，其特征在于，
所述病理目标实例为肾小球实例；所述全切片数字图像为肾活检全切片数字图像；
所述利用非极大值抑制算法抑制分类结果中的所有分类对应的实例分割输出结果，得到病理目标最终的实例分割输出结果包括：将分类结果中的所有分类对应的初始的实例分割输出结果依次计算交并比，并抑制交并比过大的输出结果，从而得到病理目标最终的实例分割输出结果。
9.一种病理目标实例分割装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至8中任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110753406.7A CN113393454A (zh) | 2021-07-02 | 2021-07-02 | 活检组织中病理目标实例分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110753406.7A CN113393454A (zh) | 2021-07-02 | 2021-07-02 | 活检组织中病理目标实例分割方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113393454A true CN113393454A (zh) | 2021-09-14 |
Family
ID=77625090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110753406.7A Pending CN113393454A (zh) | 2021-07-02 | 2021-07-02 | 活检组织中病理目标实例分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393454A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113990521A (zh) * | 2021-10-22 | 2022-01-28 | 北京大学人民医院 | 一种IgA肾病病理分析、预后预测及病理指标挖掘系统 |
| CN115240000A (zh) * | 2022-07-22 | 2022-10-25 | 司法鉴定科学研究院 | 一种用于法医鉴定的糖尿病检测装置及方法 |
| CN116682109A (zh) * | 2023-08-02 | 2023-09-01 | 深圳金质科技有限公司 | 一种病理显微图像的分析方法、装置、设备及存储介质 |
| CN117152106A (zh) * | 2023-09-13 | 2023-12-01 | 厦门良医真选健康科技有限公司 | 基于深度学习的生物活性检测方法及装置 |
| CN117974528A (zh) * | 2024-04-02 | 2024-05-03 | 北京易优联科技有限公司 | 一种肾活检切片影像优化增强方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028923A (zh) * | 2019-10-18 | 2020-04-17 | 平安科技（深圳）有限公司 | 数字病理图像染色归一化方法、电子装置及存储介质 |
| CN111462036A (zh) * | 2020-02-18 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 基于深度学习的病理图像处理方法、模型训练方法及装置 |
| CN111798425A (zh) * | 2020-06-30 | 2020-10-20 | 天津大学 | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 |
| CN111798426A (zh) * | 2020-06-30 | 2020-10-20 | 天津大学 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
| CN111798416A (zh) * | 2019-06-20 | 2020-10-20 | 太原理工大学 | 基于病理图像与深度学习的肾小球智能检测方法及系统 |
| US20210158524A1 (en) * | 2019-11-27 | 2021-05-27 | Case Western Reserve University | Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images |
-
2021
- 2021-07-02 CN CN202110753406.7A patent/CN113393454A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798416A (zh) * | 2019-06-20 | 2020-10-20 | 太原理工大学 | 基于病理图像与深度学习的肾小球智能检测方法及系统 |
| CN111028923A (zh) * | 2019-10-18 | 2020-04-17 | 平安科技（深圳）有限公司 | 数字病理图像染色归一化方法、电子装置及存储介质 |
| US20210158524A1 (en) * | 2019-11-27 | 2021-05-27 | Case Western Reserve University | Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images |
| CN111462036A (zh) * | 2020-02-18 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 基于深度学习的病理图像处理方法、模型训练方法及装置 |
| CN111798425A (zh) * | 2020-06-30 | 2020-10-20 | 天津大学 | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 |
| CN111798426A (zh) * | 2020-06-30 | 2020-10-20 | 天津大学 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
Non-Patent Citations (3)
| Title |
|---|
| CAI, ZHAOWEI等: "Cascade R-CNN Delving into High Quality Object Detection", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| CAI, ZHAOWEI等: "Cascade R-CNN: High Quality Object Detection and Instance Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 杨会等: "基于级联区域卷积神经网络算法在肾组织病理切片中对肾小球的识别与定位", 《第二军医大学学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113990521A (zh) * | 2021-10-22 | 2022-01-28 | 北京大学人民医院 | 一种IgA肾病病理分析、预后预测及病理指标挖掘系统 |
| CN115240000A (zh) * | 2022-07-22 | 2022-10-25 | 司法鉴定科学研究院 | 一种用于法医鉴定的糖尿病检测装置及方法 |
| CN116682109A (zh) * | 2023-08-02 | 2023-09-01 | 深圳金质科技有限公司 | 一种病理显微图像的分析方法、装置、设备及存储介质 |
| CN116682109B (zh) * | 2023-08-02 | 2023-11-17 | 深圳金质科技有限公司 | 一种病理显微图像的分析方法、装置、设备及存储介质 |
| CN117152106A (zh) * | 2023-09-13 | 2023-12-01 | 厦门良医真选健康科技有限公司 | 基于深度学习的生物活性检测方法及装置 |
| CN117974528A (zh) * | 2024-04-02 | 2024-05-03 | 北京易优联科技有限公司 | 一种肾活检切片影像优化增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111696094B (zh) | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 | |
| CN113393454A (zh) | 活检组织中病理目标实例分割方法和装置 | |
| CN112435243A (zh) | 一种全切片数字病理图像的自动分析系统及方法 | |
| CN110472676A (zh) | 基于深度神经网络的胃早癌组织学图像分类系统 | |
| Chang et al. | Nuclear segmentation in H&E sections via multi-reference graph cut (MRGC) | |
| CN106056595A (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 | |
| CN111488921A (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| US12008750B2 (en) | Generating annotation data of tissue images | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN112215217A (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN115641345A (zh) | 一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法 | |
| CN118334336A (zh) | 阴道镜图像分割模型构建方法、图像分类方法和装置 | |
| WO2013022688A1 (en) | Automated detection of diagnostically relevant regions in pathology images | |
| CN116682109B (zh) | 一种病理显微图像的分析方法、装置、设备及存储介质 | |
| WO2022061922A1 (zh) | 材料微结构的分析方法和装置 | |
| CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
| Tsukada et al. | Extraction of cell nuclei using cnn features | |
| CN114926635A (zh) | 与深度学习方法相结合的多焦图像中目标分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |
|
| RJ01 | Rejection of invention patent application after publication |