CN113192077B - 一种细胞及区域层次的病理图自动分类方法及系统 - Google Patents
一种细胞及区域层次的病理图自动分类方法及系统 Download PDFInfo
- Publication number
- CN113192077B CN113192077B CN202110403704.3A CN202110403704A CN113192077B CN 113192077 B CN113192077 B CN 113192077B CN 202110403704 A CN202110403704 A CN 202110403704A CN 113192077 B CN113192077 B CN 113192077B
- Authority
- CN
- China
- Prior art keywords
- layer
- area
- small
- cutting
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010586 diagram Methods 0.000 claims abstract description 119
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 95
- 201000011510 cancer Diseases 0.000 claims abstract description 63
- 102000004169 proteins and genes Human genes 0.000 claims abstract description 24
- 108090000623 proteins and genes Proteins 0.000 claims abstract description 24
- 230000002792 vascular Effects 0.000 claims abstract description 20
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 230000003780 keratinization Effects 0.000 claims abstract description 3
- 210000004027 cell Anatomy 0.000 claims description 173
- 238000012549 training Methods 0.000 claims description 89
- 238000013527 convolutional neural network Methods 0.000 claims description 83
- 230000006003 cornification Effects 0.000 claims description 22
- 210000002865 immune cell Anatomy 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000007477 logistic regression Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000005111 flow chemistry technique Methods 0.000 abstract 1
- 238000005065 mining Methods 0.000 abstract 1
- 230000008595 infiltration Effects 0.000 description 4
- 238000001764 infiltration Methods 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 201000009030 Carcinoma Diseases 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 2
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 2
- 201000010881 cervical cancer Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002900 effect on cell Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007762 localization of cell Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像分析领域，公开了一种细胞及区域层次的病理图自动分类方法及系统，该方法包括以下步骤：(1)将初始病理图切割成小图，并绘制细胞掩膜图；(2)对小图进行图像分割得到细胞坐标；(3)将初始病理图切割为单个细胞小图，判断细胞类型；(4)将初始病理图切割为小图，判断是否属于癌区、癌旁区域；(5)将初始病理图切割为小图，分别判断是否属于肿瘤组织实质区、间质区、蛋白角化区、脉管区；综合各个得分，确定细胞类型及其所属区域。本发明通过对方法整体流程处理进行改进，能够克服现有技术中对病理图的分析停留于区块式分析的缺陷，真正将病理图的信息进行了深度挖掘，实现了病理图的自动分类。
Description
技术领域
本发明属于图像分析领域，更具体地，涉及一种细胞及区域层次的病理图自动分类方法及系统。
背景技术
病理图往往蕴含大量信息。癌症发展的宏观情况可以通过临床指标检测、X光等方式鉴别，但更细化的信息难以确定，从而无法精细化、个性化对病人进行分型治疗。目前的病理图片分析及分类方法主要集中在区块层面，缺乏细胞层次和以生理区域为划分的分析与分类。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种细胞及区域层次的病理图自动分类方法及系统，其中通过对方法整体流程处理、及相应系统装置中各个功能模块组件的设置方式进行改进，能够克服现有技术中对病理图的分析停留于区块式分析的缺陷，真正将病理图的信息进行了深度挖掘，实现了病理图的自动分类，可进一步为病人的个性化治疗和分型提供有效帮助。
为实现上述目的，按照本发明的一个方面，提供了一种细胞及区域层次的病理图自动分类方法，其特征在于，包括以下步骤：
(1)将初始病理图切割为尺寸预先设定的第一类小图，并绘制这些第一类小图的细胞掩膜图；
(2)将所述步骤(1)得到的第一类小图及其细胞掩膜图用第一卷积神经网络进行图像分割，从而对初始病理图中的细胞进行定位，得到细胞坐标；
(3)根据预先标记出癌细胞和免疫细胞的训练用病理图，以切割后的小图覆盖一个预先标记的完整细胞为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第二类小图，对第二卷积神经网络进行训练，训练好的所述第二卷积神经网络能够判断细胞类型，分别得到细胞类型属于癌细胞、免疫细胞、其他细胞的概率得分；
针对初始病理图，根据所述步骤(2)得到的细胞坐标，以切割后的小图覆盖一个完整细胞为切割原则，将所述初始病理图切割为尺寸预先设定的第二类小图，并利用训练好的所述第二卷积神经网络判断每一张第二类小图的细胞类型，并将得到的判断结果记录下来；
(4)根据预先选取的图中癌区和癌旁区域能够区分的训练用病理图，按预先设定的尺寸大小，同时以切割后的小图全部面积属于癌区或癌旁为切割原则，得到尺寸预先设定的训练用第三类小图，对第三卷积神经网络进行训练，训练好的所述第三卷积神经网络能够判断癌区和癌旁区域，分别得到待测试图中所示区域属于癌区、癌旁区域的概率得分；
针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第三类小图，并利用训练好的所述第三卷积神经网络判断每一张第三类小图是否属于癌区、癌旁区域，并将得到的判断结果记录下来；
(5)根据预先标记出肿瘤组织实质区、间质区、蛋白角化区和脉管区的训练用病理图：
(i)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于肿瘤组织实质区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第四类小图，对第四卷积神经网络进行训练，训练好的所述第四卷积神经网络能够判断肿瘤组织实质区，得到待测试图中所示区域属于肿瘤组织实质区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第四类小图，并利用训练好的所述第四卷积神经网络判断每一张第四类小图是否属于肿瘤组织实质区，并将得到的判断结果记录下来；
或是：(ii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于间质区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第五类小图，对第五卷积神经网络进行训练，训练好的所述第五卷积神经网络能够判断间质区，得到待测试图中所示区域属于间质区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第五类小图，并利用训练好的所述第五卷积神经网络判断每一张第五类小图是否属于间质区，并将得到的判断结果记录下来；
或是：(iii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于蛋白角化区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第六类小图，对第六卷积神经网络进行训练，训练好的所述第六卷积神经网络能够判断蛋白角化区，得到待测试图中所示区域属于蛋白角化区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第六类小图，并利用训练好的所述第六卷积神经网络判断每一张第六类小图是否属于蛋白角化区，并将得到的判断结果记录下来；
或是：(iv)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于脉管区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第七类小图，对第七卷积神经网络进行训练，训练好的所述第七卷积神经网络能够判断脉管区，得到待测试图中所示区域属于脉管区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第七类小图，并利用训练好的所述第七卷积神经网络判断每一张第七类小图是否属于脉管区，并将得到的判断结果记录下来；
如此基于所述步骤(3)、所述步骤(4)和所述步骤(5)各自得到的得分，共同利用逻辑回归得出一个最终得分，即可确定初始病理图中各个细胞的细胞类型及其所属区域；其中，所述逻辑回归所采用的模型预先经过训练处理，所述训练处理是在已知细胞真实分类的病理图参与下进行的。
作为本发明的进一步优选，所述步骤(1)中，所述尺寸预先设定的第一类小图，尺寸具体为128像素*128像素；
所述步骤(3)中，所述尺寸预先设定的训练用第二类小图和所述尺寸预先设定的第二类小图，尺寸均为64像素*64像素；
所述步骤(4)中，所述尺寸预先设定的训练用第三类小图和所述尺寸预先设定的第三类小图，尺寸均为256像素*256像素；
所述步骤(5)中：
所述尺寸预先设定的训练用第四类小图、所述尺寸预先设定的第四类小图、所述尺寸预先设定的训练用第五类小图和所述尺寸预先设定的第五类小图，尺寸均为256像素*256像素；
所述尺寸预先设定的训练用第六类小图、所述尺寸预先设定的第六类小图、所述尺寸预先设定的训练用第七类小图和所述尺寸预先设定的第七类小图，尺寸均为128像素*128像素。
作为本发明的进一步优选，所述步骤(2)中，所述第一卷积神经网络包括十层细节结构；其中，第1至4层细节结构为下采样层；第5层细节结构设置为跳跃连接，以防止梯度消失；第6至9层细节结构为上采样层；第10层细节结构为输出层；
优选的，第1至4层细节结构依次为两层卷积层、一层最大池化层与一层批标准化层，为了层层提取特征，该第1至4层细节结构中，从第2层细节结构层起，每层细节结构所用卷积层的卷积核均为上一层的细节结构所用卷积层的卷积核个数的2倍；
第6至9层细节结构依次为一层反卷积层、一层批标准化层和两层卷积层，该第6至9层细节结构中，每层细节结构所用卷积层的卷积核均为上一层的细节结构所用卷积层的卷积核个数的一半；并且在反卷积层与批标准化层之间，还设置有用于将反卷积后的矩阵与第1至4层细节结构中间得到的大小相同的矩阵拼接的运算；
最后，第10层细节结构为一个Dropout层和输出全连接层依次排列构成的结构，其中，Dropout层用于防止过拟合，输出全连接层用于输出代表是否为细胞的两类值；
优选的，该第一卷积神经网络中的所有卷积层都设置padding为same模式，确保输出图像与输入大小相同。
作为本发明的进一步优选，所述步骤(3)中，所述第二卷积神经网络包括七层细节结构；其中，
第1层细节结构为输入层，用于将输入的数据输入第二卷积神经网络；
第2至5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个相邻的细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为flatten层，用于将数据从卷积层过度到第7层细节结构；
第7层细节结构为一层全连接层、一层批标准化、一层Dropout层和一层全连接层依次排列构成的结构；其中，第一个全连接层用于实现神经网络的全连接，最后一个全连接层的输出维度为3，用于分别输出细胞属于癌细胞、免疫细胞、其它细胞的概率；
优选的，所述第二卷积神经网络中，所有Dropout层的隐含节点dropout率设置为0.5。
作为本发明的进一步优选，所述步骤(4)中，该第三卷积神经网络包括十层细节结构；其中，
第1层细节结构为输入层；
第2至6层细节结构依次为两层卷积层、一层最大池化层、一层批标准化层和一层Dropout层；并且，该第2至6层细节结构中，从第3层细节结构层起，每层细节结构所用卷积层的卷积核均为上一层的细节结构所用卷积层的卷积核个数的2倍；
第7层细节结构包括一层flatten层；
第8层细节结构和第9层细节结构，彼此相同，均为一层全连接层、一层批标准化层、一层激活层和一层Dropout层依次排列构成的结构；其中，激活层的激活函数为relu；
第10层细节结构包括一层全连接层，用于输出代表被测对象是否属于癌区、癌旁区域的两类概率得分。
作为本发明的进一步优选，所述步骤(5)中，
对于(i)和(ii)：
所述第四卷积神经网络和所述第五卷积神经网络，彼此结构相同；对于其中任意一个卷积神经网络，包括七层细节结构；其中，第1层细节结构为输入层；第2至5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个相邻的细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为flatten层，用于将数据从卷积层过度到第7层细节结构；
第7层细节结构为一层全连接层、一层批标准化、一层Dropout层和一层全连接层依次排列构成的结构；其中，第一个全连接层用于实现神经网络的全连接，最后一个全连接层的输出维度为2，用于输出代表被测对象是否为肿瘤实质区或间质区的概率得分；
对于(iii)和(iv)：
所述第六卷积神经网络和所述第七卷积神经网络，彼此结构相同；对于其中任意一个卷积神经网络，包括九个细节结构，其中，第1层细节结构为输入层，第2至5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为Flatten层；
第7层细节结构和第8层细节结构，彼此相同，均为一层全连接层，一层批标准化层、一层激活层和一层Dropout依次排列构成的结构；
第9层细节结构为全连接层，输出维度为2，用于输出代表被测对象是否为蛋白角化区或脉管区的概率得分。
作为本发明的进一步优选，所述步骤(1)中，所述第一类小图的细胞掩膜图中，灰度值小于180的定为细胞，灰度值大于180的部分定为背景；
所述步骤(3)中：
所述以切割后的小图覆盖一个预先标记的完整细胞为切割原则，具体是以每个预先标记的细胞其细胞坐标为中心，分别向左、向右、向上、向下扩展形成方形切割窗口，每个方形切割窗口的中心与对应的细胞坐标相重合；
所述以切割后的小图覆盖至少一个细胞为切割原则，具体是以每个细胞的细胞坐标为中心，分别向左、向右、向上、向下扩展形成方形切割窗口，每个方形切割窗口的中心与对应的细胞坐标相重合。
作为本发明的进一步优选，所述步骤(4)中：
所述根据预先选取的图中癌区和癌旁区域能够区分的训练用病理图，按预先设定的尺寸大小，同时以切割后的小图全部面积属于癌区或癌旁为切割原则，得到尺寸预先设定的训练用第三类小图，具体是：先利用尺寸预先设置的滑动方形窗口直接切割训练用病理图，然后从中筛选出切割后的小图其全部面积属于癌区或癌旁的小图，即可得到训练用第三类小图。
作为本发明的进一步优选，所述步骤(5)中：
(i)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于肿瘤组织实质区标记为切割原则，(ii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于间质区标记为切割原则，(iii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于蛋白角化区标记为切割原则，(iv)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于脉管区标记为切割原则，均具体对应：
先利用尺寸预先设置的滑动方形窗口分别直接切割所述训练用病理图，再分别筛选出切割后的小图内对应肿瘤组织实质区、间质区、蛋白角化区或脉管区标记区域面积占比大于等于50％的图像，分别作为训练用第四类小图、训练用第五类小图、训练用第六类小图和训练用第七类小图。
按照本发明的另一方面，本发明提供了一种细胞及区域层次的病理图自动分类系统，其特征在于，该系统包括：
切割及掩膜图提取模块，用于将初始病理图切割为尺寸预先设定的第一类小图，并绘制得到这些第一类小图的细胞掩膜图；
第一卷积神经网络，用于对得到的第一类小图及其细胞掩膜图进行图像分割，从而对初始病理图中的细胞进行定位，得到细胞坐标；
切割模块及第二卷积神经网络，用于针对初始病理图，根据得到的细胞坐标，以切割后的小图覆盖一个完整细胞为切割原则，将所述初始病理图切割为尺寸预先设定的第二类小图，并判断每一张第二类小图的细胞类型，分别得到细胞类型属于癌细胞、免疫细胞、其他细胞的概率得分；
切割模块及第三卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第三类小图，并判断每一张第三类小图是否属于癌区、癌旁区域，从而分别得到属于癌区、癌旁区域的概率得分；
切割模块及第四卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第四类小图，并判断每一张第四类小图是否属于肿瘤组织实质区，从而得到属于肿瘤组织实质区的概率得分；
切割模块及第五卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第五类小图，并判断每一张第五类小图是否属于间质区，从而得到属于间质区的概率得分；
切割模块及第六卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第六类小图，并判断每一张第六类小图是否属于蛋白角化区，从而得到属于蛋白角化区的概率得分；
切割模块及第七卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第七类小图，并判断每一张第七类小图是否属于脉管区，从而得到属于脉管区的概率得分；
逻辑回归模块，用于将得到的细胞类型属于癌细胞、免疫细胞、其他细胞的概率得分，属于癌区、癌旁区域的概率得分，属于肿瘤组织实质区的概率得分，属于间质区的概率得分，属于蛋白角化区的概率得分，属于脉管区的概率得分，共计9种得分，共同利用逻辑回归得出一个最终得分，从而确定初始病理图中各个细胞的细胞类型及其所属区域。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
(1)本发明中的细胞及区域层次的病理图自动分类方法及系统，具有普适性，对各种病理图都适用，有助于人们从各种类型的疾病的病理图中挖掘信息。
(2)利用本发明病理图自动分类方法或系统得到的细胞类型及其所属区域结论，基于原理——癌症的分期和恶化程度往往与癌细胞在脉管中的浸润程度和免疫细胞在癌组织中的浸润程度等相关，通过定位和计数病理切片中不同位置和类型的细胞能反映病人的癌症发展情况，从而有利于对病人的分型与个性化治疗，可以为病人的个性化治疗和分型提供有效帮助。
(3)本发明在细胞定位中采用的以U-Net神经网络为基础，对细胞图像进行像素级分割，是目前所有病理图处理方案中最细致、信息量最大的。
附图说明
图1是本发明细胞及区域层次的病理图自动分类方法的流程示意图。
图2是局部病理图中细胞的标记及分类情况。
图3是本发明实施例所建立的细胞及区域层次的病理图自动分类系统中各模型的性能展示；其中，图3中的(a)对应细胞定位的性能，图3中的(b)对应细胞分类的准确率，图3中的(c)对应癌区与癌旁分类的准确率，图3中的(d-1)、(d-2)、(d-3)、(d-4)分别对应区域分类模型中肿瘤实质区、间质区、角化区、脉管区的分类准确率。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
下面以宫颈癌病人组织染色切片为例，对本发明方法及系统进行详细说明。我们从同济医院等收集到了664张宫颈癌病人的癌与癌旁组织切片用于备用的数据集和最终的实施案例，例如可以将病理图切割为5120*5120的大图。具体步骤如下：
(1)首先选取其中部分图片，从中切割并筛选了1689张128*128像素大小的小图作为细胞切割定位的训练集，可以手动利用Adobe Photoshop CC2018绘制相应的细胞掩膜图为标签，掩膜为单通道灰度图，以白色标记细胞整体，黑色掩盖其他部分，从而得到细胞图像对应的像素标签。
该步骤(1)中，掩膜为手绘，灰度值小于180的部分定为细胞，大于180的部分为背景。步骤(1)中的数据集，细胞数量超过一万。
(2)将切割后和对应的细胞掩膜图用卷积神经网络进行图像分割，对大图中的细胞进行定位。具体的：
训练时采用UNET模型为原型(Unet模型可参见相关现有技术建立，如《U-Net:Convolutional Networks for Biomedical Image Segmentation》)，在本实施例中，可优选根据训练效果在初始模型上更改参数和隐藏层数等，最后获得测试集auc最高的模型。相应更改得到的模型，输入层形状为128*128*3，卷积个数每层为原本U-Net的一半，下采样的总层数也比U-Net少一层，卷积和上下采样过程中都加入padding，所以最终得到的图像与原图大小相同。模型在像素层面上对单个细胞影像做出预测，标记出细胞的位置和轮廓。模型对整张病理切片内的细胞进行定位，并记录坐标。如图2所示，细胞较密集的病理图中细胞能够被准确定位；如图3中的(a)所示，模型对细胞分割效果较好，像素级分类的auc可达0.952。
(3)病理学家手动标记出癌细胞和免疫细胞，利用卷积神经网络训练得到判断细胞类型的模型。根据步骤(2)中得到的细胞坐标，用训练好的网络模型进行判断，得到细胞层次判断细胞类型的概率得分，并可在原图中标记利用该模型得到的细胞层次判断细胞类型的概率得分。具体的：
利用模型预测得到每张图中细胞的坐标。同时病理学家针对多个癌细胞和免疫细胞富集的区域进行细胞类型的标记，癌细胞共15302个，免疫细胞共11375个。从图中切割这些细胞作为细胞分类的两类阳性训练集(切割除了预先设定的尺寸要求外，还要求以切割后的小图覆盖一个完整细胞作为切割原则，从而切割得到单个细胞小图)，同时切割非癌细胞和免疫细胞的其他类型细胞作为阴性训练集，其他类型的细胞共113308个。训练时所采用的模型，可参见《Very Deep Convolutional Networks for Large-Scale ImageRecognition》等相关现有技术，建立以VGG16为原型的模型；本实施例中的模型同样可利用3x3和2x2的卷积核搭建，但层数远比VGG16少。可根据训练效果反馈更改参数和训练层数，获得测试集auc最高的模型。最后得到的卷积神经网络包括七层细节结构；其中，
第1层细节结构为输入层，用于将输入的数据输入第二卷积神经网络；
第2至5层细节结构依次为两层卷积层、一层最大池化层(max_pooling)和一层批标准化层(batch_normalization)；该第2至5层细节结构中，每两个相邻的细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为flatten层，用于将数据从卷积层过度到第7层细节结构；
第7层细节结构为一层全连接层、一层批标准化、一层Dropout层和一层全连接层依次排列构成的结构；其中，第一个全连接层用于实现神经网络的全连接，最后一个全连接层的输出维度为3，用于分别输出细胞属于癌细胞、免疫细胞、其它细胞的概率。
如图3中的(b)所示，上述细胞分类型模型效果优秀，auc可达0.996。
该步骤(3)中的数据集可以是以手动标记为中心左、右、上、下各32个像素而切割的64*64大小的细胞图像。癌细胞数量超过一万五千，其他类型细胞数量超过十万。
(4)将癌区和癌旁区域切割为256*256大小的小图，利用卷积神经网络训练得到分辨癌与癌旁区域的模型，给出区域内的细胞属于癌或癌旁的概率得分(这些得分可以记录下来，例如可以直接在原图中标记这些得分)。具体的：
以被切割为5120*5120像素大小的病理图为对象，病理学家选择其中癌和癌旁形态比较典型的图，然后将它们进一步切割为256*256像素大小的小图，建立预测区域为癌或癌旁的分类模型训练集。卷积神经网络包括十层细节结构；其中，
第1层细节结构为输入层；
第2至6层细节结构依次为两层卷积层、一层最大池化层、一层批标准化层和一层Dropout层；并且，该第2至6层细节结构中，从第3层细节结构层起(含第3层细节结构层)，每层细节结构所用卷积层的卷积核均为上一层的细节结构所用卷积层的卷积核个数的2倍；
第7层细节结构包括一层flatten层；
第8层细节结构和第9层细节结构，彼此相同，均为一层全连接层、一层批标准化层、一层激活层和一层Dropout层依次排列构成的结构；其中，激活层的激活函数为relu；
第10层细节结构包括一层全连接层，用于输出代表被测对象是否属于癌区、癌旁区域的两类概率得分。该分数同时也是细胞获得的第四和第五个分数，即该细胞属于癌或癌旁的概率。如图3中的(c)所示，癌与癌旁区域分类模型效果较好，auc可达0.996。
该步骤(4)中的数据集可以来自癌与癌旁在形态上区分明确的病理切片大图，以256*256大小的滑动窗口切割，并手动去掉形态模糊、难以确认的小图，总共有7478张癌旁和7393张癌区图像参与训练。
(5)病理学家手动在病理图中标出肿瘤组织实质区、间质区、蛋白角化区、脉管区等区域，利用卷积神经网络训练后得到判定图像区域特征的模型，给出细胞在病理图中各位置所属类型的概率得分。细胞所得分数与步骤(3)(4)所得打分共同利用逻辑回归打出最终的得分，确定细胞类型及其所属区域。具体的：
由病理学家挑选整张病理切片中肿瘤组织实质区、间质区、脉管区、角化区域明显的切片进行区域的标记，由于区域面积存在差距，肿瘤组织实质区和间质区域切割为256*256像素大小，脉管和角化区域切割为128*128像素大小后利用模型训练。此处涉及四个二分类模型，每个模型对应一个卷积神经网络。
预测肿瘤组织实质区的模型和预测间质区的模型结构相同，对于预测肿瘤组织实质区模型和预测间质区的模型中的任意一者，包括七层细节结构；其中，第1层细节结构为输入层，第2至5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个相邻的细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为flatten层，用于将数据从卷积层过度到第7层细节结构；
第7层细节结构为一层全连接层、一层批标准化、一层Dropout层和一层全连接层依次排列构成的结构；其中，第一个全连接层用于实现神经网络的全连接，最后一个全连接层的输出维度为2，用于输出代表被测对象是否为肿瘤实质区或间质区的概率得分。
预测脉管的模型和预测角化区的模型结构相同，对于预测脉管的模型和预测角化区的模型中任意一者，包括九个细节结构，其中，第1层细节结构为输入层，第2－5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为Flatten层；
第7层细节结构和第8层细节结构，彼此相同，均为一层全连接层，一层批标准化层、一层激活层和一层Dropout依次排列构成的结构；
第9层细节结构为全连接层，输出维度为2，用于输出代表被测对象是否为蛋白角化区或脉管区的概率得分。
上述四个模型预测得分同时是区域内的细胞获得的第六到第九个分数。如图3中的(d-1)、(d-2)、(d-3)、(d-4)所示，区域识别模型的平均auc约0.95。
该步骤(5)中的数据集除了利用滑动窗口直接切割得到外，可筛选方形区域内对应区域面积占比超过50％的图像，共有50126张肿瘤组织实质区、37962张间质、2165张脉管和857张角化图像参与训练。
至此步骤(5)完成后，每个细胞有九个分数。可建立细胞真实类型已知的训练集，将训练集中每个对象的这九个分数与它的细胞真实类型一起进行逻辑回归训练，得到训练后的回归模型；该回归模型即能够将对每个细胞的所有得分进行预测，最终得到细胞最有可能归属的类别。每个细胞将被较准确地分到癌细胞、免疫细胞和其他细胞三类中。
(6)进一步的，可通过计算癌细胞与正常细胞的比例和距离，判断肿瘤纯度和浸润度；通过计算癌区中免疫细胞的比例计算出免疫细胞对癌的浸润程度；通过计算脉管中癌细胞的占比，确定癌细胞扩散的概率，并且综合蛋白角化的程度，同时结合病人的其他生理和组学指标，各种指标相互联系，构建细致具象化分期分型方案，进而为病人的临床治疗提供较大参考。
此外，上述步骤(3)、(4)、(5)彼此顺序可以互换。本发明中的图片尺寸，除特别说明外，尺寸单位均为像素。上述各个模型未详细说明之处，均可参照现有技术进行设置。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种细胞及区域层次的病理图自动分类方法，其特征在于，包括以下步骤：
(1)将初始病理图切割为尺寸预先设定的第一类小图，并绘制这些第一类小图的细胞掩膜图；
(2)将所述步骤(1)得到的第一类小图及其细胞掩膜图用第一卷积神经网络进行图像分割，从而对初始病理图中的细胞进行定位，得到细胞坐标；
(3)根据预先标记出癌细胞和免疫细胞的训练用病理图，以切割后的小图覆盖一个预先标记的完整细胞为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第二类小图，对第二卷积神经网络进行训练，训练好的所述第二卷积神经网络能够判断细胞类型，分别得到细胞类型属于癌细胞、免疫细胞、其他细胞的概率得分；
针对初始病理图，根据所述步骤(2)得到的细胞坐标，以切割后的小图覆盖一个完整细胞为切割原则，将所述初始病理图切割为尺寸预先设定的第二类小图，并利用训练好的所述第二卷积神经网络判断每一张第二类小图的细胞类型，并将得到的判断结果记录下来；
(4)根据预先选取的图中癌区和癌旁区域能够区分的训练用病理图，按预先设定的尺寸大小，同时以切割后的小图全部面积属于癌区或癌旁为切割原则，得到尺寸预先设定的训练用第三类小图，对第三卷积神经网络进行训练，训练好的所述第三卷积神经网络能够判断癌区和癌旁区域，分别得到待测试图中所示区域属于癌区、癌旁区域的概率得分；
针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第三类小图，并利用训练好的所述第三卷积神经网络判断每一张第三类小图是否属于癌区、癌旁区域，并将得到的判断结果记录下来；
(5)根据预先标记出肿瘤组织实质区、间质区、蛋白角化区和脉管区的训练用病理图：
(i)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于肿瘤组织实质区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第四类小图，对第四卷积神经网络进行训练，训练好的所述第四卷积神经网络能够判断肿瘤组织实质区，得到待测试图中所示区域属于肿瘤组织实质区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第四类小图，并利用训练好的所述第四卷积神经网络判断每一张第四类小图是否属于肿瘤组织实质区，并将得到的判断结果记录下来；
或是：(ii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于间质区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第五类小图，对第五卷积神经网络进行训练，训练好的所述第五卷积神经网络能够判断间质区，得到待测试图中所示区域属于间质区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第五类小图，并利用训练好的所述第五卷积神经网络判断每一张第五类小图是否属于间质区，并将得到的判断结果记录下来；
或是：(iii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于蛋白角化区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第六类小图，对第六卷积神经网络进行训练，训练好的所述第六卷积神经网络能够判断蛋白角化区，得到待测试图中所示区域属于蛋白角化区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第六类小图，并利用训练好的所述第六卷积神经网络判断每一张第六类小图是否属于蛋白角化区，并将得到的判断结果记录下来；
或是：(iv)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于脉管区标记为切割原则，将所述训练用病理图切割为尺寸预先设定的训练用第七类小图，对第七卷积神经网络进行训练，训练好的所述第七卷积神经网络能够判断脉管区，得到待测试图中所示区域属于脉管区的概率得分；然后，针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第七类小图，并利用训练好的所述第七卷积神经网络判断每一张第七类小图是否属于脉管区，并将得到的判断结果记录下来；
如此基于所述步骤(3)、所述步骤(4)和所述步骤(5)各自得到的得分，共同利用逻辑回归得出一个最终得分，即可确定初始病理图中各个细胞的细胞类型及其所属区域；其中，所述逻辑回归所采用的模型预先经过训练处理，所述训练处理是在已知细胞真实分类的病理图参与下进行的。
2.如权利要求1所述方法，其特征在于，所述步骤(1)中，所述尺寸预先设定的第一类小图，尺寸具体为128像素*128像素；
所述步骤(3)中，所述尺寸预先设定的训练用第二类小图和所述尺寸预先设定的第二类小图，尺寸均为64像素*64像素；
所述步骤(4)中，所述尺寸预先设定的训练用第三类小图和所述尺寸预先设定的第三类小图，尺寸均为256像素*256像素；
所述步骤(5)中：
所述尺寸预先设定的训练用第四类小图、所述尺寸预先设定的第四类小图、所述尺寸预先设定的训练用第五类小图和所述尺寸预先设定的第五类小图，尺寸均为256像素*256像素；
所述尺寸预先设定的训练用第六类小图、所述尺寸预先设定的第六类小图、所述尺寸预先设定的训练用第七类小图和所述尺寸预先设定的第七类小图，尺寸均为128像素*128像素。
3.如权利要求1所述方法，其特征在于，所述步骤(2)中，所述第一卷积神经网络包括十层细节结构；其中，第1至4层细节结构为下采样层；第5层细节结构设置为跳跃连接，以防止梯度消失；第6至9层细节结构为上采样层；第10层细节结构为输出层；
其中，第1至4层细节结构依次为两层卷积层、一层最大池化层与一层批标准化层，为了层层提取特征，该第1至4层细节结构中，从第2层细节结构层起，每层细节结构所用卷积层的卷积核均为上一层的细节结构所用卷积层的卷积核个数的2倍；
第6至9层细节结构依次为一层反卷积层、一层批标准化层和两层卷积层，该第6至9层细节结构中，每层细节结构所用卷积层的卷积核均为上一层的细节结构所用卷积层的卷积核个数的一半；并且在反卷积层与批标准化层之间，还设置有用于将反卷积后的矩阵与第1至4层细节结构中间得到的大小相同的矩阵拼接的运算；
最后，第10层细节结构为一个Dropout层和输出全连接层依次排列构成的结构，其中，Dropout层用于防止过拟合，输出全连接层用于输出代表是否为细胞的两类值；
并且，该第一卷积神经网络中的所有卷积层都设置padding为same模式，确保输出图像与输入大小相同。
4.如权利要求1所述方法，其特征在于，所述步骤(3)中，所述第二卷积神经网络包括七层细节结构；其中，
第1层细节结构为输入层，用于将输入的数据输入第二卷积神经网络；
第2至5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个相邻的细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为flatten层，用于将数据从卷积层过度到第7层细节结构；
第7层细节结构为一层全连接层、一层批标准化、一层Dropout层和一层全连接层依次排列构成的结构；其中，第一个全连接层用于实现神经网络的全连接，最后一个全连接层的输出维度为3，用于分别输出细胞属于癌细胞、免疫细胞、其它细胞的概率；
并且，所述第二卷积神经网络中，所有Dropout层的隐含节点dropout率设置为0.5。
5.如权利要求1所述方法，其特征在于，所述步骤(4)中，该第三卷积神经网络包括十层细节结构；其中，
第1层细节结构为输入层；
第2至6层细节结构依次为两层卷积层、一层最大池化层、一层批标准化层和一层Dropout层；并且，该第2至6层细节结构中，从第3层细节结构层起，每层细节结构所用卷积层的卷积核均为上一层的细节结构所用卷积层的卷积核个数的2倍；
第7层细节结构包括一层flatten层；
第8层细节结构和第9层细节结构，彼此相同，均为一层全连接层、一层批标准化层、一层激活层和一层Dropout层依次排列构成的结构；其中，激活层的激活函数为relu；
第10层细节结构包括一层全连接层，用于输出代表被测对象是否属于癌区、癌旁区域的两类概率得分。
6.如权利要求1所述方法，其特征在于，所述步骤(5)中，
对于(i)和(ii)：
所述第四卷积神经网络和所述第五卷积神经网络，彼此结构相同；对于其中任意一个卷积神经网络，包括七层细节结构；其中，第1层细节结构为输入层；第2至5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个相邻的细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为flatten层，用于将数据从卷积层过度到第7层细节结构；
第7层细节结构为一层全连接层、一层批标准化、一层Dropout层和一层全连接层依次排列构成的结构；其中，第一个全连接层用于实现神经网络的全连接，最后一个全连接层的输出维度为2，用于输出代表被测对象是否为肿瘤实质区或间质区的概率得分；
对于(iii)和(iv)：
所述第六卷积神经网络和所述第七卷积神经网络，彼此结构相同；对于其中任意一个卷积神经网络，包括九个细节结构，其中，第1层细节结构为输入层，第2至5层细节结构依次为两层卷积层、一层最大池化层和一层批标准化层；该第2至5层细节结构中，每两个细节结构间增加一层Dropout层防止过拟合；
第6层细节结构为Flatten层；
第7层细节结构和第8层细节结构，彼此相同，均为一层全连接层，一层批标准化层、一层激活层和一层Dropout依次排列构成的结构；
第9层细节结构为全连接层，输出维度为2，用于输出代表被测对象是否为蛋白角化区或脉管区的概率得分。
7.如权利要求1所述方法，其特征在于，所述步骤(1)中，所述第一类小图的细胞掩膜图中，灰度值小于180的定为细胞，灰度值大于180的部分定为背景；
所述步骤(3)中：
所述以切割后的小图覆盖一个预先标记的完整细胞为切割原则，具体是以每个预先标记的细胞其细胞坐标为中心，分别向左、向右、向上、向下扩展形成方形切割窗口，每个方形切割窗口的中心与对应的细胞坐标相重合；
所述以切割后的小图覆盖至少一个细胞为切割原则，具体是以每个细胞的细胞坐标为中心，分别向左、向右、向上、向下扩展形成方形切割窗口，每个方形切割窗口的中心与对应的细胞坐标相重合。
8.如权利要求1所述方法，其特征在于，所述步骤(4)中：
所述根据预先选取的图中癌区和癌旁区域能够区分的训练用病理图，按预先设定的尺寸大小，同时以切割后的小图全部面积属于癌区或癌旁为切割原则，得到尺寸预先设定的训练用第三类小图，具体是：先利用尺寸预先设置的滑动方形窗口直接切割训练用病理图，然后从中筛选出切割后的小图其全部面积属于癌区或癌旁的小图，即可得到训练用第三类小图。
9.如权利要求1所述方法，其特征在于，所述步骤(5)中：
(i)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于肿瘤组织实质区标记为切割原则，(ii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于间质区标记为切割原则，(iii)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于蛋白角化区标记为切割原则，(iv)按预先设定的尺寸大小，同时以切割后的小图有一半以上面积属于脉管区标记为切割原则，均具体对应：
先利用尺寸预先设置的滑动方形窗口分别直接切割所述训练用病理图，再分别筛选出切割后的小图内对应肿瘤组织实质区、间质区、蛋白角化区或脉管区标记区域面积占比大于等于50％的图像，分别作为训练用第四类小图、训练用第五类小图、训练用第六类小图和训练用第七类小图。
10.一种细胞及区域层次的病理图自动分类系统，其特征在于，该系统包括：
切割及掩膜图提取模块，用于将初始病理图切割为尺寸预先设定的第一类小图，并绘制得到这些第一类小图的细胞掩膜图；
第一卷积神经网络，用于对得到的第一类小图及其细胞掩膜图进行图像分割，从而对初始病理图中的细胞进行定位，得到细胞坐标；
切割模块及第二卷积神经网络，用于针对初始病理图，根据得到的细胞坐标，以切割后的小图覆盖一个完整细胞为切割原则，将所述初始病理图切割为尺寸预先设定的第二类小图，并判断每一张第二类小图的细胞类型，分别得到细胞类型属于癌细胞、免疫细胞、其他细胞的概率得分；
切割模块及第三卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第三类小图，并判断每一张第三类小图是否属于癌区、癌旁区域，从而分别得到属于癌区、癌旁区域的概率得分；
切割模块及第四卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第四类小图，并判断每一张第四类小图是否属于肿瘤组织实质区，从而得到属于肿瘤组织实质区的概率得分；
切割模块及第五卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第五类小图，并判断每一张第五类小图是否属于间质区，从而得到属于间质区的概率得分；
切割模块及第六卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第六类小图，并判断每一张第六类小图是否属于蛋白角化区，从而得到属于蛋白角化区的概率得分；
切割模块及第七卷积神经网络，用于针对初始病理图，按预先设定的尺寸大小，将所述初始病理图切割为尺寸预先设定的第七类小图，并判断每一张第七类小图是否属于脉管区，从而得到属于脉管区的概率得分；
逻辑回归模块，用于将得到的细胞类型属于癌细胞、免疫细胞、其他细胞的概率得分，属于癌区、癌旁区域的概率得分，属于肿瘤组织实质区的概率得分，属于间质区的概率得分，属于蛋白角化区的概率得分，属于脉管区的概率得分，共计9种得分，共同利用逻辑回归得出一个最终得分，从而确定初始病理图中各个细胞的细胞类型及其所属区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110403704.3A CN113192077B (zh) | 2021-04-15 | 2021-04-15 | 一种细胞及区域层次的病理图自动分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110403704.3A CN113192077B (zh) | 2021-04-15 | 2021-04-15 | 一种细胞及区域层次的病理图自动分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113192077A CN113192077A (zh) | 2021-07-30 |
| CN113192077B true CN113192077B (zh) | 2022-08-02 |
Family
ID=76975571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110403704.3A Active CN113192077B (zh) | 2021-04-15 | 2021-04-15 | 一种细胞及区域层次的病理图自动分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192077B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920108A (zh) * | 2021-10-29 | 2022-01-11 | 北京航空航天大学 | 一种对用于处理细胞图像的U-Net模型进行训练的训练方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018221625A1 (ja) * | 2017-05-30 | 2018-12-06 | 国立大学法人東北大学 | 皮膚組織の病理画像を用いた診断支援のためのシステム及び方法 |
| US10650520B1 (en) * | 2017-06-06 | 2020-05-12 | PathAI, Inc. | Systems and methods for training a statistical model to predict tissue characteristics for a pathology image |
| CN111951221A (zh) * | 2020-07-13 | 2020-11-17 | 清影医疗科技（深圳）有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
| WO2021062904A1 (zh) * | 2019-09-30 | 2021-04-08 | 中国科学院计算技术研究所 | 基于病理图像的tmb分类方法、系统及tmb分析装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596882B (zh) * | 2018-04-10 | 2019-04-02 | 中山大学肿瘤防治中心 | 病理图片的识别方法及装置 |
-
2021
- 2021-04-15 CN CN202110403704.3A patent/CN113192077B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018221625A1 (ja) * | 2017-05-30 | 2018-12-06 | 国立大学法人東北大学 | 皮膚組織の病理画像を用いた診断支援のためのシステム及び方法 |
| US10650520B1 (en) * | 2017-06-06 | 2020-05-12 | PathAI, Inc. | Systems and methods for training a statistical model to predict tissue characteristics for a pathology image |
| WO2021062904A1 (zh) * | 2019-09-30 | 2021-04-08 | 中国科学院计算技术研究所 | 基于病理图像的tmb分类方法、系统及tmb分析装置 |
| CN111951221A (zh) * | 2020-07-13 | 2020-11-17 | 清影医疗科技（深圳）有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Decade Effort of PTM Bioinformatics for Epigenetic Modifications;薛宇 等;《中国生物工程学会第二届青年科技论坛暨首届青年工作委员会学术年会摘要集》;20170408;全文 * |
| 基于三维形态参数的凋亡乳腺癌细胞机器学习识别研究;胡宏亮 等;《科技与创新》;20201122;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113192077A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097554B (zh) | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| CN108898175A (zh) | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| CN106096654A (zh) | 一种基于深度学习和结合策略的细胞异型性自动分级方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN106780498A (zh) | 基于逐像素点深度卷积网络上皮和基质组织自动分割方法 | |
| CN110717907A (zh) | 一种基于深度学习的手部肿瘤智能检测方法 | |
| CN109410194A (zh) | 一种基于深度学习的食管癌病理图像处理方法 | |
| CN111445478A (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
| CN111784711A (zh) | 一种基于深度学习的肺部病理图像分类与分割方法 | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| CN112712522A (zh) | 一种病理学图像的口腔癌上皮组织区域自动分割方法 | |
| CN113313680B (zh) | 一种结直肠癌病理图像预后辅助预测方法及系统 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN113192077B (zh) | 一种细胞及区域层次的病理图自动分类方法及系统 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN115206495A (zh) | 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置 | |
| CN117612711B (zh) | 一种分析肝癌复发数据的多模态预测模型构建方法及系统 | |
| CN116152492A (zh) | 基于多重注意力融合的医学图像分割方法 | |
| CN114972272A (zh) | 一种基于Grad-CAM的新冠肺炎病灶分割方法 | |
| CN110288041A (zh) | 基于深度学习的中草药分类建模方法及系统 | |
| CN113066576A (zh) | 一种基于三维掩模-区域卷积神经网络的肺癌筛查方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |