CN113034443A - 一种基于多层次判别的肺癌病理切片图像处理方法及系统 - Google Patents
一种基于多层次判别的肺癌病理切片图像处理方法及系统 Download PDFInfo
- Publication number
- CN113034443A CN113034443A CN202110242036.0A CN202110242036A CN113034443A CN 113034443 A CN113034443 A CN 113034443A CN 202110242036 A CN202110242036 A CN 202110242036A CN 113034443 A CN113034443 A CN 113034443A
- Authority
- CN
- China
- Prior art keywords
- pathological
- image
- images
- pathological section
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 198
- 206010058467 Lung neoplasm malignant Diseases 0.000 title claims abstract description 43
- 201000005202 lung cancer Diseases 0.000 title claims abstract description 43
- 208000020816 lung neoplasm Diseases 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims description 26
- 230000003902 lesion Effects 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000003672 processing method Methods 0.000 claims abstract description 12
- 230000036285 pathological change Effects 0.000 claims abstract description 8
- 231100000915 pathological change Toxicity 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 41
- 238000012795 verification Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 12
- 230000007170 pathology Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000008807 pathological lesion Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多层次判别的肺癌病理切片图像处理方法，包括：读取病理切片图像并进行预处理，将其分割成若干具有不同尺度分辨率的病理分块图像；初步判断分割的病理分块图像是否属于病变图像；对病变图像进行识别，判断病变图像是否为目标图像；经过过滤选取具有代表性的目标图像并进行多层次分类判定，从而确定病理切片图像所属的病变类别并生成辅助分析报告。本发明的病理切片图像处理方法能够自动区分常见肺癌病理切片图像的类别，并在病理图像中勾画出病变区域，可以帮助医生快速地做出判断。本发明还提供了一种基于多层次判别的肺癌病理切片图像处理系统。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种基于多层次判别的肺癌病理切片图像处理方法及其系统。
背景技术
随着科技的发展以及社会的进步，人们对自身的健康生活越来越重视。对于肺癌这种严重威胁人们身体健康的疾病，越早诊断，越早治疗，康复的概率就越大。但是传统检测方法耗时过长，容易导致病人错过黄金治疗时间。与此同时，在人工面诊已不能满足日常需求的情况下，设计和研发智能肺癌辅助诊断系统显得尤为重要，因此已经成为当前重要的研究课题。
传统的肺癌诊断方式为通过有丰富经验的医师观察肺癌病理切片进行判别确诊。但是肺癌切片复杂多样，而且对肺癌切片进行判断对医生精力的消耗十分大。在问诊量大的情况下，容易出现错判、漏判的情况。在人工面诊已不能满足日常需求的情况下，设计和研发一套高效准确的智能肺癌病理图像辅助分析系统不仅能够减轻医疗机构人员巨大的压力，而且能够为人们提供更加便捷的、高质量的医疗诊断服务。然而，如何让系统在面对复杂多样的样本的情况下快速准确的进行判断仍是目前研究中的一个难点。受益于计算机视觉技术的快速发展，目前基于深度学习的卷积神经网络在图像理解、图像分类领域已经取得了巨大的成功。因此本专利研究人员尝试将深度卷积神经网络应用于肺癌病理图像分析处理任务当中，形成一种全新的基于多层次判别的肺癌病理切片处理方法和系统，以提高检测效率和精度，同时减少医师的工作量。
发明内容
本发明提供一种基于多层次判别的肺癌病理切片图像处理方法及系统，能够提高针对肺部切片的检测效率和精度，并减少医师的工作量。本发明的首要目的是提供一种基于多层次判别的肺癌病理切片图像处理方法，包括以下步骤：
S1、读取病理切片图像并进行预处理，将其分割成若干具有不同尺度分辨率的病理分块图像；
S2、初步判断分割的病理分块图像是否属于病变图像；
S3、对病变图像进行识别，判断病变图像是否为目标图像；
S4、经过过滤选取具有代表性的目标图像并进行多层次分类判定，从而确定病理切片图像所属的类别并生成辅助分析报告。
优选地，步骤S1中读取使用高清显微镜摄像头采集的病理切片图像，通过并行的方式传输到服务器中并对病理切片图像进行信息标注，采用多线程并行的方式将其分割为若干病理分块图像，对病理分块图像进行图像增强处理后进行数值归一化处理后以二进制文件的方式存储。
优选地，步骤S2中采用经过训练的二分类卷积神经网络对病理分块图像中进行判别，图像小块的分类阈值大于预定分类阈值时判定为病变类型小块图像，否则为正常小块图像。
优选地，步骤S3中采用经过训练的二分类卷积神经网络对特征小块图像进行识别，若在特征小块图像中超过预设的概率阈值的区域低于预定值则为非目标图像，若超过预设的概率阈值的区域超过预定值，则判断其为目标图像。
优选地，步骤S4中所述多层次分类判定包括过滤和多层次分类，将目标图像输入训练好的二分类卷积神经网络中进行过滤，判断其分类阈值是否大于预定分类阈值，大于预定分类阈值的为代表性小块图像；
将选取出的代表性小块图像通过相应尺度分辨率的预测模型，预测每一个代表性小块图像属于每一个类别的概率，将概率最高的类别作为该尺度分辨率的目标图像所属的类别；将该尺度分辨率的病理分块图像中所有目标图像的类别进行投票决定该尺度分辨率的病理分块图像所属类别及其概率，对得到的若干不同尺度分辨率的病理分块图像类别概率进行融合求平均值操作，将概率最高的类别作为该病理切片图像所属的类别。
本发明的第二个目的是提供一种基于多层次判别的肺癌病理切片图像处理系统，其包括
预处理模块，用于读取病理切片图像并进行预处理，将其分割成若干具有不同尺度分辨率的病理分块图像并储存；
初步判定模块，用于初步判断分割的病理分块图像是否属于病变图像；
识别模块，用于对病变图像进行识别，判断病变图像是否为目标图像；
多层次分类判定模块，用于从目标图像选取具有代表性的小块图像并进行多层次分类判定，从而确定图像所属的类别并生成辅助分析报告。
优选地，所述预处理模块读取使用高清显微镜摄像头采集的病理切片图像，通过并行的方式传输到服务器中并对病理切片图像进行信息标注，采用多线程并行的方式将其分割为若干病理分块图像，对病理分块图像进行图像增强处理后进行数值归一化处理后以二进制文件的方式存储。
优选地，所述初步判定模块采用经过训练的二分类卷积神经网络对病理分块图像中进行判别，图像小块的分类阈值大于预定分类阈值时判定为病变图像，否则为正常小块图像。
优选地，所述识别模块采用经过训练的二分类卷积神经网络对病变图像进行识别，若在病变图像中超过预设的概率阈值的区域低于预定值则为非目标图像，若超过预设的概率阈值的区域超过预定值，则判断其为目标图像。
优选地，所述多层次分类判定模块包括过滤模块和多层次分类模块，所述过滤模块用于确定具有不同尺度分辨率的目标图像中的代表性小块图像，将目标图像输入训练好的二分类卷积神经网络中，判断其分类阈值是否大于预定分类阈值，大于预定分类阈值的为代表性小块图像；
多层次分类模块用于将选取出的代表性小块图像通过相应尺度分辨率的预测模型，预测每一个代表性小块图像属于每一个类别的概率，将概率最高的类别作为该尺度分辨率的目标图像所属的类别；将该尺度分辨率的病理分块图像中所有目标图像的类别进行投票决定该尺度分辨率的病理分块图像所属类别及其概率，对得到的若干不同尺度分辨率的病理分块图像类别概率进行融合求平均值操作，将概率最高的类别作为该病理切片图像所属的类别。
与现有技术相比，本发明技术方案的有益效果是：本发明的基于多层次判别的肺癌病理切片图像处理方法及其系统代替了病理医生对常规病理切片的初步分析，并且具有快速分类处理的效果，节省了病理医生对常规病理切片的分类时间，减轻病理医生的工作负担。该系统能够自动区分病理图像的类别，并在病理图像中勾画出病变区域并给出病变类型概率，可以辅助医生快速地做出判断。
附图说明
图1为本发明实施例1提供的基于多层次判别的肺癌病理切片图像处理方法的步骤流程图。
图2为本发明实施例1提供的基于多层次判别的肺癌病理切片图像处理方法的预处理流程示意图。
图3为本发明实施例1提供的基于多层次判别的肺癌病理切片图像处理方法的识别过程中采用的卷积神经网络的工作流程图。
图4为本发明实施例1提供的基于多层次判别的肺癌病理切片图像处理方法中的过滤流程中的卷积神经网络模型工作流程图。
图5为本发明实施例1提供的基于多层次判别的肺癌病理切片图像处理方法中的多层次分类判定的工作流程图。
图6为本发明实施例2提供的基于多层次判别的肺癌病理切片图像处理系统的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
参见图1，一种基于多层次判别的肺癌病理切片图像处理方法，包括以下步骤：
S1、读取病理切片图像并进行预处理，将其分割成若干具有不同尺度分辨率的病理分块图像并储存；
S2、初步判断分割的病理分块图像是否属于病变图像；
S3、将S2中判定的病变图像进行识别，判断病变图像是否为目标图像；
S4、经过过滤选取S3中具有代表性的目标图像并进行多层次分类判定，从而确定病理切片图像所属的类别并生成辅助分析报告。
参见图2，在具体实施过程中，读取使用高清显微镜摄像头采集的病理切片图像并进行预处理，识别数字化病理切片图像的格式，通过并行的方式传输到服务器中并对病理切片图像进行信息标注，采用多线程并行的方式将病理切片图像进行分割处理，对每一张病理切片，得到不同尺度分辨率的病理分块图像，比如5倍、10倍或20倍的放大倍数。不同的放大倍数包含了不同尺度的信息，通过多个尺度的模型可以获取更加丰富的病理切片信息。对分割得到的病理分块图像进行减均值和数值归一化处理。
具体地，将高分辨率的病理切片图像分割为若干低分辨率的病理分块图像后对其进行图像增强处理。
步骤S2中采用经过训练的二分类卷积神经网络对病理分块图像中进行分类，图像小块的分类阈值大于预定分类阈值时判定为病变类型小块图像，否则为正常小块图像。
具体地，参见图3，采用卷积神经网络ResNet18对病理分块图像进行分类的具体步骤包括：
获取病理分块图像及其标注信息数据，将上述数据按照9:1的比例划分为训练集和验证集；
将训练集中的图像数据输入预先搭建的卷积神经网络并输出对应的预测标签；
将预测标签和训练集中的标注信息进行比对得到误差信号，将误差信号反向输入卷积神经网络中更新优化参数，反复比对更新直至训练集损失函数数值不再减小后停止；
将测试图片输入训练好的卷积神经网络后，输出测试集的预测结果概率，得到每个病理分块图像病变类型的概率；
将病理分块图像病变类型的概率与预定分类阈值进行比对，大于预定分类阈值的为病变图像，否则为正常小块图像。
在一些实施例中，所述预定分类阈值为0.9。
值得一提的是，当初步检测判定模块确定数字化病理分块图像中的病理切片图像是正常小块图像时，说明该病理切片图像的组织是正常的，则出具初步分析报告。
步骤S3中，采用经过训练的卷积神经网络ResNet18的二分类网络对病变图像自动进行识别，若在病变图像中，超过预定值的区域被判断为超过预设的概率阈值，则判断其为目标图像，否则为非目标图像。
优选地，所述预设的概率阈值为0.9，所述预定值为5％。
同样地，当确定数字化病理图像为非目标图像时，出具初步分析报告。
步骤S4中，所述多层次分类判定包括过滤和多层次分类，将目标图像输入训练好的卷积神经网络ResNet18中进行过滤，判断其分类阈值是否大于预定分类阈值0.9，大于预定分类阈值的为代表性小块图像；
值得注意的是，过滤模块的作用是从上一步被判定为目标图像中，选取一些典型的具有代表性的肺癌病理小块用于后续肺癌亚型分类。通过代表性小块的选取，可以使得后续亚型分类更加准确。这是因为在上一步获得的肺癌病理小块中，有些小块的肺癌亚型特征不明显，因此不利于后续亚型分类。因此，我们设计一个过滤模块，即一个分类器，将获得的肺癌病理小块图像分为肺癌亚型的代表性小块和非代表性小块。后续将代表性小块用于肺癌的亚型分类。
具体地，将选取出的代表性小块图像通过相应尺度分辨率的预测模型，预测每一个代表性小块图像属于每一个类别的概率，将概率最高的类别作为该尺度分辨率的目标图像所属的类别；将该尺度分辨率的病理分块图像中所有目标图像的类别进行投票决定该尺度分辨率的病理分块图像所属类别及其概率，对得到的若干不同尺度分辨率的病理分块图像类别概率进行融合求平均值操作，将概率最高的类别作为该病理切片图像所属的类别。
参见图4，采用ResNet18作为精细化过滤流程中的卷积神经网络模型，将划分为目标图像进行进一步的精细划分，标注出其中的代表性区域，将这些代表性区域与非代表性区域提取出来，输入到卷积神经网络当中进行训练，训练过程持续至训练集损失函数数值不再减小后终止，将训练完成的卷积神经网络对识别出的目标图像进行精细过滤从而输出测试集过滤结果。
具体地，训练卷积神经网络时，首先读取目标图像中的代表性小块与非代表性小块，并将数据按照9：1的比例划分为训练集和验证集。每遍历10次训练数据，在验证集进行一次验证并保存参数。最终取在验证集识别率具有最高参数的目标图像为代表性小块图像。
其中多层次分类采用多尺度神经网络群集成的方式对代表性小块图像进行类别判断，多尺度神经网络群包括若干不同的子网络作为多个预测模型，其中所述若干子网络为不同的卷积神经网络，包括ResNet18、ResNet34、ResNet50和ResNet101；
将不同尺度辨识率的代表性小块图像输入到对应的卷积神经网络群中，预测属于每个类别的概率，将概率最高的类别作为该目标图像所属的类别，将病理分块图像中所有目标图像的类别进行投票决定其所属的类别，并且得到相应的类别概率。
具体地，参见图5，针对整张病理切片图像每一个尺度的病理分块图像，选取出代表性小块图像通过相应尺度分辨率的预测模型，预测每一个代表性小块属于每一个类别的概率，将概率最高的类别作为该尺度分辨率的目标图像所属的类别；将该尺度分辨率的病理分块图像中所有目标图像的类别进行投票融合决定该尺度分辨率的病理分块图像最终所属类别及其概率值。对得到的多个尺度分辨率的病理分块图像类别概率进行融合求平均值操作，将概率最高的类别作为该病理切片图像所属的类别及其概率值作为结论。
具体地，训练多层次分类模型。首先读取含有图像和标注信息的分块图像，并将数据按照9：1的比例划分训练集和验证集，然后搭建卷积神经网络模型。所搭建的卷积神经网络模型包含四个子网络，分别是ResNet18、ResNet34、ResNet50和ResNet101。每个子网络单独在训练集中训练。训练过程中每遍历10次训练数据，在验证集进行一次验证并保存参数。最终取在验证集识别率最高的参数。
确定病理切片图像的类别后，系统输出辅助分析报告。辅助诊断报告中包括病理切片图像所属的病变类型其概率，还包括其他类别的概率。所述辅助分析报告中，根据病理切片图像匹配患者信息，生成切片标签存储，并提交给对应的诊疗医生访问权限。同时，对该病理切片图像进行处理，对于投票确定的类别进行注解，并且在该病理切片图像中勾画出病变区域。
具体地，所述辅助分析报告中还包括获取身份信息、病史信息、身体数据信息，与病理切片的结果生成报告输出；进一步的，所述辅助诊断报告还包括获得病理切片肺癌类别数据信息、获得医生签名信息、审批信息，生成报告输出。
实施例2
一种基于多层次判别的肺癌病理切片图像处理系统，参见图6，其包括：
预处理模块10，用于读取病理切片图像并进行预处理，将其分割成若干具有不同尺度分辨率的病理分块图像并储存；
初步判定模块20，用于初步判断分割的病理分块图像是否属于病变图像；
识别模块30，用于对病变图像进行识别，判断病变图像是否为目标图像；
多层次分类判定模块40，用于从目标图像选取具有代表性的小块图像并进行多层次分类判定，从而确定图像所属的类别并生成辅助分析报告。
所述预处理模块的工作流程图参见图2，读取使用高清显微镜摄像头采集的病理切片图像，通过并行的方式传输到服务器中并对病理切片图像进行信息标注，采用多线程并行的方式将其分割为若干病理分块图像，对病理分块图像进行数值归一化并进行数据增强。
所述初步判定模块采用经过训练的卷积神经网络ResNet18对病理分块图像中进行分类，图像小块的分类阈值大于预定分类阈值时判定为病变图像，否则为正常小块图像。
具体地，参见图3，采用卷积神经网络ResNet18对病理分块图像进行分类的具体步骤包括：
获取存储的病理分块图像及其标注信息数据，将上述数据按照9:1的比例划分为训练集和验证集；
将训练集中的图像数据输入预先搭建的卷积神经网络并输出对应的预测标签；
将预测标签和训练集中的标注信息进行比对得到误差信号，将误差信号反向输入卷积神经网络中更新优化参数，反复比对更新直至训练集损失函数数值不在减小；
将测试图片输入训练好的卷积神经网络后，输出测试集的预测结果概率，得到每个病理分块图像病变类型的概率；
将病理分块图像病变类型的概率与预定分类阈值进行比对，大于预定分类阈值的为病变图像，否则为正常小块图像。
在一些实施例中，所述预定分类阈值为0.9。
值得一提的是，当初步检测判定模块确定数字化病理分块图像中的病理切片图像是正常小块图像时，说明该病理切片图像的动植物组织是正常的，则系统出具初步分析报告。
优选地，所述识别模块采用经过训练的二分类卷积神经网络对病变图像进行识别，若在病变图像中超过预设的概率阈值0.9的区域低于预定值则为非目标图像，若超过预设的概率阈值0.9，则判断其为目标图像。
优选地，所述多层次分类判定模块包括过滤模块和多层次分类模块，所述过滤模块用于确定具有不同尺度分辨率的目标图像中的代表性小块图像，将目标图像输入训练好的二分类卷积神经网络中，判断其分类阈值是否大于预定分类阈值0.9，大于预定分类阈值的为代表性小块图像；
多层次分类模块用于将选取出的代表性小块图像通过相应尺度分辨率的预测模型，预测每一个代表性小块图像属于每一个类别的概率，将概率最高的类别作为该尺度分辨率的目标图像所属的类别；将该尺度分辨率的病理分块图像中所有目标图像的类别进行投票决定该尺度分辨率的病理分块图像所属类别及其概率，对得到的若干不同尺度分辨率的病理分块图像类别概率进行融合求平均值操作，将概率最高的类别作为该病理切片图像所属的类别。
参见图4，采用ResNet18作为精细化过滤模块中的卷积神经网络模型，将划分为目标图像进行进一步的精细划分，标注出其中的代表性区域，将这些代表性区域与非代表性区域提取出来，输入到卷积神经网络当中进行训练，训练过程持续至训练集损失函数数值不再减小为止，将训练完成的卷积神经网络对识别出的目标图像进行精细过滤从而输出测试集过滤结果。
具体地，训练卷积神经网络时，首先读取目标图像中的代表性小块与非代表性小块，并将数据按照9：1的比例划分为训练集和验证集。每遍历10次训练数据，在验证集进行一次验证并保存参数。最终取在验证集识别率具有最高参数的目标图像为代表性小块图像。
其中多层次分类模块采用多尺度神经网络群集成的方式对代表性小块图像进行类别判断，多尺度神经网络群包括若干不同的子网络作为多个预测模型，其中所述若干子网络为不同的卷积神经网络，包括ResNet18、ResNet34、ResNet50和ResNet101；
将不同尺度辨识率的代表性小块图像输入到对应的卷积神经网络群中，预测属于每个类别的概率，将概率最高的类别作为该目标图像所属的类别，将病理分块图像中所有目标图像的类别进行投票决定其所属的类别，并且得到相应的类别概率。
具体地，参见图5，针对整张病理切片图像每一个尺度的病理分块图像，选取出代表性小块图像通过相应尺度分辨率的预测模型，预测每一个代表性小块属于每一个类别的概率，将概率最高的类别作为该尺度分辨率的目标图像所属的类别；将该尺度分辨率的病理分块图像中所有目标图像的类别进行投票融合决定该尺度分辨率的病理分块图像最终所属类别及其概率值。对得到的多个尺度分辨率的病理分块图像类别概率进行融合求平均值操作后，将概率最高的类别作为该病理切片图像所属的类别及其概率值作为结论。
具体地，训练多层次分类模型。首先获取代表性小块图像和标注信息数据，并将数据按照9：1的比例划分训练集和验证集，然后搭建卷积神经网络模型。所搭建的卷积神经网络模型包含四个子网络，分别是ResNet18、ResNet34、ResNet50和ResNet101。每个子网络单独在训练集中训练。训练过程中每遍历10次训练数据，在验证集进行一次验证并保存参数。最终取在验证集识别率最高的参数。
确定病理切片图像的类别后，系统输出辅助分析报告。辅助诊断报告中包括病理切片图像所属的病变类型及其概率，还包括其他类别的概率。所述辅助分析报告中，根据病理切片图像匹配患者信息，生成切片标签存储，并提交给对应的诊疗医生访问权限。同时，对该病理切片图像进行处理，对于投票确定的类别进行注解，并且在该病理切片图像中勾画出病变区域。
具体地，所述辅助分析报告中还包括获取身份信息、病史信息、身体数据信息，与病理切片的结果生成报告输出；进一步的，所述辅助诊断报告还包括获得病理切片肺癌类别数据信息、获得医生签名信息、审批信息，生成报告输出。
本发明基于多层次判别的肺癌病理切片图像处理方法及其系统的具有批量处理功能，此功能可以减少病理医生的工作量。例如：病理医生可以在下班前将需要检查的数字病理切片图像导入系统中，让系统进行处理分析的工作。第二天病理医生上班后可以查看系统生成的初步分析报告列表，再按照轻重缓急的需求进行核查诊断并形成最终的诊断报告。
本发明的基于多层次判别的肺癌病理切片图像处理方法及其系统代替了病理医生对常规病理切片的初次判断，并且具有快速判断的效果，能够准确的协助病理医生进行分析判断，此系统可将数字病理切片图像中的病灶区域标注出来，有助于医生快速定位病灶区域，以便病理医生重点核查，提高医生的诊断效率；此系统节省了病理医生对常规病理切片的分类时间，减轻病理医生的工作负担。
相同或相似的标号对应相同或相似的部件；附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于多层次判别的肺癌病理切片图像处理方法，包括以下步骤：
S1、读取病理切片图像并进行预处理，将其分割成若干具有不同尺度分辨率的病理分块图像；
S2、初步判断分割的病理分块图像是否属于病变图像；
S3、对病变图像进行识别，判断病变图像是否为目标图像；
S4、经过过滤选取具有代表性的目标图像并进行多层次分类判定，从而确定病理切片图像所属的类别并生成辅助分析报告。
2.根据权利要求1所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于步骤S1中，读取使用高清显微镜摄像头采集的病理切片图像，通过并行的方式传输到服务器中并对病理切片图像进行信息标注，采用多线程并行的方式将其分割为若干病理分块图像，对病理分块图像进行图像增强处理后进行数值归一化处理后以二进制文件的方式存储。
3.根据权利要求2所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于步骤S2中采用经过训练的二分类卷积神经网络对病理分块图像中进行判别，若得出病理分块图像的分类阈值大于预定分类阈值时判定其为病变图像，否则为正常图像。
4.根据权利要求3所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于步骤S2中训练二分类卷积神经网络具体包括以下步骤：
S21、获取病理分块图像及其标注信息数据，将上述数据按照9:1的比例划分为训练集和验证集；
S22、搭建卷积神经网络模型，构建出网络训练图；
S23、将训练集中的图像数据输入所述网络训练图，卷积神经网络模型输出对应的预测标签；
S24、通过将预测标签和训练集中的标注信息做对比，可以得到误差信号，将误差信号反向传播到卷积神经网络模型当中更新优化参数，整个优化过程持续至训练集损失函数数值不再减小后停止。
5.根据权利要求3所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于所述预定分类阈值为0.9。
6.根据权利要求1所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于步骤S3中采用经过训练的二分类卷积神经网络对病变图像进行识别，若在病变图像中超过预设的概率阈值的区域低于预定值则为非目标图像，若超过预设的概率阈值的区域超过预定值，则判断其为目标图像。
7.根据权利要求5所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于所述预定分类阈值为0.9。
8.根据权利要求1所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于步骤S4中所述多层次分类判定包括过滤和多层次分类，将目标图像输入训练好的二分类卷积神经网络中进行过滤，判断其分类阈值是否大于预定分类阈值，大于预定分类阈值的为代表性小块图像；
将选取出的代表性小块图像通过对应尺度分辨率的若干卷积神经网络，预测每一个代表性小块图像属于每一个类别的概率，将概率最高的类别作为该尺度分辨率的目标图像所属的类别；将该尺度分辨率的病理分块图像中所有目标图像的类别进行投票决定该尺度分辨率的病理分块图像所属类别及其概率，对得到的若干不同尺度分辨率的病理分块图像类别概率进行融合求平均值操作，将概率最高的类别作为该病理切片图像所属的类别。
9.根据权利要求7所述的基于多层次判别的肺癌病理切片图像处理方法，其特征在于所述二分类卷积神经网络的训练过程包括以下步骤：
S411、读取目标图像中的代表性区域与非代表性区域并对其进行信息标注，将数据按照9：1的比例划分训练集和验证集；
输入到二分类卷积神经网络当中进行训练，训练过程持续至代表性区域训练集损失函数数值不再减小后终止
然后利用在ImageNet预训练好的ResNet18模型在训练数据上训练。每遍历10次训练数据，在验证集进行一次验证并保存参数。最终取在验证集识别率最高的参数。
10.一种采用权利要求1-9所述的基于多层次判别的肺癌病理切片图像处理系统，其特征在于，包括：
预处理模块，用于读取病理切片图像并进行预处理，将其分割成若干具有不同尺度分辨率的病理分块图像；
初步判定模块，用于初步判断分割的病理分块图像是否属于病变图像；
识别模块，用于对病变图像进行识别，判断病变图像是否为目标图像；
多层次分类判定模块，用于从目标图像选取具有代表性的小块图像并进行多层次分类判定，从而确定图像所属的类别并生成辅助分析报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242036.0A CN113034443A (zh) | 2021-03-04 | 2021-03-04 | 一种基于多层次判别的肺癌病理切片图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242036.0A CN113034443A (zh) | 2021-03-04 | 2021-03-04 | 一种基于多层次判别的肺癌病理切片图像处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113034443A true CN113034443A (zh) | 2021-06-25 |
Family
ID=76467675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110242036.0A Pending CN113034443A (zh) | 2021-03-04 | 2021-03-04 | 一种基于多层次判别的肺癌病理切片图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034443A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387214A (zh) * | 2021-12-09 | 2022-04-22 | 中山大学附属第一医院 | 人工智能肺癌病理免疫表型预测及辅助分型系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130136324A1 (en) * | 2011-11-24 | 2013-05-30 | Nec Corporation | Pathological diagnosis assisting apparatus, pathological diagnosis assisting method and non-transitory computer readable medium storing pathological diagnosis assisting program |
| CN106127255A (zh) * | 2016-06-29 | 2016-11-16 | 深圳先进技术研究院 | 一种癌症数字病理细胞图像的分类方法及系统 |
| CN110781953A (zh) * | 2019-10-24 | 2020-02-11 | 广州乐智医疗科技有限公司 | 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法 |
| US20200211189A1 (en) * | 2018-12-31 | 2020-07-02 | Tempus Labs, Inc. | Artificial intelligence segmentation of tissue images |
| CN111369573A (zh) * | 2020-03-05 | 2020-07-03 | 上海市肺科医院（上海市职业病防治院） | 一种肺腺癌亚型的辅助鉴别系统及方法 |
| CN111582328A (zh) * | 2020-04-22 | 2020-08-25 | 北方民族大学 | 一种基于肺部ct影像的covid-19分类识别方法 |
| CN112101451A (zh) * | 2020-09-14 | 2020-12-18 | 北京联合大学 | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 |
| CN112418329A (zh) * | 2020-11-25 | 2021-02-26 | 武汉大学 | 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统 |
-
2021
- 2021-03-04 CN CN202110242036.0A patent/CN113034443A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130136324A1 (en) * | 2011-11-24 | 2013-05-30 | Nec Corporation | Pathological diagnosis assisting apparatus, pathological diagnosis assisting method and non-transitory computer readable medium storing pathological diagnosis assisting program |
| CN106127255A (zh) * | 2016-06-29 | 2016-11-16 | 深圳先进技术研究院 | 一种癌症数字病理细胞图像的分类方法及系统 |
| US20200211189A1 (en) * | 2018-12-31 | 2020-07-02 | Tempus Labs, Inc. | Artificial intelligence segmentation of tissue images |
| CN110781953A (zh) * | 2019-10-24 | 2020-02-11 | 广州乐智医疗科技有限公司 | 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法 |
| CN111369573A (zh) * | 2020-03-05 | 2020-07-03 | 上海市肺科医院（上海市职业病防治院） | 一种肺腺癌亚型的辅助鉴别系统及方法 |
| CN111582328A (zh) * | 2020-04-22 | 2020-08-25 | 北方民族大学 | 一种基于肺部ct影像的covid-19分类识别方法 |
| CN112101451A (zh) * | 2020-09-14 | 2020-12-18 | 北京联合大学 | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 |
| CN112418329A (zh) * | 2020-11-25 | 2021-02-26 | 武汉大学 | 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| WEI, BZ 等: "Deep Learning Model Based Breast Cancer Histopathological Image Classification", 《2017 2ND IEEE INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND BIG DATA ANALYSIS 》, pages 348 - 353 * |
| 于凌涛等: "利用卷积神经网络分类乳腺癌病理图像", 《哈尔滨工程大学学报》, vol. 42, no. 4, pages 567 - 573 * |
| 明涛等: "基于多尺度通道重校准的乳腺癌病理图像分类", 《浙江大学学报》, vol. 54, no. 7, pages 1289 - 1297 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387214A (zh) * | 2021-12-09 | 2022-04-22 | 中山大学附属第一医院 | 人工智能肺癌病理免疫表型预测及辅助分型系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Das et al. | Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review | |
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| Man et al. | Classification of breast cancer histopathological images using discriminative patches screened by generative adversarial networks | |
| US11798662B2 (en) | Methods for identifying biological material by microscopy | |
| CN107506797A (zh) | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 | |
| JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
| CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN101551854B (zh) | 不平衡医学影像处理系统及其处理方法 | |
| CN116188879A (zh) | 图像分类、图像分类模型训练方法、装置、设备及介质 | |
| CN118196788A (zh) | 基于有监督对比学习的细粒度染色体识别方法 | |
| Bergler et al. | FIN-PRINT a fully-automated multi-stage deep-learning-based framework for the individual recognition of killer whales | |
| CN110136840B (zh) | 一种基于自加权分级生物特征的医学图像分类方法、装置和计算机可读存储介质 | |
| CN108805181B (zh) | 一种基于多分类模型的图像分类装置及分类方法 | |
| CN113034443A (zh) | 一种基于多层次判别的肺癌病理切片图像处理方法及系统 | |
| Guachi-Guachi et al. | Convolutional neural networks applied to microtomy: Identifying the trimming-end cutting routine on paraffin-embedded tissue blocks | |
| CN113255718B (zh) | 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法 | |
| CN111583275A (zh) | 一种切片病理号的识别方法、系统、装置和存储介质 | |
| CN118570505B (zh) | 基于深度学习的细胞自噬图像分析方法、系统及存储介质 | |
| CN117894452B (zh) | 一种基于DenseFormer模型的不明原发肿瘤的原发灶预测方法及系统 | |
| Procaccianti et al. | The cell transformation assay: toward a statistical classification of mixed and intermediate foci images | |
| Laxmi et al. | Deep Learning assisted Cervical Cancer Classification with Residual Skip Convolution Neural Network (Res _ Skip _ CNN)-based Nuclei segmentation on Histopathological Images | |
| Prajapati | Nuclei Detection and Segmentation in Cervical Cytology Images Using Convolutional Neural Networks | |
| Sadineni et al. | A Novel Fully-Automated Deep Learning Pipeline for the Effective Detection of Cervical Cancer | |
| Deng et al. | Tongue image datasets and performance evaluation | |
| Sunkara et al. | An Evaluation of Medical Image Analysis Using Image Segmentation and Deep Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |