CN115205250A - 基于深度学习的病理图像病变分割方法及系统 - Google Patents
基于深度学习的病理图像病变分割方法及系统 Download PDFInfo
- Publication number
- CN115205250A CN115205250A CN202210826482.0A CN202210826482A CN115205250A CN 115205250 A CN115205250 A CN 115205250A CN 202210826482 A CN202210826482 A CN 202210826482A CN 115205250 A CN115205250 A CN 115205250A
- Authority
- CN
- China
- Prior art keywords
- image
- segmented
- segmentation
- pathological
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 55
- 230000011218 segmentation Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003902 lesion Effects 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000007170 pathology Effects 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 239000000463 material Substances 0.000 abstract description 2
- 230000036285 pathological change Effects 0.000 abstract 2
- 231100000915 pathological change Toxicity 0.000 abstract 2
- 239000000523 sample Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 7
- 238000012216 screening Methods 0.000 description 6
- 208000005718 Stomach Neoplasms Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 206010017758 gastric cancer Diseases 0.000 description 4
- 201000011549 stomach cancer Diseases 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013642 negative control Substances 0.000 description 2
- 238000009338 overlapping cropping Methods 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005773 cancer-related death Effects 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及医疗图像处理技术领域，提出了基于深度学习的病理图像病变分割方法及系统，方法包括：获取待分割病理图像；对获取的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理；将裁剪后的图像，分别输入至训练好的用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个剪裁图像的预测掩码图片；按照每个裁剪后的图像与原待分割病理图像的对应关系，依次进行拼接，得到与待分割病理图像对应的预测掩码图片，即为最终分割结果。该方法能分割出病变区域并进行类别诊断，用于辅助病理医生进一步判断，能对病变区域进行统计，为病理医生提供较为准确的判断材料，减少其工作量，有利于病理医生的进一步诊断。
Description
技术领域
本公开涉及医疗图像处理相关技术领域，具体的说，是涉及一种基于深度学习的病理图像病变分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
目前，随着信息化的加速以及科学技术的快速发展，人工智能已经成为人们耳熟能详的名词，各种相应的AI产品也逐渐进入人们的生活中。深度学习作为人工智能的一个分支，其优越的性能以及鲁棒性使其成为人工智能领域炙手可热的研究热点。各种基于深度学习技术的产品逐渐应用落地，比如自动驾驶中的车道识别、停车位识别以及人脸识别等技术，都是日常生活中常见的功能产品。
胃癌是全球第三大癌症相关死亡原因，在中国排名第二。因此胃癌成为全民普遍关注的一个公共卫生问题。而如果在胃癌产生的早期，患者就能确诊，那么对于患者的治疗效果将会更加显著，从而极大的降低患者死亡率。组织病理学是诊断早期胃癌的一个有效手段，因此，胃标本的组织病理学评估对于临床管理是必不可少的，这需要有经验的病理学家和很高的时间成本。然而，在全球范围内存在着病理学家短缺的问题。据报道，中国缺少9万名病理学家，在许多非洲国家，这一短缺更为严重，西方国家也面临着类似的问题。其次，由于发病率的上升，每天病理医生需要查阅大量的切片，导致医生不能时刻保持在最佳状态，容易出现误诊漏诊现象，只能给出简单的判断。
基于AI病理辅助诊断的发展是意义重大的。当前AI辅助诊断已经成为一大研究热点，随着硬件计算能力的提高，计算机对于病理图像有着非常强大的分析和处理能力。病理学家已经认识到AI病理分析的高效性，AI的分析结果可以很好的支持病理学家对疾病诊断的辅助，进一步提高诊断准确率。
但是，目前对于早期胃癌的相关AI算法较少，并且精度以及准确率难以达到理想效果。很多方案采用分类或者检测的方法去诊断病变类型，这类方案精度不够并且特异性不足，所以针对早期胃癌的病理诊断算法研究是非常有意义的。
发明内容
本公开为了解决上述问题，提出了基于深度学习的病理图像病变分割方法及系统，该方法能分割出病变区域并进行类别诊断，用于辅助病理医生进一步判断，解决了早期胃癌诊断算法存在精度不足和计算较慢的问题，不仅能够识别病变类型，还能对病变区域进行统计，为病理医生提供较为准确的判断材料，减少其工作量，有利于病理医生的进一步诊断。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了基于深度学习的病理图像病变分割方法，包括如下步骤：
获取待分割病理图像；
对获取的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理；
将裁剪后的图像，分别输入至训练好的用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个裁剪图像的预测掩码图片；
按照每个裁剪后的图像与原待分割病理图像的对应关系，依次进行拼接，得到与待分割病理图像对应的预测掩码图片，为最终分割结果。
一个或多个实施例提供了基于深度学习的病理图像病变分割系统，包括：
获取模块：被配置为用于获取待分割病理图像；
预处理模块：被配置为用于对获取的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理；
分割模块：被配置为用于将裁剪后的图像，分别输入至训练好的用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个裁剪图像的预测掩码图片；
拼接模块：被配置为用于按照每个裁剪后的图像与原待分割病理图像的对应关系，依次进行拼接，得到与待分割病理图像对应的预测掩码图片，为最终分割结果。
与现有技术相比，本公开的有益效果为：
本公开中，通过采用滑窗的形式对待分割病理图像即切片进行预测，滑窗按照设定的重叠率截取图像，可以增加数据样本量，并且对图像的不同区域分别进行预测后拼接，提高了处理效率，能够大大提高边界区域的检出率和分割准确度。
本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的方法流程图；
图2是本公开实施例1的方法图像分割示意图；
图3是本公开实施例1的用于分割的卷积神经网络结构示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
技术术语解释：
ResNet：残差网络。
ASPP：Atrous Spatial Pyramid Pooling，空洞空间金字塔池化。
1x1 conv：1x1的卷积。
实施例1
在一个或多个实施方式公开的技术方案中，如图1所示，基于深度学习的病理图像病变分割方法，包括如下步骤：
步骤1、获取待分割病理图像；
步骤2、对获取的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理；
步骤3、将裁剪后的图像，分别输入至训练好的用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个剪裁图像的预测掩码图片mask；
步骤4、按照每个裁剪后的图像与原待分割病理图像的对应关系，依次进行拼接，得到与待分割病理图像对应的预测掩码图片，即为最终分割结果。
本实施例中，通过采用滑窗的形式对待分割病理图像即切片进行预测，滑窗按照设定的重叠率截取图像，可以增加数据样本量，并且对图像的不同区域分别进行预测后拼接，提高了处理效率，能够大大提高边界区域的检出率和分割准确度。
步骤1中，获取待分割病理图像。
具体的，可以通过数字切片扫描仪扫描获得检测位置的待分割图像。
具体的，可以是胃组织切片，可以使用40倍物镜进行扫描，得到检测部位的数字切片。
步骤2中，进行图像裁剪以及预处理。
步骤2中，可选的，裁剪方法可以采用重叠裁剪图像，具体的，按照设定的重叠率对完整的待分割图像进行裁剪，以增加数据样本量；设定的重叠率可以根据图片的实际情况设定，如可以设置重叠率为5％至10％，本实施例中设置为10％。
数字切片像素很高，通常在数十亿甚至上百亿像素，所以需要对完整的数字切片进行裁剪，并按照重叠率百分之五依次进行裁剪，以增加数据样本量；同时，能够实现高像素的全切片图像的处理。
在一些实施例中，待分割图像即数字切片数据预处理包括：数据清洗和归一化处理。
待分割图像数据清洗，具体的方法为：根据裁剪后的图像数据，删除部分无效数据，比如切片边界处的无信息图像以及不包含组织部分的图像。
由于每张切片的染色程度以及扫描因素的影响，最终的成片质量存在偏差，所以需要针对上述得到的样本进行归一化处理，去除样本间的差异。
步骤3中，构建用于分割的卷积神经网络模型，所述模型包括依次连接的特征提取部分、空洞卷积部分和上采样部分，如图3所示是模型结构，图2中的A区域也是模型结构。
本实施例中，搭建用于预测的卷积神经网络模型，模型结构以Deeplabv3为主体，包括特征提取、空洞卷积和上采样三部分。
特征提取部分：用于对待分割图像提取高阶的病理组织学特征，包括多个级联的卷积层，在级联卷积层的高层卷积层中采用设定倍率的空洞卷积，以使得得到的特征具有相同的形状大小。
具体的，本实施例中，特征提取部分可以采用ResNet50网络，对数据的降维，提取高阶的病理组织学特征。为了使最终的特征有更大的感受野，在ResNet的第三层和第四层的卷积层中分别使用倍率为2和4的空洞卷积，以保证得到的特征图具有相同的形状大小。
空洞卷积部分ASPP：连接在特征提取部分的输出端，用于对提取的特征进行空洞卷积操作，得到多个不同尺度的特征图之后通过连接通道整合，得到整合后的特征。
空洞卷积相较于传统的卷积层有明显的优势，既在相同大小的特征下，空洞卷积具有更大的感受野，空洞卷积部分作用于ResNet的输出结果。
可选的，本实施例中，空洞卷积部分包括五个并联分支，分别是1x1的卷积、三个使用不同的倍率的3x3卷积层和一个平均池化层，本实施例中，使用不同的倍率的3x3卷积层其中倍率分别是12、24、36；输出结果都为原图八分之一大小的特征图，得到五个不同尺度的特征图，将五个并联分支得到的特征图进行通道连接，使用1x1卷积整合信息，得到整合后的特征图。
上采样部分：该部分使用常规的卷积层进行结果的预测，输入是空洞卷积部分ASPP输出的整合后的特征图，输出得到一个多通道的掩码mask。
具体的，上采样部分包括依次连接的反卷积层、上采样卷积层和双线性插值模块。
上采样部分首先对空洞卷积部分ASPP输出的特征图使用反卷积进行设定倍率的上采样，然后使用1x1的卷积层改变通道数，得到预测掩码mask。针对预测的mask，使用双线性插值将mask还原至原图大小，与原图对应。
传统Deeplabv3网络没有上采样部分，直接将该部分的输入进行插值，这样会损失部分分割精度，出现分割噪点，为了解决这个问题，本实施例中使用反卷积进行特征的上采样，提高模型的性能。
步骤4中，针对每个滑窗的预测结果mask，按照与原始数字切片的对应关系，依次进行拼接，得到与原始数字切片对应的预测mask，即为最终预测结果。
进一步地，还包括对用于分割的卷积神经网络模型训练的方法，包括如下步骤：
步骤S1，获取待分割病理图像，并进行标记；
获取图像，可以为历史图像，获取方法同步骤1，在训练阶段，将获得的待分割图像进行人工标记。
具体的，首先将得到的数字切片统一转换为tif格式，并上传至病理图像标注工具，由专业的病理医生进行病变区域像素级标注，并标注分类，由经验丰富的医生进一步审核标注，以确保标注的准确性。
训练阶段，将所述标注后的数字切片以及对应的标注依次进行裁剪、数据清洗、归一化处理，得到初始数据集，用于后续网络模型的训练。
待分割图像数据清洗，具体的方法为：根据裁剪后的图像数据，删除部分无效数据，比如切片边界处的无信息图像以及不包含组织部分的图像。
训练阶段的数据清洗，还包括待分割图像数据正负样本筛选，具体的方法为：根据标注筛选出可用于训练的标注样本，这些存在标注的样本为阳性样本组，既数据中存在病变区域，此外，在不存在病变的样本中筛选出部分数据作为阴性对照样本组，阴性样本要覆盖各类阴性组织，以降低模型的假阳性率。
步骤S2，对标记后的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理，构建训练集和测试集；
步骤S3，将裁剪后的图像，分别输入至用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个截取图像的预测掩码图片mask；
步骤S4，根据得到的预测掩码图片与图片标记，计算损失函数，根据损失函数的数值调制参数，进行下一轮训练，直到达到设定的迭代参数，采用训练集的数据进行测试，得到训练好的卷积神经网络模型。
可选的，将预处理的数据作为数据集，裁剪图像大小可以为640×640，可以以8:2的比例切分训练集和测试集，损失函数为二进制交叉熵损失函数，Adam作为优化器训练网络。数据集内的数据大小一致，可直接用于网络的训练和测试。训练结束后使用测试集对模型性能进行评估，如果模型性能评估结果差，则调整参数重新训练，如此迭代，直到模型性能评估符合预期。
实施例2
基于实施例1，本实施例提供基于深度学习的病理图像病变分割系统，包括：
获取模块：被配置为用于获取待分割病理图像；
预处理模块：被配置为用于对获取的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理；
分割模块：被配置为用于将裁剪后的图像，分别输入至训练好的用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个截取图像的预测掩码图片mask；
拼接模块：被配置为用于按照每个裁剪后的图像与原待分割病理图像的对应关系，依次进行拼接，得到与待分割病理图像对应的预测掩码图片mask，即为最终预测结果。
本实施例中，通过采用滑窗的形式一次对待分割病理图像即切片进行预测，滑窗按照设定的重叠率截取图像，可以增加数据样本量，并且对图像的不同区域分别进行预测后拼接，提高了处理效率，能够大大提高边界区域的检出率和分割准确度。
获取模块中，获取待分割病理图像。
具体的，可以通过数字切片扫描仪扫描获得检测位置的待分割图像。
具体的，可以是胃组织切片，可以使用40倍物镜进行扫描，得到检测部位的数字切片。
预处理模块中，进行图像裁剪以及预处理。
预处理模块中，可选的，裁剪方法可以采用重叠裁剪图像，具体的，按照设定的重叠率对完整的待分割图像进行裁剪，以增加数据样本量；设定的重叠率可以根据图片的实际情况设定，如可以设置重叠率为5％至10％，本实施例中设置为10％。
数字切片像素很高，通常在数十亿甚至上百亿像素，所以需要对完整的数字切片进行裁剪，并按照重叠率百分之五依次进行裁剪，以增加数据样本量；同时，能够实现高像素的全切片图像的处理。
在一些实施例中，待分割图像即数字切片数据预处理包括：数据清洗和归一化处理。
待分割图像数据清洗，具体的方法为：根据裁剪后的图像数据，删除部分无效数据，比如切片边界处的无信息图像以及不包含组织部分的图像。
由于每张切片的染色程度以及扫描因素的影响，最终的成片质量存在偏差，所以需要针对上述得到的样本进行归一化处理，去除样本间的差异。
分割模块中，构建用于分割的卷积神经网络模型，所述模型包括依次连接的特征提取部分、空洞卷积部分和上采样部分。
本实施例中，搭建用于预测的卷积神经网络模型，模型结构以Deeplabv3为主体，包括特征提取、空洞卷积和上采样三部分。
特征提取部分：用于对待分割图像提取高阶的病理组织学特征，包括多个级联的卷积层，在级联卷积层的高层卷积层中采用设定倍率的空洞卷积，以使得得到的特征具有相同的形状大小。
具体的，本实施例中，特征提取部分可以采用ResNet50网络，对数据的降维，提取高阶的病理组织学特征。为了使最终的特征有更大的感受野，在ResNet的第三层和第四层的卷积层中分别使用倍率为2和4的空洞卷积，以保证得到的特征图具有相同的形状大小。
空洞卷积部分ASPP：连接在特征提取部分的输出端，用于对提取的特征进行空洞卷积操作，得到多个不同尺度的特征图之后通过连接通道整合，得到整合后的特征。
空洞卷积相较于传统的卷积层有明显的优势，既在相同大小的特征下，空洞卷积具有更大的感受野，空洞卷积部分作用于ResNet的输出结果。
可选的，本实施例中，空洞卷积部分包括五个并联分支，分别是1x1的卷积、三个使用不同的倍率的3x3卷积层和一个平均池化层，本实施例中，使用不同的倍率的3x3卷积层其中倍率分别是12、24、36；输出结果都为原图八分之一大小的特征图，得到五个不同尺度的特征图，将五个并联分支得到的特征图进行通道连接，使用1x1卷积整合信息，得到整合后的特征图。
上采样部分：该部分使用常规的卷积层进行结果的预测，输入是空洞卷积部分ASPP输出的整合后的特征图，输出得到一个多通道的掩码mask。
具体的，上采样部分包括依次连接的反卷积层、上采样卷积层和双线性插值模块。
上采样部分首先对空洞卷积部分ASPP输出的特征图使用反卷积进行设定倍率的上采样，然后使用1x1的卷积层改变通道数，得到预测掩码mask。针对预测的mask，使用双线性插值将mask还原至原图大小，与原图对应。
传统Deeplabv3网络没有上采样部分，直接将该部分的输入进行插值，这样会损失部分分割精度，出现分割噪点，为了解决这个问题，本实施例中使用反卷积进行特征的上采样，提高模型的性能。
拼接模块中，针对每个滑窗的预测结果mask，按照与原始数字切片的对应关系，依次进行拼接，得到与原始数字切片对应的预测mask，即为最终预测结果。
进一步地，还包括对用于分割的卷积神经网络模型训练的模块，被配置为执行如下步骤：
步骤S1，获取待分割病理图像，并进行标记；
获取图像，可以为历史图像，获取方法同步骤1，在训练阶段，将获得的待分割图像进行人工标记。
具体的，首先将得到的数字切片统一转换为tif格式，并上传至病理图像标注工具，由专业的病理医生进行病变区域像素级标注，并标注分类，由经验丰富的医生进一步审核标注，以确保标注的准确性。
训练阶段，将所述标注后的数字切片以及对应的标注依次进行裁剪、数据清洗、归一化处理，得到初始数据集，用于后续网络模型的训练。
待分割图像数据清洗，具体的方法为：根据裁剪后的图像数据，删除部分无效数据，比如切片边界处的无信息图像以及不包含组织部分的图像。
待分割图像数据正负样本筛选，具体的方法为：根据标注筛选出可用于训练的标注样本，这些存在标注的样本为阳性样本组，既数据中存在病变区域，此外，在不存在病变的样本中筛选出部分数据作为阴性对照样本组，阴性样本要覆盖各类阴性组织，以降低模型的假阳性率。
步骤S2，对标记后的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理，构建训练集和测试集；
步骤S3，将裁剪后的图像，分别输入至用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个截取图像的预测掩码图片mask；
步骤S4，根据得到的预测掩码图片与图片标记，计算损失函数，根据损失函数的数值调制参数，进行下一轮训练，直到达到设定的迭代参数，采用训练集的数据进行测试，得到训练好的卷积神经网络模型。
可选的，将预处理的数据作为数据集，裁剪图像大小可以为640×640，可以以8:2的比例切分训练集和测试集，损失函数为二进制交叉熵损失函数，Adam作为优化器训练网络。数据集内的数据大小一致，可直接用于网络的训练和测试。训练结束后使用测试集对模型性能进行评估，如果模型性能评估结果差，则调整参数重新训练，如此迭代，直到模型性能评估符合预期。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.基于深度学习的病理图像病变分割方法，其特征在于，包括如下步骤：
获取待分割病理图像；
对获取的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理；
将裁剪后的图像，分别输入至训练好的用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个裁剪图像的预测掩码图片；
按照每个裁剪后的图像与原待分割病理图像的对应关系，依次进行拼接，得到与待分割病理图像对应的预测掩码图片，为最终分割结果。
2.如权利要求1所述的基于深度学习的病理图像病变分割方法，其特征在于：裁剪方法采用重叠裁剪图像，按照设定的重叠率对完整的待分割图像进行裁剪。
3.如权利要求2所述的基于深度学习的病理图像病变分割方法，其特征在于：设置的重叠率为5％至10％。
4.如权利要求1所述的基于深度学习的病理图像病变分割方法，其特征在于：待分割图像的预处理包括：数据清洗和归一化处理。
5.如权利要求1所述的基于深度学习的病理图像病变分割方法，其特征在于：用于分割的卷积神经网络模型，包括依次连接的特征提取部分、空洞卷积部分和上采样部分；
特征提取部分：用于对待分割图像提取高阶的病理组织学特征，包括多个级联的卷积层，在级联卷积层的高层卷积层中采用设定倍率的空洞卷积，以使得得到的特征具有相同的形状大小；
空洞卷积部分：连接在特征提取部分的输出端，用于对提取的特征进行空洞卷积操作，得到多个不同尺度的特征图之后通过连接通道整合，得到整合后的特征；
上采样部分：采用卷积层进行结果的预测，将空洞卷积部分输出作为输入，上采样输出整合后的特征图，输出得到多通道的掩码。
6.如权利要求5所述的基于深度学习的病理图像病变分割方法，其特征在于：
空洞卷积部分包括五个并联分支，分别是1x1的卷积、三个使用不同的倍率的3x3卷积层和一个平均池化层，通过各分支得到五个不同尺度的特征图，将五个并联分支得到的特征图进行通道连接，采用卷积整合信息，得到整合后的特征图；
或者，上采样部分包括依次连接的反卷积层、上采样卷积层和双线性插值模块。
7.如权利要求1所述的基于深度学习的病理图像病变分割方法，其特征在于：
还包括对用于分割的卷积神经网络模型训练的方法，包括如下步骤：
获取待分割病理图像，并进行标记；
对标记后的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理，构建训练集和测试集；
将裁剪后的图像，分别输入至用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个截取图像的预测掩码图片；
根据得到的预测掩码图片与图片标记，计算损失函数，根据损失函数的数值调制参数，进行下一轮训练，直到达到设定的迭代参数，采用训练集的数据进行测试，得到训练好的卷积神经网络模型。
8.基于深度学习的病理图像病变分割系统，其特征在于，包括：
获取模块：被配置为用于获取待分割病理图像；
预处理模块：被配置为用于对获取的图像采用滑窗按照设定的重叠率进行裁剪，并进行预处理；
分割模块：被配置为用于将裁剪后的图像，分别输入至训练好的用于分割的卷积神经网络模型，依次进行特征提取、空洞卷积和上采样，得到每个裁剪图像的预测掩码图片；
拼接模块：被配置为用于按照每个裁剪后的图像与原待分割病理图像的对应关系，依次进行拼接，得到与待分割病理图像对应的预测掩码图片，为最终分割结果。
9.如权利要求8所述的基于深度学习的病理图像病变分割系统，其特征在于：裁剪方法采用重叠裁剪图像，按照设定的重叠率对完整的待分割图像进行裁剪。
10.如权利要求8所述的基于深度学习的病理图像病变分割系统，其特征在于：用于分割的卷积神经网络模型，包括依次连接的特征提取部分、空洞卷积部分和上采样部分；
特征提取部分：用于对待分割图像提取高阶的病理组织学特征，包括多个级联的卷积层，在级联卷积层的高层卷积层中采用设定倍率的空洞卷积，以使得得到的特征具有相同的形状大小；
空洞卷积部分：连接在特征提取部分的输出端，用于对提取的特征进行空洞卷积操作，得到多个不同尺度的特征图之后通过连接通道整合，得到整合后的特征；
上采样部分：采用卷积层进行结果的预测，将空洞卷积部分输出作为输入，上采样输出整合后的特征图，输出得到多通道的掩码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210826482.0A CN115205250A (zh) | 2022-07-14 | 2022-07-14 | 基于深度学习的病理图像病变分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210826482.0A CN115205250A (zh) | 2022-07-14 | 2022-07-14 | 基于深度学习的病理图像病变分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205250A true CN115205250A (zh) | 2022-10-18 |
Family
ID=83580695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210826482.0A Pending CN115205250A (zh) | 2022-07-14 | 2022-07-14 | 基于深度学习的病理图像病变分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205250A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152185A (zh) * | 2023-01-30 | 2023-05-23 | 北京透彻未来科技有限公司 | 一种基于深度学习的胃癌病理诊断系统 |
| CN116862836A (zh) * | 2023-05-30 | 2023-10-10 | 北京透彻未来科技有限公司 | 一种泛器官淋巴结转移癌检测系统及计算机设备 |
| CN117392693A (zh) * | 2023-12-11 | 2024-01-12 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
-
2022
- 2022-07-14 CN CN202210826482.0A patent/CN115205250A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152185A (zh) * | 2023-01-30 | 2023-05-23 | 北京透彻未来科技有限公司 | 一种基于深度学习的胃癌病理诊断系统 |
| CN116862836A (zh) * | 2023-05-30 | 2023-10-10 | 北京透彻未来科技有限公司 | 一种泛器官淋巴结转移癌检测系统及计算机设备 |
| CN117392693A (zh) * | 2023-12-11 | 2024-01-12 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
| CN117392693B (zh) * | 2023-12-11 | 2024-03-01 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017191B (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| CN115205250A (zh) | 基于深度学习的病理图像病变分割方法及系统 | |
| CN110120040A (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN110472676A (zh) | 基于深度神经网络的胃早癌组织学图像分类系统 | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| CN110838100A (zh) | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 | |
| CN115909006B (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN110838094B (zh) | 病理切片染色风格转换方法和电子设备 | |
| CN113130049A (zh) | 基于云服务的智能病理图像诊断系统 | |
| CN112381164A (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
| CN114663383A (zh) | 一种血细胞分割与识别方法、装置、电子设备和存储介质 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN112381846A (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
| CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
| CN115526834A (zh) | 免疫荧光图像检测方法及装置、设备、存储介质 | |
| CN113160175B (zh) | 一种基于级联网络的肿瘤淋巴管浸润检测方法 | |
| CN114708229A (zh) | 一种病理切片数字图像的全层次分析系统 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| CN115564750A (zh) | 术中冰冻切片图像识别方法及装置、设备、存储介质 | |
| CN112819042A (zh) | 一种食管鳞状上皮异型增生图像的处理方法、系统及介质 | |
| CN116364229B (zh) | 宫颈癌前病变锥切标本的智能可视化病理报告系统 | |
| CN113313685B (zh) | 一种基于深度学习的肾小管萎缩区域识别方法与系统 | |
| KR102566095B1 (ko) | 조직병리영상의 공동 분류 및 분할을 위한 딥러닝 장치 및 그 방법 | |
| CN115050024B (zh) | 一种可解释性的粒细胞智能实时识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |