CN110288613B - 一种超高像素的组织病理图像分割方法 - Google Patents

一种超高像素的组织病理图像分割方法 Download PDF

Info

Publication number
CN110288613B
CN110288613B CN201910530680.0A CN201910530680A CN110288613B CN 110288613 B CN110288613 B CN 110288613B CN 201910530680 A CN201910530680 A CN 201910530680A CN 110288613 B CN110288613 B CN 110288613B
Authority
CN
China
Prior art keywords
image
pathological
tissue
convolution
ultrahigh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910530680.0A
Other languages
English (en)
Other versions
CN110288613A (zh
Inventor
陈琳
彭彬彬
尚明生
朱帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN201910530680.0A priority Critical patent/CN110288613B/zh
Publication of CN110288613A publication Critical patent/CN110288613A/zh
Application granted granted Critical
Publication of CN110288613B publication Critical patent/CN110288613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明为一种超高像素的组织病理图像分割方法，属于图像处理和人工智能领域。该方法包含以下步骤：S1：随机在已经完成组织病理标注的超高像素组织病理图像上选取固定窗口大小的病理切片图像块，形成病理图像块训练数据集；S2：对病理切片图像块进行预处理；S3：建立多尺度空间全卷积网络及其类激活映射模型，联合全连接层，采用病理图像块训练集对模型的网络参数进行训练以实现基于图像块的病变精确分类识别；S4：利用多尺度空间全卷积网络结构，输入待分析的超高像素组织病理图像，输出具有病变组织位置信息的图像切片分割结果。本发明能够高效、准确的实现对超高像素组织病理图像的像素级的精确区域分割。

Description

一种超高像素的组织病理图像分割方法
技术领域
本发明涉及一种超高像素的组织病理图像分割方法，属于图像处理和人工智能领域，尤其适用于超高像素组织病理图像分析。
背景技术
组织病理学评价是癌症诊断必不可少的。通过对实际病人的组织切片图像的观察，病理学家可以准确判断病人的病情。基于计算机视觉的组织病理学自动诊断有助于减轻病理学家的工作量。近年来，从事这一领域的研究人员取得了令人瞩目的成就。超高像素组织病理图像的大小往往超过亿级像素(通常大于100000×100000像素)，而一个病人往往需要采集多张全切片图像来确定其病情，若使用密集采样的方法进行全切片的病变区域感知，往往需要进行上百万次的密集采样和重复卷积运算，在计算时间和成本上较高，在一定程度上影响着实际应用效果，在实际中，我们更关注提高两个计算机视觉任务的组织病理学图像处理效率：分类和分割。分类是通过找出组织病理学图像是否属于癌症类别，根据任务需求可将所有图像分为有无病变两类，或多种病变类型和正常等多种类型；而分割则是将组织病理学图像中的病变和非病变区域从图像中区分开，从而能够精确的描绘病变组织的区域边界。
目前，神经网络深度学习技术已经在该领域大量的应用，现有的基于图像块分割的方法虽然取得了一定的成果，然而针对超高像素的病理切片图像，若使用较小图像块(例如224×224大小)在超高像素图像中进行密集采样的方法进行全切片的病变区域感知，往往需要进行上百万次的密集采样和重复卷积运算，在计算时间和成本上较高，在一定程度上影响着实际应用效果；同时，基于图像块采样方法其实质为将图像分类方法应用在病变区域分割任务上，由于很难做到病理图像像素级(pixel level)的精确区域分割，若图像采样精度不高时往往难以得到平滑和精细的病变区域边缘。
发明内容
有鉴于此，本发明提供一种超高像素的组织病理图像分割方法，能够高效、准确的实现对超高像素组织病理图像的像素级的精确区域分割。
为达到上述目的，本发明提供如下技术方案：
一种超高像素的组织病理图像分割方法，包括如下步骤：
S1：随机在已经完成组织病理标注的超高像素组织病理图像上选取固定窗口大小的病理切片图像块，形成病理图像块训练数据集，其中根据是否包含病变组织将数据集分为病变和正常两类，或多种病变与正常类型等多种类型；
S2：对病理切片图像块进行预处理；
S3：建立多尺度空间全卷积网络及其类激活映射模型，联合全连接层，采用病理图像块训练集对模型的网络参数进行训练以实现基于图像块的病变精确分类识别；
S4：利用多尺度空间全卷积网络结构，输入待分析的超高像素组织病理图像，输出具有病变组织位置信息的图像切片分割结果。
进一步，步骤S3所述的多尺度空间全卷积网络及其类激活映射模型由多尺度空洞全卷积网络结构和类激活映射结构串联构成，输入为步骤S2处理后的病理切片图像块，输出为组织病理类型识别结果；所述的类激活映射结构由一个后向带有步长为2的卷积层的稠密连接残差块串联一个全局平均池化层和全连接层构成。其中，输入图像每次经过步长为2的卷积层处理后大小为原来的一半。
进一步，所述的多尺度空洞全卷积网络结构由4个稠密连接残差块(Residualblock)串联一个空间金字塔构成；所述的稠密连接残差块为输入图像与残差块之间、残差块之间都连接了一个步长为2的卷积层，其中，最后一个残差块后向连接一个空洞比为2的空洞卷积层(Dilated Convolution Layer)；所述的残差块由按批量归一化(BN)、激活函数(Relu)、3×3的卷积层的顺序串联的两组重复的6个基础残差结构并联1个1×1的卷积层构成，该残差块不改变输入数据的尺寸大小；所述的空间金字塔由1个的卷积层和3个空洞比分别为6、12、18的空洞卷积层并联而成，最后通过1个的卷积层进行跨通道特征融合。
进一步，步骤S4具体为：对整个待分析的超高像素组织病理图像进行预处理后直接作为输入，将步骤S3训练好参数的多尺度空间全卷积网络及其类激活映射模型中的多尺度空间全卷积网络结构及其训练参数提取出来，作为图像分割模型，该模型输出为每一类病理的区域位置，将其中病变部分的位置提取出来，通过插值或反卷积操作恢复到图像原始大小后，可直接输出病变位置病理组织切片图像的分割结果。
本发明的有益效果在于：本发明提供了一种超高像素的组织病理图像分割方法，在卷积神经网络的基础上，通过建立多尺度空间全卷积网络及其类激活映射模型并训练，生成立多尺度空间全卷积网络模型，能够高效、准确的实现对超高像素组织病理图像的像素级的精确区域分割。
附图说明
为了使本发明的目的、技术方案，本发明提供如下附图进行说明：
图1为一种超高像素的组织病理图像分割方法流程图；
图2为本发明实施例多尺度空间全卷积网络及其类激活映射模型构架图；
图3为本发明实施例的训练示意图；
图4为本发明实施例的图像分割示意图。
具体实施方式
为使本发明的目的和技术方案更加清晰明白，下面结合附图及实施例对本发明进行详细的描述。
实施例：
医院临床拍摄的多张超高像素的组织病理图像，且已有专业人员进行了组织病理标注，针对新拍摄的超高像素的组织病理图像，本实施例提供一种超高像素的组织病理图像分割方法，结合图1，该方法包含以下步骤：
步骤一：随机以64像素的步幅在已经完成组织病理标注的超高像素组织病理图像上选取固定窗口大小为224×224或者336×336像素的病理切片图像块，形成病理图像块训练数据集，其中，根据是否包含病变组织将数据集分为肿瘤病变和正常两类。
步骤二：从训练集中删除其中完全空白的病理切片图像块，同时，对训练集中病理切片图像块数据矩阵进行去均值、归一化、主成分分析(PCA)、白化等常规的处理。
步骤三：结合图2，建立多尺度空间全卷积网络及其类激活映射模型，联合全连接层，本发明使用的卷积模块为现有的经典残差网络ResNet中的残差连接块；结合图3，将病理图像块训练集按8∶2随机等分，其中80％的训练集对模型的网络参数进行训练以实现基于图像块的病变精确分类识别，剩余20％的训练集用来测试本发明实施例的模型训练效果，经过仿真分析，本发明实施例的基于图像块的病变精确分类识别精度很高，为95.2％。
所述的多尺度空间全卷积网络及其类激活映射模型由多尺度空洞全卷积网络结构和类激活映射结构串联构成，输入为步骤S2处理后的病理切片图像块，输出为组织病理类型识别结果；所述的类激活映射结构由一个后向带有步长为2的卷积层的稠密连接残差块串联一个全局平均池化层和全连接层构成。其中，输入图像每次经过步长为2的卷积层处理后大小为原来的一半。
所述的多尺度空洞全卷积网络结构由4个稠密连接残差块串联一个空间金字塔构成；所述的稠密连接残差块为输入图像与残差块之间、残差块之间都连接了一个步长为2的卷积层，其中，最后一个残差块后向连接一个空洞比为2的空洞卷积层；所述的残差块由按BN、Relu、3×3的卷积层的顺序串联的两组重复的6个基础残差结构并联1个1×1的卷积层构成，该残差块不改变输入数据的尺寸大小；所述的空间金字塔由1个的卷积层和3个空洞比分别为6、12、18的空洞卷积层并联而成，最后通过1个的卷积层进行跨通道特征融合。
步骤四：结合图4，对整个待分析的超高像素组织病理图像进行预处理后直接作为输入，将步骤S3训练好参数的多尺度空间全卷积网络及其类激活映射模型中的多尺度空间全卷积网络结构及其训练参数提取出来，作为图像分割模型，该模型输出为每一类病理的区域位置的热力图，将其中病变部分的位置提取出来，输出病变位置病理组织切片图像的分割结果，结果如表1所示。
表1 本发明方法对比现有方法结果
Figure BSA0000184798810000031
Figure BSA0000184798810000041
对比现有的基于滑动窗口采样(Slide-Windows-Based，SWB)的方法，可见，本发明方法在保持精度较高的情况下，能够高效的实现对超高像素组织病理图像的像素级的精确区域分割，提升算法执行效率近16倍。特别地，由于SWB在处理超高像素的组织病理切片图像时耗时较长，为了便于对比SWB，本示例采用的是2048×2048像素的病理组织切片图像。
经大量实验验证，在超高像素组织病理图像的像素级的精确区域分割时，本发明方法效率都远远高于SWB方法。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (1)

1.一种超高像素的组织病理图像分割方法，其特征在于，该方法包含以下步骤：
S1：随机在已经完成组织病理标注的超高像素组织病理图像上选取固定窗口大小的病理切片图像块，形成病理图像块训练数据集，其中根据是否包含病变组织将数据集分为病变和正常两类，或多种病变与正常类型的多种类型；
S2：对病理切片图像块进行预处理；
S3：建立多尺度空间全卷积网络及其类激活映射模型，联合全连接层，采用病理图像块训练集对模型的网络参数进行训练以实现基于图像块的病变精确分类识别；
S4：利用多尺度空间全卷积网络结构，输入待分析的超高像素组织病理图像，输出具有病变组织位置信息的图像切片分割结果；
步骤S3所述的多尺度空间全卷积网络及其类激活映射模型由多尺度空洞全卷积网络结构和类激活映射结构串联构成，输入为步骤S2处理后的病理切片图像块，输出为组织病理类型识别结果；所述的类激活映射结构由一个后向带有步长为2的卷积层的稠密连接残差块串联一个全局平均池化层和全连接层构成；其中，输入图像每次经过步长为2的卷积层处理后大小为原来的一半；
所述的多尺度空洞全卷积网络模型由4个稠密连接残差块串联一个空间金字塔构成；所述的稠密连接残差块为输入图像与残差块之间、残差块之间都连接了一个步长为2的卷积层，其中，最后一个残差块后向连接一个空洞比为2的空洞卷积层；所述的残差块由按批量归一化、激活函数、3×3的卷积层的顺序串联的两组重复的6个基础残差结构并联1个1×1的卷积层构成，该残差块不改变输入数据的尺寸大小；所述的空间金字塔由1个的卷积层和3个空洞比分别为6、12、18的空洞卷积层并联而成，最后通过1个的卷积层进行跨通道特征融合；
步骤S4具体为：对整个待分析的超高像素组织病理图像进行预处理后直接作为输入，将步骤S3训练好参数的多尺度空间全卷积网络及其类激活映射模型中的多尺度空间全卷积网络结构及其训练参数提取出来，作为图像分割模型，该模型输出为每一类病理的区域位置，将其中病变部分的位置提取出来，通过插值或反卷积操作恢复到图像原始大小后，可直接输出病变位置病理组织切片图像的分割结果。
CN201910530680.0A 2019-06-12 2019-06-12 一种超高像素的组织病理图像分割方法 Active CN110288613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910530680.0A CN110288613B (zh) 2019-06-12 2019-06-12 一种超高像素的组织病理图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910530680.0A CN110288613B (zh) 2019-06-12 2019-06-12 一种超高像素的组织病理图像分割方法

Publications (2)

Publication Number Publication Date
CN110288613A CN110288613A (zh) 2019-09-27
CN110288613B true CN110288613B (zh) 2022-09-02

Family

ID=68005257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910530680.0A Active CN110288613B (zh) 2019-06-12 2019-06-12 一种超高像素的组织病理图像分割方法

Country Status (1)

Country Link
CN (1) CN110288613B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853057B (zh) * 2019-11-08 2021-10-29 西安电子科技大学 基于全局和多尺度全卷积网络的航拍图像分割方法
CN111080587B (zh) * 2019-12-04 2023-05-26 中山大学 一种基于卷积神经网络的重采样图像检测方法
CN111382674B (zh) * 2020-02-24 2023-08-22 江苏大学 一种基于视觉显著性的攻击行为猪的识别方法
CN115206498A (zh) * 2021-11-08 2022-10-18 赛维森(广州)医疗科技服务有限公司 数字病理图像的数据流处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648890A (zh) * 2016-12-06 2017-05-10 中国科学院重庆绿色智能技术研究院 一种能耗感知的云计算服务器资源在线管理方法和系统
CN107665492A (zh) * 2017-06-29 2018-02-06 南京信息工程大学 基于深度网络的结直肠全景数字病理图像组织分割方法
CN109035269A (zh) * 2018-07-03 2018-12-18 怀光智能科技（武汉）有限公司 一种宫颈细胞病理切片病变细胞分割方法及系统
CN109271856A (zh) * 2018-08-03 2019-01-25 西安电子科技大学 基于扩张残差卷积的光学遥感图像目标检测方法
CN109523521A (zh) * 2018-10-26 2019-03-26 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN109614869A (zh) * 2018-11-10 2019-04-12 天津大学 一种基于多尺度压缩奖惩网络的病理图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748040B2 (en) * 2017-11-20 2020-08-18 Kavya Venkata Kota Sai KOPPARAPU System and method for automatic assessment of cancer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648890A (zh) * 2016-12-06 2017-05-10 中国科学院重庆绿色智能技术研究院 一种能耗感知的云计算服务器资源在线管理方法和系统
CN107665492A (zh) * 2017-06-29 2018-02-06 南京信息工程大学 基于深度网络的结直肠全景数字病理图像组织分割方法
CN109035269A (zh) * 2018-07-03 2018-12-18 怀光智能科技（武汉）有限公司 一种宫颈细胞病理切片病变细胞分割方法及系统
CN109271856A (zh) * 2018-08-03 2019-01-25 西安电子科技大学 基于扩张残差卷积的光学遥感图像目标检测方法
CN109523521A (zh) * 2018-10-26 2019-03-26 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN109614869A (zh) * 2018-11-10 2019-04-12 天津大学 一种基于多尺度压缩奖惩网络的病理图像分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
terative Attention Mining for Weakly Supervised Thoracic Disease Pattern Localization in Chest X-Rays;Jinzheng Cai等;《MICCAI 2018: Medical Image Computing and Computer Assisted Intervention》;20181226;589–598 *
基于卷积神经网络的病理细胞核分割;吴宇雳等;《重庆工商大学学报 (自然科学版)》;20190611;第36卷(第3期);67-71 *
基于深度卷积网络和结合策略的乳腺组织病理图像细胞核异型性自动评分;周超等;《中国生物医学工程学报》;20170620(第03期);23-30 *
基于深度卷积网络的结直肠全扫描病理图像的多种组织分割;蔡程飞等;《中国生物医学工程学报》;20171020(第05期);123-127 *
基于深度学习的超声心动图切面识别方法;陶攀等;《计算机应用》;20170510(第05期);正文第1435-1436页、1438页、图7 *
基于逐像素点深度卷积网络分割模型的上皮和间质组织分割;骆小飞等;《自动化学报》;20171115(第11期);138-148 *

Also Published As

Publication number Publication date
CN110288613A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110288613B (zh) 一种超高像素的组织病理图像分割方法
CN109886986B (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
US11935644B2 (en) Deep learning automated dermatopathology
CN112508850B (zh) 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN111415352B (zh) 一种基于深度级联网络的癌转移全景病理切片分析方法
CN110619641A (zh) 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN111476794B (zh) 一种基于unet的宫颈病理组织分割方法
CN112215291A (zh) 级联神经网络下医学图像特征提取和分类方法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
CN115409832A (zh) 一种超声影像及组学大数据的三阴性乳腺癌分类方法
CN115205250A (zh) 基于深度学习的病理图像病变分割方法及系统
CN114757908A (zh) 基于ct影像的图像处理方法、装置、设备及存储介质
CN111047559A (zh) 一种数字病理切片异常区域快速检测的方法
CN114170473A (zh) 基于病理图像的dMMR亚型分类方法及系统
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN109214388B (zh) 一种基于个性化融合网络的肿瘤分割方法及装置
Hossain et al. Renal cell cancer nuclei segmentation from histopathology image using synthetic data
Chaudhari et al. Microscope image processing: an overview
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
Cudic et al. Unpaired mesh-to-image translation for 3D fluorescent microscopy images of neurons
CN113724223A (zh) 基于光学显微镜的YOLOv3数据集制作方法及系统
Amitha et al. Developement of computer aided system for detection and classification of mitosis using SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant