CN114283153A - 基于神经网络的肺部病理切片癌细胞分割算法 - Google Patents

基于神经网络的肺部病理切片癌细胞分割算法 Download PDF

Info

Publication number
CN114283153A
CN114283153A CN202111344620.3A CN202111344620A CN114283153A CN 114283153 A CN114283153 A CN 114283153A CN 202111344620 A CN202111344620 A CN 202111344620A CN 114283153 A CN114283153 A CN 114283153A
Authority
CN
China
Prior art keywords
model
pathological section
data
network
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111344620.3A
Other languages
English (en)
Inventor
徐君海
张钦程
魏建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111344620.3A priority Critical patent/CN114283153A/zh
Publication of CN114283153A publication Critical patent/CN114283153A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的肺部病理切片癌细胞分割算法,首先,根据实验需要收集一定数量肺癌病人的肺部病理切片图像数据,完成数据的采集;之后使用预处理技术对数据进行初步处理得到符合标准的数据,并将数据集分为训练集和验证集;接下来根据算法设计逐步搭建图像分割模型,在模型搭建好后,使用训练集对模型进行训练,并使用验证集对模型效果进行评估;最后在模型训练完毕后使用本专利算法提出的网络对癌变区域进行预测。结果表明,本发明提出的网络性能更优。我们可以得出结论,在基于肺病理切片图像的小细胞肺癌分割中,相比于传统方法,本申请的方法更加清晰明了,得到的预测结果更加准确。

Description

基于神经网络的肺部病理切片癌细胞分割算法
技术领域
本发明属于深度学习技术领域,具体涉及一种基于神经网络的肺部病理切片癌细胞分割算法。
背景技术
随着计算机技术的高速发展,计算机医学图像处理在特征提取和分析的研究中发挥着重要作用,计算机在医疗辅助诊断中也发挥着越来越大的作用。如何将模式识别,图像分割与临床病理组织切片的诊断更好的结合在一起已经成为当前研究的主要方向之一。肺肿瘤的病理组织切片诊断作为临床诊断的难点之一,自然也被列为研究的热点数据类型之一。
不同于CT和MRI影像,肺肿瘤病理组织切片图像的特征提取难度更大,近几年,相比其他人体器官和组织的医学影像分析比如肝癌分割,乳腺癌分割等,针对肺肿瘤病理切片图像分割的研究较少。在算法方面,仍然存在很多不足,比如特征提取缺少针对性目的性,卷积神经网络的特征向量维度过高,分割或者分类的精度还不足以达到临床应用的要求,研究过程中缺少病理专家的诊断学指导等等。
发明内容
为了解决现有技术中的问题,本发明提供一种基于神经网络的肺部病理切片癌细胞分割算法,解决现有技术中特征提取缺少针对性目的性,卷积神经网络的特征向量维度过高,分割或者分类的精度还不足以达到临床应用的要求问题。
本发明的技术方案为:
一种基于神经网络的肺部病理切片癌细胞分割算法,包括以下步骤:
S1、数据预处理,获得所需的肺部病理切片图像;
S2、运用高分辨率多尺度特征融合网络构建分割模型;具体包括:
S2-1、将病理切片图像的patch输入高分辨率多尺度特征融合网络模型;
S2-2、依据构建的分割模型,生成预测的普通细胞区域和癌变细胞区域;
S3、对所述分割模型进行模型训练和评估。
所述S1步骤包括:
S1-1、采用病理学切片图像数据作为数据源;
S1-2、将XML格式的标注文件转换为与图像大小相同的二值PNG图像;
S1-3、使用改进的基于Vahadane方法的颜色归一化方法来处理数据;
S1-4、使用数据增强技术,如镜像、翻转、旋转和偏移来扩充数据量。
所述S2高分辨率多尺度特征融合网络模型包括卷积层、归一化层、ReLU激活函数和反卷积层。
所述S3步骤包括:
S3-1、使用Cross-Entropy Loss和Dice Score Loss之和作为损失函数;其中Cross-Entropy Loss的计算公式为:
Figure BDA0003353507600000021
Dice Score Loss的计算公式为:
Figure BDA0003353507600000022
S3-2、使用SGD对模型进行优化;将mini-batch大小设置为12,学习率设置为0.01,采用聚学习率策略调整学习率,学习率下降公式为:
Figure BDA0003353507600000023
其中lrinitial=0.01,power=0.9,itermax=500;然后使用He初始化策略来初始化权重;最后,选择mIOU(平均交并比)最高的模型作为最佳模型。
本发明有益效果:本发明提出了一种基于多尺度融合网络的小细胞肺癌病理切片图像自动分割模型。这是一个重要的问题,因为U型网络的发展与医学图像分割的发展密切相关,多尺度特征的提取有利于高分辨率医学图像分割算法的发展。本发明提出了一种基于多尺度特征融合的U形网络。我们使用mIOU作为分割效果的主要评价标准。结果表明,本发明提出的网络性能更优。我们可以得出结论,在基于肺病理切片图像的小细胞肺癌分割中,相比于传统方法,本申请的方法更加清晰明了,得到的预测结果更加准确。
附图说明
图1为本发明方法的流程图;
图2为本发明的高分辨率多尺度特征融合网络的结构示意图;
图3为本发明的预测结果与标注结果的示意图。
具体实施方式
以下结合附图1~3和具体实施例对本发明作进一步详细说明,但不作为对本发明的限定。
一种基于多尺度特征融合的肺部病理切片癌细胞分割方法,如图1所示,包括以下步骤:
S1、数据预处理,获得所需的肺部病理切片图像;
S1-1、采用病理学切片图像数据作为数据源;
S1-2、将XML格式的标注文件转换为与图像大小相同的二值PNG图像;
S1-3、使用改进的基于Vahadane方法的颜色归一化方法来处理数据。
S1-4、使用数据增强技术,如镜像、翻转、旋转和偏移来扩充数据量。
S2、运用高分辨率多尺度特征融合网络构建分割模型;
S2-1、将病理切片图像的patch输入高分辨率多尺度特征融合网络模型,高分辨率多尺度特征融合网络模型包括卷积层、归一化层、ReLU激活函数和反卷积层。;
S2-2、依据构建的分割模型,生成预测的普通细胞区域和癌变细胞区域。
S3、对所述分割模型进行模型训练和评估。
S3-1、使用Cross-Entropy Loss和Dice Score Loss之和作为损失函数;其中Cross-Entropy Loss的计算公式为:
Figure BDA0003353507600000031
Dice Score Loss的计算公式为:
Figure BDA0003353507600000032
S3-2、使用SGD对模型进行优化。将mini-batch大小设置为12,学习率设置为0.01,采用聚学习率策略调整学习率,学习率下降公式为:
Figure BDA0003353507600000033
其中lrinitial=0.01,power=0.9,itermax=500。然后使用He初始化策略来初始化权重。最后,选择mIOU(平均交并比)最高的模型作为最佳模型。
在具体的预测方法中,使用数字幻灯片扫描仪(Hamamatsu Nano Zoomer digitalPathology)对31例患者的肺组织切片进行了H&E染色,客观放大倍数为20倍。形态学诊断依据世界卫生组织(WHO)肺、胸膜、胸腺、心脏肿瘤分类标准(第四版)。一位胸外科医生将肿瘤细胞所在区域圈起来。
并且,在模型训练之前,首先采用python软件中的openslide工具包对数据进行预处理。对于收集到的所有病理切片图像数据,数据的预处理操作包括:
(一)格式转换,将XML格式的标注文件转换为与图像大小相同的二值PNG图像;
(二)归一化,使用改进的基于Vahadane方法的颜色归一化方法来处理数据。
(三)数据增强,使用数据增强技术,如镜像、翻转、旋转和偏移来扩充数据量。
在数据处理好后,采用高分辨率多尺度特征融合网络来搭建图像分割模型。高分辨率多尺度特征融合网络构建了一种新型网络架构,在整个处理过程中,能够保持高分辨率表示。通过并行多个分辨率的分支,加上不断进行不同分支之间的信息交互,同时达到提取高级特征和保留精准位置信息的目的。
模型的输入是维度为256x256x3的肺部病理切片图像,输出是维度为256x256x1的预测mask,其中每个像素点的取值为0或1,代表预测结果为正常细胞或者癌变细胞。
具体来说,如图2所示,左侧为编码路径,右侧为解码路径,中间实线部分表示的是跳跃链接。该网络的编码路径分为5个阶段,第一阶段将输入的图像经过ConvBlock运算得到通道数为64的高分辨率feature map。每个ConvBlock由一个卷积核大小为3,步长为1的卷积层和一个ReLU激活函数构成,得到的feature map的高和宽的计算公式分别为:
Figure BDA0003353507600000041
Figure BDA0003353507600000042
第二阶段将第一阶段得到的高分辨率feature map经过三个ConvBlock运算得到,并将得到的feature map与输入的feature map经过一个核大小为1,步长为1的卷积后的结果相加并通过ReLU函数激活得到一个通道数为256,大小与输入相同的feature map。将该feature map经过一个Transition Layer得到其下采样结果。
Transition Layer由n-1个步长为1的ConvBlock和一个步长为2的ConvBlock构成,其中n为可配置的参数。
第三、四阶段均由Fuse Layer和Transition Layer构成,每个Layer都有n个ConvBlock。第五阶段将分辨率最低但最高阶的feature map再经过一次卷积核大小为3,步长为2的下采样运算得到通道数为1024的feature map。经过五个阶段的特征提取,我得到了5个不同分辨率的feature map,这些feature map的通道数分别为64、128、256、512、1024。
为了控制每层卷积后特征图谱的尺寸大小,卷积操作过程中,先在图像外围填充0,这么做的优点有两个:
1.可以充分提取到图像的边缘信息。
2.卷积操作后的输出图像尺寸大小与输入图像相同。
编码路径中输入feature map尺寸变小是通过步长为2的卷积运算完成的。这与U-Net的构大池化操作不同,目的是为了能够在保证模型输入输出的图片尺寸仸致的前提下尽可能的保留更多的原始特征,达到端到端分割的目的,从而实现精准的像素级别的分割。
在具体的预测方法中,还可使用PaddlePaddle来实现算法。在训练过程中,使用Cross-Entropy Loss与Dice Score Loss之和作为损失函数。其中Cross-Entropy Loss的计算公式为
Figure BDA0003353507600000051
Dice Score Loss的计算公式为
Figure BDA0003353507600000052
使用SGD对模型进行优化。我们将mini-batch大小设置为12,学习率设置为0.01,采用聚学习率策略调整学习率,学习率下降公式为
Figure BDA0003353507600000053
其中lrinitial=0.01,power=0.9,itermax=500。然后使用He初始化策略来初始化权重。最后,选择mIOU(平均交并比)最高的模型作为最佳模型。在验证集中,最优的模型实现了平均交并比mIOU=0.8875,Kappa系数=0.8813。最佳模型的分割结果如图3所示。其中(a)、(b)、(c)、(d)为验证集中随机抽取的四张图像,(e)、(f)、(g)、(h)分别为(a)、(b)、(c)、(d)的标注掩码图像,(i)、(j)、(k)、(l)为最佳模型的预测结果。黑色区域为正常区域,白色区域为病变区域。根据分割结果,可以直观地观察到生成的图像与掩码图像非常相似。此外,在未标记的部分,发现了一些白色的小区域,这意味着未标记的病理细胞也被分离出来了。因此,可以认为神经网络通过标记信息学习到的特征具有良好的泛化性,能够对未标记区域的散发性病理细胞进行分割。结果表明,该网络在多尺度特征信息学习方面优于预期,证明了神经网络在医学影像领域的强大应用。
因此,在本申请中,根据实验需要收集一定数量的肺部病理切片图像数据,完成数据的采集;之后使用预处理技术对数据进行初步处理得到符合标准的数据,并将数据集按照8:1的比例分为训练集和验证集;接下来根据算法设计逐步搭建图像分割模型,在模型搭建好后,使用训练集对模型进行训练,并使用验证集对模型效果进行评估。相比于传统方法,本申请的方法更加清晰明了,得到的预测癌变区域更加准确。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此,本发明并不局限于上述的具体实施方式,凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本发明构成任何限制。

Claims (4)

1.一种基于神经网络的肺部病理切片癌细胞分割算法,其特征在于,包括以下步骤:
S1、数据预处理,获得所需的肺部病理切片图像;
S2、运用高分辨率多尺度特征融合网络构建分割模型;具体包括:
S2-1、将病理切片图像的patch输入高分辨率多尺度特征融合网络模型;
S2-2、依据构建的分割模型,生成预测的普通细胞区域和癌变细胞区域;
S3、对所述分割模型进行模型训练和评估。
2.根据权利要求1所述基于神经网络的肺部病理切片癌细胞分割算法,其特征在于,所述S1步骤包括:
S1-1、采用病理学切片图像数据作为数据源;
S1-2、将XML格式的标注文件转换为与图像大小相同的二值PNG图像;
S1-3、使用改进的基于Vahadane方法的颜色归一化方法来处理数据;
S1-4、使用数据增强技术,如镜像、翻转、旋转和偏移来扩充数据量。
3.根据权利要求1所述基于神经网络的肺部病理切片癌细胞分割算法,其特征在于,所述S2高分辨率多尺度特征融合网络模型包括卷积层、归一化层、ReLU激活函数和反卷积层。
4.根据权利要求1所述基于神经网络的肺部病理切片癌细胞分割算法,其特征在于,所述S3步骤包括:
S3-1、使用Cross-Entropy Loss和Dice Score Loss之和作为损失函数;其中Cross-Entropy Loss的计算公式为:
Figure FDA0003353507590000011
Dice Score Loss的计算公式为:
Figure FDA0003353507590000012
S3-2、使用SGD对模型进行优化;将mini-batch大小设置为12,学习率设置为0.01,采用聚学习率策略调整学习率,学习率下降公式为:
Figure FDA0003353507590000021
其中lrinitial=0.01,power=0.9,itermax=500;然后使用He初始化策略来初始化权重;最后,选择mIOU(平均交并比)最高的模型作为最佳模型。
CN202111344620.3A 2021-11-15 2021-11-15 基于神经网络的肺部病理切片癌细胞分割算法 Pending CN114283153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111344620.3A CN114283153A (zh) 2021-11-15 2021-11-15 基于神经网络的肺部病理切片癌细胞分割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111344620.3A CN114283153A (zh) 2021-11-15 2021-11-15 基于神经网络的肺部病理切片癌细胞分割算法

Publications (1)

Publication Number Publication Date
CN114283153A true CN114283153A (zh) 2022-04-05

Family

ID=80869109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111344620.3A Pending CN114283153A (zh) 2021-11-15 2021-11-15 基于神经网络的肺部病理切片癌细胞分割算法

Country Status (1)

Country Link
CN (1) CN114283153A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496744A (zh) * 2022-10-17 2022-12-20 上海生物芯片有限公司 基于混合注意力的肺癌图像分割方法、装置、终端及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN108447062A (zh) * 2018-02-01 2018-08-24 浙江大学 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112258530A (zh) * 2020-12-21 2021-01-22 四川大学 基于神经网络的计算机辅助肺结节自动分割方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112784849A (zh) * 2021-02-05 2021-05-11 苏州大学 一种基于选择多尺度注意力的胰腺病理图像的腺体分割网络
CN112950614A (zh) * 2021-03-22 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于多尺度空洞卷积的乳腺癌检测方法
CN113034505A (zh) * 2021-04-30 2021-06-25 杭州师范大学 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN113223005A (zh) * 2021-05-11 2021-08-06 天津大学 一种甲状腺结节自动分割及分级的智能系统
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN108447062A (zh) * 2018-02-01 2018-08-24 浙江大学 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112258530A (zh) * 2020-12-21 2021-01-22 四川大学 基于神经网络的计算机辅助肺结节自动分割方法
CN112784849A (zh) * 2021-02-05 2021-05-11 苏州大学 一种基于选择多尺度注意力的胰腺病理图像的腺体分割网络
CN112950614A (zh) * 2021-03-22 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于多尺度空洞卷积的乳腺癌检测方法
CN113034505A (zh) * 2021-04-30 2021-06-25 杭州师范大学 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN113223005A (zh) * 2021-05-11 2021-08-06 天津大学 一种甲状腺结节自动分割及分级的智能系统
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QINCHENG ZHANG等: "Small Cell Lung Cancer Semantic Segmentation in Pathological Section Images Based on Multi-Scale Fusion Network", 《EASYCHAIR PREPRINT》, 23 June 2021 (2021-06-23), pages 1 - 11 *
张泽中等: "MIFNet: 基于多尺度输入与特征融合的胃癌病理图像分割方法", 《计算机应用》, 30 December 2019 (2019-12-30), pages 107 - 113 *
陈颍锶等: "融合空洞卷积与注意力的胃癌组织切片分割", 《中国图象图形学报》, 30 September 2021 (2021-09-30), pages 2281 - 2292 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496744A (zh) * 2022-10-17 2022-12-20 上海生物芯片有限公司 基于混合注意力的肺癌图像分割方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
CN109493308B (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109063710B (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
CN108364288A (zh) 用于乳腺癌病理图像的分割方法和装置
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN111161273A (zh) 一种基于深度学习的医学超声图像分割方法
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN113256641B (zh) 一种基于深度学习的皮肤病灶图像分割方法
CN112215291A (zh) 级联神经网络下医学图像特征提取和分类方法
CN113034505A (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN113139974B (zh) 基于半监督学习的病灶分割模型训练、应用方法
Zhu et al. Multi-level colonoscopy malignant tissue detection with adversarial CAC-UNet
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN114897094A (zh) 一种基于注意力双支路特征融合的食管早癌病灶分割方法
CN116309651B (zh) 一种基于单图深度学习的内窥镜图像分割方法
CN112308822A (zh) 基于深度卷积神经网络的椎间盘ct图像检测方法
CN112785603A (zh) 一种基于Unet和超像素的脑组织分割方法
Wu et al. A medically assisted model for precise segmentation of osteosarcoma nuclei on pathological images
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN109919216B (zh) 一种用于计算机辅助诊断前列腺癌的对抗学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination