CN114565601A - 基于DeepLabV3+改进的肝脏CT图像分割算法 - Google Patents

基于DeepLabV3+改进的肝脏CT图像分割算法 Download PDF

Info

Publication number
CN114565601A
CN114565601A CN202210228146.6A CN202210228146A CN114565601A CN 114565601 A CN114565601 A CN 114565601A CN 202210228146 A CN202210228146 A CN 202210228146A CN 114565601 A CN114565601 A CN 114565601A
Authority
CN
China
Prior art keywords
liver
deeplabv3
level semantic
image segmentation
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210228146.6A
Other languages
English (en)
Inventor
梁硕
宋博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Normal University
Original Assignee
Jiangsu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Normal University filed Critical Jiangsu Normal University
Priority to CN202210228146.6A priority Critical patent/CN114565601A/zh
Publication of CN114565601A publication Critical patent/CN114565601A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

基于DeepLabV3+改进的肝脏CT图像分割算法,包括:收集肝脏CT图像数据,将图像进行预处理,增强肝脏部位的对比度,并且通过数据集预处理程序,将样本划分为训练集和测试集;构建改进的DeepLabV3+的网络模型,将输入肝脏CT图像经过编码器模块,通过不同大小的卷积层逐步降低特征图大小,分别提取高低层次的语义信息,然后再经过解码器模块,通过上采样操作逐渐恢复特征图的大小,完成空间信息的提取,得到从临床3D计算机断层扫描中分割出肝脏的预测结果。本发明采用改进的DeepLabV3+算法,精简DeepLabV3+模型参数,主干网络选用轻量级卷积网络ShuffleNetV2进行特征提取,提升了肝脏CT图像分割的精度和速度,辅助专业医生进行诊断,提高诊断效率,为医学影像分割提供了新方法。

Description

基于DeepLabV3+改进的肝脏CT图像分割算法
技术领域
本发明属于深度学习医学影像分割技术领域,具体涉及一种基于DeepLabV3+改进的肝脏CT图像分割算法。
背景技术
医学影像技术能够使得临床医生更加直观地、清晰地对CT图像中被检测部位进行定性和定量分析,对医生的诊断及治疗有极大的参考价值,并且有助于医生对病人开展后续诊断治疗研究。医学影像分析的关键技术是对医学图像进行分割,疾病早期诊断中,一般通过专业的医生对医学影像进行分析。由于每个人病理的差异性,或医生个人经验和专业知识对影像的判断造成的差异,往往会造成对疾病判断的失误,从而导致误诊以及耽误治疗等严重后果。肝脏是人体最大的腺状器官,有大量的血管,与许多重要的器官相连,如脾、胰、胆等。在医学图像上对肝脏及其病变进行分割,可以帮助医生准确诊断肝脏肿瘤,评估患者后续病情恶化的可能性。一般来说,医生依靠经验手工分析肝脏CT图像,不仅主观,而且浪费时间。因此,近年来人们对其进行了广泛的研究。
传统的图像分割方法包括阈值分割、区域生长法、边缘分割等图像分割算法。这些分割算法都需要分析待分割图像的前景与背景之间的差异,从而人为地从图像的灰度、对比度及纹理等信息中的设计特征来进行分割,受到的干扰因素比较多,且对于复杂场景的图像不具有鲁棒性,其分割精度和准确度上达不到预期。随着深度学习的发展,基于机器学习的图像分割算法在高维空间进行特征提取,提升了图像分割的精确度和准确度。通过运用神经网络,计算机设备可以高效地处理大量的医学影像,以辅助专业的医生进行诊断,从而可以缓解放射科医生的压力,减少误诊漏诊概率,提高诊断效率。目前广泛应用于医疗图像分割领域的方法主要是基于U-Net网络的图像分割方法。传统U-Net结构上采样部分只叠加了同层下采样部分的特征图,这两层的语义信息相差较大,不利于网络的优化,并且在速度和精确度上还有待提高。因此在解决医学影像分割的问题上,算法仍有很大的提升空间。
发明内容
为了解决现有技术存在的不足,本发明提供了一种基于DeepLabV3+改进的肝脏CT图像分割算法,针对现有医学影像语义分割网络存在对小物体预测不准、预测速度慢以及局部信息丢失等问题,本发明以DeepLabV3+为网络基本结构,编码(Encoder)部分选取了ShuffleNetV2网络作为特征提取模块,接着输入到空洞空间金字塔池化模块(ASPP)提取高层次的语义信息。在解码器(Decoder)模块,通过上采样等操作逐渐恢复特征图的大小,完成空间信息的提取,提升了肝脏CT图像分割精度的同时也减小了运算量,大大提高了速度。
为了实现上述发明目的,本发明提供了一种基于DeepLabV3+改进的肝脏CT图像分割算法,包括如下步骤:
步骤一,制作肝脏CT图像数据集,并通过数据集预处理程序,调整参数,划分出不同比例的训练集、测试集和验证集;
步骤二,用步骤一中划分得到的训练集对网络模型进行训练,所述划分获得的训练集、测试集以及验证集的比例为8:1:1。将大小均为512×512的肝脏CT图像,输入到一种轻量级的深层神经网络(ShuffleNetV2)提取特征,得到高级语义特征和低级语义特征,高级语义特征进入到空洞金字塔池化模块(ASPP),分别与四个空洞卷积层和一个池化层进行卷积和池化,得到五个特征图并进行合并,然后通过一个1×1的卷积压缩特征,再经过四倍上采样;
步骤三,通过在深度卷积网络层找到一个与步骤二上采样之后分辨率相同的低级语义特征图,经过1×1卷积进行降通道数使二者所占通道比重一样,并与上一步骤的结果合并,再通过一个3×3细化卷积进行细化;最后再进行四倍上采样,使得最终输出层宽高和输入图片一样。得到肝脏CT图像分割的预测结果。
步骤四,使用训练阶段得到的权重参数文件对验证集进行验证,验证集评估出来的效果用来调整超参数,最后用测试集进行测试并对结果进行评估。
优选的,步骤一中,可以使用现有的公开医学影像数据集,比如SLIVER07数据集;也可以和医疗机构进行合作,通过专业的医生或专家对于肝脏部位进行手动分割标注,再通过数据处理程序制作成数据集。
优选的,步骤二中,数据输入到ShuffleNetV2网络中进行特征提取,会先进行通道分割(Channel Split)运算,具体来说,在开始时先将输入特征图在通道维度分成两个分支:通道数分别为c′和c-c′,实际实现时
Figure BDA0003537092710000021
注意,在卷积操作时,输入输出采用相同通道数可以降低MAC(内存访问损耗)。
以1×1的卷积操作为例,hω为输入特征图,c1和c2为输入输出通道数,B为FLOPs,公式如下:
MAC=hω(c1+c2)+c1c2
B=hωc1c2
通过均值不等式可以得出:
Figure BDA0003537092710000031
即当c1和c2相等时,MAC取得最小值。
在ShuffleNetV2网络中,左边分支做同等映射,认为是通过short-cut(短切)通道的;右边的分支包含3个连续的卷积,并且输入和输出通道相同;另外两个分支相当于已经分成两组。两个分支的输出是合并t在一起,紧接着是对两个分支合并结果进行通道随机混合,以保证两个分支信息交流。同时,对于下采样模块,不再有通道分割,而是每个分支都是直接复制一份输入,每个分支都有步幅为2的下采样,最后合并在一起后,特征图空间大小减半,但是通道数翻倍。
优选的,步骤二中,使用到的ASPP就是以不同的采样率采样特征图片,对于给定的输入以不同采样率的空洞卷积并行采样,将得到的结果在通道层面合并到一起,扩大通道数,然后再通过1×1的卷积将通道数降低到预期的数值。相当于以多个比例捕捉图像的上下文。
与现有技术相比,本发明的有益技术效果:
本发明设计了一种基于DeepLabV3+改进的肝脏CT图像分割算法,将此算法可直接应用于医学影像分割领域,提高了精确度和正确率;同时网络模型得到了简化,且运算量较小,可以应用于移动端设备,在辅助专业医生进行诊断时提供了便捷性和可靠度,减少误诊漏诊概率,提高诊断效率,在医疗领域具有良好的发展前景。
附图说明
图1为本发明的一种基于DeepLabV3+改进的肝脏CT图像分割算法的流程图;
图2为本发明的一种基于DeepLabV3+改进的肝脏CT图像分割算法的整体网络结构的示意图;
图3为本发明的一种基于DeepLabV3+改进的肝脏CT图像分割算法的主干模型网络结构的示意图;
图4为本发明的一种基于DeepLabV3+改进的肝脏CT图像分割算法的一较佳实施例的识别结果的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
实施例1
基于DeepLabV3+改进的肝脏CT图像分割方法流程分为:准备语义分割数据集、将图像进行特征提取、分割出目标部分、对模型进行训练及评估(图1)。
本发明的方法为基于神经网络的语义分割的方法,通过改进DeepLabv3+网络模型进行CT图像中对于肝脏部位的分割,将图片输入到改进的DeepLabV3+的网络模型,经过编码器模块,通过不同大小的卷积层逐步降低特征图大小,提取高层次的语义信息,然后再经过解码器模块,通过上采样等操作逐渐恢复特征图的大小,完成空间信息的提取,得到从临床3D计算机断层扫描中分割出肝脏的预测结果(图2)。
本发明的一种基于DeepLabV3+改进的肝脏CT图像分割方法包括如下步骤:
步骤一,准备肝脏CT图像数据集,选用公开医疗数据集(SLIVER07)或者与医疗机构合作获取肝脏CT扫描图。结合专业医学知识,经过Labelme(一种深度学习标注工具)标注肝脏部位,将原始图像和标签放入指定位置,接着通过预处理程序,把图像进行预处理并划分成训练集和测试集;
步骤二,将肝脏CT图像输入到改进后的轻量级DeepLabV3+网络中,根据所需分割的种类设定类别数num_classes,这里设定为2;可以根据电脑配置自行设定下采样倍数downsample_factor,以及冻结阶段和解冻阶段的训练参数,比如:迭代次数Epoch、批处理参数batch_size、学习率lr等等;
步骤三,开始训练模型,将输入的肝脏CT图像通过ShuffleNetV2网络进行特征提取后,得到高级语义特征和低级语义特征。高级语义特征进入到空洞金字塔池化模块ASPP,分别与四个空洞卷积层和一个池化层进行卷积和池化,得到五个特征图并进行合并,接着通过一个1×1的卷积压缩特征,最后经过四倍上采样;然后在深度卷积网络层找到一个与之前上采样操作之后分辨率相同的低级语义特征图,经过1×1卷积进行降通道数使二者所占通道比重一样;接着再通过一个3×3细化卷积进行细化,最终进行四倍上采样后得到最终输出层,即肝脏CT图像分割的预测结果(图3)。
步骤四,根据训练结果找到最合适的参数,优化调整参数,并且将训练好的模型权重保存到指定位置,并用于预测程序以及模型评估程序中。
通过测试,相比于传统的U-Net网络,以及原始的DeepLabV3+网络,本发明实例在SLIVER07数据集上有很好的肝脏CT图像分割效果,平均交并比(MIoU)达到了95.55%,类别平均像素准确率(MPA)达到了95.59%,在肝脏CT图像分割上有更好的效果(图4)。
本发明设计了一种基于DeepLabV3+改进的肝脏CT图像分割方法,精简DeepLabV3+模型参数,选用轻量级神经网络ShuffleNetV2进行特征提取,提升了肝脏CT图像分割的精度和速度,可以辅助专业医生进行诊断,提高诊断效率,为医学影像分割提供了新思路。

Claims (7)

1.基于DeepLabV3+改进的肝脏CT图像分割算法,采用改进的轻量化DeepLabV3+算法来分割肝脏CT图像,其特征在于,包括以下步骤:
步骤一,制作肝脏CT图像数据集,并通过数据集预处理程序,调整参数,划分出不同比例的训练集、测试集和验证集;
步骤二,用步骤一中划分得到的训练集对网络模型进行训练,将肝脏CT图像输入到一种轻量级的深层神经网络提取特征,得到高级语义特征和低级语义特征,高级语义特征进入到空洞金字塔池化模块,分别与空洞卷积层和池化层进行卷积和池化,得到特征图并进行合并,然后通过卷积压缩特征,再经过上采样;
步骤三,通过在深度卷积网络层找到一个与步骤二上采样之后分辨率相同的低级语义特征图,经过卷积进行降通道数使二者所占通道比重一样,并与上一步骤的结果合并,再通过一个细化卷积进行细化;最后再进行上采样,使得最终输出层宽高和输入图片一样,得到肝脏CT图像分割的预测结果;
步骤四,使用训练阶段得到的权重参数文件对验证集进行验证,验证集评估出来的效果用来调整超参数,最后用测试集进行测试并对结果进行评估。
2.根据权利要求1所述的基于DeepLabV3+改进的肝脏CT图像分割算法,其特征在于,所述步骤二包括:用所述步骤一中划分得到的训练集对网络模型进行训练,将大小均为512×512的肝脏CT图像,输入到一种轻量级的深层神经网络提取特征,得到高级语义特征和低级语义特征,高级语义特征进入到空洞金字塔池化模块,分别与四个空洞卷积层和一个池化层进行卷积和池化,得到五个特征图并进行合并,然后通过一个1×1的卷积压缩特征,再经过四倍上采样。
3.根据权利要求1所述的基于DeepLabV3+改进的肝脏CT图像分割算法,其特征在于,所述步骤三包括:通过在深度卷积网络层找到一个与步骤二上采样之后分辨率相同的低级语义特征图,经过1×1卷积进行降通道数使二者所占通道比重一样,并与上一步骤的结果合并,再通过一个3×3细化卷积进行细化;最后再进行四倍上采样,使得最终输出层宽高和输入图片一样,得到肝脏CT图像分割的预测结果。
4.根据权利要求1所述的基于DeepLabV3+改进的肝脏CT图像分割算法,其特征在于,所述数据包括SLIVER07数据集,所述SLIVER07数据集中的图片包含对临床3D计算机断层扫描中肝脏的标注。
5.根据权利要求1所述的基于DeepLabV3+改进的肝脏CT图像分割算法,其特征在于,所述划分获得的训练集、测试集以及验证集的比例为8:1:1。
6.根据权利要求1所述的基于DeepLabV3+改进的肝脏CT图像分割算法,其特征在于,在训练阶段,使用Pytorch深度学习框架对训练集进行模型参数的学习,步骤二中的编码阶段使用ShuffleNetV2网络作为主干网络。
7.根据权利要求6所述的基于DeepLabV3+改进的肝脏CT图像分割算法,其特征在于,在开始时先将输入特征图在通道维度分成两个分支,通道数分别为c′和c-c′,左边分支做同等映射,右边的分支包含3个连续的卷积,并且输入和输出通道相同;对两个分支合并结果进行通道随机混合,以使两个分支信息交流;对于下采样模块,每个分支复制一份输入,每个分支都有步幅为2的下采样,最后合并在一起使特征图空间大小减半且通道数翻倍。
CN202210228146.6A 2022-03-08 2022-03-08 基于DeepLabV3+改进的肝脏CT图像分割算法 Pending CN114565601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210228146.6A CN114565601A (zh) 2022-03-08 2022-03-08 基于DeepLabV3+改进的肝脏CT图像分割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210228146.6A CN114565601A (zh) 2022-03-08 2022-03-08 基于DeepLabV3+改进的肝脏CT图像分割算法

Publications (1)

Publication Number Publication Date
CN114565601A true CN114565601A (zh) 2022-05-31

Family

ID=81717400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210228146.6A Pending CN114565601A (zh) 2022-03-08 2022-03-08 基于DeepLabV3+改进的肝脏CT图像分割算法

Country Status (1)

Country Link
CN (1) CN114565601A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563285A (zh) * 2023-07-10 2023-08-08 邦世科技(南京)有限公司 一种基于全神经网络的病灶特征识别与分割方法及系统
CN116703834A (zh) * 2023-05-22 2023-09-05 浙江大学 基于机器视觉的烧结点火强度过高判断、分级方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703834A (zh) * 2023-05-22 2023-09-05 浙江大学 基于机器视觉的烧结点火强度过高判断、分级方法及装置
CN116703834B (zh) * 2023-05-22 2024-01-23 浙江大学 基于机器视觉的烧结点火强度过高判断、分级方法及装置
CN116563285A (zh) * 2023-07-10 2023-08-08 邦世科技(南京)有限公司 一种基于全神经网络的病灶特征识别与分割方法及系统
CN116563285B (zh) * 2023-07-10 2023-09-19 邦世科技(南京)有限公司 一种基于全神经网络的病灶特征识别与分割方法及系统

Similar Documents

Publication Publication Date Title
CN110310281B (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN109063710A (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN111598894B (zh) 基于全局信息卷积神经网络的视网膜血管图像分割系统
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN111951281A (zh) 图像分割方法、装置、设备及存储介质
CN111724397A (zh) 一种颅脑ct图像出血区域自动分割方法
CN110619635A (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN114782398A (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN112263217A (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN113537357A (zh) 一种基于深度残差网络的甲状腺癌ct影像分类系统
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
CN113538435B (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
CN115132275B (zh) 基于端到端三维卷积神经网络预测egfr基因突变状态方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination