CN111091524A - 基于深度卷积神经网络的前列腺经直肠超声图像分割方法 - Google Patents

基于深度卷积神经网络的前列腺经直肠超声图像分割方法 Download PDF

Info

Publication number
CN111091524A
CN111091524A CN201811170359.8A CN201811170359A CN111091524A CN 111091524 A CN111091524 A CN 111091524A CN 201811170359 A CN201811170359 A CN 201811170359A CN 111091524 A CN111091524 A CN 111091524A
Authority
CN
China
Prior art keywords
prostate
image
segmentation
convolutional neural
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811170359.8A
Other languages
English (en)
Inventor
耿磊
汪兆明
肖志涛
张芳
吴骏
刘彦北
王雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201811170359.8A priority Critical patent/CN111091524A/zh
Publication of CN111091524A publication Critical patent/CN111091524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate

Abstract

本发明涉及一种基于卷积神经网络的前列腺经直肠超声(TRUS)图像分割方法,包括:1)利用具有全局特征编码语义信息的扩张空间金字塔池化(DSPP)模块来提取前列腺TRUS图像中多尺度的卷积特征;2)为了处理分割前列腺阴影区域中的缺失边界,提出了可混合低级特征和高级特征的超级混合特征(SHF);3)提出了编码器‑解码器组成的新型网络。结果表明,该方法可以实现精确的前列腺TRUS图像分割,相比于目前的技术,本发明提高了分割的准确性和速度,成功解决了前列腺TRUS图像人工分割效率低、准确率低、消耗过多的人力资源等问题。

Description

基于深度卷积神经网络的前列腺经直肠超声图像分割方法
技术领域
本发明涉及一种基于卷积神经网络的前列腺TRUS图像分割方法,在分割效 率、鲁棒性以及准确性方面优于现有技术,具有很好的分割性能,属于医学图像 处理、深度学习领域。
背景技术
前列腺癌是世界各地男性健康面临的最大威胁之一。据美国癌症协会统计, 2016年约有180,890例新发病例和26,120例死于前列腺癌。由于无辐射,低成 本和实时要求,TRUS已成为诊断和治疗前列腺癌的主要成像技术。目前,大多 数现代临床应用依赖TRUS图像,其中前列腺分割通常由专业医生手动获得。
临床手工分割前列腺通常需要专家手动进行,是十分耗时的,可重复性差并 且依赖于专家经验。自动分割可以提高结果的可重复性和临床效率,具有重要的 临床意义。但自动前列腺分割具有挑战性。影响TRUS图像分割的主要原因如 下:1.重斑点和低信噪比(SNR);2.相邻类似组织之间的弱边界问题;3.在阴影 伪影等领域缺少边界。因此,TRUS图像的精确分割仍然是一个难题。
目前,前列腺的主要分割方法分为基于轮廓和形状的分割,基于区域的分割, 基于监督和无监督分类方法的分割。基于轮廓的方法是半自动的,需要从每个分 割图像的特定位置选择6个点来初始化算法,并且不能实时使用。基于形状的分 割方法在数据差异较大时,分割的结果不够准确。基于区域的分割方法在没有尖 锐边缘和白噪声的情况下可以获得更好的结果,但是停止函数的标准取决于区域 的统计数据。基于分类的分割方法,参数和非参数估计被用作特征向量。使用非 线性支持向量机,TRUS图像被分类为前列腺区域和非前列腺区域。这种方法对 于在没有边界的情况下分割结果并不理想。
近年来,深卷积神经网络(DCNN)在计算机视觉和医学图像处理等领域表 现出的性能优于现有技术。本发明提出了一种新颖的前列腺分割框架来解决上述 问题,通过在前列腺的TRUS图像上利用DCNN来解决上述问题。
发明内容
本发明提出了一种基于卷积神经网络的前列腺TRUS图像分割方法,使用一 系列卷积神经网络组成的编码器,通过应用DSPP来提取多尺度语义信息,后接 一个SHF解码器模块用于细化前列腺边界分割结果,形成前列腺分割网络。
本发明的技术方案,包括下列步骤:
步骤1:采集前列腺TRUS图像;
步骤2:使用resnet-101为基础的卷积神经网络,通过应用扩张空间金字塔 池化组成的编码器来提取多尺度语义信息;
步骤3:应用1×1卷积减少通道数量;
步骤4:采用4倍上采样与特征融合器提取多层级特征组成超级混合特征细 化前列腺边界分割结果;
步骤5:应用多层级上采样解码器恢复到原图像大小;
步骤6:输出分割结果。
与现有技术相比,本发明的有益效果是:
本发明在少量数据的基础上进行深度学习,避免了复杂的图像处理过程。前 列腺TRUS图像固有的困难问题可以用深卷积网络很好地解决。联合使用了扩张 空间金字塔池化模块和超级混合特征的编码器、解码器架构。扩张空间金字塔池 化表明不同尺度的重采样特征是有效的,并且可以精确和有效地对任意尺度的区 域进行分类。在解码阶段,特种融合器提取的特征组成的超级混合特征、极大地 增加了伪影区域的语义信息,更好地恢复了前列腺边界的细节,增强了算法的稳 健性,并且产生了超过现有技术的分割结果。另外,每个图像所需的分割时间比 其他现有方法短得多,因此该算法可以在临床应用中实时运行。
附图说明
图1为本发明的基于深度卷积神经网络前列腺TRUS图像分割方法流程图;
图2为本发明的数据样本和分割结果;
图3为本发明的全局图像特征提取示意图;
图4为本发明的网络结构示意图;
图5特征融合器示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步详细地描述。
图1给出了按照本发明的基于深度卷积神经网络前列腺TRUS图像分割方法 的流程图。如图1所示,按照本发明的基于深度卷积神经网络前列腺TRUS图像 分割方法包括:
步骤1:采集前列腺TRUS图像;
步骤2:使用resnet-101为基础的卷积神经网络,通过应用扩张空间金字塔 池化组成的编码器来提取多尺度语义信息;
步骤3:应用1×1卷积减少通道数量;
步骤4:采用4倍上采样与特征融合器提取多层级特征组成超级混合特征细 化前列腺边界分割结果;
步骤5:应用多层级上采样解码器恢复到原图像大小;
步骤6:输出分割结果。
下面结合附图,对本发明技术方案的具体实施过程加以说明。
所述步骤1进一步包括:
如图1所示,本发明使用的前列腺TRUS图像数据集由来自30名患者的1100 幅图像组成,图像尺寸为548×456(单位为像素),像素尺寸为0.35毫米。由经 过专业医生手动分割的结果作为训练标签和算法评估的金标准。在1100幅图像 中,990幅图像用于训练,其余110幅图像用于算法测试。数据样本及本发明提 到方法的分割结果如图2所示。
所述步骤2进一步包括:
本发明网络结构中使用的编码器基于深度卷积神经网络,其利用深度卷积神 经来以任意分辨率采用扩张卷积来提取特征,使得网络可以用于分割由不同超声 设备捕获的TRUS图像。输出步长被定义为全局池之前从输入图像到最终输出分 辨率的空间分辨率的比率。扩张空间金字塔池化表明不同尺度的重采样特征是有 说服力的,并且可以准确有效地对任意尺度的区域进行分类。根据改进的扩张空 间金字塔池化设置输出步长为16,该改进的扩张空间金字塔池化通过在扩张卷 积中应用不同的速率来检测多尺度的卷积特征。
膨胀卷积允许在不减少空间维度的情况下指数增加感受野。每个分支使用扩 张率不同的扩张卷积来处理这些特征。速率为r的扩张卷积在相继的内核值之间 引入了r-1个零点,在不增加计算量或参数数量的情况下将感受野扩大到r(n- 1)+1。
所述步骤3进一步包括:
为了进一步捕捉全局特征,如图3所示,使用具有全局图像特征的扩张空间 金字塔池化,将全局平均汇聚应用于模型的最后一个特征映射,将得到的全局图 像特征提供给具有256个滤波器和批量归一化的1×1卷积,然后将该特征双线性 上采样到期望空间维度。最后,改进的扩张空间金字塔池化模块由1×1卷积,三 个速率为(6,12,18)的3×3膨胀卷积和全局图像特征组成。并行分支的结果最终 连接在一起,通过1×1卷积获得编码器的输出,该特征映射包含256个通道和丰 富的语义信息。
所述步骤4进一步包括:
在实践中发现由于相似组织之间的边界问题较弱以及TRUS图像区域阴影 伪影存在缺失边界,因此使用简单的解码器模块难以提取前列腺边界。在解码器 模块中使用conv2和conv3特征映射。输入的解码器特征图首先经过4倍的上采 样conv2连接,然后与conv3连接,每次卷积后经过2倍上采样。尽管级联多尺 度解码器在恢复区域不均匀强度分布方面具有很强的鲁棒性,但对阴影伪影没有 明显影响。造成这个结果的原因是语义信息不足并且在解码阶段缺少特征。为了 增强网络生成的形状预测图中的空间一致性和边界细节,使用低级特征和高级特 征融合。利用图5中的特征融合器来实现局部特征和全局特征融合。
具体地,使用1×1卷积将特征映射的通道(256,512,1024,1024)从编码器 模块减少到(32,64,128,128)。为了更好地丰富图像伪影区域的特征,通过1×1 卷积获得的特征图分级连接。首先融合block4和block4的输出特征映射,并将 其进行2倍的上采样,然后将结果与block2输出特征映射合并,并进行2倍的 上采样,最后,结果与block1输出特征映射级联融合得到HLF(分层级特征)。 使用特征融合,虽然计算量增加了,但更丰富的低级特征被保留,其中不仅包括 边界特征,还包括伪影区域特征。通过渐进式融合,整合整个图像的全局和局部 信息,这对于恢复TRUS图像的细节至关重要。
所述步骤5进一步包括:
解码器的输入是输出步长为16的编码器特征的输出。将这些特征的双线性 上采样乘以16,这是简单的解码器模块。然而,使用这种简单的解码器模块可 能无法准确地恢复前列腺分割细节。所以在图4中设计了一个精确而有用的解码 器模块。首先,将在深度卷积神经网络上构建的扩张空间金字塔池化的输出特性 应用1×1卷积以将通道数量从1280减少到256,因为每个块的输出特征包含大 量的通道,这可能会超出丰富的编码器特性的重要性并且使训练更加困难。然后 进行上采样,分别获得相同的空间分辨率,并与经过4倍的简单双线性上采样的 输入特征混合以组成层级特征。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围, 应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在 于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱 离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发 明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定 的本发明精神和范围内的备选方案和等同方案。

Claims (4)

1.一种基于卷积神经网络的前列腺TRUS图像分割方法,包括下列步骤:
步骤1:采集前列腺TRUS图像;
步骤2:使用resnet-101为基础的卷积神经网络,通过应用扩张空间金字塔池化组成的编码器来提取多尺度语义信息;
步骤3:应用1×1卷积减少通道数量;
步骤4:采用4倍上采样与特征融合器提取多层级特征组成超级混合特征细化前列腺边界分割结果;
步骤5:应用多层级上采样解码器恢复到原图像大小;
步骤6:输出分割结果。
2.根据权利要求1所述的基于卷积神经网络的前列腺TRUS图像分割方法,其特征在于,步骤2中,使用基于深度卷积神经网络的编码器,应用扩张空间金字塔池化来提取任意分辨率图像的特征,扩张空间金字塔池化模块由一个1×1卷积,三个速率为(6,12,18)的3×3膨胀卷积和全局图像特征组成,并行分支的结果最终连接在一起,通过1×1卷积获得编码器的输出特征,扩张空间金字塔池化输出步长为16,该特征映射包含256个通道和丰富的语义信息,在不增加计算量或参数数量的情况下增大感受野。
3.根据权利要求1所述的基于卷积神经网络的前列腺TRUS图像分割方法,其特征在于,步骤3中,将在深度卷积神经网络上构建的扩张空间金字塔池化模块的输出特征应用1×1卷积以将通道数量从1280减少到256,减少计算量,加快训练速度。
4.根据权利要求1所述的基于卷积神经网络的前列腺TRUS图像分割方法,其特征在于,步骤4中,为了增强分割网络的分割结果的空间一致性和边界细节,在解码器中使用特征融合器模块来融合低级特征和高级特征,首先融合block4和block4的输出特征映射,并将其进行2倍的上采样,然后将结果与block2输出特征映射合并,并进行2倍的上采样,最后,结果与block1输出特征映射级联融合得到HLF(分层级特征),利用1×1卷积将特征映射的通道(256,512,1024,1024)从编码器模块减少到(32,64,128,128),整合整个图像的全局和局部信息,获得多层级特征,形成超级混合特征,更好地恢复前列腺图像轮廓的细节,然后分别应用2个2倍双线性上采样组成解码器恢复到原图像大小。
CN201811170359.8A 2018-10-08 2018-10-08 基于深度卷积神经网络的前列腺经直肠超声图像分割方法 Pending CN111091524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811170359.8A CN111091524A (zh) 2018-10-08 2018-10-08 基于深度卷积神经网络的前列腺经直肠超声图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811170359.8A CN111091524A (zh) 2018-10-08 2018-10-08 基于深度卷积神经网络的前列腺经直肠超声图像分割方法

Publications (1)

Publication Number Publication Date
CN111091524A true CN111091524A (zh) 2020-05-01

Family

ID=70391226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811170359.8A Pending CN111091524A (zh) 2018-10-08 2018-10-08 基于深度卷积神经网络的前列腺经直肠超声图像分割方法

Country Status (1)

Country Link
CN (1) CN111091524A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464611A (zh) * 2019-07-23 2019-11-19 苏州国科视清医疗科技有限公司 一种数字化弱视增强训练装置和系统及其相关算法
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法
CN112200815A (zh) * 2020-10-12 2021-01-08 徐州医科大学附属医院 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法
CN113065551A (zh) * 2021-03-19 2021-07-02 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113222012A (zh) * 2021-05-11 2021-08-06 北京知见生命科技有限公司 一种肺部数字病理图像自动定量分析方法及系统
CN113658188A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种基于改进Unet模型的溶液结晶过程图像语义分割方法
CN114820652A (zh) * 2022-04-07 2022-07-29 北京医准智能科技有限公司 乳腺x线图像局部质量异常区域的分割方法、装置及介质
CN117197166A (zh) * 2023-11-06 2023-12-08 中南大学 基于边缘和邻域信息的息肉图像分割方法及成像方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130064439A1 (en) * 2011-02-23 2013-03-14 Siemens Corporation Systems and Method for Automatic Prostate Localization in MR Images Using Random Walker Segmentation Initialized Via Boosted Classifiers
US20140029823A1 (en) * 2012-07-24 2014-01-30 Siemens Aktiengesellschaft Method and System for Automatic Prostate Segmentation in Magnetic Resonance Images
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107644426A (zh) * 2017-10-12 2018-01-30 中国科学技术大学 基于金字塔池化编解码结构的图像语义分割方法
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130064439A1 (en) * 2011-02-23 2013-03-14 Siemens Corporation Systems and Method for Automatic Prostate Localization in MR Images Using Random Walker Segmentation Initialized Via Boosted Classifiers
US20140029823A1 (en) * 2012-07-24 2014-01-30 Siemens Aktiengesellschaft Method and System for Automatic Prostate Segmentation in Magnetic Resonance Images
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107644426A (zh) * 2017-10-12 2018-01-30 中国科学技术大学 基于金字塔池化编解码结构的图像语义分割方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464611A (zh) * 2019-07-23 2019-11-19 苏州国科视清医疗科技有限公司 一种数字化弱视增强训练装置和系统及其相关算法
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法
CN112200815A (zh) * 2020-10-12 2021-01-08 徐州医科大学附属医院 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法
CN113065551A (zh) * 2021-03-19 2021-07-02 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113065551B (zh) * 2021-03-19 2023-08-08 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113222012A (zh) * 2021-05-11 2021-08-06 北京知见生命科技有限公司 一种肺部数字病理图像自动定量分析方法及系统
CN113658188A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种基于改进Unet模型的溶液结晶过程图像语义分割方法
CN114820652A (zh) * 2022-04-07 2022-07-29 北京医准智能科技有限公司 乳腺x线图像局部质量异常区域的分割方法、装置及介质
CN117197166A (zh) * 2023-11-06 2023-12-08 中南大学 基于边缘和邻域信息的息肉图像分割方法及成像方法
CN117197166B (zh) * 2023-11-06 2024-02-06 中南大学 基于边缘和邻域信息的息肉图像分割方法及成像方法

Similar Documents

Publication Publication Date Title
CN111091524A (zh) 基于深度卷积神经网络的前列腺经直肠超声图像分割方法
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
CN108053417B (zh) 一种基于混合粗分割特征的3D U-Net网络的肺分割装置
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
Li et al. Survey of single image super‐resolution reconstruction
Zhang et al. DSM: A deep supervised multi-scale network learning for skin cancer segmentation
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN109977832B (zh) 一种图像处理方法、装置及存储介质
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
Pan et al. Prostate segmentation from 3d mri using a two-stage model and variable-input based uncertainty measure
Yu et al. Semantic-driven face hallucination based on residual network
CN112037304A (zh) 基于swi相位图像的两阶段的边缘增强qsm重建方法
Li et al. Diffusion Models for Image Restoration and Enhancement--A Comprehensive Survey
CN111612075A (zh) 基于联合特征重组和特征混合的兴趣点、描述符提取方法
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-cnn structure for face super-resolution
CN111986210B (zh) 一种医学影像小病灶分割方法
CN115100731B (zh) 一种质量评价模型训练方法、装置、电子设备及存储介质
CN113409321B (zh) 一种基于像素分类和距离回归的细胞核图像分割方法
Jia et al. Single-image snow removal based on an attention mechanism and a generative adversarial network
CN114821067A (zh) 基于点标注数据的病理图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200501

WD01 Invention patent application deemed withdrawn after publication