CN110008992A - 一种用于前列腺癌辅助诊断的深度学习方法 - Google Patents

一种用于前列腺癌辅助诊断的深度学习方法 Download PDF

Info

Publication number
CN110008992A
CN110008992A CN201910149458.6A CN201910149458A CN110008992A CN 110008992 A CN110008992 A CN 110008992A CN 201910149458 A CN201910149458 A CN 201910149458A CN 110008992 A CN110008992 A CN 110008992A
Authority
CN
China
Prior art keywords
segmentation
prostate
model
image
pond
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910149458.6A
Other languages
English (en)
Other versions
CN110008992B (zh
Inventor
詹曙
陈爱莲
臧怀娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910149458.6A priority Critical patent/CN110008992B/zh
Publication of CN110008992A publication Critical patent/CN110008992A/zh
Application granted granted Critical
Publication of CN110008992B publication Critical patent/CN110008992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种用于前列腺癌辅助诊断的深度学习方法，构建一个含有预训练模型和链式残差池化模块的分割网络模型，对输入的不同尺度的前列腺MR图像进行特征提取和融合，然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型，再将待分割的前列腺MR图像输入进已训练的模型中，最后将该模型输出的结果通过条件随机场来输出最后的分割结果。本发明方法的分割结果可以辅助医生对前列腺癌进行临床诊断与治疗，有效提高医生的诊断准确率和工作效率。

Description

一种用于前列腺癌辅助诊断的深度学习方法
技术领域
本发明涉及深度学习方法领域，具体是一种用于前列腺癌辅助诊断的深度学习方法。
背景技术
如今，前列腺癌已经成为男性尤其是老年男性的健康问题的一大威胁，是近几十年来最常见的癌症之一。在临床诊断前列腺癌时，需要医生对前列腺MR图像中的前列腺组织与周围的组织器官分离出来以便于诊断与治疗。这个分割的过程所提取的有意义的信息包括形状、器官的相对位置、体积和异常。尽管MR图像中软组织器官之间的对比比计算机断层扫描要好，由于在MR图像中属于前列腺组织的区域很小，可用的有效信息较少，而且每位患者的前列腺组织的大小，形状，位置都各不相同，对于人类观察者来说，对前列腺边界的精确描绘仍然是比较困难的。因此前列腺MR图像的自动分割成为一项具有挑战性的工作。
基于深度学习方法的前列腺组织分割技术，是指用前列腺MR图像训练一个分割网络模型，然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型，用训练好的模型来对前列腺MR图像进行自动分割，并用条件随机场来提升分割效果，得到最终的分割结果。这种自动分割技术应用到临床诊断中，相对于人工分割，精度高，耗时少，可以大大提高临床工作的效率。
发明内容
本发明的目的是提供一种用于前列腺癌辅助诊断的深度学习方法，以解决现有技术对前列腺组织分割精度低、耗时高的问题。
为了达到上述目的，本发明所采用的技术方案为：
一种用于前列腺癌辅助诊断的深度学习方法，其特征在于：构建一个含有预训练模型和链式残差池化模块的分割网络模型，对输入的不同尺度的前列腺MR图像进行特征提取和融合，然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型，再将待分割的前列腺MR图像输入进已训练的模型中，最后将该模型输出的结果通过条件随机场来输出最后的分割结果，其步骤如下：
(1)、选取多个病人的前列腺MR图像作为训练数据集；
(2)、对训练数据集中的图片采用水平和垂直翻转以及调节亮度、对比度、饱和度的数据增强方式来进行扩展，将扩展后的训练图片分别按原图的{1,0.75,0.5}的大小调整为3个尺度；
(3)、将步骤(2)得到的多尺度图片输入到分割网络模型进行训练，此分割网络主要由ResNet预训练模型和链式残差池化模块构成。三个尺度的图片分别输入一个ResNet预训练模型，通过微调ResNet预训练模型的参数来提取输入图像的多尺度特征；将得到的三种不同尺度的特征图上采样到与原始图像相同大小并进行融合，然后把融合后的特征图输入链式残差池化模块，该模块是一个包含多个池化块的链，每个池化块由一个最大池化层和一个卷积层组成，一个池化块将前一个池化块的输出作为输入，使得当前池化块能再次利用前面池化块的结果，将所有池化块的输出特征图与输入特征图通过残差连接的方式融合在一起形成一个链式残差池化模块来从大图像区域捕获背景上下文信息；
(4)、对(3)所构建的分割网络使用随机梯度下降(SGD)的方法进行优化，该算法是通过不断的求偏导求解出当前位置下最优化的数据。分割网络所采用的损失函数为BCE(二进制交叉熵)损失，该损失是通过惩罚输出的分割结果与对应的人工分割图之间的距离来定义的，所以最小化该损失即使分割网络产生的分割结果更接近于人工分割图；BCE损失的定义式如下：
其中，m为每次抽取作为训练样本的数量，tj为前列腺MR图像对应的人工分割图，pj为分割网络输出的分割结果，通过随机梯度下降算法来最小化(1)式。经过至少1000次的迭代更新，直至损失函数收敛，得到稳定的训练好的分割网络；
(5)、将待分割的病人的前列腺MR图像输入进步骤(4)中得到的训练好的网络中，输出分割结果图；
(6)、对(5)输出的分割结果图，进一步用条件随机场来平滑噪声，细化边缘细节，得到最终的分割结果，将此结果与正常的影像学形态进行对比，给出辅助诊断信息，从而应用于前列腺癌的诊断中。
本发明通过从已知人工分割图的前列腺MR图像中进行训练的基础上，得到一个训练好的稳定的模型，来自动分割病人的前列腺MR图像，根据分割结果辅助医生诊断病人的情况，这种自动分割方法不仅提高了医生的工作效率，而且使诊断的准确率也有所提高。该技术可用于对前列腺癌的辅助诊断。
本发明中，将输入图片大小调整为三个不同尺寸，通过预训练模型来提取图像的多尺度特征，并将多尺度特征进行融合，经过链式残差池化模块可以从大图像区域捕获背景上下文信息，使分割结果更准确。对构建的分割网络进行训练，训练结束可以得到一个稳定的优化的模型来自动分割前列腺MR图像，提高分割效率。
本发明使用条件随机场来进行后处理，该方法对由分割网络输出的分割结果进行进一步的提升，可以平滑图像的噪声，细化分割的边缘细节等，使最终得到的分割图更加精细，准确率更高。
本发明的有益效果是：
本发明用前列腺MR图像训练一个分割网络模型，然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型，用训练好的模型来对前列腺MR图像进行自动分割，并用条件随机场来进一步提升分割效果，辅助前列腺癌的临床诊断，可以有效提高分割精度，减轻医生的工作量，提高诊断准确率和诊断效率。
附图说明
图1是本发明的实现流程框架图。
图2中的(a)为原始待分割的前列腺MR图像；(b)为(a)对应的人工分割图；(c)为用本发明的方法对(a)进行分割得到的结果图。
图3为六例不同病人的前列腺分割的结果对比。图中灰色线表示人工分割结果，白色线表示本发明的分割结果。经过比较，本发明提出的分割方法十分接近人工分割结果，可以用来辅助医生进行诊断。
具体实施方式
如图1所示，一种用于前列腺癌辅助诊断的深度学习方法，过程如下：
(1)、选取45个病人的686张前列腺MR图像以及对应的前列腺组织的人工分割图作为训练数据集；
(2)、对数据集进行预处理，采用水平和垂直翻转以及调节亮度、对比度、饱和度的数据增强方式来扩展数据集，将扩展后的训练图片分别按原图的{1,0.75,0.5}的大小调整为3个尺度；
(3)、将步骤(2)得到的多尺度图片输入到分割网络模型进行训练，此分割网络主要由ResNet预训练模型和链式残差池化模块构成。三个尺度的图片分别输入一个ResNet预训练模型，通过微调ResNet预训练模型的参数来提取输入图像的多尺度特征。将得到的三种不同尺度的特征图上采样到与原始图像相同大小并进行融合，然后把融合后的特征图输入链式残差池化模块，该模块是一个包含多个池化块的链，每个池化块由一个最大池化层和一个卷积层组成，一个池化块将前一个池化块的输出作为输入，使得当前池化块能再次利用前面池化块的结果，将所有池化块的输出特征图与输入特征图通过残差连接的方式融合在一起形成一个链式残差池化模块来从大图像区域捕获背景上下文信息；
(4)、对(3)所构建的分割网络使用随机梯度下降(SGD)的方法进行优化，该算法是通过不断的求偏导求解出当前位置下最优化的数据。分割网络所采用的损失函数为BCE(二进制交叉熵)损失，该损失是通过惩罚输出的分割结果与对应的人工分割图之间的距离来定义的，所以最小化该损失即使分割网络产生的分割结果更接近于人工分割图。BCE损失的定义式如下：
其中，m为每次抽取作为训练样本的数量，tj为前列腺MR图像对应的人工分割图，pj为分割网络输出的分割结果，通过随机梯度下降算法来最小化(1)式。经过至少1000次的迭代更新，直至损失函数收敛，得到稳定的训练好的分割网络；
(5)、将待分割的病人的前列腺MR图像输入进步骤(4)中得到的训练好的网络中，输出分割结果图；
(6)、对(5)输出的分割结果图，进一步用条件随机场来平滑噪声，细化边缘细节，得到最终的分割结果(见附图2(c))，将此结果与正常的影像学形态(见附图2(b))进行对比，给出辅助诊断信息，从而应用于前列腺癌的诊断中。图2(a)为原始待分割的前列腺MR图像，图3为六例不同病人的前列腺分割的结果对比。图2与图3中的图片来自于MICCAI 2012数据集。

Claims (1)

1.一种用于前列腺癌辅助诊断的深度学习方法，其特征在于：构建一个含有预训练模型和链式残差池化模块的分割网络模型，对输入的不同尺度的前列腺MR图像进行特征提取和融合，然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型，再将待分割的前列腺MR图像输入进已训练的模型中，最后将该模型输出的结果通过条件随机场来输出最后的分割结果，其步骤如下：
(1)、选取多个病人的前列腺MR图像作为训练数据集；
(2)、对训练数据集中的图片采用水平和垂直翻转以及调节亮度、对比度、饱和度的数据增强方式来进行扩展，将扩展后的训练图片分别按原图的{1,0.75,0.5}的大小调整为3个尺度；
(3)、将步骤(2)得到的多尺度图片输入到分割网络模型进行训练，此分割网络主要由ResNet预训练模型和链式残差池化模块构成；三个尺度的图片分别输入一个ResNet预训练模型，通过微调ResNet预训练模型的参数来提取输入图像的多尺度特征；将得到的三种不同尺度的特征图上采样到与原始图像相同大小并进行融合，然后把融合后的特征图输入链式残差池化模块；所述链式残差池化模块是一个包含多个池化块的链，每个池化块由一个最大池化层和一个卷积层组成，一个池化块将前一个池化块的输出作为输入，使得当前池化块能再次利用前面池化块的结果，将所有池化块的输出特征图与输入特征图通过残差连接的方式融合在一起形成一个链式残差池化模块来从大图像区域捕获背景上下文信息；
(4)、对(3)所构建的分割网络使用随机梯度下降的方法进行优化，该算法是通过不断的求偏导求解出当前位置下最优化的数据；分割网络所采用的损失函数为BCE损失，该损失是通过惩罚输出的分割结果与对应的人工分割图之间的距离来定义的，所以最小化该损失即使分割网络产生的分割结果更接近于人工分割图；BCE损失的定义式如下：
其中，m为每次抽取作为训练样本的数量，tj为前列腺MR图像对应的人工分割图，pj为分割网络输出的分割结果，通过随机梯度下降算法来最小化(1)式；经过至少1000次的迭代更新，直至损失函数收敛，得到稳定的训练好的分割网络；
(5)、将待分割的病人的前列腺MR图像输入进步骤(4)中得到的训练好的网络中，输出分割结果图；
(6)、对(5)输出的分割结果图，进一步用条件随机场来平滑噪声，细化边缘细节，得到最终的分割结果，将此结果与正常的影像学形态进行对比，给出辅助诊断信息，从而应用于前列腺癌的诊断中。
CN201910149458.6A 2019-02-28 2019-02-28 一种用于前列腺癌辅助诊断的深度学习方法 Active CN110008992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910149458.6A CN110008992B (zh) 2019-02-28 2019-02-28 一种用于前列腺癌辅助诊断的深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149458.6A CN110008992B (zh) 2019-02-28 2019-02-28 一种用于前列腺癌辅助诊断的深度学习方法

Publications (2)

Publication Number Publication Date
CN110008992A true CN110008992A (zh) 2019-07-12
CN110008992B CN110008992B (zh) 2023-04-11

Family

ID=67166113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149458.6A Active CN110008992B (zh) 2019-02-28 2019-02-28 一种用于前列腺癌辅助诊断的深度学习方法

Country Status (1)

Country Link
CN (1) CN110008992B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706214A (zh) * 2019-09-23 2020-01-17 东南大学 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN112071421A (zh) * 2020-09-01 2020-12-11 深圳高性能医疗器械国家研究院有限公司 一种深度学习预估方法及其应用
CN113298754A (zh) * 2021-04-12 2021-08-24 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
CN114399501A (zh) * 2022-01-27 2022-04-26 中国医学科学院北京协和医院 基于深度学习卷积神经网络的自动分割前列腺全腺体方法
WO2022227108A1 (zh) * 2021-04-25 2022-11-03 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技（上海）有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
CA3053487A1 (en) * 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CA3053487A1 (en) * 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技（上海）有限公司 一种基于人工智能技术的癌症病理辅助诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
凌彤等: "利用多模态U形网络的CT图像前列腺分割", 《智能系统学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706214A (zh) * 2019-09-23 2020-01-17 东南大学 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN110706214B (zh) * 2019-09-23 2022-06-17 东南大学 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN112071421A (zh) * 2020-09-01 2020-12-11 深圳高性能医疗器械国家研究院有限公司 一种深度学习预估方法及其应用
CN113298754A (zh) * 2021-04-12 2021-08-24 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
CN113298754B (zh) * 2021-04-12 2024-02-06 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
WO2022227108A1 (zh) * 2021-04-25 2022-11-03 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN114399501A (zh) * 2022-01-27 2022-04-26 中国医学科学院北京协和医院 基于深度学习卷积神经网络的自动分割前列腺全腺体方法

Also Published As

Publication number Publication date
CN110008992B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN110008992A (zh) 一种用于前列腺癌辅助诊断的深度学习方法
Liu et al. An encoder-decoder neural network with 3D squeeze-and-excitation and deep supervision for brain tumor segmentation
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
Zhang et al. Review of breast cancer pathologigcal image processing
CN109949309A (zh) 一种基于深度学习的肝脏ct图像分割方法
CN109063710A (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN107808156A (zh) 感兴趣区域提取方法
CN107240102A (zh) 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN110415230B (zh) 一种基于深度学习的ct切片图像语义分割系统及方法
CN107369160A (zh) 一种oct图像中脉络膜新生血管分割算法
CN109087306A (zh) 动脉血管图像模型训练方法、分割方法、装置及电子设备
CN108664976B (zh) 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN109118495A (zh) 一种视网膜血管分割方法和装置
CN109447998A (zh) 基于PCANet深度学习模型下的自动分割方法
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN110163877A (zh) 一种mri心室结构分割的方法与系统
CN114897780A (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
WO2022213654A1 (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN107767362A (zh) 一种基于深度学习的肺癌早筛装置
CN110097557A (zh) 基于3D-UNet的医学图像自动分割方法及系统
CN109754388B (zh) 一种颈动脉狭窄程度计算方法、装置及存储介质
CN106651875B (zh) 基于多模态mri纵向数据的脑瘤时空协同分割方法
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
CN114881968A (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN106709920A (zh) 血管提取方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant