CN108304889A - 一种基于深度学习的全数字乳腺成像图像放射组学方法 - Google Patents

一种基于深度学习的全数字乳腺成像图像放射组学方法 Download PDF

Info

Publication number
CN108304889A
CN108304889A CN201810180202.7A CN201810180202A CN108304889A CN 108304889 A CN108304889 A CN 108304889A CN 201810180202 A CN201810180202 A CN 201810180202A CN 108304889 A CN108304889 A CN 108304889A
Authority
CN
China
Prior art keywords
deep learning
data
imaging image
breast imaging
digital breast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810180202.7A
Other languages
English (en)
Inventor
边兆英
梁翠霞
曾栋
黄静
马建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN201810180202.7A priority Critical patent/CN108304889A/zh
Publication of CN108304889A publication Critical patent/CN108304889A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

一种基于深度学习的全数字乳腺成像图像放射组学方法，具体步骤如下：获取全数字乳腺成像图像数据μdatset，通过对全数字乳腺成像图像数据μdatset进行预处理，得到预处理数据μi hdf5，将预处理数据μi hdf5输入至深度学习网络Alexnet中进行训练，并建立分类网络模型Malexnet，再将预处理数据μi hdf5输入至分类网络模型Malexnet中进行特征提取，获得高维特征向量FeatureMap，将高维特征向量FeatureMap输入至随机森林RF中进行训练，得到高性能的肿瘤鉴别分类器。本发明使用了深度学习网络Alexnet框架提取出鉴别肿瘤的图像特征，并与放射组学结合，采用随机森林中对提取出的特征进行学习，实现基于深度学习的全数字乳腺成像图像放射组学的研究。

Description

一种基于深度学习的全数字乳腺成像图像放射组学方法
技术领域
本发明涉及一种乳腺良恶性肿瘤鉴别的放射组学技术领域，特别是涉及一种基于深度学习的全数字乳腺成像图像放射组学方法。
背景技术
近年来，大数据技术和医学影像辅助诊断的有机融合产生了新的放射组学方法，通过从医学影像中提取高维的定量特征来量化肿瘤等重大疾病，可以有效地解决难以定量评估肿瘤异质性的问题，具有重要的临床价值。
放射组学的处理流程归纳为以下部分：(1)影像数据的获取；(2)肿瘤区域的标定；(3)肿瘤区域的分割；(4)特征的提取和量化；(5)特征提取；(6)训练和测试分类器。
当前，放射组学特征种类繁多，传统的特征总体可以分为三类，即一阶，二阶及高阶特征。一阶特征通常是基于直方图分析，二阶特征描述空间分布复杂性，高阶特征常用的是小波分析等。这些传统特征虽然从影像中挖掘到很多信息来进行分析，但这只是影像中的一部分信息。因此，更准确和更科学的特征提取方法和挖掘各层信息的手段是研究的重点。
自2006年提出“深度学习”的概念以来，医疗行业对深度学习技术的使用频率显著上升。深度学习是一种数据驱动型模型，能够模拟人脑视觉机理自动学习到数据各个层次的抽象特征，从而更好地反映数据的本质特征。目前，在医学影像领域深度学习主要用于计算机辅助诊断，图像分割和特性提取等方面。
因此，针对放射组学在乳腺肿瘤鉴别方面定量图像特征涵盖信息不足，提供一种基于深度学习的全数字乳腺成像图像放射组学方法，得到肿瘤各层次的抽象特征并加入到放射组学分类器中学习，以克服现有传统特征的局限性。该方法在使用新型定量特征的同时，能保证分类器有较高的肿瘤鉴别性能和泛化能力。
因此，针对现有技术不足，提供一种基于深度学习的全数字乳腺成像图像放射组学方法以解决现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供一种基于深度学习的全数字乳腺成像图像放射组学方法，本发明充分考虑了传统特征不能完全包含各层次的乳腺良恶性肿瘤信息，通过深度学习网络，提取出包含各层次信息的特征，最终实现肿瘤良恶性鉴别。
同时，本发明使用了深度学习网络Alexnet框架提取出鉴别肿瘤的图像特征，并与放射组学结合，采用随机森林中对提取出的特征进行学习，实现基于深度学习的全数字乳腺成像图像放射组学的研究。
本发明的上述目的通过如下技术手段实现。
提供一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：具体步骤如下：
S1、获取全数字乳腺成像图像数据μdatset；
S2、通过对全数字乳腺成像图像数据μdatset进行预处理，得到预处理数据μhdf5；
S3、将预处理数据μhdf5输入至深度学习网络Alexnet中进行训练，并建立分类网络模型Malexnet；
S4、再将预处理数据μhdf5输入至分类网络模型Malexnet中进行特征提取，获得高维特征向量FeatureMap；
S5、将高维特征向量FeatureMap输入至随机森林RF中进行训练，得到高性能的肿瘤鉴别分类器。
具体而言的，步骤S2中的具体步骤如下：
S21、对全数字乳腺成像图像数据μdatset进行分割，得到分割后数据μpatch；
S22、对数据μpatch进行扩增操作，得到n个扩增数据μ1 expand、......、μi expand、......、μn expand，其中1≤i≤n，i、n均为整数；
S23、对扩增数据μi expand进行肿瘤类别标识；
S24、转换扩增数据μi expand格式，得到预处理数据μi hdf5。
优选的，步骤S3的操作方法具体如下：
将预处理数据μi hdf5输入到深度学习网络Alexnet中进行训练，获得包含肿瘤信息的分类模型Malexnet。
具体而言的，步骤S4的具体操作方法如下：
提取预处理数据μi hdf5中最后一个卷积层的高维特征向量FeatureMapi，将n个高维特征向量进行整合获得高维特征向量FeatureMap。
进一步的，步骤S5中将高维特征向量FeatureMap输入至随机森林RF中进行训练，获得肿瘤鉴别分类器。
进一步的，步骤S21中以全数字乳腺成像图像数据μdatset的病灶点为中心进行分割，分割出大小为572×572的分割后数据μpatch。
优选的，扩增操作是对分割后数据μpatch进行i次旋转或翻转操作，即得到扩增数据μi expand。
进一步的，所述预处理数据的格式为HDF5格式。
具体而言的，所述深度学习网络Alexnet包含5个卷积层和3个全连接层。
优选的，进行步骤S5中的随机森林RF训练后，再通过留一交叉验证法进行验证，最终获得肿瘤鉴别分类器。
本发明充分考虑了传统特征不能完全包含各层次的乳腺良恶性肿瘤信息，通过深度学习网络，提取出包含各层次信息的特征，最终实现肿瘤良恶性鉴别。
同时，本发明使用了深度学习网络Alexnet框架提取出鉴别肿瘤的图像特征，并与放射组学结合，采用随机森林中对提取出的特征进行学习，实现基于深度学习的全数字乳腺成像图像放射组学的研究。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1为本发明方法的流程示意图。
图2为随机森林的ROC曲线和三个性能评价指标结果图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1。
如图1-2所示，一种基于深度学习的全数字乳腺成像图像放射组学方法，具体步骤如下：
S1、获取全数字乳腺成像图像数据μdatset。
S2、通过对全数字乳腺成像图像数据μdatset进行预处理，得到预处理数据μhdf5。
步骤S2中的具体步骤如下：
S21、对全数字乳腺成像图像数据μdatset进行分割，得到分割后数据μpatch。
步骤S21中以全数字乳腺成像图像数据μdatset的病灶点为中心进行分割，分割出大小为572×572的分割后数据μpatch。
S22、对数据μpatch进行扩增操作，得到n个扩增数据μ1 expand、......、μi expand、......、μn expand，其中1≤i≤n，i、n均为整数。
扩增操作是对分割后数据μpatch进行i次旋转或翻转操作，即得到扩增数据μi expand。
S23、对扩增数据μi expand进行肿瘤类别标识。
S24、转换扩增数据μi expand格式，得到预处理数据μi hdf5。
预处理数据的格式为HDF5格式。
S3、将预处理数据μi hdf5输入至深度学习网络Alexnet中进行训练，并建立分类网络模型Malexnet。
步骤S3的操作方法具体如下：
将预处理数据μi hdf5输入到深度学习网络Alexnet中进行训练，获得包含肿瘤信息的分类模型Malexnet。
深度学习网络Alexnet包含5个卷积层和3个全连接层，卷积层的组合形式有3种，全连接层的组合形式有2种。
S4、再将预处理数据μi hdf5输入至分类网络模型Malexnet中进行特征提取，获得高维特征向量FeatureMap。
步骤S4的具体操作方法如下：
提取预处理数据μi hdf5中最后一个卷积层的高维特征向量FeatureMapi，将n个高维特征向量进行整合获得高维特征向量FeatureMap。
S5、将高维特征向量FeatureMap输入至随机森林RF中进行训练，得到高性能的肿瘤鉴别分类器。
步骤S5中将高维特征向量FeatureMap输入至随机森林RF中进行训练，获得肿瘤鉴别分类器。
进行步骤S5中的随机森林RF训练后，再通过留一交叉验证法进行验证，最终获得高性能的肿瘤鉴别分类器，以实现乳腺良恶性肿瘤的分类。
如图2所示，实验用AUC、敏感性和特异性三个评价指标来评估分类器性能。图2为随机森林的ROC曲线和三个性能评价指标结果。可以看出，本发明在使用基于深度学习的新型特征的同时，能得到高性能的乳腺良恶性肿瘤分类器。
经过多次验证，本发明操作简单，能够有效的解决放射组学传统的特征不能完全包含肿瘤各层次信息的问题，实现高性能的乳腺良恶性肿瘤分类器的设计。
需要说明的是，本发明所公开的模型，还可以为其他类型肿瘤鉴别所用。
本发明充分考虑了传统特征不能完全包含各层次的乳腺良恶性肿瘤信息，通过深度学习网络，提取出包含各层次信息的特征，最终实现肿瘤良恶性鉴别。
同时，本发明使用了深度学习网络Alexnet框架提取出鉴别肿瘤的图像特征，并与放射组学结合，采用随机森林中对提取出的特征进行学习，实现基于深度学习的全数字乳腺成像图像放射组学的研究。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：具体步骤如下：
S1、获取全数字乳腺成像图像数据μdatset；
S2、通过对全数字乳腺成像图像数据μdatset进行预处理，得到预处理数据μi hdf5；
S3、将预处理数据μi hdf5输入至深度学习网络Alexnet中进行训练，并建立分类网络模型Malexnet；
S4、再将预处理数据μi hdf5输入至分类网络模型Malexnet中进行特征提取，获得高维特征向量FeatureMap；
S5、将高维特征向量FeatureMap输入至随机森林RF中进行训练，得到高性能的肿瘤鉴别分类器。
2.根据权利要求1所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：步骤S2中的具体步骤如下：
S21、对全数字乳腺成像图像数据μdatset进行分割，得到分割后数据μpatch；
S22、对数据μpatch进行扩增操作，得到n个扩增数据μ1 expand、......、μi expand、......、μn expand，其中1≤i≤n，i、n均为整数；
S23、对扩增数据μi expand进行肿瘤类别标识；
S24、转换扩增数据μi expand格式，得到预处理数据μi hdf5。
3.根据权利要求2所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：步骤S3的操作方法具体如下：
将预处理数据μi hdf5输入到深度学习网络Alexnet中进行训练，获得包含肿瘤信息的分类模型Malexnet。
4.根据权利要求3所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：步骤S4的具体操作方法如下：
提取预处理数据μi hdf5中最后一个卷积层的高维特征向量FeatureMapf，将n个高维特征向量进行整合获得高维特征向量FeatureMap。
5.根据权利要求4所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：步骤S5中将高维特征向量FeatureMap输入至随机森林RF中进行训练，获得肿瘤鉴别分类器。
6.根据权利要求5所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：步骤S21中以全数字乳腺成像图像数据μdatset的病灶点为中心进行分割，分割出大小为572×572的分割后数据μpatch。
7.根据权利要求6所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：扩增操作是对分割后数据μpatch进行i次旋转或翻转操作，即得到扩增数据μi expand。
8.根据权利要求7所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：所述预处理数据的格式为HDF5格式。
9.根据权利要求8所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：所述深度学习网络Alexnet包含5个卷积层和3个全连接层。
10.根据权利要求9所述的一种基于深度学习的全数字乳腺成像图像放射组学方法，其特征在于：进行步骤S5中的随机森林RF训练后，再通过留一交叉验证法进行验证，最终获得肿瘤鉴别分类器。
CN201810180202.7A 2018-03-05 2018-03-05 一种基于深度学习的全数字乳腺成像图像放射组学方法 Pending CN108304889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810180202.7A CN108304889A (zh) 2018-03-05 2018-03-05 一种基于深度学习的全数字乳腺成像图像放射组学方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810180202.7A CN108304889A (zh) 2018-03-05 2018-03-05 一种基于深度学习的全数字乳腺成像图像放射组学方法

Publications (1)

Publication Number Publication Date
CN108304889A true CN108304889A (zh) 2018-07-20

Family

ID=62849368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810180202.7A Pending CN108304889A (zh) 2018-03-05 2018-03-05 一种基于深度学习的全数字乳腺成像图像放射组学方法

Country Status (1)

Country Link
CN (1) CN108304889A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785320A (zh) * 2019-01-28 2019-05-21 太原理工大学 一种采用改进型AlexNet模型对乳腺钼靶X线图像进行分类和识别的方法
CN110400610A (zh) * 2019-06-19 2019-11-01 西安电子科技大学 基于多通道随机森林的小样本临床数据分类方法及系统
CN112102262A (zh) * 2020-08-28 2020-12-18 太原理工大学 基于深度学习的混沌微波乳腺肿瘤成像分类装置和方法
WO2022147940A1 (zh) * 2021-01-08 2022-07-14 温州医科大学 一种面向多源数据的乳腺肿瘤图像分类预测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447569A (zh) * 2015-12-18 2016-03-30 北京柏惠维康科技有限公司 一种基于深度学习的乳腺癌细胞特征分析系统
US20170035381A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Characterizing disease and treatment response with quantitative vessel tortuosity radiomics
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106991374A (zh) * 2017-03-07 2017-07-28 中国矿业大学 基于卷积神经网络和随机森林的手写数字识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170035381A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Characterizing disease and treatment response with quantitative vessel tortuosity radiomics
CN105447569A (zh) * 2015-12-18 2016-03-30 北京柏惠维康科技有限公司 一种基于深度学习的乳腺癌细胞特征分析系统
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106991374A (zh) * 2017-03-07 2017-07-28 中国矿业大学 基于卷积神经网络和随机森林的手写数字识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEX KRIZHEVSKY ETAL: ""ImageNet classification with deep convolutional neural networks"", 《COMMUNICATIONS OF THE ACM》 *
WENTAO ZHU ET AL: ""Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification"", 《MICCAI》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785320A (zh) * 2019-01-28 2019-05-21 太原理工大学 一种采用改进型AlexNet模型对乳腺钼靶X线图像进行分类和识别的方法
CN110400610A (zh) * 2019-06-19 2019-11-01 西安电子科技大学 基于多通道随机森林的小样本临床数据分类方法及系统
CN110400610B (zh) * 2019-06-19 2022-04-15 西安电子科技大学 基于多通道随机森林的小样本临床数据分类方法及系统
CN112102262A (zh) * 2020-08-28 2020-12-18 太原理工大学 基于深度学习的混沌微波乳腺肿瘤成像分类装置和方法
WO2022147940A1 (zh) * 2021-01-08 2022-07-14 温州医科大学 一种面向多源数据的乳腺肿瘤图像分类预测方法及装置

Similar Documents

Publication Publication Date Title
Kooi et al. Discriminating solitary cysts from soft tissue lesions in mammography using a pretrained deep convolutional neural network
CN108304889A (zh) 一种基于深度学习的全数字乳腺成像图像放射组学方法
Montaha et al. BreastNet18: a high accuracy fine-tuned VGG16 model evaluated using ablation study for diagnosing breast cancer from enhanced mammography images
CN106780448A (zh) 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法
CN108629772B (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN110298383A (zh) 基于多模态深度学习的病理分类方法及系统
CN107665492A (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
Li et al. Classification of breast mass in two‐view mammograms via deep learning
CN107133638A (zh) 基于两分类器的多参数mri前列腺癌cad方法及系统
CN113313680B (zh) 一种结直肠癌病理图像预后辅助预测方法及系统
Ström et al. Pathologist-level grading of prostate biopsies with artificial intelligence
Abdel-Nasser et al. Towards cost reduction of breast cancer diagnosis using mammography texture analysis
CN111986148A (zh) 一种前列腺数字病理图像的快速Gleason评分系统
Shah et al. Colorectal cancer segmentation using atrous convolution and residual enhanced unet
Condon et al. Replication of an open-access deep learning system for screening mammography: Reduced performance mitigated by retraining on local data
Arif et al. Application of genetic algorithm and u-net in brain tumor segmentation and classification: A deep learning approach
Liu et al. CAM‐Wnet: An effective solution for accurate pulmonary embolism segmentation
Razali et al. High-level features in deeper deep learning layers for breast cancer classification
CN116797554A (zh) 图像处理方法以及装置
CN114648509B (zh) 一种基于多分类任务的甲状腺癌检出系统
Chellan et al. Novel computer‐aided diagnosis of lung cancer using bag of visual words to achieve high accuracy rates
Jiang et al. Parallel ‘same’and ‘valid’convolutional block and input-collaboration strategy for histopathological image classification
Li et al. Breast cancer early diagnosis based on hybrid strategy
Dabass et al. Effect analysis of contrast enhancement techniques on cancer classification in colon histopathology images using machine learning
Balasundaram et al. Automated Detection and Classification of Breast Cancer Nuclei with Deep Convolutional Neural Network.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720

RJ01 Rejection of invention patent application after publication