CN110265141B - 一种肝脏肿瘤ct影像计算机辅助诊断方法 - Google Patents

一种肝脏肿瘤ct影像计算机辅助诊断方法 Download PDF

Info

Publication number
CN110265141B
CN110265141B CN201910391853.5A CN201910391853A CN110265141B CN 110265141 B CN110265141 B CN 110265141B CN 201910391853 A CN201910391853 A CN 201910391853A CN 110265141 B CN110265141 B CN 110265141B
Authority
CN
China
Prior art keywords
image
tumor
liver
fcn
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910391853.5A
Other languages
English (en)
Other versions
CN110265141A (zh
Inventor
李静
吴雨润
沈南燕
张宇辰
孙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910391853.5A priority Critical patent/CN110265141B/zh
Publication of CN110265141A publication Critical patent/CN110265141A/zh
Application granted granted Critical
Publication of CN110265141B publication Critical patent/CN110265141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种肝脏肿瘤CT影像计算机辅助诊断方法。该方法通过全卷积网络（FCN）对肝脏及肿瘤进行分割，通过卷积神经网络（CNN）对肝脏肿瘤进行分类。在训练FCN模型时，使用加权的交叉熵损失函数以提高肿瘤分割的准确率。在训练和使用CNN进行分类时，将1通道的CT图像和3通道的FCN分割结果拼接成4通道图像数据作为其输入。最终将训练好的FCN和CNN模型组合构建为一个计算机辅助诊断系统，读取待诊断的CT图像并输入系统后，以得出该CT图像属于健康肝脏、弥漫性肿瘤、结节型肿瘤或巨块型肿瘤的概率。该方法的整体流程无需图像预处理和特征提取的步骤，不仅简化了流程，而且最终诊断准确率不会受到图像噪声、低对比度和特征选择及提取的影响。

Description

一种肝脏肿瘤CT影像计算机辅助诊断方法
技术领域
本发明属于图像处理技术领域，特别涉及一种肝脏肿瘤CT影像计算机辅助诊断方法。
背景技术
肝脏肿瘤属于多发的恶性疾病，2018年全世界新增肝脏肿瘤患者84万余人，在所有类型的肿瘤中排名第7。肝细胞癌是最常见的原发性肝脏恶性肿瘤，其具有恶性程度高、病情发展快和早期症状表现不明显的特点，一旦出现症状就诊，往往就是中后期，故治疗难度大、效果差，一般发病之后生存时间仅为六个月，因此被称为“癌中之王”。在目前的肝脏肿瘤临床诊断中，医生大多是通过病人的CT图像来发现病变。然而在CT图像质量不高，脉期单一、医生的经验不足或医生的状态不佳的时候，就会容易造成误诊或漏诊。因此需要计算机辅助诊断系统来辅助医生进行诊断，以提高诊断效率和准确率。
现有的计算机辅助诊断系统大多需要四个步骤：图像预处理、图像分割、特征提取和分类。因为其使用的分割方法是基于图像灰度的，受噪声和低对比度影响较大，因此需要图像预处理的步骤来去除CT图像中的噪声并提高对比度。更重要的一点是，其分类方法是基于图像特征的，导致分类结果受特征选择和提取影响较大。
发明内容
本发明的目的在于针对现有技术的不足，提出一种肝脏肿瘤CT影像计算机辅助诊断方法。该方法基于全卷积网络(Fully Convolutional Networks，FCN)分割和卷积神经网络(Convolutional Neural Networks，CNN)分类，利用卷积网络技术实现对健康肝脏以及肝脏肿瘤中弥漫型、结节型和巨块型的自动诊断。该方法对噪声和低对比度图像鲁棒性较强，且无需手动选择提取特征，准确率较高。
为达到上述目的，本发明采用如下技术方案：
一种肝脏肿瘤CT影像计算机辅助诊断方法，通过FCN对腹部CT影像进行肝脏及肿瘤分割，在分割结果的基础上通过CNN实现对健康肝脏和三种肝脏肿瘤的分类，操作步骤为：
a)训练用于实现肝脏和肿瘤分割的FCN网络，通过整理好的CT影像数据，经过肝脏和肿瘤标记，利用CT影像和标记好的数据训练30层的FCN网络：网络前半部分为13个3×3卷积层和5个最大池化层，中间部分为2个1×1卷积层，后半部分为5个上采样层、4个融合层和1个输出层，训练完毕后，输出大小和原始CT图像相等的3通道的分割结果，其中通道2表示该像素为肿瘤的概率值，通道1表示该像素为除肿瘤外的肝脏的概率值，通道0表示该像素为其他组织或者背景的概率值；
b)训练用于肿瘤分类的CNN分类器，基于已经训练完毕的FCN网络，通过整理好的CT影像数据，经过医生对CT影像进行诊断标记，利用CT影像和标记好的数据训练15层的CNN网络：网络包括5个3×3卷积层、5个最大池化层、1个16×16卷积层、3个全连接层和1个输出层，训练完毕后，输出该CT图像属于健康肝脏、弥漫型肿瘤、结节型肿瘤和巨块型肿瘤的概率；
c)将训练好的FCN网络和CNN分类器组合构建为一个完整的计算机辅助诊断系统；
d)读取待诊断的DICOM格式的CT图像后，输入计算机辅助诊断系统中，得到肿瘤属于弥漫型、结节型或者巨块型的辅助诊断信息。
上述步骤a)中FCN网络的训练方法具体为：
a1)根据训练数据中背景、肝脏和肿瘤三种类别的比例计算出百分比的向量r，
r＝[r0，r1，r2]T (1)
其中r0，r1，r2均为0～1之间的小数，且r0+r1+r2＝1；
a2)根据r计算权重向量W；
W＝[1+ln(r1/r1)，1+ln(r1/r2)，1+ln(r1/r3)]T (2)
a3)基于权重向量W计算该像素的损失权重
Figure BDA0002056772230000021
Figure BDA0002056772230000022
其中li，j表示该像素以onehot编码形式表示的类别标签向量，li，j＝[l0，l1，l2]T，下标i，j表示像素在图像中的位置；
a4)计算加权后的交叉熵损失函数L；
Figure BDA0002056772230000023
其中M、N分别表示输入CT图像的高和宽，pi，j表示该像素位置的输出向量，pi，j＝[p0，p1，p2]T，下标i，j表示像素在图像中的位置；
a5)利用梯度下降法求解加权后的交叉熵损失函数L的最小值来训练FCN网络，提升肿瘤分割的准确率。
上述步骤b)中CNN网络的输入为，将1通道的CT图像和3通道的FCN分割结果进行拼接后得到的4通道图像数据。
上述步骤c)中的整个过程无需进行图像降噪操作或者灰度增强操作。
本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：
1)本发明方法只需图像分割和分类两个步骤，无需图像预处理和特征提取的步骤，不仅简化了流程，而且最终诊断准确率不会受到图像噪声、低对比度和特征选择及提取的影响。
2)本发明中，使用加权后的交叉熵损失函数来训练FCN模型，可以提升肿瘤分割的准确率。
3)本发明中，将1通道的CT图像和3通道的FCN分割结果进行拼接后得到的4通道图像数据作为CNN模型的输入，这样不仅可以增加输入样本的特征，降低错误分割结果对分类结果的影响程度，提高系统的鲁棒性，又可以将肝脏和肿瘤的形状及位置信息添加到输入样本中以降低其他组织上异常灰度对分类结果的影响。
附图说明
图1是本发明肝脏肿瘤CT影像计算机辅助诊断方法的流程图。
图2是本发明中FCN模型对肝脏及肿瘤进行分割的结果示例。
具体实施方式
本发明的优选实施例结合附图说明如下：
模型训练之前需要准备好分别用于训练FCN模型的数据和CNN模型的数据，其中FCN的训练数据包括原始CT图像和肝脏及肿瘤的分割标记，数据文件格式为NIFTI格式，CT图像大小为512×512像素；CNN的训练数据包括原始CT图像和肿瘤的分类标记，数据文件格式为DICOM格式，CT图像大小为512×512像素。
如图1所示，一种肝脏肿瘤CT影像计算机辅助诊断方法，操作步骤如下：
a)训练用于实现肝脏和肿瘤分割的FCN网络，具体方法如下：
a1)根据训练数据中背景、肝脏和肿瘤三种类别的比例计算出百分比的向量r，
r＝[r0，r1，r2]T＝[95.00％，4.78％，0.22％]T (1)
a2)根据r计算权重向量W；
W＝[1+ln(r1/r1)，1+ln(r1/r2)，1+ln(r1/r3)]T＝[1.0，4.0，7.1]T (2)
a3)基于权重向量W计算该像素的损失权重
Figure BDA0002056772230000031
Figure BDA0002056772230000032
其中li，j表示该像素以onehot编码形式表示的类别标签向量，li，j＝[l0，l1，l2]T，下标i，j表示像素在图像中的位置；
a4)计算加权后的交叉熵损失函数L；
Figure BDA0002056772230000033
其中M、N分别表示输入CT图像的高和宽，Pi，j表示该像素位置的输出向量，Pi，j＝[p0，p1，p2]T，下标i，j表示像素在图像中的位置。
a5)利用梯度下降法求解加权后的交叉熵损失函数L的最小值来训练FCN网络，可以提升肿瘤分割的准确率。
训练完毕后，FCN模型最终输出的数据维度为512×512×3的3通道数据，其中通道2表示该像素为肿瘤的概率值，通道1表示该像素为除肿瘤外的肝脏的概率值，通道0表示该像素为其他组织或者背景的概率值。
分割结果示例如图2所示，分别将专家手动和FCN模型对弥漫型、结节型和巨块型肿瘤的分割结果做了对比，其中白色线为肝脏的轮廓，黑色线为肿瘤的轮廓。
b)基于训练好的FCN模型，训练CNN模型，其中CNN模型的输入为将维度为512×512×1的CT图像和维度为512×512×3的FCN分割结果进行拼接后得到的维度为512×512×4的图像数据。这样不仅可以增加输入样本的特征，降低错误分割结果对分类结果的影响程度，提高系统的鲁棒性，又可以将肝脏和肿瘤的形状及位置信息添加到输入样本中以降低其他组织上异常灰度对分类结果的影响。
c)将训练好的FCN网络和CNN分类器组合构建为一个完整的计算机辅助诊断系统；
d)读取待诊断的CT图像后，直接将图像输入FCN模型，输出分割结果后，将原始CT图像和分割结果做拼接后，直接输入CNN模型进行分类，最终输出该CT图像属于健康肝脏、弥漫型肿瘤、结节型肿瘤和巨块型肿瘤的概率。整个过程无需进行图像降噪操作或者灰度增强操作，不仅简化了流程，而且最终诊断准确率不会受到图像噪声、低对比度和特征选择及提取的影响。

Claims (2)

1.一种肝脏肿瘤CT影像计算机辅助诊断方法，通过全卷积网络即FCN对腹部CT影像进行肝脏及肿瘤分割，在分割结果的基础上通过卷积神经网络即CNN实现对健康肝脏和三种肝脏肿瘤的分类，其特征在于，操作步骤为：
a)训练用于实现肝脏和肿瘤分割的FCN网络，通过整理好的CT影像数据，经过肝脏和肿瘤标记，利用CT影像和标记好的数据训练30层的FCN网络：网络前半部分为13个3×3卷积层和5个最大池化层，中间部分为2个1×1卷积层，后半部分为5个上采样层、4个融合层和1个输出层，训练完毕后，输出大小和原始CT图像相等的数据维度为512×512×3的3通道数据，其中通道2表示像素为肿瘤的概率值，通道1表示像素为除肿瘤外的肝脏的概率值，通道0表示像素为其他组织或者背景的概率值；
b)训练用于肿瘤分类的CNN分类器，基于已经训练完毕的FCN网络，通过整理好的CT影像数据，经过医生对CT影像进行诊断标记，利用CT影像和标记好的数据训练15层的CNN网络：网络包括5个3×3卷积层、5个最大池化层、1个16×16卷积层、3个全连接层和1个输出层，训练完毕后，输出CT图像属于健康肝脏、弥漫型肿瘤、结节型肿瘤和巨块型肿瘤的概率；其中CNN模型的输入为将维度为512×512×1的CT图像和维度为512×512×3的FCN分割结果进行拼接后得到的维度为512×512×4的图像数据；
c)将训练好的FCN网络和CNN分类器组合构建为一个完整的计算机辅助诊断系统；
d)读取待诊断的DICOM格式的CT图像后，输入计算机辅助诊断系统中，得到肿瘤属于弥漫型、结节型或者巨块型的辅助诊断信息；
所述步骤a)中FCN网络的训练方法具体为：
a1)根据训练数据中背景、肝脏和肿瘤三种类别的比例计算出百分比的向量r，
其中r0，r1，r2均为0～1之间的小数，且r0+r1+r2＝1；
a2)根据r计算权重向量W；
W＝[1+ln(r1/r1),1+ln(r1/r2),1+ln(r1/r3)]T (2)
a3)基于权重向量W计算像素的损失权重
其中li,j表示像素以onehot编码形式表示的类别标签向量，li,j＝[l0,l1,l2]T，下标i,j表示像素在图像中的位置；
a4)计算加权后的交叉熵损失函数L；
其中M、N分别表示输入CT图像的高和宽，pi,j表示像素位置的输出向量，pi,j＝[p0,p1,p2]T，下标i,j表示像素在图像中的位置；
a5)利用梯度下降法求解加权后的交叉熵损失函数L的最小值来训练FCN网络，提升肿瘤分割的准确率。
2.根据权利要求1所述的肝脏肿瘤CT影像计算机辅助诊断方法，其特征在于，所述步骤c)中的整个过程无需进行图像降噪操作或者灰度增强操作。
CN201910391853.5A 2019-05-13 2019-05-13 一种肝脏肿瘤ct影像计算机辅助诊断方法 Active CN110265141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910391853.5A CN110265141B (zh) 2019-05-13 2019-05-13 一种肝脏肿瘤ct影像计算机辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910391853.5A CN110265141B (zh) 2019-05-13 2019-05-13 一种肝脏肿瘤ct影像计算机辅助诊断方法

Publications (2)

Publication Number Publication Date
CN110265141A CN110265141A (zh) 2019-09-20
CN110265141B true CN110265141B (zh) 2023-04-18

Family

ID=67913051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910391853.5A Active CN110265141B (zh) 2019-05-13 2019-05-13 一种肝脏肿瘤ct影像计算机辅助诊断方法

Country Status (1)

Country Link
CN (1) CN110265141B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660480B (zh) * 2019-09-25 2023-05-26 上海交通大学 脊骨脱位辅助诊断方法及系统
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN110910371A (zh) * 2019-11-22 2020-03-24 北京理工大学 基于生理指标和影像融合的肝肿瘤自动分类方法及装置
CN113496231B (zh) * 2020-03-18 2024-06-18 北京京东乾石科技有限公司 分类模型训练方法、图像分类方法、装置、设备及介质
CN111584071A (zh) * 2020-05-11 2020-08-25 何方舟 一种膝关节周围原发恶性骨肿瘤人工智能辅助诊断模型
CN112365980B (zh) * 2020-11-16 2024-03-01 复旦大学附属华山医院 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN113066081B (zh) * 2021-04-15 2023-07-18 哈尔滨理工大学 一种基于三维mri图像的乳腺肿瘤分子亚型检测方法
CN113223704B (zh) * 2021-05-20 2022-07-26 吉林大学 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
CN113436158B (zh) * 2021-06-21 2023-04-18 遂宁市中心医院 一种基于深度学习的肝脏肿块辅助鉴别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014043523A1 (en) * 2012-09-14 2014-03-20 The Johns Hopkins University Compositions and methods for rendering tumor cells susceptible to cd8+ t cell-mediated killing
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014043523A1 (en) * 2012-09-14 2014-03-20 The Johns Hopkins University Compositions and methods for rendering tumor cells susceptible to cd8+ t cell-mediated killing
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"类别非均衡遥感图像语义分割的全卷积网络方法";吴止锾，等;《光学学报》;20190430;全文 *

Also Published As

Publication number Publication date
CN110265141A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110265141B (zh) 一种肝脏肿瘤ct影像计算机辅助诊断方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN108648182B (zh) 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN114565761A (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN110910371A (zh) 基于生理指标和影像融合的肝肿瘤自动分类方法及装置
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN112862783A (zh) 一种基于神经网络的甲状腺ct图像结节自动诊断系统
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
Ahmed et al. COMA-Net: Towards generalized medical image segmentation using complementary attention guided bipolar refinement modules
CN113052857A (zh) 一种基于CovSegNet的肺部病变图像分割方法
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
CN117152173A (zh) 一种基于DUNetR模型的冠状动脉分割方法和系统
CN111062909A (zh) 乳腺肿块良恶性判断方法及设备
CN115147303A (zh) 一种基于掩膜引导的二维超声医学图像修复方法
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质
Liu et al. TrEnD: A transformer‐based encoder‐decoder model with adaptive patch embedding for mass segmentation in mammograms
CN114882282A (zh) 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
Tian et al. An effective convolutional neural network for classification of benign and malignant breast and thyroid tumors from ultrasound images
Dong et al. Segmentation of pulmonary nodules based on improved UNet++
Chen et al. Research on ultrasonic image segmentation of thyroid nodules based on improved U-net++
Jiang et al. Dermoscopic image segmentation based on pyramid residual attention module
CN117576127B (zh) 一种基于病理图像的肝癌区域自动勾画方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant