CN110889853A - 基于残差-注意力深度神经网络的肿瘤分割方法 - Google Patents

基于残差-注意力深度神经网络的肿瘤分割方法 Download PDF

Info

Publication number
CN110889853A
CN110889853A CN201811045899.3A CN201811045899A CN110889853A CN 110889853 A CN110889853 A CN 110889853A CN 201811045899 A CN201811045899 A CN 201811045899A CN 110889853 A CN110889853 A CN 110889853A
Authority
CN
China
Prior art keywords
dimensional
liver
image
neural network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811045899.3A
Other languages
English (en)
Other versions
CN110889853B (zh
Inventor
苏苒
金强国
孟昭鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811045899.3A priority Critical patent/CN110889853B/zh
Publication of CN110889853A publication Critical patent/CN110889853A/zh
Application granted granted Critical
Publication of CN110889853B publication Critical patent/CN110889853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于残差‑注意力深度神经网络的肿瘤分割方法，包括：数据预处理、训练集制作、构建残差‑注意力深度神经网络模型、训练残差‑注意力深度神经网络和分割阶段，本发明的肿瘤分割方法结合了残差网络中的残差模块，使深度神经网络能更好地处理梯度消失问题。其次，本发明的深度神经网络使用残差‑注意力模块使得处理的性能极大的改善，由于不同类型的注意力被提取出来，因此该分割方法更具有普适性。最后，使用U‑Net作为基本体系结构来捕获多尺度的注意力信息，并将低层特征与高级特征完美集成。

Description

基于残差-注意力深度神经网络的肿瘤分割方法
技术领域
本发明属于深度学习与医疗影像处理技术领域，具体来说涉及一种基于残差-注意力深度神经网络的肿瘤分割方法。
背景技术
肝癌是世界范围内最常见的致死原因之一，也是世界范围内最常见的恶性肿瘤之一。根据病理诊断，肿瘤分为良性和恶性，而肝癌则被归类为恶性肿瘤。原发性肿瘤如乳腺癌、结肠癌和胰腺癌通常伴随着疾病向肝脏扩散转移。因此，原发性肝肿瘤的早期发现和分割对于疾病的诊断和治疗具有重要意义。
肝肿瘤的提取和分割是任何手术干预之前的关键任务。从图像中精准地分割肿瘤能帮助医生提出可单独提供给患者的有效疗法(R.Rajagopal and P.Subbaiah,“A surveyon liver tumor detection and segmentation methods,”ARPN Journal ofEngineering and Applied Sciences,vol.10,pp.2681–2685,2015.)。目前，肝肿瘤的分割方法可以分为三类：人工分割、半自动分割和自动分割。人工分割是一种主观的、重复性差、耗时长的方法，同时对技术人员有很高的要求(W.Li,F.Jia,and Q.Hu,“AutomaticSegmentation of Liver Tumor in CT Images with Deep Convolutional NeuralNetworks,”Journal of Computer&Communications,vol.03,no.11,pp.146–151,2017.)。半自动分割是介于人工与自动分割中间的一种方法，也是一种不方便、低效的分割方法。因此，有必要提出一种自动化、精准又高效的方法来加速和促进诊断，最终协助外科医生移除肿瘤。医疗影像中肿瘤和肝脏区域之间的对比度细微，影像中存在许多噪声，肿瘤特征的复杂性以及附近其他相似器官的干扰使得自动分割成为了一个非常艰巨的挑战.。而卷积神经网络在许多图像分割中做出了巨大的贡献(J.Long,E.Shelhamer,and T.Darrell,“Fully convolutional networks for semantic segmentation,”IEEE Transactions onPattern Analysis&Machine Intelligence,vol.79,no.10,pp.1337–1342,2015.)，已经有了大量的二维和三维卷积神经网络模型，然而这些普适性模型并不完全适用于肝肿瘤的提取和分割。为了解决这些困难，研究出一种基于深度神经网络的肝肿瘤分割方法具有重要的意义。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于残差-注意力深度神经网络的肿瘤分割方法。
本发明的目的是通过下述技术方案予以实现的。
一种基于残差-注意力深度神经网络的肿瘤分割方法，包括以下步骤：
步骤1，数据预处理
1-1准备训练模型数据集，所述训练模型数据集包括：含有多个原始三维CT图的原始三维CT图集合T和含有与训练模型数据集中每一个原始三维CT图相对应的标定CT图的标定CT图集G，其中，每一个原始三维CT图中包含：肝脏区域、肿瘤区域、无关器官区域和背景区域，每一个标定CT图中包含：肝脏区域、肿瘤区域和背景区域；
对所述原始三维CT图集合T做阈值化(M.Sezgin and B.Sankur,Survey overimage thresholding techniques and quantitative performance evaluation.Journalof Electronic Imaging,2004.)操作，再过滤噪声，用于去除所述原始三维CT图集合T中所有三维CT图内位于肝脏区域周围的其他器官的数据，得到阈值化CT图集合T’；
在步骤1-1中，所述阈值化CT图集合T’中第h个三维CT图的第i个像素的HU值xhi的范围为：
xhi∈[-100,200]
其中，i＝1、2、3……N，N为阈值化CT图集合T’中第h个三维CT图的像素点的个数，h＝1、2、3……C，C为阈值化CT图集合T’中三维CT图的个数。
1-2对步骤1-1所得阈值化CT图集合T’先后依次进行零均值归一化和z-score标准化，得到三维归一化CT图集合Tz；
在步骤1-2中，所述零均值归一化的方法(L.Bo,L.Wang,and L.Jiao,“Featurescaling for kernel fisher discriminant analysis using leave-one-out crossvalidation.,”Neural Computation,vol.18,no.4,pp.961–978,2006.)为：
按照公式(1)对于步骤1-1所得阈值化CT图集合T’中所有三维CT图的xhi进行计算，得到的零均值归一化CT图集，所述零均值归一化CT图集中第h个三维CT图的第i个像素的HU值为x’hi，i＝1、2、3……N，h＝1、2、3……C；
Figure BDA0001793287420000031
其中，xhj为阈值化CT图集合T’中第h个三维CT图的第j个像素的HU值，j＝1、2、3……N；
在步骤1-2中，所述z-score标准化的方法(J.Grus,“Data science fromscratch,”2015.)为：将步骤所述零均值归一化CT图集中所有三维CT图的像素点x’hi代入公式(2)，得到三维归一化CT图集Tz以及该三维归一化CT图集Tz中所有三维CT图的像素的HU值yhi，
Figure BDA0001793287420000032
其中，在所述公式(2)中，所述
Figure BDA0001793287420000033
为所述零均值归一化CT图集中所有三维CT图的像素的HU值的均值，所述
Figure BDA0001793287420000034
通过公式(3)计算得到，其中，x’k为阈值化CT图集合T’中第k个像素的HU值，k＝1、2、3……Total，Total为零均值归一化CT图集中所有像素点的个数；所述s为所述零均值归一化CT图集中所有三维CT图的像素的HU值的标准差，所述s通过公式(4)计算得到；
Figure BDA0001793287420000035
Figure BDA0001793287420000036
步骤2，训练集制作
二维切片数据集制作：参照所述标定CT图集G，在所述步骤1-2所得三维归一化CT图集Tz中筛选出多个正样本和多个负样本并由该正样本和负样本组成二维切片数据集，其中，所述正样本为所有包含肝脏区域的二维CT切片，所述负样本为未包含肝脏区域的二维CT切片；将所述二维切片数据集中的每一张二维CT切片缩放到256×256的像素大小，得到由多张256×256二维CT切片组成的训练集A；
在上述技术方案中，所述负样本为随机选取且该负样本的数量为所述三维归一化CT集Tz中全部未包含肝脏区域的二维CT切片的数量的三分之一。
三维肝脏块数据集制作：参照所述标定CT图集G中的肝脏区域，得到所述三维归一化CT图集合Tz中三维CT图的肝脏边界区域，分别求出所述三维归一化CT图集合Tz中每一个三维CT图内肝脏边界区域在冠状方向、矢状方向和轴向方向上的最小边界{amin,bmin,cmin,}和最大边界{amax,bmax,cmax}，其中，a为肝脏边界区域在冠状方向上的边界，b为肝脏边界区域在矢状方向上的边界，c为肝脏边界区域在轴向方向上的边界；
按照公式(5)对三维归一化CT图集合Tz中每一个三维CT图的肝脏边界区域的冠状方向、矢状方向和轴向方向上的最小边界与最大边界进行扩张，以使肝脏边界区域被扩张后形成被框定区域Tb且所述被框定区域Tb的像素空间位置a’,b’,c’满足公式(5)，
a'∈[amin-10,amax+10],b'∈[bmin-10,bmax+10],c'∈[cmin-10,cmax+10] (5)
对三维归一化CT图集合Tz中每一个三维CT图的被框定区域Tb进行重采样，得到重采样后的肝脏区域Tr，所述肝脏区域Tr在冠状方向的像素大小a”、矢状方向的像素大小b”和轴向方向的像素大小c”分别为：
a”＝224,b”＝224,c”∈[cmin-10,cmax+10] (6)
在上述技术方案中，对所述被框定区域Tb进行重采样的具体操作为：对被框定区域Tb的冠状方向和矢状方向上进行重采样以形成224×224的分辨率，对被框定区域Tb的轴向方向不进行重采样。
在每个所述重采样后的肝脏区域Tr中随机地剪取多个224×224×32像素大小作为肝脏待训练图像块，得到包多个肝脏待训练图像块的训练集B；
三维肿瘤块数据集制作：参照所述标定CT图集G中的肿瘤区域得到三维归一化CT图集Tz中三维CT图的肿瘤区域，并通过在三维归一化CT图集Tz中三维CT图的肿瘤区域中随机剪切得到多个32×32×32像素大小的训练集C；
步骤3，构建残差-注意力深度神经网络模型
构建残差-注意力深度神经网络，所述残差-注意力深度神经网络包括：被训练集A训练的二维残差-注意力深度神经网络-Ⅰ、被训练集B训练的三维残差-注意力深度神经网络-Ⅱ和被训练集C训练的三维残差-注意力深度神经网络-Ⅲ；
构建所述构建残差-注意力深度神经网络的模块包括：构建残差学习模块、构建注意力-残差学习模块和构建损失函数，其中，
3-1构建残差学习模块
构建残差学习模块，将所述残差学习模块运作的原理定义为：
yin+1＝yin+F(yin,win). (7)
其中，yin为训练集A、训练集B和训练集C分别经过in-1层卷积后输出的特征图，yin+1为训练集A、训练集B和训练集C经过in层残差学习之后输出的特征图，F为需要被学习的残差映射函数，win为当前残差学习模块的权重；
3-2构建注意力-残差学习模块
构建注意力-残差学习模块，其中，在所述注意力-残差学习模块中注意力模块的输出特征图yim+1为：
yim+1＝(1+Sim)*yim (8)
其中，yim为训练集A、训练集B和训练集C分别经过im-1层卷积后输出的特征图；yim+1为训练集A、训练集B和训练集C经过im层注意力-残差学习后输出的特征图；Sim为软掩模分支的输出，0≤Sim≤1；
3-3定义损失函数
通过最小化损失函数以优化残差-注意力深度神经网络，定义损失函数L为：
Figure BDA0001793287420000051
在公式(9)中，pk为训练集A、训练集B和训练集C中第k个像素的类别；gk为所述标定CT图集G中第k个像素的类别；
在上述技术方案中，所述残差-注意力深度神经网络由编码器和解码器构成并在Keras和Tensorflow深度学习库下构建。
在上述技术方案中，所述二维残差-注意力深度神经网络-Ⅰ使用二维卷积层；所述三维残差-注意力深度神经网络-Ⅱ使用三维卷积层；所述三维残差-注意力深度神经网络-Ⅲ使用三维卷积层。
在上述技术方案中，所述二维残差-注意力深度神经网络-Ⅰ、三维残差-注意力深度神经网络-Ⅱ和三维残差-注意力深度神经网络-Ⅲ均从头开始训练，残差-注意力深度神经网络的权重参数用随机值初始化，并用Adam优化方法(D.P.Kingma and J.Ba,“Adam:AMethod for Stochastic Optimization,”Computer Science,2014.)进行训练。
步骤4、训练残差-注意力深度神经网络
4-1训练肝脏切片与粗略分割肝脏
将训练集A送入二维残差-注意力深度神经网络-Ⅰ中进行训练，调整所述损失函数至最小，当所述损失函数最小时，训练出该残差-注意力深度神经网络的权重Wa；
4-2训练肝脏块与精细分割肝脏：
将训练集B送入三维残差-注意力深度神经网络-Ⅱ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重Wb；
4-3训练肿瘤块与精准分割肝肿瘤
将训练集C送入三维残差-注意力深度神经网络-Ⅲ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重Wc；
步骤5、分割阶段
将待预测数据集按照步骤1中的数据预处理进行预处理数据，得到三维归一化CT图集V’，针对所述三维归一化CT图集V’中每个三维CT图进行如下操作：
第一分割阶段：将所述三维归一化CT图集V’中每个三维CT图中的每一张二维切片缩放至256×256像素大小并按轴向方向顺序送入训练完毕且载入权重Wa的二维残差-注意力深度神经网络-Ⅰ进行预测，将每一张预测完毕的二维CT切片放大到512×512像素大小并按照该二维CT切片预测前所在的三维CT图的轴向方向按顺序重新堆叠成三维CT图V’，再采用三维连通域方法在三维CT图V’中标记肝脏，选择最大连通区域作为粗略的三维肝脏区域，将所述粗略的三维肝脏区域在冠状方向、矢状方向和轴向方向上分别扩张10个像素，以确保粗略的三维肝脏区域被包围在扩张后的区域内，得到待精细分割的肝脏区域V’1；
第二分割阶段：将所述肝脏区域V’1进行重采样，在肝脏区域V’1的冠状方向和矢状方向上进行重采样至224×224像素大小，轴向方向不进行重采样，得到经过重采样后待精细分割的肝脏区域V’2，将所述肝脏区域V’2的每个肝脏按轴向方向顺序剪取224×224×32像素大小的待精细分割肝脏三维图像块，将所有待精细分割肝脏三维图像块按剪取的先后顺序送入训练完毕且载入权重Wb的三维残差-注意力深度神经网络-Ⅱ中进行预测，将预测完毕的待精细分割肝脏三维图像块按照原剪取该待精细分割肝脏三维图像块的顺序重新堆叠，用投票策略(Voting，R.S.Boyer and J.S.Moore,“MJRTY—A Fast Majority VoteAlgorithm,”vol.1,pp.105–117,1991.)处理待精细分割肝脏三维图像块重叠部分，用三维连通域标记肝脏并提取最大连通区域为TL，在TL的冠状方向和矢状方向上进行重采样，轴向方向不进行重采样，得到精细分割后的肝脏区域V’3；
第三分割阶段：将肝脏区域V’3按照顺序剪取32×32×32像素大小的待分割肿瘤三维图像块，按所有待分割肿瘤三维图像块按剪取的先后顺序送入训练完毕且载入权重Wc的三维残差-注意力深度神经网络-Ⅲ中进行预测，将预测完毕的待分割肿瘤三维图像块按照原剪取顺序重新堆叠，用投票策略处理待分割肿瘤三维图像块重叠部分，得到预测的肿瘤分割结果V’4。
本发明的肿瘤分割方法结合了残差网络中的残差模块，使深度神经网络能更好地处理梯度消失问题。其次，本发明的深度神经网络使用残差-注意力模块使得处理的性能极大的改善，由于不同类型的注意力被提取出来，因此该分割方法更具有普适性。最后，使用U-Net作为基本体系结构来捕获多尺度的注意力信息，并将低层特征与高级特征完美集成。本发明的肿瘤分割方法是一种全新的、纯三维的、端到端的方式的分割方法。本发明在MICCAI 2017肝脏肿瘤分割(LiTS)数据集和3DICADb数据集上进行测试，不仅提供了详细的肝脏和肿瘤分割结果，而且获得了极具竞争力的质量评价。
附图说明
图1为本发明的肿瘤分割方法的流程图；
图2为残差-注意力深度神经网络结构示意图；
图3为残差学习模块示意图，其中，BN表示批归一化层，ReLU表示激活层，Conv表示卷积层，Identity Mapping表示恒等映射；
图4为注意力-残差学习模块示意图，注意力-残差学习模块包含主干分支和软掩模分支，主干分支学习原始特征，软掩模分支包含一个编码器-解码器的模块，D表示跳跃连接的深度，根据注意力-残差模块在神经网络中的具体位置，将D设为0、1、2、3；
图5为实施例2中作为待预测数据集的3DIRCADb数据集上肝脏分割结果图；
图6为实施例1中作为待预测数据集的LiTS数据集上肝脏分割结果图；
图7为实施例2中作为待预测数据集的3DIRCADb数据集上肝脏分割平面与三维展示结果图；
图8为实施例1中作为待预测数据集的LiTS数据集上肝脏分割平面与三维展示结果图。
具体实施方式
使用来自公开肝脏肿瘤分割比赛的数据集(LiTS数据集)与3DIRCADb数据集，其中，LiTS数据集共有200个原始三维CT图(Computed Tomography)，LiTS数据集中每一个原始三维CT图具有512×512的平面分辨率与不同的轴向切片数量Zl，Zl∈[42，1026]。3DIRCADb数据集共有20个原始三维CT图，3DIRCADb数据集中每一个原始三维CT图具有512×512的平面分辨率与不同的轴向切片数量Zb，Zb∈[74,260]。
下面结合具体实施例进一步说明本发明的技术方案。
一种基于残差-注意力深度神经网络的肿瘤分割方法，包括以下步骤：
步骤1，数据预处理
1-1准备训练模型数据集，训练模型数据集包括：含有多个原始三维CT图的原始三维CT图集合T和含有与训练模型数据集中每一个原始三维CT图相对应的标定CT图的标定CT图集G，其中，每一个原始三维CT图中包含：肝脏区域、肿瘤区域、无关器官区域和背景区域，每一个标定CT图中包含：肝脏区域、肿瘤区域与背景区域。
在本发明的实施例中，训练模型数据集包括：LiTS数据集中130个原始三维CT图作为原始三维CT图集合T，与该130个原始三维CT图相对应的标定CT图作为标定CT图集G(GroundTruth)。
LiTS数据集中剩余的70个原始三维CT图为实施例1中待预测数据集P。
3DIRCADb数据集中的20个原始三维CT图为实施例2中的待预测数据集Q。
对原始三维CT图集合T做阈值化操作，再过滤噪声，用于去除所述原始三维CT图集合T中所有三维CT图内位于肝脏区域周围的其他器官的数据，得到阈值化CT图集合T’，其中，阈值化CT图集合T’中第h个三维CT图的第i个像素的HU值xhi的范围为：
xhi∈[-100,200]
其中，i＝1、2、3……N，N为阈值化CT图集合T’中第h个三维CT图的像素点的个数，h＝1、2、3……C，C为阈值化CT图集合T’中三维CT图的个数；
对于医疗CT图像来说，Hunsfield单位(HU)是测量CT图相对密度的一种度量。通常，HU值范围是从-1000到1000。由于肿瘤在肝组织上生长，周围的骨骼、空气或不相关的组织可能会干扰分割结果。因此，本发明将阈值化CT图集合T’的HU值xhi限定在从-100到200的范围内，以便移除肝脏区域以及周围不必要的信息。
1-2对步骤1-1所得阈值化CT图集合T’先后依次进行零均值归一化和z-score标准化，得到三维归一化CT图集合Tz；
如果直接使用原始三维CT图集合T进行训练，不同的尺度特征可能会对结果产生影响。通过归一化数据，可以将不同的尺度特征转化为相同的尺度。本发明采用了依次先后进行的两种图像归一化策略：零均值归一化和z-score标准化，具体如下。
1-2-1零均值归一化：按照公式(1)对于步骤1-1所得阈值化CT图集合T’中所有三维CT图的xhi进行计算，得到的零均值归一化CT图集，零均值归一化CT图集中第h个三维CT图的第i个像素的HU值为x’hi，i＝1、2、3……N，h＝1、2、3……C；
Figure BDA0001793287420000091
其中，xhj为阈值化CT图集合T’中第h个三维CT图的第j个像素的HU值，j＝1、2、3……N；
1-2-2z-score标准化：将步骤1-2-1所得零均值归一化CT图集中所有三维CT图的像素点x’hi代入公式(2)，得到三维归一化CT图集Tz以及该三维归一化CT图集Tz中所有三维CT图的像素的HU值yhi，
Figure BDA0001793287420000092
其中，在所述公式(2)中，所述
Figure BDA0001793287420000093
为所述零均值归一化CT图集中所有三维CT图的像素的HU值的均值，所述
Figure BDA0001793287420000094
通过公式(3)计算得到，其中x’k为阈值化CT图集合T’中第k个像素的HU值，k＝1、2、3……Total，Total为零均值归一化CT图集中所有像素点的个数；所述s为所述零均值归一化CT图集中所有三维CT图的像素的HU值的标准差，所述s通过公式(4)计算得到；
Figure BDA0001793287420000095
Figure BDA0001793287420000096
步骤2，训练集制作
二维切片数据集制作：参照标定CT图集G，在步骤1-2所得三维归一化CT图集Tz中筛选出多个正样本和多个负样本并由该正样本和负样本组成二维切片数据集，其中，所述正样本为所有包含肝脏区域的二维CT切片，所述负样本为未包含肝脏区域的二维CT切片；将所述二维切片数据集中的每一张二维CT切片缩放到256×256的像素大小，得到由32746张256×256二维CT切片组成的训练集A，将训练集A随机分成训练数据和验证数据，在本实施例中，训练数据为23283张，验证数据为9463张。其中，训练集A的张数32746以及训练数据和验证数据的张数均为人为设定值。
其中，所述负样本为随机选取且该负样本的数量为所述三维归一化CT集Tz中全部未包含肝脏区域的二维CT切片的数量的三分之一，以便减少后续步骤不必要的运算消耗。
三维肝脏块数据集制作：为了平衡计算成本和效率，参照标定CT图集G中的肝脏区域，得到三维归一化CT图集合Tz中三维CT图的肝脏边界区域，分别求出三维归一化CT图集合Tz中每一个三维CT图内肝脏边界区域在冠状方向、矢状方向和轴向方向上的最小边界{amin,bmin,cmin,}和最大边界{amax,bmax,cmax}，其中，a为肝脏边界区域在冠状方向上的边界(amin为冠状方向上的最小边界，amax为冠状方向上的最大边界)，b为肝脏边界区域在矢状方向上的边界(bmin为矢状方向上的最小边界，bmax为矢状方向上的最大边界)，c为肝脏边界区域在轴向方向上的边界(cmin为轴向方向上的最小边界，cmax为轴向方向上的最大边界)；
为了确保整个肝脏区域被包括在内，按照公式(5)对三维归一化CT图集合Tz中每一个三维CT图的肝脏边界区域的冠状方向、矢状方向和轴向方向上的最小边界与最大边界进行扩张，以使肝脏边界区域被扩张后形成的被框定区域Tb的像素空间位置a’,b’,c’满足公式(5)，
a'∈[amin-10,amax+10],b'∈[bmin-10,bmax+10],c'∈[cmin-10,cmax+10] (5)
随后，首先对三维归一化CT图集合Tz中每一个三维CT图的被框定区域Tb进行重采样，得到重采样后的肝脏区域Tr，其中，对被框定区域Tb进行重采样的具体操作为：对被框定区域Tb的冠状方向和矢状方向上进行重采样以形成224×224的分辨率，对被框定区域Tb的轴向方向不进行重采样，此时，肝脏区域Tr在冠状方向、矢状方向和轴向方向的像素大小a”,b”,c”表示为：
a”＝224,b”＝224,c”∈[cmin-10,cmax+10] (6)
在每个所述重采样后的肝脏区域Tr中随机地剪取(224×224×32)大小作为肝脏待训练图像块，得到包含2997个肝脏待训练图像块的训练集B，将训练集B分成训练数据和验证数据，在本实施例中，训练数据为2397个，验证数据为600个。其中，肝脏待训练图像块的个数2997以及训练数据和验证数据的个数均为人为设定值。
三维肿瘤块数据集制作：参照标定CT图集G中的肿瘤区域得到三维归一化CT图集Tz中三维CT图的肿瘤区域，并通过随机剪切得到37760个32×32×32像素大小的训练集C，将训练集C分成训练数据和验证数据，在本实施例中，训练数据为30208个，验证数据为7552个，其中训练集C的个数37760以及训练数据和验证数据的个数均为人为设定值。
由于肝肿瘤比较细小同时又不容易被发现，如果采用和肝脏一样进行重采样并制作训练集的方案会导致丢失肿瘤信息，因此为了保证原始细小的肿瘤信息不丢失，我们制作三维肿瘤块数据集时并没有进行重采样。
步骤3，构建残差-注意力深度神经网络模型
本发明的残差-注意力深度神经网络(RA-UNet)体系的总体结构由编码器(Encoder)和解码器(Decoder)构成。上下文信息由编码器在跳跃连接中传播，这种结构使得网络能够提取更复杂的层级特征。解码器接收具有不同复杂度的特征，并以分辨率由粗到精的过程重建特征。本发明在编码器和相应的解码器位置引入长距离跳跃连接，促使编码器的不同层次特征可以被合并到解码器中，这使得残差-注意力深度神经网络模型预测的更加精确并具有高可扩展性，最终在分割肝脏和肿瘤任务中得到很好的结果。
构建残差-注意力深度神经网络：在Keras和Tensorflow深度学习库下构建残差-注意力深度神经网络，残差-注意力深度神经网络的结构按照训练数据集的不同可分为三个训练子模型，分别为：二维残差-注意力深度神经网络-Ⅰ(RA-UNet-Ⅰ)用于被训练集A训练，三维残差-注意力深度神经网络-Ⅱ(RA-UNet-Ⅱ)用于被训练集B练训，三维残差-注意力深度神经网络-Ⅲ(RA-UNet-Ⅲ)用于被训练集C训练，其中：
RA-UNet-Ⅰ使用二维卷积层，网络参数Depth为4；
RA-UNet-Ⅱ使用三维卷积层，网络参数Depth为4；
RA-UNet-Ⅲ使用三维卷积层，网络参数Depth为3。
所有训练子模型都从头开始训练，残差-注意力深度神经网络的权重参数用随机值初始化，并用Adam优化方法进行训练，初始学习率为0.001，计算梯度的平均和平方系数分别为β1＝0.9，β2＝0.999，权重衰减参数decay＝0。如图2所示为残差-注意力深度神经网络的结构，该结构构建的模块包含如下：构建残差学习模块、构建注意力-残差学习模块和定义损失函数。
3-4构建残差学习模块
构建残差学习模块，将残差学习模块运作的原理定义为：
yin+1＝yin+F(yin,win). (7)
其中，yin为残差-注意力深度神经网络第in层的输入，也即训练集A、训练集B、训练集C分别经过in-1层卷积后输出的特征图；yin+1为残差-注意力深度神经网络第in层的输出，也即训练集A、训练集B、训练集C经过in层残差学习之后输出的特征图；F为需要被学习的残差映射函数；win为当前残差学习模块的权重；
残差-注意力深度神经网络(模型)是建立在残差学习模块的基础之上，本发明的残差-注意力深度神经网络模型第一步便是构建残差学习模块。引入了残差学习模块来增强残差-注意力深度神经网络的学习能力，使得网络深度能更深。残差学习模块利用恒等映射(Identity Mapping)解决了神经网络的梯度消失问题(K.He,X.Zhang,S.Ren,andJ.Sun,“Deep Residual Learning for Image Recognition,”pp.770–778,2015.)，极好的处理反向传播中常见的难题。残差学习模块直接将特征从早期卷积传播到后期卷积。同时，该结构提高了残差-注意力深度神经网络的收敛性和性能。残差学习模块由三组批归一化(BN)层、激活(ReLU)层和卷积层(Conv)组成。卷积恒等映射用于确保网络的收敛性和性能。残差模块组成如图3所示。
3-5构建注意力-残差学习模块
构建注意力-残差学习模块，其中，在所述注意力-残差学习模块中注意力模块的输出特征图yim+1为：
yim+1＝(1+Sim)*yim (8)
其中，yim为残差-注意力深度神经网络第im层的输入，也即训练集A、训练集B、训练集C分别经过im-1层卷积后输出的特征图；yim+1为残差-注意力深度神经网络第im层的输出，也即训练集A、训练集B、训练集C经过im层注意力-残差学习之后输出的特征图；Sim为软掩模分支的输出，0≤Sim≤1，如果Sim无限接近于0，那么yim+1就会接近于初始特征图yim。
残差-注意力深度神经网络模型是核心是注意力-残差学习模块，本发明的残差-注意力深度神经网络模型构建的第二个模块便是构建注意力-残差学习模块。如果只是单纯地堆叠注意力学习模块到神经网络中，其模型的性能就会下降(F.Wang et al.,“Residual Attention Network for Image Classification,”in Computer Vision andPattern Recognition,2017,pp.6450–6458.)。这可以通过提出的注意力-残差学习模块来解决。本发明的注意力-残差学习模块将注意力模块划分为主干分支(Trunk Branch)和软掩模分支(Soft Mask Branch)。其中，主干分支用于处理原始特征，而软掩模分支用于构造恒等映射。软掩模分支具有编码器-解码器结构，在注意力-残差学习模块中，它被用来增强优秀的特征，同时减少来自主干分支的噪声。软掩模分支中的编码器包含最大池化(Maxpooling)、残差块和跳跃连接。图4详细展示了注意力-残差学习模块。
注意力-残差学习模块可以通过主干分支保留原始特征信息，并通过软掩模分支来关注重要的肝肿瘤特征。通过使用这种学习机制，残差-注意力深度神经网络可以极大的提高性能。
3-6定义损失函数
训练集A、训练集B和训练集C通过残差-注意力深度神经网络模型多层卷积训练之后，进入最后与标定CT图集G做比较并得出损失值的模块。
构建残差-注意力深度神经网络模型的最后一个模块是定义损失函数，用以设定残差-注意力深度神经网络模型优化的目标并获取该残差-注意力深度神经网络模型权重。
通过最小化损失函数以优化残差-注意力深度神经网络模型，定义损失函数L为：
Figure BDA0001793287420000131
在公式(9)中，pk为训练集A、训练集B和训练集C中第k个像素的类别；gk为标定CT图集G中第k个像素的类别；损失函数用于计算两个训练样本的相似程度，最终残差-注意力深度神经网络模型权重通过梯度下降、反向传播和最小化损失函数训练而得。
步骤4、训练残差-注意力深度神经网络
4-1训练肝脏切片与粗略分割肝脏
训练阶段：将训练集A送入RA-UNet-Ⅰ中训练，调整所述损失函数至最小，当所述损失函数最小时，训练出该残差-注意力深度神经网络模型的权重Wa。
4-2训练肝脏块与精细分割肝脏：
训练阶段：将训练集B送入RA-UNet-Ⅱ中训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重Wb。
4-3训练肿瘤块与精准分割肝肿瘤
训练阶段：将训练集C送入RA-UNet-Ⅲ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重Wc。
步骤5、分割阶段
将待预测数据集按照步骤1中的数据预处理进行预处理数据，得到三维归一化CT图集V’，针对所述三维归一化CT图集V’中每个三维CT图进行如下操作：
第一分割阶段：将所述三维归一化CT图集V’中每个三维CT图中的每一张二维切片缩放至256×256像素大小并按轴向方向顺序送入训练完毕并载入权重Wa的RA-UNet-Ⅰ进行预测，将每一张预测完毕的二维CT切片放大到512×512像素大小并按照该二维CT切片预测前所在的三维CT图的轴向方向按顺序重新堆叠成三维CT图V’，随后，采用三维连通域方法(H.M.Moftah,A.Ella Hassanien,and M.Shoman,“3D brain tumor segmentation schemeusing K-mean clustering and connected component labeling algorithms,”inInternational Conference on Intelligent Systems Design and Applications,2010,pp.320–324.)在三维CT图V’中标记肝脏，选择最大连通区域作为粗略的三维肝脏区域(即待精细分割的肝脏区域)，将所述粗略的三维肝脏区域在冠状方向、矢状方向和轴向方向上分别扩张10个像素，以确保粗略的三维肝脏区域被包围在扩张后的区域内，得到进入下一个分割步骤的待精细分割的肝脏区域V’1。
该步骤旨在粗略定位肝脏区域以便去除冗余信息、提供更多肝脏有效信息，为后续精准分割做准备。
表1列出了详细的残差-注意力深度神经网络参数。在编码器(Encoder)中，数据传播到底部，并且在解码器(Decoder)中反转。RA-UNet-Ⅰ接收到256×256形状的单通道图片，并将它们传递到编码器的底部。在解码阶段，低像素的特征从底部传递到顶部，通过上采样操作使得分辨率倍增。值得注意的是，编码器和解码器之间的远程连接是由注意力块捕获的。然后，我们将注意力块的特征与通过解码器相应上采样层中特征相结合，随后将上采样和注意块合并并传递给解码器的下一层。最终，用3×3卷积核大小的卷积层来生成肝脏分割概率图。
表1残差-注意力深度神经网络-Ⅰ(RA-UNET-Ⅰ)的详细参数。[]表示跳跃连接，[,]表示拼接操作，CONV表示卷积，UP表示上采样，RES表示残差块，ATT表示注意力模块，DEPTH表示连接深度。
Figure BDA0001793287420000141
Figure BDA0001793287420000151
第二分割阶段：将肝脏区域V’1进行重采样，在肝脏区域V’1的冠状方向和矢状方向上进行重采样至224×224像素大小，轴向方向不进行重采样，得到经过重采样后待精细分割的肝脏区域V’2，将肝脏区域V’2的每个肝脏按轴向方向顺序剪取(224×224×32)像素大小的待精细分割肝脏三维图像块，将所有待精细分割肝脏三维图像块按剪取的先后顺序送入训练完毕且载入权重Wb的RA-UNet-Ⅱ网络模型中进行预测，将预测完毕的待精细分割肝脏三维图像块按照原剪取该待精细分割肝脏三维图像块的顺序重新堆叠，用投票策略处理待精细分割肝脏三维图像块重叠部分，用三维连通域标记肝脏并提取最大连通区域为TL，在TL的冠状方向和矢状方向上进行重采样，轴向方向不进行重采样，得到精细分割后的肝脏区域V’3，此时，肝脏区域V’3与肝脏区域V’1在冠状方向和矢状方向上的大小相同。
该步骤旨在精准的分割出肝脏。详细的网络参数列于表2。三维残差-注意力深度神经网络-II(RA-UNet-II)是一个充分捕获空间特征的三维神经网络模型。RA-UNet-II合并了粗糙的低分辨率特征和高分辨率特征，以产生精确的分割。同时，RA-UNet-II利用残差模块处理梯度消失问题，允许网络深度达到“更深”而不损失精度。RA-UNet-II极大的降低了网络参数，仅仅花了4百万的训练参数，而达到641的网络深度。
表2网络结构RA-UNET-II的详细参数。[]表示跳跃连接，[,]表示合并操作，CONV表示卷积，UP表示上采样，RES表示残差块，ATT表示注意力模块，DEPTH表示连接深度。
编码器 输出尺寸 解码器 输出尺寸
Input 224^2×32×1 Att1 [Res4],depth＝0 14^2×2×256
Conv1 224^2×32×32 Res7 [Up1,Att1] 14^2×2×256
Pooling 112^2×16×32 Up2 28^2×4×256
Res1 112^2×16×32 Att2 [Res3],depth＝1 28^2×4×128
Pooling 56^2×8×32 Res8 [Up2,Att2] 28^2×4×128
Res2 56^2×8×64 Up3 56^2×8×128
Pooling 28^2×4×64 Att3 [Res2],depth＝2 56^2×8×64
Res3 28^2×4×128 Res9 [Up3,Att3] 56^2×8×64
pooling 14^2×2×128 Up4 112^2×16×64
Res4 14^2×2×256 Att4 [Res1],depth＝3 112^2×16×32
Pooling 7^2×1×256 Res10 [Up4,Att4] 112^2×16×32
Res5 7^2×1×512 Up5 224^2×32×32
Res6 7^2×1×512 Conv2 [Up5,Conv1] 224^2×32×32
Up1 14^2×2×512 Conv3 224^2×32×1
第三分割阶段：将肝脏区域V3按照顺序剪取(32×32×32)像素大小的待分割肿瘤三维图像块，按所有待分割肿瘤三维图像块按剪取的先后顺序送入训练完毕并载入权重Wc的RA-UNet-Ⅲ网络模型中进行预测，将预测完毕的待分割肿瘤三维图像块按照原剪取顺序重新堆叠，用投票策略处理待分割肿瘤三维图像块重叠部分，最终得到预测的肿瘤分割结果V’4。
该步骤旨在精准的分割出肝脏内部的肿瘤区域。详细的网络结构参数列于表3。
表3网络结构RA-UNET-Ⅲ的详细参数。[]表示跳跃连接，[,]表示合并操作，CONV表示卷积，UP表示上采样，RES表示残差块，ATT表示注意力模块，DEPTH表示连接深度。
Figure BDA0001793287420000161
Figure BDA0001793287420000171
实施例1
按照上述步骤5的方法，将待预测数据集P(LiTS数据集中剩余的70个原始三维CT图)作为待预测数据集代入步骤4所得训练完毕的残差-注意力深度神经网络。
6(a)表示待预测数据集P其中一个三维CT图中的二维原始切片，6(c)表示与6(a)相对应的二维标定CT图，6(b)表示将待预测数据集P代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肿瘤分割结果V’4中的二维CT图。
6(d)～6(k)表示实施例1所得肿瘤分割结果V’4其中一个三维CT图在轴向上每隔20张切片的分割的肿瘤预测结果的概率热图，颜色越深，肝肿瘤区域的可能性越大。
由图6可知，本发明在LiTS数据集上表现优秀，可以很好的分割出肝脏与肿瘤。
图8为待预测数据集P代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肝脏分割平面与三维展示结果图，其中，绿色区域指示正确预测肝脏，黄色代表错误预测的肝脏，蓝色表示正确预测的肿瘤区域，红色意味着错误预测的肿瘤。
8(a)为待预测数据集P中第一个三维CT图经过步骤5之后，整合肝脏分割V’3(肝脏区域V’3)，与肿瘤分割V’4(肿瘤分割结果V’4)后的一张轴向切片分割结果。
8(b)为待预测数据集P中第二个三维CT图经过步骤5之后，整合肝脏分割V’3，与肿瘤分割V’4后的一张轴向切片分割结果。
8(c)为待预测数据集P中第三个三维CT图经过步骤5之后，整合肝脏分割V’3，与肿瘤分割V’4后的一张轴向切片分割结果。
8(d)为待预测数据集P中第四个三维CT图经过步骤5之后，整合肝脏分割V’3，与肿瘤分割V’4后的一张轴向切片分割结果。
8(e)为8(a)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。
8(f)为8(b)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。
8(g)为8(c)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。
8(h)为8(d)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。
图8说明本发明在LiTS上表现卓越，充分体现了模型强大的泛化能力。
实施例2
按照上述步骤5的方法，将待预测数据集Q(3DIRCADb数据集中的20个原始三维CT图)作为待预测数据集代入步骤4所得训练完毕的残差-注意力深度神经网络。
5(a)表示待预测数据集Q中一个三维CT图的二维原始切片，5(b)表示将待预测数据集Q代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肿瘤分割结果V’4的二维CT图。
5(c)表示与5(a)相对应的标定CT图。
5(d)～5(k)表示实施例2所得肿瘤分割结果V’4其中一个三维CT图在轴向上每隔20张切片的分割的肿瘤预测结果的概率热图，颜色越深，肝肿瘤区域的可能性越大。
由图5可知，本发明在3DIRCADb数据集上表现优秀，可以很好的分割出肝脏与肿瘤。
图7为待预测数据集Q代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肝脏分割平面与三维展示结果图，绿色区域指示正确预测肝脏，黄色代表错误预测的肝脏，蓝色表示正确预测的肿瘤区域，红色意味着错误预测的肿瘤。
7(a)为待预测数据集Q中第一个三维CT图经过步骤5之后，整合肝脏分割V’3，(肝脏区域V’3)与肿瘤分割V’4(肿瘤分割结果V’4)后的一张轴向切片分割结果。
7(b)为待预测数据集Q中第二个三维CT图经过步骤5之后，整合肝脏分割V’3，与肿瘤分割V’4后的一张轴向切片分割结果。
7(c)为待预测数据集Q中第三个三维CT图经过步骤5之后，整合肝脏分割V’3，与肿瘤分割V’4后的一张轴向切片分割结果。
7(d)为待预测数据集Q中第四个三维CT图经过步骤5之后，整合肝脏分割V’3，与肿瘤分割V’4后的一张轴向切片分割结果。
7(e)为7(a)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。
7(f)为7(b)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。
7(g)为7(c)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。
7(h)为7(d)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。
图7说明本发明的模型在3DIRCADb上表现非常优秀，不仅能够分割出大块的肿瘤，同时对于细小的肿瘤块也能非常精细的分割出来
肝肿瘤分割质量分数评估质量分数指标：肝肿瘤分割质量分数指标包括：volumetric overlap error(VOE),relative volume difference(RVD),averagesymmetric surface distance(ASSD),maximum surface distance(MSD),Jaccardsimilarity coefficient(Jaccard)以及mean dice score per volume(Dice)。
如图5～8所示，本发明的肿瘤分割方法具有学习三维上下文信息的能力，并且能够成功地从CT图中分割出肝脏。该肿瘤分割方法在3DICADb和LiTS的数据集上分割的肝脏准确率达到0.977和0.961的Dice得分。结果表明，残差-注意力深度神经网络增强了分割肝脏的分辨能力，预测出的结果覆盖了大部分肝脏肿瘤区域并提供了显著的肝脏分割结果。具体分割质量分数评估如表4所示。
表4肝脏分割的质量评价
Figure BDA0001793287420000191
如图5～8所示，本发明的肿瘤分割方法不仅在肝脏分割任务上表现卓越，而且在细微的肿瘤分割任务上也表现优秀。肿瘤分割方法分别在3DICADb和LiTS的数据集上达到0.830和0.570的Dice得分。结果表明，残差-注意力深度神经网络增强了分割肝肿瘤的分辨能力，预测出的结果把细小的肿瘤区域也非常好的鉴别出来。具体分割数值如表5所示。结果表明，本发明对于深度学习在肝肿瘤分割上具有重要的意义。
表5肿瘤分割的质量评价
Figure BDA0001793287420000201
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (10)

1.一种基于残差-注意力深度神经网络的肿瘤分割方法，其特征在于，包括以下步骤：
步骤1，数据预处理
1-1准备训练模型数据集，所述训练模型数据集包括：含有多个原始三维CT图的原始三维CT图集合T和含有与训练模型数据集中每一个原始三维CT图相对应的标定CT图的标定CT图集G，其中，每一个原始三维CT图中包含：肝脏区域、肿瘤区域、无关器官区域和背景区域，每一个标定CT图中包含：肝脏区域、肿瘤区域和背景区域；
对所述原始三维CT图集合T做阈值化操作，再过滤噪声，用于去除所述原始三维CT图集合T中所有三维CT图内位于肝脏区域周围的其他器官的数据，得到阈值化CT图集合T’；
1-2对步骤1-1所得阈值化CT图集合T’先后依次进行零均值归一化和z-score标准化，得到三维归一化CT图集合Tz；
步骤2，训练集制作
二维切片数据集制作：参照所述标定CT图集G，在所述步骤1-2所得三维归一化CT图集Tz中筛选出多个正样本和多个负样本并由该正样本和负样本组成二维切片数据集，其中，所述正样本为所有包含肝脏区域的二维CT切片，所述负样本为未包含肝脏区域的二维CT切片；将所述二维切片数据集中的每一张二维CT切片缩放到256×256的像素大小，得到由多张256×256二维CT切片组成的训练集A；
三维肝脏块数据集制作：参照所述标定CT图集G中的肝脏区域，得到所述三维归一化CT图集合Tz中三维CT图的肝脏边界区域，分别求出所述三维归一化CT图集合Tz中每一个三维CT图内肝脏边界区域在冠状方向、矢状方向和轴向方向上的最小边界{amin,bmin,cmin,}和最大边界{amax,bmax,cmax}，其中，a为肝脏边界区域在冠状方向上的边界，b为肝脏边界区域在矢状方向上的边界，c为肝脏边界区域在轴向方向上的边界；
按照公式(5)对三维归一化CT图集合Tz中每一个三维CT图的肝脏边界区域的冠状方向、矢状方向和轴向方向上的最小边界与最大边界进行扩张，以使肝脏边界区域被扩张后形成被框定区域Tb且所述被框定区域Tb的像素空间位置a’,b’,c’满足公式(5)，
a'∈[amin-10,amax+10],b'∈[bmin-10,bmax+10],c'∈[cmin-10,cmax+10] (5)
对三维归一化CT图集合Tz中每一个三维CT图的被框定区域Tb进行重采样，得到重采样后的肝脏区域Tr，所述肝脏区域Tr在冠状方向的像素大小a”、矢状方向的像素大小b”和轴向方向的像素大小c”分别为：
a”＝224,b”＝224,c”∈[cmin-10,cmax+10] (6)
在每个所述重采样后的肝脏区域Tr中随机地剪取多个224×224×32像素大小作为肝脏待训练图像块，得到包含多个肝脏待训练图像块的训练集B；
三维肿瘤块数据集制作：参照所述标定CT图集G中的肿瘤区域，得到三维归一化CT图集Tz中三维CT图的肿瘤区域，并通过在三维归一化CT图集Tz中三维CT图的肿瘤区域中随机剪切得到多个32×32×32像素大小的训练集C；
步骤3，构建残差-注意力深度神经网络模型
构建残差-注意力深度神经网络，所述残差-注意力深度神经网络包括：被训练集A训练的二维残差-注意力深度神经网络-Ⅰ、被训练集B训练的三维残差-注意力深度神经网络-Ⅱ和被训练集C训练的三维残差-注意力深度神经网络-Ⅲ；
构建所述构建残差-注意力深度神经网络的模块包括：构建残差学习模块、构建注意力-残差学习模块和构建损失函数，其中，
3-1构建残差学习模块
构建残差学习模块，将所述残差学习模块运作的原理定义为：
yin+1＝yin+F(yin,win). (7)
其中，yin为训练集A、训练集B和训练集C分别经过in-1层卷积后输出的特征图，yin+1为训练集A、训练集B和训练集C经过in层残差学习后输出的特征图，F为需要被学习的残差映射函数，win为当前残差学习模块的权重；
3-2构建注意力-残差学习模块
构建注意力-残差学习模块，其中，在所述注意力-残差学习模块中注意力模块的输出特征图yim+1为：
yim+1＝(1+Sim)*yim (8)
其中，yim为训练集A、训练集B和训练集C分别经过im-1层卷积后输出的特征图；yim+1为训练集A、训练集B和训练集C经过im层注意力-残差学习后输出的特征图；Sim为软掩模分支的输出，0≤Sim≤1；
3-3定义损失函数
通过最小化损失函数以优化残差-注意力深度神经网络，定义损失函数L为：
Figure FDA0001793287410000031
在公式(9)中，pk为训练集A、训练集B和训练集C中第k个像素的类别；gk为所述标定CT图集G中第k个像素的类别；k＝1、2、3……Total，Total为零均值归一化CT图集中所有像素点的个数；
步骤4、训练残差-注意力深度神经网络
4-1训练肝脏切片与粗略分割肝脏
将训练集A送入二维残差-注意力深度神经网络-Ⅰ中进行训练，调整所述损失函数至最小，当所述损失函数最小时，训练出该残差-注意力深度神经网络的权重Wa；
4-2训练肝脏块与精细分割肝脏：
将训练集B送入三维残差-注意力深度神经网络-Ⅱ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重Wb；
4-3训练肿瘤块与精准分割肝肿瘤
将训练集C送入三维残差-注意力深度神经网络-Ⅲ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重Wc；
步骤5、分割阶段
将待预测数据集按照步骤1中的数据预处理进行预处理数据，得到三维归一化CT图集V’，针对所述三维归一化CT图集V’中每个三维CT图进行如下操作：
第一分割阶段：将所述三维归一化CT图集V’中每个三维CT图中的每一张二维切片缩放至256×256像素大小并按轴向方向顺序送入训练完毕且载入权重Wa的二维残差-注意力深度神经网络-Ⅰ进行预测，将每一张预测完毕的二维CT切片放大到512×512像素大小并按照该二维CT切片预测前所在的三维CT图的轴向方向按顺序重新堆叠成三维CT图V’，再采用三维连通域方法在三维CT图V’中标记肝脏，选择最大连通区域作为粗略的三维肝脏区域，将所述粗略的三维肝脏区域在冠状方向、矢状方向和轴向方向上分别扩张10个像素，以确保粗略的三维肝脏区域被包围在扩张后的区域内，得到待精细分割的肝脏区域V’1；
第二分割阶段：将所述肝脏区域V’1进行重采样，在肝脏区域V’1的冠状方向和矢状方向上进行重采样至224×224像素大小，轴向方向不进行重采样，得到经过重采样后待精细分割的肝脏区域V’2，将所述肝脏区域V’2的每个肝脏按轴向方向顺序剪取224×224×32像素大小的待精细分割肝脏三维图像块，将所有待精细分割肝脏三维图像块按剪取的先后顺序送入训练完毕且载入权重Wb的三维残差-注意力深度神经网络-Ⅱ中进行预测，将预测完毕的待精细分割肝脏三维图像块按照原剪取该待精细分割肝脏三维图像块的顺序重新堆叠，用投票策略处理待精细分割肝脏三维图像块重叠部分，用三维连通域标记肝脏并提取最大连通区域为TL，在TL的冠状方向和矢状方向上进行重采样，轴向方向不进行重采样，得到精细分割后的肝脏区域V’3；
第三分割阶段：将肝脏区域V’3按照顺序剪取32×32×32像素大小的待分割肿瘤三维图像块，按所有待分割肿瘤三维图像块按剪取的先后顺序送入训练完毕且载入权重Wc的三维残差-注意力深度神经网络-Ⅲ中进行预测，将预测完毕的待分割肿瘤三维图像块按照原剪取顺序重新堆叠，用投票策略处理待分割肿瘤三维图像块重叠部分，得到预测的肿瘤分割结果V’4。
2.根据权利要求1所述的肿瘤分割方法，其特征在于，在步骤1-1中，所述阈值化CT图集合T’中第h个三维CT图的第i个像素的HU值xhi的范围为：
xhi∈[-100,200]
其中，i＝1、2、3……N，N为阈值化CT图集合T’中第h个三维CT图的像素点的个数，h＝1、2、3……C，C为阈值化CT图集合T’中三维CT图的个数。
3.根据权利要求2所述的肿瘤分割方法，其特征在于，在步骤1-2中，所述零均值归一化的方法为：
按照公式(1)对于步骤1-1所得阈值化CT图集合T’中所有三维CT图的xhi进行计算，得到的零均值归一化CT图集，所述零均值归一化CT图集中第h个三维CT图的第i个像素的HU值为x’hi，i＝1、2、3……N，h＝1、2、3……C；
Figure FDA0001793287410000041
其中，xhj为阈值化CT图集合T’中第h个三维CT图的第j个像素的HU值，j＝1、2、3……N。
4.根据权利要求3所述的肿瘤分割方法，其特征在于，在步骤1-2中，所述z-score标准化的方法为：将所述零均值归一化CT图集中所有三维CT图的像素点x’hi代入公式(2)，得到三维归一化CT图集Tz以及该三维归一化CT图集Tz中所有三维CT图的像素的HU值yhi，
Figure FDA0001793287410000051
其中，在所述公式(2)中，所述
Figure FDA0001793287410000052
为所述零均值归一化CT图集中所有三维CT图的像素的HU值的均值，所述
Figure FDA0001793287410000053
通过公式(3)计算得到，其中，x’k为阈值化CT图集合T’中第k个像素的HU值，k＝1、2、3……Total，Total为零均值归一化CT图集中所有像素点的个数；所述s为所述零均值归一化CT图集中所有三维CT图的像素的HU值的标准差，所述s通过公式(4)计算得到；
Figure FDA0001793287410000054
Figure FDA0001793287410000055
5.根据权利要求4所述的肿瘤分割方法，其特征在于，所述负样本为随机选取且该负样本的数量为所述三维归一化CT集Tz中全部未包含肝脏区域的二维CT切片的数量的三分之一。
6.根据权利要求5所述的肿瘤分割方法，其特征在于，对所述被框定区域Tb进行重采样的具体操作为：对被框定区域Tb的冠状方向和矢状方向上进行重采样以形成224×224的分辨率，对被框定区域Tb的轴向方向不进行重采样。
7.根据权利要求6所述的肿瘤分割方法，其特征在于，所述残差-注意力深度神经网络由编码器和解码器构成并在Keras和Tensorflow深度学习库下构建。
8.根据权利要求7所述的肿瘤分割方法，其特征在于，所述二维残差-注意力深度神经网络-Ⅰ使用二维卷积层。
9.根据权利要求8所述的肿瘤分割方法，其特征在于，所述三维残差-注意力深度神经网络-Ⅱ使用三维卷积层；所述三维残差-注意力深度神经网络-Ⅲ使用三维卷积层。
10.根据权利要求9所述的肿瘤分割方法，其特征在于，所述二维残差-注意力深度神经网络-Ⅰ、三维残差-注意力深度神经网络-Ⅱ和三维残差-注意力深度神经网络-Ⅲ均从头开始训练，残差-注意力深度神经网络的权重参数用随机值初始化，并用Adam优化方法进行训练。
CN201811045899.3A 2018-09-07 2018-09-07 基于残差-注意力深度神经网络的肿瘤分割方法 Active CN110889853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811045899.3A CN110889853B (zh) 2018-09-07 2018-09-07 基于残差-注意力深度神经网络的肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811045899.3A CN110889853B (zh) 2018-09-07 2018-09-07 基于残差-注意力深度神经网络的肿瘤分割方法

Publications (2)

Publication Number Publication Date
CN110889853A true CN110889853A (zh) 2020-03-17
CN110889853B CN110889853B (zh) 2022-05-03

Family

ID=69744695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811045899.3A Active CN110889853B (zh) 2018-09-07 2018-09-07 基于残差-注意力深度神经网络的肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN110889853B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN111640100A (zh) * 2020-05-29 2020-09-08 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
CN111754534A (zh) * 2020-07-01 2020-10-09 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN112215826A (zh) * 2020-10-19 2021-01-12 天津大学 一种基于深度图像特征预测胶质瘤分子亚型及预后方法
CN112347977A (zh) * 2020-11-23 2021-02-09 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN112750137A (zh) * 2021-01-14 2021-05-04 江南大学 基于深度学习的肝脏肿瘤分割方法及系统
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN112883992A (zh) * 2020-12-11 2021-06-01 太原理工大学 基于注意力的ResNet模型的乳腺癌肿块的分类方法
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
CN113344938A (zh) * 2021-05-07 2021-09-03 西安智诊智能科技有限公司 一种肝脏肿瘤图像分割模型训练方法
CN113409323A (zh) * 2021-06-18 2021-09-17 推想医疗科技股份有限公司 冠脉分段方法及装置、计算机可读存储介质及电子设备
CN113470044A (zh) * 2021-06-09 2021-10-01 东北大学 一种基于深度卷积神经网络的ct图像肝脏自动分割方法
CN113487622A (zh) * 2021-05-25 2021-10-08 中国科学院自动化研究所 头颈部器官影像分割方法、装置、电子设备和存储介质
CN113822865A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于深度学习的腹部ct图像肝脏自动分割方法
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
CN115345889A (zh) * 2022-10-13 2022-11-15 西南科技大学 一种肝脏及其肿瘤图像的分割方法
CN111754534B (zh) * 2020-07-01 2024-05-31 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN107424152A (zh) * 2017-08-11 2017-12-01 联想(北京)有限公司 器官病变的检测方法和电子设备、以及训练神经元网络的方法和电子设备
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
US20180061059A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN108447052A (zh) * 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于神经网络的对称性脑肿瘤分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
US20180061059A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN107424152A (zh) * 2017-08-11 2017-12-01 联想(北京)有限公司 器官病变的检测方法和电子设备、以及训练神经元网络的方法和电子设备
CN108447052A (zh) * 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于神经网络的对称性脑肿瘤分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUHUI CHEN ET AL.: "TRAIN A 3D U-NET TO SEGMENT CRANIAL VASCULATURE IN CTA VOLUME WITHOUT MANUAL ANNOTATION", 《2018 IEEE 15TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2018)》 *
周鲁科 等: "基于U-net网络的肺部肿瘤图像分割算法研究", 《信息与电脑(理论版)》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111445478B (zh) * 2020-03-18 2023-09-08 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN111640100A (zh) * 2020-05-29 2020-09-08 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
WO2021238438A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
CN111640100B (zh) * 2020-05-29 2023-12-12 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
CN111754534A (zh) * 2020-07-01 2020-10-09 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN111754534B (zh) * 2020-07-01 2024-05-31 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN112215826A (zh) * 2020-10-19 2021-01-12 天津大学 一种基于深度图像特征预测胶质瘤分子亚型及预后方法
CN112347977A (zh) * 2020-11-23 2021-02-09 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置
CN112347977B (zh) * 2020-11-23 2021-07-20 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置
CN112883992A (zh) * 2020-12-11 2021-06-01 太原理工大学 基于注意力的ResNet模型的乳腺癌肿块的分类方法
CN112750137A (zh) * 2021-01-14 2021-05-04 江南大学 基于深度学习的肝脏肿瘤分割方法及系统
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN112494063B (zh) * 2021-02-08 2021-06-01 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
CN113344938A (zh) * 2021-05-07 2021-09-03 西安智诊智能科技有限公司 一种肝脏肿瘤图像分割模型训练方法
CN113487622B (zh) * 2021-05-25 2023-10-31 中国科学院自动化研究所 头颈部器官影像分割方法、装置、电子设备和存储介质
CN113487622A (zh) * 2021-05-25 2021-10-08 中国科学院自动化研究所 头颈部器官影像分割方法、装置、电子设备和存储介质
CN113470044A (zh) * 2021-06-09 2021-10-01 东北大学 一种基于深度卷积神经网络的ct图像肝脏自动分割方法
CN113409323B (zh) * 2021-06-18 2022-03-08 推想医疗科技股份有限公司 冠脉分段方法及装置、计算机可读存储介质及电子设备
CN113409323A (zh) * 2021-06-18 2021-09-17 推想医疗科技股份有限公司 冠脉分段方法及装置、计算机可读存储介质及电子设备
CN113822865A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于深度学习的腹部ct图像肝脏自动分割方法
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
CN113822865B (zh) * 2021-09-18 2023-05-05 长春理工大学 一种基于深度学习的腹部ct图像肝脏自动分割方法
CN115345889A (zh) * 2022-10-13 2022-11-15 西南科技大学 一种肝脏及其肿瘤图像的分割方法

Also Published As

Publication number Publication date
CN110889853B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN113808146B (zh) 一种医学图像多器官分割方法及系统
Pang et al. Automatic lung segmentation based on texture and deep features of HRCT images with interstitial lung disease
CN110930416A (zh) 一种基于u型网络的mri图像前列腺分割方法
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN109492668B (zh) 基于多通道卷积神经网络的mri不同期多模图像表征方法
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN110619641A (zh) 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN114266898A (zh) 一种基于改进EfficientNet的肝癌识别方法
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
Yang et al. A multiorgan segmentation model for CT volumes via full convolution‐deconvolution network
CN114119516A (zh) 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN116030063B (zh) Mri图像的分类诊断系统、方法、电子设备及介质
CN114882282A (zh) 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
CN114049357A (zh) 一种基于特征集关联度的乳腺超声分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant