CN112419348B - 基于多任务学习边缘校正网络的男性盆腔ct分割方法 - Google Patents
基于多任务学习边缘校正网络的男性盆腔ct分割方法 Download PDFInfo
- Publication number
- CN112419348B CN112419348B CN202011293215.9A CN202011293215A CN112419348B CN 112419348 B CN112419348 B CN 112419348B CN 202011293215 A CN202011293215 A CN 202011293215A CN 112419348 B CN112419348 B CN 112419348B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- edge
- net
- network
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 160
- 238000012937 correction Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 28
- 210000000056 organ Anatomy 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 206010060862 Prostate cancer Diseases 0.000 claims abstract description 5
- 208000000236 Prostatic Neoplasms Diseases 0.000 claims abstract description 5
- 230000003044 adaptive effect Effects 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 11
- 210000000689 upper leg Anatomy 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 abstract 1
- 210000002307 prostate Anatomy 0.000 description 13
- 238000001959 radiotherapy Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 210000004197 pelvis Anatomy 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002721 intensity-modulated radiation therapy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000920 organ at risk Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 210000001625 seminal vesicle Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001694 thigh bone Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 201000010653 vesiculitis Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于多任务学习边缘校正网络的男性盆腔CT分割方法,主要解决现有分割方法分割精度和效率较低的问题。其实现方案为:获取前列腺癌症病人的CT图像和医生手工勾画的器官标签和边缘标签,并划分训练数据集、验证数据集和测试数据集;构造一个包含残差子模块、边缘校正模块和特征融合模块的边缘校正分割子网络,并与一个用于定位的3D UNet网络串行连接,组成分割模型;使用训练数据集,利用自适应学习率优化算法对分割模型进行训练;将一例盆腔CT图像作为测试数据输入到训练好的分割模型中,得到测试图像的器官分割结果和边缘分割结果。本发明提升了盆腔CT中器官分割的精度和效率,可用于盆腔CT中器官的自动化分割。
Description
技术领域
本发明属于医学图像处理技术领域,具体是一种男性盆腔CT分割方法,可用于计算机断层扫描CT图像中的目标提取。
背景技术
统计数据显示,前列腺癌症是男性病人中发病率最高的癌症类型。临床治疗中通常采用调强放射治疗,将放射剂量充分给予肿瘤病灶,杀死肿瘤细胞,避免病灶周围正常器官受到辐射伤害。然而,这些高质量的放疗均依赖于在CT图像中对肿瘤病灶和周围多个风险器官的精确分割。目前临床中对病灶和其周边风险器官的分割仍依赖于医生的手工勾画,操作耗时长,效率低,且分割质量易受到医生主观知识经验的影响,精确度难以保证,限制了病人后续放疗效果,而且会带来严重的副作用,降低病人的生存质量。
为了实现前列腺的自动化分割,研究人员提出了多种方法用于不同医学影像模态中前列腺的自动化分割。例如,Shen等人利用统计形状模型,通过对前列腺的形状进行建模实现超声图像中前列腺的分割。同样地,Zhan等人将纹理先验信息融入到了统计表面模型中,用于超声图像中前列腺的可形变分割。Guo等人利用堆栈稀疏自编码器提取核磁共振MR图像中前列腺的隐层形状表达,然后通过稀疏块匹配的方式推理前列腺的概率图。Chen等人将男性盆腔的解剖结构约束和前列腺外观模型融入了基于贝叶斯框架的分割损失函数,实现前列腺分割。然而,这些分割由于均属基于模型的方法类,分割精度和效率都因模型有限的表达能力和复杂的计算而较低。
随着深度学习技术的快速发展,基于深度学习技术的前列腺分割方法也被广泛研究。例如,Yu等人提出基于3D卷积神经网络的分割方法,利用3D空间环境信息和混合残差连接方式,该方法提升了分割网络训练的效率和判别能力,实现了核磁共振MR图像中前列腺的精确分割。Wang等人针对3D超声图像,利用深度注意力特征,提出了基于注意力引导的CNN前列腺分割方法。然而,这些分割大部分都是针对核磁共振MR和超声图像,但放疗临床中采用CT图像对病人进行放疗计划制定,实现CT图像中男性盆腔器官分割方法的需求更加迫切。
目前,针对CT图像中盆腔区域风险器官的自动化分割主要采用多阶段的分割框架,该框架由器官粗定位和精细分割两部分组成。例如,Wang等人提出的男性盆腔CT器官分割框架由器官定位模型、边缘敏感表示模型和分割模型构成。Sultana等人同样也采用了多阶段的分割框架,提出了由粗到精的分割策略,该方法是先对于每个待分割器官生成定位图,然后基于粗略的定位图,通过更精细的分割模型生成最终的分割结果。
上述针对CT图像的这两种分割方法由于所提出的多阶段的分割框架都是针对单个器官的,且采用投票的策略融合多个独立模型的输出,生成最终的分割结果,忽略了来自其他器官提供的环境信息,因而降低了分割精度,分割效率低,难以满足临床中对风险器官分割的要求。
发明内容
本发明的目的在于针对上述现有分割技术的不足,提出一种基于多任务学习边缘校正网络的男性盆腔CT分割方法,以实现对男性盆腔CT图像中前列腺、直肠、膀胱和精囊这些器官的自动化分割,提高分割精度和效率,满足临床中对风险器官分割的要求。
为实现上述目的,本发明的技术方案包括如下:
(1)获取前列腺癌症病人的计算机断层扫描CT数据和医生手工勾画的器官标签和边缘标签,采用双线性插值方法将CT数据变换到同一空间分辨率,并随机按照3:1:1的比例划分CT数据集的训练样本集,验证样本集和测试样本集;
(2)搭建边缘校正分割子网络BR-Seg-Net:
(2a)串行连接3个残差子模块RES组成边缘解码路径,将边缘解码路径添加到现有的3D Res-UNet网络中,该边缘解码路径与3D Res-UNet网络中语义解码路径中的第一个残差子模块RES相连,构成边缘校正分割子网络BR-Seg-Net的网络框架;
(2b)向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加空间注意模块和通道注意模块;
(2c)构建边缘校正模块BR,并将该边缘校正模块BR与边缘校正分割子网络BR-Seg-Net中语义解码路径和边缘解码路径中的残差子模块RES相连接;
(2d)构建特征融合模块FFM,并使用该特征融合模块FFM对边缘校正分割子网络BR-Seg-Net中语义解码路径中残差子模块RES的输出和边缘解码路径的输出进行融合,完成边缘校正分割子网络BR-Seg-Net的搭建;
(3)使用现有的3D UNet网络对CT图像中左、右侧股骨进行定位,提取边缘校正分割子网络BR-Seg-Net的输入;
(4)将3D UNet网络与边缘校正分割子网络BR-Seg-Net串行连接,搭建成基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net;
使用均匀分布初始化分割模型MTBR-Net的权重W,将分割模型MTBR-Net的偏置b均初始化为数值0;
(5)用CT影像数据训练样本集训练基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net:
(5a)打乱训练数据集中图像的顺序,从中选择单个盆腔CT图像及其器官标签和边缘标签,记为一个训练批次{T,GO,GE},其中T为一个训练批次中的CT图像,GO、GE为与T对应的器官标签和边缘标签;
(5b)将盆腔CT图像T输入到分割模型MTBR-Net中,经过分割模型MTBR-Net的前向传播,得到CT图像T对应的器官分割结果PO和边缘分割结果PE,计算器官分割结果PO与器官标签GO之间的损失Lloc,及器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg,得到分割模型MTBR-Net的损失函数L=Lloc+Lseg;
(5c)设初始学习速率η=0.001,使用自适应学习率优化算法Adam优化分割模型MTBR-Net的损失函数L,更新分割模型MTBR-Net的权重W和偏置b;
(5d)重复(5a)到(5c),直到连续50轮重复迭代损失函数L没有降低,则停止训练,得到训练后的分割模型MTBR-Net;
(6)将CT测试样本集输入到训练后的男性盆腔CT分割模型MTBR-Net中,得到所获取的CT测试样本集的器官分割结果和边缘分割结果。
本发明与现有技术相比具有如下优点:
1.本发明通过引入3D UNet对盆腔中位置固定的左、右侧股骨进行定位,从而实现待分割区域的快速、精确提取,为边缘校正分割子网络BR-Seg-Net提供了坚实可靠的基础。
2.本发明通过引入边缘校正模块和额外的边缘解码路径,增强了分割模型MTBR-Net对器官边缘信息的提取和利用,同时利用高质量的边缘信息来改善器官分割的结果,从而提升了整体分割精度。
3.本发明通过引入特征融合模块FFM,融合了多尺度的语义信息和边缘分割结果,为生成分割结果提供了丰富的多尺度和边缘信息,提升了分割模型MTBR-Net对形状差异大的器官的分割效果。
附图说明
图1是本发明的实现流程框图;
图2是本发明中临床获取的某一例盆腔CT图像;
图3为医生手工勾画的器官标签和边缘标签;
图4为用本发明对CT图像器官分割结果图;
图5为用本发明对CT图像器官边缘的分割结果图。
具体实施方式
下面结合附图对本发明及其实施步骤作详细描述。
参照图1,本实例的实现步骤如下:
步骤1:获取CT数据集的训练样本集,验证样本集和测试样本集数据。
获取前列腺癌症病人的计算机断层扫描CT图像,如图2所示,以及医生在该CT图像上手工勾画的器官标签和边缘标签,如图3所示,其中图3(a)为器官标签,图3(b)为边缘标签。
采用双线性插值方法将CT图像数据变换到同一空间分辨率,并随机按照3:1:1的比例划分CT数据集的训练样本集,验证样本集和测试样本集。
步骤2:搭建边缘校正分割子网络BR-Seg-Net。
(2.1)串行连接3个残差子模块RES组成边缘解码路径,将边缘解码路径添加到现有的3D Res-UNet网络中,该边缘解码路径与3D Res-UNet网络中语义解码路径中的第一个残差子模块RES相连,构成边缘校正分割子网络BR-Seg-Net的网络框架,其中每个残差子模块RES,由卷积核大小分别为1*1*1、3*3*3和1*1*1的三个卷积层串行连接组成,且第一个卷积层的输入与第三个卷积层的输出相加,作为模块输出;
(2.2)向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加通道注意模块和空间注意模块:
2.2.1)串行连接全局串行连接全局平均池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层,构成通道注意模块;
2.2.2)将卷积核大小为1*1*1的卷积层作为空间注意模块;
2.2.3)将残差子模块RES第三个卷积层的输出X3分别输入到通道注意模块和空间注意模块中,得到通道注意向量vC和空间注意向量vS;
2.2.4)将残差子模块RES第三个卷积层的输出X3分别与通道注意向量vC和空间注意向量vS进行点乘,得到通道注意特征图XC和空间注意特征图XS;
2.2.5)将通道注意特征图XC、空间注意特征图XS和每个残差子模块RES的第一个卷积层输入X0相加,作为每个残差子模块RES的输出;
(2.3)构建由卷积核大小为1*1*1的卷积层和卷积核为3*3*3,步长为2*2*2的反卷积层并行连接组成边缘校正模块BR,该卷积层和反卷积层的输出特征图通道拼接后,再依次与卷积核大小为3*3*3的卷积层、ReLU激活层、卷积核大小为3*3*3的卷积层和Sigmoid激活层串行连接;
(2.4)将边缘校正模块BR与边缘校正分割子网络BR-Seg-Net中语义解码路径和边缘解码路径中的残差子模块RES相连接;
(2.5)构建特征融合模块FFM:
2.5.1)构建五个分支:
建立由一个卷积核大小为3*3*3,步长为8*8*8的反卷积层和一个卷积核大小为1*1*1的卷积层串行连接组成的第一分支;
建立由一个卷积核大小为3*3*3,步长为4*4*4的反卷积层和一个卷积核大小为1*1*1的卷积层串行连接组成的第二分支;
建立由一个卷积核大小为3*3*3,步长为2*2*2的反卷积层和一个卷积核大小为1*1*1的卷积层串行连接组成的第三分支;
建立由一个卷积核大小为1*1*1的卷积层组成的第四分支;
建立由一个卷积核大小为1*1*1的卷积层组成的第五分支;
2.5.2)将上述5个分支并行连接,并将这5个分支的输出特征图通道拼接后,再与卷积核大小为1*1*1的卷积层串行连接,完成特征融合模块FFM的构建;
(2.6)使用特征融合模块FFM对边缘校正分割子网络BR-Seg-Net中语义解码路径中残差子模块RES的输出和边缘解码路径的输出进行融合,完成边缘校正分割子网络BR-Seg-Net的搭建。
步骤3:搭建分割模型MTBR-Net,并初始化。
(3.1)使用现有的3D UNet网络提取CT图像中左侧股骨中心位置(Xl,Yl,Zl)和右侧股骨中心位置(Xr,Yr,Zr),并根据左、右侧股骨中心位置,得到边缘校正分割子网络BR-Seg-Net的输入I':
I'=I[S/2-80:S/2+80,D/2-72:D/2+72,t-40:t+40],
其中,t=(Zr-Zl)/2+Zl,S和D分别表示CT图像I的长和宽,Zl为左侧股骨的轴向中心坐标,Zr为右侧股骨的轴向中心坐标;
(3.2)将3D UNet网络与边缘校正分割子网络BR-Seg-Net串行连接,搭建成基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net;
(3.3)初始化分割模型MTBR-Net:
3.3.1)使用均匀分布对分割模型MTBR-Net的权重W进行初始化:
W~U(-0.01,0.01),
其中W表示分割模型MTBR-Net的权重,U(·,·)表示均匀分布;
3.3.2)将分割模型MTBR-Net的偏置b初始化为数值0。
步骤4:使用训练数据集对分割模型MTBR-Net进行训练。
(4.1)打乱训练数据集中图像的顺序,从中选择单个盆腔CT图像及其器官标签和边缘标签,记为一个训练批次{T,GO,GE},其中T为一个训练批次中的CT图像,GO、GE为与T对应的医生手工勾画的器官标签和边缘标签;
(4.2)获得MTBR-Net的损失函数L:
4.2.1)将盆腔CT图像T输入到分割模型MTBR-Net中,经过分割模型MTBR-Net的前向传播,得到CT图像T对应的器官分割结果PO和边缘分割结果PE;
4.2.2)计算器官分割结果PO与器官标签GO之间的损失Lloc:
其中,POi和GOi分别表示器官分割结果PO和医生手工勾画的器官标签GO第i个通道,Q、D和H分别表示输入CT图像的长、宽、高,q、d和h分别表示CT图像中长、宽、高的位置索引,q={1,...,Q},d={1,...,D},h={1,...,H};
4.2.3)计算器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg:
其中,PE和GE分别表示边缘分割结果和医生手工勾画的边缘标签,N表示分割器官的个数,λo和λE分别表示语义分割损失项和边缘分割损失项的权重参数,log表示对数计算方式;
4.2.4)根据器官分割结果PO与器官标签GO之间的损失Lloc和器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg,得到分割模型MTBR-Net的损失函数L=Lloc+Lseg;
(4.3)设初始学习速率η=0.001,使用自适应学习率优化算法Adam优化分割模型MTBR-Net的损失函数L,更新分割模型MTBR-Net的权重W和偏置b;
(4.4)重复(4.1)到(4.3),直到连续50轮重复迭代损失函数L没有降低,则停止训练,得到训练后的分割模型MTBR-Net。
步骤5:利用训练好的分割模型MTBR-Net分割测试数据集。
将如图2所示的男性盆腔CT图像输入到训练好的分割模型MTBR-Net中,经过分割模型MTBR-Net的前行传播,得到与输入CT图像对应的器官分割结果和边缘分割结果,如图4和图5所示。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权力要求保护范围之内。
Claims (7)
1.基于多任务学习边缘校正网络的男性盆腔CT分割方法,其特征在于,包含如下:
(1)获取前列腺癌症病人的计算机断层扫描CT数据和医生手工勾画的器官标签和边缘标签,采用双线性插值方法将CT数据变换到同一空间分辨率,并随机按照3:1:1的比例划分CT数据集的训练样本集,验证样本集和测试样本集;
(2)搭建边缘校正分割子网络BR-Seg-Net:
(2a)串行连接3个残差子模块RES组成边缘解码路径,将边缘解码路径添加到现有的3DRes-UNet网络中,该边缘解码路径与3D Res-UNet网络中语义解码路径中的第一个残差子模块RES相连,构成边缘校正分割子网络BR-Seg-Net的网络框架;
(2b)向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加空间注意模块和通道注意模块;
(2c)构建边缘校正模块BR,并将该边缘校正模块BR与边缘校正分割子网络BR-Seg-Net中语义解码路径和边缘解码路径中的残差子模块RES相连接;
(2d)构建特征融合模块FFM,并使用该特征融合模块FFM对边缘校正分割子网络BR-Seg-Net中语义解码路径中残差子模块RES的输出和边缘解码路径的输出进行融合,完成边缘校正分割子网络BR-Seg-Net的搭建;
(3)使用现有的3D UNet网络对CT图像中左、右侧股骨进行定位,提取边缘校正分割子网络BR-Seg-Net的输入,实现如下:
(3a)将CT图像I输入到3D UNet网络中,得到CT图像I中左侧股骨中心位置(Xl,Yl,Zl)和右侧股骨中心位置(Xr,Yr,Zr);
(3b)根据左、右侧股骨中心位置,得到边缘校正分割子网络BR-Seg-Net的输入I':
I'=I[S/2-80:S/2+80,D/2-72:D/2+72,t-40:t+40]
t=(Zr-Zl)/2+Zl
其中,S和D为CT图像I的长和宽,Zl为左侧股骨的轴向中心坐标,Zr为右侧股骨的轴向中心坐标;
(4)将3D UNet网络与边缘校正分割子网络BR-Seg-Net串行连接,搭建成基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net,
使用均匀分布初始化分割模型MTBR-Net的权重W,将分割模型MTBR-Net的偏置b均初始化为数值0;
(5)用CT影像数据训练样本集训练基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net:
(5a)打乱训练数据集中图像的顺序,从中选择单个盆腔CT图像及其器官标签和边缘标签,记为一个训练批次{T,GO,GE},其中T为一个训练批次中的CT图像,GO、GE为与T对应的器官标签和边缘标签;
(5b)将盆腔CT图像T输入到分割模型MTBR-Net中,经过分割模型MTBR-Net的前向传播,得到CT图像T对应的器官分割结果PO和边缘分割结果PE,计算器官分割结果PO与器官标签GO之间的损失Lloc,及器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg,得到分割模型MTBR-Net的损失函数L=Lloc+Lseg;
(5c)设初始学习速率η=0.001,使用自适应学习率优化算法Adam优化分割模型MTBR-Net的损失函数L,更新分割模型MTBR-Net的权重W和偏置b;
(5d)重复(5a)到(5c),直到连续50轮重复迭代损失函数L没有降低,则停止训练,得到训练后的分割模型MTBR-Net;
(6)将CT测试样本集输入到训练后的男性盆腔CT分割模型MTBR-Net中,得到所获取的CT测试样本集的器官分割结果和边缘分割结果。
2.根据权利要求1所述的方法,其中(2a)每个残差子模块RES,由卷积核大小分别为1*1*1、3*3*3和1*1*1的三个卷积层串行连接组成,且第一个卷积层的输入与第三个卷积层的输出相加,作为模块输出。
3.根据权利要求1所述的方法,其中(2b)所述的向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加通道注意模块和空间注意模块,实现如下:
(2b1)串行连接全局平均池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层,构成通道注意模块;
(2b2)将卷积核大小为1*1*1的卷积层作为空间注意模块;
(2b3)将残差子模块RES第三个卷积层的输出X3分别输入到通道注意模块和空间注意模块中,得到通道注意向量vC和空间注意向量vS;
(2b4)将残差子模块RES第三个卷积层的输出X3分别与通道注意向量vC和空间注意向量vS进行点乘,得到通道注意特征图XC和空间注意特征图XS;
(2b5)将通道注意特征图XC、空间注意特征图XS和每个残差子模块RES的第一个卷积层输入X0进行相加,以作为每个残差子模块RES的输出。
4.根据权利要求1所述的方法,其中(2c)中构建的边缘校正模块BR,其由卷积核大小为1*1*1的卷积层和卷积核为3*3*3,步长为2*2*2的反卷积层并行连接组成,该卷积层和反卷积层的输出特征图通道拼接后,再依次与卷积核大小为3*3*3的卷积层、ReLU激活层、卷积核大小为3*3*3的卷积层和Sigmoid激活层串行连接,完成边缘校正模块BR的搭建。
5.根据权利要求1所述的方法,其中(2d)中构建的特征融合模块FFM,其由以下5个分支并行连接组成:
分支一:串行连接卷积核大小为3*3*3,步长为8*8*8的反卷积层和卷积核大小为1*1*1的卷积层;
分支二:串行连接卷积核大小为3*3*3,步长为4*4*4的反卷积层和卷积核大小为1*1*1的卷积层;
分支三:串行连接卷积核大小为3*3*3,步长为2*2*2的反卷积层和卷积核大小为1*1*1的卷积层;
分支四:卷积核大小为1*1*1的卷积层;
分支五:卷积核大小为1*1*1的卷积层;
该5个分支的输出特征图通道拼接后,再与卷积核大小为1*1*1的卷积层串行连接,构成特征融合模块FFM。
6.根据权利要求1所述的方法,其中(5b)中计算器官分割结果PO与器官标签GO之间的损失Lloc,公式如下:
其中,POi和GOi分别表示器官分割结果PO与医生手工勾画的器官标签GO第i个通道,Q、D和H分别表示输入CT图像的长、宽、高,q、d和h分别表示CT图像中长、宽、高的位置索引,q={1,...,Q},d={1,...,D},h={1,...,H}。
7.根据权利要求1所述的方法,其中(5b)中计算器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg,公式如下:
其中,Q、D和H分别表示输入CT图像的长、宽、高,q、d和h分别表示CT图像中长、宽、高的位置索引,q={1,...,Q},d={1,...,D},h={1,...,H};POj和GOj表示器官分割结果PO和医生手工勾画的器官标签GO的第j个通道,PE和GE表示边缘分割结果和医生手工勾画的边缘标签,N表示分割器官的个数,λo和λE分别表示语义分割损失项和边缘分割损失项的权重参数,log表示对数计算方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011293215.9A CN112419348B (zh) | 2020-11-18 | 2020-11-18 | 基于多任务学习边缘校正网络的男性盆腔ct分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011293215.9A CN112419348B (zh) | 2020-11-18 | 2020-11-18 | 基于多任务学习边缘校正网络的男性盆腔ct分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112419348A CN112419348A (zh) | 2021-02-26 |
CN112419348B true CN112419348B (zh) | 2024-02-09 |
Family
ID=74772919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011293215.9A Active CN112419348B (zh) | 2020-11-18 | 2020-11-18 | 基于多任务学习边缘校正网络的男性盆腔ct分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419348B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113436173B (zh) * | 2021-06-30 | 2023-06-27 | 陕西大智慧医疗科技股份有限公司 | 基于边缘感知的腹部多器官分割建模、分割方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020028352A1 (en) * | 2018-07-31 | 2020-02-06 | Washington University | Methods and systems for segmenting organs in images using a cnn-based correction network |
CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
WO2020168820A1 (zh) * | 2019-02-22 | 2020-08-27 | 中国石油大学(华东) | 一种基于yolo卷积神经网络的胆石病ct医疗图像数据增强方法 |
-
2020
- 2020-11-18 CN CN202011293215.9A patent/CN112419348B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020028352A1 (en) * | 2018-07-31 | 2020-02-06 | Washington University | Methods and systems for segmenting organs in images using a cnn-based correction network |
WO2020168820A1 (zh) * | 2019-02-22 | 2020-08-27 | 中国石油大学(华东) | 一种基于yolo卷积神经网络的胆石病ct医疗图像数据增强方法 |
CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
Non-Patent Citations (2)
Title |
---|
贡荣麟 ; 施俊 ; 王骏 ; .面向乳腺超声图像分割的混合监督双通道反馈U-Net.中国图象图形学报.2020,(第10期),全文. * |
郭雯 ; 鞠忠建 ; 吴青南 ; 全红 ; 戴相昆 ; .基于深度学习的器官自动分割研究进展.医疗卫生装备.2020,(01),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN112419348A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717866B (zh) | 一种预测放疗计划剂量分布的方法、装置、设备及存储介质 | |
US11676281B2 (en) | 3-D convolutional neural networks for organ segmentation in medical images for radiotherapy planning | |
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN113096766B (zh) | 一种个性化精准放疗计划中的三维剂量预测方法及系统 | |
CN111105424A (zh) | 淋巴结自动勾画方法及装置 | |
CN112820377B (zh) | 一种基于深度学习的放疗计划自动生成方法 | |
Ma et al. | Boundary-aware supervoxel-level iteratively refined interactive 3d image segmentation with multi-agent reinforcement learning | |
CN111260667A (zh) | 一种结合空间引导的神经纤维瘤分割方法 | |
CN114792326A (zh) | 一种基于结构光的手术导航点云分割与配准方法 | |
Xu et al. | Automatic mandible segmentation from CT image using 3D fully convolutional neural network based on DenseASPP and attention gates | |
CN112419348B (zh) | 基于多任务学习边缘校正网络的男性盆腔ct分割方法 | |
Peng et al. | Semi-automatic prostate segmentation from ultrasound images using machine learning and principal curve based on interpretable mathematical model expression | |
Henderson et al. | Automatic identification of segmentation errors for radiotherapy using geometric learning | |
CN113192069A (zh) | 三维断层扫描图像中树状结构的语义分割方法和装置 | |
CN111798463A (zh) | 一种头颈部ct图像中多器官自动分割方法 | |
CN114612478B (zh) | 一种基于深度学习的女性盆腔mri自动勾画系统 | |
CN113593672B (zh) | 一种放疗靶区智能勾画方法 | |
Gibou et al. | Partial differential equations-based segmentation for radiotherapy treatment planning | |
CN115937083A (zh) | 一种融合先验信息的前列腺磁共振图像区域分割方法 | |
Losnegård et al. | Semi-automated segmentation of the sigmoid and descending colon for radiotherapy planning using the fast marching method | |
Bai et al. | Progressive medical image annotation with convolutional neural network-based interactive segmentation method | |
Wu et al. | Multi-organ Statistical Shape Model Building Using a Non-rigid ICP Based Surface Registration | |
CN115409837B (zh) | 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 | |
CN114155934B (zh) | 一种基于深度学习的肿瘤调强放疗剂量预测方法 | |
Huang et al. | Self-Reinforcing For Few-Shot Medical Image Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |