CN112419348A - 基于多任务学习边缘校正网络的男性盆腔ct分割方法 - Google Patents

基于多任务学习边缘校正网络的男性盆腔ct分割方法 Download PDF

Info

Publication number
CN112419348A
CN112419348A CN202011293215.9A CN202011293215A CN112419348A CN 112419348 A CN112419348 A CN 112419348A CN 202011293215 A CN202011293215 A CN 202011293215A CN 112419348 A CN112419348 A CN 112419348A
Authority
CN
China
Prior art keywords
segmentation
edge
net
network
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011293215.9A
Other languages
English (en)
Other versions
CN112419348B (zh
Inventor
缑水平
童诺
姚瑶
陈姝喆
焦昶哲
杨淑媛
毛莎莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011293215.9A priority Critical patent/CN112419348B/zh
Publication of CN112419348A publication Critical patent/CN112419348A/zh
Application granted granted Critical
Publication of CN112419348B publication Critical patent/CN112419348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于多任务学习边缘校正网络的男性盆腔CT分割方法，主要解决现有分割方法分割精度和效率较低的问题。其实现方案为：获取前列腺癌症病人的CT图像和医生手工勾画的器官标签和边缘标签，并划分训练数据集、验证数据集和测试数据集；构造一个包含残差子模块、边缘校正模块和特征融合模块的边缘校正分割子网络，并与一个用于定位的3D UNet网络串行连接，组成分割模型；使用训练数据集，利用自适应学习率优化算法对分割模型进行训练；将一例盆腔CT图像作为测试数据输入到训练好的分割模型中，得到测试图像的器官分割结果和边缘分割结果。本发明提升了盆腔CT中器官分割的精度和效率，可用于盆腔CT中器官的自动化分割。

Description

基于多任务学习边缘校正网络的男性盆腔CT分割方法
技术领域
本发明属于医学图像处理技术领域，具体是一种男性盆腔CT分割方法，可用于计算机断层扫描CT图像中的目标提取。
背景技术
统计数据显示，前列腺癌症是男性病人中发病率最高的癌症类型。临床治疗中通常采用调强放射治疗，将放射剂量充分给予肿瘤病灶，杀死肿瘤细胞，避免病灶周围正常器官受到辐射伤害。然而，这些高质量的放疗均依赖于在CT图像中对肿瘤病灶和周围多个风险器官的精确分割。目前临床中对病灶和其周边风险器官的分割仍依赖于医生的手工勾画，操作耗时长，效率低，且分割质量易受到医生主观知识经验的影响，精确度难以保证，限制了病人后续放疗效果，而且会带来严重的副作用，降低病人的生存质量。
为了实现前列腺的自动化分割，研究人员提出了多种方法用于不同医学影像模态中前列腺的自动化分割。例如，Shen等人利用统计形状模型，通过对前列腺的形状进行建模实现超声图像中前列腺的分割。同样地，Zhan等人将纹理先验信息融入到了统计表面模型中，用于超声图像中前列腺的可形变分割。Guo等人利用堆栈稀疏自编码器提取核磁共振MR图像中前列腺的隐层形状表达，然后通过稀疏块匹配的方式推理前列腺的概率图。Chen等人将男性盆腔的解剖结构约束和前列腺外观模型融入了基于贝叶斯框架的分割损失函数，实现前列腺分割。然而，这些分割由于均属基于模型的方法类，分割精度和效率都因模型有限的表达能力和复杂的计算而较低。
随着深度学习技术的快速发展，基于深度学习技术的前列腺分割方法也被广泛研究。例如，Yu等人提出基于3D卷积神经网络的分割方法，利用3D空间环境信息和混合残差连接方式，该方法提升了分割网络训练的效率和判别能力，实现了核磁共振MR图像中前列腺的精确分割。Wang等人针对3D超声图像，利用深度注意力特征，提出了基于注意力引导的CNN前列腺分割方法。然而，这些分割大部分都是针对核磁共振MR和超声图像，但放疗临床中采用CT图像对病人进行放疗计划制定，实现CT图像中男性盆腔器官分割方法的需求更加迫切。
目前，针对CT图像中盆腔区域风险器官的自动化分割主要采用多阶段的分割框架，该框架由器官粗定位和精细分割两部分组成。例如，Wang等人提出的男性盆腔CT器官分割框架由器官定位模型、边缘敏感表示模型和分割模型构成。Sultana等人同样也采用了多阶段的分割框架，提出了由粗到精的分割策略，该方法是先对于每个待分割器官生成定位图，然后基于粗略的定位图，通过更精细的分割模型生成最终的分割结果。
上述针对CT图像的这两种分割方法由于所提出的多阶段的分割框架都是针对单个器官的，且采用投票的策略融合多个独立模型的输出，生成最终的分割结果，忽略了来自其他器官提供的环境信息，因而降低了分割精度，分割效率低，难以满足临床中对风险器官分割的要求。
发明内容
本发明的目的在于针对上述现有分割技术的不足，提出一种基于多任务学习边缘校正网络的男性盆腔CT分割方法，以实现对男性盆腔CT图像中前列腺、直肠、膀胱和精囊这些器官的自动化分割，提高分割精度和效率，满足临床中对风险器官分割的要求。
为实现上述目的，本发明的技术方案包括如下：
(1)获取前列腺癌症病人的计算机断层扫描CT数据和医生手工勾画的器官标签和边缘标签，采用双线性插值方法将CT数据变换到同一空间分辨率，并随机按照3:1:1的比例划分CT数据集的训练样本集，验证样本集和测试样本集；
(2)搭建边缘校正分割子网络BR-Seg-Net：
(2a)串行连接3个残差子模块RES组成边缘解码路径，将边缘解码路径添加到现有的3D Res-UNet网络中，该边缘解码路径与3D Res-UNet网络中语义解码路径中的第一个残差子模块RES相连，构成边缘校正分割子网络BR-Seg-Net的网络框架；
(2b)向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加空间注意模块和通道注意模块；
(2c)构建边缘校正模块BR，并将该边缘校正模块BR与边缘校正分割子网络BR-Seg-Net中语义解码路径和边缘解码路径中的残差子模块RES相连接；
(2d)构建特征融合模块FFM，并使用该特征融合模块FFM对边缘校正分割子网络BR-Seg-Net中语义解码路径中残差子模块RES的输出和边缘解码路径的输出进行融合，完成边缘校正分割子网络BR-Seg-Net的搭建；
(3)使用现有的3D UNet网络对CT图像中左、右侧股骨进行定位，提取边缘校正分割子网络BR-Seg-Net的输入；
(4)将3D UNet网络与边缘校正分割子网络BR-Seg-Net串行连接，搭建成基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net；
使用均匀分布初始化分割模型MTBR-Net的权重W，将分割模型MTBR-Net的偏置b均初始化为数值0；
(5)用CT影像数据训练样本集训练基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net：
(5a)打乱训练数据集中图像的顺序，从中选择单个盆腔CT图像及其器官标签和边缘标签，记为一个训练批次{T,GO,GE}，其中T为一个训练批次中的CT图像，GO、GE为与T对应的器官标签和边缘标签；
(5b)将盆腔CT图像T输入到分割模型MTBR-Net中，经过分割模型MTBR-Net的前向传播，得到CT图像T对应的器官分割结果PO和边缘分割结果PE，计算器官分割结果PO与器官标签GO之间的损失Lloc，及器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg，得到分割模型MTBR-Net的损失函数L＝Lloc+Lseg；
(5c)设初始学习速率η＝0.001，使用自适应学习率优化算法Adam优化分割模型MTBR-Net的损失函数L，更新分割模型MTBR-Net的权重W和偏置b；
(5d)重复(5a)到(5c)，直到连续50轮重复迭代损失函数L没有降低，则停止训练，得到训练后的分割模型MTBR-Net；
(6)将CT测试样本集输入到训练后的男性盆腔CT分割模型MTBR-Net中，得到所获取的CT测试样本集的器官分割结果和边缘分割结果。
本发明与现有技术相比具有如下优点：
1.本发明通过引入3D UNet对盆腔中位置固定的左、右侧股骨进行定位，从而实现待分割区域的快速、精确提取，为边缘校正分割子网络BR-Seg-Net提供了坚实可靠的基础。
2.本发明通过引入边缘校正模块和额外的边缘解码路径，增强了分割模型MTBR-Net对器官边缘信息的提取和利用，同时利用高质量的边缘信息来改善器官分割的结果，从而提升了整体分割精度。
3.本发明通过引入特征融合模块FFM，融合了多尺度的语义信息和边缘分割结果，为生成分割结果提供了丰富的多尺度和边缘信息，提升了分割模型MTBR-Net对形状差异大的器官的分割效果。
附图说明
图1是本发明的实现流程框图；
图2是本发明中临床获取的某一例盆腔CT图像；
图3为医生手工勾画的器官标签和边缘标签；
图4为用本发明对CT图像器官分割结果图；
图5为用本发明对CT图像器官边缘的分割结果图。
具体实施方式
下面结合附图对本发明及其实施步骤作详细描述。
参照图1，本实例的实现步骤如下：
步骤1：获取CT数据集的训练样本集，验证样本集和测试样本集数据。
获取前列腺癌症病人的计算机断层扫描CT图像，如图2所示，以及医生在该CT图像上手工勾画的器官标签和边缘标签，如图3所示，其中图3(a)为器官标签，图3(b)为边缘标签。
采用双线性插值方法将CT图像数据变换到同一空间分辨率，并随机按照3:1:1的比例划分CT数据集的训练样本集，验证样本集和测试样本集。
步骤2：搭建边缘校正分割子网络BR-Seg-Net。
(2.1)串行连接3个残差子模块RES组成边缘解码路径，将边缘解码路径添加到现有的3D Res-UNet网络中，该边缘解码路径与3D Res-UNet网络中语义解码路径中的第一个残差子模块RES相连，构成边缘校正分割子网络BR-Seg-Net的网络框架，其中每个残差子模块RES，由卷积核大小分别为1*1*1、3*3*3和1*1*1的三个卷积层串行连接组成，且第一个卷积层的输入与第三个卷积层的输出相加，作为模块输出；
(2.2)向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加通道注意模块和空间注意模块：
2.2.1)串行连接全局串行连接全局平均池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层，构成通道注意模块；
2.2.2)将卷积核大小为1*1*1的卷积层作为空间注意模块；
2.2.3)将残差子模块RES第三个卷积层的输出X3分别输入到通道注意模块和空间注意模块中，得到通道注意向量vC和空间注意向量vS；
2.2.4)将残差子模块RES第三个卷积层的输出X3分别与通道注意向量vC和空间注意向量vS进行点乘，得到通道注意特征图XC和空间注意特征图XS；
2.2.5)将通道注意特征图XC、空间注意特征图XS和每个残差子模块RES的第一个卷积层输入X0相加，作为每个残差子模块RES的输出；
(2.3)构建由卷积核大小为1*1*1的卷积层和卷积核为3*3*3，步长为2*2*2的反卷积层并行连接组成边缘校正模块BR，该卷积层和反卷积层的输出特征图通道拼接后，再依次与卷积核大小为3*3*3的卷积层、ReLU激活层、卷积核大小为3*3*3的卷积层和Sigmoid激活层串行连接；
(2.4)将边缘校正模块BR与边缘校正分割子网络BR-Seg-Net中语义解码路径和边缘解码路径中的残差子模块RES相连接；
(2.5)构建特征融合模块FFM：
2.5.1)构建五个分支：
建立由一个卷积核大小为3*3*3，步长为8*8*8的反卷积层和一个卷积核大小为1*1*1的卷积层串行连接组成的第一分支；
建立由一个卷积核大小为3*3*3，步长为4*4*4的反卷积层和一个卷积核大小为1*1*1的卷积层串行连接组成的第二分支；
建立由一个卷积核大小为3*3*3，步长为2*2*2的反卷积层和一个卷积核大小为1*1*1的卷积层串行连接组成的第三分支；
建立由一个卷积核大小为1*1*1的卷积层组成的第四分支；
建立由一个卷积核大小为1*1*1的卷积层组成的第五分支；
2.5.2)将上述5个分支并行连接，并将这5个分支的输出特征图通道拼接后，再与卷积核大小为1*1*1的卷积层串行连接，完成特征融合模块FFM的构建；
(2.6)使用特征融合模块FFM对边缘校正分割子网络BR-Seg-Net中语义解码路径中残差子模块RES的输出和边缘解码路径的输出进行融合，完成边缘校正分割子网络BR-Seg-Net的搭建。
步骤3：搭建分割模型MTBR-Net，并初始化。
(3.1)使用现有的3D UNet网络提取CT图像中左侧股骨中心位置(Xl,Yl,Zl)和右侧股骨中心位置(Xr,Yr,Zr)，并根据左、右侧股骨中心位置，得到边缘校正分割子网络BR-Seg-Net的输入I'：
I'＝I[S/2-80:S/2+80,D/2-72:D/2+72,t-40:t+40]，
其中，t＝(Zr-Zl)/2+Zl，S和D分别表示CT图像I的长和宽，Zl为左侧股骨的轴向中心坐标，Zr为右侧股骨的轴向中心坐标；
(3.2)将3D UNet网络与边缘校正分割子网络BR-Seg-Net串行连接，搭建成基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net；
(3.3)初始化分割模型MTBR-Net：
3.3.1)使用均匀分布对分割模型MTBR-Net的权重W进行初始化：
W～U(-0.01,0.01)，
其中W表示分割模型MTBR-Net的权重，U(·,·)表示均匀分布；
3.3.2)将分割模型MTBR-Net的偏置b初始化为数值0。
步骤4：使用训练数据集对分割模型MTBR-Net进行训练。
(4.1)打乱训练数据集中图像的顺序，从中选择单个盆腔CT图像及其器官标签和边缘标签，记为一个训练批次{T,GO,GE}，其中T为一个训练批次中的CT图像，GO、GE为与T对应的医生手工勾画的器官标签和边缘标签；
(4.2)获得MTBR-Net的损失函数L：
4.2.1)将盆腔CT图像T输入到分割模型MTBR-Net中，经过分割模型MTBR-Net的前向传播，得到CT图像T对应的器官分割结果PO和边缘分割结果PE；
4.2.2)计算器官分割结果PO与器官标签GO之间的损失Lloc：
Figure BDA0002784574130000061
其中，POi和GOi分别表示器官分割结果PO和医生手工勾画的器官标签GO第i个通道，Q、D和H分别表示输入CT图像的长、宽、高，q、d和h分别表示CT图像中长、宽、高的位置索引，q＝{1,...,Q}，d＝{1,...,D}，h＝{1,...,H}；
4.2.3)计算器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg：
Figure BDA0002784574130000071
其中，PE和GE分别表示边缘分割结果和医生手工勾画的边缘标签，N表示分割器官的个数，λo和λE分别表示语义分割损失项和边缘分割损失项的权重参数，log表示对数计算方式；
4.2.4)根据器官分割结果PO与器官标签GO之间的损失Lloc和器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg，得到分割模型MTBR-Net的损失函数L＝Lloc+Lseg；
(4.3)设初始学习速率η＝0.001，使用自适应学习率优化算法Adam优化分割模型MTBR-Net的损失函数L，更新分割模型MTBR-Net的权重W和偏置b；
(4.4)重复(4.1)到(4.3)，直到连续50轮重复迭代损失函数L没有降低，则停止训练，得到训练后的分割模型MTBR-Net。
步骤5：利用训练好的分割模型MTBR-Net分割测试数据集。
将如图2所示的男性盆腔CT图像输入到训练好的分割模型MTBR-Net中，经过分割模型MTBR-Net的前行传播，得到与输入CT图像对应的器官分割结果和边缘分割结果，如图4和图5所示。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权力要求保护范围之内。

Claims (8)

1.基于多任务学习边缘校正网络的男性盆腔CT分割方法，其特征在于，包含如下：
(1)获取前列腺癌症病人的计算机断层扫描CT数据和医生手工勾画的器官标签和边缘标签，采用双线性插值方法将CT数据变换到同一空间分辨率，并随机按照3:1:1的比例划分CT数据集的训练样本集，验证样本集和测试样本集；
(2)搭建边缘校正分割子网络BR-Seg-Net：
(2a)串行连接3个残差子模块RES组成边缘解码路径，将边缘解码路径添加到现有的3DRes-UNet网络中，该边缘解码路径与3D Res-UNet网络中语义解码路径中的第一个残差子模块RES相连，构成边缘校正分割子网络BR-Seg-Net的网络框架；
(2b)向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加空间注意模块和通道注意模块；
(2c)构建边缘校正模块BR，并将该边缘校正模块BR与边缘校正分割子网络BR-Seg-Net中语义解码路径和边缘解码路径中的残差子模块RES相连接；
(2d)构建特征融合模块FFM，并使用该特征融合模块FFM对边缘校正分割子网络BR-Seg-Net中语义解码路径中残差子模块RES的输出和边缘解码路径的输出进行融合，完成边缘校正分割子网络BR-Seg-Net的搭建；
(3)使用现有的3D UNet网络对CT图像中左、右侧股骨进行定位，提取边缘校正分割子网络BR-Seg-Net的输入；
(4)将3D UNet网络与边缘校正分割子网络BR-Seg-Net串行连接，搭建成基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net，
使用均匀分布初始化分割模型MTBR-Net的权重W，将分割模型MTBR-Net的偏置b均初始化为数值0；
(5)用CT影像数据训练样本集训练基于多任务学习边缘校正网络的男性盆腔CT分割模型MTBR-Net：
(5a)打乱训练数据集中图像的顺序，从中选择单个盆腔CT图像及其器官标签和边缘标签，记为一个训练批次{T,GO,GE}，其中T为一个训练批次中的CT图像，GO、GE为与T对应的器官标签和边缘标签；
(5b)将盆腔CT图像T输入到分割模型MTBR-Net中，经过分割模型MTBR-Net的前向传播，得到CT图像T对应的器官分割结果PO和边缘分割结果PE，计算器官分割结果PO与器官标签GO之间的损失Lloc，及器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg，得到分割模型MTBR-Net的损失函数L＝Lloc+Lseg；
(5c)设初始学习速率η＝0.001，使用自适应学习率优化算法Adam优化分割模型MTBR-Net的损失函数L，更新分割模型MTBR-Net的权重W和偏置b；
(5d)重复(5a)到(5c)，直到连续50轮重复迭代损失函数L没有降低，则停止训练，得到训练后的分割模型MTBR-Net；
(6)将CT测试样本集输入到训练后的男性盆腔CT分割模型MTBR-Net中，得到所获取的CT测试样本集的器官分割结果和边缘分割结果。
2.根据权利要求1所述的方法，其中(2a)每个残差子模块RES，由卷积核大小分别为1*1*1、3*3*3和1*1*1的三个卷积层串行连接组成，且第一个卷积层的输入与第三个卷积层的输出相加，作为模块输出。
3.根据权利要求1所述的方法，其中(2b)所述的向边缘校正分割子网络BR-Seg-Net中的每个残差子模块RES中添加通道注意模块和空间注意模块，实现如下：
(2b1)串行连接全局平均池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层，构成通道注意模块；
(2b2)将卷积核大小为1*1*1的卷积层作为空间注意模块；
(2b3)将残差子模块RES第三个卷积层的输出X3分别输入到通道注意模块和空间注意模块中，得到通道注意向量vC和空间注意向量vS；
(2b4)将残差子模块RES第三个卷积层的输出X3分别与通道注意向量vC和空间注意向量vS进行点乘，得到通道注意特征图XC和空间注意特征图XS；
(2b5)将通道注意特征图XC、空间注意特征图XS和每个残差子模块RES的第一个卷积层输入X0进行相加，以作为每个残差子模块RES的输出。
4.根据权利要求1所述的方法，其中(2c)中构建的边缘校正模块BR，其由卷积核大小为1*1*1的卷积层和卷积核为3*3*3，步长为2*2*2的反卷积层并行连接组成，该卷积层和反卷积层的输出特征图通道拼接后，再依次与卷积核大小为3*3*3的卷积层、ReLU激活层、卷积核大小为3*3*3的卷积层和Sigmoid激活层串行连接，完成边缘校正模块BR的搭建。
5.根据权利要求1所述的方法，其中(2d)中构建的特征融合模块FFM，其由以下5个分支并行连接组成：
分支一：串行连接卷积核大小为3*3*3，步长为8*8*8的反卷积层和卷积核大小为1*1*1的卷积层；
分支二:串行连接卷积核大小为3*3*3，步长为4*4*4的反卷积层和卷积核大小为1*1*1的卷积层；
分支三：串行连接卷积核大小为3*3*3，步长为2*2*2的反卷积层和卷积核大小为1*1*1的卷积层；
分支四：卷积核大小为1*1*1的卷积层；
分支五：卷积核大小为1*1*1的卷积层；
该5个分支的输出特征图通道拼接后，再与卷积核大小为1*1*1的卷积层串行连接，构成特征融合模块FFM。
6.根据权利要求1所述的方法，其中(3)中所述的使用现有的3D UNet网络对CT图像中左、右侧股骨进行定位，提取边缘校正分割子网络BR-Seg-Net的输入，实现如下：
(3a)将CT图像I输入到3D UNet网络中，得到CT图像I中左侧股骨中心位置(Xl,Yl,Zl)和右侧股骨中心位置(Xr,Yr,Zr)；
(3b)根据左、右侧股骨中心位置，得到边缘校正分割子网络BR-Seg-Net的输入I'：
I'＝I[S/2-80:S/2+80,D/2-72:D/2+72,t-40:t+40]
t＝(Zr-Zl)/2+Zl
其中，S和D为CT图像I的长和宽，Zl为左侧股骨的轴向中心坐标，Zr为右侧股骨的轴向中心坐标。
7.根据权利要求1所述的方法，其中(5b)中计算器官分割结果PO与器官标签GO之间的损失Lloc，公式如下：
Figure FDA0002784574120000041
其中，POi和GOi分别表示器官分割结果PO与医生手工勾画的器官标签GO第i个通道，Q、D和H分别表示输入CT图像的长、宽、高，q、d和h分别表示CT图像中长、宽、高的位置索引，q＝{1,...,Q}，d＝{1,...,D}，h＝{1,...,H}。
8.根据权利要求1所述的方法，其中(5b)中计算器官分割结果PO、边缘分割结果PE与器官标签GO、边缘标签GE之间的损失Lseg，公式如下：
Figure FDA0002784574120000042
其中，Q、D和H分别表示输入CT图像的长、宽、高，q、d和h分别表示CT图像中长、宽、高的位置索引，q＝{1,...,Q}，d＝{1,...,D}，h＝{1,...,H}。POj和GOj表示器官分割结果PO和医生手工勾画的器官标签GO的第j个通道，PE和GE表示边缘分割结果和医生手工勾画的边缘标签，N表示分割器官的个数，λo和λE分别表示语义分割损失项和边缘分割损失项的权重参数，log表示对数计算方式。
CN202011293215.9A 2020-11-18 2020-11-18 基于多任务学习边缘校正网络的男性盆腔ct分割方法 Active CN112419348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011293215.9A CN112419348B (zh) 2020-11-18 2020-11-18 基于多任务学习边缘校正网络的男性盆腔ct分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011293215.9A CN112419348B (zh) 2020-11-18 2020-11-18 基于多任务学习边缘校正网络的男性盆腔ct分割方法

Publications (2)

Publication Number Publication Date
CN112419348A true CN112419348A (zh) 2021-02-26
CN112419348B CN112419348B (zh) 2024-02-09

Family

ID=74772919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011293215.9A Active CN112419348B (zh) 2020-11-18 2020-11-18 基于多任务学习边缘校正网络的男性盆腔ct分割方法

Country Status (1)

Country Link
CN (1) CN112419348B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020028352A1 (en) * 2018-07-31 2020-02-06 Washington University Methods and systems for segmenting organs in images using a cnn-based correction network
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
WO2020168820A1 (zh) * 2019-02-22 2020-08-27 中国石油大学(华东) 一种基于yolo卷积神经网络的胆石病ct医疗图像数据增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020028352A1 (en) * 2018-07-31 2020-02-06 Washington University Methods and systems for segmenting organs in images using a cnn-based correction network
WO2020168820A1 (zh) * 2019-02-22 2020-08-27 中国石油大学(华东) 一种基于yolo卷积神经网络的胆石病ct医疗图像数据增强方法
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
贡荣麟;施俊;王骏;: "面向乳腺超声图像分割的混合监督双通道反馈U-Net", 中国图象图形学报, no. 10 *
郭雯;鞠忠建;吴青南;全红;戴相昆;: "基于深度学习的器官自动分割研究进展", 医疗卫生装备, no. 01 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN113436173B (zh) * 2021-06-30 2023-06-27 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统

Also Published As

Publication number Publication date
CN112419348B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN112673395A (zh) 用于放射治疗计划的医学图像中的器官分割的3d卷积神经网络
US20120207359A1 (en) Image Registration
CN113096766B (zh) 一种个性化精准放疗计划中的三维剂量预测方法及系统
Girum et al. Learning with context feedback loop for robust medical image segmentation
Xu et al. BPGAN: Bidirectional CT-to-MRI prediction using multi-generative multi-adversarial nets with spectral normalization and localization
CN112820377B (zh) 一种基于深度学习的放疗计划自动生成方法
Xuan et al. Dynamic graph convolutional autoencoder with node-attribute-wise attention for kidney and tumor segmentation from CT volumes
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
Trimpl et al. Beyond automatic medical image segmentation—the spectrum between fully manual and fully automatic delineation
Peng et al. Semi-automatic prostate segmentation from ultrasound images using machine learning and principal curve based on interpretable mathematical model expression
Peng et al. Interpretable mathematical model-guided ultrasound prostate contour extraction using data mining techniques
Jiang et al. One shot PACS: Patient specific Anatomic Context and Shape prior aware recurrent registration-segmentation of longitudinal thoracic cone beam CTs
Li et al. Pancreas segmentation via spatial context based u-net and bidirectional lstm
CN112419348B (zh) 基于多任务学习边缘校正网络的男性盆腔ct分割方法
CN113192069A (zh) 三维断层扫描图像中树状结构的语义分割方法和装置
Bharti et al. Qemcgan: quantized evolutionary gradient aware multiobjective cyclic gan for medical image translation
CN117237322A (zh) 一种基于医学图像的器官分割建模方法及终端
CN116721253A (zh) 一种基于深度学习的腹部ct图像多器官分割方法
Gibou et al. Partial differential equations-based segmentation for radiotherapy treatment planning
CN113593672B (zh) 一种放疗靶区智能勾画方法
Losnegård et al. Semi-automated segmentation of the sigmoid and descending colon for radiotherapy planning using the fast marching method
Chen et al. Integrated frameworkfor simultaneous segmentation and registration of carpal bones
Bai et al. Progressive medical image annotation with convolutional neural network-based interactive segmentation method
Wang et al. 3D matting: A benchmark study on soft segmentation method for pulmonary nodules applied in computed tomography
US20220344033A1 (en) Method and System for Anatomical Labels Generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant