CN117392153B - 一种基于局部补偿和多尺度自适应变形的胰腺分割方法 - Google Patents

一种基于局部补偿和多尺度自适应变形的胰腺分割方法 Download PDF

Info

Publication number
CN117392153B
CN117392153B CN202311663797.9A CN202311663797A CN117392153B CN 117392153 B CN117392153 B CN 117392153B CN 202311663797 A CN202311663797 A CN 202311663797A CN 117392153 B CN117392153 B CN 117392153B
Authority
CN
China
Prior art keywords
feature map
branch
representing
dice
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311663797.9A
Other languages
English (en)
Other versions
CN117392153A (zh
Inventor
陈欣儿
曾锦山
万欢
邓桃娜
汪叶飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202311663797.9A priority Critical patent/CN117392153B/zh
Publication of CN117392153A publication Critical patent/CN117392153A/zh
Application granted granted Critical
Publication of CN117392153B publication Critical patent/CN117392153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像技术领域，公开了一种基于局部补偿和多尺度自适应变形的胰腺分割方法，包括下列步骤：步骤一、构建双分支模型；所述双分支模型包括定位分支和分割分支，定位分支的输入是完整的三切片组图像，用于对完整的三切片组图像进行裁剪并输出到分割分支，分割分支用于对裁剪后的三切片组图像进行分割得到细分割结果；步骤二、利用切片图形的样本及相应真实标签对双分支模型进行训练；步骤三、利用训练后的双分支模型对三切片组图像进行胰腺分割。本发明通过局部补偿模块将微小胰腺特征重新补充回来，通过融合多尺度自适应形变模块灵活捕捉胰腺的形态位置差异，能很好的适应相邻切片之间形变差异大的场景。

Description

一种基于局部补偿和多尺度自适应变形的胰腺分割方法
技术领域
本发明属于医学图像技术领域，具体涉及一种基于局部补偿和多尺度自适应变形的胰腺分割方法。
背景技术
早期诊断和及时治疗对于治疗胰腺癌具有重要意义。从计算机断层扫描（CT）图像中准确分割胰腺有助于及时监测胰腺的异常体积变化和异常生长，为胰腺癌的预防、诊断和外科治疗提供帮助。
早期研究胰腺分割常用的策略是利用深度学习和卷积神经网络等技术，通过训练模型自动学习胰腺的特征，并进行分割。这类方法可以适应不同的图像变化和复杂解剖结构，取得了较好的分割效果，例如语义分割和疾病检测。但是由于胰腺通常占据整个腹部CT体积的非常小的部分，并且形状和大小的变化很大，不易在深度神经网络中捕捉，所以许多单分支方法已逐渐被基于先定位后分割的双分支方法所取代，如基于数据增强训练策略的分割方法和基于注意力机制的分割网络方法。
双分支分割方法与单分支分割方法相比较，通常产生更高的分割精度，这得益于通过在目标周围应用较小的输入区域来抑制不相关的背景信息。然而在定位阶段，很多深度卷积网络为了获得可靠的语义信息，试图叠加越来越多的池化和降采样操作，使得在前向传播中逐渐丢失像素数较少的微小胰腺特征，因此降低了微小胰腺的检测定位性能。且在分割阶段由于网络模型的局限性，上下文信息的缺乏以及腺体被周围组织阻塞，面对相邻切片之间形变差异大的情况下，会出现分割效果骤降的现象，导致后续分割精度不高。也就是说，对于像素数较少的微小胰腺和相邻切片之间形变差异大的胰腺分割效果很不好，这是由于当图像的分辨率不足以清晰捕捉微小胰腺的差异细节变化时，网络可能会无法准确地定位胰腺的位置或错过胰腺的变异特征信息。
发明内容
本发明的目的是提供一种基于局部补偿和多尺度自适应变形的胰腺分割方法，用于解决现有技术中由于网络模型的局限性，上下文信息的缺乏以及腺体被周围组织阻塞，面对相邻切片之间形变差异大的情况下，会出现分割效果骤降的现象，导致后续分割精度不高的技术问题。
所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，包括下列步骤。
步骤一、构建双分支模型。
所述双分支模型包括定位分支和分割分支，定位分支的输入是完整的三切片组图像，定位分支用于对完整的三切片组图像进行裁剪并输出到分割分支，分割分支用于对裁剪后的三切片组图像进行分割得到细分割结果。
步骤二、采集一定数量的所述三切片组图像经过预处理后形成训练样本，利用训练样本及相应真实标签对双分支模型进行训练。
步骤三、利用训练后的双分支模型对三切片组图像进行胰腺分割。
所述定位分支包括局部补偿模块、第一fcn8s网络和权重转换模块，局部补偿模块被用于对输出特征图进行细化特征提取并生成局部补偿特征，第一fcn8s网络用于处理完整的三切片组图像以输出粗分割结果，权重转换模块用于完成权重转换，局部补偿特征被补充进第一fcn8s网络中，粗分割结果经权重转换后用于裁剪完整的三切片组图像。
分割分支包括第二fcn8s网络和多尺度自适应形变模块，多尺度自适应形变模块用于提取胰腺的上下文信息并生成局部信息，再融合低层的局部信息和高层的全局信息生成输出特征，第二fcn8s网络用于处理裁剪后的三切片组图像以输出细分割结果，输出特征被补充进第二fcn8s网络中。
所述步骤二中，利用训练样本及相应的粗分割真实标签、细分割真实标签，以及预处理阶段生成的边界标签在训练中减小整个模型损失，实现对双分支模型的优化。
优选的，局部补偿模块生成局部补偿特征的具体方法如下。
第一步、从输出特征图提取原始特征图，进一步提取不同尺寸的初级细化特征图，初级细化特征图再与原始特征图融合形成复合初级细化特征图；所述输出特征图源自第一fcn8s网络的第2、3、4个VGG块的输出。
第二步、以四个不同扩张率的空洞卷积和一个全局平均池化对复合初级细化特征图并行采样，紧接着将得到的结果拼接在一起，经过处理后输出中级细化特征图。
第三步、使用连续卷积层组合多尺度的中级细化特征图，得到高级细化特征图，以语义特征作为高级语义特征图对高级细化特征图进行挑选，将每个空间压缩成一系列实数。
第四步、通过上一步得到的实数计算高级语义特征图和高级细化特征图的软注意力权重，再进一步计算出局部补偿特征。
优选的，所述第一步中，对各个输出特征图提取特征，得到的原始特征图用Ei表示，其中i∈{2,3,4}，第一fcn8s网络中K2尺度的第二个全连接层提供的语义特征用G7表示，原始特征图Ei分别通过不同尺度的全局平均池化得到4个不同尺寸的初级细化特征图，j∈{1,2,3,4}，糅合了多种尺度的复合初级细化特征图Ei'的计算公式如下：，其中，conv1×1( )表示通过1×1的卷积核进行卷积操作，δ( )表示用ReLU函数处理，U( )表示用双线性插值上采样处理，C( )表示拼接操作。
优选的，所述第二步中，空洞卷积的表达式如下：
其中，w[k]表示第k个卷积核的权重参数，Ei'[x+rk]是指输入数据的像素值，输入数据即初级细化特征图，其中x+rk是指根据步长和孔洞大小来计算卷积核在输入数据中的位置，K代表卷积核尺寸大小，k表示第k个卷积核，r表示空洞卷积的扩张率，x是指高度H上的第x个位置。
生成中级细化特征图Ei''的公式如下：
其中，δ( )表示用ReLU函数处理，B( )表示批归一化处理，C( )表示拼接操作，y[x]1，y[x]6，y[x]12，y[x]18分别表示相应四个扩张率r的空洞卷积的输出，H×W表示中级细化特征图Ei''的空间维度，Ei'(x,y)表示初级细化特征图Ei'中位置(x,y)像素点的像素值，代表全局平均池化操作。
优选的，所述第三步中，生成高级细化特征图Eh的公式如下：
Eh=conv1×1(conv3×3(conv1×1(E2'',E3'',E4'')))
其中，conv1×1( )、conv3×3( )分别表示通过1×1和3×3的卷积核进行卷积操作，E2'',E3'',E4''分别表示相应的中级细化特征图Ei''，i∈{2,3,4}，，表示维度为C7×H7×W7的空间。
所述实数的计算公式如下：
其中，P表示所述实数，Xh为高级语义特征图，语义特征G7作为高级语义特征图Xh使用，，与高级细化特征图Eh有相同的维度，Xh(x,y)、Eh(x,y)则分别表示高级语义特征图Xh和高级细化特征图Eh各自位置(x,y)像素点的像素值。
优选的，所述第四步中，实数P经过两个全连接层实现先降维再升维，输出两个矩阵m和n，有m+n=1，矩阵m和矩阵n的计算公式如下：
其中，fc1( )和fc2( )分别表示通过第一个全连接层和第二个全连接层处理，Xh( )表示获取高级语义特征图Xh的操作，Eh( )表示获取高级细化特征图Eh的操作，矩阵m和矩阵n分别是高级细化特征图Eh和高级语义特征图Xh的软注意力权重；局部补偿特征Z的计算式为：Z=mEh+nXh。
优选的，多尺度自适应形变模块生成输出特征的具体方法如下。
第一步、从目标特征图提取不同尺度的上下文信息，并融合形成局部信息，所述目标特征图源自第二fcn8s网络的第2、3、4个VGG块的输出。
裁剪后的三切片组图像被第二fcn8s网络提取特征生成目标特征图，，j∈{2,3,4}；多尺度自适应形变模块将目标特征图/>分别输入到连续四次堆叠的四个不同扩张率的空洞卷积和一个全局平均池化层中并行采样，由此得到多尺度的上下文信息/>，合并多尺度的上下文信息/>，得到局部信息/>的计算式为：，其中，conv1×1( )、conv3×3( )分别表示通过1×1和3×3的卷积核进行卷积操作，/>，/>，/>分别表示对应下标的/>，j∈{2,3,4}。
第二步、将局部信息与全局信息融合得到输出特征；通过逐像素相加融合低层的局部信息和高层的全局信息，全局信息由K2尺度的第二全连接层输出，使用全局平均池化集成低层和高层的特征生成融合的全局信息，并使用两层全连接层来降低维度，输出权重矩阵a和权重矩阵b；使用权重矩阵a和权重矩阵b对局部信息和高层的全局信息进行加权操作，最后求和得到最终的输出特征B。
优选的，本方法采用的双分支模型的整个模型损失的计算式为：Lloss=λ0L'dice+λ1L''dice+λ1Lbce，其中，Lloss表示整个模型损失，L'dice表示粗分割结果和对应的粗分割真实标签间的骰子损失，L''dice表示细分割结果和对应的细分割真实标签间的骰子损失，Lbce表示边界预测图与边界标签之间的二进制交叉熵损失，λ0、λ1、λ2依次为骰子损失L'dice、骰子损失L''dice、二进制交叉熵损失Lbce的权重。
优选的，二进制交叉熵损失的表达式如下：
上式中，表示边界预测图第i个像素的值，yi表示边界标签第i个像素的值，N表示像素的数量。
骰子损失的表达式如下：
上式中，N表示像素的数量，当骰子损失Ldice为L'dice时，表示定位分支模型对第i个像素的预测值，yi表示粗分割真实标签第i个像素的值；当骰子损失Ldice为L''dice时，/>表示分割分支模型对第i个像素的预测值，yi表示细分割真实标签第i个像素的值。
本发明具有以下优点：本发明用于分割体积小且可变的胰腺。在定位分支中，本方法通过局部补偿模块充分有效地利用了底层特征的高分辨率细节信息和高层特征的低分辨率语义信息，将微小胰腺特征重新补充回来，增强胰腺的位置信息，更好地定位和识别小尺寸的胰腺。
在分割分支中，本方法利用多尺度自适应形变模块通过融合多尺度扩张卷积特征，获取丰富的上下文信息进行特征增强，不同尺度的上下文信息和语义特征信息使网络能够自适应匹配胰腺的形状，灵活捕捉胰腺的形态位置差异，能很好的适应相邻切片之间形变差异大的场景。同时，集成低层的局部信息与高层的全局信息，实现局部特征和全局特征的交互，融合不同层次的特征提高分割的精确度和鲁棒性。
与此同时，在分割分支的训练中，通过预处理阶段用轮廓提取算法提前生成胰腺的边界标签。在训练的分割阶段，边界标签帮助模型更好地处理胰腺的边界纹理和局部特征，迫使网络更加关注胰腺的边缘，缓解边界模糊的问题。
附图说明
图1为本发明一种基于局部补偿和多尺度自适应变形的胰腺分割方法的整体流程图。
图2为本发明中局部补偿模块生成局部补偿特征的流程图。
图3为本发明中多尺度自适应形变模块生成输出特征的流程图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
胰腺精确分割的主要难点来自三个方面：(1)胰腺通常占据整个腹部CT体积的非常小的部分，不易在深度神经网络中捕捉；(2)胰腺与周围组织对比度低(如胃壁、十二指肠、小肠)，也就是密度相似，边界模糊；(3)胰腺在解剖结构和几何形状上都是高度可变的，层间和层内形状不规则且位置变异性大。在深度卷积网络中，底层特征含有丰富的细节信息，有利于小尺寸胰腺的检测；高层特征含有丰富的语义信息，有利于大尺寸胰腺的检测。
如图1-图3所示，本发明提供了一种基于局部补偿和多尺度自适应变形的胰腺分割方法，包括下列步骤。
步骤一、构建双分支模型。
所述双分支模型包括定位分支和分割分支。定位分支的输入是完整的三切片组图像，该三切片组图像源自腹部CT，三切片组图像被第一fcn8s网络提取特征后将所得的输出特征图输入到局部补偿模块中，用于提取底层细节特征并保留外观特征。分割分支则通过多尺度自适应形变模块提取上下文信息用于细化胰腺分割。上述模型对图像的处理方法过程表示为O=g(f(X,α),β)，其中f( )、g( )依次表示定位分支和分割分支的模型处理算法，α，β依次为定位分支和分割分支的模型参数，X表示本方法的输入，O表示本方法的输出。
定位分支包括局部补偿模块、第一fcn8s网络和权重转换模块，与局部补偿模块融合的第一fcn8s网络用于对输入本模型的原始图像进行粗分割，以获得粗略的胰腺概率图，该胰腺概率图即粗分割结果，再通过权重转换模块将粗分割结果用于裁剪原始图像。
分割分支包括第二fcn8s网络和多尺度自适应形变模块，多尺度自适应形变模块被引入第二fcn8s网络中用于提取胰腺的上下文信息，以提高模型应对相邻切片由于形变差异大而精度骤降问题的性能；该分支还将利用通过轮廓提取算法预先获取胰腺的边界标签，将该边界标签融合到分割阶段迫使第二fcn8s网络更加关注胰腺的边缘，从而得到细分割结果。
第一fcn8s网络和第二fcn8s网络均为fcn8s网络，fcn8s网络对输入图像进行渐进滤波和二次采样，以扩展感受野并提取更高维度的信息。fcn8s网络有五个VGG块，每个VGG块的输出用V i 表示，i∈{1,2,3,4,5}，每个VGG块的输出大小依次为输入大小的1/2、1/4、1/8、1/16、1/32。每个VGG块包括两个或三个3×3的卷积层，每个卷积层后面都有一个非线性激活函数ReLU。五个VGG块后面还紧跟着两个全连接层将数据从低维空间映射到高维空间，两个全连接层的尺度用K i 表示，i∈{1,2}。在解码部分，fcn8s网络利用三个转置卷积层将图像大小恢复到原始大小，结合深层的语义信息和浅层的外观信息对图像进行精确分割，利用跳跃连接来弥补二次采样过程中的信息损失。
步骤二、采集一定数量的所述三切片组图像经过预处理后形成训练样本，利用训练样本及相应真实标签对双分支模型进行训练。
如图1所示，训练过程包括如下步骤。
S2.1完整的三切片组图像输入定位分支，由第一fcn8s网络提取特征生成输出特征图，再通过局部补偿模块对输出特征图进行细化特征提取，并处理得到局部补偿特征，将局部补偿特征补充进第一fcn8s网络中，第一fcn8s网络对完整的三切片组图像处理后输出粗分割结果，粗分割结果经权重转换后用于裁剪完整的三切片组图像，裁剪后的三切片组图像输入分割分支。
如图2所示，局部补偿模块生成局部补偿特征的具体方法如下。
第一步、从输出特征图提取原始特征图，进一步提取不同尺寸的初级细化特征图，初级细化特征图再与原始特征图融合形成复合初级细化特征图。
所述输出特征图源自第一fcn8s网络的第2、3、4个VGG块的输出，在该分支中可以对应用V2、V3、V4表示。对各个输出特征图提取特征，得到的原始特征图用Ei表示，其中i∈{2,3,4}，，表示特征来自于相应的输出特征图V2、V3、V4。第一fcn8s网络中K2尺度的第二个全连接层提供的语义特征用G7表示，/>，/>表示维度为C7×H7×W7的空间。细化特征的提取是将原始特征图Ei分别通过不同尺度(1×1、2×2、3×3、6×6)的全局平均池化，对于每个原始特征图Ei而言就得到4个不同尺寸的初级细化特征图/>，其中i∈{2,3,4}，j∈{1,2,3,4}，通过卷积操作给4个不同尺寸的初级细化特征图进行降维，再分别进行上采样操作将这些初级细化特征图恢复至对应的原始特征图Ei的大小，之后在通道维度上将原始特征图Ei和与之相对应的4个经过上采样后的初级细化特征图进行拼接，最终输出一个糅合了多种尺度的复合初级细化特征图Ei'，i∈{2,3,4}，具体计算公式如下：
其中，conv1×1( )表示通过1×1的卷积核进行卷积操作，δ( )表示用ReLU函数处理，U( )表示用双线性插值上采样处理，C( )表示拼接操作，，/>，/>，/>即分别表示对应的初级细化特征图/>。
第二步、以四个不同扩张率的空洞卷积和一个全局平均池化对复合初级细化特征图并行采样，紧接着将得到的结果拼接在一起，经过处理后输出中级细化特征图。
以四个不同扩张率（扩张率r=1,6,12,18）的空洞卷积和一个全局平均池化对复合初级细化特征图Ei'并行采样。空洞卷积的表达式如下：
其中，w[k]表示第k个卷积核的权重参数，Ei'[x+rk]是指输入数据的像素值，输入数据即初级细化特征图，其中x+rk是指根据步长和孔洞大小来计算卷积核在输入数据中的位置，K代表卷积核尺寸大小，k表示第k个卷积核，r表示空洞卷积的扩张率，x是指高度H上的第x个位置。扩张率r对应于采样输入信号的步幅，而标准卷积是扩张率r=1的特殊情况。因此上式表示公式含义：将卷积核与输入数据进行逐元素相乘，并将结果累加得到空洞卷积的输出y[x]r。
紧接着将空洞卷积得到的结果与全局平均池化操作的结果都拼接在一起，扩大通道数，然后再通过1×1的卷积将通道数降低到预期的数值，输出中级细化特征图Ei''，公式如下：
其中，δ( )表示用ReLU函数处理，B( )表示批归一化处理，C( )表示拼接操作，y[x]1，y[x]6，y[x]12，y[x]18分别表示相应四个扩张率r的空洞卷积的输出，H×W表示中级细化特征图Ei''的空间维度，Ei'(x,y)表示初级细化特征图Ei'中位置(x,y)像素点的像素值，代表全局平均池化操作。
经过上式的计算获得分别与原始特征图E2、E3、E4相对应的中级细化特征图E2''、E3''、E4''，这些中级细化特征包括不同尺度、不同子区域间关系的分层全局信息。
第三步、使用连续卷积层组合多尺度的中级细化特征图，得到高级细化特征图，以语义特征作为高级语义特征图对高级细化特征图进行挑选，将每个空间压缩成一系列实数。
使用连续卷积层组合多尺度特征，三个卷积层对应卷积核大小依次为1×1、3×3、1×1，使得来自不同尺度的中级细化特征图E2''、E3''、E4''可以连接在一起，得到高级细化特征图Eh，，/>表示维度为C7×H7×W7的空间，公式如下：
Eh=conv1×1(conv3×3(conv1×1(E2'',E3'',E4'')))
其中，conv1×1( )、conv3×3( )分别表示通过1×1和3×3的卷积核进行卷积操作，E2'',E3'',E4''分别表示相应的中级细化特征图Ei''。
与此同时，K2尺度上输出的具有C7×H7×W7大小的语义特征G7作为高级语义特征图Xh使用。为了抑制不相关的特征响应，将最终得到的高级细化特征图Eh中的大量混乱的背景信息去除，通过高级语义特征图Xh对高级细化特征图Eh进行挑选。因此，本方法选择用加权求权值来过滤冲突信息，防止微小的目标特征被淹没在冲突信息中；也就是将高级细化特征图Eh和高级语义特征图Xh相加后经过一个全局平均池化，将每个空间压缩成一系列实数P，相应计算公式如下：
其中，Xh为高级语义特征图，与语义特征G7相同，因而也具有与高级细化特征图Eh相同的维度，Xh(x,y)、Eh(x,y)则分别表示高级语义特征图Xh和高级细化特征图Eh各自位置(x,y)像素点的像素值。
第四步、通过上一步得到的实数计算高级语义特征图和高级细化特征图的软注意力权重，再进一步计算出局部补偿特征。
使用连续卷积层组合多尺度的中级细化特征图，得到高级细化特征图，以语义特征作为高级语义特征图对高级细化特征图进行挑选，将每个空间压缩成一系列实数。
然后实数P经过两个全连接层（FC层）实现先降维再升维，输出两个矩阵m和n，且有m+n=1，矩阵m和矩阵n的计算公式如下：
其中，fc1( )和fc2( )分别表示通过第一个全连接层和第二个全连接层处理，Xh( )表示获取高级语义特征图Xh的操作，Eh( )表示获取高级细化特征图Eh的操作，矩阵m和矩阵n分别是高级细化特征图Eh和高级语义特征图Xh的软注意力权重。
通过矩阵m和n分别对高级细化特征图Eh和高级语义特征图Xh进行加权操作后再相加得到最终的输出结果Z，输出结果Z为局部补偿特征，计算式为：Z=mEh+nXh。最后，将局部补偿特征Z补充进定位分支的第一fcn8s网络中，与完整的三切片组图像相加融合作为模型输入，实现对丢失掉的微小胰腺重新获取细节特征的效果。第一fcn8s网络经过训练后形成定位分支模型，对完整的三切片组图像处理后输出粗分割结果，用于裁剪完整的三切片组图像。
权重转换模块用于准确裁剪输入的三切片组图像，具体裁剪方法包括：三切片组图像输入定位分支后经第一fcn8s网络处理得到相应的胰腺概率图，第一fcn8s网络通过局部补偿模块对输出特征图进行细化特征提取，对丢失掉的微小胰腺重新获取细节特征，从而完成粗分割并输出包括细节特征的胰腺概率图（即粗分割结果）。权重转换模块处理上述胰腺概率图并产生一个输出，即一组空间权重的集合；空间权重的集合被分配给输入的三切片组图像以生成对应的关注图像，生成的关注图像即经定位分支裁剪后的三切片组图像。裁剪后的三切片组图像将被复制并输入到分割分支进行精细分割，以获得具有更高分割精度的最终预测。
S2.2裁剪后的三切片组图像输入分割分支，由第二fcn8s网络提取特征生成目标特征图，再通过多尺度自适应形变模块对输出特征图进行采样获取上下文信息，合并多尺度的上下文信息得到局部信息，融合低层的局部信息和高层的全局信息，生成输出特征，将输出特征补充进第二fcn8s网络中，第二fcn8s网络对裁剪后的三切片组图像处理后输出细分割结果。
在分割分支中，输入的是经定位分支裁剪后的三切片组图像，裁剪后的三切片组图像被第二fcn8s网络提取特征生成目标特征图，/>，j∈{2,3,4}，表示维度为Cj×Hj×Wj的空间。
如图3所示，多尺度自适应形变模块生成输出特征的具体方法如下。
第一步、从目标特征图提取不同尺度的上下文信息，并融合形成局部信息。所述目标特征图源自第二fcn8s网络的第2、3、4个VGG块的输出，在该分支中可以对应用V2、V3、V4表示。
多尺度自适应形变模块将目标特征图分别输入到连续四次堆叠的四个不同扩张率（扩张率r=1,6,12,18）的空洞卷积和一个全局平均池化层中并行采样，由此得到多尺度的上下文信息/>，使得网络可以灵活捕捉胰腺的形态差异。每一次并行采样堆叠前都会将得到的结果先拼接并经过1×1的卷积降低通道数，减少计算量，之后与局部补偿模块中后续操作相同，再通过两个1×1和一个3×3的卷积核融合所获取的不同尺度的上下文信息以捕获不同尺度特征图之间的关系，从而有效地合并多尺度的上下文信息/>，得到局部信息/>。计算式为：
其中，conv1×1( )、conv3×3( )分别表示通过1×1和3×3的卷积核进行卷积操作，，/>，/>分别表示对应下标的/>，j∈{2,3,4}。
第二步、将局部信息与全局信息融合得到输出特征。
通过逐像素相加融合低层的局部信息和高层的全局信息，全局信息由第二fcn8s网络中K2尺度的第二全连接层输出；简单地使用全局平均池化集成低层和高层的特征，生成融合的全局信息，并使用两层全连接层来降低维度以提高效率，输出权重矩阵a和权重矩阵b。
使用获得的a和b两个权重矩阵对局部信息和高层的全局信息进行加权操作，最后求和得到最终的输出特征B。加权操作使网络更加关注目标边缘的高频纹理信息，从而能根据目标的边缘自适应地聚焦到相应的区域。输出特征B被加入第二fcn8s网络中，与裁剪后的三切片组图像相加融合作为模型输入，从而能通过丰富的上下文信息和语义特征使得网络在相邻切片形变差异大的情况下具有鲁棒性，并帮助模型更好地处理目标器官的边界和局部特征，进一步提高识别精度。第二fcn8s网络经过训练后形成分割分支模型，对裁剪后的三切片组图像处理后输出细分割结果，即本方法的最终输出。
S2.3利用训练样本及相应的粗分割真实标签、细分割真实标签，以及预处理阶段生成的边界标签在训练中减小整个模型损失，实现对双分支模型的优化。
在预处理阶段通过边缘轮廓算法对原始图像标签进行边缘轮廓提取，分析二值化图像中的像素连接关系来查找图像中的轮廓，以生成包括边缘信息的高频特征边界标签。在对第二fcn8s网络训练时，通过第二fcn8s网络的解码部分对输出特征B处理，从而生成相应的边界预测图。将边界预测图与边界标签之间的损失最小化，能使得模型边界的预测更接近真实值。
本方法所采用的双分支模型以二进制交叉熵损失和骰子损失的总和作为最终损失函数。二进制交叉熵损失的表达式如下：
其中，Lbce表示二进制交叉熵损失，表示模型对第i个像素的预测值，yi表示真实标签第i个像素的值（即对应预测值的地面真值），N表示像素的数量。
骰子损失的表达式如下：
其中，Ldice表示骰子损失，表示模型对第i个像素的预测值，yi表示真实标签第i个像素的值（即对应预测值的地面真值），N表示像素的数量。
而本方法采用的双分支模型的整个模型损失的计算式为：
Lloss=λ0L'dice+λ1L''dice+λ2Lbce
其中，Lloss表示整个模型损失，L'dice表示粗分割结果和对应的粗分割真实标签间的骰子损失，用于训练第一fcn8s网络，此时表示定位分支模型对第i个像素的预测值，yi表示粗分割真实标签第i个像素的值；L''dice表示细分割结果和对应的细分割真实标签间的骰子损失，用于训练第二fcn8s网络，此时/>表示分割分支模型对第i个像素的预测值，yi表示细分割真实标签第i个像素的值；Lbce表示边界预测图与边界标签之间的二进制交叉熵损失，用于训练多尺度自适应形变模块，此时/>表示边界预测图第i个像素的值，yi表示边界标签第i个像素的值，λ0、λ1、λ2依次为骰子损失L'dice、骰子损失L''dice、二进制交叉熵损失Lbce的权重，均为可调的超参数。
步骤三、利用训练后的双分支模型对三切片组图像进行胰腺分割。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (9)

1.一种基于局部补偿和多尺度自适应变形的胰腺分割方法，包括下列步骤：
步骤一、构建双分支模型；
所述双分支模型包括定位分支和分割分支，定位分支的输入是完整的三切片组图像，定位分支用于对完整的三切片组图像进行裁剪并输出到分割分支，分割分支用于对裁剪后的三切片组图像进行分割得到细分割结果；
步骤二、采集一定数量的所述三切片组图像经过预处理后形成训练样本，利用训练样本及相应真实标签对双分支模型进行训练；
步骤三、利用训练后的双分支模型对三切片组图像进行胰腺分割；
其特征在于：
所述定位分支包括局部补偿模块、第一fcn8s网络和权重转换模块，局部补偿模块被用于对输出特征图进行细化特征提取并生成局部补偿特征，第一fcn8s网络用于处理完整的三切片组图像以输出粗分割结果，权重转换模块用于完成权重转换，局部补偿特征被补充进第一fcn8s网络中，粗分割结果经权重转换后用于裁剪完整的三切片组图像；
分割分支包括第二fcn8s网络和多尺度自适应形变模块，多尺度自适应形变模块用于提取胰腺的上下文信息并生成局部信息，再融合低层的局部信息和高层的全局信息生成输出特征，第二fcn8s网络用于处理裁剪后的三切片组图像以输出细分割结果，输出特征被补充进第二fcn8s网络中；
所述步骤二中，预处理阶段用轮廓提取算法提前生成胰腺的边界标签，利用训练样本及相应的粗分割真实标签、细分割真实标签，以及边界标签在训练中减小整个模型损失，实现对双分支模型的优化。
2.根据权利要求1所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：局部补偿模块生成局部补偿特征的具体方法如下：
第一步、从输出特征图提取原始特征图，进一步提取不同尺寸的初级细化特征图，初级细化特征图再与原始特征图融合形成复合初级细化特征图；所述输出特征图源自第一fcn8s网络的第2、3、4个VGG块的输出；
第二步、以四个不同扩张率的空洞卷积和一个全局平均池化对复合初级细化特征图并行采样，紧接着将得到的结果拼接在一起，经过处理后输出中级细化特征图；
第三步、使用连续卷积层组合多尺度的中级细化特征图，得到高级细化特征图，以语义特征作为高级语义特征图对高级细化特征图进行挑选，将每个空间压缩成一系列实数；
第四步、通过上一步得到的实数计算高级语义特征图和高级细化特征图的软注意力权重，再进一步计算出局部补偿特征。
3.根据权利要求2所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：所述第一步中，对各个输出特征图提取特征，得到的原始特征图用Ei表示，其中i∈{2,3,4}，第一fcn8s网络中K2尺度的第二个全连接层提供的语义特征用G7表示，原始特征图Ei分别通过不同尺度的全局平均池化得到4个不同尺寸的初级细化特征图，j∈{1,2,3,4}，融合了多种尺度的复合初级细化特征图Ei'的计算公式如下：，其中，conv1×1( )表示通过1×1的卷积核进行卷积操作，δ( )表示用ReLU函数处理，U( )表示用双线性插值上采样处理，C( )表示拼接操作。
4.根据权利要求3所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：所述第二步中，空洞卷积的表达式如下：
其中，w[k]表示第k个卷积核的权重参数，Ei'[x+rk]是指输入数据的像素值，输入数据即初级细化特征图，其中x+rk是指根据步长和孔洞大小来计算卷积核在输入数据中的位置，K代表卷积核尺寸大小，k表示第k个卷积核，r表示空洞卷积的扩张率，x是指高度H上的第x个位置；
生成中级细化特征图Ei''的公式如下：
其中，δ( )表示用ReLU函数处理，B( )表示批归一化处理，C( )表示拼接操作，y[x]1，y[x]6，y[x]12，y[x]18分别表示相应四个扩张率r的空洞卷积的输出，H×W表示中级细化特征图Ei''的空间维度，Ei'(x,y)表示初级细化特征图Ei'中位置(x,y)像素点的像素值，代表全局平均池化操作。
5.根据权利要求4所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：所述第三步中，生成高级细化特征图Eh的公式如下：
Eh=conv1×1(conv3×3(conv1×1(E2'',E3'',E4'')))
其中，conv1×1( )、conv3×3( )分别表示通过1×1和3×3的卷积核进行卷积操作，E2'',E3'',E4''分别表示相应的中级细化特征图Ei''，i∈{2,3,4}，，表示维度为C7×H7×W7的空间；
所述实数的计算公式如下：
其中，P表示所述实数，Xh为高级语义特征图，语义特征G7作为高级语义特征图Xh使用，，与高级细化特征图Eh相同的维度，Xh(x,y)、Eh(x,y)则分别表示高级语义特征图Xh和高级细化特征图Eh各自位置(x,y)上像素点的像素值。
6.根据权利要求5所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：所述第四步中，实数P经过两个全连接层实现先降维再升维，输出两个矩阵m和n，有m+n=1，矩阵m和矩阵n的计算公式如下：
其中，fc1( )和fc2( )分别表示通过第一个全连接层和第二个全连接层处理，Xh( )表示获取高级语义特征图Xh的操作，Eh( )表示获取高级细化特征图Eh的操作，矩阵m和矩阵n分别是高级细化特征图Eh和高级语义特征图Xh的软注意力权重；局部补偿特征Z的计算式为：Z=mEh+nXh。
7.根据权利要求1所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：多尺度自适应形变模块生成输出特征的具体方法如下：
第一步、从目标特征图提取不同尺度的上下文信息，并融合形成局部信息，所述目标特征图源自第二fcn8s网络的第2、3、4个VGG块的输出；
裁剪后的三切片组图像被第二fcn8s网络提取特征生成目标特征图，/>，j∈{2,3,4}；多尺度自适应形变模块将目标特征图/>分别输入到连续四次堆叠的四个不同扩张率的空洞卷积和一个全局平均池化层中并行采样，由此得到多尺度的上下文信息/>，合并多尺度的上下文信息/>，得到局部信息/>的计算式为：，其中，conv1×1( )、conv3×3( )分别表示通过1×1和3×3的卷积核进行卷积操作，/>，/>，/>分别表示对应下标的/>，j∈{2,3,4}；
第二步、将局部信息与全局信息融合得到输出特征；通过逐像素相加融合低层的局部信息和高层的全局信息，全局信息由第二fcn8s网络中K2尺度的第二全连接层输出，使用全局平均池化集成低层和高层的特征生成融合的全局信息，并使用两层全连接层来降低维度，输出权重矩阵a和权重矩阵b；使用权重矩阵a和权重矩阵b对局部信息和高层的全局信息进行加权操作，最后求和得到最终的输出特征B。
8.根据权利要求1所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：所述方法采用的双分支模型的整个模型损失的计算式为：Lloss=λ0L'dice+λ1L''dice+λ1Lbce，其中，Lloss表示整个模型损失，L'dice表示粗分割结果和对应的粗分割真实标签间的骰子损失，L''dice表示细分割结果和对应的细分割真实标签间的骰子损失，Lbce表示边界预测图与边界标签之间的二进制交叉熵损失，λ0、λ1、λ2依次为骰子损失L'dice、骰子损失L''dice、二进制交叉熵损失Lbce的权重。
9.根据权利要求8所述的一种基于局部补偿和多尺度自适应变形的胰腺分割方法，其特征在于：二进制交叉熵损失的表达式如下：
上式中，表示边界预测图第i个像素的值，yi表示边界标签第i个像素的值，N表示像素的数量；
骰子损失的表达式如下：
上式中，N表示像素的数量，当骰子损失Ldice为L'dice时，表示定位分支模型对第i个像素的预测值，yi表示粗分割真实标签第i个像素的值；当骰子损失Ldice为L''dice时，/>表示分割分支模型对第i个像素的预测值，yi表示细分割真实标签第i个像素的值。
CN202311663797.9A 2023-12-06 2023-12-06 一种基于局部补偿和多尺度自适应变形的胰腺分割方法 Active CN117392153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311663797.9A CN117392153B (zh) 2023-12-06 2023-12-06 一种基于局部补偿和多尺度自适应变形的胰腺分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311663797.9A CN117392153B (zh) 2023-12-06 2023-12-06 一种基于局部补偿和多尺度自适应变形的胰腺分割方法

Publications (2)

Publication Number Publication Date
CN117392153A CN117392153A (zh) 2024-01-12
CN117392153B true CN117392153B (zh) 2024-02-23

Family

ID=89466876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311663797.9A Active CN117392153B (zh) 2023-12-06 2023-12-06 一种基于局部补偿和多尺度自适应变形的胰腺分割方法

Country Status (1)

Country Link
CN (1) CN117392153B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117764995B (zh) * 2024-02-22 2024-05-07 浙江首鼎视介科技有限公司 基于深度神经网络算法的胆胰成像系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782350A (zh) * 2022-04-14 2022-07-22 浙江工业大学 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法
WO2023015530A1 (zh) * 2021-08-12 2023-02-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机可读存储介质
WO2023045231A1 (zh) * 2021-09-22 2023-03-30 浙江大学 一种解耦分治的面神经分割方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015530A1 (zh) * 2021-08-12 2023-02-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机可读存储介质
WO2023045231A1 (zh) * 2021-09-22 2023-03-30 浙江大学 一种解耦分治的面神经分割方法和装置
CN114782350A (zh) * 2022-04-14 2022-07-22 浙江工业大学 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于2.5D级联卷积神经网络的CT图像胰腺分割方法;周芳芳;王一达;宋阳;杨光;;中国医学物理学杂志;20200625(第06期);全文 *

Also Published As

Publication number Publication date
CN117392153A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN113012172B (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN112258488A (zh) 一种医疗影像病灶分割方法
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
CN117392153B (zh) 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN112001928A (zh) 一种视网膜血管分割方法及系统
CN113012140A (zh) 基于深度学习的消化内镜视频帧有效信息区域提取方法
CN115239716B (zh) 一种基于形状先验U-Net的医学图像分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN114565628B (zh) 一种基于边界感知注意的图像分割方法及系统
CN115471470A (zh) 一种食管癌ct图像分割方法
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN116309429A (zh) 一种基于深度学习的芯片缺陷检测方法
CN116309679A (zh) 一种适用于多种模态的类mlp医学影像分割方法
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN117745745B (zh) 一种基于上下文融合感知的ct图像分割方法
CN114821645B (zh) 融合残差Inception与双向ConvGRU的皮肤病变分割方法
CN115345889B (zh) 一种肝脏及其肿瘤图像的分割方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
Wang et al. MAFUNet: Multi-Attention Fusion Network for Medical Image Segmentation
CN116229071A (zh) 基于多模态MRI的集成MP-Unet分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant