CN114841320A - 一种基于喉镜医学影像的器官自动分割方法 - Google Patents

Abstract

本发明属于计算机应用技术领域，尤其是涉及到一种基于喉镜医学影像的器官自动分割方法。本发明的方法包括：通过混合Transformer编码模块，能有效对远程依赖和多尺度上下文进行编码，使模型能够有效捕捉不同程度语义特征，从而提高细节分割效果；通过RRM解码模块，从高层语义信息到底层语义信息的“擦除”过程中，将不准确的分割区域逐渐细化为完整区域；通过卷积条件随机场模块，利用概率模型对分割结果进行优化，剔除较小的误分割区域并细化分割。本发明通过先后建立器官上下文信息、区分器官与软组织结构、在喉镜图像建立长距离依赖编码，融合局部特征和全局特征，从而解决现有技术对喉部器官分割不精准的问题。通过比较，该器官分割结构优于当前其他SOTA模型，mIOU较基准模型分别提升了3.9％、2.53％。

Description

一种基于喉镜医学影像的器官自动分割方法

技术领域：

本发明属于计算机应用技术领域，尤其是涉及到一种基于喉镜医学影像的器官自动分割方法。

背景技术：

喉部为一精密器官且部位较深，解剖结构及生理功能复杂，需要借助电子喉镜进行微小病变及肿瘤的早期发现，但临床诊断中电子喉镜图像数据庞大，人工诊断方式时间成本高，并且容易出现漏检、误检等情况，因此可以借助计算机视觉技术辅助医生对病变进行检测。而器官分割作为病变检测的研究基础以及医疗影像阅片的基础流程，有助于医生通过病变与所在器官形态进行病情诊断。

随着DL(deep learning)的发展，CNN(Convolutional Neural Networks) 在图像分割领域中占据了主导地位，特别是全卷积网络(FCN)开创了编码-解码结构的语义分割新思路，受FCN启发U-Net通过跳跃连接将深层语义信息和空间信息结合起来，在各种视觉任务中取得优异效果，然而U-Net仍然存在着不足：首先局部约束限制了模型感受野，而这对分割等任务至关重要；同时由于 CNN固有的归纳偏置，每个卷积核只能聚焦于整个图像中的一个子区域，这使得它失去了全局上下文，因此无法建立长期依赖关系。

发明内容：

本发明提出一种基于喉镜医学影像的器官自动分割方法，该方法通过先后建立器官上下文信息、区分器官与软组织结构、在喉镜图像建立长距离依赖编码，融合局部特征和全局特征，从而解决现有技术对喉部器官分割不准确的现象。

为了实现本发明的目的，本发明提供的技术方案是：一种基于喉镜医学影像的器官自动分割方法：包括混合Transformer编码模块、RRM解码模块和卷积条件随机场模块，所述混合Transformer编码模块由CNN范式和Transformer 范式两部分组成，所述RRM解码模块由反向注意力机制和感受野增强块组成，所述方法包括以下步骤

步骤1：原图先通过空洞卷积，提取高分辨率下的局部关系以及结构先验信息，然后通过层级Transformer网络-PVT捕获全局上下文信息，生成不同尺度特征图{f₁,f₂,f₃,f₄}；

步骤2：将不同尺度特征图{f₁,f₂,f₃,f₄}自上而下分别使用RRM模块处理，同时以级联方式对上层输出进行叠加，分别得到{S₄,S₃,S₂,S₁},形成渐进式分割框架，最后一层的叠加结果即为初步分割结果。

步骤3：通过卷积条件随机场模块对步骤2所得初步分割结果进行优化，剔除较小的误分割区域并细化分割，得到最终的分割结果。

进一步的，上述混合Transformer编码模块中

(1)通过空洞率为2，卷积核为3*3或4*4的空洞卷积生成更大感受野的特征图f₀，获取丰富的语义信息；

(2)将得到的特征图f₀通过PVT网络的四个阶段，生成不同大小尺度的特征图

式中：H、W表示图像分辨率，C表示图像通道数，f_i代表第i层生成的特征图。

进一步的，上述步骤2中RRM模块的处理分为两个步骤，(1)将上一层的输出S_i进行反向注意力处理得到A_i，接着将A_i和特征图f_i进行点乘融合得到R_i； (2)通过感受野增强块，将R_i通过不同空洞卷积极大挖掘特征信息。

进一步的，上述步骤(1)具体表示为：

R_i＝f_i⊙A_i (1)

反向注意力权重A_i已在显著目标检测任务中有广泛应用。它可表示为:

A_i＝1-σ(UP(S_i)) (2)

其中，σ(·)代表Sigmoid激活函数，up(·)代表采用双线性插值法上采样操作。

通过加入反向注意力抑制非目标区域，从而有效的指导网络探索缺失的目标区域和细节。

所述步骤(2)将R_i挖掘到不同程度语义特征的特征图，最后使用1×1卷积进行语义融合得到S_i。

进一步的，上述卷积条件随机场模块在全连接条件随机场基础上进行了条件独立假设补充，如果i和j像素之间的曼哈顿距离d满足d(i,j)＞k,则假设i和j 条件独立，k为过滤的距离大小。

与现有技术相比，本发明的优点是：

1、在混合transformer编码模块中，首先将原图通过空洞卷积操作，提取高分辨率下的局部关系以及结构先验信息。相比于普通卷积，其可在更大的区域和更多的上下文中捕获信息。其次，不同于现有的Vision Trasnformer网络，因其patch大小固定，导致其输出分辨率相对较低且固定，对于密集型视觉任务多有不适，基于此，本发明在现有的Trasnformer网络之上结合PVT模块，通过设定每个阶段patch大小为p_i，每个阶段对上一阶段特征图分割的patch 数为

线性映射到C_i维度，用这种方法使得每个阶段的长宽缩小为输入的 p_i倍，从而得以灵活调整每个阶段特征图的大小，可以在低级空间细节特征基础上捕获全局上下文信息。有效对远程依赖和多尺度上下文进行编码，使模型能够有效捕捉不同程度语义特征。

2、在RRM模块中将反向注意力和感受野增强块组合，通过将不同尺度特征图{f₁,f₂,f₃,f₄}自上而下分别使用RRM模块处理，同时以级联方式对上层输出进行叠加，分别得到{S₄,S₃,S₂,S₁},从高层语义信息到底层语义信息的“擦除”过程中，将不准确的分割区域逐渐细化为完整区域，从而产生一种渐进式分割框架，最后一层的叠加结果即为初步分割结果。其中RRM模块的处理分为两部分，第一部分首先将上一层的输出S_i进行反向注意力处理得到A_i，接着将A_i和特征图f_i进行点乘融合得到R_i，第二部分通过感受野增强块，将R_i通过不同空洞卷积极大挖掘特征信息。最后，从高层语义信息到底层语义信息的“擦除”过程中，将不准确的分割区域逐渐细化为完整区域，从而使得该框架分割精度更准确，比现有的方法分割效果更好。

3、以解决网络对分割结果边界的定位精度和大片粘膜组织影响导致的像素孤岛问题为出发点，借助概率模型的优势，将最终的分割结果和概率模型条件随机场结合。利用改进后的概率模型ConvCRF对网络分割结果进行优化。通过剔除较小的误分割区域并细化分割，从而达到高效、精准分割的目的。通过实验表明，本发明优于当前其他SOTA模型，mIOU较基准模型分别提升了3.9％、 2.53％。

4、本框架可以在喉部场景中，对电子喉镜图像进行分割并自动提取声带、会厌、梨状窝、病变及手术器械轮廓。

附图说明

图1为本发明一种基于喉镜医学影像的器官自动分割方法的总体框架图；

图2为混合Transformer编码器框架图；

图3为RRM模块分割效果图；

图4为反向注意力后的效果图，其中(a)表示S_i，(b)表示σ(·)后的结果，(c) 表示Reverse Attention后的结果；

图5为卷积条件随机场模块框架图。

图6为该方法在数据集1上分割优化的预测图；

图7为该方法在数据集2上分割优化的预测图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参见图1，本发明的实施例采用两个数据集进行实验。数据集一包括350名不同患者常规检查视频，每份视频时长2-5分钟不等，我们对视频帧进行筛选，过滤掉体外和模糊图像等无效图像，并将图像中因设备产生的无效边框进行裁剪，最终得到数据集含822张图像，分辨率为768x 768，包含声带、会厌、梨状窝、声带间隙、其他组织，此处声带分割类别包含声带开、声带闭两种类别，是因为声带小结或声带息肉可能也使声带呈打开形态，以此分类方便后续根据声带形态进行病情推断。训练集和测试集按照689:133随机划分。标注过程在医生协助下进行，并由一位资深耳鼻喉科医师审核确认。

数据集二采用来自Prof.Giorgio Peretti(Director of Otorhinolaryngologyat OspedalePoliclinico San Martino,University of Genova)的公开电子喉镜图像数据集。图像包含7个类别:声带、其他组织、声带间隙、病灶、手术器械、插管和空白区域。数据集由两名患者的五个不同序列组成，SEQ1-SEQ4来自病人1,SEQ5-SEQ8来自病人2。每个序列包含以下特征:

SEQ1:术前声带上有清晰的肿瘤，具有平移、旋转、尺寸变化，无手术器械，无插管。

SEQ2:术前声带上有清晰的肿瘤，具有平移、旋转、尺寸变化，有手术器械，有插管。

SEQ3-4:术后肿瘤切除，组织受损，具有平移和尺寸变化，有插管。

SEQ5-7:术前手术器械操作，具有平移、尺寸变化，有插管。

SEQ8:术后声带出血，具有手术器械，手术敷料，插管。

实施例，本发明提供的一种基于喉镜医学影像的器官自动分割方法，包括混合Transformer编码模块，该模块由CNN范式和Transformer范式两部分组成；RRM解码模块，该模块由反向注意力机制和感受野增强块组成；卷积条件随机场模块(ConvCRF)。

所说方法的步骤包括：

步骤1、参见图2，原图先通过空洞卷积，提取高分辨率下的局部关系以及结构先验信息，然后通过层级Transformer网络-PVT捕获全局上下文信息，生成不同尺度特征图{f₁,f₂,f₃,f₄}：

(1)对于给定的输入

C是通道数，H×W表示图像分辨率。首先通过混合Transformer编码模块对原图通过空洞卷积操作得到f₀，之所以在 vision transformer之前加入卷积操作，这是因为模型希望关注初始层上的局部关系，因为他们包含更多高分辨率细节。通过使用卷积，可以引入一些结构先验。在减少参数的同时保持相同的感受野，一方面降低图像分辨率减少后续运算量，另一方面捕获图像局部信息。

对于大分辨率图像使用4x 4的卷积核，空洞率为2,步长为2的卷积替换 7x 7的卷积操作。对于相对小分辨率图像使用3x 3的卷积核，空洞率为2, 步长为1的卷积替换5x 5的卷积操作。

(2)将(1)中得到的f₀通过PVT(Pyramid vision transformer)网络的四个阶段生成不同尺度的特征图{f_i,i＝1,2,3,4}，通过这种方法可以缩小每个阶段的长宽，从而得以灵活调整每个阶段特征图大小。

不同于Vision Transformer网络，因其patch大小为16或者32,导致其输出分辨率相对较低且固定，对于密集型视觉任务多有不适，本发明采用的 Pyramid visiontransformer(PVT)，通过设定每个阶段patch大小p_i，则每个阶段对上一阶段特征图分割的patch数为

然后通过线性映射到C_i维度， embedded patches大小即为

用这种方法每个阶段的长宽即缩小为输入的P_i倍，得以灵活调整每个阶段特征图大小，这使得高分辨率图像在资源受限情况下得以处理。

本发明产生的四种不同尺度特征图可表示为

PVT中每个阶段的编码由注意力层和前向传播层组成。根据公式(1)可知，MHA 的计算复杂度达到(hw)²等级，这对于高分辨率图像需要庞大的计算量。PVT使用SRA模块替代MHA，同样的SRA也将Q，K和V作为输入，只能在计算 self-attention之前通过SR(·)降低K和V的空间尺度，以此减少计算开销。在图2中，所示每个阶段的SRA可进行如下计算，具体表示：

SR(x)＝Norm(Reshape(x,R_i)W^S) (4)

为Q，K，V的线性映射参数。N_i表示在阶段i多头的数量。SR(·)表示减少K或V空间尺度的操作，

表示K或V。R_i表示在阶段i的减少比率。Reshape(x,R_i)可以将输入x转变成为

尺寸。

是转变后的线性映射参数。最后通过公式(5)进行自注意力计算。

通过Reshape(x,R_i)操作可以使得K,V空间尺寸减少R_i倍，根据公式(5)可得， SRA较MHA的计算量可以降低

这使得高分辨率图像在资源受限情况下得以处理。

步骤2：利用PVT网络的四个阶段生成的不同尺度的特征图{f₁,f₂,f₃,f₄}自上而下分别使用RRM模块处理，同时以级联方式对上层输出进行叠加，分别得到 {S₄,S₃,S₂,S₁}，形成渐进式分割框架，最后一层的叠加结果即为初步分割结果。

该RRM模块由反向注意力机制和感受野增强块组合构成一种自上而下的级联式分割框架，从具有高语义信息低分辨率的特征图开始，以一种擦除前景的方式对{f₁,f₂,f₃,f₄}挖掘和前景互补的信息和细节，得到初步分割结果。其具体的步骤包括

(1)首先将上一层的输出S_i进行反向注意力处理得到A_i，将通过步骤1得到的连接层多尺度输出{f₁,f₂,f₃,f₄}与自上而下经过反向注意力处理后的权重A_i进行点乘，获得反向注意力特征R_i，如图1中(c)所示，可表示为：

R_i＝f_i⊙A_i (6)

反向注意力权重A_i已在显著目标检测任务中广泛应用。它可表示为：

A_i＝1-σ(UP(S_i)) (7)

σ(·)代表Sigmoid激活函数，UP(·)代表采用双线性插值法上采样操作。反向注意力用于消除深层特征的目标预测，有效地知道网络探索确实的目标区域和细节。

(2)将经过反向注意力处理得到得特征图通过感受野增强块增强网络特征。感受野增强块(其结构如图5所示)是一个多分支的卷积模块，包含不同大小卷积核的常规卷积层和空洞卷积层，前者模仿人类不同大小的感受野，后者体现了人类视觉系统中RFs大小与偏心率的关系。空洞卷积均采用空洞率为2的 3×3卷积。最后通过3×3卷积来合并这些特征，并生成最终预测结果，具体分割效果见图3所示，反向注意力分割效果如图4所示，可以看出，反向注意力用于抑制非目标区域，有效地指导网络探索缺失的目标区域和细节。从而为高效的分割提供有效的条件。

步骤3：为解决网络对分割结果边界的定位精度和大片黏膜组织导致的像素孤岛问题，本框架将最终的分割结果和概率模型条件随机场结合。由于传统的全连接条件随机场的训练和推理速度较慢，本发明采用ConvCRF，其在全连接条件随机场框架中增加像素标签条件独立性假设，使得可以在GPU上加速推理。

ConvCRF在FullCRF基础上进行了条件独立假设补充，即如果i和j像素站之间的曼哈顿距离d满足d(i,j)＞k，则假设i和j条件独立，k为滤波器的距离大小。输入形状为[b,c,h,w]的张量P，b，c，h，w表示批次数量，分类数，图像高宽。每个高斯核K_G用特征向量f₁,f₂,...,f_d表示。

为可学习参数。对于一组高斯核

组合后的和矩阵K为：

则信息传递Q定义为：

公式(10)与标准2D卷积操作类似，因此可以使用卷积实现该计算。通过在全连接条件随机场框架中增加像素标签条件独立性假设，基于公式(8)、(9)、 (10)使得可以在GPU上加速推理。

最后，将步骤2中得到的初步分割结果作为卷积条件随机场模块的一元势能函数进行优化，得到了优化的预测分割图。一方面提高网络对分割边界定位精度和解决大片黏膜组织影响而导致的像素孤岛问题，另一方面使得分割框架达到高效、精准的分割目的。

对实施例得到的优化的预测图进行咽喉部分割效果评价：

评价方式采用mean Intersection over Union(mIoU)作为关键评价指标用来衡量预测图和标签之间的相似程度,具体计算公式如公式(11)所示。

为了评估所提出模型得有效性，本发明从两个方面来证明模型的有效性。(1) 通过分别在两个数据集上做消融实验，实验结果参见表1、表2。(2)将本发明提出的模型与SOTA方法通过在两个数据集上进行实验，并将结果进行比较，实验结果参见表3、表4。

表1数据集I消融实验

表2数据集II消融实验

表3数据集一上各方法对比结果

表4数据集二上各方法对比结果

与其他SOTA模型相比较，一种基于喉镜医学图像的器官自动分割方法可充分利用长距离特征依赖和多尺度上下文信息，保证了特征表示的语义一致性。参见图3和图4，可以看到在两种喉镜数据集上均得到最佳分割效果，mIoU分别达到76.63％、88.77％。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于喉镜医学影像的器官自动分割方法：包括混合Transformer编码模块、RRM解码模块和卷积条件随机场模块，所述混合Transformer编码模块由CNN范式和Transformer范式两部分组成，所述RRM解码模块由反向注意力机制和感受野增强块组成，所述方法包括以下步骤

步骤1：原图先通过空洞卷积，提取高分辨率下的局部关系以及结构先验信息，然后通过层级Transformer网络-PVT捕获全局上下文信息，生成不同尺度特征图{f₁,f₂,f₃,f₄}；

步骤2：将不同尺度特征图{f₁,f₂,f₃,f₄}自上而下分别使用RRM模块处理，同时以级联方式对上层输出进行叠加，分别得到{S₄,S₃,S₂,S₁},形成渐进式分割框架，最后一层的叠加结果即为初步分割结果；

步骤3：通过卷积条件随机场模块对步骤2所得初步分割结果进行优化，剔除较小的误分割区域并细化分割，得到最终的分割结果。

2.根据权利要求1所述的一种基于喉镜医学影像的器官自动分割方法，其特征在于：

所述混合Transformer编码模块中

(1)通过空洞率为2，卷积核为3*3或4*4的空洞卷积生成更大感受野的特征图f₀，获取丰富的语义信息；

(2)将得到的特征图f₀通过PVT网络的四个阶段，生成不同大小尺度的特征图

式中：H、W表示图像分辨率，C表示图像通道数，f_i代表第i层生成的特征图。

3.根据权利要求1或2所述的一种基于喉镜医学影像的器官自动分割方法，其特征在于：

所述步骤2中RRM模块的处理分为两个步骤：(1)将上一层的输出S_i进行反向注意力处理得到A_i，接着将A_i和特征图f_i进行点乘融合得到R_i；(2)通过感受野增强块，将R_i通过不同空洞卷积极大挖掘特征信息。

4.根据权利要求3所述的一种基于喉镜医学影像的器官自动分割方法，其特征在于：

所述步骤(1)具体表示为：

R_i＝f_i⊙A_i (1)

反向注意力权重A_i已在显著目标检测任务中有广泛应用。它可表示为:

A_i＝1-σ(UP(S_i)) (2)

其中，σ(·)代表Sigmoid激活函数，up(·)代表采用双线性插值法上采样操作，

通过加入反向注意力抑制非目标区域，从而有效的指导网络探索缺失的目标区域和细节；

所述步骤(2)将R_i挖掘到不同程度语义特征的特征图，最后使用1×1卷积进行语义融合得到S_i。

5.根据权利要求4所述的一种基于喉镜医学影像的器官自动分割方法，其特征在于：

所述卷积条件随机场模块在全连接条件随机场基础上进行了条件独立假设补充，如果i和j像素之间的曼哈顿距离d满足d(i,j)＞k,则假设i和j条件独立，k为过滤的距离大小。

Images