CN115690425A - 一种病灶的3d分割模型及其应用 - Google Patents

Abstract

本发明公开了一种病灶的3D分割模型及其应用，其中病灶的3D分割模型包括依次连接的：特征编码器；特征解码器；后处理模块，通过条件随机场与膨胀腐蚀方法对所述残差网络模块的输出进行处理；形状重构模块，以3D分割模型的预测掩码与预先得到的标注掩码进行对抗训练；所述特征编码器或特征解码器中的卷积采用残差网络，所述残差网络的输入与输出之间采用并联卷积结构及跳连结构。本发明的3D分割模型可以增强对细节特征的学习能力，使得模型在较低分辨输入情况下，分割准确度保持较高水平，同时可以增强像素间关联性，较好地修补边缘缺失掩码。

Description

一种病灶的3D分割模型及其应用

技术领域

本发明涉及图像处理技术领域，尤其涉及一种病灶的3D分割模型及其应用。

背景技术

精准肺部分割对肺部病变诊断、手术配准与导航规划具有重要意义。医生在手术前需要从计算机断层扫描(CT)影像中勾勒肺部区域，以准确完成术前配准与导航规划。肺部勾勒是一项依靠医生主观经验、劳动密集型的工作，容易造成诊断结果的不稳定，实现快速、稳定和准确的肺部自动分割方法是当前研究的热点。

目前常见医疗影像分割主要采用传统算法来完成，例如阈值法、区域增长法等。但是医疗影像较复杂，边界不清晰，与主气管组织相似，对分割所受干扰性比较大；且肺部区域面积较大，肺内部存在其他组织，例如肿瘤、肺气泡等，其他组织CT值与肺部不同，容易将肺内部组织误分割；另外，分割对象中存在术中局部不完整肺影像以及多种拍摄角度影像，数据所具备特征太少，数据种类太多，模型学习特征能力难度较大。传统算法对特征设计要求比较高，且算法模型鲁棒性差，算法耗时也较长。

发明内容

发明目的：本发明针对上述不足，提出一种融合多优化方法的3D分割模型及其应用，增强网络对细节特征的学习能力，使得模型在较低分辨输入情况下，分割准确度保持较高水平。

技术方案：

一种病灶的3D分割模型，包括依次连接的：

特征编码器；

特征解码器；

后处理模块，通过条件随机场与膨胀腐蚀方法对所述残差网络模块的输出进行处理；

形状重构模块，以3D分割模型的预测掩码与预先得到的标注掩码进行对抗训练；

所述特征编码器或特征解码器中的卷积采用残差网络，所述残差网络的输入与输出之间采用并联卷积结构及跳连结构。

所述条件随机场采用Dense CRF。

所述对抗训练具体如下：

对抗训练的形状重构损失函数L_rec，如下：

其中，x表示实际输入的三维影像数据，G(x)表示预测掩码，y表示标注掩码，即真实标签；D(G(x))、D(y)分别表示以预测掩码、标注掩码为输入的形状重构模块的重构结果；

对采集得到的患者病灶三维影像数据通过所述3D分割模型输出预测掩码G，将其与对应三维影像数据的标注掩码y进行对抗训练，从而通过下式对所述3D分割模型进行优化，具体如下：

其中，P_data、P_gt分别表示符合实际输入的三维影像数据x、标注掩码y的分布的期望值，D_latent(G(x))、D_latent(y)分别表示在对抗训练过程中以预测掩码、标注掩码为输入的形状重构模块的重构结果。

一种基于三维影像的病灶分割方法，采用前述3D分割模型对患者病灶三维影像进行分割得到最终分割结果。

还包括对于患者病灶三维影像预处理步骤，包括滤波和聚类。

本发明与现有技术相比，具有如下有益效果：

(1)本发明引入的残差网络模块融合Inception模块与残差连接，增强网络对细节特征的学习能力，使得模型在较低分辨输入情况下，分割准确度保持较高水平。

(2)本发明在网络输出加入Dense CRF融合Dilate模块，来增强像素间关联性，较好地修补边缘缺失掩码。

(3)本发明提出对抗形状重建优化方法，以预测掩码与标注掩码作对抗训练，较好地解决了因边界模糊导致误分割问题。

附图说明

图1为本发明病灶的3D分割模型示意图；

图2为一实施例的残差网络模块示意图；

图3为另一实施例的残差网络模块示意图；

图4为条件随机场结构图；

图5为对抗训练的流程框图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

图1为本发明病灶的3D分割模型示意图，如图1所示，本发明构建了一个基于三维影像的3D分割模型，并以此模型对三维影像进行分割得到最终病灶分割结果，本发明中病灶为肺部。

本发明基于三维影像的3D分割模型构建如下：

(1)将原始3D Unet模型的特征编码器或特征解码器中的原始ConV卷积模块替换为残差网络模块；

在3D Unet的特征编码器的编码阶段过程中，经过四次下采样会在一定程度上丢失病灶(本发明为肺部)顶部与底部部分的特征信息，特征信息丢失在特征解码器的解码过程中很难恢复，因此本发明将现有3D Unet模型的特征解码器替换为残差网络模块，获取多尺度特征并进行融合，同时使用跳层连接弥补丢失的细节特征。

其中，残差网络模块融合Inception模块与残差连接，加入相关多通道特征融合，来学习更加丰富的特征信息，具体为：

残差网络模块的输入与输出之间采用并联卷积结构及跳连结构；通过并联卷积结构获取不同尺度大小卷积核提取特征，能够获取多尺度特征融合，从而具备多尺度适应性；通过跳连结构将浅层特征与深层特征融合，尽可能的减少网络模型中出现的梯度消失退化问题，弥补丢失的细节特征，同时还能加快网络模型的收敛速度；

本发明提供了两种实施例，具体如下：

其中一实施例在特征编码器中以残差网络模块替换原始ConV卷积模块，具体残差网络模块示例如图2所示，图中，Con(u)表示u维卷积块，而Con(3,s＝2)中3表示该卷积块为三维卷积块，s表示步长；Cat表示特征融合，Add表示特征叠加；其中，该实施例中残差网络模块的输入分别经过并列的三维卷积块、一维卷积块及双层三维卷积块提取特征之后，再进行特征融合后经过步长为2的三维卷积块提取特征，最后与输入经步长为2的三维卷积块直接提取得到的特征进行特征叠加得到最终输出特征，通过此设计即可提取下采样过程不同深度语义特征；

另一实施例在特征解码器中以残差网络模块替换原始ConV卷积模块，具体残差网络模块示例如图3所示，图中，De(3,s＝2)表示三维反卷积块；其中，该实施例中残差网络模块的输入依次经过步长为2的三维反卷积块、步长为2的三维卷积块提取特征后，再与输入经步长为2的三维反卷积块直接提取得到的特征进行特征叠加得到最终输出特征，通过此设计即可将下采样过程不同深度语义特征与上采样过程不同深度语义特征进行融合，完成加强特征提取。

(2)在残差网络模块后设置条件随机场模块作为后处理模块；

原始3D Unet模型中，一般直接设置后处理模块，采用膨胀腐蚀方法对解码得到的特征图进行后处理；

本发明考虑输入图像像素间的关联性与边缘像素分割缺失问题，实现对肺部更加精确的分割，引入全连接条件随机场(Dense CRF)与膨胀腐蚀方法(Dilate)结合的优化方法，如图4所示，较好地将像素与像素之间的关系考虑进来以及通过膨胀腐蚀方法解决填充边缘像素缺失、漏分割问题，为相似的像素标记相同的标签，而对于差别很大的像素给予不同类型的标签，使像素点标签的分配更符合空间一致性，使肺部边界处的分割结果更准确。

其中，Dense CRF对于相同大小的输入图I，每个像素点i具有类别标签M_i，在本发明中，类别标签有两类：肺部和非肺部；那么每个像素点作为节点，像素之间的连线作为边，构成了完全无向图，得到输入图I的类别标签序列M＝{M₁,M₂,…,M_n}，n表示输入图I内共计的像素点标签数量，真实标签序列T＝{T₁,T₂,…,T_m}，m表示真实标签的数量；定义标签Y＝{Y₁,Y₂}，其中Y₁、Y₂分别表示肺部和非肺部；从而得到全连接条件随机场(T,M)，其中，T中数量小于输入图I中像素点标签数量，通过观测变量T来推测输入图I中像素点i对应的类别标签，条件随机场符合吉布斯分布如下式：

其中，p(M,T)表示像素点分割类别概率；Z(T)为规范因子，为常数；Tg表示输入图I的所有像素点，M_t表示输入图I中第t个像素点对应的类别标签，

表示第t个像素点对应的类别标签M_t的概率。

(3)对采集得到的患者病灶三维影像数据进行预处理并标注得到训练样本，对前述构建的3D分割模型进行训练得到最终模型；

本发明中，预处理包括数据清洗和数据转换，其中数据清洗包括去除噪声数据和数据归类，从而得到有用数据，具体地，使用卡尔曼滤波去除噪声数据；采用聚类算法进行数据归类；数据转换主要是指dcm数据转为nii数据，便于神经网络模型输入；

(4)模型优化；

由于肺部CT成像问题，导致肺部边界模糊，难以分辨出肺部与周围其他组织。临床上医生在应对这种情况时，一般是根据临床经验还原肺部边界，针对于这种情况，本发明还设置有对抗形状重构模块对前述构建的3D分割模型进行训练优化，以预测掩码G与标注掩码作对抗训练，较好地解决了因边界模糊导致误分割问题，如图5所示，具体如下：

对抗训练的形状重构损失函数L_rec，如下：

其中，x表示实际输入的三维影像数据，G(x)表示预测掩码，y表示标注掩码，即真实标签；D(G(x))、D(y)分别表示以预测掩码、标注掩码为输入的形状重构模块的重构结果；

对采集得到的患者病灶三维影像数据进行预处理，通过步骤(3)得到的模型输出预测掩码G，将其与对应三维影像数据的标注掩码y进行对抗训练，

则可以通过下式对前述3D分割模型进行优化，具体如下：

其中，P_data、P_gt分别表示符合实际输入的三维影像数据x、标注掩码y的分布的期望值，D_latent(G(x))、D_latent(y)分别表示在对抗训练过程中以预测掩码、标注掩码为输入的形状重构模块的重构结果；

本发明还提供了一种基于三维影像的病灶分割方法，包括步骤：

S1、对采集得到的患者病灶三维影像数据进行预处理；

S2、采用步骤(3)或(4)得到的模型对经步骤S1处理的患者病灶三维影像数据进行分割得到最终分割结果。

本发明以原始3D Unet为主体框架，主要框架部分包括Encode与Decode部分，引入空间位置注意力机制模块与空间通道注意力机制模块，通道注意力模块用于寻找不同通道之间的依赖关系，并对依赖的特征进行加强。位置注意力模块能够在局部特征中编码更长范围内的上下文信息，从而提升局部特征的表达能力。考虑输入图像像素间的关联性，引入Dense条件随机场优化方法，较好地将像素与像素之间的关系考虑进来，为相似的像素标记相同的标签，而对于差别很大的像素给予不同类型的标签，使像素点标签的分配更符合空间一致性，使脊柱边界处的分割结果更准确。由于肺部CT影像存在边界模糊，导致分割边界存在残缺、越界于其它器官区域，加入对抗形状重建模块，以预测掩码与标注掩码作对抗训练，最终生成更加接近于标注掩码的分割区域。该研究较好地解决了肺部CT 3D图像精确分割难与落地应用难的问题，为肺部手术穿刺机器人精准完成术前与术中导航与配准提供了有意义的参考价值。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。

Claims (5)

1.一种病灶的3D分割模型，其特征在于：包括依次连接的：

特征编码器；

特征解码器；

后处理模块，通过条件随机场与膨胀腐蚀方法对所述残差网络模块的输出进行处理；

形状重构模块，以3D分割模型的预测掩码与预先得到的标注掩码进行对抗训练；

所述特征编码器或特征解码器中的卷积采用残差网络，所述残差网络的输入与输出之间采用并联卷积结构及跳连结构。

2.根据权利要求1所述的病灶的3D分割模型，其特征在于：所述条件随机场采用DenseCRF。

3.根据权利要求1所述的病灶的3D分割模型，其特征在于：所述对抗训练具体如下：

对抗训练的形状重构损失函数L_rec，如下：

其中，x表示实际输入的三维影像数据，G(x)表示预测掩码，y表示标注掩码，即真实标签；D(G(x))、D(y)分别表示以预测掩码、标注掩码为输入的形状重构模块的重构结果；

对采集得到的患者病灶三维影像数据通过所述3D分割模型输出预测掩码G，将其与对应三维影像数据的标注掩码y进行对抗训练，从而通过下式对所述3D分割模型进行优化，具体如下：

其中，P_data、P_gt分别表示符合实际输入的三维影像数据x、标注掩码y的分布的期望值，D_latent(G(x))、D_latent(y)分别表示在对抗训练过程中以预测掩码、标注掩码为输入的形状重构模块的重构结果。

4.一种基于三维影像的病灶分割方法，其特征在于：采用权利要求1～3任一所述的3D分割模型对患者病灶三维影像进行分割得到最终分割结果。

5.根据权利要求4所述的病灶分割方法，其特征在于：还包括对于患者病灶三维影像预处理步骤，包括滤波和聚类。

Images