CN114549552A - 基于空间邻域分析的肺部ct图像分割装置 - Google Patents

Abstract

本发明提出基于空间邻域分析的肺部CT图像分割装置。在提取单一CT图层二维图像特征的基础上，通过三维卷积并行地融合邻域CT序列间的上下文三维图像特征，在降低全3D卷积运算量与参数规模的同时实现对三维病灶区域图像特征的表达；同时利用自注意力机制从上下文融合特征图中重映射各邻域图层切片序列对应的通道域二维图像特征分量，以此指导单一CT图层的特征解码过程，提升病灶图像分割准确性；为了提升算法适应性与可解释性，引入可解释的先验知识作为额外的图像分割判别规则，以此对分割结果进行校准与检验，为临床辅助诊断提供依据。

Description

基于空间邻域分析的肺部CT图像分割装置

技术领域

本申请涉及图像处理领域，具体涉及基于空间邻域分析的肺部CT图像分割装置。

背景技术

肺部CT图像是通过计算机断层扫描得到的一系列横断面连续影像图层序列。通过图像处理技术定位并分割肺部CT病灶区域，能够为影像科医生提供图像可视化及定量分析结果，进而为临床诊断与病情检测提供帮助。

现有的肺部CT图像分割装置通常面向单一图层进行处理，或针对所有图层组成的三维影像进行分析，但各类处理方法均存在以下不同方面的问题：

第一，针对单一图层的图像分割方法仅使用了CT影像横断面的二维空间信息，导致部分病灶边界区域难以准确分割。高分辨率CT影像图层层厚通常在1mm左右，而多数待分割病灶在实际尺寸远大于层厚，因此单一横断面图层难以提供三维空间中其余两个正交方向上的有效信息，导致分割结果不连续或有遗漏；

第二，CT影像的层内间距(分辨率)通常小于层间间距(层厚)，即在正交方向存在各向异性，这导致以三维空间区域作为处理单元的图像分割方法需要通过图像插值将各个方向的像素间距一致化，而不同的插值策略将直接影响病灶区域图像分割的准确性；

第三，以三维卷积为代表的深度学习方法具有更强的空间特征分析能力，且不受各向异性的影响，但其整体参数规模及运算量均提升了一个量级，对硬件设备具有较高的要求，且基于三维监督信息的图像分割方法依赖于病灶区域的完整3D标注，因此难以应用于临床实践；第四，现有的医学图像处理方案中，尚未出现针对特定肺部CT病灶分割场景的解决方案，且通用的深度学习分割方法以监督信息(图像标注数据)的图像特征作为指导实现结果推理，其针对特定病灶区域的可解释性较差，如何将其灵活应用于临床诊断实践并与医师实际需求相结合仍是需要考虑的问题。

通过文献检索发现，现有一种隐式的逆向注意力机制，用于分割胸部CT影像中新型冠状病毒病变区域，该方法仅针对单一CT图层进行病变区域分割，而未充分考虑CT图层间包含的病灶区域三维空间信息；另一类方法对连续CT图层切片进行二维卷积以实现三维血管结构的分割，该方法在通道域整合多个相邻二维CT图层切片的图像特征，并通过非局部注意力的方式从融合特征中抽取单一图层的语义信息，但该方案仅是针对局部邻域图像在通道维度进行特征整合，而未能真正分析单一像素与三维空间邻域内其他像素的相关性语义信息。

发明内容

本申请实施例提出了基于空间邻域分析的肺部CT图像分割装置，提取并融合连续邻域图层间的空间上下文特征，并通过自注意力机制将融合特征重映射为通道域二维图像分量，以此指导单一CT图层的特征解码过程，实现精确的三维图像分割。

具体的，本申请实施例提出的基于空间邻域分析的肺部CT图像分割装置，包括：

图像预处理模块，用于对输入的原始CT影像文件进行图像格式标准化得到图像像素值，计算肺部CT影像原始文件中各图层对应的肺实质前景区域掩码，将单一前景区域图层及其前后邻域图层合并为一组邻域图层切片序列；

空间邻域特征识别模块，用于利用预设的编码卷积块并行提取每个邻域图层切片序列中的二维病灶图像特征，提取邻域图层切片序列间的局部三维空间语义特征，通过三维卷积运算对提取到的局部三维空间语义特征进行融合，获取不同尺度的病灶区域编码特征图；

自注意力特征解码模块，用于结合通道相关性分析的自注意力机制，将融合后的特征重映射为与单一CT图层对应的二维图像特征，基于得到的二维图像特征进行多尺度特征解码，得到与各病灶区域对应的归一化权重矩阵；

多视图区域校准模块，用于对归一化权重矩阵中对应横断面、矢状面、冠状面三个正交方向的病灶区域权重数值进行归一化处理，基于影像学先验知识对病灶区域进行校准与查验，输出三维病灶区域掩码作为分割结果。

可选的，所述图像预处理模块包括：

图像标准化单元，用于在特定CT窗口下对将原始影像序列中的CT值转换为图像灰度值，得到肺窗标准化矩阵用于肺实质感兴趣区域分割；

感兴趣区域提取单元，用于识别标准化后的CT影像图层中的肺实质区域作为有效前景感兴趣区域；

邻域图层切片序列生成单元，用于将肺实质前景像素矩阵分别沿横断面、矢状面、冠状面三个正交视图的方向处理为多组邻域图层切片序列。

可选的，所述空间邻域特征识别模块包括：

多尺度特征编码单元，用于以邻域图层切片序列为输入，并行地提取序列中各图层的二维图像特征；

上下文特征融合单元，将邻域图层切片序列的编码特征图在不同层级实现多尺度融合，对三维邻域内的空间特征信息进行识别。

可选的，所述上下文特征融合单元，具体用于：

对于来自上下邻域的编码特征图，采用三维卷积核对局部邻域进行特征提取，得到邻域上下文融合特征子图，接批量归一化操作并采用线性整流激活函数激活；

对每一个通道重复上述操作，并将所有通道的计算结果按通道顺序叠加，得到最终的上下文融合特征图。

可选的，所述自注意力特征解码模块包括：

自注意力控制单元，用于以邻域图层切片序列的横断面解码特征图及上下文融合特征图为输入，基于通道域特征相关性对原始图层序列对应的病灶特征进行重映射；

多尺度特征解码单元，用于以不同尺度的横断面编码特征图为输入，利用反卷积操作将经自注意力调控后的编码特征图上采样至原始输入尺寸，并将图像特征映射为病灶类别标签。

可选的，所述自注意力特征解码模块，具体用于：

调整融合特征图各通道的权重，识别特征通道间的相关性：

将重映射矩阵利用卷积还原通道数与输入特征图一致，利用reshape操作还原矩阵大小与输入特征图保持一致；

输出与横断面编码特征图大小一致的上下文自注意力加权特征图。

可选的，所述多尺度特征解码单元，具体用于：

以不同尺度的横断面编码特征图为输入，利用反卷积操作将经自注意力调控后的编码特征图上采样至原始输入尺寸，并将图像特征映射为病灶类别标签；

输出与单层CT影像尺寸一致的归一化类别权重矩阵Y作为分割结果。

可选的，所述多视图区域校准模块包括：

多视图归一化单元，用于对来自横断面、矢状面、冠状面三个正交方向的病灶区域权重进行归一化处理；

关联区域校准单元，用于并基于影像学先验知识对病灶区域进行校准与查验，输出三维病灶区域掩码作为分割结果。

可选的，所述多视图归一化单元，具体用于：

并行处理同一套CT影像的横断面、矢状面、冠状面邻域图层切片，分别得到横断面分割结果归一化权重矩阵Y_T、矢状面分割结果归一化权重矩阵Y_C、冠状面分割结果归一化权重矩阵Y_S作为多视图特征融合单元的输入；

对于三维空间中的任一坐标位置x＝(x_T，x_C，x_S)，其对应的横断面、矢状面、冠状面分割结果归一化权重向量分别为y_T、y_C、y_S；

记多视图归一化权重矩阵为Y＝[y_T，y_C，y_S]，多视图病灶类别权重分配矩阵为W＝[w₀，w₁，...，w_N]，分别表示N个类别病灶的分割结果归一化权重，多视图融合归一化权重矩阵Z计算为：

Z＝W^T·Y；

对多视图融合归一化权重矩阵按列求和，得到长度为5的多视图融合归一化权重向量，分别表示背景区域及各个病灶的最终归一化权重，设置阈值进行筛选判定像素是否属于某一病灶区域。

可选的，所述关联区域校准单元，具体用于：

对层间遗漏区域进行补全；

基于图像插值思想，关联区域校准单元根据多视图归一化矩阵，对非病灶像素点的前后k邻层进行比对；

若其在前后k邻层内的相同位置处的病灶类别权重均超过一定阈值，则判定该像素点在该层内满足此类病灶表征，将类别权重校正为前后邻层对应像素类别权重的平均值。

有益效果：

针对肺部CT图像分割任务，在分析单一CT图层二维图像特征的基础上，本发明充分利用了CT图层间的局部三维空间信息，提升复杂病灶组织边界图像分割精度，且不依赖于完整三维标注数据，整体计算量更低；同时，利用影像学先验知识对多视图融合特征进行关联区域补全及检验，保障了图像分割的准确性，为临床应用提供可解释的辅助分析依据。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提出的基于空间邻域分析的肺部CT图像分割装置的结构示意图；

图2为本申请实施例提出的装置详细结构示意图；

图3为本申请实施例提出的方法原理流程图；

图4为本申请实施例提出的模块结构示意图一；

图5为本申请实施例提出的模块结构示意图二。

具体实施方式

为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。

结合附图1至图5，本申请实施例提出的一种基于空间邻域分析的肺部CT图像分割装置，包括图像预处理模块、空间邻域特征识别模块、自注意力特征解码模块以及多视图区域校准模块，其中：图像预处理模块根据肺部CT影像原始文件将CT值在肺窗下标准化为图像像素值，计算各图层对应的肺实质前景区域掩码，并将单一前景区域图层及其前后邻域图层合并为一组邻域序列，用于后续的特征提取过程；空间邻域特征识别模块利用编码卷积块并行地提取各邻域序列的二维病灶图像特征，并通过三维卷积提取并融合邻域序列间的局部三维空间语义特征，得到不同尺度的病灶区域编码特征图；自注意力特征解码模块通过结合通道相关性分析的自注意力机制，将上下文融合特征重映射至与单一CT图层相对应的二维图像特征，基于重映射特征进行多尺度特征解码，最终得到各病灶区域对应的归一化权重矩阵；多视图区域校准模块对来自横断面、矢状面、冠状面三个正交方向的病灶区域权重进行归一化，并基于影像学先验知识对病灶区域进行校准与查验，最终输出三维病灶区域掩码作为分割结果。

图像预处理模块对输入的原始CT影像文件进行必要的图像格式标准化并提取肺实质感兴趣区域(Region of Interest,ROI)，包括图像标准化单元、感兴趣区域提取单元以及邻域序列生成单元。

图像标准化单元将原始CT影像序列转换为可处理的数字图像。首先在特定CT窗口下对将原始影像序列中的CT值转换为图像灰度值，得到肺窗标准化矩阵用于肺实质感兴趣区域分割。

感兴趣区域提取单元识别标准化后的CT影像图层中的肺实质区域作为有效前景ROI。本发明采用但不限于漫水填充法对肺实质前景区域进行分割，并将分割二值掩码结果作用于肺窗图像标准化矩阵，输出肺实质前景像素矩阵。

邻域序列生成单元将肺实质前景像素矩阵分别沿横断面、矢状面、冠状面三个正交视图的方向处理为多组邻域图层切片序列(简称为邻域序列)。具体地，记输入肺实质ROI前景像素矩阵为L，共包含d层宽512像素、高512像素的横断面图层，则前景像素矩阵的横断面各层表示为

冠状面各层表示为

矢状面各层表示为

对任一视图下的任一图层L^k，其唯一对应的邻域图层序列B^k定义为其上下邻域内的三维子矩阵，即B^k＝{L^k-1，L^k，L^k+1}，边界图层的邻域以零矩阵作为填充，最终生成d个横断面邻域序列

512个冠状面邻域序列

以及512个矢状面邻域序列

邻域序列将多个相邻的横断面图层作为特征提取的基本单元，从而将局部感受野从二维平面扩展到三维空间，为上下文特征提取提供了原始输入。

空间邻域特征识别模块通过基于上下文特征分析的编码器网络，提取并融合病灶区域的二维图像特征以及三维邻域特征，输出单一CT图层对应的上下文融合特征图。其结构包括多尺度特征编码单元以及上下文特征融合单元。

多尺度特征编码单元以邻域序列为输入，并行地提取序列中各图层的二维图像特征，其中：序列中的任一图层L^k为宽512px、高512像素、通道数为1(即512×512×1)、对应原始CT图层中的第k个单通道前景ROI图层，特征编码单元共包含4个卷积层Conv_i(i＝1，2，3，4)，各层均采用三组连续的3×3×C_i(C_i＝64×i)的残差卷积块作为骨干网络结构。对于第i个编码卷积层，其输入为来自上一层的特征图

经以下处理提取得到当前层的编码特征图f_i：

其中Conv_i为对应层带批量归一化的编码卷积操作，且采用线性整流激活函数ReLU＝max(0，x)进行激活；Maxpool为最大池化操作。编码器最终计算单通道图层的4个尺度的特征图表示，由低到高依次为

上下文特征融合单元将邻域序列的编码特征图在不同层级实现多尺度融合，以识别三维邻域内的空间特征信息。不同的图像通道反映了不同的特征信息，因此可采用通道域级联的方式实现二维图像特征的融合，但对于来自上下邻域的编码特征图，其各通道反映的图像语义特征相同，仅依靠通道的加权难以满足复杂病灶三维特征的表征。因此，上下文特征融合单元采用三维卷积核对局部邻域进行特征提取，具体地，记输入上下文特征融合单元的三个特征图依次为f^k-1、f^k、f^k+1，其尺寸为H*W*C，对每一个通道c(c＝1，2，...，C)，其宽高组成的二维特征图记为s_c，将三个特征图的第c个通道对应的二位特征图按顺序在通道维叠加，得到邻域特征子图

其中

表示第k-1层CT影像在第c个通道的二维特征图，

表示通道维特征级联。随后利用三维卷积核对邻域特征子图S_c进行特征提取，得到尺寸为H*W*1的邻域上下文融合特征子图g_c：

其中Conv3d为三维卷积操作，后接批量归一化操作并采用线性整流激活函数ReLU＝max(0，x)进行激活。对每一个通道重复上述操作，并将所有通道的计算结果按通道顺序叠加，即可得到最终的上下文融合特征图g^k：

每个层内特征编码卷积块后均会执行一次上下文特征融合操作，因此上下文特征融合模块最终输出4个尺度的融合特征图，由低到高依次为

自注意力特征解码模块对多尺度上下文融合特征进行解码，并嵌入上下文自注意力机制，用以从融合特征中重映射邻域图层的二维图像特征分量，从而将上下文融合特征还原为输入图层的二维图像特征，以此指导特征解码过程，其结构包括：自注意力控制单元以及多尺度特征解码单元。其中，自注意力控制单元根据横断面特征图以及上下文融合特征图，在通道域分析特征相关性，并利用自注意力机制识别在空间维度对二维图像特征进行重映射，得到权重调整后的病灶区域特征图；多尺度特征解码单元利用4个与编码器相对应的解码卷积块实现特征图上采样，最终将高层特征图映射为病灶区域像素级标签矩阵。

自注意力控制单元以邻域序列的横断面解码特征图及上下文融合特征图为输入，基于通道域特征相关性对原始图层序列对应的病灶特征进行重映射。由于上下文融合特征图沿通道维度对各邻域图层的三维空间特征提取结果进行叠加，因此自注意力控制单元首先调整融合特征图各通道的权重，以识别特征通道间的相关性：

g_e＝sigmoid(Linear_C/R→c(ReLU(Linear_C→C/R(P(g)))))

其中，g为来自输入的上下文融合特征图；P为自适应平均池化操作，其一般形式为

Linear_X→Y为全连接层，将输入通道为X的向量映射为输出通道为Y的向量；ReLU为线性整流激活函数，其一般形式为ReLU(x)＝max(0，x)；sigmoid为逻辑回归激活函数，其一般形式为

基于上下文融合特征，对横断面解码特征进行相关性分析及权重映射：首先通过自适应平均池化计算两个特征图的全局通道特征，并利用Softmax归一化函数实现权重映射过程：

g_θ＝(reshape_{(H，W，C)→(HW，C)}(P(Conv_1×1(g_e)))^T

其中，f为来自输入的横断面解码特征图；g_e为通道注意力调整后的上下文融合特征图；reshape_{(H，W，C)→(HW，C)}为通道维线性化操作：对于给定的H×W×C的三维矩阵，沿宽、高方向将前两维线性化为HW×C的二维矩阵；Conv_1×1为带批量归一化的1×1卷积操作，卷积核数量为输入特征图通道数的一半，以降低参数量；T为矩阵转置操作。g_θ、

分别表示用以权重映射的两个全局通道特征图；Softmax为归一化函数，其形式为

其中y_i为第i个病灶区域类别的权重，y₀表示非病灶背景区域；Φ表示自注意力权重映射矩阵。利用同样的方式计算上下文融合编码特征的通道域特征表示图，该特征表示图与权重映射矩阵相对应，因此利用乘法器将映射权重加权至编码特征的对应的各个通道维表示：

f_c＝reshape_{(H，W，C)→(HW，C)}(P(Conv_1×1(f)))

f_Φ＝Φ*f_c

其中f_c为横断面解码特征的通道维特征表示图，Φ为编码特征通道维重映射矩阵。将重映射矩阵利用1×1卷积还原通道数与输入特征图一致，并利用reshape操作还原矩阵大小与输入特征图一致：

SA(f，g)＝f+reshape_{(HW，C)→(H，W，C)}(Conv_1×1(f_Φ))

其中f为原始横断面解码特征图，reshape_{(HW，C)→(H，W，C)}为反线性化操作：将HW×C的二维矩阵转换为H×W×C的三维矩阵。最终，自注意力控制单元输出与横断面编码特征图大小一致的上下文自注意力加权特征图SA(f，g)。

多尺度特征解码单元以不同尺度的横断面编码特征图为输入，利用反卷积操作将经自注意力调控后的编码特征图上采样至原始输入尺寸，并将图像特征映射为病灶类别标签。与编码过程对应，特征解码单元共包含4个解码层，第i层的输入为自注意力控制单元的加权特征图h_i，解码卷积块大小、组数与对应层编码卷积块一致，后接上采样操作：

最后使用全连接层将图像特征转换为病灶类别得分向量，并使用Softmax归一化：

Y＝Softmax(Linear_1→N(h₁))

其中Linear为全连接层，将512×512×1的特征图中的每个像素映射为长度为N的病灶类别得分向量，N为待分割病灶区域类别数，Softmax为归一化函数，其形式为

其中y_i为第i个病灶区域类别的权重，y₀表示非病灶背景区域。最终输出与单层CT影像尺寸一致的归一化类别权重矩阵Y作为分割结果。

多视图区域校准模块接收来自不同视图的病灶区域分割结果归一化权重矩阵，利用先验知识对不同视图的结果进行归一化、校准与查验，其结构包括多视图归一化单元和关联区域校准单元。

不同病灶区域在不同视图上的切片图像表征有所不同，为了进一步利用病灶在三维空间内的图像特征，本发明在实施过程并行地处理同一套CT影像的横断面、矢状面、冠状面邻域图层切片，分别得到横断面分割结果归一化权重矩阵Y_T、矢状面分割结果归一化权重矩阵Y_C、冠状面分割结果归一化权重矩阵Y_S作为多视图特征融合单元的输入。对于三维空间中的任一坐标位置x＝(x_T，x_C，x_S)，其对应的横断面、矢状面、冠状面分割结果归一化权重向量分别为y_T、y_C、y_S。为了根据不同视图的病灶图像表征分配适当的权重，为背景类别及每一个病灶类别设置长度为3的权重向量：

其中X表示某一病灶类别或背景区域；w_X为该类别的权重分配向量，其和为1；w_r为该类别在对应视图上的权重占比。记多视图归一化权重矩阵为Y＝[y_T，y_C，y_S]，多视图病灶类别权重分配矩阵为W＝[w₀，w₁，...，w_N]，分别表示N个类别病灶的分割结果归一化权重，则多视图融合归一化权重矩阵Z计算为：

Z＝W^T·Y

对多视图融合归一化权重矩阵按列求和，即可得到长度为5的多视图融合归一化权重向量，分别表示背景区域及各个病灶的最终归一化权重，设置阈值进行筛选即可判定像素是否属于某一病灶区域。

基于空间邻域分析的肺部CT图像分割网络对病灶三维空间特征具有良好的监督学习能力，但肺部组织与病变结构在不同个体、不同时期的形态表现有所差异，仅以训练数据图像特征作为推理依据难以适应各类复杂的诊断需求。为了提升临床实用价值，本发明设计了关联区域校准算法，将待分割结构的先验知识转化为图像特征判定规则，并作为图像分割后处理过程，以实现可解释的病灶区域校正与查验。

关联区域校准单元首先对层间遗漏区域进行补全。由于分割网络对某些混淆性较高的病灶与非病灶组织的区分度较差，因此在部分层面存在因局部过拟合导致的漏识别。基于图像插值思想，关联区域校准单元根据多视图归一化矩阵，对非病灶像素点的前后k邻层进行比对，若其在前后k邻层内的相同位置处的病灶类别权重均超过一定阈值，则可判定该像素点在该层内同样满足此类病灶表征，将其类别权重校正为前后邻层对应像素类别权重的平均值。

为了保证类别校准与图像分割的准确性，基于影像学先验知识，关联区域校准单元进一步通过后处理检验算法对校准后的图像分割结果进行查验。影像学先验知识是基于不同维度统计学规律的、可被应用于临床实践的病变图像判别依据，且可被实现为数字图像处理算法的一系列先验规则。其描述要素包括但不限于面积、体积、不同窗宽窗位下的CT值、灰度、密度投影结果、直方图分析结果、多平面重建结果等。本发明对校准后的归一化矩阵进行三维连通区域分析，利用回归分析或阈值二分类的方法检查每一个连通域是否满足先验规则并保留其权重。最终，关联区域校准模块针对各个三维连通子区域进行权重归一化，并将高于判定阈值的像素点置为对应的病灶类别，输出病灶三维区域掩码矩阵。

图2为本实施例涉及的基于空间邻域分析的肺部CT图像分割系统，其中，服务层实现图像预处理模块、空间邻域特征识别模块、自注意力特征解码模块以及多视图区域校准模块，各个模块按功能划分为特征预处理器、特征编解码器和特征后处理器，以实现空间邻域图像分割的方法流程；数据层为图像分割服务提供数据持久化存储，进而实现后台模型训练以及先验知识管理等功能；应用层为图像分割流程提供服务调用接口。

服务层通过实例化特征预处理器、特征编解码器和特征后处理器实现图像预处理模块、空间邻域特征识别模块、自注意力特征解码模块和多视图区域校准模块的相关功能，并利用RabbitMQ消息队列实现异步请求的处理与调度。具体地，图像预处理模块实现肺实质的像素标准化以及感兴趣区域提取，并在正交方向生成邻域序列。相关预处理参数以json配置文件的方式实现动态加载，其中，像素标准化单元设置窗宽值1500Hu、窗位值-650Hu将原始CT影像转换为肺窗下的标准灰度图像。感兴趣区域提取单元设置8邻域作为漫水填充范围，对骨窗下的CT横断面设置20为阈值进行灰度二值化，将各横断面的(10,10),(10,502),(256,10),(256,502),(502,10),(502,502)作为起始种子点进行多轮背景填充，并对面积小于100的空洞区域施加形态学开运算实现填充，最终计算完整的肺实质感兴趣区域掩码。邻域序列生成单元设置邻域大小参数为1，分别使用3个线程沿横断面、矢状面、冠状面并行地生成邻域序列图层；空间邻域特征识别模块以及自注意力特征解码模块共同实现端到端的病灶区域特征编解码过程，其中，特征识别模块的最大池化操作采用3×3、步长为2的卷积核，上下文特征融合单元的特征提取操作采用1个3×3×3的三位卷积核。特征编解码器加载离线训练完毕的自注意力分割网络模型及其相关配置参数，并行地提取三个正交邻域序列的空间上下文特征，其中上采样操作通过2倍双线性池化插值实现。单一邻域序列依次经多尺度特征编码、邻域空间特征融合、自注意力控制及多尺度特征解码得到病灶区域归一化解码特征图。相关特征图的中间结果均以多维矩阵的形式进行存储；多视图区域校准模块利用区域校准算法实现不同正交视图的结果校准与融合。相关区域校准参数以json配置文件的方式实现动态加载，评价算法以动态链接库so的形式整合至后处理流程。以肺部纤维化图像分割(包含实变影、磨玻璃影、蜂窝影、网状影四类病灶区域)为应用实例，分割类别N设置为4，多视图归一化单元针对各个病灶区域的权重向量设置为：背景[0.33,0.33,0.33]、实变影[0.5,0.25,0.25]、磨玻璃影[0.6,0.2,0.2]、蜂窝影[0.33,0.33,0.33]、网状影[0.33,0.33,0.33]。关联区域校准单元设置比对邻层数为5，并将先验知识库中的各类病灶区域判别依据转换为对应的图像分析算法，用以保障类别校正的准确性。其中，实变影在肺窗下具有较高的灰度值以及多方向的空间结构，因此利用三维高斯滤波计算并比对肺窗下灰度值是否大于200；磨玻璃影相较全肺具有更高的密度，因此可计算并比对局部病灶与全肺的相对平均密度，若局部病灶区域的平均密度超过全肺平均密度的25％，即可判别为有效磨玻璃影区域；蜂窝影与网状影均具有病变区域密度不均的特点，但蜂窝影包含低密度腔而网状影总体CT值更高，因此为了区分两类病灶，首先由原始CT影像将病灶局部区域按窗位-600、窗宽1000转换为二值图像，该窗宽窗位下的低密度区域将被映射为较低的像素值，而中高密度区域将被映射为高像素值。随后统计局部区域的灰度直方图，首先计算最高灰度值的像素数与其他灰度值像素数中最大值的比例，若该比例大于5具备密度不均性，即可作为蜂窝或网状影的判定因素，随后计算灰度值低于50的像素占比，若比例高于15％即可判别为蜂窝影，否则为网状影。

数据层基于MongoDB以json配置文件的形式存储非结构化特征数据及先验知识，同时实现必要的资源管理功能，包括模型的离线训练以及先验知识想图像特征的转换。其中，分割模型的离线训练过程以邻域序列粒度的随机水平翻转和随机垂直翻转作为数据增强策略，采用Dice作为损失函数，设置基础学习率0.005，动量超参数为0.9迭代更新模型权重；先验知识的图像特征转换基于OpenCV相关数字图像处理函数，并校准参数接口文件结合动态链接库的形式提供至后处理步骤实现灵活调用。

应用层通过服务调用接口接受来自用户输入的肺部CT原始影像文件，经服务层算法处理后返回图像分割掩码结果，进而实现其他上层应用。其中，调用接口以医学影像DICOM(Digital Imaging and Communications in Medicine，医学数字成像与通信)文件作为标准输入格式，将原始影像文件数据发送至服务层调度队列进行后续处理，处理完毕的结果区域掩码矩阵以NIfTI(Neuroimaging Informatics Technology Initiative，神经影像信息学技术倡议)标准影像文件格式进行封装，并通过异步请求将结果返回至服务调用点。

上述实施过程与现有技术的参数比较见表1。

表1技术特性对比

与现有技术相比较，本发明提出了一种基于空间邻域分析的肺部CT图像分割装置，该方法提升了肺部CT病灶区域图像分割的准确性，且不依赖完整的三维病灶区域标注数据，具有良好的易用性与可扩展性。本发明并行地提取单一CT图层及其前后邻域图层的二维图像特征，并通过三维卷积融合邻域序列间的空间上下文特征，实现对三维病灶区域空间语义的描述；基于自注意力机制将上下文融合特征重映射为邻域图层对应的二维图像特征，提升多尺度特征解码的准确性；基于病灶先验知识，通过多视图结果归一化及关联区域校准，实现对三维病灶区域分割结果的补全与验证，针对不同临床诊断需求提升算法的可扩展性与可解释性。

以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述装置包括：

图像预处理模块，用于对输入的原始CT影像文件进行图像格式标准化得到图像像素值，计算肺部CT影像原始文件中各图层对应的肺实质前景区域掩码，将单一前景区域图层及其前后邻域图层合并为一组邻域图层切片序列；

空间邻域特征识别模块，用于利用预设的编码卷积块并行提取每个邻域图层切片序列中的二维病灶图像特征，提取邻域图层切片序列间的局部三维空间语义特征，通过三维卷积运算对提取到的局部三维空间语义特征进行融合，获取不同尺度的病灶区域编码特征图；

自注意力特征解码模块，用于结合通道相关性分析的自注意力机制，将融合后的特征重映射为与单一CT图层对应的二维图像特征，基于得到的二维图像特征进行多尺度特征解码，得到与各病灶区域对应的归一化权重矩阵；

多视图区域校准模块，用于对归一化权重矩阵中对应横断面、矢状面、冠状面三个正交方向的病灶区域权重数值进行归一化处理，基于影像学先验知识对病灶区域进行校准与查验，输出三维病灶区域掩码作为分割结果。

2.根据权利要求1所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述图像预处理模块包括：

图像标准化单元，用于在特定CT窗口下对将原始影像序列中的CT值转换为图像灰度值，得到肺窗标准化矩阵用于肺实质感兴趣区域分割；

感兴趣区域提取单元，用于识别标准化后的CT影像图层中的肺实质区域作为有效前景感兴趣区域；

邻域图层切片序列生成单元，用于将肺实质前景像素矩阵分别沿横断面、矢状面、冠状面三个正交视图的方向处理为多组邻域图层切片序列。

3.根据权利要求1所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述空间邻域特征识别模块包括：

多尺度特征编码单元，用于以邻域图层切片序列为输入，并行地提取序列中各图层的二维图像特征；

上下文特征融合单元，将邻域图层切片序列的编码特征图在不同层级实现多尺度融合，对三维邻域内的空间特征信息进行识别。

4.根据权利要求3所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述上下文特征融合单元，具体用于：

对于来自上下邻域的编码特征图，采用三维卷积核对局部邻域进行特征提取，得到邻域上下文融合特征子图，接批量归一化操作并采用线性整流激活函数激活；

对每一个通道重复上述操作，并将所有通道的计算结果按通道顺序叠加，得到最终的上下文融合特征图。

5.根据权利要求1所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述自注意力特征解码模块包括：

自注意力控制单元，用于以邻域图层切片序列的横断面解码特征图及上下文融合特征图为输入，基于通道域特征相关性对原始图层序列对应的病灶特征进行重映射；

多尺度特征解码单元，用于以不同尺度的横断面编码特征图为输入，利用反卷积操作将经自注意力调控后的编码特征图上采样至原始输入尺寸，并将图像特征映射为病灶类别标签。

6.根据权利要求5所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述自注意力特征解码模块，具体用于：

调整融合特征图各通道的权重，识别特征通道间的相关性：

将重映射矩阵利用卷积还原通道数与输入特征图一致，利用reshape操作还原矩阵大小与输入特征图保持一致；

输出与横断面编码特征图大小一致的上下文自注意力加权特征图。

7.根据权利要求5所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述多尺度特征解码单元，具体用于：

以不同尺度的横断面编码特征图为输入，利用反卷积操作将经自注意力调控后的编码特征图上采样至原始输入尺寸，并将图像特征映射为病灶类别标签；

输出与单层CT影像尺寸一致的归一化类别权重矩阵Y作为分割结果。

8.根据权利要求1所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述多视图区域校准模块包括：

多视图归一化单元，用于对来自横断面、矢状面、冠状面三个正交方向的病灶区域权重进行归一化处理；

关联区域校准单元，用于并基于影像学先验知识对病灶区域进行校准与查验，输出三维病灶区域掩码作为分割结果。

9.根据权利要求8所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述多视图归一化单元，具体用于：

并行处理同一套CT影像的横断面、矢状面、冠状面邻域图层切片，分别得到横断面分割结果归一化权重矩阵Y_T、矢状面分割结果归一化权重矩阵Y_C、冠状面分割结果归一化权重矩阵Y_S作为多视图特征融合单元的输入；

对于三维空间中的任一坐标位置x＝(x_T，x_C，x_S)，其对应的横断面、矢状面、冠状面分割结果归一化权重向量分别为y_T、y_C、y_S；

记多视图归一化权重矩阵为Y＝[y_T，y_C，y_S]，多视图病灶类别权重分配矩阵为W＝[w₀，w₁，...，w_N]，分别表示N个类别病灶的分割结果归一化权重，多视图融合归一化权重矩阵Z计算为：

Z＝W^T·Y；

对多视图融合归一化权重矩阵按列求和，得到长度为5的多视图融合归一化权重向量，分别表示背景区域及各个病灶的最终归一化权重，设置阈值进行筛选判定像素是否属于某一病灶区域。

10.根据权利要求8所述的基于空间邻域分析的肺部CT图像分割装置，其特征在于，所述关联区域校准单元，具体用于：

对层间遗漏区域进行补全；

基于图像插值思想，关联区域校准单元根据多视图归一化矩阵，对非病灶像素点的前后k邻层进行比对；

若其在前后k邻层内的相同位置处的病灶类别权重均超过一定阈值，则判定该像素点在该层内满足此类病灶表征，将类别权重校正为前后邻层对应像素类别权重的平均值。

Images