CN114627129A - 一种用于非对齐多期ct的肝脏病灶分割的图像处理方法 - Google Patents

Abstract

本发明公开了一种用于非对齐多期CT的肝脏病灶分割的图像处理方法，首先利用3D区域对齐模块将多个期的CT对齐后得到多期特征，然后利用残差立体注意力模块从多期特征中提取出多期立体特征，从而实现多期上下文和立体上下文的结合。具体地，首先，利用CNN针对目标层CT及其多期立体上下文提取特征；然后，利用3D区域对齐模块将多期上下文对齐，产生多期特征；接着，利用残差立体注意力模块从多期特征中提取出多期立体特征；最后，利用解码器将多期立体特征还原为最终分割。本发明针对非对齐多期CT提取同时具有多期信息和立体信息的特征提高肝脏病灶分割的准确度。

Description

一种用于非对齐多期CT的肝脏病灶分割的图像处理方法

技术领域

本发明属于医疗图像分割及深度学习领域，尤其涉及一种用于非对齐多期CT的肝脏病灶分割的图像处理方法。

背景技术

多期上下文和立体上下文对基于CT图像的肝脏病灶分割是至关重要的。肝脏的病灶往往需要借助造影剂的增强，才能清晰准确地判断病灶的边界和种类。在注射造影剂之前，会先扫描腹部产生一个CT图像的序列，这一序列称之为平扫期(plain phase)。在注射造影剂之后，在两个特定的时间段内，造影剂会随着血液分别流过静脉和动脉，在这两个时间段内分别进行扫描，产生两个CT图像的序列：静脉期(arterial phase)，动脉期(portalphase)。在实际操作中会由于病人的移动，呼吸，内脏运动和一些技术原因，导致图像内容在三个序列中并不是像素级对齐的。这给多期上下文和立体上下文的利用带来了困难。

针对多期上下文的结合，目前较为简单的方法是在输入阶段将多期图像直接拼接或者在提取特征之后将其特征拼接。如(C.Sun,S.Guo,H.Zhang,et al.,“Automaticsegmentation of liver tumors from multiphase contrast-enhanced CT imagesbased on FCNs,”in Artificial intelligence in medicine.2017,pp.58-66.)、(F.Ouhmich,V.Agnus,V.Noblet,et al.,“Liver tissue segmen-tation in multiphaseCT scans using cascaded convolutional neu-ral networks,”in Int J CARS14.2019,pp.1275–1284.Available:https://doi.org/10.1007/s11548-019-01989-z)、(R.Hasegawa,Y.Iwamoto,L.Lin,et al.,“Automatic Segmentation of Liver Tumor inMultiphase CT Images by Mask R-CNN,”in 2020IEEE 2nd Global Conference on LifeSciences and Technologies(LifeTech).2020,pp.231-234.Available:https://doi.org/10.1007/s11548-019-01989-z)、(J.Dolz,et al.,“HyperDense-Net:A Hyper-Densely Connected CNN for Multi-Modal Image Segmentation,”in IEEETransactions on Medical Imaging,vol.38,no.5,pp.1116-1126,May 2019,doi:10.1109/TMI.2018.2878669.)等。但是由于多期CT不对齐的问题，这种简单的拼接方法难以捕获到有效的多期信息。

另一种方法是利用注意力机制从一个期的特征中自动筛选有助于分割另一个期的信息。如(Y.Xu,M.Cai,L.Lin et al.,“PA-ResSeg:A phase attention residualnetwork for liver tumor segmentation from multiphase CT images.”in Med.Phys.,48(7),May 2021,p.3752-3766)、(X.Jiang et al.,“Multi-phase and Multi-levelSelective Feature Fusion for Automated Pancreas Segmentation from CT Images,”in Proc.Int.Conf.Med.Image Comput.Comput.Assist.Intervent.(MICCAI).Lima，Peru：Springer，2020，pp.460-469.)等。这类方法利用线性的结合方式将两个期的信息结合起来并生成注意力图，通过注意力图筛选出有用的跨期信息。但是，这类线性转换方法运用在非对齐CT上的时候，依旧会损失一部分多期上下文信息。

同时，上述模型在提取立体信息上采用3D卷积。3D卷积一方面会受到感受视野的限制，另一方面对CT的全局信息利用不够充分。

发明内容

本发明的目的在于针对现有技术的不足，提供一种用于非对齐多期CT的肝脏病灶分割的图像处理方法。

本发明的目的是通过以下技术方案来实现的：一种用于非对齐多期CT的肝脏病灶分割的图像处理方法，包括如下步骤：

(1)对待预测的CT图像

及其平扫期上下文X_p，动脉期上下文X_a和静脉期上下文X_v进行预处理，使其符合网络的输入要求；

(2)使用训练好的肝脏病灶分割模型，对预处理后的CT图像进行预测。

进一步地，所述步骤(2)包括如下子步骤：

(2.1)使用一个卷积神经网络CNN，提取待预测的CT图像

的高层次特征

和低层次特征

及其对应多个期的上下文的高级特征，平扫期高级特征f_p、动脉期高级特征f_a和静脉期高级特征f_v；

(2.2)根据步骤(1.1)中得到的多个期的高级特征f_p、f_a和f_v，使用3D区域对齐模块将多个期的高级特征对齐，并生成多期特征f_m；

(2.3)使用残差立体注意力模块，从步骤(2.2)中生成的多期特征f_m中，提取多期立体特f_mv；

(2.4)将步骤(2.3)中提取的多期立体特f_mv，与步骤(2.1)中的低层次特征

相结合，使用解码器将其结合，并放大为原图大小，产生分割结果。

进一步地，所述步骤(2.2)如下包括子步骤：

(2.2.1)对于f_a中的每一个特征点，利用非局部注意力，计算该特征点与平扫期特征中对应位置有限范围内像素的对齐关系，并利用该对齐关系生成f_a与f_p的跨期特征f_m,p→a，同理生成f_a与f_v的跨期特征f_m,v→a；

(2.2.2)结合步骤(2.2.1)中的跨期特征f_m,p→a和f_m,v→a，与步骤(2.2)中的多个期的高级特征f_a，产生具有多期上下文信息的多期特征f_m。

进一步地，所述步骤(2.3)包括如下子步骤：

(2.3.1)利用步骤(2.2.2)中的多期特征f_m，使用全局层间注意力，计算全局层间特征f_I；

(2.3.2)利用步骤(2.3.1)中的全局层间特征f_I，使用空间注意力，计算空间特征f_S；

(2.3.3)使用残差链接，将f′_I与步骤(2.3.2)中的空间特征f_S结合起来，得到同时具有多期上下文信息和立体上下文信息的特征f_mv；其中，f_I′是全局层间特征f_I与

的残差和的归一化结果。

本发明的有益效果是：本发明将多期上下文对齐之后并融合产生多期特征，并进一步从多期特征中提取立体特征。本发明通过3D区域对齐模块减缓了多期CT之间不对齐带来的影响。本发明弥补了市场上模型不能输出所有序列分割结果，不能适用于非对齐多期CT的缺陷。本发明能够同时兼顾到3D信息和多期信息，极大的提高了肝脏病灶的分割和分类性能。

附图说明

图1是非对齐多期CT的示例图；

图2是肝脏病灶分割模型的总体结构示意图；

图3是3D区域对齐模块示意图；

图4是残差立体模块示意图；

图5是本发明与其他现有模型的效果对比图。

具体实施方式

本发明一种用于非对齐多期CT的肝脏病灶分割的图像处理方法，提出了3D区域对齐模块和残差立体注意力模块。其中，如图1所示，由于某个期中的特征点只与其他期对应位置的有限范围的邻居特征点有对齐关系，因此，3D区域对齐模块利用非局部注意力，计算每个特征点的对齐关系，并利用该关系生成跨期特征，最后3D区域对齐模块将跨期特征和CT图像的原始特征整合起来产生多期特征；残差立体注意力模块在多期特征的基础上提取立体特征。残差立体注意力模块首先利用全局池化计算全局层间特征，然后利用全局层间特征增强空间注意力提取空间特征的能力。包括以下步骤：

(1)对待预测的CT图像

及其平扫期上下文X_p∈R^N×W×H、动脉期上下文X_a∈R^N×W×H和静脉期上下文X_v∈R^N×W×H，进行预处理，使其符合网络的输入要求。C、N、W、H表示输入的CT上下文的通道、长度、宽和高。

将

X_p、X_a和X_v的HU值剪切到[low,high]的范围，使用以下公式进行归一化：

其中，X可以为

X_p、X_a或X_v。在本发明实施例中，low＝-55，high＝155，N＝9。CT图像的大小一般为(512，512)。

(2)构建并训练肝脏病灶分割模型，对步骤(1)预处理后的CT图像

进行预测，得到分割结果。如图2所示，肝脏病灶分割模型包括3D区域对齐模块、残差立体注意力模块和解码器；包括以下步骤：

(2.1)使用一个卷积神经网络CNN，提取预处理后的CT图像

的高层次特征

和低层次特征

及其对应多个期的上下文的高级特征，平扫期高级特征f_p、动脉期高级特征f_a和静脉期高级特征f_v。

由于经过预训练的卷积神经网络(CNN)用作特征提取器时的输入图像为3通道，即输入的矩阵规格为(3，W，H)，因此，在预测CT中的第i张CT图像时，会利用CT的第i-1和第i+1张CT图像，与第i张CT图像拼接在一起，组成(3，W，H)的矩阵。本发明中，为了使得模型能够捕捉到更加丰富的上下文信息，在预测第i张CT图像时，会使用其附近连续Z张CT图像作为输入辅助预测，N可以取1、3、5、7、9……(奇数)。由于本发明输入为多期医疗图像，故对所有序列都采取上述相同的操作。因此送入特征提取器的上下文X_p、X_a和X_v的输入规格为(N，3，W，H)。所有的上下文X_p、X_a和X_v经过特征提取器后，得到一个尺寸为(N，C，W/16，H/16)的上下文特征f_p、f_a与f_v。预处理后目标层的CT图像

经过特征提取器之后，得到一个尺寸为(C，W/16，H/16)的目标特征

以及对应的低层级特征

大小为(C/4，W/4，H/4)。公式化表示为：

f_p＝CNN(X_p)

y_a＝CNN(X_a)

f_v＝CNN(X_v)

(2.2)根据步骤(1.1)中得到的多个期的高级特征f_p、f_a和f_v，使用3D区域对齐模块(3DLocal Fusion)将多个期的高级特征对齐，并生成多期特征f_m；如图3所示，包括以下步骤：

(2.2.1)对于f_a中的每一个特征点，利用非局部注意力，计算该特征点与平扫期特征中对应位置有限范围内的像素的对齐关系，并利用该对齐关系，生成f_a与f_p的跨期特征f_m,p→a，同理生成f_a与f_v的跨期特征f_m,v→a。

假设有限范围的大小为n＝3，f_a中的一个特征点为

其在平扫期特征f_p上对应位置的有限范围内的邻居特征点为

该特征点

与平扫期对应的有限范围特征点

的对齐关系

的计算方式为：

其中，

代表矩阵乘法，softmax表示归一化指数函数。该特征点

的跨期特征

的计算方式为：

相同的操作运用到f_a上的每一个特征点后得到平扫期与动脉期的跨期特征f′_m，p→a∈R^N×C×H×W，再将f′_m，p→a与f_p相加，得到跨期特征f_m，p→a∈R^N×C×H×W。

同理可得f_m，v→a∈R^N×C×H×W：

其中，

为

在动脉期特征f_v上对应位置的有限范围内的邻居特征点，

为

与

的对齐关系；相同的操作运用到f_a上的每一个特征点后得到跨期特征f′_m，v→a∈R^{N ×C×H×W}，再将f′_m，v→a与f_v相加，得到跨期特征f_m，v→a∈R^N×C×H×W。

(2.2.2)结合步骤(2.2.1)中的跨期特征f_m,p→a和f_m，v→a，与步骤(2.2)中的高级特征f_a，产生具有多期上下文信息的多期特征f_m。

将f_m,p→a、f_m,v→a和f_a拼接(concat)起来，并用一个核为1×1的2D卷积网络conv2d降低维度，其计算方式为：

f_m＝conv2d(concat(f_m，p→a，f_m,v→a，f_a)；W_m)

其中Wm是可学习参数。

(2.3)使用残差立体注意力模块(Residual Volumetric Attention)，从步骤(2.2.2)生成的多期特征f_m中，提取多期立体特f_mv；如图4所示，包括以下步骤：

(2.3.1)利用步骤(2.2.2)中的多期特征f_m，使用全局层间注意力，计算全局层间特征f_I。

首先，利用核为1×1的2D卷积层conv2d，为

和f_m生成新的映射，计算方式如下：

其中，

和

是可学习参数。

然后，利用全局池化操作提取Q_I和K_I的全局特征，计算方式如下：

其中，GAP为全局平均池化。

和

的尺寸分别为(1，C)和(N，C)。

为了利用层与层之间的位置关系，本发明利用sine和cosine距离(GitHub-tatp22/multidim-positional-encoding：An implementation of 1D，2D，and 3Dpositional encoding in Pytorch and TensorFlow)，生成一个1D位置编码p₁∈R^N×C。层间注意力权重α_I∈R^N×1的计算方式如下：

其中，k表示

在X_a的位置。

最后，全局层间特征f_I∈R^C×H×W的计算方式为：

其中，convblock由一个核为1×1的2D卷积网络、一个批归一化层(batchnormalization)和一个ReLU层组成。

(2.3.2)利用步骤(2.3.1)得到的全局层间特征f_I，使用空间注意力，计算空间特征f_S。

与(2.3.1)类似，首先使用核为1×1的2D卷积层conv2d生成f′_I和f_m的映射，计算方式如下：

其中，

和

是可学习参数，BN是批归一化层(batch normalization)，f_I′表示是全局层间特征f_I与

的残差和的归一化结果。

为了利用空间上的位置关系，本发明利用sine和cosine距离生成了一个2D的位置编码p₂∈R^C×H×W。空间注意力的权重α_S∈R^N×HW×HW的计算方式如下：

空间特征f_S的计算方式如下：

(2.3.3)使用残差链接，将步骤(2.3.2)中的f_I′，与步骤(2.3.2)中的空间特征f_S结合起来，得到同时具有多期上下文信息和立体上下文信息的多期立体特征f_mv。

f_mv＝BN(f′_I+f_S)

(2.4)使用解码器，将步骤(2.3.3)中提取的多期立体特征f_mv，与步骤(2.1)中的低层次特征

相结合，并放大为原图大小(W，H)，产生分割结果。该解码器可以直接采用Deeplab V3 plus的解码器(L.C.Chen，Y.Zhu，G.Papandreou et al.“Encoder-decoderwith atrous separable convolution for semantic image segmentation,”inProc.Int.Conf.Euro.Conf.on Comput.Vision.(ECCV).2018，pp.801-818.)。

本发明实施例在一台配备Intel Core i7-3770中央处理器，NVidia 3090图形处理器及128GB内存的机器上实现本发明的实施例，得到了如图5所示的实验结果。其中，a、b、c和d是四个病例中的一层，与nn-UNet和MMNet相比，本发明能够给出更加完整的分割结果和更加准确的肿瘤类别。综上，本发明充分的考虑了多期之间的上下文，不仅给出了较为完整的分割结果，也给出了正确的类别。

Claims (4)

1.一种用于非对齐多期CT的肝脏病灶分割的图像处理方法，其特征在于，包括如下步骤：

(1)对待预测的CT图像

及其平扫期上下文X_p，动脉期上下文X_a和静脉期上下文X_v进行预处理，使其符合网络的输入要求；

(2)使用训练好的肝脏病灶分割模型，对预处理后的CT图像进行预测。

2.根据权利要求1所述用于非对齐多期CT的肝脏病灶分割的图像处理方法，其特征在于，所述步骤(2)包括如下子步骤：

(2.1)使用一个卷积神经网络CNN，提取待预测的CT图像

的高层次特征

和低层次特征

及其对应多个期的上下文的高级特征，平扫期高级特征f_p、动脉期高级特征f_a和静脉期高级特征f_v；

(2.2)根据步骤(1.1)中得到的多个期的高级特征f_p、f_a和f_v，使用3D区域对齐模块将多个期的高级特征对齐，并生成多期特征f_m；

(2.3)使用残差立体注意力模块，从步骤(2.2)中生成的多期特征f_m中，提取多期立体特f_mv；

(2.4)将步骤(2.3)中提取的多期立体特f_mv，与步骤(2.1)中的低层次特征

相结合，使用解码器将其结合，并放大为原图大小，产生分割结果。

3.根据权利要求2所述用于非对齐多期CT的肝脏病灶分割的图像处理方法，其特征在于，所述步骤(2.2)如下包括子步骤：

(2.2.1)对于f_a中的每一个特征点，利用非局部注意力，计算该特征点与平扫期特征中对应位置有限范围内像素的对齐关系，并利用该对齐关系生成f_a与f_p的跨期特征f_m，p→a，同理生成f_a与f_v的跨期特征f_m，v→a；

(2.2.2)结合步骤(2.2.1)中的跨期特征f_m，p→a和f_m，v→a，与步骤(2.2)中的多个期的高级特征f_a，产生具有多期上下文信息的多期特征f_m。

4.根据权利要求2所述用于非对齐多期CT的肝脏病灶分割的图像处理方法，其特征在于，所述步骤(2.3)包括如下子步骤：

(2.3.1)利用步骤(2.2.2)中的多期特征f_m，使用全局层间注意力，计算全局层间特征f_I；

(2.3.2)利用步骤(2.3.1)中的全局层间特征f_I，使用空间注意力，计算空间特征f_S；

(2.3.3)使用残差链接，将f′_I与步骤(2.3.2)中的空间特征f_S结合起来，得到同时具有多期上下文信息和立体上下文信息的特征f_mv；其中，f_I′是全局层间特征f_I与

的残差和的归一化结果。

Images