CN115345889A - 一种肝脏及其肿瘤图像的分割方法 - Google Patents

Abstract

本发明公开了一种肝脏及其肿瘤图像的分割方法，通过基于多尺寸特征注意力机制构成的图像分割网络同时关注全局空间信息、局部空间信息以及通道间信息，能够有效利用特征图像的有限信息，解决了Unet网络不能有效利用较少医学图像数据集信息完成精准分割的问题。

Description

一种肝脏及其肿瘤图像的分割方法

技术领域

本发明属于图像分割领域，具体涉及一种肝脏及其肿瘤图像的分割方法。

背景技术

近年来，肝癌成为全球死亡率第二的可怕癌症，其早期预防与治疗极为关键。医学图像的精准分割在医生使用智能医疗诊断仪器诊断疾病时有着重要的辅助参考作用。基于深度学习来完成医学图像分割任务成为最热门的邻域之一。最近，U型网络（U-shapenetwork，Unet）网络结构由于其特征提取能力较强、能补充高级语义信息缺失的细节信息等优势，在医学图像分割中取得了不错的成绩，并被广泛使用。但是，由于医学图像数据集信息本身较少以及Unet网络忽略了图像中有用信息以及无用信息的筛选等问题，所以Unet网络不能做到有效利用较少的数据获得较多的特征信息，从而很难完成精准分割的任务。

发明内容

本申请的目的在于提供一种肝脏及其肿瘤图像的分割方法，解决了现有技术中存在的问题。

本发明通过下述技术方案实现：一种肝脏及其肿瘤图像的分割方法，包括：

获取目标图像，所述目标图像表示包含肝脏及其肿瘤的CT图像；

通过第一卷积层对所述目标图像进行输入处理，并将处理结果顺次通过第一批归一化层以及第一ReLu激活函数层进行处理，得到第一特征图；

通过基于多尺寸特征注意力机制构成的图像分割网络对第一特征图进行图像分割，得到第二特征图，所述图像分割网络在图像分割过程中产生多个不同的特征子图；

基于所述图像分割网络在图像分割过程中产生的多个不同的特征子图，对所述第二特征图进行上采样，得到上采样后的图像；

通过第二卷积层对所述上采样后的图像进行卷积操作，得到目标图像对应的分割图像。

在一种可能的实施方式中，所述基于多尺寸特征注意力机制构成的图像分割网络包括顺次连接的第一最大池化层、第一残差块至第三残差块、第二最大池化层、第四残差块至第七残差块、第三最大池化层、第八残差块至第十三残差块、第四最大池化层以及第十四残差块至第十六残差块；

所述第一残差块至第十六残差块均基于多尺寸特征注意力机制构成。

在一种可能的实施方式中，第一残差块至第十六残差块的结构相同，均包括顺次连接的第三卷积层、第二批归一化层、第二ReLu激活函数层、第四卷积层、第三批归一化层、第三ReLu激活函数层以及多尺寸特征注意力机制模块DASGC；

所述第三卷积层的输入作为残差块的输入，所述第三卷积层的输入与多尺寸特征注意力机制模块DASGC的输出进行相加操作所得到的结果作为残差块的输出。

在一种可能的实施方式中，所述多尺寸特征注意力机制模块DASGC包括顺次连接的多尺度空间提取单元DASPP以及转换单元Transform，所述多尺度空间提取单元DASPP的输入作为多尺寸特征注意力机制模块DASGC的输入，所述多尺度空间提取单元DASPP的输入与转换单元Transform的输出进行相加操作所得到的结果作为多尺寸特征注意力机制模块DASGC的输出。

在一种可能的实施方式中，所述多尺度空间提取单元DASPP包括第一平均池化层、第三卷积层、第四卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层、第三深度空洞可分离卷积层、第五卷积层以及第二平均池化层；

所述第一平均池化层、第三卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的输入端共同作为多尺度空间提取单元DASPP的输入端，以接收相同的输入信号；所述第一平均池化层与第四卷积层连接，所述第三卷积层、第四卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的输出在通道维度上进行拼接后作为第五卷积层的输入，所述第五卷积层的输出作为第二平均池化层的输入，所述第二平均池化层的输出作为多尺度空间提取单元DASPP的输出。

在一种可能的实施方式中，所述第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的结构相同，均包括顺次连接的带有空洞率的逐通道卷积层以及逐点卷积层，所述第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层中逐通道卷积层的空洞率顺次为6、18以及24。

在一种可能的实施方式中，所述转换单元Transform包括顺次连接的第六卷积层、层归一化层、第四ReLu激活函数层以及第七卷积层。

在一种可能的实施方式中，通过基于多尺寸特征注意力机制构成的图像分割网络对第一特征图进行图像分割，得到第二特征图，包括：

以第一特征图作为第一特征子图，并通过第一最大池化层以及第一残差块至第三残差块对第一特征子图进行处理，得到第二特征子图；

通过第二最大池化层以及第四残差块至第七残差块对第二特征子图进行处理，得到第三特征子图；

通过第三最大池化层以及第八残差块至第十三残差块对第三特征子图进行处理，得到第四特征子图；

通过第四最大池化层以及第十四残差块至第十六残差块对第四特征子图进行处理，得到第二特征图。

在一种可能的实施方式中，基于所述图像分割网络在图像分割过程中产生的多个不同的特征子图，对所述第二特征图进行上采样，得到上采样后的图像，包括：

通过第一上采样块对第二特征图进行上采样，得到第一上采样图像，并将第一上采样图像与第四特征子图进行拼接操作，得到第一拼接图像；

将第一拼接图像通过第一卷积块以及第二上采样块进行上采样，得到第二上采样图像，并将第二上采样图像与第三特征子图进行拼接操作，得到第二拼接图像；

将第二拼接图像通过第二卷积块以及第三上采样块进行上采样，得到第三上采样图像，并将第三上采样图像与第二特征子图进行拼接操作，得到第三拼接图像；

将第三拼接图像通过第三卷积块以及第四上采样块进行上采样，得到第四上采样图像，并将第四上采样图像与第一特征子图进行拼接操作，得到第四拼接图像；

通过第四卷积块对第四拼接图像进行处理，得到上采样后的图像。

在一种可能的实施方式中，所述第一上采样块至第四上采样块结构相同，均包括转置卷积层；

所述第一卷积块至第四卷积块结构相同，均包括顺次连接的第一深度可分离卷积层、第四批归一化层、第五ReLu激活函数层、第二深度可分离卷积层、第五批归一化层以及第六ReLu激活函数层。

本申请实施例提供的一种肝脏及其肿瘤图像的分割方法，通过基于多尺寸特征注意力机制构成的图像分割网络同时关注全局空间信息、局部空间信息以及通道间信息，能够有效利用特征图像的有限信息，解决了Unet网络不能有效利用较少医学图像数据集信息完成精准分割的问题。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

图1为本申请实施例提供的一种肝脏及其肿瘤图像的分割方法的流程图。

图2为本申请实施例提供的肝脏肿瘤图像分割模型的结构示意图。

图3为本申请实施例提供的残差块的结构示意图。

图4为本申请实施例提供的多尺寸特征注意力机制模块DASGC的结构示意图。

图5为本申请实施例提供的多尺度空间提取单元DASPP的结构示意图。

图6为本申请实施例提供的转换单元Transform的结构示意图。

图7为本申请实施例提供的上采样块的结构示意图。

图8为本申请实施例提供的卷积块的结构示意图。

图9为本申请实施例提供的实验对比结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

如图1所示，一种肝脏及其肿瘤图像的分割方法，包括：

S1、获取目标图像，目标图像表示包含肝脏及其肿瘤的CT图像。

S2、通过第一卷积层对目标图像进行输入处理，并将处理结果顺次通过第一批归一化层以及第一ReLu激活函数层进行处理，得到第一特征图。

S3、通过基于多尺寸特征注意力机制构成的图像分割网络对第一特征图进行图像分割，得到第二特征图，图像分割网络在图像分割过程中产生多个不同的特征子图。

S4、基于图像分割网络在图像分割过程中产生的多个不同的特征子图，对第二特征图进行上采样，得到上采样后的图像。

S5、通过第二卷积层对上采样后的图像进行卷积操作，得到目标图像对应的分割图像。

基于多尺寸特征注意力机制构成的图像分割网络包括顺次连接的第一最大池化层、第一残差块至第三残差块、第二最大池化层、第四残差块至第七残差块、第三最大池化层、第八残差块至第十三残差块、第四最大池化层以及第十四残差块至第十六残差块；第一残差块至第十六残差块均基于多尺寸特征注意力机制构成。

如图2所示，本申请实施例提供一种肝脏肿瘤图像分割模型，包括顺次连接的第一卷积层、第一批归一化层、第一ReLu激活函数层、第一最大池化层、第一残差块至第三残差块、第二最大池化层、第四残差块至第七残差块、第三最大池化层、第八残差块至第十三残差块、第四最大池化层、第十四残差块至第十六残差块、第一上采样层、第一卷积块、第二上采样层、第二卷积块、第三上采样层、第三卷积块、第四上采样层、第四卷积块以及第二卷积层，第一卷积层的输入作为该肝脏肿瘤图像分割模型的输入，第二卷积层的输出作为该肝脏肿瘤图像分割模型的输出。同时，第一ReLu激活函数层的输出跳跃连接至第四卷积块的输入，即第一ReLu激活函数层的输出与第四上采样层进行拼接操作后，将拼接特征图作为第四卷积块的输入；第三残差块的输出跳跃连接至第三卷积块的输入，即第三残差块的输出与第三上采样层进行拼接操作后，将拼接特征图作为第三卷积块的输入；第七残差块的输出跳跃连接至第二卷积块的输入，即第七残差块的输出与第二上采样层进行拼接操作后，将拼接特征图作为第二卷积块的输入；第十三残差块的输出跳跃连接至第一卷积块的输入，即第十三残差块的输出与第一上采样层进行拼接操作后，将拼接特征图作为第一卷积块的输入。

通过第一卷积层对目标图像进行输入处理，并将处理结果顺次通过第一批归一化层以及第一ReLu激活函数层进行处理之后，通过由多个残差块构成的图像分割网络进行下采样，使肝脏肿瘤图像分割模型拥有强大的特征提取能力，并且大大加深了网络的深度，能够得到更加精准的分割效果。在肝脏肿瘤图像分割模型中添加跳跃连接，用于补充高分辨率的低级语义信息。

如图3所示，第一残差块至第十六残差块的结构相同，均包括顺次连接的第三卷积层、第二批归一化层、第二ReLu激活函数层、第四卷积层、第三批归一化层、第三ReLu激活函数层以及多尺寸特征注意力机制模块DASGC；第三卷积层的输入作为残差块的输入，第三卷积层的输入与多尺寸特征注意力机制模块DASGC的输出进行相加操作所得到的结果作为残差块的输出。

相比于现有技术，通过多尺寸特征注意力机制模块DASGC构建残差块，能够更好地提取高级语义信息的相关性特征，提升网络高效捕获以及利用有限特征信息的能力。

如图4所示，多尺寸特征注意力机制模块DASGC包括顺次连接的多尺度空间提取单元DASPP以及转换单元Transform，多尺度空间提取单元DASPP的输入作为多尺寸特征注意力机制模块DASGC的输入，多尺度空间提取单元DASPP的输入与转换单元Transform的输出进行相加操作所得到的结果作为多尺寸特征注意力机制模块DASGC的输出。

多尺寸特征注意力机制模块DASGC可以表示为：

z_i=x_i+Transform(DASPP(x_i))

其中，z_i表示多尺寸特征注意力机制模块DASGC的输出图像矩阵，x_i表示多尺寸特征注意力机制模块DASGC的输入图像矩阵，DASPP(x_i)表示以x_i为输入的多尺度空间提取单元DASPP对应的输出，Transform(DASPP(x_i))表示以多尺度空间提取单元DASPP对应的输出作为输入的转换单元Transform对应的输出。

如图5所示，多尺度空间提取单元DASPP包括第一平均池化层、第三卷积层、第四卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层、第三深度空洞可分离卷积层、第五卷积层以及第二平均池化层；第一平均池化层、第三卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的输入端共同作为多尺度空间提取单元DASPP的输入端，以接收相同的输入信号；第一平均池化层与第四卷积层连接，第三卷积层、第四卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的输出在通道维度上进行拼接后作为第五卷积层的输入，第五卷积层的输出作为第二平均池化层的输入，第二平均池化层的输出作为多尺度空间提取单元DASPP的输出。

在一种可能的实施方式中，第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的结构相同，均包括顺次连接的带有空洞率的逐通道卷积层以及逐点卷积层，第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层中逐通道卷积层的空洞率顺次为6、18以及24。

在多尺度空间提取单元DASPP中使用了深度空洞可分离卷积层，既能保证不损失原图像的特征信息，又能扩大卷积核的感受野，获得远距离的相互关系，同时能保证计算量以及参数量不会增大。深度空洞可分离卷积层可以表示为：

其中，y[i]表示深度空洞可分离卷积层的输出图像矩阵，k表示卷积核数，r表示空洞率，w_g和w_p分别表示逐通道卷积和逐点卷积的参数矩阵。

对特征图平均池化（Avgpooling）后，采用一个1*1的卷积层进行处理，再与扩张率分别为 6、18以及24的3*3深度空洞可分离卷积以及一个1*1普通卷积并行，将它们得到的输出多尺度特征信息图按通道维度进行拼接。之后对这个多尺度特征拼接图进行1*1的卷积，得到多尺度空间信息特征融合图，转换为与原输入图像一致尺寸和通道数的图像。最后对其进行平均池化，提取到输入图像的多尺度空间信息，这对特征提取有着极重要的意义。

多尺度空间提取单元DASPP可以表示为：

其中，y_i表示多尺度空间提取单元DASPP的输出图像矩阵，x_i表示多尺度空间提取单元DASPP的输入图像矩阵，Avg表示平均赤化操作，w_p1和w_p2分别表示平均池化后和不平均池化的逐点卷积的参数矩阵，Concat表示拼接操作，W表示拼接后1*1卷积的参数矩阵。

如图6所示，转换单元Transform包括顺次连接的第六卷积层、层归一化层、第四ReLu激活函数层以及第七卷积层。

对于转换单元Transform，将多尺度空间提取单元DASPP的输出先进行一个1*1的普通卷积来降低特征图的通道数，再进行层归一化（LayerNorm，LN）以及线性整流函数（Rectified Linear Unit，ReLu），最后再通过一个1*1的普通卷积将特征图通道数恢复到与输入图一样。该过程整体公式可由如下表示：

其中，y_i表示转换单元Transform的输入图像矩阵，z_i表示转换单元Transform的输出图像矩阵，W_v1和W_v2分别为第一个和第二个1*1卷积的参数矩阵。

从而能够将原Unet网络提取到的特征信息进一步挖掘，真正做到有效利用有限特征信息，用于完成对大、小目标的医学图像高精准度分割。

在一种可能的实施方式中，通过基于多尺寸特征注意力机制构成的图像分割网络对第一特征图进行图像分割，得到第二特征图，包括：

以第一特征图作为第一特征子图，并通过第一最大池化层以及第一残差块至第三残差块对第一特征子图进行处理，得到第二特征子图。

通过第二最大池化层以及第四残差块至第七残差块对第二特征子图进行处理，得到第三特征子图。

通过第三最大池化层以及第八残差块至第十三残差块对第三特征子图进行处理，得到第四特征子图。

通过第四最大池化层以及第十四残差块至第十六残差块对第四特征子图进行处理，得到第二特征图。

在一种可能的实施方式中，基于图像分割网络在图像分割过程中产生的多个不同的特征子图，对第二特征图进行上采样，得到上采样后的图像，包括：

通过第一上采样块对第二特征图进行上采样，得到第一上采样图像，并将第一上采样图像与第四特征子图进行拼接操作，得到第一拼接图像。

将第一拼接图像通过第一卷积块以及第二上采样块进行上采样，得到第二上采样图像，并将第二上采样图像与第三特征子图进行拼接操作，得到第二拼接图像。

将第二拼接图像通过第二卷积块以及第三上采样块进行上采样，得到第三上采样图像，并将第三上采样图像与第二特征子图进行拼接操作，得到第三拼接图像。

将第三拼接图像通过第三卷积块以及第四上采样块进行上采样，得到第四上采样图像，并将第四上采样图像与第一特征子图进行拼接操作，得到第四拼接图像。

通过第四卷积块对第四拼接图像进行处理，得到上采样后的图像。

如图7所示，第一上采样块至第四上采样块结构相同，均包括转置卷积层。

如图8所示，第一卷积块至第四卷积块结构相同，均包括顺次连接的第一深度可分离卷积层、第四批归一化层、第五ReLu激活函数层、第二深度可分离卷积层、第五批归一化层以及第六ReLu激活函数层。

基于上述技术方案，本实施例提供一种具体的实施方式，具体如下：

1.输入高*宽*通道为512*512*3的医学图像（待分割肝脏图像），采用卷积核为7*7，步数为1，填充为3的第一卷积层进行输入处理，处理后图像尺寸为512*512*32；对其进行批归一化，输出图像为512*512*32；然后采用ReLu激活函数激活，输出尺寸为512*512*32的第一特征图。

2.采用核为2*2，步数为2，填充为1的第一最大池化层对第一特征图进行最大池化操作，输出图像为256*256*64。

3.采用卷积核为3*3，步数为1，填充为1的卷积层对步骤2中输出的图像进行卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为256*256*64。

4.重复步骤3的操作，输出图像为256*256*64。

5.采用多尺寸特征注意力机制模块DASGC对步骤4中输出的图像进行处理，并与步骤3中卷积操作前的图像进行求和操作，输出图像为256*256*64；

6.以步骤5中输出的图像为基础，重复3-5的操作两次，输出第二特征子图为256*256*64；

7. 采用核为2*2，步数为2，填充为1的第二最大池化层对步骤6中输出的图像进行最大池化操作，输出图像为128*128*128；

8. 对步骤7中输出的图像进行卷积核为3*3，步数为1，填充为1的常规卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为128*128*128。

9.重复步骤8的操作，输出图像为128*128*128。

10. 采用多尺寸特征注意力机制模块DASGC对步骤9中输出的图像进行处理，并与步骤8中卷积操作前的图像进行求和操作，输出图像为128*128*128；

11. 以步骤10中输出的图像为基础，重复8-10的操作三次，输出第三特征子图为128*128*128。

12.采用核为2*2，步数为2，填充为1的第三最大池化层对步骤11中输出的图像进行最大池化操作，输出图像为64*64*256。

13. 对步骤12中输出的图像进行卷积核为3*3，步数为1，填充为1的常规卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为64*64*256。

14.重复步骤13的操作，输出图像为64*64*256。

15. 采用多尺寸特征注意力机制模块DASGC对步骤14中输出的图像进行处理，并与步骤13中卷积操作前的图像进行求和操作，输出图像为64*64*256。

16. 以步骤15中输出的图像为基础，重复步骤13-15的操作五次，输出第四特征子图为64*64*256。

17.采用核为2*2，步数为2，填充为1的第四最大池化层对步骤16中输出的图像进行最大池化操作，输出图像为32*32*512。

18.对步骤17中输出的图像进行卷积核为3*3，步数为1，填充为1的常规卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为32*32*512。

19.重复步骤18的操作，输出图像为32*32*512。

20. 采用多尺寸特征注意力机制模块DASGC对步骤19中输出的图像进行处理，并与步骤18中卷积操作前的图像进行求和操作，输出图像为32*32*512；

21. 以步骤20中输出的图像为基础，重复步骤18-20的操作两次，输出第二特征图为32*32*512。

22.对步骤21中输出的图像进行卷积核为2*2，步数为2的转置卷积操作，输出第一上采样图像为64*64*256。

23.将步骤16的输出与步骤22的输出进行拼接操作，输出第一拼接图像为64*64*512。

24.对步骤23输出的图像进行卷积核为3*3，步数为1，填充为1的深度可分离卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为64*64*256。

25.重复步骤24的操作，输出图像为64*64*256。

26.对步骤25输出的图像进行卷积核为2*2，步数为2的转置卷积操作，输出第二上采样图像为128*128*128。

27.将步骤11的输出与步骤26的输出进行拼接操作，输出第二拼接图像为128*128*256。

28.对步骤27中输出的图像进行卷积核为3*3，步数为1，填充为1的深度可分离卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为128*128*128。

29.重复步骤28的操作，输出图像为128*128*128；

30.对步骤29输出的图像进行卷积核为2*2，步数为2的转置卷积操作，输出第三上采样图像为256*256*64。

31.将步骤6的输出与步骤30的输出进行拼接操作，输出第三拼接图像为256*256*128。

32.对步骤31中输出的图像进行卷积核为3*3，步数为1，填充为1的深度可分离卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为256*256*64。

33.重复步骤32的操作，输出图像为256*256*64；

34.对步骤33中输出的图像进行卷积核为2*2，步数为2的转置卷积操作，输出第四上采样图像为512*512*32。

31.将步骤1的输出与步骤34的输出进行拼接操作，输出第四拼接图像为512*512*64。

32.对步骤31中输出的图像进行卷积核为3*3，步数为1，填充为1的深度可分离卷积操作，然后依次进行批归一化以及ReLu激活函数激活操作，输出图像为512*512*32。

33.重复步骤32的操作，输出上采样后的图像为512*512*32。

34.对步骤33中输出的图像进行卷积核为1*1，步数为1的常规卷积操作，输出分割图像为512*512*3。

通过多尺寸特征注意力机制模块DASGC处理图像的方法为：

A1.输入特征图，对其进行参数为1的平均池化操作（参数为1表示按通道进行平均池化，输出通道数不变，尺寸变为1*1）；对其进行卷积核为1*1，步数为1的常规卷积操作。

A2.将步骤A1的输入进行卷积核为1*1，步数为1的常规卷积操作。

A3.将步骤A1的输入分别进行卷积核为3*3，步数为1，填充分别为6、18、24，空洞率分别为6、18、24的逐通道卷积操作，再分别进行卷积核为1*1，步数为1，填充为0的逐点卷积，即通过第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层进行处理。

A4.将步骤A1、步骤A2以及步骤A3的输出进行通道维度上的拼接操作。

A5.对步骤A4的输出进行卷积核为1*1，步数为1的常规卷积操作。

A6.对步骤A5的输出进行对其进行参数为1的平均池化操作（参数为1表示按通道进行平均池化，输出通道数不变，尺寸变为1*1）。

A7.对步骤A6的输出进行卷积核为1*1，步数为1的常规卷积操作。

A8.对步骤A7的输出进行层归一化操作。

A9.对步骤A8的输出进行ReLu激活函数操作。

A10.对步骤A9的输出进行卷积核为1*1，步数为1的常规卷积操作。

A11.将步骤A1的输入与步骤A10的输出进行相加操作，得到多尺寸特征注意力机制模块DASGC的输出。

可选的，在本实施例中，提供一种肝脏肿瘤图像分割模型的训练方法，包括：

B1、获取带有金标准的肝脏数据集，肝脏数据集包括若干原始CT图像以及原始CT图像对应的金标准图像所组成的数据对，该金标准图像表示原始CT图像对应的标签图像。

B2、随机初始化肝脏肿瘤图像分割模型的网络参数。

B3、将该原始CT图像输入肝脏肿瘤图像分割模型中，获取分割结果图像，并获取分割结果与标签图像之间的损失值，所述损失值表示：

其中， X表示肝脏CT图像对应的标签图像，Y表示肝脏CT图像对应的分割结果图像，

则表示标签图像与分割结果图像的交集，

表示图像逐元素点求和。

B4、通过学习率为0.0001、一阶矩估计指数衰减率为0.9、二阶矩估计指数衰减率为0.999的自适应矩估计（Adaptive Moment Estimation，Adam）优化器进行网络反向传播中的参数优化，其中参数更新公式如下：

表示第t次训练对应的参数，

表示第t-1次训练对应的参数，

表示学习率，

表示一阶距估计

的偏差纠正，

表示二阶距估计

的偏差纠正。

、

、

和

的公式分别如下：

表示

的t次方，

表示

的t次方，

表示一阶矩估计指数衰减率，

表示二阶矩估计指数衰减率，

表示第t次训练损失函数对应的梯度值。

B5、当损失函数小于设定阈值时或者训练次数达到预设次数时，停止训练，得到训练后的肝脏肿瘤图像分割模型。

如图9所示（图中黑色为背景，灰色为肝脏，白色为肝癌），本申请实施例提供的一种肝脏及其肿瘤图像的分割方法与金标准相比，重合度较高，对于大目标的肝脏区域与小目标的肝癌区域都做到了较好的分割，且没有出现较大区域的误分割情况。针对图9中第一列，其他算法都将肝脏区域的一小部分错误分割为了背景部分或肝癌部分。针对图6中第二列和第三列，其他算法都将肝癌边缘区域未完全分割出来，出现了大量的边缘连接情况。针对图9中第四列，其他算法都未将肝脏边缘区域完全分割出来，特别是那突出来的一小部分只有本文算法将其分割出来。

从表1可以看出，本申请实施例提供的一种肝脏及其肿瘤图像的分割方法与U型网络（U-shape network，Unet）、残差网络（Residual Network，ResUnet）、瓶颈注意力模块（Bottleneck Attention Module，BAM）、卷积块注意模块（Convolutional BlockAttention Module，CBAM）、挤压和激励模块（Squeeze-and-Excitation Module，SE）、全局上下文块（Global Context Block，GC）、高效通道注意力（Effificient ChannelAttention，ECA）以及卷积三元组注意模块（Convolutional Triplet Attention Module，Triplet）这多类注意力机制网络进行了大量对比。本申请在平均交并比（MeanIntersection over Union，Miou）、交并比（Intersection over Union，IoU）、骰子系数（Dice系数）、精准度以及召回率这5个指标都取得了较好的结果，并且在肝脏和肝癌共9个指标中取得了7个最佳值。

表1 肝脏CT图像分割指标结果（%）

对比Unet以及ResUnet：本申请在Miou分别提升了8.14%和6.04%。从肝癌部分来看，本申请在IoU分别提升了14.60%和13.89%，Dice系数分别提升了8.94%和8.47%。从肝脏部分来看，本申请在IoU分别提升了9.07%和4.07%，Dice系数分别提升了5.11%和2.24%。由上可知，对比于Unet以及ResUnet，本申请不管是肝脏还是肝癌部分都有较大的提升，这凸显了本申请所述技术方案的有效性。

对比BAM、CBAM、SE、GA、ECA以及Triplet这6个注意力机制网络：总的来看，本申请在Miou平均提升了2.58%。从肝癌部分来看，本申请在IOU平均提升了5.74%，Dice系数平均提升了3.42%。从肝脏部分来看，本申请在IoU平均提升了1.92%，Dice系数平均提升了1.05%。由上可知，对比于这6个注意力机制网络，虽然在肝脏部分分割结果提升不大，但是在较为难分割的肝癌部分仍然能做到不错的提升，这得益于本申请设计的同时关注空间多尺度信息与通道间信息的DASGC模块，从而验证了本申请所述技术方案的优越性。

本申请实施例提供的一种肝脏及其肿瘤图像的分割方法，通过多尺寸特征注意力机制模块DASGC同时关注全局空间信息、局部空间信息以及通道间信息，给予大、小目标的重要特征信息更大权重，解决了Unet网络忽略的特征有用信息和无用信息筛选问题，能够有效利用特征图像的有限信息，解决了Unet网络不能有效利用较少医学图像数据集信息完成精准分割的问题。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种肝脏及其肿瘤图像的分割方法，其特征在于，包括：

获取目标图像，所述目标图像表示包含肝脏及其肿瘤的CT图像；

通过第一卷积层对所述目标图像进行输入处理，并将处理结果顺次通过第一批归一化层以及第一ReLu激活函数层进行处理，得到第一特征图；

通过基于多尺寸特征注意力机制构成的图像分割网络对第一特征图进行图像分割，得到第二特征图，所述图像分割网络在图像分割过程中产生多个不同的特征子图；

基于所述图像分割网络在图像分割过程中产生的多个不同的特征子图，对所述第二特征图进行上采样，得到上采样后的图像；

通过第二卷积层对所述上采样后的图像进行卷积操作，得到目标图像对应的分割图像。

2.根据权利要求1所述的肝脏及其肿瘤图像的分割方法，其特征在于，所述基于多尺寸特征注意力机制构成的图像分割网络包括顺次连接的第一最大池化层、第一残差块至第三残差块、第二最大池化层、第四残差块至第七残差块、第三最大池化层、第八残差块至第十三残差块、第四最大池化层以及第十四残差块至第十六残差块；

所述第一残差块至第十六残差块均基于多尺寸特征注意力机制构成。

3.根据权利要求2所述的肝脏及其肿瘤图像的分割方法，其特征在于，第一残差块至第十六残差块的结构相同，均包括顺次连接的第三卷积层、第二批归一化层、第二ReLu激活函数层、第四卷积层、第三批归一化层、第三ReLu激活函数层以及多尺寸特征注意力机制模块DASGC；

所述第三卷积层的输入作为残差块的输入，所述第三卷积层的输入与多尺寸特征注意力机制模块DASGC的输出进行相加操作所得到的结果作为残差块的输出。

4.根据权利要求3所述的肝脏及其肿瘤图像的分割方法，其特征在于，所述多尺寸特征注意力机制模块DASGC包括顺次连接的多尺度空间提取单元DASPP以及转换单元Transform，所述多尺度空间提取单元DASPP的输入作为多尺寸特征注意力机制模块DASGC的输入，所述多尺度空间提取单元DASPP的输入与转换单元Transform的输出进行相加操作所得到的结果作为多尺寸特征注意力机制模块DASGC的输出。

5.根据权利要求4所述的肝脏及其肿瘤图像的分割方法，其特征在于，所述多尺度空间提取单元DASPP包括第一平均池化层、第三卷积层、第四卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层、第三深度空洞可分离卷积层、第五卷积层以及第二平均池化层；

所述第一平均池化层、第三卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的输入端共同作为多尺度空间提取单元DASPP的输入端，以接收相同的输入信号；所述第一平均池化层与第四卷积层连接，所述第三卷积层、第四卷积层、第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的输出在通道维度上进行拼接后作为第五卷积层的输入，所述第五卷积层的输出作为第二平均池化层的输入，所述第二平均池化层的输出作为多尺度空间提取单元DASPP的输出。

6.根据权利要求5所述的肝脏及其肿瘤图像的分割方法，其特征在于，所述第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层的结构相同，均包括顺次连接的带有空洞率的逐通道卷积层以及逐点卷积层，所述第一深度空洞可分离卷积层、第二深度空洞可分离卷积层以及第三深度空洞可分离卷积层中逐通道卷积层的空洞率顺次为6、18以及24。

7.根据权利要求4所述的肝脏及其肿瘤图像的分割方法，其特征在于，所述转换单元Transform包括顺次连接的第六卷积层、层归一化层、第四ReLu激活函数层以及第七卷积层。

8.根据权利要求2所述的肝脏及其肿瘤图像的分割方法，其特征在于，通过基于多尺寸特征注意力机制构成的图像分割网络对第一特征图进行图像分割，得到第二特征图，包括：

以第一特征图作为第一特征子图，并通过第一最大池化层以及第一残差块至第三残差块对第一特征子图进行处理，得到第二特征子图；

通过第二最大池化层以及第四残差块至第七残差块对第二特征子图进行处理，得到第三特征子图；

通过第三最大池化层以及第八残差块至第十三残差块对第三特征子图进行处理，得到第四特征子图；

通过第四最大池化层以及第十四残差块至第十六残差块对第四特征子图进行处理，得到第二特征图。

9.根据权利要求8所述的肝脏及其肿瘤图像的分割方法，其特征在于，基于所述图像分割网络在图像分割过程中产生的多个不同的特征子图，对所述第二特征图进行上采样，得到上采样后的图像，包括：

通过第一上采样块对第二特征图进行上采样，得到第一上采样图像，并将第一上采样图像与第四特征子图进行拼接操作，得到第一拼接图像；

将第一拼接图像通过第一卷积块以及第二上采样块进行上采样，得到第二上采样图像，并将第二上采样图像与第三特征子图进行拼接操作，得到第二拼接图像；

将第二拼接图像通过第二卷积块以及第三上采样块进行上采样，得到第三上采样图像，并将第三上采样图像与第二特征子图进行拼接操作，得到第三拼接图像；

将第三拼接图像通过第三卷积块以及第四上采样块进行上采样，得到第四上采样图像，并将第四上采样图像与第一特征子图进行拼接操作，得到第四拼接图像；

通过第四卷积块对第四拼接图像进行处理，得到上采样后的图像。

10.根据权利要求9所述的肝脏及其肿瘤图像的分割方法，其特征在于，所述第一上采样块至第四上采样块结构相同，均包括转置卷积层；

所述第一卷积块至第四卷积块结构相同，均包括顺次连接的第一深度可分离卷积层、第四批归一化层、第五ReLu激活函数层、第二深度可分离卷积层、第五批归一化层以及第六ReLu激活函数层。

Images