CN113744279B

CN113744279B - 一种基于FAF-Net网络的图像分割方法

Info

Publication number: CN113744279B
Application number: CN202110642409.3A
Authority: CN
Inventors: 栗伟; 曹仰勇; 于鲲; 冯朝路
Original assignee: 东北大学
Priority date: 2021-06-09
Filing date: 2021-06-09
Publication date: 2023-11-14
Anticipated expiration: 2041-06-09
Also published as: CN113744279A

Abstract

本发明公开了一种基于FAF‑Net网络的图像分割方法，涉及图像分割技术领域。该方法包括：输入待分割图像；图像经过编码阶段得到特征图M₁～M₅，同时将PPM模块加入U‑Net网络的编码阶段，并将M₅经过PPM模块得到M_P；将FAF模块引入解码阶段，替换U‑Net中每次跳跃连接后的拼接操作，然后将M_P经过解码阶段进行特征还原得到Y，根据Y得到图像的分割结果。PPM模块的加入，解决了U‑Net网络中缺少处理图像多尺度问题模块的这一问题；FAF模块解决了U‑Net网络中每次跳跃连接之后的拼接操作中的两个主体特征语义相差较大的问题，提升了网络对于CT图像中病灶分割的准确率。

Description

一种基于FAF-Net网络的图像分割方法

技术领域

本发明涉及图像分割技术领域，特别是涉及一种基于FAF-Net网络的图像分割方法。

背景技术

肺炎患者的CT图像包含丰富的图像语义，其中的病灶区域更是蕴含着纹理学、形态学、统计学等不同形式的重要特征。所以一些研究指出，了解CT图像的演变过程可为新冠肺炎的早期防控、早期诊断及治疗提供重要依据。但是研究人员研究和使用CT图像的前提条件之一是：CT图像中的病灶区域已经具有显著性标注。而如今这项工作多为医生或者专业人员进行的人工标注，重复且大量的CT图像标注工作给工作人员带来了巨大的工作量。而且人工操作一般带有标注者个人的主观思想，并且常常伴有标注者的失误操作现象，所以标注者难以保证精准地在CT图像中标注病灶区域。

2012年提出的AlexNet网络首次将卷积神经网络(CNN)应用在图像识别上。之后陆续出现了很多优秀的图像分割的网络和方法，如：FCN、SegNet、Deeplab v1&v2&v3、V-net、U-Net等。它们的出现，在进一步提高图像分割精度的同时，也大大地解放了标注者的工作。这些网络中，在医学图像中应用比较广泛，效果比较好的是U-Net网络。U-Net网络的实现思路是：首先将输入的图像不断地进行卷积、池化、激活操作，提取输入图像的特征信息，产生多个特征图，在这个过程中，特征图的大小不断缩小，通道数量不断增大，这个过程被称为“编码阶段”；然后再将编码阶段提取到的最后一个特征图作为输入，重复使用上采样、卷积、激活操作，产生多个特征图，在这个过程中，特征图的大小不断增大，通道数量不断缩小，最后一个特征图被还原至与输入图像的大小一致，这个过程被称为“解码阶段”。其中最后一个特征图中的每个点的值代表对输入图像中的每个像素点的预测值，然后设置一定大小的阈值，根据特征图中每个像素点的值与阈值之间的大小关系来确定分割的区域，以此达到了对输入图像进行分割的效果。然而因为U-Net网络在解码阶段使用了上采样技术，所以无法避免地会造成特征图信息的丢失。针对这个问题，U-Net网络认为编码阶段产生的特征图更加接近于输入图像，具有更丰富的特征信息，因此将编码阶段产生的特征图与解码阶段产生的特征图直接进行拼接操作，以此来弥补解码阶段上采样操作中的信息丢失，这个操作被称为“跳跃连接”。而近期很多文献中提出：在U-Net网络每次跳跃连接时，解码阶段的特征图一般是与其相对应的编码阶段的特征图经过若干次卷积、激活、池化、上采样操作之后得到的，因此它们之间语义上的差别较大。如果直接将它们进行拼接操作，可能会因为这种特征图间语义上的差别造成网络的分割效果下降。就像让两个年龄相差较大且素未谋面的人协同工作一样。

与此同时，在经过相关专业医生的指导之后，容易发现新冠肺炎病灶体现在CT图像上具有多尺度的特点：1、病灶的面积大小不一致。例如较小的病灶面积小于1cm²，而最大病灶的面积却接近于半个肺叶；2、病灶的形状不统一。例如磨玻璃型的病灶形态接近于一团海绵，而索条型的病灶却像一道细长的绳索。但是在U-Net网络中并没有设计专门处理图像多尺度问题的模块，因此对于CT图像中的新冠肺炎病灶，U-Net网络并不能具有很好的分割效果。

发明内容

针对上述现有技术存在的不足，本发明提供一种基于FAF-Net网络的图像分割方法，旨在对U-Net网络进行改进，在传统的U-Net网络中加入PPM模块和FAF模块构成FAF-Net网络，通过基于FAF-Net网络的图像分割方法解决基于U-Net网络的图像分割方法无法处理图像多尺度问题和每次跳跃连接之后的拼接操作中的两个主体特征语义相差较大的问题，从而提高基于U-Net网络的图像分割方法的精度。

本发明的技术方案为：

一种基于FAF-Net网络的图像分割方法，包括下述步骤：

步骤1：输入待分割图像，并根据该图像的大小将其定义为大小为T×H×W的3维特征数组，表示为：X(T×H×W)；

步骤2：图像X经过编码阶段得到特征图M₁～M₅，同时将PPM模块加入U-Net网络的编码阶段，并将M₅经过PPM模块得到M_P；

步骤3：首先将FAF模块引入解码阶段，替换U-Net中每次跳跃连接后的拼接操作，然后将M_P经过解码阶段进行特征还原得到Y，根据Y得到图像的分割结果。

进一步地，根据所述的基于FAF-Net网络的图像分割方法，所述步骤2中所述图像X经过编码阶段得到特征图M₁～M₅的方法为：首先将X经过提取特征操作改变特征图通道数量，得到特征图M₁(C×W×H)；然后将M_i经过最大值池化操作改变M_i的特征图大小，得到再将/>经过提取特征操作，得到特征图M_i+1，其中i为特征图索引，i＝1,2,3,4，所述M_i+1分别为/>

进一步地，根据所述的基于FAF-Net网络的图像分割方法，所述提取特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成。

进一步地，根据所述的基于FAF-Net网络的图像分割方法，所述步骤2中所述M₅经过 PPM模块得到M_P的具体过程为：(1)将M₅经过平均值池化操作改变特征图大小，再经过卷积操作改变通道数量，得到P_i，再将P_i经过上采样操作改变特征图大小，得到该过程重复执行四次，在执行的过程中i依次取值1、2、3、4，其中依次得到P₁(C×1×1)、 P₂(C×2×2)、P₃(C×3×3)、P₄(C×6×6)；(2)将M₅与S₁，S₂，S₃，S₄进行拼接操作，得到/>(3)将S经过卷积操作改变通道数量，得到特征图/>

进一步地，根据所述的基于FAF-Net网络的图像分割方法，所述FAF模块的输入为两个特征图，将两个输入的特征图串行经过融合、学习、再融合三个阶段后得到融合后的输出特征图，所述FAF模块中的可变参数为F_G、F_R，其中F_G代表FAF模块中的分组卷积操作中的分组数量，F_R代表FAF模块中的第一个全连接操作中输入特征图通道数量与输出特征图通道数量的比例；假设第i个FAF模块中的可变参数为F_G为F_R为/>并定义C_i,H_i,W_i数值上分别等于输入特征图M_i的三个维度的大小，即特征图的通道数量和特征图的大小，则第i个FAF模块的具体过程为：

在融合阶段：首先将特征图M_i与分别经过分组数量为/>的分组卷积操作，得到对应的特征图A₁(C_i×H_i×W_i)和A₂(C_i×H_i×W_i)，然后将A₁与A₂经过矩阵相加得到特征图A(C_i×H_i×W_i)，其中矩阵相加的定义为：

A(j,k,l)＝A₁(j,k,l)+A₂(j,k,l)

其中j,k,l为位置索引，且满足1≤j≤C_i、1≤k≤H_i、1≤l≤W_i；A(j,k,l)代表特征图A在坐标为(j,k,l)位置的值；C_i,H_i,W_i数值上分别等于输入特征图M_i的三个维度的大小，即特征图的通道数量和特征图的大小；

在学习阶段：首先将A经过池化窗口大小为H_i×W_i的平均值池化操作改变特征图大小，得到向量R(C_i×1×1)，所述向量为特征图的一种特殊形式，代表原特征图大小为1×1，向量的长度为特征图的通道数量；然后将R经过输入特征图通道数量为C_i，输出特征图通道数量为的全连接操作改变特征图通道数量，得到向量/>其中/>代表向上取整运算；最后将T分别经过两个输入特征图通道数量为/>输出特征图通道数量为C_i的全连接操作改变特征图通道数量，对应地得到两个向量t₁(C_i×1×1),t₂(C_i×1×1)；

在再融合阶段：首先将t₁与t₂输入softmax函数，对应地得到两个向量a₁(C_i×1×1)和 a₂(C_i×1×1)；然后将A₁与a₁进行矩阵与向量相乘操作，得到S₁(C_i×H_i×W_i)，同时将A₂与 a₂进行矩阵与向量相乘操作，得到S₂(C_i×H_i×W_i)；最后将S₁与S₂经过矩阵相加得到U_i(C_i× H_i×W_i)；

所述矩阵与向量相乘操作的定义为：

S₁(j,k,l)＝A₁(j,k,l)×a₁(j,1,1)

其中j,k,l为位置索引，且满足1≤j≤C_i、1≤k≤H_i、1≤l≤W_i。

进一步地，根据所述的基于FAF-Net网络的图像分割方法，所述步骤3中所述将M_P经过解码阶段进行特征还原得到Y的方法为：首先定义B₅＝M_P，将B_i+1经过上采样操作改变特征图大小，得到特征图然后将/>与M_i经过第i个FAF模块，得到特征图U_i；又然后将U_i经过还原特征操作得到特征图B_i，其中i为特征图索引，i＝4,3,2,1，所述B_i分别为 B₁(C×H×W)；最后将B₁通过卷积操作得到输出Y(T× H×W)。

进一步地，根据所述的基于FAF-Net网络的图像分割方法，所述还原特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成。

进一步地，根据所述的基于FAF-Net网络的图像分割方法，所述上采样操作采用双线性插值算法。

与现有技术相比，本发明具有如下有益效果：

1、本发明在U-Net网络中加入PPM模块(PPM-Pyramid pooling module，金字塔池化模块)，利用具有多种大小不同的感受野的特征提取模块，更好地提取不同尺度的特征，解决了 U-Net网络中缺少处理图像多尺度问题的模块这一问题，可以更加精准地分割不同尺度大小的新冠肺炎病灶。2、本发明在U-Net网络中还引入了Feature Attention Fusion(FAF，基于注意力机制的特征融合)模块替换U-Net中每次跳跃连接后的拼接操作，FAF模块的输入为两个特征图，将两个输入的特征图串行经过“融合”、“学习”、“再融合”三个阶段后得到融合后的输出特征图。FAF模块的优点有三点：a)可以极大限度地消除两个特征图之间的语义差距；b) 可以使特征图自适应地调整各通道之间的关系，使得两个特征更好地融合；c)FAF模块的输出特征图的通道数量相较于输入特征图的通道数量没有增加，从而节省了FAF-Net网络在后续操作的计算资源。FAF模块解决了U-Net网络中每次跳跃连接之后的拼接操作中的两个主体特征语义相差较大的问题，提升了网络对于CT图像中病灶分割的准确率。

附图说明

图1为本实施方式基于FAF-Net网络的图像分割方法的流程图；

图2为本实施方式的提取特征操作与还原特征操作的结构示意图；

图3为本实施方式的PPM模块的结构示意图；

图4为本实施方式的FAF模块的结构示意图；

图5(A)为从测试集中选取的一张原始CT图像；(B)为(A)图中病灶区域对应的图像；(C)为通过传统的U-Net网络对(A)图中新冠肺炎病灶分割的结果显示图；(D)为通过FAF-Net网络对(A)图中新冠肺炎病灶分割的结果显示图。

具体实施方式

下面将结合附图和具体实施方式，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但限制本发明的范围。

图1是本实施方式的基于FAF-Net网络的图像分割方法的流程图，所述基于FAF-Net网络的图像分割方法包括如下步骤：

步骤1：读取训练集中的一幅待分割CT图像，并根据该图像的大小将其定义为大小为 T×H×W的3维特征数组，表示为：X(T×H×W)。

在优选实施例中，根据读取的待分割CT图像的大小，将读取到的CT图像定义为大小为 1×256×256的3维特征数组，表示为：X(1×256×256)，其中第一个维度为1，代表X的通道数量，第二个维度和第三个维度均为256，代表X的特征图大小。数组中的元素表示为X_i,j,k，代表3维数组X中坐标为(i,j,k)的位置的像素值。

步骤2：在U-Net网络的编码阶段加入PPM模块，输入的CT图像经过编码阶段后得到特征图M_P。

在本实施方式中，图像X经过编码阶段得到特征图M₁～M₅的方法为：首先将X经过提取特征操作改变特征图通道数量，得到特征图M₁(C×W×H)；然后将M_i经过最大值池化操作改变M_i的特征图大小，得到再将/>经过提取特征操作，得到特征图M_i+1，其中i为特征图索引，i＝1,2,3,4，所述M_i+1分别为/>

图2是所述提取特征操作的结构示意图，所述提取特征操作，由串行的两组操作构成，其中每组所述操作由串行的卷积操作、数据归一化操作和激活操作构成；

在优选实施例中，图像X经过编码阶段得到特征图M₁～M₅的具体过程包括如下的步骤 2.1～2.5：

步骤2.1：对X进行特征提取，将X经过提取特征操作改变特征图通道数量，得到特征图 M₁(C×W×H)；

在优选实施例中，对X进行特征提取的详细过程为：先将输入X经过提取特征操作中的一组操作即串行的卷积操作(在优选实施例中所有的卷积操作中卷积核为3×3大小，步长为1，不同点在于卷积核的数量，即输出结果中特征图的通道数)、数据归一化操作和激活操作，得到特征图然后再将/>经过提取特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图M₁(64×256×256)。

步骤2.2：对M₁进行特征提取，将M₁经过最大值池化操作改变M₁的特征图大小，得到再将/>经过提取特征操作，改变/>的特征图通道数量，得到特征图M₂；

在优选实施例中，将M₁经过池化窗口大小为2×2的最大值池化操作(在本实施方式中，最大值池化操作中池化窗口大小均为2×2)，改变M₁的特征图大小，得到将/>经过提取特征操作，改变/>的特征图通道数量，得到特征图M₂(128×128×128)。

步骤2.3：按照步骤2.2的方法，对M₂进行特征提取，将M₂经过最大值池化操作改变M₂的特征图大小，得到再将/>经过提取特征操作，改变/>的特征图通道数量，得到特征图 M₃。

在优选实施例中，将M₂经过最大值池化操作改变特征图大小，得到再将/>进行提取特征操作改变通道数量，得到特征图M₃(256×64×64)。

步骤2.4：对M₃进行特征提取，将M₃经过最大值池化操作改变M₃的特征图大小，得到再将/>经过提取特征操作，改变/>的特征图通道数量，得到特征图M₄。

在优选实施例中，将M₃经过最大值池化操作改变特征图大小，得到再将/>进行提取特征操作改变通道数量，得到特征图M₄(512×32×32)。

步骤2.5：对M₄进行特征提取，将M₄经过最大值池化操作改变M₄的特征图大小，得到再将/>经过提取特征操作，但不改变/>的特征图通道数量，得到特征图M₅。

在优选实施例中，将M₄经过最大值池化操作改变特征图大小，得到将/>进行提取特征操作，不改变通道数量，得到特征图M₅(512×16×16)。

在本实施方式中，M₅经过PPM模块得到M_P的具体过程为：(1)将M₅经过平均值池化操作改变特征图大小，再经过卷积操作改变通道数量，得到P_i，再将P_i经过上采样操作改变特征图大小，得到该过程重复执行四次，在执行的过程中i依次取值1、2、3、4，其中依次得到P₁(C×1×1)、P₂(C×2×2)、P₃(C×3×3)、P₄(C×6×6)；(2)将M₅与S₁， S₂，S₃，S₄进行拼接操作，得到/>(3)将S经过卷积操作改变通道数量，得到特征图

在优选实施例中，如图3所示，将M₅经过PPM模块得到M_P的具体过程包括：首先同时执行下面的步骤(a)至(d)得到特征图S₁，S₂，S₃，S₄：

(a)将M₅串行经过池化窗口大小为16×16的平均值池化操作改变特征图大小，经过卷积操作改变通道数量，得到P₁(64×1×1)，将P₁经过上采样操作改变特征图大小，得到S₁(64× 16×16)。其中上采样操作采用双线性插值算法，其功能为改变输入特征图的大小，本实施方式的上采样操作中均使用双线性插值算法；

(b)将M₅串行经过的池化口大小为8×8的平均值池化操作改变特征图大小，经过卷积操作改变通道数量，得到P₂(64×2×2)，将P₂再经过上采样操作改变特征图大小，得到S₂(64× 16×16)；

(c)将M₅串行经过池化窗口大小为6×6的平均值池化操作改变特征图大小，经过卷积操作改变通道数量，得到P₃(64×3×3)，将P₃再经过上采样操作改变特征图大小，得到S₃(64× 16×16)；

(d)将M₅串行经过池化窗口大小为3×3的平均值池化操作改变特征图大小，经过卷积操作改变通道数量，得到P₄(64×6×6)，将P₄经过上采样操作改变特征图大小，得到S₄(64× 16×16)；

然后，将M₅与S₁，S₂，S₃，S₄进行拼接操作，得到S(768×16×16)；

最后，将S经过卷积操作改变通道数量，得到特征图M_P(512×16×16)。

步骤3：先将FAF模块引入解码阶段，替换U-Net中每次跳跃连接后的拼接操作，然后将M_P经过解码阶段进行特征还原得到Y，Y与X相同大小，根据Y结合预设的阈值，得到图像的分割结果。

在本实施方式中，将M_P经过解码阶段进行特征还原得到Y的方法为：首先定义B₅＝M_P，将B_i+1经过上采样操作改变特征图大小，得到特征图然后将/>与M_i经过第i个FAF模块，得到特征图U_i；又然后将U_i经过还原特征操作得到特征图B_i，其中i为特征图索引，i＝4,3,2,1，所述B_i分别为/>B₁(C×H×W)；最后将B₁通过卷积操作得到输出Y(T×H×W)。

图2也是还原特征操作的结构示意图，所述还原特征操作与提取特征操作采用相同的架构，也是由串行的两组操作构成，其中每组所述操作由串行的卷积操作、数据归一化操作和激活操作构成；不同点在于二者在进行各自的卷积操作时设置的卷积核数量。

在本实施方式中，所述FAF模块的输入为两个特征图，如图4所示，将两个输入的特征图串行经过融合、学习、再融合三个阶段后得到融合后的输出特征图，所述FAF模块中的可变参数为F_G、F_R，其中F_G代表FAF模块中的分组卷积操作中的分组数量，F_R代表FAF模块中的第一个全连接操作中输入特征图通道数量与输出特征图通道数量的比例；假设第i个FAF模块中的可变参数为F_G为F_R为/>并定义C_i,H_i,W_i数值上分别等于输入特征图M_i的三个维度的大小，即特征图的通道数量和特征图的大小，则第i个FAF模块的具体过程为：

A(j,k,l)＝A₁(j,k,l)+A₂(j,k,l)

所述矩阵与向量相乘操作的定义为：

S₁(j,k,l)＝A₁(j,k,l)×a₁(j,1,1)

在优选实施例中，M_P经过解码阶段进行特征还原得到Y包括如下具体步骤：

步骤3.1：将第四FAF模块引入解码阶段并定义B₅＝M_P，对B₅进行特征还原，得到特征图B₄。

在优选实施例中，对B₅进行特征还原得到特征图B₄的详细过程为：先将B₅经过上采样操作改变特征图大小，得到特征图再将/>与M₄经过第四FAF模块，得到特征图U₄(512×32×32)；然后将U₄经过还原特征操作中的一组操作即串行的卷积操作、数据归一化操作和激活操作改变通道数量得到特征图/>再将/>经过还原特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图B₄(256×32× 32)。

优选实施例中，第四FAF模块的具体过程为：

设置F_G＝8，F_R＝1.5。

在融合阶段，将M₄与分别经过分组数量为F_G＝8，卷积核为3×3大小，步长为1的分组卷积操作，得到对应的特征图A₁(512×32×32),A₂(512×32×32)。将A₁与A₂经过矩阵相加得到A(512×32×32)。其中矩阵相加的定义为：

A(j,k,l)＝A₁(j,k,l)+A₂(j,k,l)

其中j,k,l为位置索引，1≤j≤512；1≤k≤32；1≤l≤32，A(j,k,l)代表特征图A在坐标为(j,k,l)位置的值。

在学习阶段：首先将A经过池化窗口大小为32×32的平均值池化操作改变特征图大小，得到向量R(512×1×1)，所述向量为特征图的一种特殊形式，代表原特征图大小为1×1，向量的长度为特征图的通道数量；然后将R经过输入特征图通道数量为512，输出特征图通道数量为的全连接操作改变特征图通道数量，得到向量T(341×1×1)；最后将T分别经过两个输入特征图通道数量为341，输出特征图通道数量为512的全连接操作改变特征图通道数量，对应地得到两个向量t₁(512×1×1),t₂(512×1×1)。

在再融合阶段：首先将t₁与t₂输入softmax函数，对应地得到两个向量a₁(512×1×1),a₂(512×1×1)；然后将A₁与a₁进行矩阵与向量相乘操作，得到S₁(512×32×32)，其中矩阵与向量相乘操作的定义为：

S₁(j,k,l)＝A₁(j,k,l)×a₁(j,1,1)

其中j,k,l为位置索引，1≤j≤512；1≤k≤32；1≤l≤32。

同时将A₂与a₂进行矩阵与向量相乘操作，得到S₂(512×32×32)；最后将S₁与S₂经过矩阵相加得到U₄(512×32×32)。

步骤3.2：将第三FAF模块引入解码阶段，对B₄进行还原特征，得到特征图B₃。

将B₄经过上采样操作，改变特征图大小，得到特征图设置第三FAF 模块中F_G＝4，F_R＝1.5，将/>与M₃经过第三FAF模块，得到特征图U₃(256×64×64)。将U₃进行还原特征操作，即经过两次串行的卷积操作、数据归一化操作和激活操作，改变特征图通道数，得到B₃(128×64×64)。

步骤3.3：将第二FAF模块引入解码阶段，对B₃进行还原特征，得到特征图B₂。

将B₃经过上采样操作，改变特征图大小，得到特征图设置第二FAF 模块中F_G＝2，F_R＝1.5，将/>与M₂经过第二FAF模块，得到特征图U₂(128×128×128)。将U₂进行还原特征操作，改变特征图通道数，得到B₂(64×128×128)。

步骤3.4：将第一FAF模块引入解码阶段，对B₂进行还原特征，得到特征图B₁。

将B₂经过上采样操作，改变特征图大小，得到特征图设置第一FAF 模块中F_G＝1，F_R＝1.5，将/>与M₁经过第一FAF模块，得到特征图U₁(64×256×256)。将 U₁进行还原特征操作，不改变特征图通道数，得到B₁(64×256×256)。

步骤3.5：将B₁通过卷积操作得到输出Y，根据Y得到图像的分割结果。

将B₁经过卷积操作改变特征图通道数，得到输出Y(1×256×256)，此时Y与X大小一致， Y中的元素表示为Y_i,j,k，Y_i,j,k代表FAF-Net网络对于原始输入图像X在坐标为(i,j,k)位置的像素值的预测值。在优选实施例中，设置阈值α＝0.5，Y_i,j,k>＝α时，表示FAF-Net网络预测X中 (i,j,k)位置属于病灶区域；Y_,j,k<α时，表示FAF-Net网络预测X中(i,j,k)位置属于非病灶区域，得到对于X中病灶区域的分割结果。

在本实施方式中，本发明方法在实验过程中所使用的数据集是在某医院经过保密采集。数据集使用了338例来自同一个医院的不同新冠病人的病例。其中每个病例被隐藏了个人信息，并且均做过PCR核酸检测且结果呈阳性。每个病例含有300张以上的CT图像，并且每张CT图像都经过了两位相关的医生进行手工标注病灶区域得到了每张CT对应的病灶图像。从中挑选出相似度较小并且图像较为清晰的4472组图像，其中一组图像代表一张CT图像和一张对应的病灶图像。首先将所有的CT图像和病灶图像大小都缩放至256×256。然后通过将所有CT图像设置窗宽WW、窗位WL为：1500HU，-450HU的方法将CT图像中的像素点的值归一化至0-255。最后将病灶图像中像素点值大于1的点的值改为1，像素点值小于0的点的值改为0，其余点的像素值不变。

将4472组图像按照14:3:3的比例分割为：训练集，验证集，测试集，并且对训练集中的每张图片进行顺时针旋转180度后作为一张新的图片加入训练集，以此进行数据增强。然后将训练集中的CT图像输入FAF-Net网络，设置每次训练时输入的图片数量为6，设置学习率为1e^-4，设置优化算法为Adam，并将其中参数β₁设置为0.9，β₂设置为0.999，eps设置为1e- 8，weight_decay设置为1e-8，设置损失函数为Loss_BCE，设置迭代次数为1000次。其中Loss_BCE的定义如下

因为本发明进行的实验为图像分割实验，所以为了定量分析实验结果的精准度，使用 Sensitivity，Specificity，Precision，Dice，E_measure(E_φ)，MAE这几个指标衡量实验结果，以此来评价网络的性能。各项指标的公式如下：

其中TP代表X_1,i,j＝1且Y_1,i,j＝1的像素点的个数，TN代表X_1,i,j＝0且Y_1,i,j＝0的像素点的个数，FP代表X_1,i,j＝0且Y_1,i,j＝1的像素点的个数，FN代表X_1,i,j＝0且Y_1,i,j＝1的像素点的个数，其中0＜i,j＜256且i,j为整数。

将FAF-Net网络与传统的U-Net网络分别在训练集的CT图像上进行训练，保存最后一次迭代训练的网络参数。将训练好的FAF-Net网络与U-Net网络分别在测试集的CT图像上进行测试，得到分割结果，将分割结果与测试集中的病灶图像数据作为各项指标的输入进行计算，得到结果如表1所示。

表1

网络	Sensitivity	Specificity	Precision	Dice	MAE	E_measure
							U-Net	0.75099	0.98073	0.5432	0.63041	0.0261	0.89163033
FAF-Net	0.71732	0.98747	0.63596	0.67419	0.0205	0.96474771

根据表中的数据定量分析，可以分析得到：FAF-Net网络在衡量图片间的相似度指标Dice上可以达到0.67419，大幅度超越U-Net网络；在衡量分割结果错误率的指标MAE上，也取得了0.0205，小于U-Net网络，表示与U-Net网络相比，FAF-Net网络对CT图像分割出的病灶图像与真实的病灶图像的差距更小。其余各项指标中，Specificity，Precision，E_measure也均达到了比U-Net网络更好的效果。

接下来再根据图5进行定性分析，图5中的(A)图为测试集中的一张原始CT图像；(B)图为与(A)图对应的病灶图像；(C)图为基于传统的U-Net网络对(A)图中新冠肺炎病灶的分割结果，可以看出U-Net网络将更多的非病灶区域分割为病灶区域，而且在病灶区域的分割结果上与真实的病灶图像也有很大的偏差，分割图像中含有更多的噪音和杂质； (D)图为基于FAF-Net网络对(A)图中新冠肺炎病灶的分割结果，可以看出基于FAF-Net 网络的图像分割结果含有更少的杂质，几乎精准的分割出完整的病灶区域。

综合上述，可以说明与传统的U-Net网络相比，基于FAF-Net网络的图像分割方法在对于CT中新冠肺炎病灶的分割上达到了更加精准的效果。

显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims

1.一种基于FAF-Net网络的图像分割方法，其特征在于，包括下述步骤：

步骤2：图像X经过编码阶段得到特征图M₁～M₅，同时将PPM模块加入U-Net网络的编码阶段，并将M_s经过PPM模块得到M_P；

步骤3：首先将FAF模块引入解码阶段，替换U-Net中每次跳跃连接后的拼接操作，然后将M_P经过解码阶段进行特征还原得到Y，根据Y得到图像的分割结果；

所述图像X经过编码阶段得到特征图M₁～M₅的方法为：首先将X经过提取特征操作改变特征图通道数量，得到特征图M₁(C×W×H)；然后将M_i经过最大值池化操作改变M_i的特征图大小，得到再将/>经过提取特征操作，得到特征图M_i+1，其中i为特征图索引，i＝1，2，3，4，所述M_i+1分别为/>

所述提取特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成；

所述M₅经过PPM模块得到M_P的具体过程为：(1)将M₅经过平均值池化操作改变特征图大小，再经过卷积操作改变通道数量，得到P_i，再将P_i经过上采样操作改变特征图大小，得到该过程重复执行四次，在执行的过程中i依次取值1、2、3、4，其中依次得到P₁(C×1×1)、P₂(C×2×2)、P₃(C×3×3)、P₄(C×6×6)；(2)将M₅与S₁，S₂，S₃，S₄进行拼接操作，得到/>(3)将S经过卷积操作改变通道数量，得到特征图/>

所述FAF模块的输入为两个特征图，将两个输入的特征图串行经过融合、学习、再融合三个阶段后得到融合后的输出特征图，所述FAF模块中的可变参数为F_G、F_R，其中F_G代表FAF模块中的分组卷积操作中的分组数量，F_R代表FAF模块中的第一个全连接操作中输入特征图通道数量与输出特征图通道数量的比例；假设第i个FAF模块中的可变参数为F_G为F_R为/>并定义C_i，H_i，W_i数值上分别等于输入特征图M_i的三个维度的大小，即特征图的通道数量和特征图的大小，则第i个FAF模块的具体过程为：

A(j，k，l)＝A₁(j，k，l)+A₂(j，k，l)

其中j，k，l为位置索引，且满足1≤j≤C_i、1≤k≤H_i、1≤l≤W_i；A(j，k，l)代表特征图A在坐标为(j，k，l)位置的值；C_i，H_i，W_i数值上分别等于输入特征图M_i的三个维度的大小，即特征图的通道数量和特征图的大小；

在学习阶段：首先将A经过池化窗口大小为H_i×W_i的平均值池化操作改变特征图大小，得到向量R(C_i×1×1)，所述向量为特征图的一种特殊形式，代表原特征图大小为1×1，向量的长度为特征图的通道数量；然后将R经过输入特征图通道数量为C_i，输出特征图通道数量为的全连接操作改变特征图通道数量，得到向量/>其中/>代表向上取整运算；最后将T分别经过两个输入特征图通道数量为/>输出特征图通道数量为C_i的全连接操作改变特征图通道数量，对应地得到两个向量t₁(C_i×1×1)，t₂(C_i×1×1)；

在再融合阶段：首先将t₁与t₂输入softmax函数，对应地得到两个向量a₁(C_i×1×1)和a₂(C_i×1×1)；然后将A₁与a₁进行矩阵与向量相乘操作，得到S₁(C_i×H_i×W_i)，同时将A₂与a₂进行矩阵与向量相乘操作，得到S₂(C_i×H_i×W_i)；最后将S₁与S₂经过矩阵相加得到U_i(C_i×H_i×W_i)；

所述矩阵与向量相乘操作的定义为：

S₁(j，k，l)＝A₁(j，k，l)×a₁(j，1，1)

其中j，k，l为位置索引，且满足1≤j≤C_i、1≤k≤H_i、1≤l≤W_i；

所述将M_P经过解码阶段进行特征还原得到Y的方法为：首先定义B₅＝M_P，将B_i+1经过上采样操作改变特征图大小，得到特征图然后将/>与M_i经过第i个FAF模块，得到特征图U_i；又然后将U_i经过还原特征操作得到特征图B_i，其中i为特征图索引，i＝4，3，2，1，所述B_i分别为/>B₁(C×H×W)；最后将B₁通过卷积操作得到输出Y(T×H×W)。

2.根据权利要求1所述的基于FAF-Net网络的图像分割方法，其特征在于，所述还原特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成。

3.根据权利要求1所述的基于FAF-Net网络的图像分割方法，其特征在于，所述上采样操作采用双线性插值算法。