CN113298825B - 一种基于MSF-Net网络的图像分割方法 - Google Patents
一种基于MSF-Net网络的图像分割方法 Download PDFInfo
- Publication number
- CN113298825B CN113298825B CN202110642418.2A CN202110642418A CN113298825B CN 113298825 B CN113298825 B CN 113298825B CN 202110642418 A CN202110642418 A CN 202110642418A CN 113298825 B CN113298825 B CN 113298825B
- Authority
- CN
- China
- Prior art keywords
- feature map
- msf
- module
- channels
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003709 image segmentation Methods 0.000 title claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000009467 reduction Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 56
- 238000011176 pooling Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 230000010339 dilation Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 description 11
- 208000025721 COVID-19 Diseases 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011330 nucleic acid test Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于MSF‑Net网络的图像分割方法，涉及图像分割技术领域。该方法包括：输入待分割图像；先将MSF模块加入U‑Net网络的编码阶段，然后图像X经过编码阶段进行特征提取得到特征图M1～M5，将SE模块也加入U‑Net网络的编码阶段，并将M5经过SE模块得到MS；结合步骤2得到的特征图Mi，将MS经过解码阶段进行特征还原得到Y，根据Y得到图像的分割结果。MSF模块的加入，增加了不同尺度感受野的特征提取模块，解决了U‑Net网络中缺少处理图像多尺度问题的模块这一问题；SE模块的加入，可以使特征图自适应地调整各通道之间的关系，提升了网络对于CT图像中病灶分割的准确率。
Description
技术领域
本发明涉及图像分割技术领域，特别是涉及一种基于MSF-Net网络的图像分割方法。
背景技术
肺炎患者的CT图像包含丰富的图像语义，其中的病灶区域更是蕴含着纹理学、形态学、统计学等不同形式的重要特征。所以一些研究指出，了解CT图像的演变过程可为COVID-19的早期防控、早期诊断及治疗提供重要依据。但是研究人员研究和使用CT图像的前提条件之一是：CT图像中的病灶区域已经具有显著性标注。而如今这项工作多为医生或者专业人员进行的人工标注，重复且大量的CT图像标注工作给工作人员带来了巨大的工作量。而且人工操作一般带有标注者个人的主观思想，并且常常伴有标注者的失误操作现象，所以标注者难以保证精准地在CT图像中标注病灶区域。
2012年提出的AlexNet网络首次将卷积神经网络(CNN)应用在图像识别上。之后陆续出现了很多优秀的图像分割的网络和方法，如：FCN、SegNet、Deeplab v1&v2&v3、V-net、U-Net等。它们的出现，在进一步提高图像分割精度的同时，也大大地解放了标注者的工作。这些网络中，在医学图像中应用比较广泛，效果比较好的是U-Net网络。U-Net网络的实现思路是：首先将输入的图像不断地进行卷积、池化、激活操作，提取输入图像的特征信息，产生多个特征图，在这个过程中，特征图的大小不断缩小，通道数量不断增大，这个过程被称为“编码阶段”；然后再将编码阶段提取到的最后一个特征图作为输入，重复使用上采样、卷积、激活操作，产生多个特征图，在这个过程中，特征图的大小不断增大，通道数量不断缩小，最后一个特征图被还原至与输入图像的大小一致，这个过程被称为“解码阶段”。其中最后一个特征图中的每个点的值代表对输入图像中的每个像素点的预测值，然后设置一定大小的阈值，根据特征图中每个像素点的值与阈值之间的大小关系来确定分割的区域，以此达到了对输入图像进行分割的效果。然而因为U-Net网络在解码阶段使用了上采样技术，所以无法避免地会造成特征图信息的丢失。针对这个问题，U-Net网络认为编码阶段产生的特征图更加接近于输入图像，具有更丰富的特征信息，因此将编码阶段产生的特征图与解码阶段产生的特征图直接进行拼接操作，以此来弥补解码阶段上采样操作中的信息丢失，这个操作被称为“跳跃连接”。
与此同时，在经过相关专业医生的指导之后，容易发现COVID-19病灶体现在CT图像上具有多尺度的特点：1、病灶的面积大小不一致。例如较小的病灶面积小于1cm2，而最大病灶的面积却接近于半个肺叶；2、病灶的形状不统一。例如磨玻璃型的病灶形态接近于一团海绵，而索条型的病灶却像一道细长的绳索。但是在U-Net网络中并没有设计专门处理图像多尺度问题的模块，因此对于CT图像中的COVID-19病灶，U-Net网络并不能具有很好的分割效果。
发明内容
针对上述现有技术存在的不足，本发明提供一种基于MSF-Net网络的图像分割方法，旨在对U-Net网络进行改进，在传统的U-Net网络中加入MSF模块和SE模块构成MSF-Net网络，通过基于MSF-Net网络的图像分割方法解决基于U-Net网络的图像分割方法无法处理图像多尺度问题，从而提高基于U-Net网络的图像分割方法的精度。
本发明的技术方案为：
一种基于MSF-Net网络的图像分割方法，包括下述步骤：
步骤1：输入待分割图像，并根据该图像的大小将其定义为大小为T×H×W的3维特征数组，表示为：X(T×H×W)；
步骤2：将MSF模块加入U-Net网络的编码阶段，图像X经过编码阶段进行特征提取得到特征图M1～M5，将SE模块也加入U-Net网络的编码阶段，并将M5经过SE模块得到MS；
步骤3：结合步骤2得到的特征图M1～M4，将MS经过解码阶段进行特征还原得到Y，根据Y得到图像的分割结果。
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述图像X经过编码阶段得到特征图M1～M5的方法包括如下步骤：(a)将X经过提取特征操作改变特征图通道数量，得到特征图T1(C×W×H)；(b)将T1经过MSF模块得到特征图M1；(c)将Mi经过最大值池化操作改变Mi的特征图大小，得到(d)再将/>经过提取特征操作，得到特征图Ti+1；(e)将Ti+1经过MSF模块得到特征图Mi+1；在步骤(c)、(d)、(e)中的i为特征图索引，i＝1，2，3，4，所述Mi+1分别为/>
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述提取特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成。
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述MSF模块包括可变参数：R1，R2，R3，R4，G5，G6，G7，G8，O5，O6，O7，O8，其中R1，R2，R3，R4分别代表MSF模块中四次平均值池化的缩放比例；G5，G6，G7，G8分别代表MSF模块中四次扩张卷积的卷积核大小；O5，O6，O7，O8分别代表MSF模块中四次扩张卷积的扩张率；所述MSF模块中的具体过程包括：
(01)将Ti经过平均值池化操作改变特征图大小，再经过卷积操作改变通道数量，得到Pj，再将Pj经过上采样操作改变特征图大小，得到该过程重复执行四次，在执行的过程中j依次取值1、2、3、4，其中依次得到/>
(02)将Ti分别经过四次不同的扩张卷积，得到其中j为特征图索引，j＝5，6，7，8；该四次扩张卷积的卷积核大小分别为：G5，G6，G7，G8；该四次扩张卷积的步长均为1；该四次扩张卷积的扩张率分别为：O5，O6，O7，O8；
(03)将Ti与S1，S2，S3，S4，S5，S6，S7，S8进行拼接操作，得至
(04)将S经过卷积操作改变通道数量，得到特征图Mi(Ci×Hi×Wi)；
上述步骤(01)～(04)中的i为特征图索引，i＝1，2，3，4，5；Ci，Hi，Wi数值上分别等于Ti三个维度的大小，即特征图的通道数量和特征图的大小。
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述MSF模块中的可变参数R1，R2，R3，R4，G5，G6，G7，G8，O5，O6，O7，O8依次设置为1，2，3，6，1×1，3×3，3×3，3×3，1，2，4，6。
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述将M5经过SE模块得到MS的具体过程为：
首先定义C5，H5，W5分别为特征图M5的通道数量和特征图的大小；且定义所述SE模块中的可变参数为SR，SR代表SE模块中的第一个全连接操作中输入特征图通道数量与输出特征图通道数量的比例；然后将M5经过池化窗口大小为H5×W5的平均值池化操作改变特征图大小，得到向量R(C5×1×1)，所述向量为特征图的一种特殊形式，代表原特征图大小为1×1，向量的长度为特征图的通道数量；再然后将R经过输入特征图通道数量为C5，输出特征图通道数量为的全连接操作改变特征图通道数量，得到向量/>其中/>代表向上取整运算；又然后将Z经过输入特征图通道数量为/>输出特征图通道数量为C5的全连接操作改变特征图通道数量，得到向量Q(C5×1×1)；最后将M5与Q按照式(1)进行矩阵与向量相乘操作，得到Ms(C5×H5×W5)；
Ms(j，k，l)＝M5(j，k，l)×Q(j，1，1) (1)
上式中，j、k、l为位置索引，且1≤j≤C5，1≤k≤H5，1≤l≤W5。
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述将MS经过解码阶段进行特征还原得到Y的方法为：首先定义B5＝MS，将Bi+1经过上采样操作改变特征图大小，得到特征图然后将/>与Mi经过拼接操作，得到特征图Ui；将Ui输入特征还原模块经过还原特征操作得到特征图Bi，其中i为特征图索引，i＝4，3，2，1，所述Bi分别为/> B1(C×H×W)；最后将B1通过卷积操作得到输出Y(T×H×W)。
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述还原特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成。
进一步地，根据所述的基于MSF-Net网络的图像分割方法，所述上采样操作采用双线性插值算法。
与现有技术相比，本发明具有如下有益效果：
1、本发明在U-Net网络中加入More Scale Feature(MSF，多尺度特征)模块，MSF模块通过利用a)卷积操作、具有不同大小的池化窗口的平均值池化操作和双线性插值算法，以及b)不同扩张率的扩张卷积操作，两种方式来增加不同尺度感受野的特征提取模块，更好地提取不同尺度的特征，解决了U-Net网络中缺少处理图像多尺度问题的模块这一问题，可以更加精准地分割不同尺度大小的COVID-19病灶。2、本发明在U-Net网络中还引入了SE(Squeeze-and-Excitation)模块，SE模块对特征图各通道间的依赖关系进行建模，可以使特征图自适应地调整各通道之间的关系，提升了网络对于CT图像中的COVID-19病灶分割的准确率。
附图说明
图1为本实施方式基于MSF-Net网络的图像分割方法的流程图；
图2为本实施方式的提取特征操作与还原特征操作的结构示意图；
图3为本实施方式的MSF模块的结构示意图；
图4为本实施方式的SE模块的结构示意图；
图5(A)为从测试集中选取的一张原始CT图像；(B)为(A)图中病灶区域对应的图像；(C)为通过传统的U-Net网络对(A)图中COVID-19病灶分割的结果显示图；(D)为通过MSF-Net网络对(A)图中COVID-19病灶分割的结果显示图。
具体实施方式
下面将结合附图和具体实施方式，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但限制本发明的范围。
图1是本实施方式的基于MSF-Net网络的图像分割方法的流程图，所述基于MSF-Net网络的图像分割方法包括如下步骤：
步骤1：读取训练集中的一幅待分割CT图像，并根据该图像的大小将其定义为大小为T×H×W的3维特征数组，表示为：X(T×H×W)；
在优选实施例中，根据读取的待分割CT图像的大小，将读取到的CT图像定义为大小为1×256×256的3维特征数组，表示为：X(1×256×256)，其中第一个维度为1，代表X的通道数量，第二个维度和第三个维度均为256，代表X的特征图大小。数组中的元素表示为Xi，j，k，代表3维数组X中坐标为(i，j，k)的位置的像素值。
步骤2：先将MSF模块加入U-Net网络的编码阶段，然后图像X经过编码阶段进行特征提取得到特征图M1～M5，同时将SE模块也加入U-Net网络的编码阶段，并将M5经过SE模块得到MS；
步骤2.1：对X进行特征提取，先将X经过提取特征操作改变特征图通道数量得到特征图T1(C×W×H)，再将T1经过MSF模块得到M1(C×W×H)；
步骤2.1.1：将X经过提取特征操作改变特征图通道数量，得到特征图T1(C×W×H)；
图2是所述提取特征操作的结构示意图，所述提取特征操作，由串行的两组操作构成，其中每组所述操作由串行的卷积操作、数据归一化操作和激活操作构成。
在优选实施例中，将X经过提取特征操作得到特征图T1的详细过程为：先将输入X经过提取特征操作中的一组操作即串行的卷积操作(在优选实施例中所有的卷积操作中卷积核为3×3大小，步长为1，不同点在于卷积核的数量，即输出结果中特征图的通道数)、数据归一化操作和激活操作，得到特征图然后再将/>经过提取特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图T1(64×256×256)。
步骤2.1.2：将T1经过MSF模块得到M1(C×W×H)；
所述MSF模块中的可变参数为：R1，R2，R3，R4，G5，G6，G7，G8，O5，O6，O7，O8，其中R1，R2，R3，R4分别代表MSF模块中四次平均值池化的缩放比例，即平均值池化后得到特征图的大小；G5，G6，G7，G8分别代表MSF模块中四次扩张卷积的卷积核大小；O5，O6，O7，O8分别代表MSF模块中四次扩张卷积的扩张率。
在优选实施例中，所有MSF模块中的可变参数R1均设置为1，R2均设置为2，R3均设置为3，R4均设置为6，G5均设置为1×1，G6均设置为3×3，G7均设置为3×3，G8均设置为3×3，O5均设置为1，O6均设置为2，O7均设置为4，O8均设置为6。
在优选实施例中，如图3所示，将T1经过MSF模块得到M1(64×256×256)的具体过程包括：
首先同时执行下面的(1)至(8)得到特征图S1，S2，S3，S4，S5，S6，S7，S8：
(1)将T1串行经过池化窗口大小为256×256的平均值池化操作改变特征图大小，经过卷积操作改变通道数量，得到P1(4×1×1)，将P1经过上采样操作改变特征图大小，得到S1(4×256×256)。其中上采样操作采用双线性插值算法，其功能为改变输入特征图的大小，本实施方式的上采样操作中均使用双线性插值算法；
(2)将T1串行经过的池化口大小为128×128的平均值池化操作改变特征图大小，及经过卷积操作改变通道数量，得到P2(4×2×2)，将P2再经过上采样操作改变特征图大小，得到S2(4×256×256)；
(3)将T1串行经过池化窗口大小为86×86的平均值池化操作改变特征图大小，经过卷积操作改变通道数量，得到P3(4×3×3)，将P3再经过上采样操作改变特征图大小，得到S3(4×256×256)；
(4)将T1串行经过池化窗口大小为43×43的平均值池化操作改变特征图大小，经过卷积操作改变通道数量，得到P4(4×6×6)，将P4经过上采样操作改变特征图大小，得到S4(4×256×256)；
(5)将T1经过的卷积核为1×1大小，步长为1，扩张率为1的扩张卷积操作改变特征图的通道数量，得到S5(4×256×256)；
(6)将T1经过的卷积核为3×3大小，步长为1，扩张率为2的扩张卷积操作改变特征图的通道数量，得到S6(4×256×256)；
(7)将T1经过的卷积核为3×3大小，步长为1，扩张率为4的扩张卷积操作改变特征图的通道数量，得到S7(4×256×256)；
(8)将T1经过的卷积核为3×3大小，步长为1，扩张率为6的扩张卷积操作改变特征图的通道数量，得到S8(4×256×256)；
然后，将T1与S1，S2，S3，S4，S5，S6，S7，S8进行拼接操作，得到S(96×256×256)；
最后，将S经过卷积操作改变通道数量，得到特征图M1(64×256×256)。
步骤2.2：对M1进行特征提取，得到特征图M2。
方法为：首先将M1经过池化窗口大小为2×2的最大值池化操作(在优选实施例中，最大值池化操作中池化窗口大小均为2×2)，改变M1的特征图大小，得到然后将/>经过提取特征操作，改变/>的特征图通道数量，得到特征图T2(128×128×128)；最后将T2经过MSF模块得到M2(128×128×128)。
步骤2.3：按照步骤2.2的方法，对M2进行特征提取，得到特征图M3。
按照与步骤2.2相同的方法，先将M2经过最大值池化操作改变特征图大小，得到64×64)；再将/>进行提取特征操作改变通道数量，得到特征图T3(256×64×64)；最后将T3经过MSF模块得到特征图M3(256×64×64)。
步骤2.4：按照步骤2.2的方法，对M3进行特征提取，得到特征图M4。
先将M3经过最大值池化操作改变特征图大小，得到再将/>进行提取特征操作改变通道数量，得到特征图T4(512×32×32)；最后将T4经过MSF模块得到特征图M4(512×32×32)。
步骤2.5：按照步骤2.2的方法，对M4进行特征提取，得到特征图M5。
先将M4经过最大值池化操作改变特征图大小，得到再将/>进行提取特征操作，不改变通道数量，得到特征图T5(512×16×16)；最后将T5经过MSF模块得到特征图M5(512×16×16)。
步骤2.6：如图4所示，将M5经过SE模块得到Ms；
SE模块中的可变参数为SR，SR代表SE模块中的第一个全连接操作中输入特征图通道数量与输出特征图通道数量的比例。
在优选实施例中设置SR＝1.5，M5经过SE模块得到Ms的具体过程为：
将M5经过池化窗口大小为16×16的平均值池化操作改变特征图大小，得到向量R(512×1×1)。所述向量为特征图的一种特殊形式，代表原特征图大小为1×1，向量的长度为特征图的通道数量。将R经过输入特征图通道数量为512，输出特征图通道数量为342的全连接操作改变特征图通道数量，得到向量Z(342×1×1)。将Z经过输入特征图通道数量为342，输出特征图通道数量为512的全连接操作改变特征图通道数量，得到向量Q(512×1×1)。
将M5与Q进行矩阵与向量相乘操作，得到Ms(512×16×16)。其中矩阵与向量相乘操作的定义为：
Ms(j，k，l)＝M5(j，k，l)×Q(j，1，1) (1)
其中，j，k，l为位置索引，1≤j≤512；1≤k≤16；1≤l≤16。
步骤3：结合步骤2得到的特征图M1～M4，将MS经过解码阶段进行特征还原得到Y，根据Y得到图像的分割结果。
在优选实施例中，定义B5＝MS，将B5经过解码阶段得到Y，Y与X相同大小，根据Y结合预设的阈值，得到图像的分割结果，包括如下步骤：
步骤3.1：对B5进行特征还原，得到特征图B4。
图2也是还原特征操作的结构示意图，所述还原特征操作与提取特征操作采用相同的架构，也是由串行的两组操作构成，其中每组所述操作由串行的卷积操作、数据归一化操作和激活操作构成；不同点在于二者在进行各自的卷积操作时设置的卷积核数量。
在优选实施例中，对B5进行特征还原得到特征图B4的详细过程为：先将B5经过上采样操作改变特征图大小，得到特征图再将/>与M4进行拼接操作，得到特征图U4(1024×32×32)；然后将U4经过还原特征操作中的一组操作即串行的卷积操作、数据归一化操作和激活操作改变通道数量得到特征图/>再将/>经过还原特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作改变通道数量得到特征图B4(256×32×32)。
步骤3.2：对B4进行还原特征，得到特征图B3。
将B4经过上采样操作，改变特征图大小，得到特征图将/>与M3进行拼接操作，得到特征图U3(512×64×64)。将U3进行还原特征操作，即经过两次串行的卷积操作、数据归一化操作和激活操作，改变特征图通道数，得到B3(128×64×64)。
步骤3.3：对B3进行还原特征，得到特征图B2。
将B3经过上采样操作，改变特征图大小，得到特征图将/>与M2进行拼接操作，得到特征图U2(256×128×128)。将U2进行还原特征操作，改变特征图通道数，得到B2(64×128×128)。
步骤3.4：对B2进行还原特征，得到特征图B1。
将B2经过上采样操作，改变特征图大小，得到特征图将/>与M1进行拼接操作，得到特征图U1(128×256×256)。将U1进行还原特征操作，只在还原特征操作中的第一个卷积操作时改变U1的特征图通道数为64，第二个卷积操作不改变特征图通道数，得到B1(64×256×256)。
步骤3.5：将B1通过卷积操作得到输出Y，结合预设的阈值得到图像的分割结果。
将B1经过卷积操作改变特征图通道数，得到输出Y(1×256×256)，此时Y与X大小一致，Y中的元素表示为Yi，j，k，Yi，j，k代表MSF-Net网络对于原始输入图像X在坐标为(i，j，k)位置的像素值的预测值，并且设置阈值α＝0.5，Yi，j，k＞＝α时，表示MSF-Net网络预测X中(i，j，k)位置属于病灶区域；Yi，j，k＜α时，表示MSF-Net网络预测X中(i，j，k)位置属于非病灶区域，得到对于X中病灶区域的分割结果。
在本实施方式中，本发明方法在实验过程中所使用的数据集是在某医院经过保密采集。数据集使用了338例来自同一个医院的不同新冠病人的病例。其中每个病例被隐藏了个人信息，并且均做过PCR核酸检测且结果呈阳性。每个病例含有300张以上的CT图像，并且每张CT图像都经过了两位相关的医生进行手工标注病灶区域得到了每张CT对应的病灶图像。从中挑选出相似度较小并且图像较为清晰的4472组图像，其中一组图像代表一张CT图像和一张对应的病灶图像。首先将所有的CT图像和病灶图像大小都缩放至256×256。然后通过将所有CT图像设置窗宽WW、窗位WL为：1500HU，-450HU的方法将CT图像中的像素点的值归一化至0-255。最后将病灶图像中像素点值大于1的点的值改为1，像素点值小于0的点的值改为0，其余点的像素值不变。
将4472组图像按照14∶3∶3的比例分割为：训练集，验证集，测试集，并且对训练集中的每张图片进行顺时针旋转180度后作为一张新的图片加入训练集，以此进行数据增强。然后将训练集中的CT图像输入MSF-Net网络，设置每次训练时输入的图片数量为6，设置学习率为1e-4，设置优化算法为Adam，并将其中参数β1设置为0.9，β2设置为0.999，eps设置为1e-8，weight_decay设置为1e-8，设置损失函数为LossBCE，设置迭代次数为1000次。其中LossBCE的定义如下
因为本发明进行的实验为图像分割实验，所以为了定量分析实验结果的精准度，使用Sensitivity，Specificity，Precision，Dice，E_measure(Eφ)，MAE这几个指标衡量实验结果，以此来评价网络的性能。各项指标的公式如下：
其中TP代表X1，i，j＝1且Y1，i，j＝1的像素点的个数，TN代表X1，i，j＝0且Y1，i，j＝0的像素点的个数，FP代表X1，i，j＝0且Y1，i，j＝1的像素点的个数，FN代表X1，i，j＝0且Y1，i，j＝1的像素点的个数，其中0＜i，j＜256且i，j为整数。
将MSF-Net网络与传统的U-Net网络分别在训练集的CT图像上进行训练，保存最后一次迭代训练的网络参数。将训练好的MSF-Net网络与U-Net网络分别在测试集的CT图像上进行测试，得到分割结果，将分割结果与测试集中的病灶图像数据作为各项指标的输入进行计算，得到结果如表1所示。
表1
| 网络 | Sensitivity | Specificity | Precision | Dice | MAE | E_measure |
| U-Net | 0.75099 | 0.98073 | 0.5432 | 0.63041 | 0.0261 | 0.89163033 |
| MSF-Net | 0.77366 | 0.9926 | 0.76123 | 0.7674 | 0.0139 | 0.97932101 |
根据表中的数据定量分析，可以分析得到：MSF-Net网络在衡量图片间的相似度指标Dice上可以达到0.7674，大幅度超越U-Net网络；在衡量分割结果错误率的指标MAE上，也取得了0.0139，小于U-Net网络，表示与U-Net网络相比，MSF-Net网络对CT图像分割出的病灶图像与真实的病灶图像的差距更小。其余各项指标中，Sensitivity，Specificity，Precision，E_measure也均达到了比U-Net网络更好的效果。
接下来再根据图5进行定性分析，图5中的(A)图为测试集中的一张原始CT图像；(B)图为与(A)图对应的病灶图像；(C)图为基于传统的U-Net网络对(A)图中COVID-19病灶的分割结果，可以看出U-Net网络将更多的非病灶区域分割为病灶区域，而且在病灶区域的分割结果上与真实的病灶图像也有很大的偏差，分割图像中含有更多的噪音和杂质；(D)图为基于MSF-Net网络对(A)图中COVID-19病灶的分割结果，可以看出基于MSF-Net网络的图像分割结果含有更少的杂质，几乎精准的分割出完整的病灶区域。
综合上述，可以说明与传统的U-Net网络相比，基于MSF-Net网络的图像分割方法在对于CT中COVID-19病灶的分割上达到了更加精准的效果。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。
Claims (6)
1.一种基于MSF-Net网络的图像分割方法，其特征在于，包括下述步骤：
步骤1：输入待分割图像，并根据该图像的大小将其定义为大小为T×H×W的3维特征数组，表示为：X(T×H×W)；
步骤2：将MSF模块加入U-Net网络的编码阶段，图像X经过编码阶段进行特征提取得到特征图M1～M5，将SE模块也加入U-Net网络的编码阶段，并将M5经过SE模块得到MS；
步骤3：结合步骤2得到的特征图M1～M4，将MS经过解码阶段进行特征还原得到Y，根据Y得到图像的分割结果；
所述MSF模块包括可变参数：R1,R2,R3,R4,G5,G6,G7,G8,O5,O6,O7,O8，其中R1,R2,R3,R4分别代表MSF模块中四次平均值池化的缩放比例；G5,G6,G7,G8分别代表MSF模块中四次扩张卷积的卷积核大小；O5,O6,O7,O8分别代表MSF模块中四次扩张卷积的扩张率；所述MSF模块中的具体过程包括：
(01)将Ti经过平均值池化操作改变特征图大小，再经过卷积操作改变通道数量，得到Pj，再将Pj经过上采样操作改变特征图大小，得到该过程重复执行四次，在执行的过程中j依次取值1、2、3、4，其中依次得到/>
(02)将Ti分别经过四次不同的扩张卷积，得到其中j为特征图索引，j＝5,6,7,8；该四次扩张卷积的卷积核大小分别为：G5,G6,G7,G8；该四次扩张卷积的步长均为1；该四次扩张卷积的扩张率分别为：O5,O6,O7,O8；
(03)将Ti与S1，S2，S3，S4，S5，S6，S7，S8进行拼接操作，得到
(04)将S经过卷积操作改变通道数量，得到特征图Mi(Ci×Hi×Wi)；
上述步骤(01)～(04)中的i为特征图索引，i＝1,2,3,4,5；Ci,Hi,Wi数值上分别等于Ti三个维度的大小，即特征图的通道数量和特征图的大小；
所述图像X经过编码阶段得到特征图M1～M5的方法包括如下步骤：(a)将X经过提取特征操作改变特征图通道数量，得到特征图T1(C×W×H)；(b)将T1经过MSF模块得到特征图M1；(c)将Mi经过最大值池化操作改变Mi的特征图大小，得到(d)再将/>经过提取特征操作，得到特征图Ti+1；(e)将Ti+1经过MSF模块得到特征图Mi+1；在步骤(c)、(d)、(e)中的i为特征图索引，i＝1,2,3,4，所述Mi+1分别为/>
所述将MS经过解码阶段进行特征还原得到Y的方法为：首先定义B5＝MS，将Bi+1经过上采样操作改变特征图大小，得到特征图然后将/>与Mi经过拼接操作，得到特征图Ui；将Ui经过还原特征操作得到特征图Bi，其中i为特征图索引，i＝4,3,2,1，所述Bi分别为B1(C×H×W)；最后将B1通过卷积操作得到输出Y(T×H×W)。
2.根据权利要求1所述的基于MSF-Net网络的图像分割方法，其特征在于，所述提取特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成。
3.根据权利要求1所述的基于MSF-Net网络的图像分割方法，其特征在于，所述MSF模块中的可变参数R1,R2,R3,R4,G5,G6,G7,G8,O5,O6,O7,O8依次设置为1,2,3,6,1×1,3×3,3×3,3×3,1,2,4,6。
4.根据权利要求1所述的基于MSF-Net网络的图像分割方法，其特征在于，所述将M5经过SE模块得到MS的具体过程为：
首先定义C5,H5,W5分别为特征图M5的通道数量和特征图的大小；且定义所述SE模块中的可变参数为SR，SR代表SE模块中的第一个全连接操作中输入特征图通道数量与输出特征图通道数量的比例；然后将M5经过池化窗口大小为H5×W5的平均值池化操作改变特征图大小，得到向量R(C5×1×1)，所述向量为特征图的一种特殊形式，代表原特征图大小为1×1，向量的长度为特征图的通道数量；再然后将R经过输入特征图通道数量为C5，输出特征图通道数量为的全连接操作改变特征图通道数量，得到向量/>其中/>代表向上取整运算；又然后将Z经过输入特征图通道数量为/>输出特征图通道数量为C5的全连接操作改变特征图通道数量，得到向量Q(C5×1×1)；最后将M5与Q按照式(1)进行矩阵与向量相乘操作，得到Ms(C5×H5×W5)；
Ms(j,k,l)＝M5(j,k,l)×Q(j,1,1) (1)
上式中，j、k、l为位置索引，且1≤j≤C5，1≤k≤H5，1≤l≤W5。
5.根据权利要求1所述的基于MSF-Net网络的图像分割方法，其特征在于，所述还原特征操作由串行的两组串行的卷积操作、数据归一化操作和激活操作构成。
6.根据权利要求1所述的基于MSF-Net网络的图像分割方法，其特征在于，所述上采样操作采用双线性插值算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110642418.2A CN113298825B (zh) | 2021-06-09 | 2021-06-09 | 一种基于MSF-Net网络的图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110642418.2A CN113298825B (zh) | 2021-06-09 | 2021-06-09 | 一种基于MSF-Net网络的图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298825A CN113298825A (zh) | 2021-08-24 |
| CN113298825B true CN113298825B (zh) | 2023-11-14 |
Family
ID=77327716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110642418.2A Active CN113298825B (zh) | 2021-06-09 | 2021-06-09 | 一种基于MSF-Net网络的图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298825B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175613A (zh) * | 2019-06-03 | 2019-08-27 | 常熟理工学院 | 基于多尺度特征和编解码器模型的街景图像语义分割方法 |
| CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
| CN111259906A (zh) * | 2020-01-17 | 2020-06-09 | 陕西师范大学 | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 |
| CN111325751A (zh) * | 2020-03-18 | 2020-06-23 | 重庆理工大学 | 基于注意力卷积神经网络的ct图像分割系统 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| CN112258514A (zh) * | 2020-11-20 | 2021-01-22 | 福州大学 | 一种ct影像肺血管的分割方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112418027A (zh) * | 2020-11-11 | 2021-02-26 | 青岛科技大学 | 一种改进U-Net网络的遥感影像道路提取方法 |
| CN112418176A (zh) * | 2020-12-09 | 2021-02-26 | 江西师范大学 | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 |
| CN112446890A (zh) * | 2020-10-14 | 2021-03-05 | 浙江工业大学 | 基于空洞卷积和多尺度融合的黑色素瘤分割方法 |
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN112927240A (zh) * | 2021-03-08 | 2021-06-08 | 重庆邮电大学 | 一种基于改进的AU-Net网络的CT图像分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
-
2021
- 2021-06-09 CN CN202110642418.2A patent/CN113298825B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175613A (zh) * | 2019-06-03 | 2019-08-27 | 常熟理工学院 | 基于多尺度特征和编解码器模型的街景图像语义分割方法 |
| CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
| CN111259906A (zh) * | 2020-01-17 | 2020-06-09 | 陕西师范大学 | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 |
| CN111325751A (zh) * | 2020-03-18 | 2020-06-23 | 重庆理工大学 | 基于注意力卷积神经网络的ct图像分割系统 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| CN112446890A (zh) * | 2020-10-14 | 2021-03-05 | 浙江工业大学 | 基于空洞卷积和多尺度融合的黑色素瘤分割方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112418027A (zh) * | 2020-11-11 | 2021-02-26 | 青岛科技大学 | 一种改进U-Net网络的遥感影像道路提取方法 |
| CN112258514A (zh) * | 2020-11-20 | 2021-01-22 | 福州大学 | 一种ct影像肺血管的分割方法 |
| CN112418176A (zh) * | 2020-12-09 | 2021-02-26 | 江西师范大学 | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 |
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN112927240A (zh) * | 2021-03-08 | 2021-06-08 | 重庆邮电大学 | 一种基于改进的AU-Net网络的CT图像分割方法 |
Non-Patent Citations (10)
| Title |
|---|
| "An improved U-Net method for the semantic segmentation of remote sensing images";Su, Zhongbin, et al.;《Applied Intelligence》;全文 * |
| "Fully feature fusion based neural network for COVID-19 lesion segmentation in CT images";Li, Wei, et al.;《Biomedical Signal Processing and Control》;全文 * |
| "一种基于双流网络的Deepfakes检测技术"_;李旭嵘，于鲲;《信息安全学报》;全文 * |
| "基于多尺度层级化注意力模型的脑血肿分割算法";于金扣， 余南南， 于贺，胡春艾，邱天爽;《航天医学与医学工程》;全文 * |
| Jie Hu ; Li Shen ; Gang Sun."Squeeze-and-Excitation Networks".《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》 .2018,全文. * |
| Li W , Cao Y , Yu K , Cai Y , Huang F , Yang M , Xie W."Pulmonary_Lesion_Subtypes_Recognition_of_COVID-19 From Radiomics Data With Three Dimensional Texture Characterization in CT Images".《https://doi.org/10.21203/rs.3.rs-532131/v1 》.2021,全文. * |
| Ozan Oktay1,5, Jo Schlemper1."Image segmentation method based on MSF-Net network".《1st Conference on Medical Imaging with Deep Learning (MIDL 2018)》.2018,全文. * |
| 多模态融合的高分遥感图像语义分割方法;李万琦;李克俭;陈少波;;中南民族大学学报(自然科学版)(第04期);全文 * |
| 结合分段频域和局部注意力的超声甲状腺分割;胡屹杉;秦品乐;曾建潮;柴锐;王丽芳;;中国图象图形学报(第10期);全文 * |
| 袁铭阳 ; 黄宏博 ; 周长胜."全监督学习的图像语义分割方法研究进展".《计算机工程与应用》.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298825A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681252B (zh) | 一种基于多路径注意力融合的医学图像自动分割方法 | |
| CN110659718B (zh) | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 | |
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN111091603B (zh) | 一种超声成像方法、装置、可读存储介质及终端设备 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| CN113298826B (zh) | 一种基于LA-Net网络的图像分割方法 | |
| CN111667445B (zh) | 一种基于Attention多特征融合的图像压缩感知重建方法 | |
| CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN108289222A (zh) | 一种基于结构相似度映射字典学习的无参考图像质量评价方法 | |
| CN113129309A (zh) | 基于对象上下文一致性约束的医学图像半监督分割系统 | |
| US20220335600A1 (en) | Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN114612714A (zh) | 基于课程学习的无参考图像质量评价方法 | |
| CN113298827B (zh) | 一种基于DP-Net网络的图像分割方法 | |
| CN117132774A (zh) | 一种基于pvt的多尺度息肉分割方法及系统 | |
| CN115457057A (zh) | 一种采用深监督策略的多尺度特征融合腺体分割方法 | |
| CN113313682B (zh) | 基于时空多尺度分析的无参考视频质量评价方法 | |
| CN111047559A (zh) | 一种数字病理切片异常区域快速检测的方法 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| CN113298825B (zh) | 一种基于MSF-Net网络的图像分割方法 | |
| CN117409030A (zh) | 基于动态管状卷积的octa图像血管分割方法及其系统 | |
| CN117611601A (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
| CN113554668A (zh) | 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件 | |
| CN113744279B (zh) | 一种基于FAF-Net网络的图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |