CN114937044A - 一种轻量化图像分割方法、装置及存储介质 - Google Patents

一种轻量化图像分割方法、装置及存储介质 Download PDF

Info

Publication number
CN114937044A
CN114937044A CN202210618018.2A CN202210618018A CN114937044A CN 114937044 A CN114937044 A CN 114937044A CN 202210618018 A CN202210618018 A CN 202210618018A CN 114937044 A CN114937044 A CN 114937044A
Authority
CN
China
Prior art keywords
attention
hole
convolution
decoding
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210618018.2A
Other languages
English (en)
Inventor
谌东东
阮佳程
李迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210618018.2A priority Critical patent/CN114937044A/zh
Publication of CN114937044A publication Critical patent/CN114937044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像分割方法、装置及存储介质。该方法包括：获取第一图像数据；将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，所述编码部分包括普通编码单元和注意力编码单元；所述解码部分包括注意力解码单元和普通解码单元；所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。通过空洞门控注意力模型对第一图像数据进行分割，较大的减少了图像分割中的参数量和计算量，并获得了较好的分割结果。

Description

一种轻量化图像分割方法、装置及存储介质
技术领域
本发明涉及医学图像分割技术领域，具体涉及一种轻量化图像分割方法、装置及存储介质。
背景技术
医学图像分割是进行医学影像学分析的关键，一个好的医学图像分割模型，可以精确地定位影像中的病灶区域，辅助医生进行病理判断，更好地进行后续的诊疗工作。但是，当前临床所使用的医疗设备，其算力和实验室的计算设备相差甚远，这便导致了，在实验室的计算设备上能够良好运行的医学图像分割模型，在实际临床设备上的应用受到了限制。
近期，UNet模型作为医学图像分割领域中最重要的模型之一，其基本思想为：通过编码器，将图像的宽高减小，将图像的通道数增大，再通过解码器对图像进行恢复，直到和输入图像分辨率一致，中间使用剪裁拼接作为跳跃连接。但是该模型的参数量、计算量较大，在移动端的使用会受到限制。所以，如何将医学图像分割模型进行轻量化，在模型参数量、计算量减小的前提下，还能够使模型的分割表现得到提升，便成为了研究内容。
发明内容
针对现有技术中存在的问题，本发明提供一种轻量化图像分割方法、装置及存储介质。
本发明是通过以下技术方案来实现：
本发明实施例提供一种基于空洞门控注意力的轻量化图像分割方法，包括：
获取第一图像数据；
将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，
所述编码部分包括普通编码单元和注意力编码单元；
所述解码部分包括注意力解码单元和普通解码单元；
所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。
进一步的，所述将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果之前，还包括：
使用第二图像数据对第一空洞门控注意力模型进行训练，以对所述普通编码单元和所述普通解码单元中二维卷积和批归一化进行训练，并分别对所述注意力编码单元和所述注意力解码单元中空洞门控注意力和批归一化进行训练；
将训练后的空洞门控注意力模型，作为用于对所述第一图像数据进行训练的所述空洞门控注意力模型。
进一步的，所述编码部分中的普通编码单元，包括：
将所输入的所述第一图像数据记作t0，对其依次进行三次卷积核尺寸为3的二维卷积、批归一化、二倍最大池化以及GELU激活函数操作，将上述三次的特征图输出记作t1，t2，t3，之后将t3作为所述注意力编码单元的输入。
进一步的，所述编码部分中的注意力编码单元，包括：
将t3作为输入，依次进行两次空洞门控注意力、批归一化、二倍最大池化以及GELU激活函数操作，将上述两次的特征图输出记作t4，t5，之后对t5再进行一次空洞门控注意力和GELU激活函数操作，得到编码部分的输出结果Out6。
进一步的，所述解码部分中的注意力解码单元，包括：
将所述Out6以及t3，t4，t5作为输入，对Out6进行空洞门控注意力、批归一化以及GELU激活函数操作，将操作的结果再和t5进行逐元素相加操作，得到特征图Out5；
对所述特征图Out5进行空洞门控注意力、批归一化、二倍线性插值上采样以及GELU激活函数操作，将操作的结果再和t4进行逐元素相加操作，得到特征图Out4；
对所述特征图Out4进行空洞门控注意力、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t3进行逐元素相加操作，得到特征图Out3，作为输出。
进一步的，所述解码部分中的普通解码单元，包括：
将所述特征图Out3以及t1，t2作为输入；
对所述特征图Out3进行卷积核尺寸为3的二维卷积、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t2进行逐元素相加操作，得到特征图Out2；
对所述特征图Out2进行卷积核尺寸为3的二维卷积、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t1进行逐元素相加操作，得到特征图Out1；
对所述特征图Out1进行卷积核尺寸为1的二维卷积以及二倍线性插值上采样操作，将特征图尺寸恢复到和数据标签相同，得到特征图Out。
进一步的，所述注意力编码单元和注意力解码单元中的空洞门控注意力，包括：
所述空洞门控注意力包括分裂空洞卷积单元以及门控注意力单元；
所述分裂空洞卷积单元包括：对输入特征图xi在通道维度上进行分裂，等分为四份，得到分裂后的特征图
Figure BDA0003672257640000031
再分别通过卷积核尺寸为3但拥有不同空洞率的深度卷积，获取到全局特征信息以及局部特征信息，并得到特征图
Figure BDA0003672257640000032
所述全局特征信息包括通过空洞率为5和7的深度卷积来获取的特征信息，所述局部特征信息包括通过空洞率为1和2的深度卷积来获取的特征信息；
在通道维度上对
Figure BDA0003672257640000033
进行拼接操作，将特征图尺寸复原，后接一个卷积核尺寸为1的二维卷积操作得到特征图x′i，以使全局特征信息和局部特征信息进行交互；
传输至所述门控注意力单元，以通过两个卷积核尺寸为3的深度可分离卷积对输入特征图x′i进行操作，其中一个后接Sigmoid激活函数来生成注意力图Att，另一个和所生成的注意力图Att进行逐元素相乘操作，后接一个卷积核尺寸为3的深度可分离卷积操作，得到特征图
Figure BDA0003672257640000041
接着，对输入特征图x′i进行一个卷积核尺寸为1的二维卷积操作，得到特征图
Figure BDA0003672257640000042
最后，将特征图
Figure BDA0003672257640000043
和
Figure BDA0003672257640000044
进行逐元素相加操作，得到输出特征图xo。
进一步的，所述获得分割结果之后，还包括：
使用Sigmoid激活函数对特征图Out进行激活，得到最终的预测结果。
本发明实施例还提供一种基于空洞门控注意力的轻量化图像分割装置，包括：
获取模块：用于获取第一图像数据；
处理模块，用于将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，所述编码部分包括普通编码单元和注意力编码单元；所述解码部分包括注意力解码单元和普通解码单元；所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于空洞门控注意力的图像分割方法。
与现有技术相比，本发明具有以下有益的技术效果：
本发明提供的一种基于空洞门控注意力的图像分割方法，获取第一图像数据；将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，所述编码部分包括普通编码单元和注意力编码单元；所述解码部分包括注意力解码单元和普通解码单元；所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。通过空洞门控注意力模型对第一图像数据进行分割，较大的减少了图像分割中的参数量和计算量，并获得了较好的分割结果。
附图说明
图1为本发明实施例提供的一种基于空洞门控注意力的轻量化图像分割方法框图；
图2为本发明实施例提供的DGA-UNet模型结构图；
图3为本发明实施例提供的分裂空洞卷积单元结构图；
图4为本发明实施例提供的门控注意力单元结构图；
图5为本发明实施例提供的空洞门控注意力模块结构图；
图6为本发明实施例提供的使用不同方法分割皮肤病变与黑色素瘤病灶图像的结果示意图；
图7为本发明实施例提供的基于空洞门控注意力的图像分割装置。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
为了更好地对本发明进行理解，下面将结合附图以及具体实施例来对本发明的技术方案进行完整、清晰的阐述。当然，所阐述的实施例仅为本发明的一部分实施例，而非全部的实施例。
本发明实施例提供的一种基于空洞门控注意力的轻量化医学图像分割方法流程，如图1所示，包括：
S1：获取第一图像数据；
在本实施例中，第一图像数据也可以是原始图像数据，也可以是将图像数据集进行划分获得的，例如，在获取第一图像数据之前，将图像数据集进行划分，以获得第一图像数据和第二图像数据，该第一图像数据可以是测试集，第二图像数据可以是训练集。
举例来讲，该图像数据集可以是ISIC18数据集，即：皮肤病变与黑色素瘤病灶图像数据，以下简称为ISIC18，在ISIC18数据集中，官方所给出的为2594张训练集图片和100张测试集图片；由于测试样本相比于训练集较少，所以在本实施例中，将2694张图片全部打乱，再以7∶3的比例对数据集进行划分，得到1886张图片作为本实施例的训练集，808张图片作为本实施例的测试集。
S2：将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果。
本实施例中的所述空洞门控注意力模型可以包括两个部分：编码部分和解码部分；其中，
所述编码部分包括普通编码单元和注意力编码单元；
所述解码部分包括注意力解码单元和普通解码单元；
所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。
具体的，对已经划分好的训练集和测试集进行不同的数据预处理操作；
在所述训练集上，对本发明所提出的空洞门控注意力模型，即DGA-UNet轻量化模型进行训练，以对所述普通编码单元和所述普通解码单元中二维卷积和批归一化进行训练，并分别对所述注意力编码单元和所述注意力解码单元中空洞门控注意力和批归一化进行训练，以得到训练权重；
进一步的使用所述训练权重对测试集影像数据进行分割结果的预测。
在本实施例中，S1所述的原始医学影像数据可以是指ISIC2018皮肤病变与黑色素瘤病灶图像数据，以下简称为ISIC18。
在本实施例中，S2所述数据集的划分是对于所述ISIC18数据集来进行的；在ISIC18数据集中，官方所给出的为2594张训练集图片和100张测试集图片；由于测试样本相比于训练集较少，所以在本实施例中，将2694张图片全部打乱，再以7∶3的比例对数据集进行划分，得到1886张图片作为本实施例的训练集，808张图片作为本实施例的测试集。
在本实施例中，S3所述数据预处理操作对于训练集和测试集是不同的。对于训练集图片的预处理步骤如下：(1)将输入图片进行归一化处理；(2)以50％的概率进行随机水平翻转；(3)以50％的概率进行随机垂直翻转；(4)以50％的概率进行随机旋转，旋转角度的范围为(0，360)；(5)将图片的尺寸缩放到256×256。
对于测试集图片，不进行(2)～(4)的数据增强操作，仅进行归一化以及缩放处理。
在本实施例中，S4所述的DGA-UNet轻量化模型请结合参阅图2-5，所述DGA-UNet轻量化模型的结构包括两个部分：编码部分和解码部分；
所述编码部分包括普通编码单元和注意力编码单元；所述解码部分包括注意力解码单元和普通解码单元；
将所述普通编码单元和注意力编码单元以及注意力解码单元和普通解码单元依次连接，从而进行医学图像分割预测。
本发明提供另一实施例，该实施例在上述图1所示实施例的基础上，将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果之前，还包括：
使用第二图像数据对第一空洞门控注意力模型进行训练，以对所述普通编码单元和所述普通解码单元中二维卷积和批归一化进行训练，并分别对所述注意力编码单元和所述注意力解码单元中空洞门控注意力和批归一化进行训练；
将训练后的空洞门控注意力模型，作为用于对所述第一图像数据进行测试的所述空洞门控注意力模型。
具体的，所述编码部分中的普通编码单元，具体来说，将所输入的医学图像记作t0，对其依次进行三次卷积核尺寸为3的二维卷积、批归一化、二倍最大池化以及GELU激活函数操作，将上述三次的特征图输出记作t1，t2，t3，之后将t3作为后续注意力编码单元的输入；通过公式表示如下：
ti+1＝GELU(MaxPool(BN(Conv2d3*3(ti))))
其中，Conv2d3*3表示卷积核尺寸为3的二维卷积操作，BN表示批归一化操作，MaxPool表示二倍最大池化，GELU为激活函数，并且在此处，i取0，1，2。
所述编码部分中的注意力编码单元，具体来说，将t3作为输入，依次进行两次空洞门控注意力、批归一化、二倍最大池化以及GELU激活函数操作，将上述两次的特征图输出记作t4，t5，之后对t5再进行一次空洞门控注意力和GELU激活函数操作，得到编码部分的输出结果，记作Out6；通过公式表示如下：
ti+1＝GELU(MaxPool(BN(DGA(ti))))
Out6＝GELU(DGA(t5))
其中，DGA表示空洞门控注意力模块，BN表示批归一化操作，MaxPool表示二倍最大池化，GELU为激活函数，并且在此处，i取3，4。
所述解码部分中的注意力解码单元，具体来说，将Out6以及t3，t4，t5作为输入；首先，对Out6进行空洞门控注意力、批归一化以及GELU激活函数操作，再和t5进行逐元素相加操作，得到特征图Out5；对特征图Out5进行空洞门控注意力、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t4进行逐元素相加操作，得到特征图Out4；对特征图Out4进行空洞门控注意力、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t3进行逐元素相加操作，得到特征图Out3，作为输出；通过公式表示如下：
Figure BDA0003672257640000081
Figure BDA0003672257640000082
其中，DGA表示空洞门控注意力模块，BN表示批归一化操作，Up表示二倍线性插值上采样，GELU为激活函数，
Figure BDA0003672257640000083
表示逐元素相加操作，并且在此处.i取3，4。
所述解码部分中的普通解码单元，具体来说，将特征图Out3以及t1，t2作为输入；对特征图Out3进行卷积核尺寸为3的二维卷积、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t2进行逐元素相加操作，得到特征图Out2；对特征图Out2进行卷积核尺寸为3的二维卷积、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t1进行逐元素相加操作，得到特征图Out1；对特征图Out1进行卷积核尺寸为1的二维卷积以及二倍线性插值上采样操作，将特征图尺寸恢复到和数据标签相同，得到特征图Out；最后，再使用Sigmoid激活函数对特征图Out进行激活，得到最终的预测结果；通过公式表示如下：
Figure BDA0003672257640000091
Out＝σ(Up(Conv2d1*1(Out1)))
其中，Conv2d3*3表示卷积核尺寸为3的二维卷积操作，BN表示批归一化操作，Up表示二倍线性插值上采样，GELU为激活函数，
Figure BDA0003672257640000092
表示逐元素相加操作，Conv2d1*1表示卷积核尺寸为1的二维卷积操作，σ表示Sigmoid激活函数，并且在此处，i取1，2。
所述注意力编码单元和注意力解码单元中的空洞门控注意力模块，具体来说，该模块由两个子单元构成，分别是分裂空洞卷积单元以及门控注意力单元；首先是分裂空洞卷积单元，对输入特征图xi在通道维度上进行分裂，等分为四份，得到分裂后的特征图
Figure BDA0003672257640000093
再分别通过卷积核尺寸为3但拥有不同空洞率的深度卷积，从而获取到全局(通过空洞率为5和7的深度卷积来获取)以及局部(通过空洞率为1和2的深度卷积来获取)的特征信息，由此得到特征图
Figure BDA0003672257640000094
之后，在通道维度上对
Figure BDA0003672257640000095
进行拼接操作，将特征图尺寸复原，后接一个卷积核尺寸为1的二维卷积操作得到特征图x′i，此操作能使全局信息和局部信息进行交互；接下来，进入到门控注意力单元，通过两个卷积核尺寸为3的深度可分离卷积对输入特征图x′i进行操作，其中一个后接Sigmoid激活函数来生成注意力图Att，另一个和所生成的注意力图Att进行逐元素相乘操作，后接一个卷积核尺寸为3的深度可分离卷积操作，得到特征图
Figure BDA0003672257640000096
此操作能使特征信息中不重要的部分被抑制，使模型关注于重点信息部分；然后，对输入特征图x′i进行一个卷积核尺寸为1的二维卷积操作，得到特征图
Figure BDA0003672257640000097
最后，将特征图
Figure BDA0003672257640000098
和
Figure BDA0003672257640000099
进行逐元素相加操作，得到输出特征图xo；通过公式表示如下：
Figure BDA00036722576400000910
Figure BDA00036722576400000911
Figure BDA0003672257640000101
Att＝σ(DW3*3(x′i))
Figure BDA0003672257640000102
Figure BDA0003672257640000103
Figure BDA0003672257640000104
其中，Chunk4表示将输入特征图在通道维度上均分为四份，Wd＝i表示空洞率为i且卷积核尺寸为3的深度卷积操作，Concat表示将特征图在通道维度上进行拼接，Conv2d1*1表示卷积核尺寸为1的二维卷积操作，DW3*3表示卷积核尺寸为3的深度可分离卷积操作，σ表示Sigmoid激活函数，⊙代表逐元素相乘操作，
Figure BDA0003672257640000105
表示逐元素相加操作。
通过在S4中，对本发明所提出的DGA-UNet轻量化模型在所述训练集上进行训练，可得到训练完成后的训练权重。
在模型训练的过程中，使用的优化器为AdamW优化器，学习率调整策略为余弦退火，训练epoch数为300，Batch-size为8，初始学习率为0.001，所有实验均在单卡NVIDIA2080Ti上进行，使用Pytorch架构来对模型进行构建，使用Sklearn架构来对模型表现进行评价，保存在测试集上表现最佳的模型作为最终模型权重。
在模型训练过程中所使用的损失函数表达式如下：
Figure BDA0003672257640000106
Figure BDA0003672257640000107
LBceDice＝λ1LBce+λ2LDice
其中，N表是样本总数，yi为真实标签，pi为模型预测值；|X|和|Y|分别表示真实掩膜和预测值；λ1和λ2分别表示加权权重，在本实施例中默认这两个权重均取1。
将训练好的模型进行测试，测试所使用的评价指标有：F1得分(DSC)、准确度(Acc)、灵敏度(Sen)、特异度(Spe)以及平均交并比(mIoU)，其表达式如下：
Figure BDA0003672257640000111
Figure BDA0003672257640000112
Figure BDA0003672257640000113
Figure BDA0003672257640000114
Figure BDA0003672257640000115
其中，TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性。
在ISIC18数据集上的测试结果如表1所示。
表1在ISIC18测试集上的分割结果
Figure BDA0003672257640000116
由表1的结果，可以看出，本发明的DGA-UNet轻量化模型通过将部分卷积操作替换成本发明所提出的空洞门控注意力模块之后，相较于UNet模型，在mIoU指标上提升了1.26％，在DSC指标上提升了0.88％，在Acc指标上提升了0.28％，在Sen指标上提升了2.39％，使得模型在分割表现上得到了全面的提升，同时，本发明的DGA-UNet轻量化模型相较于UNet模型，在参数量上减小了97倍，在计算量上减小了230倍，极大地减小了模型的参数量、计算量，使模型在实际临床情境下进行医学图像分割成为了可能。
在本实施例中，通过图6对测试样本的可视化，可以更加清楚地看出，本发明所提出DGA-UNet轻量化模型能够提供更加完整、更加精确的分割结果。
本发明提供了一种基于空洞门控注意力的图像分割方法，在本发明中，我们提出了空洞门控注意力模块，并且提出了本发明的DGA-UNet轻量化模型，与现有技术相比，我们的方法使模型在参数量、计算量极大地减小的前提下，还能够提升模型在医学图像分割任务中的表现。
图7为本发明实施例提供的基于空洞门控注意力的图像分割装置，如图7所示，本发明实施例还提供了一种基于空洞门控注意力的图像分割装置，该装置包括：获取模块71和处理模块72；
获取模块71：用于获取第一图像数据；
处理模块72，用于将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，所述编码部分包括普通编码单元和注意力编码单元；所述解码部分包括注意力解码单元和普通解码单元；所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。
该基于空洞门控注意力的图像分割装置的实现方式与技术效果与上述图1-图6所示实施例的实现方式与技术效果类似，在此不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的基于空洞门控注意力的图像分割方法。
以上对本发明的实施方法做出了详细阐述，但是本发明并不局限于上述的实施方式。对于该领域的技术人员来讲，在不偏离本发明原理和方法的情况下，对这些实施例进行不同的变化、替换、修改或是变形，仍然均处于本发明的保护范围之内。

Claims (10)

1.一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，包括：
获取第一图像数据；
将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，
所述编码部分包括普通编码单元和注意力编码单元；
所述解码部分包括注意力解码单元和普通解码单元；
所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。
2.根据权利要求1所述的一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，所述将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果之前，还包括：
使用第二图像数据对第一空洞门控注意力模型进行训练，以对所述普通编码单元和所述普通解码单元中二维卷积和批归一化进行训练，并分别对所述注意力编码单元和所述注意力解码单元中空洞门控注意力和批归一化进行训练；
将训练后的空洞门控注意力模型，作为用于对所述第一图像数据进行测试的所述空洞门控注意力模型。
3.根据权利要求2所述的一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，所述编码部分中的普通编码单元，包括：
将所输入的所述第一图像数据记作t0，对其依次进行三次卷积核尺寸为3的二维卷积、批归一化、二倍最大池化以及GELU激活函数操作，将上述三次的特征图输出记作t1,t2,t3，之后将t3作为所述注意力编码单元的输入。
4.根据权利要求3所述的一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，所述编码部分中的注意力编码单元，包括：
将t3作为输入，依次进行两次空洞门控注意力、批归一化、二倍最大池化以及GELU激活函数操作，将上述两次的特征图输出记作t4,t5，之后对t5再进行一次空洞门控注意力和GELU激活函数操作，得到编码部分的输出结果Out6。
5.根据权利要求4所述的一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，所述解码部分中的注意力解码单元，包括：
将所述Out6以及t3,t4,t5作为输入，对Out6进行空洞门控注意力、批归一化以及GELU激活函数操作，将操作的结果再和t5进行逐元素相加操作，得到特征图Out5；
对所述特征图Out5进行空洞门控注意力、批归一化、二倍线性插值上采样以及GELU激活函数操作，将操作的结果再和t4进行逐元素相加操作，得到特征图Out4；
对所述特征图Out4进行空洞门控注意力、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t3进行逐元素相加操作，得到特征图Out3，作为输出。
6.根据权利要求5所述的一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，所述解码部分中的普通解码单元，包括:
将所述特征图Out3以及t1,t2作为输入；
对所述特征图Out3进行卷积核尺寸为3的二维卷积、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t2进行逐元素相加操作，得到特征图Out2；
对所述特征图Out2进行卷积核尺寸为3的二维卷积、批归一化、二倍线性插值上采样以及GELU激活函数操作，再和t1进行逐元素相加操作，得到特征图Out1；
对所述特征图Out1进行卷积核尺寸为1的二维卷积以及二倍线性插值上采样操作，将特征图尺寸恢复到和数据标签相同，得到特征图Out。
7.根据权利要求4、5所述的一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，所述注意力编码单元和注意力解码单元中的空洞门控注意力，包括：
所述空洞门控注意力包括分裂空洞卷积单元以及门控注意力单元；
所述分裂空洞卷积单元包括：对输入特征图xi在通道维度上进行分裂，等分为四份，得到分裂后的特征图
Figure FDA0003672257630000021
再分别通过卷积核尺寸为3但拥有不同空洞率的深度卷积，获取到全局特征信息以及局部特征信息，并得到特征图
Figure FDA0003672257630000031
所述全局特征信息包括通过空洞率为5和7的深度卷积来获取的特征信息，所述局部特征信息包括通过空洞率为1和2的深度卷积来获取的特征信息；
在通道维度上对
Figure FDA0003672257630000032
进行拼接操作,将特征图尺寸复原，后接一个卷积核尺寸为1的二维卷积操作得到特征图x′i，以使全局特征信息和局部特征信息进行交互；
传输至所述门控注意力单元，以通过两个卷积核尺寸为3的深度可分离卷积对输入特征图x′i进行操作，其中一个后接Sigmoid激活函数来生成注意力图Att，另一个和所生成的注意力图Att进行逐元素相乘操作，后接一个卷积核尺寸为3的深度可分离卷积操作，得到特征图
Figure FDA0003672257630000033
接着，对输入特征图x′i进行一个卷积核尺寸为1的二维卷积操作，得到特征图
Figure FDA0003672257630000034
最后，将特征图
Figure FDA0003672257630000035
和
Figure FDA0003672257630000036
进行逐元素相加操作，得到输出特征图xo。
8.根据权利要求6所述的一种基于空洞门控注意力的轻量化图像分割方法，其特征在于，所述获得分割结果之后，还包括：
使用Sigmoid激活函数对特征图Out进行激活，得到最终的预测结果。
9.一种基于空洞门控注意力的轻量化图像分割装置，其特征在于，包括：
获取模块，用于获取第一图像数据；
处理模块，用于将所述第一图像数据通过空洞门控注意力模型进行分割处理，获得分割结果，所述空洞门控注意力模型包括两个部分：编码部分和解码部分；其中，所述编码部分包括普通编码单元和注意力编码单元；所述解码部分包括注意力解码单元和普通解码单元；所述普通编码单元、所述注意力编码单元、所述注意力解码单元以及所述普通解码单元依次连接。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的基于空洞门控注意力的图像分割方法。
CN202210618018.2A 2022-05-31 2022-05-31 一种轻量化图像分割方法、装置及存储介质 Pending CN114937044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210618018.2A CN114937044A (zh) 2022-05-31 2022-05-31 一种轻量化图像分割方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210618018.2A CN114937044A (zh) 2022-05-31 2022-05-31 一种轻量化图像分割方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114937044A true CN114937044A (zh) 2022-08-23

Family

ID=82867639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210618018.2A Pending CN114937044A (zh) 2022-05-31 2022-05-31 一种轻量化图像分割方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114937044A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071376A (zh) * 2023-04-04 2023-05-05 江苏势通生物科技有限公司 图像分割方法及相关装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071376A (zh) * 2023-04-04 2023-05-05 江苏势通生物科技有限公司 图像分割方法及相关装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN112992308B (zh) 医学图像报告生成模型的训练方法及图像报告生成方法
CN112489061B (zh) 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN114187296B (zh) 胶囊内窥镜图像病灶分割方法、服务器及系统
WO2021164280A1 (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
Qi et al. Automatic lacunae localization in placental ultrasound images via layer aggregation
Jha et al. Instance segmentation for whole slide imaging: end-to-end or detect-then-segment
CN114937044A (zh) 一种轻量化图像分割方法、装置及存储介质
Kumaraswamy et al. Automatic prostate segmentation of magnetic resonance imaging using Res-Net
CN113436155B (zh) 基于深度学习的超声臂丛神经图像识别方法
CN116258685A (zh) 全局和局部特征同时提取与融合的多器官分割方法及装置
CN113298827B (zh) 一种基于DP-Net网络的图像分割方法
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN111598904B (zh) 图像分割方法、装置、设备及存储介质
CN113744234A (zh) 一种基于gan的多模态脑部图像配准方法
Zaev et al. Segmentation of prostate cancer on TRUS images using ML
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
CN117952995B (zh) 一种可聚焦提示调优的心脏图像分割系统
Lee et al. Brain tumor segmentation on clinical datasets
Zhang et al. Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination