CN113706544B - 一种基于完备注意力卷积神经网络的医学图像分割方法 - Google Patents
一种基于完备注意力卷积神经网络的医学图像分割方法 Download PDFInfo
- Publication number
- CN113706544B CN113706544B CN202110955798.5A CN202110955798A CN113706544B CN 113706544 B CN113706544 B CN 113706544B CN 202110955798 A CN202110955798 A CN 202110955798A CN 113706544 B CN113706544 B CN 113706544B
- Authority
- CN
- China
- Prior art keywords
- medical image
- channel
- attention
- convolution
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 15
- 230000004913 activation Effects 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 239000012633 leachable Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 231100001011 cardiovascular lesion Toxicity 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于完备注意力卷积神经网络的医学图像分割方法，该方法包括：将训练医学图像输入利用深度学习框架构建的特征编码器模块，得到不同通道数和尺寸的卷积激活图；将不同通道数和尺寸的卷积激活图分别输入至多个通道注意力模块，得到经通道加权后不同通道数和尺寸的卷积激活图，输入至像素注意力模块，学习得到像素注意力系数，为卷积激活图分配不同的像素注意力系数，得到训练医学图像最终的分割图；基于交叉熵损失函数进行训练，得到最优的医学图像分割模型；确定测试医学图像，输入至所述最优的医学图像分割模型中，得到测试医学图像的最终分割图。
Description
技术领域
本发明属于计算机视觉、模式识别、人工智能领域，具体涉及一种基于完备注意力卷积神经网络的医学图像分割方法。
背景技术
核磁共振成像是检测多种疾病的一种重要技术，这种技术依据所释放的能量物质在内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。例如脑瘤、心血管病变、脊柱畸形等疾病都需要核磁共振图像进行诊断。这种技术由于其非入侵和多模态特性而被广泛使用。核磁共振图像分割作为医学图像技术的基础，具有丰富的研究价值和实际应用，可以在临床诊断、外科指导等方面协助医生做出诊断。
随着深度学习的发展，卷积神经网络在核磁共振图像分割领域大展拳脚。Ben-Cohen等人使用全卷积网络对肝脏图像进行分割，这种网络将最后的全连接层改为卷积层，融合池化层和最后一层卷积层的特征得到最终对每个像素的分类。然而，这种全卷积网络没有充分利用学习到的等级信息。因此Ronneberger等人设计了U型结构的网络(U-Net)用于生物图像分割，这种网络利用对称的收缩和放大路径，并使用跳跃连接得到最终的分割图。由于U-Net的突出表现，很多U-Net的变体：3D-UNet、Mdu-net、DRU-Net等被设计出来用于医学图像分割领域。
最近，注意力机制开始被引入到医学图像分割领域，这种机制更加关注一张图像的部分区域而不是整张图像。注意力机制和卷积神经网络的结合在核磁共振医学图像领域实现了很好的分割效果。Pei等人在单一尺度提出了位置注意力模块和通道注意力模块，使得网络能够注意到大肠肿瘤的位置。Lei等人提出了CS2-Net，他们使用自注意力机制去学习等级特征，在医学图像分割上取得了较好的效果。然而，这些方法只从单一的尺度学习注意力系数，从而导致不完备的注意力学习。
发明内容
本发明的目的是利用完备的注意力机制来提高医学图像分割的准确率，为此，本发明提供一种基于完备注意力卷积神经网络的医学图像分割方法。
为了实现上述目的，本发明提出一种基于完备注意力卷积神经网络的医学图像分割方法，所述方法包括以下步骤：
步骤S1，利用深度学习框架构建特征编码器模块，将训练医学图像输入所述特征编码器模块，得到所述训练医学图像不同通道数和尺寸的卷积激活图；
步骤S2，确定多个通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述多个通道注意力模块，得到所述训练医学图像经通道加权后不同通道数和尺寸的卷积激活图；
步骤S3，确定像素注意力模块，以经通道加权后不同通道数和尺寸的卷积激活图作为输入，利用所述像素注意力模块对输入卷积激活图进行融合并学习得到每个像素的注意力系数，为融合后的卷积激活图分配不同的像素注意力系数，得到所述训练医学图像最终的分割图；
步骤S4，基于交叉熵损失函数进行训练，得到最优的医学图像分割模型，其中，所述医学图像分割模型包括所述特征编码器模块、通道注意力模块和像素注意力模块；
步骤S5，确定测试医学图像，将所述测试医学图像输入至所述最优的医学图像分割模型中，得到所述测试医学图像的最终分割图。
可选地，所述步骤S1包括以下步骤：
步骤S11，利用深度学习框架构建得到特征编码器模块，其中，所述特征编码器模块包括四个级联特征编码块和一个附加特征编码块；
步骤S12，对所述训练医学图像进行预处理；
步骤S13，将预处理后得到的训练医学图像输入至所述特征编码器模块中，得到所述训练医学图像不同通道数和尺寸的卷积激活图。
可选地，四个级联特征编码块中的每个均包含两个卷积层和一个池化层，附加特征编码块中仅包含两个卷积层。
可选地，对所述训练医学图像进行的预处理包括：将所述训练医学图像中的每个像素值减去所述训练医学图像的像素平均值，再除以所述训练医学图像的像素方差。
可选地，所述步骤S2包括以下步骤：
步骤S21，确定与所述特征编码器模块中级联特征编码块数量一致的通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述通道注意力模块中；
步骤S22，利用所述通道注意力模块学习得到与所述特征编码器模块中每个级联特征编码块每个通道对应的通道注意力系数；
步骤S23，利用学习到的通道注意力系数，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权，得到所述训练医学图像通道加权后不同通道数和尺寸的卷积激活图。
可选地，第一通道注意力模块的输入为附加特征编码块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像；第二至第四通道注意力模块的输入为上一通道注意力模块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像。
可选地，学习得到的通道注意力系数矩阵表示为：
W＝softmax(θ(A×[H‖Q])),
其中，‖表示级联操作，A是一个可学习的变换矩阵，×表示矩阵相乘，H和Q表示对于输入卷积激活图I和T进行池化后得到的矩阵，θ表示非线性变换，softmax函数为归一化函数。
可选地，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权后得到的不同通道数和尺寸的卷积激活图可表示为：
其中，表示每通道相乘操作，I表示所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图，W为学习得到的包括每个通道的注意力系数的通道注意力系数矩阵。
可选地，所述步骤S3包括以下步骤：
步骤S31，将所述特征编码器模块中附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作，得到对应的、具有相同目标通道数和尺寸的卷积激活图；
步骤S32，对具有目标通道数和尺寸的卷积激活图以不同的权重进行卷积融合，得到卷积融合后的卷积激活图df；
步骤S33，对第四通道注意力模块输出的卷积激活图进行两次卷积操作，得到卷积激活图ds；
步骤S34，对卷积激活图df与卷积激活图ds进行融合学习得到对应每个像素的像素注意力系数矩阵C；
步骤S35，利用学习到的每个像素的注意力系数，为卷积激活图df分配不同的注意力系数，得到所述训练医学图像最终的分割图F。
可选地，所述训练医学图像最终的分割图表示为：
F＝C⊙df，
其中，⊙表示对应像素相乘，F∈RN×240×240，N表示最终分割的类别数量，即最终分割得到的图像数量。
本发明的有益效果为：本发明通过完备注意力卷积神经网络学习完备的注意力系数，从而提高了医学图像分割的准确率。
需要说明的是，本发明得到了国家自然科学基金项目No.62171321，天津市自然科学基金重点项目No.20JCZDJC00180和No.19JCZDJC31500和模式识别国家重点实验室开放课题基金No.202000002的资助。
附图说明
图1是根据本发明一实施例的一种基于完备注意力卷积神经网络的医学图像分割方法的流程图；
图2是根据本发明一实施例构建的基于完备注意力卷积神经网络的结构框图；
图3是根据本发明一实施例的通道注意力模块结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于完备注意力卷积神经网络的医学图像分割方法的流程图，图2是根据本发明一实施例的基于完备注意力卷积神经网络的结构框图，下面以图1和图2为例来说明本发明的一些具体实现流程，如图1和图2所示，所述基于完备注意力卷积神经网络的医学图像分割方法包括以下步骤：
步骤S1，利用深度学习框架构建特征编码器模块，将训练医学图像输入所述特征编码器模块，得到所述训练医学图像不同通道数和尺寸的卷积激活图；
进一步地，所述步骤S1包括以下步骤：
步骤S11，利用深度学习框架构建得到特征编码器模块，其中，所述特征编码器模块包括四个级联特征编码块和一个附加特征编码块；
在本发明一实施例中，利用深度学习框架构建得到的特征编码器模块为U-Net，整个特征编码器模块包括四个级联特征编码块和一个附加特征编码块，四个级联特征编码块中的每个均包含两个卷积层和一个池化层，附加特征编码块中仅包含两个卷积层。其中，所述卷积层卷积核的大小为3×3，步长为1；所述池化层的步长为2。
步骤S12，对所述训练医学图像进行预处理；
在本发明一实施例中，对所述训练医学图像进行的预处理包括：将所述训练医学图像中的每个像素值减去所述训练医学图像的像素平均值，再除以所述训练医学图像的像素方差。
步骤S13，将预处理后得到的训练医学图像输入至所述特征编码器模块中，得到所述训练医学图像不同通道数和尺寸的卷积激活图。
在本发明一实施例中，基于上述包括五个特征编码块的特征编码器模块能够得到所述训练医学图像的五个不同通道数和尺寸的卷积激活图。如图2所示，位于图2左上角的为第一级联特征编码块，右下依次为第二级联特征编码块、第三级联特征编码块、第四级联特征编码块和附加特征编码块。假设输入至第一级联特征编码块的训练医学图像的大小为3×240×240，经过两个卷积层后得到的图像大小为16×240×240，对于该图像进行最大值池化，得到的图像大小为16×120×120，该图像作为第二级联特征编码块的输入，经过两个卷积层后得到的图像大小为32×120×120，对于该图像进行最大值池化，得到的图像大小为32×60×60，该图像作为第三级联特征编码块的输入，经过两个卷积层后得到的图像大小为64×60×60，对于该图像进行最大值池化，得到的图像大小为64×30×30，该图像作为第四级联特征编码块的输入，经过两个卷积层后得到的图像大小为128×30×30，对于该图像进行最大值池化，得到的图像大小为128×15×15，该图像作为附加特征编码块的输入，经过两个卷积层后得到的图像大小为256×15×15，因此，所述特征编码器模块中四个级联特征编码块输出图像的大小分别为：16×240×240、32×120×120、64×60×60和128×30×30，附加特征编码块输出图像的大小为256×15×15，其中，第一个位置的数字代表卷积激活图的通道数，第二个位置的数字代表卷积激活图的高度，第三个位置的数字代表卷积激活图的宽度。
步骤S2，确定多个通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述多个通道注意力模块，得到所述训练医学图像经通道加权后不同通道数和尺寸的卷积激活图；
进一步地，所述步骤S2包括以下步骤：
步骤S21，确定与所述特征编码器模块中级联特征编码块数量一致的通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述通道注意力模块中；
在本发明一实施例中，如图2所示，本发明设计了四个通道注意力模块对应所述四个级联特征编码块。其中，第一个通道注意力模块，即第一通道注意力模块，的输入为附加特征编码块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像；其余通道注意力模块，即第二至第四通道注意力模块，的输入为上一通道注意力模块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像。具体地，第一通道注意力模块，即图2中通道注意力模块1的两个输入分别为附加特征编码块输出图像(大小为256×15×15)经上采样后得到的图像，大小为128×30×30，以及与该上采样图像具有相同大小的第四级联特征编码块的输出图像；第二通道注意力模块，即图2中通道注意力模块2的两个输入分别为通道注意力模块1输出图像(大小为128×30×30)经上采样后得到的图像，大小为64×60×60，以及与该上采样图像具有相同大小的第三级联特征编码块的输出图像；第三通道注意力模块，即图2中通道注意力模块3的两个输入分别为通道注意力模块2输出图像(大小为64×60×60)经上采样后得到的图像，大小为32×120×120，以及与该上采样图像具有相同大小的第二级联特征编码块的输出图像；第四通道注意力模块，即图2中通道注意力模块4的两个输入分别为通道注意力模块2输出图像(大小为32×120×120)经上采样后得到的图像，大小为16×240×240，以及与该上采样图像具有相同大小的第一级联特征编码块的输出图像。
步骤S22，利用所述通道注意力模块学习得到与所述特征编码器模块中每个级联特征编码块每个通道对应的通道注意力系数；
在本发明一实施例中，学习得到的通道注意力系数矩阵可表示为：
W＝softmax(θ(A×[H‖Q])),
其中，‖表示级联操作，A是一个可学习的变换矩阵，×表示矩阵相乘，H和Q表示对于输入卷积激活图I和T进行池化后得到的矩阵，θ表示非线性变换，比如可以为LeakReLU激活函数，softmax函数为归一化函数。
图3是根据本发明一实施例的通道注意力模块结构框图，如图3所示，以通道注意力模块1为例，所述通道注意力模块1的两个输入分别为附加特征编码块输出图像(大小为256×15×15)经上采样后得到的图像T，大小为128×30×30，以及与该上采样图像具有相同大小的第四级联特征编码块的输出图像I，大小亦为128×30×30；然后对于输入图像I和T分别进行池化后得到大小为128×1×1的矩阵H和Q；对矩阵H和Q进行级联后与变换矩阵A相乘，之后进行θ非线性变换和softmax函数处理，得到与输入图像的通道数对应的、大小为128×1×1的通道注意力系数矩阵W。
类似地，所述通道注意力模块2对应得到的通道注意力系数矩阵W的大小为64×1×1，所述通道注意力模块3对应得到的通道注意力系数矩阵W的大小为32×1×1，所述通道注意力模块4对应得到的通道注意力系数矩阵W的大小为16×1×1。
步骤S23，利用学习到的通道注意力系数，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权，得到所述训练医学图像通道加权后不同通道数和尺寸的卷积激活图。
在本发明一实施例中，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权后得到的不同通道数和尺寸的卷积激活图可表示为：
其中，表示每通道相乘操作，I表示所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图，W为所述步骤S22学习得到的包括每个通道的注意力系数的通道注意力系数矩阵。
步骤S3，确定像素注意力模块，以经通道加权后不同通道数和尺寸的卷积激活图作为输入，利用所述像素注意力模块对输入卷积激活图进行融合并学习得到每个像素的注意力系数，为融合后的卷积激活图分配不同的像素注意力系数，得到所述训练医学图像最终的分割图；
进一步地，所述步骤S3包括以下步骤：
步骤S31，将附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作，得到对应的、具有相同目标通道数和尺寸的卷积激活图；
在本发明一实施例中，所述目标通道数和尺寸可设置为与所述训练医学图像相同，即目标通道数可设为4，这样，对所述附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作后，得到的卷积激活图的大小均为4×240×240。
步骤S32，对步骤S31得到的具有目标通道数和尺寸的卷积激活图以不同的权重进行卷积融合，得到卷积融合后的卷积激活图df；
在本发明一实施例中，卷积融合后的卷积激活图可表示为：
其中，表示卷积操作，d1、d2、d3、d4分别表示所述附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的卷积激活图经上采样操作得到的具有相同目标通道数和尺寸的卷积激活图，4、3、2、1分别表示卷积激活图d1、d2、d3、d4对应的权重。
步骤S33，对第四通道注意力模块输出的卷积激活图进行两次卷积操作，得到卷积激活图ds；
如图2所示，所述第四通道注意力模块输出的卷积激活图d5的大小为16×240×240，经过一次卷积操作后得到的卷积激活图的大小为4×240×240，再经过一次卷积操作后得到卷积激活图ds，其大小亦为4×240×240。
步骤S34，对卷积激活图df与卷积激活图ds进行融合学习得到对应每个像素的像素注意力系数矩阵C；
在本发明一实施例中，所述像素注意力系数矩阵C可表示为：
其中，Ψ表示Sigmoid函数，表示卷积操作，ReLU是一种非线性变换。
如图2所示，当卷积激活图df和卷积激活图ds的大小均为4×240×240时，所述像素注意力系数矩阵C的大小亦为4×240×240。
步骤S35，利用学习到的每个像素的注意力系数，为卷积激活图df分配不同的注意力系数，得到所述训练医学图像最终的分割图F。
在本发明一实施例中，所述训练医学图像最终的分割图可表示为：
F＝C⊙df，
其中，⊙表示对应像素相乘，F∈RN×240×240，N表示最终分割的类别数量，即最终分割得到的图像数量。
步骤S4，基于交叉熵损失函数进行训练，得到最优的医学图像分割模型，其中，所述医学图像分割模型包括所述特征编码器模块、通道注意力模块和像素注意力模块；
在本发明一实施例中，所述交叉熵损失函数L可表示为：
其中，pi表示预测每个像素属于第i类的概率值；yi是该像素真实属于第i类的概率，当某一像素真实属于第i类别时yi＝1，否则yi＝0；N是分割类别的总数量。在实际操作中，可借助随机梯度下降法进行迭代计算，来优化所述医学图像分割模型的参数，以使得所述总损失函数L最小，最终得到最优的医学图像分割模型。
步骤S5，确定测试医学图像，将所述测试医学图像输入至所述最优的医学图像分割模型中，得到所述测试医学图像的最终分割图。
后续可通过计算最终分割图与真实分割图之间的像素准确率和DICE得分，来得到医学图像分割评价结果。
在本发明一实施例中，所述像素准确率表示正确分类的像素数与像素总数之间的比率；DICE得分反映了预测结果和事实结果之间的重叠。其中，像素准确率和DICE得分可分别表示为：
ACC＝(TN+TP)/(TP+TN+FP+FN)，
Dice＝2×TP/(FP+2×TP+FN)，
其中，TP表示真的正样本，TN表示真的负样本，FP表示假的正样本，FN表示假的负样本。
以网上公开的大规模医学图像分割数据库作为测试对象，比如在HVSMR数据库上测试时，本发明图像分割的像素正确率和DICE得分分别达到94.76％和88.83％。因此，本发明医学图像分割的方法有效地利用完备注意力卷积神经网络，学习完备的注意力系数，利用多个等级融合的卷积激活图，可以学习到具有显著区分力的分割图，很大程度上提高了核磁共振医学图像分割的准确率，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种基于完备注意力卷积神经网络的医学图像分割方法，其特征在于，所述方法包括以下步骤：
步骤S1，利用深度学习框架构建特征编码器模块，将训练医学图像输入所述特征编码器模块，得到所述训练医学图像不同通道数和尺寸的卷积激活图；
步骤S2，确定多个通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述多个通道注意力模块，得到所述训练医学图像经通道加权后不同通道数和尺寸的卷积激活图；
步骤S3，确定像素注意力模块，以经通道加权后不同通道数和尺寸的卷积激活图作为输入，利用所述像素注意力模块对输入卷积激活图进行融合并学习得到每个像素的注意力系数，为融合后的卷积激活图分配不同的像素注意力系数，得到所述训练医学图像最终的分割图；
步骤S4，基于交叉熵损失函数进行训练，得到最优的医学图像分割模型，其中，所述医学图像分割模型包括所述特征编码器模块、通道注意力模块和像素注意力模块；
步骤S5，确定测试医学图像，将所述测试医学图像输入至所述最优的医学图像分割模型中，得到所述测试医学图像的最终分割图。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，利用深度学习框架构建得到特征编码器模块，其中，所述特征编码器模块包括四个级联特征编码块和一个附加特征编码块；
步骤S12，对所述训练医学图像进行预处理；
步骤S13，将预处理后得到的训练医学图像输入至所述特征编码器模块中，得到所述训练医学图像不同通道数和尺寸的卷积激活图。
3.根据权利要求2所述的方法，其特征在于，四个级联特征编码块中的每个均包含两个卷积层和一个池化层，附加特征编码块中仅包含两个卷积层。
4.根据权利要求2或3所述的方法，其特征在于，对所述训练医学图像进行的预处理包括：将所述训练医学图像中的每个像素值减去所述训练医学图像的像素平均值，再除以所述训练医学图像的像素方差。
5.根据权利要求2或3所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，确定与所述特征编码器模块中级联特征编码块数量一致的通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述通道注意力模块中；
步骤S22，利用所述通道注意力模块学习得到与所述特征编码器模块中每个级联特征编码块每个通道对应的通道注意力系数；
步骤S23，利用学习到的通道注意力系数，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权，得到所述训练医学图像通道加权后不同通道数和尺寸的卷积激活图。
6.根据权利要求5所述的方法，其特征在于，第一通道注意力模块的输入为附加特征编码块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像；第二至第四通道注意力模块的输入为上一通道注意力模块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像。
7.根据权利要求5或6所述的方法，其特征在于，学习得到的通道注意力系数矩阵表示
W＝softmax(θ(A×[H‖Q])),
其中，‖表示级联操作，A是一个可学习的变换矩阵，×表示矩阵相乘，H和Q表示对于输入卷积激活图I和T进行池化后得到的矩阵，θ表示非线性变换，softmax函数为归一化函数。
8.根据权利要求5-7任一所述的方法，其特征在于，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权后得到的不同通道数和尺寸的卷积激活图可表示为：
其中，表示每通道相乘操作，I表示所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图，W为学习得到的包括每个通道的注意力系数的通道注意力系数矩阵。
9.根据权利要求6-8任一所述的方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31，将所述特征编码器模块中附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作，得到对应的、具有相同目标通道数和尺寸的卷积激活图；
步骤S32，对具有目标通道数和尺寸的卷积激活图以不同的权重进行卷积融合，得到卷积融合后的卷积激活图df；
步骤S33，对第四通道注意力模块输出的卷积激活图进行两次卷积操作，得到卷积激活图ds；
步骤S34，对卷积激活图df与卷积激活图ds进行融合学习得到对应每个像素的像素注意力系数矩阵C；
步骤S35，利用学习到的每个像素的注意力系数，为卷积激活图df分配不同的注意力系数，得到所述训练医学图像最终的分割图F。
10.根据权利要求9所述的方法，其特征在于，所述训练医学图像最终的分割图表示为：
F＝C⊙df，
其中，⊙表示对应像素相乘，F∈RN×240×240，N表示最终分割的类别数量，即最终分割得到的图像数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955798.5A CN113706544B (zh) | 2021-08-19 | 2021-08-19 | 一种基于完备注意力卷积神经网络的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955798.5A CN113706544B (zh) | 2021-08-19 | 2021-08-19 | 一种基于完备注意力卷积神经网络的医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706544A CN113706544A (zh) | 2021-11-26 |
| CN113706544B true CN113706544B (zh) | 2023-08-29 |
Family
ID=78653654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110955798.5A Active CN113706544B (zh) | 2021-08-19 | 2021-08-19 | 一种基于完备注意力卷积神经网络的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706544B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494482A (zh) * | 2021-12-24 | 2022-05-13 | 中国人民解放军总医院第一医学中心 | 一种基于平扫ct生成ct血管成像的方法 |
| CN114066913B (zh) * | 2022-01-12 | 2022-04-22 | 广东工业大学 | 一种心脏图像分割方法及系统 |
| CN114092477A (zh) * | 2022-01-21 | 2022-02-25 | 浪潮云信息技术股份公司 | 一种图像篡改检测方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
-
2021
- 2021-08-19 CN CN202110955798.5A patent/CN113706544B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 脑电时间效应对情绪识别模型的影响及解决措施研究;刘爽;仝晶晶;郭冬月;柯余锋;孟佳圆;陈龙;许敏鹏;綦宏志;明东;;中国生物医学工程学报(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706544A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706544B (zh) | 一种基于完备注意力卷积神经网络的医学图像分割方法 | |
| CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| Teow | Understanding convolutional neural networks using a minimal model for handwritten digit recognition | |
| CN112052886A (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN115018824B (zh) | 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法 | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN113191390B (zh) | 一种图像分类模型的构建方法、图像分类方法及存储介质 | |
| CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| CN111695673B (zh) | 训练神经网络预测器的方法、图像处理方法及装置 | |
| CN112560966B (zh) | 基于散射图卷积网络的极化sar图像分类方法、介质及设备 | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN112734748A (zh) | 一种肝胆管及胆道结石的图像分割系统 | |
| CN111127490A (zh) | 一种基于循环残差U-Net网络的医学图像分割方法 | |
| CN112052877A (zh) | 一种基于级联增强网络的图片细粒度分类方法 | |
| Li et al. | Automatic densenet sparsification | |
| CN114943721A (zh) | 一种建立基于改进U-Net网络的颈部超声图像分割方法 | |
| CN117456183A (zh) | 一种多层级特征提取融合注意力机制的医学图像分割方法 | |
| CN116246110A (zh) | 基于改进胶囊网络的图像分类方法 | |
| CN116503668A (zh) | 一种基于小样本元学习的医学影像分类方法 | |
| CN110956617A (zh) | 基于循环注意力模型的大脑核磁共振异常图像可视化方法 | |
| Kajkamhaeng et al. | SE-SqueezeNet: SqueezeNet extension with squeeze-and-excitation block | |
| CN117746045A (zh) | 一种Transformer和卷积融合的医学图像分割方法及系统 | |
| CN117635625A (zh) | 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法 | |
| CN117522891A (zh) | 一种3d医学图像分割系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |