CN114529564A - 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 - Google Patents
一种基于上下文信息的轻量级婴儿脑组织图像分割方法 Download PDFInfo
- Publication number
- CN114529564A CN114529564A CN202210181406.9A CN202210181406A CN114529564A CN 114529564 A CN114529564 A CN 114529564A CN 202210181406 A CN202210181406 A CN 202210181406A CN 114529564 A CN114529564 A CN 114529564A
- Authority
- CN
- China
- Prior art keywords
- module
- magnetic resonance
- nuclear magnetic
- scale fusion
- brain tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000005013 brain tissue Anatomy 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003709 image segmentation Methods 0.000 title abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 89
- 238000000605 extraction Methods 0.000 claims description 51
- 230000004913 activation Effects 0.000 claims description 42
- 238000011176 pooling Methods 0.000 claims description 40
- 238000005481 NMR spectroscopy Methods 0.000 claims description 30
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 41
- 238000005070 sampling Methods 0.000 description 10
- 239000011800 void material Substances 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于上下文信息的轻量级婴儿脑组织图像分割方法，应用于图像处理技术领域，其在训练阶段，构建卷积神经网络并进行训练，得到对应分割预测图；再通过计算原始核磁共振成像T1模态对应的分割预测图构成的集合与对应的婴儿脑组织失真分割标注图构成的集合之间的损失函数值，并且利用Adam优化器来对网络参数进行更新；将核磁共振成像T1模态及其对应的核磁共振成像T2模态输入到卷积神经网络训练模型中，得到婴儿脑组织分割图像；本发明在各类脑组织类型中其分割效果都有较好的表现，且其参数量更低、权重更小、推理速度更快，利于在移动端设备上进行部署。
Description
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于上下文信息的轻量级婴儿脑组织图像分割方法。
背景技术
近年来，人工智能和计算机视觉的技术正在迅速崛起，并且随着互联网的发展带来了巨量的数据用于实际应用，从海量的图像和视频数据中快速获取关键信息已成为计算机视觉领域的关键问题。在这其中，医学影像分析越来越受到人们的关注。利用核磁共振成像，可以收集到婴儿脑组织影像。利用这些数据结合计算机视觉技术，就可以在生命健康领域上大展身手。
理想的智能辅助诊疗需要对脑组织有正确的视觉理解。利用深度学习方法，婴儿脑组织分割智能辅助诊疗任务被定义为像素级语义分割问题，可以直接进行像素级别端到端(end-to-end)的语义理解。具体一些，即只需要在训练集中的影像与标签输入到模型框架中进行训练，得到权重与模型，然后在验证集中进行婴儿脑组织图像分割，通过不断调优和观察检测情况来得到最好的预测模型，最后利用预测模型对测试集进行测试，得到婴儿脑组织图像分割结果。基于深度学习的婴儿脑组织分割智能辅助诊疗方法，其核心是利用了卷积神经网络构建的多模态密集融合传递方法，它的强大之处在于它可以融合不同层级、不同模态下的特征，并且学习到极具鉴别性的特征，利用这些特征可以从多角度分割脑组织区域，并且自底向上密集传递来进行婴儿脑组织分割。卷积神经网络的架构主要包括两个阶段：编码阶段和解码阶段。编码阶段是指对输入影像进行编码，从而得到不同等级的编码特征；解码阶段是指对得到不同等级的编码特征进行解码组合，最后解码得到分割图。
随着各种分割模型的出现，最终的分割性能指标也随之不断上升，但是考虑到这些分割模型的存储量都比较大，运算浮点数都很大，要想部署在移动端就会有比较大的挑战。
发明内容
有鉴于此，本发明提供了一种基于上下文信息的轻量级婴儿脑组织图像分割方法，在保证分割准确率的同时，降低其存储大小及其运算浮点数，构建一个多模态的轻量级分割网络。
为了实现上述目的，本发明提供如下技术方案：
一种基于上下文信息的轻量级婴儿脑组织图像分割方法，具体步骤包括：
选取原始婴儿脑组织的第一核磁共振影像、第二核磁共振影像和婴儿脑组织失真分割标注图构成训练集；
构建卷积神经网络，所述第一核磁共振影像和所述第二核磁共振影像依次进行特征提取采用多模态输入，并进行多尺度融合，将多尺度融合的结果经过相加、同时经多区域锐化进行堆叠；
将训练集中的每幅第一核磁共振影像及其对应的第二核磁共振影像作为原始输入影像，输入到所述卷积神经网络进行训练，得到训练集中的每幅核磁共振成像T1模态对应的分割预测图；
计算训练集中的每幅第一核磁共振影像对应的分割预测图构成的集合与对应的婴儿脑组织失真分割标注图构成的集合之间的损失函数值，采用二分类交叉熵损失函数获得，再通过Adam调节器对网络参数进行更新；
重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。
可选的，在上述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法中，所述第一核磁共振影像，第二核磁共振影像和婴儿脑组织失真分割标注图为单通道图像。
可选的，在上述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法中，所述卷积神经网络包括输入层、隐层和输出层；隐层包括依次设置的10个特征提取模块、10个多尺度融合模块、5个多区域锐化模块。
可选的，在上述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法中，输入层的输入端接收第一核磁共振影像及其第二核磁共振影像，输入层的输出端输出原始输入第一核磁共振影像与第二核磁共振影像给隐层；输出层的输出端接收第5个多区域锐化模块中的所有特征图，输出层的输出端输出1幅与原始输入第一核磁共振影像对应的分割预测图。
可选的，在上述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法中，所述多尺度融合模块包括：第1个多尺度融合模块、第2个多尺度融合模块、第3个多尺度融合模块、第4个多尺度融合模块、第5个多尺度融合模块、第6个多尺度融合模块、第7个多尺度融合模块、第8个多尺度融合模块、第9个多尺度融合模块、第10个多尺度融合模块；所述多尺度融合模块结构相同。
可选的，在上述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法中，所述多尺度融合模块包括：第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第1个多尺度融合模块的输入端接收特征提取模块输出的五组特征图，每个尺寸调节模块经过不同倍上采样，经过所述第一个激活函数，与其中一组特征图相乘，再与所述特征图相加，输出多尺度融合后的特征图。
可选的，在上述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法中，所述多区域锐化模块包括第1个多区域锐化模块、第2个多区域锐化模块、第3个多区域锐化模块、第4个多区域锐化模块、第5个多区域锐化模块；所述多区域锐化模块结构相同。
可选的，在上述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法中，所述多区域锐化模块依次设置第一个空洞卷积模块、第二个空洞卷积模块、第一个池化模块、第一个激活函数；第1个多区域锐化模块的输入端接收第一核磁共振影像与第二核磁共振影像经过多尺度融合后的相加得到所有特征图，所有特征图通过所述第一个池化模块和第一个激活函数的输出结果，与所有特征图分别经过所述第一个空洞卷积模块、第二个空洞卷积模块堆叠的结果相乘，并与堆叠结果相加输出锐化后的特征图。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于上下文信息的轻量级婴儿脑组织图像分割方法，在搭建网络时，采用的时轻量级的网络框架Mobilenetv2以减少其网络参数量与内存占用并要设计出一些高效的特征融合、锐化模块和更为有效的训练方式来进一步的提高其检测指标；采用多模态的输入，这意味着网络的输入包含多种不同种类的信息，核磁共振成像T1模态和核磁共振成像T2模态的影像信息，利用多尺度融合模块将不同信息有效利用，通过多区域锐化模块增加特征的边缘信息，可以更好分割图像；在现有的公布数据集上无论是分割速度还是分割效果都有很好的表现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明方法的总体实现框图；
图2为多尺度融合模块框图；
图3为多区域锐化模块框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于上下文信息的轻量级婴儿脑组织图像分割方法，保证分割准确率的同时，降低其存储大小及其运算浮点数。
本发明提出的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；
所述的训练阶段过程的具体步骤为：
步骤1_1：选取Q幅原始婴儿脑组织分割智能辅助诊疗核磁共振成像T1模态和核磁共振成像T2模态影像，并构成训练集，将训练集中的第q幅核磁共振成像T1模态记为
将训练集中与
对应的核磁共振成像T2模态和对应的婴儿脑组织真实分割标注图分别记为
其中，核磁共振成像T1模态，核磁共振成像T2模态和婴儿脑组织分割影像为单通道图像，Q为正整数，Q≥200，如取Q＝250，q为正整数，1≤q≤Q，1≤i≤W，1≤j≤H，W表示
的宽度，H表示
的高度，如取W＝224、H＝224，
表示
中坐标位置为(i,j)的像素点的像素值，
表示
中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j)的像素点的像素值；在此,核磁共振成像T1模态，核磁共振成像T2模态和婴儿脑组织失真分割标注图直接选用公开的婴儿脑组织分割Iseg2017数据集中核磁共振成像T1模态，核磁共振成像T2模态和婴儿脑组织失真分割标注图。
步骤1_2：构建卷积神经网络：卷积神经网络包括输入层、隐层和输出层；隐层包括依次设置的第1个特征提取模块、第2个特征提取模块、第3个特征提取模块、第4个特征提取模块、第5个特征提取模块、第6个特征提取模块、第7个特征提取模块、第8个特征提取模块、第9个特征提取模块、第10个特征提取模块、第1个多尺度融合模块、第2个多尺度融合模块、第3个多尺度融合模块、第4个多尺度融合模块、第5个多尺度融合模块、第6个多尺度融合模块、第7个多尺度融合模块、第8个多尺度融合模块、第9个多尺度融合模块、第10个多尺度融合模块、第1个多区域锐化模块、第2个多区域锐化模块、第3个多区域锐化模块、第4个多区域锐化模块、第5个多区域锐化模块。
对于输入层，输入层的输入端接收核磁共振成像T1模态及其核磁共振成像T2模态，核磁共振成像T1模态与核磁共振成像T2模态都是单通道影像，输入层的输出端输出原始输入核磁共振成像T1模态与核磁共振成像T2模态给隐层；其中，要求输入层的输入端接收的原始输入核磁共振成像T1模态与核磁共振成像T2模态的宽度为W、高度为H。
对于第1个特征提取模块，其由现有开源网络Mobilenetv2的第一卷积层、第二卷积层组成；第1个特征提取模块的输入端接收输入层的输出端输出的原始核磁共振成像T1模态，第1个特征提取模块的输出端输出16幅特征图，将16幅特征图构成的集合记为R1；R1中的每幅特征图的宽度为
高度为
对于第2个特征提取模块，其由现有开源网络Mobilenetv2的第三卷积层、第四卷积层组成；第2个特征提取模块的输入端接收R1中所有的特征图，第1个特征提取模块的输出端输出24幅特征图，将24幅特征图构成的集合记为R2；R2中的每幅特征图的宽度为
高度为
对于第3个特征提取模块，其由现有开源网络Mobilenetv2的第五卷积层、第六卷积层、第七卷积层组成；第3个特征提取模块的输入端接收R2中所有的特征图，第3个特征提取模块的输出端输出32幅特征图，将32幅特征图构成的集合记为R3；R3中的每幅特征图的宽度为
高度为
对于第4个特征提取模块，其由现有开源网络Mobilenetv2的第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层组成；第4个特征提取模块的输入端接收R3中所有的特征图，第4个特征提取模块的输出端输出160幅特征图，将160幅特征图构成的集合记为R4；R4中的每幅特征图的宽度为
高度为
对于第5个特征提取模块，其由现有开源网络Mobilenetv2的第十八卷积层组成；第5个特征提取模块的输入端接收R4中所有的特征图，第5个特征提取模块的输出端输出320幅特征图，将320幅特征图构成的集合记为R5；R5中的每幅特征图的宽度为
高度为
对于第6个特征提取模块，其由现有开源网络Mobilenetv2的第一卷积层、第二卷积层组成；第6个特征提取模块的输入端接收输入层的输出端输出的原始核磁共振成像T2模态，第6个特征提取模块的输出端输出16幅特征图，将16幅特征图构成的集合记为R6；R6中的每幅特征图的宽度为
高度为
对于第7个特征提取模块，其由现有开源网络Mobilenetv2的第三卷积层、第四卷积层组成；第7个特征提取模块的输入端接收R6中所有的特征图，第6个特征提取模块的输出端输出24幅特征图，将24幅特征图构成的集合记为R7；R7中的每幅特征图的宽度为
高度为
对于第8个特征提取模块，其由现有开源网络Mobilenetv2的第五卷积层、第六卷积层、第七卷积层组成；第8个特征提取模块的输入端接收R7中所有的特征图，第8个特征提取模块的输出端输出32幅特征图，将32幅特征图构成的集合记为R8；R8中的每幅特征图的宽度为
高度为
对于第9个特征提取模块，其由现有开源网络Mobilenetv2的第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层组成；第9个特征提取模块的输入端接收R8中所有的特征图，第9个特征提取模块的输出端输出160幅特征图，将160幅特征图构成的集合记为R9；R9中的每幅特征图的宽度为
高度为
对于第10个特征提取模块，其由现有开源网络Mobilenetv2的第十八卷积层组成；第10个特征提取模块的输入端接收R9中所有的特征图，第10个特征提取模块的输出端输出320幅特征图，将320幅特征图构成的集合记为R10；R10中的每幅特征图的宽度为
高度为
对于第1个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第1个多尺度融合模块的输入端(从左到右)依次接收R1、R2、R3、R4、R5中的所有特征图，第1个多尺度融合模块的输出端输出16幅特征图，将16幅特征图构成的集合记为F1；其中第一个尺寸调节模块采用的是2倍上采样(Upsample)，第二个尺寸调节模块采用的是4倍上采样，第三个尺寸调节模块采用的是8倍上采样，第四个尺寸调节模块采用的16倍上采样，第一个激活函数方式为“ReLU”,F1中的每幅特征图的宽度为
高度为
对于第2个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第2个多尺度融合模块的输入端依次接收R1、R2、R3、R4、R5中的所有特征图，第2个多尺度融合模块的输出端输出24幅特征图，将24幅特征图构成的集合记为F2；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是2倍上采样(Upsample)，第三个尺寸调节模块采用的是4倍上采样，第四个尺寸调节模块采用的8倍上采样，第一个激活函数方式为“ReLU”,F2中的每幅特征图的宽度为
高度为
对于第3个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第3个多尺度融合模块的输入端依次接收R1、R2、R3、R4、R5中的所有特征图，第3个多尺度融合模块的输出端输出32幅特征图，将32幅特征图构成的集合记为F3；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是两次最大池化下采样(MaxPool)，第三个尺寸调节模块采用的是2倍上采样(Upsample)，第四个尺寸调节模块采用的4倍上采样，第一个激活函数方式为“ReLU”,F3中的每幅特征图的宽度为
高度为
对于第4个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第4个多尺度融合模块的输入端依次接收R1、R2、R3、R4、R5中的所有特征图，第4个多尺度融合模块的输出端输出160幅特征图，将160幅特征图构成的集合记为F4；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是两次最大池化下采样，第三个尺寸调节模块采用的是三次最大池化下采样，第四个尺寸调节模块采用的2倍上采样(Upsample)，第一个激活函数方式为“ReLU”,F4中的每幅特征图的宽度为
高度为
对于第5个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第5个多尺度融合模块的输入端依次接收R1、R2、R3、R4、R5中的所有特征图，第5个多尺度融合模块的输出端输出320幅特征图，将320幅特征图构成的集合记为F5；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是两次最大池化下采样，第三个尺寸调节模块采用的是三次最大池化下采样，第四个尺寸调节模块采用的是三次最大池化下采样，第一个激活函数方式为“ReLU”,F5中的每幅特征图的宽度为
高度为
对于第6个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第6个多尺度融合模块的输入端(从左到右)依次接收R6、R7、R8、R9、R10中的所有特征图，第6个多尺度融合模块的输出端输出16幅特征图，将16幅特征图构成的集合记为F6；其中第一个尺寸调节模块采用的是2倍上采样(Upsample)，第二个尺寸调节模块采用的是4倍上采样，第三个尺寸调节模块采用的是8倍上采样，第四个尺寸调节模块采用的16倍上采样，第一个激活函数方式为“ReLU”,F6中的每幅特征图的宽度为
高度为
对于第7个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第7个多尺度融合模块的输入端依次接收R6、R7、R8、R9、R10中的所有特征图，第7个多尺度融合模块的输出端输出24幅特征图，将24幅特征图构成的集合记为F7；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是2倍上采样(Upsample)，第三个尺寸调节模块采用的是4倍上采样，第四个尺寸调节模块采用的8倍上采样，第一个激活函数方式为“ReLU”,F7中的每幅特征图的宽度为
高度为
对于第8个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第8个多尺度融合模块的输入端依次接收R6、R7、R8、R9、R10中的所有特征图，第8个多尺度融合模块的输出端输出32幅特征图，将32幅特征图构成的集合记为F8；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是两次最大池化下采样(MaxPool)，第三个尺寸调节模块采用的是2倍上采样(Upsample)，第四个尺寸调节模块采用的4倍上采样，第一个激活函数方式为“ReLU”,F8中的每幅特征图的宽度为
高度为
对于第9个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第9个多尺度融合模块的输入端依次接收R6、R7、R8、R9、R10中的所有特征图，第9个多尺度融合模块的输出端输出160幅特征图，将160幅特征图构成的集合记为F9；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是两次最大池化下采样，第三个尺寸调节模块采用的是三次最大池化下采样，第四个尺寸调节模块采用的2倍上采样(Upsample)，第一个激活函数方式为“ReLU”,F9中的每幅特征图的宽度为
高度为
对于第10个多尺度融合模块，其由依次设置的第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第10个多尺度融合模块的输入端依次接收R6、R7、R8、R9、R10中的所有特征图，第10个多尺度融合模块的输出端输出320幅特征图，将320幅特征图构成的集合记为F10；其中第一个尺寸调节模块采用的是一次最大池化下采样(MaxPool)，第二个尺寸调节模块采用的是两次最大池化下采样，第三个尺寸调节模块采用的是三次最大池化下采样，第四个尺寸调节模块采用的是三次最大池化下采样，第一个激活函数方式为“ReLU”,F10中的每幅特征图的宽度为
高度为
对于第1个多区域锐化模块，其由依次设置的第一个空洞卷积模块、第二个空洞卷积模块、第一个池化模块、第一个激活函数组成；第1个多区域锐化模块的输入端接收F5和F10直接相加(Element-wise addition)后的所有特征图，第1个多区域锐化模块的输出端输出320幅特征图，将320幅特征图构成的集合记为O5；其中第一个空洞卷积模块的卷积核大小(kernel-size)为3×3、步距(stride)为1、填充(padding)为1、空洞率(dilation)为1，第二个空洞卷积模块的卷积核大小为3×3、步距为1、填充为7、空洞率为7，第一个池化模块采用的是自适应平均池化，第一个激活函数的激活方式为“Sigmoid”，O5中的每幅特征图的宽度为
高度为
对于第2个多区域锐化模块，其由依次设置的第一个空洞卷积模块、第二个空洞卷积模块、第一个池化模块、第一个激活函数组成；第2个多区域锐化模块的输入端接收F4和F9直接相加后的特征图再与O5堆叠(Concatenate)后的所有特征图，第2个多区域锐化模块的输出端输出160幅特征图，将160幅特征图构成的集合记为O4；其中第一个空洞卷积模块的卷积核大小为3×3、步距为1、填充为1、空洞率为1，第二个空洞卷积模块的卷积核大小为3×3、步距为1、填充为7、空洞率为7，第一个池化模块采用的是自适应平均池化，第一个激活函数的激活方式为“Sigmoid”，O4中的每幅特征图的宽度为
高度为
对于第3个多区域锐化模块，其由依次设置的第一个空洞卷积模块、第二个空洞卷积模块、第一个池化模块、第一个激活函数组成；第3个多区域锐化模块的输入端接收F3和F8直接相加后的特征图再与O4和O5堆叠后的所有特征图，第3个多区域锐化模块的输出端输出32幅特征图，将32幅特征图构成的集合记为O3；其中第一个空洞卷积模块的卷积核大小为3×3、步距为1、填充为1、空洞率为1，第二个空洞卷积模块的卷积核大小为3×3、步距为1、填充为7、空洞率为7，第一个池化模块采用的是自适应平均池化，第一个激活函数的激活方式为“Sigmoid”，O3中的每幅特征图的宽度为
高度为
对于第4个多区域锐化模块，其由依次设置的第一个空洞卷积模块、第二个空洞卷积模块、第一个池化模块、第一个激活函数组成；第4个多区域锐化模块的输入端接收F2和F7直接相加后的特征图再与O3和O4堆叠后的所有特征图，第4个多区域锐化模块的输出端输出24幅特征图，将24幅特征图构成的集合记为O2；其中第一个空洞卷积模块的卷积核大小为3×3、步距为1、填充为1、空洞率为1，第二个空洞卷积模块的卷积核大小为3×3、步距为1、填充为7、空洞率为7，第一个池化模块采用的是自适应平均池化，第一个激活函数的激活方式为“Sigmoid”，O2中的每幅特征图的宽度为
高度为
对于第5个多区域锐化模块，其由依次设置的第一个空洞卷积模块、第二个空洞卷积模块、第一个池化模块、第一个激活函数组成；第5个多区域锐化模块的输入端接收F1和F6直接相加后的特征图再与O2和O3堆叠后的所有特征图，第5个多区域锐化模块的输出端输出16幅特征图，将16幅特征图构成的集合记为O1；其中第一个空洞卷积模块的卷积核大小为3×3、步距为1、填充为1、空洞率为1，第二个空洞卷积模块的卷积核大小为3×3、步距为1、填充为7、空洞率为7，第一个池化模块采用的是自适应平均池化，第一个激活函数的激活方式为“Sigmoid”，O1中的每幅特征图的宽度为
高度为
对于输出层，其由第一卷积层和双倍上采样组成，其中第一卷积层的卷积核大小为3×3、步距为1、填充为1、空洞率为1，双倍上采样采用的双线性插值上采样；输出层的输出端接收O1中的所有特征图，输出层的输出端输出1幅与原始输入核磁共振成像T1模态对应的分割预测图。
步骤1_3：将训练集中的每幅原始核磁共振成像T1模态及其对应的核磁共振成像T2模态作为原始输入影像，输入到我们所设计的网络中进行训练，得到训练集中的每幅核磁共振成像T1模态对应的1幅分割预测图，将
对应的分割预测图构成的集合记为
步骤1_4：计算训练集中的每幅核磁共振成像T1模态对应的分割预测图构成的集合
与对应的婴儿脑组织失真分割标注图构成的集合
之间的损失函数值，将
与
之间的损失函数值记为
采用二分类交叉熵损失函数获得，再通过Adam调节器对网络参数进行更新。
步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到卷积神经网络婴儿脑组织分割智能辅助诊疗训练模型，在本实施例中取V＝100。
所述的测试阶段过程的具体步骤为：
步骤2_1：令{Kr(i,j)}、{Kt(i,j)}表示待婴儿脑组织分割智能辅助诊疗的核磁共振成像T1模态及其对应的核磁共振成像T2模态；其中，1≤i≤W，1≤j≤H，W表示{Kr(i,j)}和{Kt(i,j)}的宽度，H表示{Kr(i,j)}和{Kt(i,j)}的高度，Kr(i,j)}表示{Kr(i,j)}中坐标位置为(i,j)的像素点的像素值，Kt(i,j)}表示{Kt(i,j)}中坐标位置为(i,j)的像素点的像素值。
步骤2_2：将{Kr(i,j)}和{Kt(i,j)}的中的核磁共振成像T1模态及其对应的核磁共振成像T2模态输入到卷积神经网络训练模型中，得到核磁共振成像T1模态Kr(i,j)对应的分割预测图像Kpre(i,j)，将这些预测图像组成的集合记为{Kpre(i,j)}。
为了进一步验证本发明方法的可行性和有效性，进行实验。
使用基于python语言的pytorch的深度学习库搭建卷积神经网络的架构。采用Iseg2017数据集进行训练。为了验证该神经网络架构的有效性，本文的评价指标使用了DSC(Dice Similarity Coeffificient)和ASD(Average Surface Distance)，实验结果如表1所示。从表1所列的数据可知，按本发明方法得到的婴儿脑组织分割结果是较好的，表明利用本发明方法来获取婴儿脑组织分割智能辅助诊疗是可行性且有效的。
网络权重(size)、网络参数量(Parameters)、每秒传输帧数(Frames Per Second,FPS)来评价所设计的神经网络轻量级性能，实验结果如表2所示。从表2所列的数据可知，本发明方法的推理速度及内存占用都有明显的优势，对于将来的移动端部署有着更大的优势。
表1 利用本发明方法在测试集上的评测结果
表2 本发明方法的各项其它指标
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，具体步骤包括：
选取原始婴儿脑组织的第一核磁共振影像、第二核磁共振影像和婴儿脑组织失真分割标注图构成训练集；
构建卷积神经网络，所述第一核磁共振影像和所述第二核磁共振影像依次进行特征提取采用多模态输入，并进行多尺度融合，将多尺度融合的结果经过相加、同时经多区域锐化进行堆叠；
将训练集中的每幅第一核磁共振影像及其对应的第二核磁共振影像作为原始输入影像，输入到所述卷积神经网络进行训练，得到训练集中的每幅核磁共振成像T1模态对应的分割预测图；
计算训练集中的每幅第一核磁共振影像对应的分割预测图构成的集合与对应的婴儿脑组织失真分割标注图构成的集合之间的损失函数值，采用二分类交叉熵损失函数获得，再通过Adam调节器对网络参数进行更新；
重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。
2.根据权利要求1所述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，所述第一核磁共振影像，第二核磁共振影像和婴儿脑组织失真分割标注图为单通道图像。
3.根据权利要求1所述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，所述卷积神经网络包括输入层、隐层和输出层；隐层包括依次设置的10个特征提取模块、10个多尺度融合模块、5个多区域锐化模块。
4.根据权利要求3所述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，输入层的输入端接收第一核磁共振影像及其第二核磁共振影像，输入层的输出端输出原始输入第一核磁共振影像与第二核磁共振影像给隐层；输出层的输出端接收第5个多区域锐化模块中的所有特征图，输出层的输出端输出1幅与原始输入第一核磁共振影像对应的分割预测图。
5.根据权利要求3所述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，所述多尺度融合模块包括：第1个多尺度融合模块、第2个多尺度融合模块、第3个多尺度融合模块、第4个多尺度融合模块、第5个多尺度融合模块、第6个多尺度融合模块、第7个多尺度融合模块、第8个多尺度融合模块、第9个多尺度融合模块、第10个多尺度融合模块；所述多尺度融合模块结构相同。
6.根据权利要求5所述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，所述多尺度融合模块包括：第一个尺寸调节模块、第二个尺寸调节模块、第三个尺寸调节模块、第四个尺寸调节模块和第一个激活函数组成；第1个多尺度融合模块的输入端接收特征提取模块输出的五组特征图，每个尺寸调节模块经过不同倍上采样，经过所述第一个激活函数，与其中一组特征图相乘，再与所述特征图相加，输出多尺度融合后的特征图。
7.根据权利要求3所述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，所述多区域锐化模块包括第1个多区域锐化模块、第2个多区域锐化模块、第3个多区域锐化模块、第4个多区域锐化模块、第5个多区域锐化模块；所述多区域锐化模块结构相同。
8.根据权利要求7所述的一种基于上下文信息的轻量级婴儿脑组织图像分割方法，其特征在于，所述多区域锐化模块依次设置第一个空洞卷积模块、第二个空洞卷积模块、第一个池化模块、第一个激活函数；第1个多区域锐化模块的输入端接收第一核磁共振影像与第二核磁共振影像经过多尺度融合后的相加得到所有特征图，所有特征图通过所述第一个池化模块和第一个激活函数的输出结果，与所有特征图分别经过所述第一个空洞卷积模块、第二个空洞卷积模块堆叠的结果相乘，并与堆叠结果相加输出锐化后的特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210181406.9A CN114529564A (zh) | 2022-02-25 | 2022-02-25 | 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210181406.9A CN114529564A (zh) | 2022-02-25 | 2022-02-25 | 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114529564A true CN114529564A (zh) | 2022-05-24 |
Family
ID=81624296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210181406.9A Pending CN114529564A (zh) | 2022-02-25 | 2022-02-25 | 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529564A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115660971A (zh) * | 2022-10-08 | 2023-01-31 | 镕铭微电子(济南)有限公司 | 一种基于深度学习硬件加速器实现usm锐化的方法 |
-
2022
- 2022-02-25 CN CN202210181406.9A patent/CN114529564A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115660971A (zh) * | 2022-10-08 | 2023-01-31 | 镕铭微电子(济南)有限公司 | 一种基于深度学习硬件加速器实现usm锐化的方法 |
| CN115660971B (zh) * | 2022-10-08 | 2024-02-23 | 镕铭微电子(济南)有限公司 | 一种基于深度学习硬件加速器实现usm锐化的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | GAN review: Models and medical image fusion applications | |
| CN110544239B (zh) | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 | |
| CN111461232A (zh) | 一种基于多策略批量式主动学习的核磁共振图像分类方法 | |
| CN109447976B (zh) | 一种基于人工智能的医学图像分割方法及系统 | |
| CN111932529B (zh) | 一种图像分类分割方法、装置及系统 | |
| CN110689561B (zh) | 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质 | |
| CN106408550A (zh) | 一种改进的自适应多字典学习的图像超分辨率重建方法 | |
| CN113314205A (zh) | 一种高效的医学影像标注与学习系统 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN115564649B (zh) | 一种图像超分辨率重建方法、装置及设备 | |
| CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| CN110188827A (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
| CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN114708465B (zh) | 图像分类方法、装置、电子设备与存储介质 | |
| CN115393289A (zh) | 基于集成交叉伪标签的肿瘤图像半监督分割方法 | |
| CN116823850A (zh) | 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统 | |
| CN113705394B (zh) | 一种长短时域特征结合的行为识别方法 | |
| CN114529564A (zh) | 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 | |
| Zhao et al. | MPSHT: multiple progressive sampling hybrid model multi-organ segmentation | |
| CN112927236A (zh) | 一种基于通道注意力和自监督约束的服装解析方法及系统 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN116051609B (zh) | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 | |
| CN114708353B (zh) | 图像重建方法、装置、电子设备与存储介质 | |
| CN114283301A (zh) | 一种基于Transformer的自适应医学影像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |