CN111223113A - 基于双重密集上下文感知网络的核磁共振海马体分割算法 - Google Patents
基于双重密集上下文感知网络的核磁共振海马体分割算法 Download PDFInfo
- Publication number
- CN111223113A CN111223113A CN202010013999.9A CN202010013999A CN111223113A CN 111223113 A CN111223113 A CN 111223113A CN 202010013999 A CN202010013999 A CN 202010013999A CN 111223113 A CN111223113 A CN 111223113A
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- output
- size
- output end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双重密集上下文感知网络的核磁共振海马体分割算法,其利用不同的尺度将核磁共振海马体图像及对应的标准分割图像切割成不同尺寸的二维图像块;判定核磁共振海马体图像中的二维图像块是否为有效块;对所有有效块进行数据增强处理,再进行归一化处理,并将归一化后的所有有效块构成有效块集;将有效块集分成训练集和测试集;将训练集中的有效块输入到双重密集上下文感知网络中进行训练,得到双重密集上下文感知网络训练模型,并利用损失函数值得到最优权值矢量和最优偏置项;测试集中的有效块输入到双重密集上下文感知网络训练模型中,并利用最优权值矢量和最优偏置项进行预测,得到有效块对应的分割结果图;优点是分割精度高。
Description
技术领域
本发明涉及一种图像分割技术,尤其是涉及一种基于双重密集上下文感知网络的核磁共振海马体分割算法。
背景技术
海马体是人体大脑中一个十分重要的组织,其与人类认知功能(如学习和记忆)密切相关。海马体的形状学分析对于诊断和预测各种神经系统疾病十分重要,如海马头的萎缩是检测精神分裂症的特征之一,海马体的萎缩又可引起老年痴呆症。在判断海马体是否萎缩时,医生通常需要对核磁共振成像(Magnetic Resonance Imaging,MRI)中的海马体结构进行分割,并进行形状和体积分析。然而,由于海马体与其毗邻的脑组织如杏仁核、穹隆、扣带回等同属于灰质结构,在MRI中具有相似的纹理,因此这给海马体分割增加了难度。此外,海马体还具有形状不规则、体积较小、边缘模糊以及个体差异性大等特点,这些都使得从MRI中精准分割出海马体极具挑战性。
当前对海马体分割主要采用基于多图谱的方法,该类方法首先将多幅海马体图谱图像分别与目标图像配准,然后通过一定的标记融合方法,将不同海马体图谱图像的标记图像融合作为目标图像的标记结果而完成分割。然而,由于海马体的组织对比度低、边界模糊,因此这些传统的标记融合方法采用手工设计的特征模型,提取的特征判别性较差,导致分割准确率较低。
近几年,深度学习方法在图像识别领域获得了极大成功,基于深度网络的方法已应用于医学图像分割中。图像分割需要对多种尺度信息予以整合,也需要对局部和全局信息进行平衡,因此,有效整合上下文知识在图像分割问题中显得尤为关键。目前对上下文建模最常用的做法有以下两种:(1)基于输入的多尺度信息融合。其是指在一幅图像的不同尺度下检测出相同的关键点信息,从而获取感兴趣物体的最佳尺度,具有尺度不变性。如:ShiY G,Wang D Q,Liu Z W.Segmentation of hippocampal subfields using dictionarylearning and sparse representation[J].Journal of Image and Graphics,2015,20(12):1593-1601.(时永刚、王东青、刘志文,字典学习和稀疏表示的海马子区图像分割[J],中国图象图形学报,2015,20(12):1593-1601),其基于该思想利用卷积神经网络并行处理两种尺度的输入图像块信息,提高了海马子区的分割准确率。然而,该方法是将融合后的多尺度特征图直接上采样输出网络,本质上并没有考虑特征提取过程中不同分辨率层的信息融合,边缘信息丢失严重,造成分割结果比较粗糙。(2)多分辨率特征融合。该方法是将一个全局特征(浅层高分辨率信息)与一个相对局部特征(深层低分辨率信息)相结合,通过兼顾不同分辨率层的特征提高分割准确率。在FCN(Fully Convolutional Networks,全卷积网络)基础上提出的U-net网络就是利用上、下采样层间的长连接结构实现多分辨率特征融合的典型网络,因其特殊的U型框架可以很好地考虑整个图像的上下文信息,在医学图像分割领域得到了广泛应用,然而,由于海马区域较小,因此这种单尺度的多分辨特征融合网络难以准确分割体积差别较大的海马和背景部分,导致分割准确率较低。
发明内容
本发明所要解决的技术问题是提供一种基于双重密集上下文感知网络的核磁共振海马体分割算法,其分割准确率高。
本发明解决上述技术问题所采用的技术方案为:一种基于双重密集上下文感知网络的核磁共振海马体分割算法,其特征在于包括以下步骤:
步骤1:选取K幅核磁共振海马体图像及每幅核磁共振海马体图像对应的标准分割图像;其中,K为正整数,K≥100,每幅核磁共振海马体图像及其对应的标准分割图像的宽度为W且高度为H;
步骤2:将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N1×N1的二维图像块;并将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N2×N2的二维图像块;将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N3×N3的二维图像块;其中,N1、N2、N3均为正整数,N1=2N2,N2=2N3,N3≥3,N1<min(W,H),min()为取最小值函数,W和H均能被N3整除;
步骤3:根据每幅标准分割图像中的每个不同尺寸的二维图像块判定对应的核磁共振海马体图像中对应位置的同尺寸的二维图像块为有效块还是为无效块,对于第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i1个尺寸为N1×N1的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块为有效块;同样,对于第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i2个尺寸为N2×N2的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块为有效块;对于第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i3个尺寸为N3×N3的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块为有效块;其中,1≤k≤K,
步骤4:对每幅核磁共振海马体图像中的不同尺寸的有效块分别进行旋转、镜像、弹性扭曲和膨胀四种数据增强处理,得到每个有效块对应的4个增强处理后的结果,并将每个有效块对应的4个增强处理后的结果也作为有效块;
步骤5:在步骤4的基础上,对每个有效块进行归一化处理,使归一化处理后的每个有效块中的每个像素点的像素值在[0,1]区间范围内;然后将归一化处理后的所有有效块构成有效块集;
步骤6:搭建双重密集上下文感知网络:该双重密集上下文感知网络由用于捕捉海马体图像内容的编码框架和用于恢复海马体边界信息的解码框架组成;编码框架包括输入层和隐层,输入层由3个子输入层构成,隐层由10个神经网络块和1个多尺度输入信息融合层构成;解码框架包括隐层和输出层,隐层由5个反卷积层、6个多分辨率特征融合层和5个神经网络块构成;其中,第1个反卷积层的卷积核数目为2048、卷积核大小为4×4、补零参数的值为1、步长为2,第2个反卷积层的卷积核数目为1024、卷积核大小为4×4、补零参数的值为1、步长为2,第3个反卷积层的卷积核数目为512、卷积核大小为4×4、补零参数的值为1、步长为2,第4个反卷积层的卷积核数目为256、卷积核大小为4×4、补零参数的值为1、步长为2,第5个反卷积层的卷积核数目为128、卷积核大小为4×4、补零参数的值为1、步长为2;
对于编码框架中的输入层,第1个子输入层的输入端接收一幅尺寸为N1×N1的第一图像,第1个子输入层的输出端输出一幅尺寸为N1×N1的图像给编码框架中的隐层;第2个子输入层的输入端接收一幅尺寸为N2×N2的第二图像,第2个子输入层的输出端输出一幅尺寸为N2×N2的图像给编码框架中的隐层;第3个子输入层的输入端接收一幅尺寸为N3×N3的第三图像,第3个子输入层的输出端输出一幅尺寸为N3×N3的图像给编码框架中的隐层;
对于编码框架中的隐层,第1个神经网络块的输入端接收第1个子输入层的输出端输出的一幅尺寸为N1×N1的图像,第1个神经网络块的输出端输出32幅尺寸为的特征图,将这32幅特征图构成的集合记为S1;第2个神经网络块的输入端接收S1中的所有特征图,第2个神经网络块的输出端输出64幅尺寸为的特征图,将这64幅特征图构成的集合记为S2;第3个神经网络块的输入端接收S2中的所有特征图,第3个神经网络块的输出端输出128幅尺寸为的特征图,将这128幅特征图构成的集合记为S3;第4个神经网络块的输入端接收第2个子输入层的输出端输出的一幅尺寸为N2×N2的图像,第4个神经网络块的输出端输出64幅尺寸为的特征图,将这64幅特征图构成的集合记为S4;第5个神经网络块的输入端接收S4中的所有特征图,第5个神经网络块的输出端输出128幅尺寸为的特征图,将这128幅特征图构成的集合记为S5;第6个神经网络块的输入端接收第3个子输入层的输出端输出的一幅尺寸为N3×N3的图像,第6个神经网络块的输出端输出128幅尺寸为N3×N3的特征图,将这128幅特征图构成的集合记为S6;对S3中的所有特征图、S5中的所有特征图和S6中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为C1,C1中包含有384幅尺寸为N3×N3的特征图;多尺度输入信息融合层的输入端接收C1中的所有特征图,多尺度输入信息融合层的输出端输出128幅尺寸为N3×N3的特征图,将这128幅特征图构成的集合记为C2;第7个神经网络块的输入端接收C2中的所有特征图,第7个神经网络块的输出端输出256幅尺寸为的特征图,将这256幅特征图构成的集合记为S7;第8个神经网络块的输入端接收S7中的所有特征图,第8个神经网络块的输出端输出512幅尺寸为的特征图,将这512幅特征图构成的集合记为S8;第9个神经网络块的输入端接收S8中的所有特征图,第9个神经网络块的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为S9;第10个神经网络块的输入端接收S9中的所有特征图,第10个神经网络块的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为S10;
对于解码框架中的隐层,第1个反卷积层的输入端接收S10中的所有特征图,第1个反卷积层的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为B1;对S8中的所有特征图和B1中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F1,F1中包含有2560幅尺寸为的特征图;第1个多分辨率特征融合层的输入端接收F1中的所有特征图,第1个多分辨率特征融合层的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为F2;第1个神经网络块的输入端接收F2中的所有特征图,第1个神经网络块的输出端输出2048幅的特征图,将这2048幅特征图构成的集合记为Q1;第2个反卷积层的输入端接收Q1中的所有特征图,第2个反卷积层的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为B2;对S7中的所有特征图和B2中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F3,F3中包含有1280幅尺寸为的特征图;第2个多分辨率特征融合层的输入端接收F3中的所有特征图,第2个多分辨率特征融合层的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为F4;第2个神经网络块的输入端接收F4中的所有特征图,第2个神经网络块的输出端输出1024幅尺度为的特征图,将这1024幅特征图构成的集合记为Q2;第3个反卷积层的输入端接收Q2中的所有特征图,第3个反卷积层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为B3;对C2中的所有特征图和B3中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F5,F5中包含有640幅尺寸为N3×N3的特征图;第3个多分辨率特征融合层的输入端接收F5中的所有特征图,第3个多分辨率特征融合层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为F6;第3个神经网络块的输入端接收F6中的所有特征图,第3个神经网络块的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为Q3;对S6中的所有特征图和Q3中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F7,F7中包含有640幅尺寸为N3×N3的特征图;第4个多分辨率特征融合层的输入端接收F7中的所有特征图,第4个多分辨率特征融合层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为F8;第4个反卷积层的输入端接收F8中的所有特征图,第4个反卷积层的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为B4;对第2个子输入层的输出端输出的图像和B4中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F9,F9中包含有257幅尺寸为N2×N2的特征图;第5个多分辨率特征融合层的输入端接收F9中的所有特征图,第5个多分辨率特征融合层的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为F10;第4个神经网络块的输入端接收F10中的所有特征图,第4个神经网络块的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为Q4;第5个反卷积层的输入端接收Q4中的所有特征图,第5个反卷积层的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为B5;对第1个子输入层的输出端输出的图像和B5中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F11,F11中包含有129幅尺寸为N1×N1的特征图;第6个多分辨率特征融合层的输入端接收F11中的所有特征图,第6个多分辨率特征融合层的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为F12;第5个神经网络块的输入端接收F12中的所有特征图,第5个神经网络块的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为Q5;
对于解码框架中的输出层,输出层的输入端接收Q5中的所有特征图,输出层的输出端输出其接收的特征图,并作为分割结果图;
步骤7:随机将有效块集中80%以上的尺寸为N1×N1的有效块、80%以上的尺寸为N2×N2的有效块、80%以上的尺寸为N3×N3的有效块构成训练集,将有效块集中剩余的尺寸为N1×N1的有效块、尺寸为N2×N2的有效块、尺寸为N3×N3的有效块构成测试集;然后将训练集中的每个尺寸为N1×N1的有效块作为第一图像输入到双重密集上下文感知网络中,将训练集中的每个尺寸为N2×N2的有效块作为第二图像输入到双重密集上下文感知网络中,将训练集中的每个尺寸为N3×N3的有效块作为第三图像输入到双重密集上下文感知网络中,以第一图像为主且以第二图像和第三图像为辅对双重密集上下文感知网络进行训练,训练结束后得到训练集中的每个尺寸为N1×N1的有效块对应的分割结果图;
步骤8:将训练集中的所有尺寸为N1×N1的有效块对应的分割结果图构成的集合记为Ωpre;并将所有标准分割图像中与训练集中的尺寸为N1×N1的有效块相同位置的同尺寸的二维图像块构成的集合记为Ωtrue;然后计算Ωpre与Ωtrue之间的损失函数值;
步骤9:重复执行步骤7和步骤8共N次,得到双重密集上下文感知网络训练模型,并得到N个损失函数值;然后从N个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项作为双重密集上下文感知网络训练模型的最优权值矢量和最优偏置项,对应记为ωbest和bbest;其中,N>1;
步骤10:将测试集中的每个尺寸为N1×N1的有效块作为第一图像输入到双重密集上下文感知网络训练模型中,将测试集中的每个尺寸为N2×N2的有效块作为第二图像输入到双重密集上下文感知网络训练模型中,将测试集中的每个尺寸为N3×N3的有效块作为第三图像输入到双重密集上下文感知网络训练模型中,并利用ωbest和bbest进行预测,得到测试集中的每个尺寸为N1×N1的有效块对应的分割结果图。
所述的步骤6中,编码框架中的隐层中的第1个神经网络块、第4个神经网络块、第7个神经网络块的结构相同,其由依次设置的第一卷积层、第一激活层、第二卷积层、第二激活层、第一最大池化层组成,第一卷积层的输入端为其所在的神经网络块的输入端,第一激活层的输入端接收第一卷积层的输出端输出的所有特征图,第二卷积层的输入端接收第一激活层的输出端输出的所有特征图,第二激活层的输入端接收第二卷积层的输出端输出的所有特征图,第一最大池化层的输入端接收第二激活层的输出端输出的所有特征图,第一最大池化层的输出端为其所在的神经网络块的输出端;其中,第一卷积层和第二卷积层的卷积核大小均为3×3、补零参数的值均为1,第1个神经网络块的第一卷积层和第二卷积层的卷积核个数均为32,第4个神经网络块的第一卷积层和第二卷积层的卷积核个数均为64,第7个神经网络块的第一卷积层和第二卷积层的卷积核个数均为256,第一激活层和第二激活层的激活方式均为“Relu”,第一最大池化层的池化尺寸为2、步长为2;
编码框架中的隐层中的第2个神经网络块、第8个神经网络块、第9个神经网络块的结构相同,其由依次设置的第一Concat层、第三卷积层、第三激活层、第四卷积层、第四激活层、第二最大池化层组成,第2个神经网络块的第一Concat层连接第1个子输入层的输出端输出的图像与第1个神经网络块的输出端输出的所有特征图,第8个神经网络块的第一Concat层连接多尺度输入信息融合层的输出端输出的所有特征图与第7个神经网络块的输出端输出的所有特征图,第9个神经网络块的第一Concat层连接多尺度输入信息融合层的输出端输出的所有特征图、第7个神经网络块的输出端输出的所有特征图与第8个神经网络块的输出端输出的所有特征图,第三卷积层的输入端接收Concat层的输出端输出的所有特征图,第三激活层的输入端接收第三卷积层的输出端输出的所有特征图;第四卷积层的输入端接收第三激活层的输出端输出的所有特征图,第四激活层的输入端接收第四卷积层的输出端输出的所有特征图;第二最大池化层的输入端接收第四激活层的输出端输出的所有特征图,第二最大池化层的输出端为其所在的神经网络块的输出端;其中,第三卷积层的卷积核大小为1×1、补零参数的值为0,第四卷积层的卷积核大小为3×3、补零参数的值为1,第2个神经网络块的第三卷积层和第四卷积层的卷积核个数均为64,第8个神经网络块的第三卷积层和第四卷积层的卷积核个数均为512,第9个神经网络块的第三卷积层和第四卷积层的卷积核个数均为1024,第三激活层和第四激活层的激活方式均为“Relu”,第二最大池化层的池化尺寸为2、步长为2;
编码框架中的隐层中的第3个神经网络块、第5个神经网络块、第10个神经网络块的结构相同,其由依次设置的第二Concat层、第五卷积层、第五激活层、第六卷积层、第六激活层组成,第3个神经网络块的第二Concat层连接第1个子输入层的输出端输出的图像、第1个神经网络块的输出端输出的所有特征图与第2个神经网络块的输出端输出的所有特征图,第5个神经网络块的第二Concat层连接第2个子输入层的输出端输出的图像与第4个神经网络块的输出端输出的所有特征图,第10个神经网络块的第二Concat层连接多尺度输入信息融合层的输出端输出的所有特征图、第7个神经网络块的输出端输出的所有特征图、第8个神经网络块的输出端输出的所有特征图与第9个神经网络块的输出端输出的所有特征图,第五卷积层的输入端接收第二Concat层的输出端输出的所有特征图,第五激活层的输入端接收第五卷积层的输出端输出的所有特征图,第六卷积层的输入端接收第五激活层的输出端输出的所有特征图,第六激活层的输入端接收第六卷积层的输出端输出的所有特征图,第六激活层的输出端为其所在的神经网络块的输出端;其中,第五卷积层的卷积核大小为1×1、补零参数的值为0,第六卷积层的卷积核大小为3×3、补零参数的值为1,第3个神经网络块的第五卷积层和第六卷积层的卷积核个数均为128,第5个神经网络块的第五卷积层和第六卷积层的卷积核个数均为128,第10个神经网络块的第五卷积层和第六卷积层的卷积核个数均为2048,第五激活层和第六激活层的激活方式均为“Relu”;
编码框架中的隐层中的第6个神经网络块由依次设置的第七卷积层、第七激活层、第八卷积层、第八激活层组成,第七卷积层的输入端为其所在的神经网络块的输入端,第七激活层的输入端接收第七卷积层的输出端输出的所有特征图,第八卷积层的输入端接收第七激活层的输出端输出的所有特征图,第八激活层的输入端接收第八卷积层的输出端输出的所有特征图,第八激活层的输出端为其所在的神经网络块的输出端;其中,第七卷积层的卷积核个数为128、卷积核大小为1×1、补零参数的值为0,第八卷积层的卷积核个数为128、卷积核大小为3×3、补零参数的值为1,第七激活层和第八激活层的激活方式均为“Relu”。
所述的步骤6中,编码框架中的隐层中的多尺度输入信息融合层由依次设置的第九卷积层和第九激活层组成,第九卷积层的输入端为多尺度输入信息融合层的输入端,第九激活层的输入端接收第九卷积层的输出端输出的所有特征图,第九激活层的输出端为多尺度输入信息融合层的输出端;其中,第九卷积层的卷积核个数为128、卷积核大小为1×1、补零参数的值为0、步长为1,第九激活层的激活方式为“Relu”。
所述的步骤6中,解码框架中的隐层中的6个多分辨率特征融合层的结构相同,其由依次设置的第十卷积层和第十激活层组成,第十卷积层的输入端为其所在的多分辨率特征融合层的输入端,第十激活层的输入端接收第十卷积层的输出端输出的所有特征图,第十激活层的输出端为其所在的多分辨率特征融合层的输出端;其中,第十卷积层的卷积核大小为1×1、补零参数的值为0,解码框架中的隐层中的第1个多分辨率特征融合层的第十卷积层的卷积核个数为2048,解码框架中的隐层中的第2个多分辨率特征融合层的第十卷积层的卷积核个数为1024,解码框架中的隐层中的第3个多分辨率特征融合层的第十卷积层的卷积核个数为512,解码框架中的隐层中的第4个多分辨率特征融合层的第十卷积层的卷积核个数为512,解码框架中的隐层中的第5个多分辨率特征融合层的第十卷积层的卷积核个数为256,解码框架中的隐层中的第6个多分辨率特征融合层的第十卷积层的卷积核个数为128,第十激活层的激活方式为“Relu”。
所述的步骤6中,解码框架中的隐层中的5个神经网络块的结构相同,其由依次设置的第三Concat层、第十一卷积层、第十一激活层组成,解码框架中的隐层中的第1个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块的输出端输出的所有特征图与第1个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第2个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第1个神经网络块的输出端输出的所有特征图与第2个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第3个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第1个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第2个神经网络的输出端输出的所有特征图与第3个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第4个神经网络块的第三Concat层连接解码框架中的隐层中的第3个神经网络块的输出端输出的所有特征图与第5个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第5个神经网络块的第三Concat层连接解码框架中的隐层中的第3个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第4个神经网络块的输出端输出的所有特征图与第6个多分辨率特征融合层的输出端输出的所有特征图,第十一卷积层的输入端接收第三Concat层的输出端输出的所有特征图,第十一激活层的输入端接收第十一卷积层的输出端输出的所有特征图,第十一激活层的输出端为其所在的神经网络块的输出端;其中,第十一卷积层的卷积核大小为1×1、补零参数的值为0,解码框架中的隐层中的第1个神经网络块的第十一卷积层的卷积核个数为2048,解码框架中的隐层中的第2个神经网络块的第十一卷积层的卷积核个数为1024,解码框架中的隐层中的第3个神经网络块的第十一卷积层的卷积核个数为512,解码框架中的隐层中的第4个神经网络块的第十一卷积层的卷积核个数为256,解码框架中的隐层中的第5个神经网络块的第十一卷积层的卷积核个数为128,第十一激活层的激活方式为“Relu”。
与现有技术相比,本发明的优点在于:
1)本发明搭建的双重密集上下文感知网络用于海马体分割,上下文信息来自于两个模块的组合:(1)多尺度输入信息融合层,由于海马体在脑MRI图像中所占比例很小,单尺度输入网络无法准确分割海马体和背景,因此本发明通过设置不同尺度的样本作为双重密集上下文感知网络的输入,并通过Concat操作将多个子输入层连接在一起,进而获取多尺度输入信息,其中,大尺度输入信息可以捕获海马体在核磁共振海马体图像中的空间位置,小尺度输入信息则可以学习海马体自身的细节特征,该多尺度输入信息融合层适用于分割体积差异较大的目标对象和背景部分;(2)多分辨率特征融合层,由于海马体边缘模糊,且与周围的组织具有相同的成分,因此本发明利用编码框架、解码框架之间的Concat操作有效聚合不同分辨率层的互补特征,同时编码部分的浅层高分辨率特征也可以更好地指导解码部分的深层低分辨率海马体边缘分割,并弥补最大池化层中丢失的信息;最终,本发明利用双重密集上下文感知网络训练模型可以得到很高的分割精度。
2)为了进一步增强特征的传播和重用,本发明在双重密集上下文感知网络的构造过程中,通过Concat操作连接不同神经网络块间的输出特征图信息,进一步扩展了多尺度输入信息和多分辨率融合特征,进而能够在小数据集中学习充分的海马体细节。
3)由于可获取的医学数据量有限,因此通过实验本发明方法在生物医学图像处理中被证明是非常有效的。
4)本发明的海马体分割算法,相比传统人工分割方法,可以充分利用历史人工分割结果图像信息,不仅能自动高效分割,而且更加有利于解决影像科医生稀缺、基层医生能力薄弱、医患比例悬殊等问题。
附图说明
图1为本发明的核磁共振海马体分割算法的流程图;
图2为本发明的核磁共振海马体分割算法搭建的双重密集上下文感知网络的组成结构图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于双重密集上下文感知网络的核磁共振海马体分割算法,其流程框图如图1所示,其包括以下步骤:
步骤1:选取K幅核磁共振海马体图像及每幅核磁共振海马体图像对应的标准分割图像;其中,K为正整数,K≥100,在本实施例中取K=140,每幅核磁共振海马体图像及其对应的标准分割图像的宽度为W且高度为H。
在实验过程中可直接从ADNI库中选取140(即K=140)幅NIFTI格式的脑部核磁共振海马体影像及各自对应的标准分割图像,每幅脑部核磁共振海马体影像及其对应的标准分割图像的宽度为192(即W=192)且高度为192(即H=192),每幅脑部核磁共振海马体影像的厚度为160。
步骤2:为了获取不同尺度的海马体信息以及降低三维卷积计算的复杂度,将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N1×N1的二维图像块;并将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N2×N2的二维图像块;将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N3×N3的二维图像块;其中,N1、N2、N3均为正整数,N1=2N2,N2=2N3,N3≥3,N1<min(W,H),在本实施例中取N1=96、N2=48、N3=24,min()为取最小值函数,对于核磁共振海马体图像其宽度与高度通常相同,即W与H相同,W和H均能被N3整除,在此对于K=140幅核磁共振海马体图像(W=192、H=192),当取N1=96、N2=48、N3=24时共可切割得到89600个尺寸为96×96的二维图像块、358400个尺寸为48×48的二维图像块、1523200个尺寸为24×24的二维图像块,基于二维图像块的影像数据能加快训练速度,增多样本个数,并且由于N1=2N2、N2=2N3,因此可以获得优异的卷积处理次数。
步骤3:根据每幅标准分割图像中的每个不同尺寸的二维图像块判定对应的核磁共振海马体图像中对应位置的同尺寸的二维图像块为有效块还是为无效块,对于第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i1个尺寸为N1×N1的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块为有效块;同样,对于第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i2个尺寸为N2×N2的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块为有效块;对于第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i3个尺寸为N3×N3的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块为有效块;其中,1≤k≤K,
步骤4:对每幅核磁共振海马体图像中的不同尺寸的有效块分别进行旋转、镜像、弹性扭曲和膨胀四种数据增强处理,得到每个有效块对应的4个增强处理后的结果,并将每个有效块对应的4个增强处理后的结果也作为有效块;在此,旋转、镜像、弹性扭曲和膨胀采用现有技术,由于实际环境中可获得的医疗数据有限,因此利用四种数据增强处理将1个有效块扩充成5个有效块,这样可防止图像样本过少导致的过拟合问题。
步骤5:在步骤4的基础上,对每个有效块进行归一化处理,使归一化处理后的每个有效块中的每个像素点的像素值在[0,1]区间范围内;然后将归一化处理后的所有有效块构成有效块集;在此,归一化处理采用现有技术。
步骤6:搭建双重密集上下文感知网络:结构如图2所示,该双重密集上下文感知网络由用于捕捉海马体图像内容的编码框架和用于恢复海马体边界信息的解码框架组成;编码框架包括输入层和隐层,输入层由3个子输入层构成,隐层由10个神经网络块和1个多尺度输入信息融合层构成;解码框架包括隐层和输出层,隐层由5个反卷积层、6个多分辨率特征融合层和5个神经网络块构成;其中,第1个反卷积层的卷积核数目为2048、卷积核大小为4×4、补零参数的值为1、步长为2,第2个反卷积层的卷积核数目为1024、卷积核大小为4×4、补零参数的值为1、步长为2,第3个反卷积层的卷积核数目为512、卷积核大小为4×4、补零参数的值为1、步长为2,第4个反卷积层的卷积核数目为256、卷积核大小为4×4、补零参数的值为1、步长为2,第5个反卷积层的卷积核数目为128、卷积核大小为4×4、补零参数的值为1、步长为2。
对于编码框架中的输入层,第1个子输入层的输入端接收一幅尺寸为N1×N1的第一图像,第1个子输入层的输出端输出一幅尺寸为N1×N1的图像给编码框架中的隐层;第2个子输入层的输入端接收一幅尺寸为N2×N2的第二图像,第2个子输入层的输出端输出一幅尺寸为N2×N2的图像给编码框架中的隐层;第3个子输入层的输入端接收一幅尺寸为N3×N3的第三图像,第3个子输入层的输出端输出一幅尺寸为N3×N3的图像给编码框架中的隐层。
对于编码框架中的隐层,第1个神经网络块的输入端接收第1个子输入层的输出端输出的一幅尺寸为N1×N1的图像,第1个神经网络块的输出端输出32幅尺寸为的特征图,将这32幅特征图构成的集合记为S1;第2个神经网络块的输入端接收S1中的所有特征图,第2个神经网络块的输出端输出64幅尺寸为的特征图,将这64幅特征图构成的集合记为S2;第3个神经网络块的输入端接收S2中的所有特征图,第3个神经网络块的输出端输出128幅尺寸为的特征图,将这128幅特征图构成的集合记为S3;第4个神经网络块的输入端接收第2个子输入层的输出端输出的一幅尺寸为N2×N2的图像,第4个神经网络块的输出端输出64幅尺寸为的特征图,将这64幅特征图构成的集合记为S4;第5个神经网络块的输入端接收S4中的所有特征图,第5个神经网络块的输出端输出128幅尺寸为的特征图,将这128幅特征图构成的集合记为S5;第6个神经网络块的输入端接收第3个子输入层的输出端输出的一幅尺寸为N3×N3的图像,第6个神经网络块的输出端输出128幅尺寸为N3×N3的特征图,将这128幅特征图构成的集合记为S6;对S3中的所有特征图、S5中的所有特征图和S6中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为C1,C1中包含有384幅尺寸为N3×N3的特征图;多尺度输入信息融合层的输入端接收C1中的所有特征图,多尺度输入信息融合层的输出端输出128幅尺寸为N3×N3的特征图,将这128幅特征图构成的集合记为C2;第7个神经网络块的输入端接收C2中的所有特征图,第7个神经网络块的输出端输出256幅尺寸为的特征图,将这256幅特征图构成的集合记为S7;第8个神经网络块的输入端接收S7中的所有特征图,第8个神经网络块的输出端输出512幅尺寸为的特征图,将这512幅特征图构成的集合记为S8;第9个神经网络块的输入端接收S8中的所有特征图,第9个神经网络块的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为S9;第10个神经网络块的输入端接收S9中的所有特征图,第10个神经网络块的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为S10。
对于解码框架中的隐层,第1个反卷积层的输入端接收S10中的所有特征图,第1个反卷积层的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为B1;对S8中的所有特征图和B1中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F1,F1中包含有2560幅尺寸为的特征图;第1个多分辨率特征融合层的输入端接收F1中的所有特征图,第1个多分辨率特征融合层的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为F2;第1个神经网络块的输入端接收F2中的所有特征图,第1个神经网络块的输出端输出2048幅的特征图,将这2048幅特征图构成的集合记为Q1;第2个反卷积层的输入端接收Q1中的所有特征图,第2个反卷积层的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为B2;对S7中的所有特征图和B2中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F3,F3中包含有1280幅尺寸为的特征图;第2个多分辨率特征融合层的输入端接收F3中的所有特征图,第2个多分辨率特征融合层的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为F4;第2个神经网络块的输入端接收F4中的所有特征图,第2个神经网络块的输出端输出1024幅尺度为的特征图,将这1024幅特征图构成的集合记为Q2;第3个反卷积层的输入端接收Q2中的所有特征图,第3个反卷积层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为B3;对C2中的所有特征图和B3中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F5,F5中包含有640幅尺寸为N3×N3的特征图;第3个多分辨率特征融合层的输入端接收F5中的所有特征图,第3个多分辨率特征融合层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为F6;第3个神经网络块的输入端接收F6中的所有特征图,第3个神经网络块的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为Q3;对S6中的所有特征图和Q3中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F7,F7中包含有640幅尺寸为N3×N3的特征图;第4个多分辨率特征融合层的输入端接收F7中的所有特征图,第4个多分辨率特征融合层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为F8;第4个反卷积层的输入端接收F8中的所有特征图,第4个反卷积层的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为B4;对第2个子输入层的输出端输出的图像和B4中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F9,F9中包含有257幅尺寸为N2×N2的特征图;第5个多分辨率特征融合层的输入端接收F9中的所有特征图,第5个多分辨率特征融合层的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为F10;第4个神经网络块的输入端接收F10中的所有特征图,第4个神经网络块的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为Q4;第5个反卷积层的输入端接收Q4中的所有特征图,第5个反卷积层的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为B5;对第1个子输入层的输出端输出的图像和B5中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F11,F11中包含有129幅尺寸为N1×N1的特征图;第6个多分辨率特征融合层的输入端接收F11中的所有特征图,第6个多分辨率特征融合层的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为F12;第5个神经网络块的输入端接收F12中的所有特征图,第5个神经网络块的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为Q5。
对于解码框架中的输出层,输出层的输入端接收Q5中的所有特征图,输出层的输出端输出其接收的特征图,并作为分割结果图。
步骤7:随机将有效块集中80%以上的尺寸为N1×N1的有效块、80%以上的尺寸为N2×N2的有效块、80%以上的尺寸为N3×N3的有效块构成训练集,将有效块集中剩余的尺寸为N1×N1的有效块、尺寸为N2×N2的有效块、尺寸为N3×N3的有效块构成测试集;然后将训练集中的每个尺寸为N1×N1的有效块作为第一图像输入到双重密集上下文感知网络中,将训练集中的每个尺寸为N2×N2的有效块作为第二图像输入到双重密集上下文感知网络中,将训练集中的每个尺寸为N3×N3的有效块作为第三图像输入到双重密集上下文感知网络中,以第一图像为主且以第二图像和第三图像为辅对双重密集上下文感知网络进行训练,训练结束后得到训练集中的每个尺寸为N1×N1的有效块对应的分割结果图。
步骤8:将训练集中的所有尺寸为N1×N1的有效块对应的分割结果图构成的集合记为Ωpre;并将所有标准分割图像中与训练集中的尺寸为N1×N1的有效块相同位置的同尺寸的二维图像块构成的集合记为Ωtrue;然后计算Ωpre与Ωtrue之间的损失函数值;在此,损失函数值的计算采用现有技术。
步骤9:重复执行步骤7和步骤8共N次,得到双重密集上下文感知网络训练模型,并得到N个损失函数值;然后从N个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项作为双重密集上下文感知网络训练模型的最优权值矢量和最优偏置项,对应记为ωbest和bbest;其中,N>1,如取N=100。
步骤10:将测试集中的每个尺寸为N1×N1的有效块作为第一图像输入到双重密集上下文感知网络训练模型中,将测试集中的每个尺寸为N2×N2的有效块作为第二图像输入到双重密集上下文感知网络训练模型中,将测试集中的每个尺寸为N3×N3的有效块作为第三图像输入到双重密集上下文感知网络训练模型中,并利用ωbest和bbest进行预测,得到测试集中的每个尺寸为N1×N1的有效块对应的分割结果图。
在本实施例中,步骤6中,编码框架中的隐层中的第1个神经网络块、第4个神经网络块、第7个神经网络块的结构相同,其由依次设置的第一卷积层、第一激活层、第二卷积层、第二激活层、第一最大池化层组成,第一卷积层的输入端为其所在的神经网络块的输入端,第一激活层的输入端接收第一卷积层的输出端输出的所有特征图,第二卷积层的输入端接收第一激活层的输出端输出的所有特征图,第二激活层的输入端接收第二卷积层的输出端输出的所有特征图,第一最大池化层的输入端接收第二激活层的输出端输出的所有特征图,第一最大池化层的输出端为其所在的神经网络块的输出端;其中,第一卷积层和第二卷积层的卷积核大小均为3×3、补零参数的值均为1,第1个神经网络块的第一卷积层和第二卷积层的卷积核个数均为32,第4个神经网络块的第一卷积层和第二卷积层的卷积核个数均为64,第7个神经网络块的第一卷积层和第二卷积层的卷积核个数均为256,第一激活层和第二激活层的激活方式均为“Relu”,第一最大池化层的池化尺寸为2、步长为2。
在本实施例中,编码框架中的隐层中的第2个神经网络块、第8个神经网络块、第9个神经网络块的结构相同,其由依次设置的第一Concat层、第三卷积层、第三激活层、第四卷积层、第四激活层、第二最大池化层组成,第2个神经网络块的第一Concat层连接第1个子输入层的输出端输出的图像与第1个神经网络块的输出端输出的所有特征图,第8个神经网络块的第一Concat层连接多尺度输入信息融合层的输出端输出的所有特征图与第7个神经网络块的输出端输出的所有特征图,第9个神经网络块的第一Concat层连接多尺度输入信息融合层的输出端输出的所有特征图、第7个神经网络块的输出端输出的所有特征图与第8个神经网络块的输出端输出的所有特征图,第三卷积层的输入端接收Concat层的输出端输出的所有特征图,第三激活层的输入端接收第三卷积层的输出端输出的所有特征图;第四卷积层的输入端接收第三激活层的输出端输出的所有特征图,第四激活层的输入端接收第四卷积层的输出端输出的所有特征图;第二最大池化层的输入端接收第四激活层的输出端输出的所有特征图,第二最大池化层的输出端为其所在的神经网络块的输出端;其中,第三卷积层的卷积核大小为1×1、补零参数的值为0,第四卷积层的卷积核大小为3×3、补零参数的值为1,第2个神经网络块的第三卷积层和第四卷积层的卷积核个数均为64,第8个神经网络块的第三卷积层和第四卷积层的卷积核个数均为512,第9个神经网络块的第三卷积层和第四卷积层的卷积核个数均为1024,第三激活层和第四激活层的激活方式均为“Relu”,第二最大池化层的池化尺寸为2、步长为2。
在本实施例中,编码框架中的隐层中的第3个神经网络块、第5个神经网络块、第10个神经网络块的结构相同,其由依次设置的第二Concat层、第五卷积层、第五激活层、第六卷积层、第六激活层组成,第3个神经网络块的第二Concat层连接第1个子输入层的输出端输出的图像、第1个神经网络块的输出端输出的所有特征图与第2个神经网络块的输出端输出的所有特征图,第5个神经网络块的第二Concat层连接第2个子输入层的输出端输出的图像与第4个神经网络块的输出端输出的所有特征图,第10个神经网络块的第二Concat层连接多尺度输入信息融合层的输出端输出的所有特征图、第7个神经网络块的输出端输出的所有特征图、第8个神经网络块的输出端输出的所有特征图与第9个神经网络块的输出端输出的所有特征图,第五卷积层的输入端接收第二Concat层的输出端输出的所有特征图,第五激活层的输入端接收第五卷积层的输出端输出的所有特征图,第六卷积层的输入端接收第五激活层的输出端输出的所有特征图,第六激活层的输入端接收第六卷积层的输出端输出的所有特征图,第六激活层的输出端为其所在的神经网络块的输出端;其中,第五卷积层的卷积核大小为1×1、补零参数的值为0,第六卷积层的卷积核大小为3×3、补零参数的值为1,第3个神经网络块的第五卷积层和第六卷积层的卷积核个数均为128,第5个神经网络块的第五卷积层和第六卷积层的卷积核个数均为128,第10个神经网络块的第五卷积层和第六卷积层的卷积核个数均为2048,第五激活层和第六激活层的激活方式均为“Relu”。
在本实施例中,编码框架中的隐层中的第6个神经网络块由依次设置的第七卷积层、第七激活层、第八卷积层、第八激活层组成,第七卷积层的输入端为其所在的神经网络块的输入端,第七激活层的输入端接收第七卷积层的输出端输出的所有特征图,第八卷积层的输入端接收第七激活层的输出端输出的所有特征图,第八激活层的输入端接收第八卷积层的输出端输出的所有特征图,第八激活层的输出端为其所在的神经网络块的输出端;其中,第七卷积层的卷积核个数为128、卷积核大小为1×1、补零参数的值为0,第八卷积层的卷积核个数为128、卷积核大小为3×3、补零参数的值为1,第七激活层和第八激活层的激活方式均为“Relu”。
在本实施例中,步骤6中,编码框架中的隐层中的多尺度输入信息融合层由依次设置的第九卷积层和第九激活层组成,第九卷积层的输入端为多尺度输入信息融合层的输入端,第九激活层的输入端接收第九卷积层的输出端输出的所有特征图,第九激活层的输出端为多尺度输入信息融合层的输出端;其中,第九卷积层的卷积核个数为128、卷积核大小为1×1、补零参数的值为0、步长为1,第九激活层的激活方式为“Relu”。
在本实施例中,步骤6中,解码框架中的隐层中的6个多分辨率特征融合层的结构相同,其由依次设置的第十卷积层和第十激活层组成,第十卷积层的输入端为其所在的多分辨率特征融合层的输入端,第十激活层的输入端接收第十卷积层的输出端输出的所有特征图,第十激活层的输出端为其所在的多分辨率特征融合层的输出端;其中,第十卷积层的卷积核大小为1×1、补零参数的值为0,解码框架中的隐层中的第1个多分辨率特征融合层的第十卷积层的卷积核个数为2048,解码框架中的隐层中的第2个多分辨率特征融合层的第十卷积层的卷积核个数为1024,解码框架中的隐层中的第3个多分辨率特征融合层的第十卷积层的卷积核个数为512,解码框架中的隐层中的第4个多分辨率特征融合层的第十卷积层的卷积核个数为512,解码框架中的隐层中的第5个多分辨率特征融合层的第十卷积层的卷积核个数为256,解码框架中的隐层中的第6个多分辨率特征融合层的第十卷积层的卷积核个数为128,第十激活层的激活方式为“Relu”。
在本实施例中,步骤6中,解码框架中的隐层中的5个神经网络块的结构相同,其由依次设置的第三Concat层、第十一卷积层、第十一激活层组成,解码框架中的隐层中的第1个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块的输出端输出的所有特征图与第1个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第2个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第1个神经网络块的输出端输出的所有特征图与第2个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第3个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第1个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第2个神经网络的输出端输出的所有特征图与第3个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第4个神经网络块的第三Concat层连接解码框架中的隐层中的第3个神经网络块的输出端输出的所有特征图与第5个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第5个神经网络块的第三Concat层连接解码框架中的隐层中的第3个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第4个神经网络块的输出端输出的所有特征图与第6个多分辨率特征融合层的输出端输出的所有特征图,第十一卷积层的输入端接收第三Concat层的输出端输出的所有特征图,第十一激活层的输入端接收第十一卷积层的输出端输出的所有特征图,第十一激活层的输出端为其所在的神经网络块的输出端;其中,第十一卷积层的卷积核大小为1×1、补零参数的值为0,解码框架中的隐层中的第1个神经网络块的第十一卷积层的卷积核个数为2048,解码框架中的隐层中的第2个神经网络块的第十一卷积层的卷积核个数为1024,解码框架中的隐层中的第3个神经网络块的第十一卷积层的卷积核个数为512,解码框架中的隐层中的第4个神经网络块的第十一卷积层的卷积核个数为256,解码框架中的隐层中的第5个神经网络块的第十一卷积层的卷积核个数为128,第十一激活层的激活方式为“Relu”。
为了评估本发明所提的双重密集上下文感知网络训练模型在核磁共振海马体分割任务中的性能,将本发明的海马体分割算法与现有的海马体分割算法:多数表决算法(Heckemann等,联合标签传播和决策融合的脑MRI自动分割[J],神经影像学杂志,2006,33(1):115-126)、基于相似度的标记方法(Wang等,基于标签融合的多图谱分割[C]//医学影像机器学习国际研讨会.2014)、基于字典学习的标记方法(Tong等,基于判别性字典学习和稀疏编码的MR图像分割:在海马体分割任务中的应用[J],神经影像学杂志,2013,76(1):11-23)、基于稀疏表示和判别性字典学习的标记方法(时永刚,王东青,刘志文,字典学习和稀疏表示的海马子区图像分割[J],中国图象图形学报,2015,20(12):1593-1601)、串行处理卷积神经网络(时永刚,郝华胤,刘志文,串行处理卷积神经网络的海马子区分割[J],中国图象图形学报,2019,23(1):74-83)进行比较,表1总结了各方法在ADNI数据库上的海马体分割Dice系数的精度,现有的海马体分割算法的数据来源于相关论文和代码。
在此采用Dice系数评价分割结果,该评价标准一般用于医学图像分割领域,是分割结果与专家手动分割金标准的相似度表示。将Dice系数记为DSC,其中,Vfcn表示网络分割结果,Vmanu表示对应的标签信息,符号“∩”为交集运算符号,“∪”为并集运算符号。为了评估上述各个方法,在ADNI数据集上进行了综合实验。
表1不同海马体分割算法在ADNI数据库上的实验结果
从表1中可以观察到,相比现有的海马体分割算法,本发明的海马体分割算法实现了最高分割精度,原因主要是:(1)相比人工设定的特征模型,本发明通过有监督的训练,深度网络能自主的从图像中提取本质的特征;(2)本发明提出的双重密集上下文感知网络训练模型可以利用多尺度输入信息融合层检测不同尺度和形状的海马体特征,其中,大尺度用于识别海马体的空间位置,而小尺度用于学习更多的海马体细节信息;(3)本发明采用的双重密集上下文感知网络训练模型中的多分辨率特征融合层可以有效聚合互补特征,并利用编码阶段的高分辨率特征更好地指导解码阶段的低分辨率海马体边缘分割;(4)本发明在双重密集上下文感知网络的搭建过程中使用的Concat层进一步增强了特征传播和特征重用。
Claims (5)
1.一种基于双重密集上下文感知网络的核磁共振海马体分割算法,其特征在于包括以下步骤:
步骤1:选取K幅核磁共振海马体图像及每幅核磁共振海马体图像对应的标准分割图像;其中,K为正整数,K≥100,每幅核磁共振海马体图像及其对应的标准分割图像的宽度为W且高度为H;
步骤2:将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N1×N1的二维图像块;并将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N2×N2的二维图像块;将每幅核磁共振海马体图像及其对应的标准分割图像分别切割成个尺寸为N3×N3的二维图像块;其中,N1、N2、N3均为正整数,N1=2N2,N2=2N3,N3≥3,N1<min(W,H),min()为取最小值函数,W和H均能被N3整除;
步骤3:根据每幅标准分割图像中的每个不同尺寸的二维图像块判定对应的核磁共振海马体图像中对应位置的同尺寸的二维图像块为有效块还是为无效块,对于第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i1个尺寸为N1×N1的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i1个尺寸为N1×N1的二维图像块为有效块;同样,对于第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i2个尺寸为N2×N2的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i2个尺寸为N2×N2的二维图像块为有效块;对于第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块,若第k幅核磁共振海马体图像对应的标准分割图像中的第i3个尺寸为N3×N3的二维图像块中的所有像素点的像素值全为0,则判定第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块为无效块,否则,判定第k幅核磁共振海马体图像中的第i3个尺寸为N3×N3的二维图像块为有效块;其中,1≤k≤K,
步骤4:对每幅核磁共振海马体图像中的不同尺寸的有效块分别进行旋转、镜像、弹性扭曲和膨胀四种数据增强处理,得到每个有效块对应的4个增强处理后的结果,并将每个有效块对应的4个增强处理后的结果也作为有效块;
步骤5:在步骤4的基础上,对每个有效块进行归一化处理,使归一化处理后的每个有效块中的每个像素点的像素值在[0,1]区间范围内;然后将归一化处理后的所有有效块构成有效块集;
步骤6:搭建双重密集上下文感知网络:该双重密集上下文感知网络由用于捕捉海马体图像内容的编码框架和用于恢复海马体边界信息的解码框架组成;编码框架包括输入层和隐层,输入层由3个子输入层构成,隐层由10个神经网络块和1个多尺度输入信息融合层构成;解码框架包括隐层和输出层,隐层由5个反卷积层、6个多分辨率特征融合层和5个神经网络块构成;其中,第1个反卷积层的卷积核数目为2048、卷积核大小为4×4、补零参数的值为1、步长为2,第2个反卷积层的卷积核数目为1024、卷积核大小为4×4、补零参数的值为1、步长为2,第3个反卷积层的卷积核数目为512、卷积核大小为4×4、补零参数的值为1、步长为2,第4个反卷积层的卷积核数目为256、卷积核大小为4×4、补零参数的值为1、步长为2,第5个反卷积层的卷积核数目为128、卷积核大小为4×4、补零参数的值为1、步长为2;
对于编码框架中的输入层,第1个子输入层的输入端接收一幅尺寸为N1×N1的第一图像,第1个子输入层的输出端输出一幅尺寸为N1×N1的图像给编码框架中的隐层;第2个子输入层的输入端接收一幅尺寸为N2×N2的第二图像,第2个子输入层的输出端输出一幅尺寸为N2×N2的图像给编码框架中的隐层;第3个子输入层的输入端接收一幅尺寸为N3×N3的第三图像,第3个子输入层的输出端输出一幅尺寸为N3×N3的图像给编码框架中的隐层;
对于编码框架中的隐层,第1个神经网络块的输入端接收第1个子输入层的输出端输出的一幅尺寸为N1×N1的图像,第1个神经网络块的输出端输出32幅尺寸为的特征图,将这32幅特征图构成的集合记为S1;第2个神经网络块的输入端接收S1中的所有特征图,第2个神经网络块的输出端输出64幅尺寸为的特征图,将这64幅特征图构成的集合记为S2;第3个神经网络块的输入端接收S2中的所有特征图,第3个神经网络块的输出端输出128幅尺寸为的特征图,将这128幅特征图构成的集合记为S3;第4个神经网络块的输入端接收第2个子输入层的输出端输出的一幅尺寸为N2×N2的图像,第4个神经网络块的输出端输出64幅尺寸为的特征图,将这64幅特征图构成的集合记为S4;第5个神经网络块的输入端接收S4中的所有特征图,第5个神经网络块的输出端输出128幅尺寸为的特征图,将这128幅特征图构成的集合记为S5;第6个神经网络块的输入端接收第3个子输入层的输出端输出的一幅尺寸为N3×N3的图像,第6个神经网络块的输出端输出128幅尺寸为N3×N3的特征图,将这128幅特征图构成的集合记为S6;对S3中的所有特征图、S5中的所有特征图和S6中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为C1,C1中包含有384幅尺寸为N3×N3的特征图;多尺度输入信息融合层的输入端接收C1中的所有特征图,多尺度输入信息融合层的输出端输出128幅尺寸为N3×N3的特征图,将这128幅特征图构成的集合记为C2;第7个神经网络块的输入端接收C2中的所有特征图,第7个神经网络块的输出端输出256幅尺寸为的特征图,将这256幅特征图构成的集合记为S7;第8个神经网络块的输入端接收S7中的所有特征图,第8个神经网络块的输出端输出512幅尺寸为的特征图,将这512幅特征图构成的集合记为S8;第9个神经网络块的输入端接收S8中的所有特征图,第9个神经网络块的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为S9;第10个神经网络块的输入端接收S9中的所有特征图,第10个神经网络块的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为S10;
对于解码框架中的隐层,第1个反卷积层的输入端接收S10中的所有特征图,第1个反卷积层的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为B1;对S8中的所有特征图和B1中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F1,F1中包含有2560幅尺寸为的特征图;第1个多分辨率特征融合层的输入端接收F1中的所有特征图,第1个多分辨率特征融合层的输出端输出2048幅尺寸为的特征图,将这2048幅特征图构成的集合记为F2;第1个神经网络块的输入端接收F2中的所有特征图,第1个神经网络块的输出端输出2048幅的特征图,将这2048幅特征图构成的集合记为Q1;第2个反卷积层的输入端接收Q1中的所有特征图,第2个反卷积层的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为B2;对S7中的所有特征图和B2中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F3,F3中包含有1280幅尺寸为的特征图;第2个多分辨率特征融合层的输入端接收F3中的所有特征图,第2个多分辨率特征融合层的输出端输出1024幅尺寸为的特征图,将这1024幅特征图构成的集合记为F4;第2个神经网络块的输入端接收F4中的所有特征图,第2个神经网络块的输出端输出1024幅尺度为的特征图,将这1024幅特征图构成的集合记为Q2;第3个反卷积层的输入端接收Q2中的所有特征图,第3个反卷积层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为B3;对C2中的所有特征图和B3中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F5,F5中包含有640幅尺寸为N3×N3的特征图;第3个多分辨率特征融合层的输入端接收F5中的所有特征图,第3个多分辨率特征融合层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为F6;第3个神经网络块的输入端接收F6中的所有特征图,第3个神经网络块的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为Q3;对S6中的所有特征图和Q3中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F7,F7中包含有640幅尺寸为N3×N3的特征图;第4个多分辨率特征融合层的输入端接收F7中的所有特征图,第4个多分辨率特征融合层的输出端输出512幅尺寸为N3×N3的特征图,将这512幅特征图构成的集合记为F8;第4个反卷积层的输入端接收F8中的所有特征图,第4个反卷积层的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为B4;对第2个子输入层的输出端输出的图像和B4中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F9,F9中包含有257幅尺寸为N2×N2的特征图;第5个多分辨率特征融合层的输入端接收F9中的所有特征图,第5个多分辨率特征融合层的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为F10;第4个神经网络块的输入端接收F10中的所有特征图,第4个神经网络块的输出端输出256幅尺寸为N2×N2的特征图,将这256幅特征图构成的集合记为Q4;第5个反卷积层的输入端接收Q4中的所有特征图,第5个反卷积层的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为B5;对第1个子输入层的输出端输出的图像和B5中的所有特征图进行Concat操作,将Concat操作后得到的所有特征图构成的集合记为F11,F11中包含有129幅尺寸为N1×N1的特征图;第6个多分辨率特征融合层的输入端接收F11中的所有特征图,第6个多分辨率特征融合层的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为F12;第5个神经网络块的输入端接收F12中的所有特征图,第5个神经网络块的输出端输出128幅尺寸为N1×N1的特征图,将这128幅特征图构成的集合记为Q5;
对于解码框架中的输出层,输出层的输入端接收Q5中的所有特征图,输出层的输出端输出其接收的特征图,并作为分割结果图;
步骤7:随机将有效块集中80%以上的尺寸为N1×N1的有效块、80%以上的尺寸为N2×N2的有效块、80%以上的尺寸为N3×N3的有效块构成训练集,将有效块集中剩余的尺寸为N1×N1的有效块、尺寸为N2×N2的有效块、尺寸为N3×N3的有效块构成测试集;然后将训练集中的每个尺寸为N1×N1的有效块作为第一图像输入到双重密集上下文感知网络中,将训练集中的每个尺寸为N2×N2的有效块作为第二图像输入到双重密集上下文感知网络中,将训练集中的每个尺寸为N3×N3的有效块作为第三图像输入到双重密集上下文感知网络中,以第一图像为主且以第二图像和第三图像为辅对双重密集上下文感知网络进行训练,训练结束后得到训练集中的每个尺寸为N1×N1的有效块对应的分割结果图;
步骤8:将训练集中的所有尺寸为N1×N1的有效块对应的分割结果图构成的集合记为Ωpre;并将所有标准分割图像中与训练集中的尺寸为N1×N1的有效块相同位置的同尺寸的二维图像块构成的集合记为Ωtrue;然后计算Ωpre与Ωtrue之间的损失函数值;
步骤9:重复执行步骤7和步骤8共N次,得到双重密集上下文感知网络训练模型,并得到N个损失函数值;然后从N个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项作为双重密集上下文感知网络训练模型的最优权值矢量和最优偏置项,对应记为ωbest和bbest;其中,N>1;
步骤10:将测试集中的每个尺寸为N1×N1的有效块作为第一图像输入到双重密集上下文感知网络训练模型中,将测试集中的每个尺寸为N2×N2的有效块作为第二图像输入到双重密集上下文感知网络训练模型中,将测试集中的每个尺寸为N3×N3的有效块作为第三图像输入到双重密集上下文感知网络训练模型中,并利用ωbest和bbest进行预测,得到测试集中的每个尺寸为N1×N1的有效块对应的分割结果图。
2.根据权利要求1所述的一种基于双重密集上下文感知网络的核磁共振海马体分割方法,其特征在于所述的步骤6中,编码框架中的隐层中的第1个神经网络块、第4个神经网络块、第7个神经网络块的结构相同,其由依次设置的第一卷积层、第一激活层、第二卷积层、第二激活层、第一最大池化层组成,第一卷积层的输入端为其所在的神经网络块的输入端,第一激活层的输入端接收第一卷积层的输出端输出的所有特征图,第二卷积层的输入端接收第一激活层的输出端输出的所有特征图,第二激活层的输入端接收第二卷积层的输出端输出的所有特征图,第一最大池化层的输入端接收第二激活层的输出端输出的所有特征图,第一最大池化层的输出端为其所在的神经网络块的输出端;其中,第一卷积层和第二卷积层的卷积核大小均为3×3、补零参数的值均为1,第1个神经网络块的第一卷积层和第二卷积层的卷积核个数均为32,第4个神经网络块的第一卷积层和第二卷积层的卷积核个数均为64,第7个神经网络块的第一卷积层和第二卷积层的卷积核个数均为256,第一激活层和第二激活层的激活方式均为“Relu”,第一最大池化层的池化尺寸为2、步长为2;
编码框架中的隐层中的第2个神经网络块、第8个神经网络块、第9个神经网络块的结构相同,其由依次设置的第一Concat层、第三卷积层、第三激活层、第四卷积层、第四激活层、第二最大池化层组成,第2个神经网络块的第一Concat层连接第1个子输入层的输出端输出的图像与第1个神经网络块的输出端输出的所有特征图,第8个神经网络块的第一Concat层连接多尺度输入信息融合层的输出端输出的所有特征图与第7个神经网络块的输出端输出的所有特征图,第9个神经网络块的第一Concat层连接多尺度输入信息融合层的输出端输出的所有特征图、第7个神经网络块的输出端输出的所有特征图与第8个神经网络块的输出端输出的所有特征图,第三卷积层的输入端接收Concat层的输出端输出的所有特征图,第三激活层的输入端接收第三卷积层的输出端输出的所有特征图;第四卷积层的输入端接收第三激活层的输出端输出的所有特征图,第四激活层的输入端接收第四卷积层的输出端输出的所有特征图;第二最大池化层的输入端接收第四激活层的输出端输出的所有特征图,第二最大池化层的输出端为其所在的神经网络块的输出端;其中,第三卷积层的卷积核大小为1×1、补零参数的值为0,第四卷积层的卷积核大小为3×3、补零参数的值为1,第2个神经网络块的第三卷积层和第四卷积层的卷积核个数均为64,第8个神经网络块的第三卷积层和第四卷积层的卷积核个数均为512,第9个神经网络块的第三卷积层和第四卷积层的卷积核个数均为1024,第三激活层和第四激活层的激活方式均为“Relu”,第二最大池化层的池化尺寸为2、步长为2;
编码框架中的隐层中的第3个神经网络块、第5个神经网络块、第10个神经网络块的结构相同,其由依次设置的第二Concat层、第五卷积层、第五激活层、第六卷积层、第六激活层组成,第3个神经网络块的第二Concat层连接第1个子输入层的输出端输出的图像、第1个神经网络块的输出端输出的所有特征图与第2个神经网络块的输出端输出的所有特征图,第5个神经网络块的第二Concat层连接第2个子输入层的输出端输出的图像与第4个神经网络块的输出端输出的所有特征图,第10个神经网络块的第二Concat层连接多尺度输入信息融合层的输出端输出的所有特征图、第7个神经网络块的输出端输出的所有特征图、第8个神经网络块的输出端输出的所有特征图与第9个神经网络块的输出端输出的所有特征图,第五卷积层的输入端接收第二Concat层的输出端输出的所有特征图,第五激活层的输入端接收第五卷积层的输出端输出的所有特征图,第六卷积层的输入端接收第五激活层的输出端输出的所有特征图,第六激活层的输入端接收第六卷积层的输出端输出的所有特征图,第六激活层的输出端为其所在的神经网络块的输出端;其中,第五卷积层的卷积核大小为1×1、补零参数的值为0,第六卷积层的卷积核大小为3×3、补零参数的值为1,第3个神经网络块的第五卷积层和第六卷积层的卷积核个数均为128,第5个神经网络块的第五卷积层和第六卷积层的卷积核个数均为128,第10个神经网络块的第五卷积层和第六卷积层的卷积核个数均为2048,第五激活层和第六激活层的激活方式均为“Relu”;
编码框架中的隐层中的第6个神经网络块由依次设置的第七卷积层、第七激活层、第八卷积层、第八激活层组成,第七卷积层的输入端为其所在的神经网络块的输入端,第七激活层的输入端接收第七卷积层的输出端输出的所有特征图,第八卷积层的输入端接收第七激活层的输出端输出的所有特征图,第八激活层的输入端接收第八卷积层的输出端输出的所有特征图,第八激活层的输出端为其所在的神经网络块的输出端;其中,第七卷积层的卷积核个数为128、卷积核大小为1×1、补零参数的值为0,第八卷积层的卷积核个数为128、卷积核大小为3×3、补零参数的值为1,第七激活层和第八激活层的激活方式均为“Relu”。
3.根据权利要求1或2所述的一种基于双重密集上下文感知网络的核磁共振海马体分割方法,其特征在于所述的步骤6中,编码框架中的隐层中的多尺度输入信息融合层由依次设置的第九卷积层和第九激活层组成,第九卷积层的输入端为多尺度输入信息融合层的输入端,第九激活层的输入端接收第九卷积层的输出端输出的所有特征图,第九激活层的输出端为多尺度输入信息融合层的输出端;其中,第九卷积层的卷积核个数为128、卷积核大小为1×1、补零参数的值为0、步长为1,第九激活层的激活方式为“Relu”。
4.根据权利要求3所述的一种基于双重密集上下文感知网络的核磁共振海马体分割方法,其特征在于所述的步骤6中,解码框架中的隐层中的6个多分辨率特征融合层的结构相同,其由依次设置的第十卷积层和第十激活层组成,第十卷积层的输入端为其所在的多分辨率特征融合层的输入端,第十激活层的输入端接收第十卷积层的输出端输出的所有特征图,第十激活层的输出端为其所在的多分辨率特征融合层的输出端;其中,第十卷积层的卷积核大小为1×1、补零参数的值为0,解码框架中的隐层中的第1个多分辨率特征融合层的第十卷积层的卷积核个数为2048,解码框架中的隐层中的第2个多分辨率特征融合层的第十卷积层的卷积核个数为1024,解码框架中的隐层中的第3个多分辨率特征融合层的第十卷积层的卷积核个数为512,解码框架中的隐层中的第4个多分辨率特征融合层的第十卷积层的卷积核个数为512,解码框架中的隐层中的第5个多分辨率特征融合层的第十卷积层的卷积核个数为256,解码框架中的隐层中的第6个多分辨率特征融合层的第十卷积层的卷积核个数为128,第十激活层的激活方式为“Relu”。
5.根据权利要求4所述的一种基于双重密集上下文感知网络的核磁共振海马体分割方法,其特征在于所述的步骤6中,解码框架中的隐层中的5个神经网络块的结构相同,其由依次设置的第三Concat层、第十一卷积层、第十一激活层组成,解码框架中的隐层中的第1个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块的输出端输出的所有特征图与第1个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第2个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第1个神经网络块的输出端输出的所有特征图与第2个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第3个神经网络块的第三Concat层连接编码框架中的隐层中的第10个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第1个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第2个神经网络的输出端输出的所有特征图与第3个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第4个神经网络块的第三Concat层连接解码框架中的隐层中的第3个神经网络块的输出端输出的所有特征图与第5个多分辨率特征融合层的输出端输出的所有特征图,解码框架中的隐层中的第5个神经网络块的第三Concat层连接解码框架中的隐层中的第3个神经网络块输出端输出的所有特征图、解码框架中的隐层中的第4个神经网络块的输出端输出的所有特征图与第6个多分辨率特征融合层的输出端输出的所有特征图,第十一卷积层的输入端接收第三Concat层的输出端输出的所有特征图,第十一激活层的输入端接收第十一卷积层的输出端输出的所有特征图,第十一激活层的输出端为其所在的神经网络块的输出端;其中,第十一卷积层的卷积核大小为1×1、补零参数的值为0,解码框架中的隐层中的第1个神经网络块的第十一卷积层的卷积核个数为2048,解码框架中的隐层中的第2个神经网络块的第十一卷积层的卷积核个数为1024,解码框架中的隐层中的第3个神经网络块的第十一卷积层的卷积核个数为512,解码框架中的隐层中的第4个神经网络块的第十一卷积层的卷积核个数为256,解码框架中的隐层中的第5个神经网络块的第十一卷积层的卷积核个数为128,第十一激活层的激活方式为“Relu”。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010013999.9A CN111223113B (zh) | 2020-01-07 | 2020-01-07 | 基于双重密集上下文感知网络的核磁共振海马体分割算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010013999.9A CN111223113B (zh) | 2020-01-07 | 2020-01-07 | 基于双重密集上下文感知网络的核磁共振海马体分割算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111223113A true CN111223113A (zh) | 2020-06-02 |
CN111223113B CN111223113B (zh) | 2023-04-18 |
Family
ID=70831028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010013999.9A Active CN111223113B (zh) | 2020-01-07 | 2020-01-07 | 基于双重密集上下文感知网络的核磁共振海马体分割算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111223113B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160256A (zh) * | 2021-03-09 | 2021-07-23 | 宁波大学 | 一种多任务生成对抗模型的mr影像胎盘分割方法 |
CN114494952A (zh) * | 2022-01-19 | 2022-05-13 | 杭州电子科技大学 | 一种基于感知损失的乳腺mri影像时间序列生成方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190050981A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a target object from a 3d image |
CN109509192A (zh) * | 2018-10-18 | 2019-03-22 | 天津大学 | 融合多尺度特征空间与语义空间的语义分割网络 |
CN110322499A (zh) * | 2019-07-09 | 2019-10-11 | 浙江科技学院 | 一种基于多层特征的单目图像深度估计方法 |
-
2020
- 2020-01-07 CN CN202010013999.9A patent/CN111223113B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190050981A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a target object from a 3d image |
CN109509192A (zh) * | 2018-10-18 | 2019-03-22 | 天津大学 | 融合多尺度特征空间与语义空间的语义分割网络 |
CN110322499A (zh) * | 2019-07-09 | 2019-10-11 | 浙江科技学院 | 一种基于多层特征的单目图像深度估计方法 |
Non-Patent Citations (2)
Title |
---|
ZHANG J,ET.AL: "Automatic Craniomaxillofacial Landmark Digitization via Segmentation-Guided Partially-Joint Regression Forest Model" * |
钟文煜;冯寿廷;: "改进型Unet:一种高效准确的视网膜血管分割方法" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160256A (zh) * | 2021-03-09 | 2021-07-23 | 宁波大学 | 一种多任务生成对抗模型的mr影像胎盘分割方法 |
CN113160256B (zh) * | 2021-03-09 | 2023-08-18 | 宁波大学 | 一种多任务生成对抗模型的mr影像胎盘分割方法 |
CN114494952A (zh) * | 2022-01-19 | 2022-05-13 | 杭州电子科技大学 | 一种基于感知损失的乳腺mri影像时间序列生成方法 |
CN114494952B (zh) * | 2022-01-19 | 2024-04-23 | 杭州电子科技大学 | 一种基于感知损失的乳腺mri影像时间序列生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111223113B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766894B (zh) | 基于注意力机制和深度学习的遥感图像自然语言生成方法 | |
CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
CN108288271A (zh) | 基于三维残差网络的图像检测系统及方法 | |
CN111461232A (zh) | 一种基于多策略批量式主动学习的核磁共振图像分类方法 | |
CN109977968B (zh) | 一种深度学习分类后比较的sar变化检测方法 | |
CN112365464A (zh) | 一种基于gan的医学图像病变区域弱监督定位方法 | |
CN114092439A (zh) | 一种多器官实例分割方法及系统 | |
CN111402254A (zh) | 一种ct图像肺结节高性能自动检测方法及装置 | |
CN115131580B (zh) | 基于注意力机制的空间目标小样本识别方法 | |
CN111223113B (zh) | 基于双重密集上下文感知网络的核磁共振海马体分割算法 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN115393293A (zh) | 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法 | |
CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
CN111968124A (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
CN115409815A (zh) | 一种基于三维可变形transformer的肺结节检测方法 | |
CN114283326A (zh) | 一种结合局部感知和高阶特征重构的水下目标重识别方法 | |
CN112329867B (zh) | 一种基于任务驱动的层次注意力网络的mri图像分类方法 | |
CN111724356B (zh) | 一种用于ct影像肺炎识别的图像处理方法和系统 | |
CN107590806A (zh) | 一种基于大脑医学成像的检测方法和系统 | |
CN109886320B (zh) | 一种人体股骨x光片智能识读方法及系统 | |
CN112085742A (zh) | 一种基于上下文注意力的nafld超声视频诊断方法 | |
CN116543165A (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
CN116309459A (zh) | 基于改进网络的肺结节检测方法、装置、设备和存储介质 | |
CN115830322A (zh) | 一种基于弱监督网络的建筑物语义分割标签扩充方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |