CN112215291A - 级联神经网络下医学图像特征提取和分类方法 - Google Patents
级联神经网络下医学图像特征提取和分类方法 Download PDFInfo
- Publication number
- CN112215291A CN112215291A CN202011115303.XA CN202011115303A CN112215291A CN 112215291 A CN112215291 A CN 112215291A CN 202011115303 A CN202011115303 A CN 202011115303A CN 112215291 A CN112215291 A CN 112215291A
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- image
- convolution
- cascade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 20
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 238000002591 computed tomography Methods 0.000 claims description 10
- 238000005481 NMR spectroscopy Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 210000003625 skull Anatomy 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 66
- 208000024827 Alzheimer disease Diseases 0.000 description 14
- 238000011176 pooling Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 208000010877 cognitive disease Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 208000027061 mild cognitive impairment Diseases 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 7
- 210000005013 brain tissue Anatomy 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000002610 neuroimaging Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004885 white matter Anatomy 0.000 description 2
- 235000011437 Amygdalus communis Nutrition 0.000 description 1
- 241000220304 Prunus dulcis Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 235000020224 almond Nutrition 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种级联神经网络下医学图像特征提取和分类方法，步骤如下：步骤1：以三种不同类别的三维影像作为网络输入，以三种类别的分类概率值作为网络输出，构建级联神经网络模型；所述级联神经网络模型为基于3DCNN和2DCNN的级联方式；步骤2：将三种已具有标签标注的影像数据进行数据预处理操作，准备好训练样本数据和测试所需数据样本；步骤3：将训练样本数据送入级联神经网络进行训练，分析并提取样本特征；步骤4：对训练网络进行参数优化，经优化后的模型，获得最优网络参数的深度级联神经网络模型；步骤5：对经处理后的影像数据送入训练好的最优参数的级联神经网络模型，并通过分类器输出最终分类结果。本发明提高了分类精度和效率。
Description
技术领域
本发明属于医学影像特征的深度学习技术领域，尤其涉及到一种卷积神经网络用于提取医学图像特征并对其进行分类技术。
背景技术
近年来随着医疗技术水平的发展，磁共振图像(Magnetic Resonance Imaging，MRI)、计算机断层扫描(Computed Tomography,CT)、正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)等各种影像学采集设备被越来越多的运用，这些手段的运用，对于可以对医学图像进行特征提取和异常分类。
机器学习的分类和预测方法在过去十几年中已经用于分析复杂结构的神经影像，在AD(阿尔兹海默病)相关轻度认知障碍(MCI)的图像特征提取与预测中也取得了一些成果。传统的机器学习框架对于早期AD的研究主要可分为选择与提取图像的结构特征(如感兴趣区、体素等)，以及基于特征和维度的分类与预测两个方面。但是特征的选择还是依赖于设计者的手工提取，需要足够的先验知识，存在着一定的主观性。而且不同图像数据之间存在着种类、维度的差异，在进行预处理之后一般会出现缺失与变形等问题，将手工提取特征的难度进一步加深。
深度学习起源于神经网络，有多个单层而非线性的网络叠加而成，神经网络依赖于层与层的关系，每一层都是上一层的更高级的抽象，可将海量数据进行训练，通过学习一种深层的非线性网络结构实现复杂函数的逼近，展现学习数据集本质特征的能力。
近年来，深度学习模型在图像识别领域的大量创新应用，被认为是一种极具潜力的分类与预测方法。在医学图像的分类与疾病预测中，也得到了原来越多的关注。
目前比较流行的采用深度学习的方式包含有：采用卷积神经网络(CNN)；采用增强的AlexNet网络模型；采用StackedAuto-Encoder(SAE)“堆叠自动编码器”的方式，来提取神经影像学的特征，来对AD的图像进行特征提取和分类等形式来进行对AD的分类。
但是，根据以上几种方式进行的分类情况，可以了解到存在一些问题。无论采用哪一种模型，由于医学影像本身的一些特点：难以获取、数据库数量稀少、采用人工标注难度大等特点，极大的限制了模型训练和最后的分类结果。因此，如何提高最后的分类精度，仍然是现有技术中需要攻克的技术问题。
发明内容
有鉴于此，本发明为了克服医学影像数据少、人工标记工作量大和分类精度不高等技术问题，提供了一种基于3D CNN和2D CNN级联神经网络下医学图像特征提取和分类方法，以此提高分类精度和效率。
本发明的技术解决方案是，提供了一种级联神经网络下医学图像特征提取和分类方法，包括以下步骤：
步骤1：以三种不同类别的三维影像作为网络输入，以三种类别的分类概率值作为网络输出，构建级联神经网络模型；所述级联神经网络模型为基于3D CNN和2D CNN的级联方式；
步骤2：将三种已具有标签标注的影像数据进行数据预处理操作，准备好训练样本数据和测试所需数据样本；
步骤3：将训练样本数据送入级联神经网络进行训练，分析并提取样本特征；
步骤4：对训练网络进行参数优化，经优化后的模型，获得最优网络参数的深度级联神经网络模型；
步骤5：对经处理后的影像数据送入训练好的最优参数的级联神经网络模型，并通过分类器输出最终分类结果。
可选的，所述步骤1中的三维影像为多模态的医学影像数据，包含结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像三种模态的图像，输出的三种类别分别是正常对照组、第一异常组和第二异常组。
可选的，所述步骤2中的对多模影像数据进行预处理操作，包括对结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像完成原点校正、分割、强度归一化、去除颅骨、颈骨、图像配准和前连合和后连合对齐处理，并进行数据增强，将影像数据进行变形、裁剪、旋转翻转、缩放，同时采用除冠状图以外的矢状图和轴状图模式图像作为样本数据，划分出训练集和测试集。
可选的，所述步骤3中，对数据进行特征提取，通过级联神经网络分别对多模态数据进行特征提取操作，3D卷积神经网络模型中卷积运算求解式为：
其中，x、y和z表示给定3D图像的像素位置，
是连接l-1层的第k个特征图和l层的第j个特征图的第j个3D核权重，
是前1-1层的第k个特征图，δx,δy,δz是对应于x、y和z坐标的核大小。输出
是3D核滤波器的卷积响应；3D卷积神经网络模型对多模态数据进行特征提取后输入至2D卷积神经网络模型；
2D卷积神经网络模型中卷积运算求解式为：
其中，b为偏置量，(i,j)∈{0,1,2,...Ll+1}，
Yl+1为l+1层的卷积输入和输出特征图，Ll+1是Yl+1尺寸大小，有Ll+1＝(Ll+2p-n)/s+1；Y(i,j)是对应特征图像素，k是特征图通道数；卷积核有三个参数，分别是核大小、步长大小、填充数。
可选的，所述步骤5中，将上一步获得的各种模态数据特征扁平化成一维矩阵，构成全连接层，经过第二层全连接层，设置全连接权重；再将该层的特征映射到具有SoftMax函数的所有类标签的概率分数，在三组二分类的情况下，所述分类结果包括正常对照组、第一异常组和第二异常组。
可选的，所述步骤5中，结合卷积神经网络CNN和支持向量机SVM的二分类方法，在三组二分类的情况下，采用全连接层和支持向量机SVM组合的方式进行，所述分类结果包括正常对照组、第一异常组和第二异常组。
本发明与现有技术相比，具有如下优点：本发明利用3D神经网络和2D神经网络级联的方式形成级联神经网络，并通过多模态医学图像的特征提取和分类，提高分类精度和效率，克服了数据量不足的问题。
附图说明
图1为不同观测角度MRI结构图。
图2为多模(SMRI、FMRI、PET)影像图。
图3为3D CNN网络结构图。
图4为3D CNN、2D CNN级联网络结构图。
图5为多模态级联神经网络结构图。
图6为本发明的流程示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
本发明的级联神经网络下医学图像特征提取和分类方法，包括以下步骤：
步骤1：以三种不同类别的三维影像作为网络输入，以三种类别的分类概率值作为网络输出，构建级联神经网络模型；所述级联神经网络模型为基于3D CNN和2D CNN的级联方式；
步骤2：将三种已具有标签标注的影像数据进行数据预处理操作，准备好训练样本数据和测试所需数据样本；
步骤3：将训练样本数据送入级联神经网络进行训练，分析并提取样本特征；
步骤4：对训练网络进行参数优化，经优化后的模型，获得最优网络参数的深度级联神经网络模型；
步骤5：对经处理后的影像数据送入训练好的最优参数的级联神经网络模型，并通过分类器输出最终分类结果。
所述步骤1中的三维影像为多模态的医学影像数据，包含结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像三种模态的图像，输出的三种类别分别是正常对照组、第一异常组和第二异常组。
所述步骤2中的对多模影像数据进行预处理操作，包括对结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像完成原点校正、分割、强度归一化、去除颅骨、颈骨、图像配准和前连合和后连合对齐处理，并进行数据增强，将影像数据进行变形、裁剪、旋转翻转、缩放，同时采用除冠状图以外的矢状图和轴状图模式图像作为样本数据，划分出训练集和测试集。
所述步骤3中，对数据进行特征提取，通过级联神经网络分别对多模态数据进行特征提取操作，3D卷积神经网络模型中卷积运算求解式为：
其中，x、y和z表示给定3D图像的像素位置，
是连接l-1层的第k个特征图和l层的第j个特征图的第j个3D核权重，
是前1-1层的第k个特征图，δx,δy,δz是对应于x、y和z坐标的核大小。输出
是3D核滤波器的卷积响应；3D卷积神经网络模型对多模态数据进行特征提取后输入至2D卷积神经网络模型；
2D卷积神经网络模型中卷积运算求解式为：
其中，b为偏置量，(i,j)∈{0,1,2,...Ll+1}，
Yl+1为l+1层的卷积输入和输出特征图，Ll+1是Yl+1尺寸大小，有Ll+1＝(Ll+2p-n)/s+1；Y(i,j)是对应特征图像素，k是特征图通道数；卷积核有三个参数，分别是核大小、步长大小、填充数。
所述步骤5中，将上一步获得的各种模态数据特征扁平化成一维矩阵，构成全连接层，经过第二层全连接层，设置全连接权重；再将该层的特征映射到具有SoftMax函数的所有类标签的概率分数，在三组二分类的情况下，所述分类结果包括正常对照组、第一异常组和第二异常组。也可以采用另外一种方式，结合卷积神经网络CNN和支持向量机SVM的二分类方法，在三组二分类的情况下，采用全连接层和支持向量机SVM组合的方式进行，所述分类结果包括正常对照组、第一异常组和第二异常组。
图1中，自左往右是冠状图(Coronal)、矢状图(Sagittal)、轴状图(Axial)。图2中，自左往右是SMRI图像、FMRI图像、PET图像，即结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像。
本发明更具体的实施例子如下：
第一：数据集获取，数据集为公开数据集，来源于ADNI(Alzheimer’s DiseaseNeuroimaging Initiative)。获取数据类型有：SMRI影像,FMRI影像,PET影像。本发明所采用的是ADNI数据集中的MRI数据和PET数据。我们共采用了400名受试者的数据，具体分类情况如下：正常对照组(NC)有100名，轻度认知障碍组(200)名，作为第一异常组，剩余100名为阿尔兹海默病(AD)患者组，作为第二异常组。这里的分类只是本发明的一个应用，根据本发明的教导也可以用于其他的分类。
第二：获取到原始数据后，接下来进行数据预处理操作。获取的数据属于原始数据，包含了由核磁共振设备和正电子发射型计算机断层扫描设备采集的原始影像。这里我们需要对图像进行原点校正、分割(分割出灰质、白质脑组织)、强度归一化、去除颅骨、颈骨、图像配准和前连合(AC)和后连合(PC)对齐处理预处理后操作。
由于受试者在采集SMRI、FMRI和PET影像时，不能全部保证头部完全一样的姿势，或者头部后仰，低头、颈部歪曲，甚至还会在采集的时候动头。诸多现象，最后导致所采集到的图像会出现各种样式。实际操作中，往往还会在脑部影像中出现颈骨，这些对于本发明来说是不需要的。同时在采集到的脑部影像还包含有颅骨存在，和之前的颈骨一样，对于本发明来说，同样属于噪声信号，应在图像预处理的过程中给予去除。
好的分类结果和合理的预处理是分不开的，为充分筛选出和AD病变可能相关的脑部区域，如海马、颞叶、杏仁体等某些特定部位，对所训练的SMRI、FMRI、PET等影像图片进行脑组织分割，去除如脑皮、头骨等非脑组织，最终将大脑组织分为白质、灰质、脑脊液三个部分，可分别用Bwm、Bbm、Bcsf表示。以此方法，为后续更好的特征提取做铺垫。
第三：完成上述预处理操作后，对处理后的数据进行数据增强。即影像数据进行变形、裁剪、旋转翻转、缩放。同时采用除冠状图(Coronal)以外的矢状图(Sagittal)和轴状图(Axial)模式图，填充为整体数据集的一部分，扩大数据集影像数量。人大脑几乎是左右对称，对上一步预处理后的图片进行水平翻转，那么结合不同观测角度面的影像就可以扩充到原来的三倍。再加上对影像数据进行变形、裁剪、旋转、缩放等操作，数据量会更加提高，数据增强的目的就可以达到,并划分出训练集和测试集。
第四：分别将不同模式的影像图(SMRI、FMRI、PET)送入3D CNN网络进行训练，提取影像特征，由于MRI和PET图像本身三维特性，增加时间维度的卷积网络模型能在保证图像信息最大化减少损失的情况下，保持最佳的特征提取效果。首先进行卷积运算。
三维卷积运算定义如下：
其中，x、y和z表示给定3D图像的像素位置，
是连接l-1层的第k个特征图和l层的第j个特征图的第j个3D核权重，
是前l-1层的第k个特征图，δx,δy,δz是对应于x、y和z坐标的核大小。输出
是3D核滤波器的卷积响应。
由于ADNI影像数据来源不同，原始图像尺寸也不同，在进行训练之前，将对不同模态的图像大小进行统一化处理。对图像重采样到256*256*256大小，去除非脑体素，最终使达到128*106*106像素。分别对SMRI模式、FMRI和PET模式下的影像数据进行训练，并划分好训练集、测试集，比例分别为90％和10％，送入模型开始训练。
第五：预处理后的图像送入到3D CNN网络训练，该网络分别有卷积层，池化层交替结构和最后的全连接层构成。整个网络共计有七层卷积层五层池化层和两层全连接层构成。每一层卷积层之后添加激活函数如下：
引入该非线性函数Tanh函数表达式作为激励函数，为各个卷积层的激活函数。如图(5)所示，分别有卷积层和池化层以及全连接层。这里的池化层采用最大池化(poolinglayer)，特征降维，去除冗余信息，把最重要的特征抽取出来，夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。输入图像为128*106*106大小，经过第一层卷积后变为126*104*104，经过第一层池化层(pooling layer)后变为63*52*52，卷积核超参数(kernelsize)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量25；之后进行第二层卷积，图像经过特征提取后变为63*52*52，卷积核超参数(kernel size)为1*1*1，步长(stride)为1,padding为0；卷积核数量25；第三层卷积后，图像变为61*50*50，经过pooling layer后为30*25*25，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量50；之后进行第四次卷积后变为28*23*23，经过pooling layer后为14*11*11，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量50；经过第五层卷积，图像经过特征提取后变为14*11*11，卷积核超参数(kernel size)为1*1*1，步长(stride)为1,padding为0，卷积核数量50；进行第六层卷积，图像变为12*9*9，经过pooling layer后为6*4*4，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量100；最后经过第七次卷积，卷积后变为4*2*2，经过pooling layer后变为2*1*1，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量100。卷积核大小多采用3*3*3的大小，保证较好的特征提取效果，步长(stride)为1,padding为0。pooling layer的超参数为(kernel size2*2*2,padding 0,stride 2)。在第二层卷积和第五层卷积时，采用卷积核大小1*1*1，减少模型参数，减少模型过拟合的情况。由于经过每一层卷积层，特征被提取，随着层数的增加，所提取的特征也更加抽象，feature map的长宽尺寸缩小，本卷积层的每个map提取的特征越具有代表性，后一层卷积层需要增加feature map的数量，更充分的提取出前一层的特征，一般是成倍增加，本发明设置的卷积核(filter)的数量分别是25、25、50、50、50、100、100个。
第六：经过以上的卷积层、池化层(pooling layer)，捕获更多更紧凑、更高效的特征，减少中间特征的自适应和过拟合，提高模型泛化能力，本发明中采用dropout策略，设置dropout为0.50。
第七：经过以上步骤的卷积层、池化层之后，对所学习的从SMRI、FMRI和PET图像所提取的特征进行多模态特征结合，融合不同模态脑图像的信息，级联2D卷积神经网络方法，将学习到的多模态特征更好结合起来。通过2D CNN网络模型进行训练，进一步融合学习两种模式的相关特征。输入二维卷积神经网络的输入尺寸2*2，特征图数量100，经过第一层卷积层，输出1*1，卷积核数量100，卷积核超参数(kernel size)为3*3，步长(stride)为1,padding为0；经过第二层卷积层，输出1*1，卷积核数量100。通过再次学习更高级特征，提取多模态的相关特征的同时，亦可对多模态特征之间高级特征的相关性进行学习、提取。
第八：在通过2D CNN网络时，同样首先需要采取卷积操作。2D卷积神经网络模型中卷积运算求解式为：
式中b为偏置量，(i,j)∈{0,1,2,...Ll+1}，
Yl+1为l+1层的卷积输入和输出特征图(feathermap)，Ll+1是Yl+1尺寸大小，有Ll+1＝(Ll+2p-n)/s+1。Y(i,j)是对应特征图像素，k是特征图通道(channel)数。卷积核有三个参数，分别是核大小(kernel)、步长大小(stride)、填充(padding)数。
通过卷积运算提取特征后，通过激活函数、池化操作，更好、更高效的提取多模态特征和不同模态之间的相关性特征。这里依然选择最大池化(Max pooling)操作，依然采用dropout策略，同时可以提高模型泛化能力，防止过拟合，设置dropout为0.50。
第九：将上一步获得的各种模态数据特征扁平化成一维矩阵，构成全连接层(Full-connection)，输出数据维度1*100；经过第二层全连接层，输出数据维度1*40，需设置全连接权重为100*40；再将该层的特征映射到具有SoftMax函数的所有类标签的概率分数，如此作出NC/MCI/AD分类、基于NC/AD、NC/MCI、AD/MCI的二分类情况。
对第九形成替换的方式为：在通过全连接后，结合SVM(Support VectorMachines)算法，通过以上步骤所提取的不同模态影像特征，做出基于SVM算法的NC/AD、NC/MCI、AD/MCI的二分类情况。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。
Claims (6)
1.一种级联神经网络下医学图像特征提取和分类方法，其特征在于：包括以下步骤：
步骤1：以三种不同类别的三维影像作为网络输入，以三种类别的分类概率值作为网络输出，构建级联神经网络模型；所述级联神经网络模型为基于3D CNN和2D CNN的级联方式；
步骤2：将三种已具有标签标注的影像数据进行数据预处理操作，准备好训练样本数据和测试所需数据样本；
步骤3：将训练样本数据送入级联神经网络进行训练，分析并提取样本特征；
步骤4：对训练网络进行参数优化，经优化后的模型，获得最优网络参数的深度级联神经网络模型；
步骤5：对经处理后的影像数据送入训练好的最优参数的级联神经网络模型，并通过分类器输出最终分类结果。
2.根据权利要求1所述的级联神经网络下医学图像特征提取和分类方法，其特征在于：所述步骤1中的三维影像为多模态的医学影像数据，包含结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像三种模态的图像，输出的三种类别分别是正常对照组、第一异常组和第二异常组。
3.根据权利要求2所述的级联神经网络下医学图像特征提取和分类方法，其特征在于：所述步骤2中的对多模影像数据进行预处理操作，包括对结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像完成原点校正、分割、强度归一化、去除颅骨、颈骨、图像配准和前连合和后连合对齐处理，并进行数据增强，将影像数据进行变形、裁剪、旋转翻转、缩放，同时采用除冠状图以外的矢状图和轴状图模式图像作为样本数据，划分出训练集和测试集。
4.根据权利要求2所述的级联神经网络下医学图像特征提取和分类方法，其特征在于：所述步骤3中，对数据进行特征提取，通过级联神经网络分别对多模态数据进行特征提取操作，3D卷积神经网络模型中卷积运算求解式为：
其中，x、y和z表示给定3D图像的像素位置，
是连接l-1层的第k个特征图和l层的第j个特征图的第j个3D核权重，
是前1-1层的第k个特征图，δx,δy,δz是对应于x、y和z坐标的核大小。输出
是3D核滤波器的卷积响应；3D卷积神经网络模型对多模态数据进行特征提取后输入至2D卷积神经网络模型；
2D卷积神经网络模型中卷积运算求解式为：
其中，b为偏置量，(i,j)∈{0,1,2,...Ll+1}，
Yl+1为l+1层的卷积输入和输出特征图，Ll+1是Yl+1尺寸大小，有Ll+1＝(Ll+2p-n)/s+1；Y(i,j)是对应特征图像素，k是特征图通道数；卷积核有三个参数，分别是核大小、步长大小、填充数。
5.根据权利要求4所述的级联神经网络下医学图像特征提取和分类方法，其特征在于：所述步骤5中，将上一步获得的各种模态数据特征扁平化成一维矩阵，构成全连接层，经过第二层全连接层，设置全连接权重；再将该层的特征映射到具有SoftMax函数的所有类标签的概率分数，在三组二分类的情况下，所述分类结果包括正常对照组、第一异常组和第二异常组。
6.根据权利要求4所述的级联神经网络下医学图像特征提取和分类方法，其特征在于：所述步骤5中，结合卷积神经网络和支持向量机的二分类方法，在三组二分类的情况下，采用全连接层和支持向量机组合的方式进行，所述分类结果包括正常对照组、第一异常组和第二异常组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011115303.XA CN112215291A (zh) | 2020-10-19 | 2020-10-19 | 级联神经网络下医学图像特征提取和分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011115303.XA CN112215291A (zh) | 2020-10-19 | 2020-10-19 | 级联神经网络下医学图像特征提取和分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215291A true CN112215291A (zh) | 2021-01-12 |
Family
ID=74055666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011115303.XA Pending CN112215291A (zh) | 2020-10-19 | 2020-10-19 | 级联神经网络下医学图像特征提取和分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215291A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837192A (zh) * | 2021-09-22 | 2021-12-24 | 推想医疗科技股份有限公司 | 图像分割方法及装置，神经网络的训练方法及装置 |
| CN114049359A (zh) * | 2021-11-22 | 2022-02-15 | 北京航空航天大学 | 医学影像器官分割方法 |
| CN114255209A (zh) * | 2021-11-22 | 2022-03-29 | 杭州电子科技大学 | 基于磁共振成像和神经网络的脑深部电刺激靶点定位方法 |
| CN114387467A (zh) * | 2021-12-09 | 2022-04-22 | 哈工大（张家口）工业技术研究院 | 一种基于多模块卷积特征融合的医学图像分类方法 |
| CN114693964A (zh) * | 2022-03-09 | 2022-07-01 | 电子科技大学 | 一种基于人工神经网络的mri数据特征提取和分类识别方法 |
| CN115578370A (zh) * | 2022-10-28 | 2023-01-06 | 深圳市铱硙医疗科技有限公司 | 一种基于脑影像的代谢区域异常检测方法及装置 |
| CN116246112A (zh) * | 2023-02-17 | 2023-06-09 | 中国人民解放军总医院第二医学中心 | 基于神经影像数据库训练分类模型的数据处理方法和系统 |
| CN118261453A (zh) * | 2024-05-31 | 2024-06-28 | 应辉环境科技服务(烟台)有限公司 | 基于级联神经网络模型的企业排污监测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203330A (zh) * | 2016-07-08 | 2016-12-07 | 西安理工大学 | 一种基于卷积神经网络的车辆分类方法 |
| CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
| CN109671086A (zh) * | 2018-12-19 | 2019-04-23 | 深圳大学 | 一种基于三维超声的胎儿头部全自动分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及系统 |
| CN111652038A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于卷积神经网络的遥感的海冰图像分类方法 |
-
2020
- 2020-10-19 CN CN202011115303.XA patent/CN112215291A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203330A (zh) * | 2016-07-08 | 2016-12-07 | 西安理工大学 | 一种基于卷积神经网络的车辆分类方法 |
| CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
| CN109671086A (zh) * | 2018-12-19 | 2019-04-23 | 深圳大学 | 一种基于三维超声的胎儿头部全自动分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111652038A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于卷积神经网络的遥感的海冰图像分类方法 |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| JIE FUA 等: "Deep learning approaches using 2D and 3D convolutional neural networks for generating male pelvic synthetic computed tomography from magnetic resonance imaging", MEDICAL PHYSICS * |
| 黄绍辉 等: "2D/3D级联卷积在分割CT肺动脉上的应用研究", 中国数字医学, vol. 14, no. 5, pages 7 - 11 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837192A (zh) * | 2021-09-22 | 2021-12-24 | 推想医疗科技股份有限公司 | 图像分割方法及装置，神经网络的训练方法及装置 |
| CN113837192B (zh) * | 2021-09-22 | 2024-04-19 | 推想医疗科技股份有限公司 | 图像分割方法及装置，神经网络的训练方法及装置 |
| CN114049359B (zh) * | 2021-11-22 | 2024-04-16 | 北京航空航天大学 | 医学影像器官分割方法 |
| CN114049359A (zh) * | 2021-11-22 | 2022-02-15 | 北京航空航天大学 | 医学影像器官分割方法 |
| CN114255209A (zh) * | 2021-11-22 | 2022-03-29 | 杭州电子科技大学 | 基于磁共振成像和神经网络的脑深部电刺激靶点定位方法 |
| CN114255209B (zh) * | 2021-11-22 | 2023-04-07 | 杭州电子科技大学 | 基于磁共振成像和神经网络的脑深部电刺激靶点定位方法 |
| CN114387467A (zh) * | 2021-12-09 | 2022-04-22 | 哈工大（张家口）工业技术研究院 | 一种基于多模块卷积特征融合的医学图像分类方法 |
| CN114387467B (zh) * | 2021-12-09 | 2022-07-29 | 哈工大（张家口）工业技术研究院 | 一种基于多模块卷积特征融合的医学图像分类方法 |
| CN114693964A (zh) * | 2022-03-09 | 2022-07-01 | 电子科技大学 | 一种基于人工神经网络的mri数据特征提取和分类识别方法 |
| CN114693964B (zh) * | 2022-03-09 | 2023-04-07 | 电子科技大学 | 一种基于人工神经网络的mri数据特征提取和分类识别方法 |
| CN115578370A (zh) * | 2022-10-28 | 2023-01-06 | 深圳市铱硙医疗科技有限公司 | 一种基于脑影像的代谢区域异常检测方法及装置 |
| CN115578370B (zh) * | 2022-10-28 | 2023-05-09 | 深圳市铱硙医疗科技有限公司 | 一种基于脑影像的代谢区域异常检测方法及装置 |
| CN116246112B (zh) * | 2023-02-17 | 2024-03-22 | 中国人民解放军总医院第二医学中心 | 基于神经影像数据库训练分类模型的数据处理方法和系统 |
| CN116246112A (zh) * | 2023-02-17 | 2023-06-09 | 中国人民解放军总医院第二医学中心 | 基于神经影像数据库训练分类模型的数据处理方法和系统 |
| CN118261453A (zh) * | 2024-05-31 | 2024-06-28 | 应辉环境科技服务(烟台)有限公司 | 基于级联神经网络模型的企业排污监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112215291A (zh) | 级联神经网络下医学图像特征提取和分类方法 | |
| Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
| Liu et al. | An encoder-decoder neural network with 3D squeeze-and-excitation and deep supervision for brain tumor segmentation | |
| CN107506797A (zh) | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| CN110148145B (zh) | 一种融合边界信息的图像目标区提取方法及应用 | |
| CN112465058A (zh) | 改进GoogLeNet神经网络下多模态医学图像分类方法 | |
| CN112785593B (zh) | 一种基于深度学习的脑部图像分割方法 | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| CN113888555B (zh) | 基于注意机制的多模态脑肿瘤图像分割系统 | |
| CN114399510B (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
| CN110490843A (zh) | 一种眼底图像血管分割方法 | |
| CN110246109A (zh) | 融合ct影像和个性化信息的分析系统、方法、装置及介质 | |
| Zhan et al. | LR-cGAN: Latent representation based conditional generative adversarial network for multi-modality MRI synthesis | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| CN114581453A (zh) | 基于多轴面特征融合二维卷积神经网络的医学图像分割方法 | |
| CN112036298A (zh) | 一种基于双段区块卷积神经网络的细胞检测方法 | |
| Abid et al. | A convolutional neural network for skin lesion segmentation using double u-net architecture | |
| Kong et al. | Data enhancement based on M2-Unet for liver segmentation in Computed Tomography | |
| Cudic et al. | Unpaired mesh-to-image translation for 3D fluorescent microscopy images of neurons | |
| Al-Shboul et al. | Overview of convolutional neural networks architectures for brain tumor segmentation. | |
| Salehi et al. | Deep convolutional neural networks for automated diagnosis of disc herniation on axial MRI | |
| Merati et al. | A New Triplet Convolutional Neural Network for Classification of Lesions on Mammograms. | |
| CN110930349A (zh) | 一种利用卷积神经网络的医学图像处理装置与方法 | |
| Xu et al. | Correlation via synthesis: End-to-end image generation and radiogenomic learning based on generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210112 |