CN108717568B - 一种基于三维卷积神经网络的图像特征提取与训练方法 - Google Patents

Abstract

本发明一种基于三维卷积神经网络的图像特征提取与训练方法，包括如下步骤：步骤1，将进行特征提交的输入图像进行尺寸的归一化处理；步骤2，构建包括卷积层、激活层、池化层、全连接层和输出层的三维卷积神经网络；步骤3，对构建的三维卷积神经网络进行训练后得到优化的三维卷积神经网络，进行对输入图像进行特征提取，完成输入图像的分类识别。以三维卷积神经网络进行三维图像的特征提取和识别，三维卷积神经网络直接在三维的图像上进行卷积，提取图像的三维空间特征，更能有效表达三维图像的特征模式，从而达到对图像分类识别的目的。

Description

一种基于三维卷积神经网络的图像特征提取与训练方法

技术领域

本发明属于图像识别与深度学习领域，涉及三维图像特征提取与识别，具体为一种基于三维卷积神经网络的图像特征提取与训练方法。

背景技术

图像识别是计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。现已应用到工业安防、生活、教育等各个方面。图像识别是人工智能的一个重要领域，为了教会计算机像人类一样进行图像识别，人们提出了很多的图像识别方法。传统的识别过程包括图像预处理、图像分割、特征提取和判断匹配。因此，在每一中间步骤都有大量不同的算法，并且每一中间步骤都影响着最后的识别率的高低。

近年来，深度学习新理论的出现，加上计算机硬件的巨大进步以及大数据的产生，深度学习在图像、语音识别等领域取得了巨大的进步。深度学习源于人工神经网络的研究，属于机器学习中的一个领域，它的“深”在于具有更多的层次，从而能表达更深的特征。深度学习以更加接近于人脑的机制、通过多层复杂的非线性模型来对数据进行表达和抽象。使用深度学习进行图像识别的优点不仅在于其越来越接近于人类的识别准确率，而且不需要图像预处理、图像分割等预处理或中间过程，即直接输入原始的图像，把深度学习算法当作一个黑箱子，一次性的完成某些预处理、特征提取及识别过程。

然而目前的深度学习算模型大多是针对二维图像的，如二维的卷积神经网络(Convolutional Neural Network,CNN)。然而现实世界的图像并不总是二维的，如建筑模型图像、3D打印模型、人体的大脑和肺部等图像均是一个三维的扫描图像。针对于这些三维图像，目前的解决方式是将某一维的所有图像进行平均，从而得到二维的图像，然后可采用二维的深度学习算法进行识别，这种方法将某一维度的所有图像进行了平均，因此损失了大量的信息，并不能有效地提取出所有的特征。另外一种方法是将某一维看作是一个二维卷积神经网络的通道，即图像在这一维有多少个切片，那么就有多少个通道，然后同样采用二维的卷积神经网络算法进行识别，这种方式虽然看起来没有损失信息，但将三维的图像变成了一个个孤立的二维图像，从二维图像中提取特征，提取的是二维的特征，没有考虑特征在第三维上的关联性，并且计算量大，因此也不符合三维图像的本质，识别过程中的信息损失多，识别度低。

发明内容

针对现有技术中存在的问题，本发明提供一种基于三维卷积神经网络的图像特征提取与训练方法，能够有效提取图像的三维特征和模式，并且比例均衡化的样本输入机制增强了模型对各种类别的表达能力，改进的损失函数提高了神经网络的识别率。

本发明是通过以下技术方案来实现：

一种基于三维卷积神经网络的图像特征提取与训练方法，包括如下步骤，

步骤1，将进行特征提交的输入图像进行尺寸的归一化处理；

步骤2，构建包括卷积层、激活层、池化层、全连接层和输出层的三维卷积神经网络；

步骤2.1，通过将输入图像中若干张连续的图像堆叠成为一个立体图像的立方体，然后在这个立方体里通过如下三维卷积层对连续的多张图像进行加权求和的卷积操作，以提取图像的初级特征，得到初级特征图；

其中，O是第j层图像对应的第n个特征块的(x,y,z)处的输出，σ为激活函数，是i层图像的m个特征块和是j层图像的n个特征块之间的权重，I_im(x+p,y+q,z+r)是第i层图像到j层图像的输入，b_jn为共享的偏置，p,q,r为x,y,z三个方向的采样步长；i和j为相邻两层的序号；

步骤2.2，通过激活层对初级特征图添加非线性特征；

步骤2.3，通过池化层来降低添加非线性特征的初级特征图的维度大小；

步骤2.4，通过全连接层对池化层处理过的初级特征图提取高级特征，得到高级特征图；

步骤2.5，通过输出层中的Softmax分类器将高级特征转化为激活概率，得到三维卷积神经网络的输出，完成三维卷积神经网络的构建；

步骤3，对构建的三维卷积神经网络进行训练后得到优化的三维卷积神经网络，进行对输入图像进行特征提取，完成输入图像的分类识别。

优选的，对输入图像依次进行步骤2.1到2.3的多次堆叠，执行多次堆叠时，卷积层的核心数逐次增加。

优选的，步骤2.2中，通过在激活层中采用如下的ReLU激活函数对初级特征图添加非线性特征；

f(x)＝max(0,x)

其中，x为函数的输入，f(x)为函数输出；将输入大于0的特征保持，小于0的特征忽略。

优选的，步骤2.3中，采用如下最大池化的方法来来降低特征的维度大小；

其中，I为池化层的输入，O为池化输出，p,q,r为x,y,z三个方向的采样步长，S₁,S₂,S₃为池化的范围，i,j,k在此范围内变动。

优选的，步骤2.5中，所述的Softmax分类器如下，

其中，x_i表示向量x中的第i个元素，这个元素的Softmax值就是S_i。

优选的，步骤3中，在训练三维卷积神经网络模型的时候，采取有组织的学习方法，即一次输入一小批量样本进行训练时，这一小批样本在选取时遵循以下规则：对每类样本按样本数量的比例进行采样，保证样本数较小的类别每次都能参与训练。

优选的，在进行模型训练的过程中，利用如下的损失函数来估计梯度，实现三维卷积神经网络的优化；

其中，L为损失函数，n是测试集中样本数量，是sofmax层输出的对样本i预测概率，y_i是待分类数据的实际标签；m为小批量样本数，小批量样本为{x(1),x(2),…,x(m)}，g为梯度的估计值，θ为需要学习的参数集；‖‖₁为L1正则化，λ为正则化系数，决定着W的稀疏程度，W为最后一层池化层到全连接层的权值。

与现有技术相比，本发明具有以下有益的技术效果：

本发明以三维卷积神经网络进行三维图像的特征提取和识别，三维卷积神经网络直接在三维的图像上进行卷积，提取图像的三维空间特征，更能有效表达三维图像的特征模式。首先将输入图像的尺寸进行归一化，接下来设计一个三维卷积神经网络模型，通过将立体图像中若干张连续的图像堆叠成为一个立方体，然后在这个立方体里进行加权求和的卷积操作以提取图像的初级特征，再将输出的特征图谱依次经过激活层、池化层和全连接层得到更为高级的特征，最后将这些特征通过Softmax分类器来对图像类别分配概率，从而达到对图像分类识别的目的。

进一步，在样本输入的过程当中，本发明采用了比例均衡化的样本输入机制，不同于大多数的随机样本输入，比例均衡化的样本输入机制可以改善识别的准确率，对每批的输入样本数量进行类别上的比例平衡，来优化模型的训练。

进一步的，利用不同于以往的损失函数定义，通过添加正则化项来对权值进行稀疏化，提高样本的识别率。

附图说明

图1为本发明实例中所述的方法流程图。

图2为本发明实施例中所述三维卷积神经网络模型的构造示意图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明一种基于三维卷积神经网络的图像特征提取与训练方法，该方法构造了三维的卷积神经网络模型和相应的训练方法，不同于以往的二维卷积神经网络方法，在识别三维图像时需要对三维中的某一维信息进行平均或分为许多的通道，因此不能有效提取三维特征，本方法直接采用三维卷积进行三维特征的提取，并且在训练样本模型时，采用比例均衡化的小批量样本输入机制对梯度进行估计，避免了随机输入样本导致某些样本类别不能有效识别的弊端，采用改进的损失函数对权值进行稀疏限制，提高样本的识别率。

在构建一个完整的三维卷积神经网络时，首先通过卷积层对三维的图像进行卷积操作；再将卷积结果经过一个激活层，添加非线性特征；将三维卷积神经网络中上一层得到的结果通过最大池化层，以减少运算量，提高运算效率。

根据原始图像大小和运算量等多方因素，可对上述三维卷积神经网络中的卷积、激活和池化三个层进行多次堆叠，最后将池化层得到的结果通过全连接层，来获取更高级的特征；将最终得到的特征通过softmax层，来对图像进行识别分类，得到输入图像属于每一类图像的概率。多次堆叠的次数根据希望探测到区域大小来决定，如2层3*3卷积可以探测到原始信号的5*5范围的特征，3层可以观察到原始信号的7*7范围的特征，以此类推。

在训练三维卷积神经网络模型的时候，采取有组织的学习方法，对输入的小批量样本进行类别上的按比例均衡，使得不同类别的样本数量相当。即每次采样时，对每类样本按类别上的比例进行采样，作为输入的一小批量样本，这样每次就能学习到不同的样本模式，提升对每类样本的识别率。

具体的，如图1所示，基于卷积神经网络模型的三维图像特征的提取与训练方法，包括以下步骤：

1)由卷积神经网络层级结构与相关算法的限制，要求神经网络的输入数据要有同样的大小，所以需要简单地将数据图像进行大小的归一化处理。

2)构建三维卷积神经网络：

三维卷积层。在由多张图像形成的立方体中运用三维的卷积核滤波器同时对连续的多张图像进行加权求和的卷积操作。三维卷积的公式如下：

其中，O是第j层图像对应的第n个特征块的(x,y,z)处的输出，σ为激活函数，是i层图像的m个特征块和是j层图像的n个特征块之间的权重，I_im(x+p,y+q,z+r)是第i层图像到j层图像的输入，b_jn为共享的偏置，p,q,r为x,y,z三个方向的采样步长；i和j为相邻两层的序号。

激活层。在卷积层之后需要一个激活层来为特征图谱添加非线性特征，能在保证准确率的前提下提高训练速度，并减轻梯度消失的问题，为此，采用ReLU(rectifiedlinear unit修正线性单元层)激活函数，其公式如下：

f(x)＝max(0,x)

其中，x为函数的输入，f(x)为函数输出。即输入大于0的特征被保持，小于0的特征被忽略。

三维池化层。在经由卷积层提取特征之后，为了能够降低计算量，提高计算速度，加快处理进程，同时为了防止过拟合现象的出现，我们选用最大池化的方法来降低特征的维度大小。我们这里采用的是三维最大池化，其公式如下所示：

其中：I为池化层的输入，O为池化输出，p,q,r为x,y,z三个方向的采样步长，S₁,S₂,S₃为池化的范围，i,j,k在此范围内变动，公式的含义是选择池化范围内的最大值作为输出值。

全连接层。全连接层把学到的三维特征转化为一维向量，起到把学到的分布式特，映射到样本标记空间的作用。为之后的样本分类打好基础。

Softmax分类器。在神经网络的最后一层，经常采用Softmax回归来作为输出层，进行分类任务。Softmax函数可看做是一个激励函数或者链接函数，将由上层网络得到的特征转化为激活概率，数学表达式是：

其中，x_i表示向量x中的第i个元素，这个元素的Softmax值就是S_i。

交叉熵(cross-entropy)。损失函数经常被用来衡量我们的预测误差，在本发明中主要依据公式：

其中，n是测试集中样本数量，是预测概率，即前面的S_i,y_i是待分类数据的实际标签。‖‖₁为L1正则化，λ为正则化系数，决定着W的稀疏程度，W为最后一层池化层到全连接层的权值。λ决定着神经网络分类的效果，不同的分类问题有着不同的最佳λ。

样本输入机制。在进行模型训练的过程中，现有的梯度估计方法大多为小批量样本的输入估计，即一次输入一批的小批量样本来估计梯度，即采用如下的公式：

其中，m为小批量样本数，小批量样本为{x(1),x(2),…,x(m)},L为损失函数，g为梯度的估计值，θ为需要学习的参数集。通常，小批量样本是随机选的，然而现实世界的样本总是不平衡的，例如，网络世界中年轻人的图像总是多于老年人，而Youtube里关于猫和狗的视频总是多于蚂蚁的视频，这些输入数据种类的不均衡导致模型在训练时总是更偏向于学习到常见的种类。

因此，我们对输入的批量样本数进行类别上的按比例平衡，来更有效地学习模型的参数θ。在训练三维卷积神经网络模型的时候，采取有组织的学习方法，即一次输入一小批量样本进行训练时，这一小批样本在选取时遵循以下规则：对每类样本按样本数量的比例进行采样，即保证样本数较小的类别每次都能参与训练，而不像随机采样有时会选取不到数量较少的类别。

如图1所示，首先对要进行特征提取与训练的数据进行一定的预处理，然后将预处理后的数据输入进卷积神经网络中进行模型训练，在这个训练过程中，采用有组织的学习方法，通过对不同类别的样本数据的数量比进行恰当的调整，使模型对样本数据进行更充分的学习，得到分类结果。

我们以肺部CT扫描图像数据集为例来说明整个过程，本发明的整个流程参考附图1，具体实施步骤如下：

(1)首先对数据集中的肺部图像进行预处理，将样本的大小和数量进行归一化处理。以这个数据集为例来说明，我们要将肺部CT扫描图像数据归一化为100*100*20大小的数据，并对图像进行灰度化处理。

(2)将预处理后的数据输入到所构建的卷积神经网络中进行特征提取与训练。构建的三维卷积神经网络的基本架构，参考附图2。此网络结构依次由以下层级组成：

卷积层C1层，选取32个不同的卷积核，尺寸大小为3*3*3，步长为1，并以边距为0进行填充，原始数据集经过C1层后，输出图像大小为100*100*20，变量总量为32*100*100*20；

池化层S1层，采用最大池化方法，池化尺寸为2*2*2，步长为2，边距为0进行填充，这一层输出图像大小为50*50*10，变量总量是32*50*50*10；

卷积层C2层，这一层选取64个不同的卷积核，尺寸大小、步长、边距填充方式与C1层相同，这一层的输出图像大小为50*50*10，变量总量为64*50*50*10；

池化层S2层，这一层的基本设置与S1层完全相同，经过S2层之后的特征图的大小为25*25*5，变量总量为64*25*25*5；

卷积层C3层，卷积核的个数设置为128个，卷积核尺寸大小、步长、边距填充方式同C1、C2层相同，所得到的特征图大小为25*25*5，变量总量为128*25*25*5；

池化层S3层同S1、S2层相同，图像大小为13*13*3，变量总量为128*13*13*3。

其中，每一个卷积层之后要紧跟一个激活层(ReLU激活函数的作用)用以添加非线性特征之后在进行池化层的操作。

这一系列操作过后，经过一个有1024个神经元的全连接层，来获取更为高级的特征。在这一层，通过在损失函数里添加稀疏化规则项来提高模型针对于特定问题的泛化能力，在这里，λ取0.1。

最后将由全连接层提取出来的高级特征传入到Softmax层中，将使交叉熵损失函数最小化为目的来训练网络模型，经过Softmax操作来为数据的类别分配概率，从而得到分类结果。

(3)在将预处理后的数据输入卷积神经网络中的时候，采用一种有组织的学习方法，即采用比例均衡化的小批量样本输入方法进行梯度估计，自适应学习率算法为Adam算法。以肺部CT扫描数据集为例，假设肺部图像有两类标签，某一类标签的图像数据较难采集，所以可用的样本量较少，因此我们将这类样本的数据集进行重复输入，使之达到跟正常人的样本数量相当，然后再输入进卷积神经网络中进行训练，这样就能使卷积神经网络能够更充分地对这类图像的特征进行学习，从而提高模型对于不同样本的表达性能，识别结果见表1。

表1以肺部三维图像为例的网络模型的分类准确率结果。

综上所述，本发明利用卷积神经网络能够直接将原始图像作为输入数据的特性，设计一个三维卷积神经网络模型，先对数据进行预处理，然后将预处理的数据通过由n层卷积层、n层激活层、n层池化层、一个全连接层和一个Softmax分类器，通过比例均衡化的小批量样本输入策略和改进的加正则化项的损失函数来对三维图像进行特征提取与训练任务。

Claims (5)

1.一种基于三维卷积神经网络的图像特征提取与训练方法，其特征在于，包括如下步骤，

步骤1，将进行特征提交的输入图像进行尺寸的归一化处理；

步骤2，构建包括卷积层、激活层、池化层、全连接层和输出层的三维卷积神经网络；

步骤2.1，通过将输入图像中若干张连续的图像堆叠成为一个立体图像的立方体，然后在这个立方体里通过如下三维卷积层对连续的多张图像进行加权求和的卷积操作，以提取图像的初级特征，得到初级特征图；

其中，O是第j层图像对应的第n个特征块的(x，y，z)处的输出，σ为激活函数，是i层图像的m个特征块和是j层图像的n个特征块之间的权重，I_im(x+p，y+q，z+r)是第i层图像到j层图像的输入，b_jn为共享的偏置，p，q，r为x，y，z三个方向的采样步长；i和j为相邻两层的序号；

步骤2.2，通过激活层对初级特征图添加非线性特征；

步骤2.3，通过池化层来降低添加非线性特征的初级特征图的维度大小；

步骤2.4，通过全连接层对池化层处理过的初级特征图提取高级特征，得到高级特征图；

步骤2.5，通过输出层中的Softmax分类器将高级特征转化为激活概率，得到三维卷积神经网络的输出，完成三维卷积神经网络的构建；

步骤3，对构建的三维卷积神经网络进行训练后得到优化的三维卷积神经网络，进行对输入图像进行特征提取，完成输入图像的分类识别；

步骤3中，采用比例均衡化的样本输入机制来优化模型的训练，在训练三维卷积神经网络模型的时候，采取有组织的学习方法，即一次输入一小批量样本进行训练时，这一小批样本在选取时遵循以下规则：对每类样本按样本数量的比例进行采样，保证样本数较小的类别每次都能参与训练；

通过添加正则化项来对权值进行稀疏化，在进行模型训练的过程中，利用如下的损失函数来估计梯度，实现三维卷积神经网络的优化；

其中，L为损失函数，n是测试集中样本数量，是sofmax层输出的对样本i预测概率，y_i是待分类数据的实际标签；m为小批量样本数，小批量样本为{x(1)，x(2)，…，x(m)}，g为梯度的估计值，θ为需要学习的参数集；|| ||₁为L1正则化，λ为正则化系数，决定着W的稀疏程度，W为最后一层池化层到全连接层的权值。

2.根据权利要求1所述的一种基于三维卷积神经网络的图像特征提取与训练方法，其特征在于，对输入图像依次进行步骤2.1到2.3的多次堆叠，执行多次堆叠时，卷积层的核心数逐次增加。

3.根据权利要求1所述的一种基于三维卷积神经网络的图像特征提取与训练方法，其特征在于，步骤2.2中，通过在激活层中采用如下的ReLU激活函数对初级特征图添加非线性特征；

f(x)＝max(0，x)

其中，x为函数的输入，f(x)为函数输出；将输入大于0的特征保持，小于0的特征忽略。

4.根据权利要求1所述的一种基于三维卷积神经网络的图像特征提取与训练方法，其特征在于，步骤2.3中，采用如下最大池化的方法来来降低特征的维度大小；

其中，I为池化层的输入，O为池化输出，p，q，r为x，y，z三个方向的采样步长，S₁，S₂，S₃为池化的范围，i，j，k在此范围内变动。

5.根据权利要求1所述的一种基于三维卷积神经网络的图像特征提取与训练方法，其特征在于，步骤2.5中，所述的Softmax分类器如下，

其中，x_i表示向量x中的第i个元素，这个元素的Softmax值就是S_i。