CN110210562B

CN110210562B - 基于深度网络和稀疏Fisher矢量的图像分类方法

Info

Publication number: CN110210562B
Application number: CN201910473936.9A
Authority: CN
Inventors: 田小林; 王凤鸽; 张杨; 张�杰; 孟令研; 焦李成
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2019-06-02
Filing date: 2019-06-02
Publication date: 2022-06-10
Anticipated expiration: 2039-06-02
Also published as: CN110210562A

Abstract

本发明提出了一种基于深度网络和稀疏Fisher矢量的图像分类方法，旨在解决现有技术中存在的的准确率较低的技术问题，实现步骤为：获取训练数据集和待分类数据集；构建深度神经网络A，对深度神经网络A进行训练，得到深度神经网络B；提取深度神经网络B中第二个全连接层的图像特征，对特征建立高斯混合模型Z₁，然后对Z₁中的特征向量进行稀疏Fisher矢量编码；用稀疏Fisher编码后的特征对应的图像对深度神经网络B进行训练，得到深度神经网络C；将待分类数据集输入深度神经网络C进行图像分类。本发明提高了分类的准确率和分类效率，可用于对医疗和交通等领域图像的分类。

Description

基于深度网络和稀疏Fisher矢量的图像分类方法

技术领域

本发明属于计算机视觉技术领域，涉及一种图像分类方法，具体涉及一种基于深度网络和稀疏Fisher矢量的图像分类方法，可用于对医疗，交通等图像进行分类。

背景技术

随着互联网技术的进步，图像作为人的感官中最重要的表达方式之一，每天都产生着大量的数据。如何让用户精确地找到需要的图像成为了互联网公司和科研机构的研究重点。而对于计算机视觉来说，图像分类任务一直是研究的热点问题。研究图像分类，能解决人们在生活中或者工作中的诸多现实问题。比如淘宝购物的物品分类，医院的癌变细胞的检测等。目前，常用的图像分类方法两大类：基于传统方法提取图像特征图像分类方法、基于深度学习的图像分类方法。

Yan S,Xu X以及Xu D在其发表的论文“Beyond Spatial Pyramids:A NewFeature Extraction Framework with Dense Spatial Sampling for ImageClassification”(Berlin Heidelberg：Springer,2012:473-487)中公开了一种新的特征提取框架与密集的空间采样图像分类方法。该方法具体的内容是：首先引入了一个新的图像分类框架，它超越了固定空间金字塔的窗口采样，包括一组在位置、大小和长宽比上密集采样的窗口。为了有效地处理这一大组窗口，使用两层提取方法导出了一个简洁的高级图像特征。在第一级，基于窗口的特征是通过类似于标准特征提取器的过程，从本地描述符(例如SIFT、spatial HOG、LBP)计算出来的。然后在第二层，以类似于第一级的方式从基于窗口的特征中确定新的图像特征。这种更高层次的抽象既提供了对密集样本的有效处理，又降低了对偏差的敏感性。简单而有效的框架可以很容易地容纳大量现有的池/编码方法，允许它们提取空间金字塔表示之外的特性，有效地融合与标准的一级二级功能图像功能分类。但是，该方法仍然存在不足之处是，对于图像的特征提取不够完全，例如图像的空间信息，边缘信息等，导致图像分类的准确率受到影响。

又如，申请公开号CN108846421A，名称为“一种基于深度学习的图像分类方法”的专利申请，公开了一种基于深度学习的图像分类方法。该方法首先将图片分为n组，将n组图片集分别作为样本输入到AlexNet模型中进行训练，得到图像分类模型Ⅰ；其次，将待测图像样本输入到已经完成训练的图像分类模型Ⅰ中进行图像分类，然后将不同待测图像对应的结果集归入不同的文档中，将精度较高的图像结果集重新组成图像样本输入到AlexNet模型中进行训练，得到图像分类模型II；最后将所对应的待测图像样本输入到其对应的图像分类模型II中进行图像分类。该发明提高图像分类的准确率，但其存在不足之处是，卷积神经网络使得图像分类的精度得到了很大的提升，但是随着网络层数的增多，对计算机的性能要求也就越高，提取出来的图像特征中的存在冗余成分，导致图像分类的准确率受到影响，同时网络的参数也变得非常多，数据的维数也越高，使得分类速度也就越慢。

发明内容

本发明的目的是针对上述现有技术的不足，提出了一种基于深度网络和稀疏Fisher矢量的图像分类方法，旨在解决现有技术中存在的的准确率较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练数据集和待分类数据集：

选取数据库中的N类图像，并将从每类图像中随机选取的70％～80％幅图像作为训练数据集，剩余图像作为待分类数据集，N＞2；每类图像中包含的图像幅数为M，M＞20；

(2)构建深度神经网络A：

构建包括依次连接的输入层、隐藏层和输出层的深度神经网络A，隐藏层包括多个卷积层、多个激活层和多个池化层，输出层包括多个全连接层；

(3)对深度神经网络A进行训练：

通过训练数据集对深度神经网络A进行训练，得到训练后的深度神经网络B；

(4)建立深度神经网络B中图像特征的高斯混合模型Z₁：

(4a)提取深度神经网络B中倒数第二个全连接层输出的多个图像特征，组成图像特征集H；

(4b)通过Q个服从高斯分布的函数对图像特征集H进行建模，得到由Q个高斯模型组成的高斯混合模型Z，Q＞2；

(4c)从高斯混合模型Z中随机选取K个高斯模型，组成高斯混合模型Z₁，K＜Q，

(5)对高斯混合模型Z₁中的特征向量进行稀疏Fisher矢量编码：

(5a)提取高斯混合模型Z₁中图像特征集H的E个局部图像特征，并对第i个局部图像特征对应的特征向量x_i进行Fisher矢量编码，得到Fisher矢量编码后的特征向量X，X＝[x₁,x₂,...,x_i,...,x_E]∈R^D×E，R^D×E表示特征向量X所属向量空间，D表示特征向量的维度，D≥2，E≥2；

(5b)对Fisher矢量编码后的特征向量X进行稀疏表示，得到稀疏Fisher矢量编码后的特征向量Y，Y＝[y₁,y₂,...,y_i,...,y_E]∈R^D×E，y_i表示每个局部特征对应的稀疏Fisher特征向量，对特征向量x_i的稀疏公式定义如下：

其中，S＝[s₁,s₂,...,s_i,...,s_F]∈R^D×F表示基向量集，R^D×F表示基向量空间，集F表示的是基向量的数量，F＞D，||y_i||_l1表示稀疏惩罚项，|| ||_l1表示取值为1范数，β为稀疏惩罚项系数；

(6)对深度神经网络B进行训练：

将特征向量Y所对应的图像特征组成图像数据集G，并通过G对深度神经网络B进行训练，得到训练后的深度神经网络C；

(7)获取图像分类结果：

将待分类数据集输入到训练后的深度神经网络C中，对待分类数据集中的每幅图像进行分类，得到每幅图像的类别名称和图像分类的准确率。

本发明与现有技术相比，具有以下优点：

1.本发明利用深度神经网络训练一个适用数据集的权值参数，然后提取第二个全连接层的图像特征，对提取的图像特征建立高斯模型，利用稀疏Fisher矢量编码的方法对图像特征进行编码，有效的去除了图像特征中的冗余成分，能够获得更有效的图像特征信息，而且有利于高维数据的降维，与现有技术相比，有效提高了图像分类的准确率，同时提高了图像分类效率。

附图说明

图1为本发明的实现流程框图。

具体实施方式

下面将结合附图和具体实施例，对本发明作进一步的详细描述：

参照图1，本发明包括如下步骤：

步骤1)获取训练数据集和待分类数据集：

步骤2)构建深度神经网络A：

构建包括依次连接的输入层、隐藏层和输出层的深度神经网络A，隐藏层包括多个卷积层、多个激活层和多个池化层，输出层包括多个全连接层；该深度神经网络的具体结构为：输入层→第一卷积层→第一激活层→第一池化层→第二卷积层→第二激活层→第二池化层→第三卷积层→第三激活层→第三池化层→第四卷积层→第四激活层→第四池化层→第五卷积层→第五激活层→第五池化层→第一全连接层→第二全连接层→第三全连接层；

步骤3)对深度神经网络A进行训练：

步骤3a)设置深度神经网络A的初始参数；

第一卷积层中卷积核的大小为3x3，步长为1，卷积核个数为64，第一池化层大小为2x2，步长为2，第一激活层使用Relu激活函数；

第二卷积层中卷积核的大小为3x3，步长为1，卷积核个数为64，第二池化层大小为2x2，步长为2，第二激活层使用Relu激活函数；

第三卷积层中卷积核的大小为3x3，步长为1，卷积核个数为128，第三池化层大小为2x2，步长为2，第三激活层使用Relu激活函数；

第四卷积层中卷积核的大小为3x3，步长为1，卷积核个数为128，第四池化层大小为2x2，步长为2，第四激活层使用Relu激活函数；

第五卷积层中卷积核的大小为3x3，步长为1，卷积核个数为256，第五池化层大小为2x2，步长为2，第五激活层使用Relu激活函数；

Relu激活函数按照如下公式：

其中，x表示的是每个卷积层输出的结果；

步骤3b)将训练数据集的每一幅图像输入到深度神经网络A中，通过隐藏层对输入层的每一幅图像进行卷积，并对卷积结果进行激活，然后对激活结果进行池化；

步骤3c)将池化结果输送到全连接层，在最后一个全连接层进行分类，得到输出分类结果；

步骤3d)将全连接层输出的分类结果与输入层的图像数据集对比，通过误差分析调整深度神经网络A的权值参数W，得到训练后的深度神经网络B。

步骤4)建立深度神经网络B中图像特征的高斯混合模型Z₁：

步骤4a)提取深度神经网络B中倒数第二个全连接层输出的多个图像特征，组成图像特征集H；

步骤4b)通过Q个服从高斯分布的函数对图像特征集H进行建模，得到由Q个高斯模型组成的高斯混合模型Z，Q＞2；

步骤4c)从高斯混合模型Z中随机选取K个高斯模型，组成高斯混合模型Z₁，K＜Q，

步骤5)对高斯混合模型Z₁中的特征向量进行稀疏Fisher矢量编码：

步骤5a)提取高斯混合模型Z₁中图像特征集H的E个局部图像特征，并对每个局部图像特征对应的特征向量进行Fisher矢量编码，得到Fisher矢量编码后的特征向量X，X＝[x₁,x₂,...,x_i,...,x_E]∈R^D×E，其中x_i表示第i个Fisher矢量编码后的特征向量，R^D×E表示特征向量X所属向量空间，D表示特征向量的维度，D≥2，E≥2；

步骤5a1)指定概率密度函数为P(λ)，λ为服从P的参数；

步骤5a2)将提取的深度神经网络B倒数第二个全连接层的图像特征向量记为P，P＝[p₁,p₂,...,p_i,...,p_V]∈R^D×V，p_i表示第i个局部图像特征对应的特征向量，服从高斯分布的函数模型为U(μ_k,∑_k)，k＝1,2,...,n，R^D×V表示特征向量P所属向量空间，D表示特征向量的维度，V表示图像样本的数量，D≥2，V≥2，μ_k表示均值，∑_k表示方差；

步骤5a3)将图像的特征向量A转化为固定的梯度向量表示，任意选取T个图像特征向量，T≤V，X的梯度向量表示如下公式：

其中，u_λ表示参数为λ的似然密度函数p(X|λ)，λ表示梯度向量维度的大小。

步骤5b)对Fisher矢量编码后的特征向量X进行稀疏表示，得到稀疏Fisher矢量编码后的特征向量Y，Y＝[y₁,y₂,...,y_i,...,y_E]∈R^D×E，y_i表示每个局部特征对应的稀疏Fisher特征向量，对特征向量x_i的稀疏公式定义如下：

其中，S＝[s₁,s₂,...,s_i,...,s_F]∈R^D×F表示基向量集，R^D×F表示基向量空间，集F表示的是基向量的数量，F＞D，||y_i||_l1表示稀疏惩罚项，|| ||_l1表示取值为1范数，β为稀疏惩罚项系数，选取K个服从高斯分布的函数模型U(μ_j,∑_j)，组成高斯混合模型Z₁，Z₁的表示如下公式：

其中，λ＝{w_j,μ_j,∑_j,j＝1,2,...,K}，

p_j(x_e|λ)表示高斯分布的概率值，w_j是权值参数，

μ_j表示均值，∑_j表示方差。

步骤6)对深度神经网络B进行训练：

步骤7)获取图像分类结果：

以下结合仿真实验，对本发明的技术效果作进一步说明：

1.仿真条件：

本发明仿真实验需要使用GPU，型号为GeForce1080，实验仿真时使用的编程软件是MATLAB R2015a，Python3.5，Tensorflow1.3，keras2.0。计算机系统为Windows7的64位系统，硬件平台为CPU E5-2620.2.0GHz，内存是64G。

2.仿真内容和结果分析：

对本发明和现有技术名称为“一种基于深度学习的图像分类方法”的专利分类的准确率进行对比仿真，其结果如表格1所示。表格的第一列是不同的图像分类方法名称，现有技术是一种基于深度学习的图像分类方法，本发明采用一种深度网络和稀疏Fisher矢量的图像分类方法，第二列是不同图像分类方法的结果，用评价指标准确率MAP表示。由表格1的数据可以看出，在现有技术和本发明提出的深度网络和稀疏Fisher矢量编码的方法比较下，本发明的算法是有较不错的性能。

表格1

分类方法	MAP
		现有技术	43.64％
本发明	46.63％

综上，与现有技术相比，本发明利用深度网络训练一个适用数据集的权值参数，然后提取第二个全连接层的图像特征，对提取的图像特征建立高斯模型，利用稀疏Fisher矢量编码的方法对图像特征进行编码，有效的去除了图像特征中的冗余成分，能够获得更有效的图像特征信息，而且有利于高维数据的降维，与现有技术相比，有效提高了图像分类的准确率，同时提高了图像分类效率。

Claims

1.一种基于深度网络和稀疏Fisher矢量的图像分类方法，其特征在于，包括如下步骤：

(1)获取训练数据集和待分类数据集：

(2)构建深度神经网络A：

(3)对深度神经网络A进行训练：

(4)建立深度神经网络B中图像特征的高斯混合模型Z₁：

(5)对高斯混合模型Z₁中的特征向量进行稀疏Fisher矢量编码：

(5a)提取高斯混合模型Z₁中图像特征集H的E个局部图像特征，并对每个局部图像特征对应的特征向量进行Fisher矢量编码，其中x_i表示第i个Fisher矢量编码后的特征向量，R^D ^×E表示特征向量X所属向量空间，D表示特征向量的维度，D≥2，E≥2；

(6)对深度神经网络B进行训练：

(7)获取图像分类结果：

2.根据权利要求1所述的基于深度网络和稀疏Fisher矢量的图像分类方法，其特征在于，步骤(2)中所述的深度神经网络A，其具体结构为：

输入层→第一卷积层→第一激活层→第一池化层→第二卷积层→第二激活层→第二池化层→第三卷积层→第三激活层→第三池化层→第四卷积层→第四激活层→第四池化层→第五卷积层→第五激活层→第五池化层→第一全连接层→第二全连接层→第三全连接层。

3.根据权利要求2所述的基于深度网络和稀疏Fisher矢量的图像分类方法，其特征在于，步骤(3)中所述的对深度神经网络A进行训练，实现步骤为：

(3a)设置深度神经网络A的初始参数；

Relu激活函数按照如下公式：

其中，x表示的是每个卷积层输出的结果；

(3b)将训练数据集的每一幅图像输入到深度神经网络A中，通过隐藏层对输入层的每一幅图像进行卷积，并对卷积结果进行激活，然后对激活结果进行池化；

(3c)将池化结果输送到全连接层，在最后一个全连接层进行分类，得到输出分类结果；

(3d)将全连接层输出的分类结果与输入层的图像数据集对比，通过误差分析调整深度神经网络A的权值参数W，得到训练后的深度神经网络B。

4.根据权利要求1所述的基于深度网络和稀疏Fisher矢量的图像分类方法，其特征在于，步骤(4b)中所述的通过Q个服从高斯分布的函数对图像特征集H进行建模，得到由Q个高斯模型组成的高斯混合模型Z，实现步骤为：

(4b1)指定概率密度函数为P(λ)，λ为服从P的参数；

(4b2)将提取的深度神经网络B倒数第二个全连接层的图像特征向量记为P，P＝[p₁,p₂,...,p_i,...,p_V]∈R^D×V，p_i表示第i个局部图像特征对应的特征向量，服从高斯分布的函数模型为U(μ_k,∑_k)，k＝1,2,...,n，R^D×V表示特征向量P所属向量空间，D表示特征向量的维度，V表示图像样本的数量，D≥2，V≥2，μ_k表示均值，∑_k表示方差；

(4b3)将图像的特征向量P转化为固定的梯度向量表示，任意选取T个图像特征向量，T≤V，X的梯度向量表示如下公式：

5.根据权利要求1所述的基于深度网络和稀疏Fisher矢量的图像分类方法，其特征在于，步骤(4c)中所述的从高斯混合模型Z中随机选取K个高斯模型，组成高斯混合模型Z₁，K＜Q，

具体实现方法为：

选取K个服从高斯分布的函数模型U(μ_j,∑_j)，j＝1,2,...,K，组成高斯混合模型Z₁，Z₁表示如下公式：

其中，λ＝{w_j,μ_j,∑_j,j＝1,2,...,K}，K＜V，

p_j(x_e|λ)表示高斯分布的概率值，w_j是权值参数，

μ_j表示均值，∑_j表示方差。