CN109919242A - 一种基于深度特征和联合稀疏的图像目标识别方法 - Google Patents

Abstract

本发明公开了一种基于深度特征和联合稀疏的图像目标识别方法。该方法首先将训练样本和测试样本采用CNN提取深度特征，转换成一维列向量，分别组成一个特征向量集；再计算训练样本特征集中各个特征向量的贡献权值，自适应加权重构特征向量；由于CNN提取的特征较多，造成特征维数偏大，故使用PCA方法进行降维处理，再利用联合稀疏模型得到训练样本特征集中每一类图像的公有特征和每个图像的私有特征，构成联合特征字典，使得字典具有更好的判别能力，最后进行稀疏表示分类。提高图像目标识别的精度。

Description

一种基于深度特征和联合稀疏的图像目标识别方法

技术领域

本发明属于图像识别算法领域，具体涉及一种基于深度特征和联合稀疏的图像目标识别方法。

背景技术

图像识别是一种用于识别图像目标对象的技术，是人工智能的一个重要领域。简单来说，图像目标识别就是通过事先存储的图像信息与当前要检测的图像信息进行比较，实现对图像的识别。广泛应用在卫星遥感、生物医学、目标跟踪、军事、公安、交通等领域。

稀疏表示在信号处理、图像处理、计算机视觉和模式识别等领域有着自己独特的优势。基于稀疏表示的图像识别可分为两个部分：稀疏表示和分类识别。首先构建一个字典，对测试样本进行表示，再利用稀疏表示系数和字典分类识别。Wright等人在2009年首次提出一个基于稀疏表示的分类器(Sparse Representation based Classifier,SRC)，具体来说就是将原始的训练样本作为字典来线性表示测试样本，再通过范数求解测试样本的稀疏表示系数，然后利用稀疏表示系数和训练样本计算各类的重构残差，最后根据最小重构残差将测试样本分类，取得了较好的分类效果。但是随着技术的发展，单纯的SRC已经不能满足人们对图像目标识别的需求。

卷积神经网络(CNN)是一种深度的监督学习下的机器学习模型，利用CNN来进行图像识别，可以直接将图像数据作为输入，不需要人工再对图像进行预处理和额外的特征抽取，并且能取得了很好的识别效果。CNN善于挖掘数据局部特征，提取全局训练特征，能自行提取包括纹理、形状、颜色及图像的拓扑结构等多种图像特征，故CNN也非常适合用来作为提取图像特征的工具。

经检索，类似发明有，中国专利申请号2014100110800，申请公布日为2014年1月10日，发明创造名称为：图像识别方法。该申请案设计一种识别应用水平和垂直条纹交织的明暗阴影来表示字符的图片的图像识别方法，包括以下步骤：S1、对所述图像进行灰度处理和二值化处理已获得由第一颜色和第二颜色组成的处理图像并识别矩形；S2、将相互连接的所述矩形组成矩形区域；S3、若第一像素区域除所述像素以外的周围区域中第一颜色的像素的数量大于第二颜色的像素数量则所述像素为第一颜色，若周围区域中第一颜色的像素的数量小于第二颜色的像素数量则所述像素为第二颜色；S4、将矩形区域设为第一颜色；S5、划分处理图像已获得单个字符图像；S6、就散每一单个字符图像的特征值并根据特征值在字符样本库中获取特征值最接近的字符作为单个字符图像对应的字符。该申请案提出了一种高质量的图像字符识别方法，但其不足之处在于：该申请案的一种识别应用水平和垂直条纹交织的明暗阴影来表示字符的图片的图像识别方法，将图像进行灰度处理和二值化处理，再统计第一颜色和第二颜色的像素数，增加了图像预处理的复杂度，易增大识别误差。

发明内容

本文提出一种结合深度特征和联合稀疏模型的图像目标识别方法，首先利用卷积神经网络(CNN)提取训练样本和测试样本的深度特征，转换成一维特征向量，构建各自的特征向量集，并通过计算各特征向量的贡献权值自适应加权重构特征向量；针对深度特征的高维问题，我们采用PCA方法进行降维处理；再结合联合稀疏模型，从重构和降维处理之后的训练样本特征集中提取出每一类图像的公有特征和每个图像的私有特征，构建联合特征字典，最后利用稀疏表示分类方法(SRC)分类。本文算法框架如图1所示。

附图说明

图1为算法框图；

图2为VGG19网络结构图；

图3为深度特征图。

具体实施方式

下面结合附图对本发明进行详细描述。

深度特征提取

卷积神经网络(CNN)中层次之间的紧密联系和空间信息使得它特别适用于图像的处理和理解，并且能够自动的从图像中提取出丰富的相关特征。在CNN中，图像中的局部感知区域会被当做层次结构中底层的输入数据，信息可以通过前向传播到达网络中的各个层，并且每一层都由过滤器构成，使得它能够获得观测数据的一些显著特征。而局部区域感知还能够发现数据的一些局部特征，比如图片上的一个角或者一段弧，因此本发明采用CNN来提取图像的深度特征。

本发明特征提取采用的卷积神经网络架构是VGG19，它的网络结构如图2所示。

通过对每一层提取的特征进行对比可以发现，卷积神经网络浅层网络提取的大多是纹理、细节特征，而深层网络提取的是轮廓、形状等特征。相对而言，层数越深，提取的特征就越具有代表性，但是特征图的分辨率会越来越小。图3为提取的特征图示例，左边为原图，右上方为第一层提取的特征，右下为第二层提取的特征。

联合稀疏模型

联合稀疏模型(Joint Sparsity Model,JSM)最开始是用于分布式压缩感知(Distributed Compressed Sensing，DCS)场景中，针对每个信号在某些基上单独稀疏，然后独立编码并联合重构。在JSM中，提出根据信号内和信号间的相关性，可以把一组相关的信号看成是一个信号集，那么信号集中所有信号共享一个共同的稀疏分量，而每个单独的信号包含一个稀疏创新分量。即每一个信号都可以由所属类信号的公有特征和自己的私有特征联合表示出来，并且，公有特征和私有特征都能在同一个稀疏基上稀疏表示。如下式，

x_j＝z_c+z_j,j∈{1,2,3,…,J}

假设所有图像可以分成K类,每一类有J个训练图像，那么第i类的第j个图像就可以表示为x_i,j，如果把一个图像表示成一个一维列向量x∈R^N×1，则第i类的图像就可以表示为y_i＝[x_i,1,x_i,2,……,x_i,J]^T，那么根据JSM1，第i类第j个图像就可以表示成 表示第i类图像的公有特征，表示第i类第j个图像的私有特征。再寻找一个能让训练图像在上面稀疏表示的正交基Ψ∈R^N×N,上式就可以转换成即，

其中θ_i,_j为x_i,_j在变换基Ψ上的稀疏表示，和分别表示公有部分和私有部分在Ψ上的稀疏表示。如果给上式两边同时左乘Ψ^T，就得到则第i类图像可以联合表示为

其中y_i＝[x_i,1,x_i,2,……,x_i,J]^T，为过完备字典，由两部分组成，即其中A＝[Ψ^TΨ^T…Ψ^T]^T∈R^(JN)×N，B＝diag(A)∈R^(JN)×(JN)，而且W_i中保留着判别信息，根据字典的冗余性，它的稀疏表示可以通过求解下式l₁最小化问题得到，即

W_i＝argmin||W_i||₁s.t.

求得W_i之后，就可以根据逆变换求得第i类所有图像在Ψ域上的公有特征和每一个图像的私有特征，即

自适应加权重构

利用CNN提取一幅图像的多个特征向量F＝[F₁,F₂,…,F_n]^T，再对特征向量做如下变换，

其中，再用变换过的特征向量构建普通字典。上式能自适应地对每一个特征向量元素进行加权重构，并进行了归一化处理，在一定程度上增加了特征向量的标准差或方差，使得由深度特征向量作为原子构成的深度特征字典包含更多的识别信息，提高了识别效率。但是CNN提取的特征维度较高，所以需要再利用PCA对深度特征字典进行降维操作，压缩数据，减少冗余。

具体步骤

本发明利用CNN提取深度特征向量代替传统的样本向量作为字典的原子，构建深度特征字典，再对特征向量进行了加权重构，用以提高字典的判别能力；并使用PCA方法进行降维，再使用联合稀疏模型，提取出重构和降维处理之后的训练样本集中每一类样本的公有特征和每个样本的私有特征，组成联合特征字典；最后结合SRC，在联合特征字典上对测试样本进行稀疏重构，根据重构误差进行分类识别。主要步骤如下：

(1)利用VGG19网络提取图像的深度特征向量，分别构建深度特征字典。

(2)对字典中特征向量进行自适应加权重构，提高特征字典的判别能力，并采用PCA方法对重构后的字典做降维处理。

(3)提取重构和降维处理之后训练样本集中每一类图像的公有特征和每个图像的私有特征，把所有公有特征组成一个矩阵Q，所有私有特征组成一个矩阵H，构成联合特征字典D，

(4)在联合特征字典上对处理后的测试样本特征图y稀疏表示，求出稀疏系数x′，重构测试样本特征图像y，再根据重构误差最小准则得出识别结果，

Claims (4)

1.一种基于深度特征和联合稀疏的图像目标识别方法，其特征在于，包括：

在传统稀疏表示分类的基础上，采用卷积神经网络提取样本的深度特征；

构建深度特征字典；

再结合联合稀疏模型，提取训练样本的公有特征和私有特征，组成联合特征字典，用以稀疏表示分类。

2.根据权利要求1所述的图像目标识别方法，其特征在于，利用卷积神经网络提取深度特征代替传统的特征作为原子构建字典。

3.根据权利要求1所述的图像目标识别方法，其特征在于，采用联合稀疏模型，提取每类训练样本的公有特征和每一个训练样本的私有特征，构建联合稀疏字典。

4.根据权利要求1所述的图像目标识别方法，其特征在于，对字典原子计算稀疏表示时的贡献权值，自适应加权重构字典原子，提高了字典的判别能力。