CN107330463A - 基于cnn多特征联合和多核稀疏表示的车型识别方法 - Google Patents

Abstract

基于CNN多特征联合和多核稀疏表示的车型识别方法，利用智能交通相机拍摄包括复杂场景下的车辆图像，首先对车辆图像进行预处理，然后基于CNN中AlexNet网络，设计5个卷积层与3个全连接层自动提取车辆的全局与局部特征，将第1,2,5池化层和第6,7全连接层的特征图按列拉伸后作为车辆特征分量分别输入到5个不同的单核函数中，并通过加权融合形成一个联合特征矩阵；然后基于多核学习和稀疏表示算法，求解每个核函数的权值和联合特征矩阵的投影矩阵，最后根据核稀疏最小重构误差实现对车辆类型的识别。本发明能够实时进行车型识别，提取出需要的交通流信息，解决交通拥堵问题，有利于公路网的总体规划及道路建设。

Description

基于CNN多特征联合和多核稀疏表示的车型识别方法

技术领域

本发明属于智能交通系统中的车型识别领域，具体涉及一种基于CNN多特征联合和多核稀疏表示的车型识别方法。

背景技术

卷积神经网络(CNN)当前已经成为图像识别领域的研究热点，由于其识别率高等优点，卷积神经网络也逐渐运用到车型识别中。但在一般情况下，都是使用卷积神经网络的深层提取的特征进行分类器训练，而这些特征可能并没有包含足够多的有用信息来实现图像的正确分类。研究表明，卷积神经网络的浅层抽取的是图像局部的特征，这些特征更精细且包含更多的细节信息，而深层抽取的是图像全局性的特征，这些特征具有显著的差异，有更加稳定的模式和结构。如果将卷积神经网络的浅层特征和深层特征联合起来，将会使图像特征更加丰富，会大幅提高图像识别率和鲁棒性。

核学习方法目前已经成功应用于图像处理领域，但大多数核学习方法是基于单核的方法，由于不同核函数的性能表现差异很大，且单核学习方法不能满足如数据异构、数据不规则、样本不平坦等情况下的应用需求，不能有效整合异质数据背后隐藏的信息。如果使用多核学习充分利用不同核函数的性能，能够有效解决多维数据不规则或数据在高维特征空间分布的不平坦等情况。

发明内容

本发明的针对现有技术中的不足，提供一种基于CNN多特征联合和多核稀疏表示的车型识别方法。

为实现上述目的，本发明采用以下技术方案：

1)采集车辆图像，将采集到的车辆图像分为训练样本和测试样本，对车辆图像进行预处理，调整图片像素，并对图片添加标签，标注图像的所属车型类别，其中，训练样本表示为X＝[x₁，x₂，…，x_n]，n表示训练样本个数，测试样本表示为y；

2)基于CNN自动提取样本各层级的车辆图像特征，得到车辆特征向量；

3)对车辆特征向量进行基于多核的非线性映射，转换到高维的特征空间；

4)对高维的特征空间进行样本空间转换，减少核空间特征参数的维数；

5)优化约束函数，求解稀疏表示系数向量；

6)定义满足类间重构误差最大且类内重构误差最小的目标函数；

7)优化求解核函数权值和投影系数矩阵；

8)基于求得的核函数权值和投影系数矩阵，根据测试样本的核稀疏最小重构误差实现对车辆类型的识别。

为优化上述技术方案，采取的具体措施还包括：

步骤2)中：

基于CNN中AlexNet网络，设计5个卷积层与3个全连接层：层15是卷积层，提取车辆的局部特征，其中，层1、2、5在卷积滤波后有池化层；层67是全连接层，提取车辆的全局特征；

利用CNN网络对训练样本进行训练，从CNN网络提取第1、2、5池化层和第6、7全连接层每一层的特征分量F_t，t＝1，2，3，4，5，F₁，F₂，F₃，F₄，F₅分别对应第1、2、5、6、7层的特征分量，车辆特征分量经加权联合后得到车辆联合特征向量F＝(F₁，F₂，…，F₅)。

步骤3)中：

将车辆特征分量F_t分别输入到不同的基础单核函数κ_m中，核函数包括三个高斯核和两个线性核，κ₁，κ₂，κ₃为高斯核， σ表示函数的宽度参数；κ₄，κ₅为线性核，κ₄(x_i，x_j)＝x_i ^Tx_j，κ₅(x_i，x_j)＝(1+x_i ^Tx_j)，i和j均为整数，i∈{1，2，...，n}，j∈{1，2，...，n}；

通过加权融合形成一个多核矩阵m是整数，m∈{1，2，…，M}，M＝5，β表示加权融合过程中的核权重值；

基于多核矩阵对训练样本和测试样本进行非线性匹配，将原始特征空间转换到高维特征空间H₀，在空间H₀上训练样本矩阵表示为φ(X)＝[φ(x₁)，φ(x₂)，…，φ(x_n)]，测试样本表示为φ(y)。

步骤4)中：

将转换到高维特征空间H₀的特征参数乘以一个低维的投影矩阵P，减少核空间特征参数的维数，P＝[P₁，P₂，…，P_d]∈R^m×d，d是投影空间的维数。

步骤5)中：

基于稀疏编码理论利用l-2范数约束优化求解，得到稀疏表示系数向量α，约束优化公式为：

其中，λ≥0，表示为了避免过拟合加入的正则项，通过交叉验证来选择大小；矩阵A是投影矩阵P的系数矩阵，P＝φ(X)A；K_m(i，y)＝κ_m(x_i，y)；K_m(i，j)＝κ_m(x_i，x_j)，i和j均为整数，i∈{1，2，...，n}，j∈{1，2，...，n}。

步骤6)中：

定义满足类间重构误差最大且类内重构误差最小的目标函数F(A，β)：

其中，I为单位矩阵；J_b＝tr(A^TK_βS_bK_βA)，tr(·)表示矩阵的迹；

S_b为类间散度矩阵，e_i是第i个元素为1其他元素为0的n维单位向量，α_i表示第i个训练样本的稀疏表示系数向量，δ_s(α_i)是一个n维向量，它的非零元素由矩阵α_i中跟除第l_i类以外关联的位置元素组成，而跟第l_i类关联的位置元素为0，l_i表示车辆的类别，c为训练样本的类别个数；

J_w＝tr(A^T(K_βS_wK_β+λI)A)，S_w为类内散度矩阵 是一个n维向量，它的非零元素由矩阵α_i中跟第l_i类关联的位置元素组成，除第l_i类以外的其他位置元素均为0。

步骤7)中：

优化求解核函数权值β和投影系数矩阵A，将目标函数转化为：

其中，ρ表示给定一个A和β后的极大值，

采用交替迭代的方法进行优化求解，重复迭代次数直到收敛，具体如下：

优化求解A：

固定β，则目标函数为：

使用最小角回归算法求得最优解A；

优化求解β：

固定A，则目标函数为：

定义一个关于β的函数h(β)＝tr(A^T(K_βS_bK_β-ρK_βS_wK_β-ρλI)A)；

对其求偏导

通过解二次规划问题其中z是β在方向上的映射，优化求解β。

步骤8)中：

使用最小重构误差根据稀疏表示系数向量α分类样本y，重构误差表示为l＝1，2，…，c；

根据公式进行车型识别分类。

本发明的有益效果是：

1、采用基于计算机视觉技术的方法，安装维护方便，不影响路面寿命，不影响交通，而且所用设备少，具有成本低，鲁棒性好，安全性高等优点；

2、将多特征联合引入到基于核稀疏表示的车型识别中，使得在不同层所产生的特征分量的优势得到更充分和合理的利用；

3、多核学习较单核学习能够解决样本规模较大，多维数据不规则或数据在高维特征空间分布的不平坦的情况。

附图说明

图1是本发明的总体流程图。

图2是本发明AlexNet网络结构图。

图3是本发明联合车辆局部与全局特征流程图。

图4是本发明多核稀疏学习算法流程图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

如图1所示的基于CNN多特征联合和多核稀疏表示的车型识别方法，利用CNN网络提取车辆的全局与局部特征，并通过多核加权联合引入到基于稀疏表示的车型识别中，使浅层和深层网络的特征优势得到更充分和合理的利用，且多核学习使得不同核函数的性能表现更加突出，从而能够大大提高车型识别的准确率和鲁棒性，具体步骤如下。

步骤1：车辆图像采集与预处理

利用智能交通相机拍摄包括复杂场景下的大型客车、卡车、面包车和小轿车四种车型图像，总共采集3000张车辆图像，其中2000张为训练样本，1000张为测试样本。

首先对车辆图像进行预处理，图片大小统一调整为224×224像素，并对图像添加标签，标注该图像所属车型类别，有大型客车、卡车、面包车和小轿车四种类别。其中，训练样本表示为X＝[x₁，x₂，…，x_n]，n表示训练样本个数，测试样本用y表示。

步骤2：CNN自动提取样本各层级的车辆图像特征

基于CNN中AlexNet网络，AlexNet网络结构图如图2所示，设计5个卷积层与3个全连接层，自动提取车辆的全局与局部特征。局部特征主要是浅层网络提取的一些边缘、角落等简单特征，全局特征主要是深层网络提取的具有显著差异的复杂特征。

Layer1-Layer5是卷积层，主要提取局部特征，其中Layer1、Layer2和Layer5三层卷积滤波后有池化层。Layer1中，卷积滤波后输出是96个55×55大小的图片，卷积滤波后，还接有池化层，池化后的图像大小为96×27×27；Layer2中，卷积滤波后图像大小为256×27×27，池化后的图像大小为256×13×13；Layer5中，池化后的图像大小为256×6×6。

Layer6和Layer7是全连接层，主要提取全局特征，相当于在卷积层的基础上再加上一个全连接神经网络分类器。

利用设计好的CNN网络对训练样本进行训练，从CNN网络提取第1、2、5池化层和第6、7全连接层每一层的特征分量F_t，t＝1，2，3，4，5，车辆特征分量经加权联合后得到车辆联合特征向量F＝(F₁，F₂，…，F₅)。图3是提取车辆的局部和全局特征加权形成联合特征的流程图。

步骤3：基于多核的非线性映射

将第1、2、5池化层和第6、7全连接层的车辆特征分量F_t分别输入到不同的基础单核函数κ_m中，此处使用的核函数是三个高斯核和两个线性核，κ₁，κ₂，κ₃为高斯核，σ表示函数的宽度参数，其中 κ₄，κ₅为线性核，κ₄(x_i，x_j)＝x_i ^Tx_j，κ₅(x_i，x_j)＝(1+x_i ^Tx_j)，i和j均为整数，i∈{1，2，...，n}，j∈{1，2，...，n}。

然后通过加权融合形成一个多核矩阵m是整数，m∈{1，2，…，M}，M＝5，β表示加权融合过程中的核权重值。

基于多核矩阵对样本进行非线性匹配，转换到高维的Hilbert空间，即将原始特征空间转换到高维特征空间H₀，在空间H₀上训练样本矩阵可以表示为φ(X)＝[φ(x₁)，φ(x₂)，…，φ(x_n)]，测试样本表示为φ(y)。

步骤4：样本空间转换

为了减少分类器训练的难度，将转换到高维Hilbert空间的特征参数乘以一个低维的投影矩阵P，以减少核空间特征参数的维数，P＝[P₁，P₂，…，P_d]∈R^m×d，d是投影空间的维数，d＝128。

步骤5：优化约束函数，求解稀疏表示系数向量α

多核稀疏学习算法流程图如图4所示。

基于稀疏编码理论利用l-2范数约束优化求解，得到稀疏表示系数向量α，约束优化公式为：

其中，λ≥0，表示为了避免过拟合而加入的一个正则项，通过交叉验证来选择大小，本专利选取λ＝0.01；矩阵A是投影矩阵P的系数矩阵，P＝φ(X)A；K_m(i，y)＝κ_m(x_i，y)；K_m(i，j)＝κ_m(x_i，x_j)，i和j均为整数，i∈{1，2，...，n}，j∈{1，2，...，n}；

步骤6：定义满足类间重构误差最大且类内重构误差最小的目标函数

定义满足类间重构误差最大且类内重构误差最小的目标函数F(A，β)：

其中，I为单位矩阵；J_b＝tr(A^TK_βS_bK_βA)，tr(·)表示矩阵的迹；

S_b为类间散度矩阵，e_i是第i个元素为1其他元素为0的n维单位向量，α_i表示第i个训练样本的稀疏表示系数向量，δ_s(α_i)是一个n维向量，它的非零元素由矩阵α_i中跟除第l_i类以外关联的位置元素组成，而跟第l_i类关联的那个位置的元素均为0，l_i表示车辆的类别，c为训练样本的类别个数。

J_w＝tr(A^T(K_βS_wK_β+λI)A)，为了避免过拟合，此处在求解过程中引入一个正则项λ′I，以确保K_βS_wK_β+λ′I是满秩矩阵，λ′＝0.01；S_w为类内散度矩阵 是一个n维向量，它的非零元素由矩阵α_i中跟第l_i类关联的位置元素组成，除第l_i类以外的其他位置元素均为0。

步骤7：优化求解核函数权值β和投影系数矩阵A

目标函数(2)可转化为：

其中，ρ表示给定一个A和β后的极大值，ρ＝20。此处采用交替迭代的方法进行优化求解，即先固定β，优化A；然后固定A，再优化β。重复迭代次数直到达到收敛，收敛精度为0.0001或达到最大迭代次数10次。

1)优化求解A：固定β，则目标函数为：

然后使用最小角回归算法(Least Angle Regression，LARS)求得最优解A。

2)优化求解β：固定A，则目标函数为：

目标函数(5)不是一个凸优化问题，只能解得一个局部最优解，因此定义一个关于β的函数h(β)＝tr(A^T(K_βS_bK_β-ρK_βS_wK_β-ρλI)A)。

对其求偏导所以优化求解β通过解二次规划问题其中z是β在方向上的映射。

步骤8：车型识别

基于求得的核函数权值和投影系数矩阵，根据测试样本的核稀疏最小重构误差实现对车辆类型的识别。

使用最小重构误差根据稀疏表示系数向量α分类样本y，重构误差表示为l＝1，2，…，c，c表示样本的类别个数，分别表示大型客车、卡车、面包车和小轿车四种车型。

最终根据公式进行车型识别分类，若显示测试样本与大型客车那一类样本的重构误差e_l最小，则将测试图片中的车型认为是大型客车；若显示测试样本与卡车那一类样本的重构误差e_l最小，则将测试图片中的车型认为是卡车；若显示测试样本与面包车那一类样本的重构误差e_l最小，则将测试图片中的车型认为是面包车；若显示测试样本与轿车那一类样本的重构误差e_l最小，则将测试图片中的车型认为是轿车。到此，则完成了车型的识别。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种基于CNN多特征联合和多核稀疏表示的车型识别方法，包括以下步骤：

1)采集车辆图像，将采集到的车辆图像分为训练样本和测试样本，对车辆图像进行预处理，调整图片像素，并对图片添加标签，标注图像的所属车型类别，其中，训练样本表示为X＝[x₁，x₂，…，x_n]，n表示训练样本个数，测试样本表示为y；

2)基于CNN自动提取样本各层级的车辆图像特征，得到车辆特征向量；

3)对车辆特征向量进行基于多核的非线性映射，转换到高维的特征空间；

4)对高维的特征空间进行样本空间转换，减少核空间特征参数的维数；

5)优化约束函数，求解稀疏表示系数向量；

6)定义满足类间重构误差最大且类内重构误差最小的目标函数；

7)优化求解核函数权值和投影系数矩阵；

8)基于求得的核函数权值和投影系数矩阵，根据测试样本的核稀疏最小重构误差实现对车辆类型的识别。

2.如权利要求1所述的一种基于CNN多特征联合和多核稀疏表示的车型识别方法，其特征在于：步骤2)中：

基于CNN中AlexNet网络，设计5个卷积层与3个全连接层：层1-5是卷积层，被用来提取车辆的局部特征，其中，层1、2、5在卷积滤波后有池化层；层6-7是全连接层，被用来提取车辆的全局特征；

利用CNN网络对训练样本进行训练，从CNN网络提取第1、2、5池化层和第6、7全连接层每一层的特征分量F_t，t＝1，2，3，4，5，F₁，F₂，F₃，F₄，F₅分别对应第1、2、5、6、7层的特征分量，车辆特征分量经加权联合后得到车辆联合特征向量F＝(F₁，F₂，…，F₅)。

3.如权利要求2所述的一种基于CNN多特征联合和多核稀疏表示的车型识别方法，其特征在于：步骤3)中：

将车辆特征分量F_t分别输入到不同的基础单核函数κ_m中，核函数包括三个高斯核和两个线性核，κ₁，κ₂，κ₃为高斯核， σ表示函数的宽度参数；κ₄，κ₅为线性核，κ₄(x_i，x_j)＝x_i ^Tx_j，κ₅(x_i，x_j)＝(1+x_i ^Tx_j)，i和j均为整数，i∈{1，2，...，n}，j∈{1，2，...，n}；

通过加权融合形成一个多核矩阵m是整数，m∈{1，2，…，M}，M＝5，β表示加权融合过程中的核权重值；

基于多核矩阵对训练样本和测试样本进行非线性匹配，将原始特征空间转换到高维特征空间H₀，在空间H₀上训练样本矩阵表示为φ(X)＝[φ(x₁)，φ(x₂)，…，φ(x_n)]，测试样本表示为φ(y)。

4.如权利要求3所述的一种基于CNN多特征联合和多核稀疏表示的车型识别方法，其特征在于：步骤4)中：

将转换到高维特征空间H₀的特征参数乘以一个低维的投影矩阵P，减少核空间特征参数的维数，P＝[P₁，P₂，…，P_d]∈R^m×d，d是投影空间的维数。

5.如权利要求4所述的一种基于CNN多特征联合和多核稀疏表示的车型识别方法，其特征在于：步骤5)中：

基于稀疏编码理论利用l-2范数约束优化求解，得到稀疏表示系数向量α，约束优化公式为：

其中，λ≥0，表示为了避免过拟合而加入的正则项，通过交叉验证来选择大小；矩阵A是投影矩阵P的系数矩阵，P＝φ(X)A；K_m(i，y)＝κ_m(x_i，y)；K_m(i，j)＝κ_m(x_i，x_j)，i和j均为整数，i∈{1，2，...，n}，j∈{1，2，...，n}。

6.如权利要求5所述的一种基于CNN多特征联合和多核稀疏表示的车型识别方法，其特征在于：步骤6)中：

定义满足类间重构误差最大且类内重构误差最小的目标函数F(A，β)：

<mrow> <mtable> <mtr> <mtd> <mi>max</mi> </mtd> <mtd> <mrow> <mi>F</mi> <mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msub> <mi>J</mi> <mi>b</mi> </msub> <msub> <mi>J</mi> <mi>w</mi> </msub> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msup> <mi>A</mi> <mi>T</mi> </msup> <msub> <mi>K</mi> <mi>&amp;beta;</mi> </msub> <mi>A</mi> <mo>=</mo> <mi>I</mi> <mo>,</mo> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </msubsup> <msub> <mi>&amp;beta;</mi> <mi>m</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msub> <mi>&amp;beta;</mi> <mi>m</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow>

其中，I为单位矩阵；J_b＝tr(A^TK_βS_bK_βA)，tr(·)表示矩阵的迹；

S_b为类间散度矩阵，e_i是第i个元素为1其他元素为0的n维单位向量，α_i表示第i个训练样本的稀疏表示系数向量，δ_s(α_i)是一个n维向量，它的非零元素由矩阵α_i中跟除第l_i类以外关联的位置元素组成，而跟第l_i类关联的位置元素为0，l_i表示车辆的类别，c为训练样本的类别个数；

J_w＝tr(A^T(K_βS_wK_β+λI)A)，S_w为类内散度矩阵 是一个n维向量，它的非零元素由矩阵α_i中跟第l_i类关联的位置元素组成，除第l_i类以外的其他位置元素均为0。

7.如权利要求6所述的一种基于CNN多特征联合和多核稀疏表示的车型识别方法，其特征在于：步骤7)中：

优化求解核函数权值β和投影系数矩阵A，将目标函数转化为：

其中，ρ表示给定一个A和β后的极大值，

采用交替迭代的方法进行优化求解，重复迭代次数直到收敛，具体如下：

优化求解A：

固定β，则目标函数为：

使用最小角回归算法求得最优解A；

优化求解β：

固定A，则目标函数为：

定义一个关于β的函数h(β)＝tr(A^T(K_βS_bK_β-ρK_βS_wK_β-ρλI)A)；

对其求偏导

通过解二次规划问题其中z是β在方向上的映射，优化求解β。

8.如权利要求7所述的一种基于CNN多特征联合和多核稀疏表示的车型识别方法，其特征在于：步骤8)中：

使用最小重构误差根据稀疏表示系数向量α分类样本y，重构误差表示为

根据公式进行车型识别分类。