CN110516547B - 一种基于加权非负矩阵分解的套牌车辆检测方法 - Google Patents

Abstract

一种基于加权非负矩阵分解的套牌车辆检测方法：设计的套牌车辆识别系统工作原理如下：首先，通过交通卡口处摄像头对过往车辆进行图像采集。其次，分割出图像中的车脸区域与车牌区域。再次，依据识别模型获取车牌信息。最后，比对数据库中车脸图像与采集车脸图像之间的相似性，并作出决策，即如果两幅图像车牌信息相同，但车脸图像不匹配，意味着采集图像中的车辆为套牌车。如果两幅图像车牌信息相同，车脸图像也匹配，意味着采集图像中车辆为正常车。如果数据库中没有包含该车牌信息，则不作任何决策。本方法为自动检测方法可以快速的识别套牌车，减少工作人员负担。

Description

一种基于加权非负矩阵分解的套牌车辆检测方法

技术领域

本发明属于模式识别与计算机视觉领域，特别涉及一种基于加权非负矩阵分解的套牌车辆检测方法。

背景技术

汽车数量的快速增长导致了套牌违法行为呈多发态势，许多交通卡口不得不增加摄像头对该违法行为加以监控。随着监控视频数量的大幅度增加，传统人工查看视频的方法因效率低下，已很难对发生的套牌违法行为作出及时处理，因此，设计一种套牌车辆自动检测方法是具有重要意义的。由于监控摄像头安装位置与角度的特殊性，车辆中仅仅车脸区域可以被采集到。很显然，车脸区域图像相对于整车图像包含更少的有效特征，给多类别车辆识别带来的一定困难。

发明内容

本发明的目的在于提供一种基于加权非负矩阵分解的套牌车辆检测方法，面对多类别车脸图像数据，基于非负矩阵分解思想，建立出描述图像中若干关键区域的特征基，如车栅、车灯和后视镜等，并通过特征基线性叠加对任意车脸图像做出准确描述，进而实现套牌车辆的自动检测。

一种基于加权非负矩阵分解的套牌车辆检测方法：设计的套牌车辆识别系统工作原理如下：首先，通过交通卡口处摄像头对过往车辆进行图像采集。其次，分割出图像中的车脸区域与车牌区域。再次，依据识别模型获取车牌信息。最后，比对数据库中车脸图像与采集车脸图像之间的相似性，并作出决策，即如果两幅图像车牌信息相同，但车脸图像不匹配，意味着采集图像中的车辆为套牌车。如果两幅图像车牌信息相同，车脸图像也匹配，意味着采集图像中车辆为正常车。如果数据库中没有包含该车牌信息，则不作任何决策。系统由图像采集和图像识别两部分组成，如图1所示。

其优点在于：

传统人工查看视频的方法因效率低下，已很难对发生的套牌违法行为作出及时处理，本方法为自动检测方法可以快速的识别套牌车，减少工作人员负担。

附图说明

图1为系统结构图。

图2为摄像头采集的车辆图像。

图3为车脸图像。

图4为车牌图像。

图5为车牌图像校正结果。

图6为车牌图像二值化结果。

图7不同光强下的车身颜色变化，情况(a)黄色(车)-白天。

图8不同光强下的车身颜色变化，情况(b)黄色(车)-黑夜。

具体实施方式

一种基于加权非负矩阵分解的套牌车辆检测方法，包括下列步骤：

1.图像采集。

利用交通卡口处的监控摄像头获取车辆图像，如图2所示。

为保证车主合法权益，这里将图中车辆部分关键信息用白色框遮挡，但实际图像识别技术是可以识别这部分的内容，下同。

2.车脸区域分割。

对大量车辆图像中车脸区域进行人工标注，而后，利用YOLO模型进行训练，获取模型参数，从而从图像中分割出车脸区域，如图3所示。

3.车牌区域分割。

与车脸图像分割类似，同样对大量车辆图像中的车牌区域进行人工标注，并利用YOLO模型进行训练，获取模型参数，从而从图像中分割出车牌区域，如图4所示。

4.车牌识别模型生成。

设计一种卷积神经网络模型作为车牌中的字符识别模型，该模型包含1个输入层(20×20像素大小图像)，2个卷积层(卷积核大小均为3×3大小，卷积核数目分别为16与32)，2个池化层(均进行2×2大小池化处理，选取最大值作为池化结果)，1个Dropout层(将50％特征暂时从网络中舍弃)，1个全连接层(神经元数目与特征向量维数相同，即32×10×10＝3200)，1个输出层(字符类别数目)。而后，对车牌上可能出现的字符进行训练，从而获得该卷积神经网络模型参数。

5.车牌识别。

5.1车牌校正。

受摄像头拍摄角度影响，采集的图像中车牌区域往往是带有一定倾斜性的，这里利用霍夫变换计算出图像需要旋转的角度，从而对车牌图像进行校正，校正结果如图5所示。

5.2二值化处理。

对校正后的车牌进行二值化处理，处理结果如图6所示。

5.3字符分割。

由于车牌中每个字符宽度占车牌宽度的比例是固定的，如表1所示，这里通过该比例关系对不同位置的字符进行分割。

表1不同字符区域所占车牌比例

字符序号	比例范围
		1	0.02027～0.13513
2	0.13513～0.28378
		3	0.33108～0.45945
4	0.45945～0.59459
		5	0.59459～0.71621
6	0.71621～0.85135
		7	0.85135～0.97972

5.4字符识别。

基于前述的第4部分车牌识别模型生成中训练得到的字符识别卷积神经网络模型，分别对每一个分割后的字符进行识别，从而可以得到车牌信息，“辽*JD93*”。

6.车脸比对。

6.1车脸图像初始特征提取。

车脸图像特征主要体现在车身颜色与局部区域形状上，但受外界光照环境影响，在不同时段对同一颜色车辆采集图像时，在图像中会体现出一定的颜色差异，如图7和8所示，因此，基于颜色特征的识别算法的有效性将会降低。基于以上分析，这里将更多关注图像的局部区域形状特征。

图7，情况(a)黄色(车)-白天。图8，情况(b)黄色(车)-黑夜。

在图像中，区域是由边缘围绕形成的，而图像边缘主要体现在具有方向性的高频信息上，因此，如何准确描述这些具有方向性的高频信息将成为初始特征提取的关键。方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是通过计算和统计图像局部区域的梯度方向直方图而得到的，对边缘能够进行很好地描述，因此，这里将HOG特征作为车脸图像的初始特征。

首先，将分割后的车脸图像大小归一化为N×N像素。而后，对图像进行分块处理，每一块大小为M×M像素，相邻块覆盖T个像素宽度，因此，图像块的个数K可由式(1)得到。

在计算梯度方向直方图时，选择S个角度区间，从而可以得到车脸图像的初始特征Y_x维度为n，这里，n＝K×S。

6.2基于加权非负矩阵分解的特征基建立。

在建立的基图像时，负的元素值在数学上是可以解释的，但却缺乏实际意义，如图像中不可能出现负的像素值。因此，这里将采用非负矩阵分解思想来实现特征降维与特征基图像的建立，即给定一个非负矩阵Y，可将其近似分解成两个非负矩阵U与V的乘积，如式(2)所示。

Y_n×m≈U_n×rV_r×m,s.t.u_ki,v_ij≥0 (2)。

这里，Y的列向量表示训练样本初始特征，即Y＝[Y₁ Y₂ L Y_m]，m为训练样本个数，U的列向量表示特征基向量，V的列向量表示分解系数，即新的特征，1≤k≤n，1≤i≤r，1≤j≤m。进而可获得目标函数，如式(3)所示。

对于矩阵分解，除考虑矩阵的非负性以外，还应尽可能使分解更有利于车脸的准确识别，因此，需对分解加以额外的约束。

6.2.1特征基加权约束。车脸图像中，不同区域特征在识别时起的作用有所不同，因此，在分解时，描述不同区域的基向量所占的权重也应不同，这里将不同的特征基分配不同的权重系数，目标函数可改进为式(4)。

式中，U为基向量矩阵，Z为权重矩阵，V为系数矩阵。

6.2.2权重稀疏性约束。车脸识别过程中，通常只有一小部分特征基对图像分类产生重要影响，即能描述车脸关键区域信息的那些特征基。因此，对权重矩阵Z加以稀疏性约束是十分有必要的，从而目标函数可改进为式(5)。

根据压缩感知理论，求解矩阵的0范数为NP难问题，这里，可将求解矩阵Z的0范数改为求解矩阵Z的2范数，目标函数可改进为式(6)。

6.2.3聚类属性约束。在训练样本中，既存在具有相同类别的车脸图像，也存在具有不同类别的车脸图像，而分解后同一类别的车脸特征应该尽可能相似，而不同类别的车脸特征应具有较大差异性，基于以上分析，目标函数可进一步改进为式(7)。

式中，f_a(V)与f_e(V)分别为特征类内相似性与特征类间区分性的测度。

其中，特征类内相似性测度函数f_a(V)推导过程如下：

这里，d_i为Y中第i类车脸样本数目，c为车脸样本类别数目。

这里，

表示第i类车脸样本平均特征向量。

f_a(V)＝||V-VA||₂ (11)。

特征类间区分性测度函数f_e(V)推导过程如下：

这里，

为所有训练样本的平均特征向量。

f_e(V)＝||VA-VB||₂ (15)。

综上：目标函数(7)可进一步改进为式(16)，最优分解结果通过式(17)求得。

其中，式(17)的求解是通过不断迭代优化获得的，具体迭代过程如下：

具体执行步骤：

Step 1:给定训练样本，并提取每一样本的初始特征向量，所有样本特征向量按列罗列，形成矩阵Y。此外，给出平衡因子α与β。

Step 2:给定初始化矩阵U⁽⁰⁾，V⁽⁰⁾，Z⁽⁰⁾，矩阵所有元素均在0与1之间，设置最大迭代次数n_max，迭代误差阈值e，计数器初始化t＝0。

Step 3:计数器自增t＝t+1。

Step 4:求解式(16)的值J(U^(t),V^(t),Z^(t))。

如果J(U^(t),V^(t),Z^(t))<e或t>n_max，则进入Step 6。

否则进入Step.5。

Step 5:对U，Z，V中所有元素按一下规则进行迭代。

迭代后进入Step 3。

Step 6:迭代结束，得到最优解U^*，V^*，Z^*。

6.3特征降维。

假设车脸图像的初始特征向量为Y_q，这里基于提出的加权非负矩阵分解方法，对初始特征Y_q进行降维处理，形成新的特征向量V_q，如式(18)所示。

V_q＝((U^*Z^*)^TU^*Z^*)^-1(U^*Z^*)^TY_q (18)。

6.4特征比对。

分别给出两幅车脸图像，经过初始特征提取与降维后，得到它们的特征向量V_i和V_j，此外，给出相似度阈值g。如果两个特征向量的相似性度量d(V_i,V_j)大于阈值g，表明两幅车脸图像代表同一类车。反之，则代表不同类车。这里，特征相似性计算如式(19)所示。

7.结果融合与决策。

遍历车脸图像数据库中所有图像，决策方法如下：

(1)如果采集车脸图像的车牌信息与数据库中某车脸图像的车牌信息一致，但经过车脸图像比对后，两辆车不属于同一类，则可认为采集图像中的车辆为套牌车。

(2)如果采集车脸图像的车牌信息与数据库中某车脸图像的车牌信息一致，经过车脸图像比对后，两辆车属于同一类，则可认为采集图像中的车辆为正常车。

(3)如果采集车脸图像的车牌信息与数据库中任意车脸图像的车牌信息都不相同，可认为采集图像中的车辆没有备案，不予做任何决策。

Claims (2)

1.一种基于加权非负矩阵分解的套牌车辆检测方法：其特征在于包括下列步骤：首先，通过摄像头进行车辆图像采集；其次，分割出图像中的车脸区域与车牌区域；再次，获取车牌信息；最后进行车脸对比，比对数据库中车脸图像与采集车脸图像之间的相似性，并作出决策：如果两幅图像车牌相同，但车脸图像不匹配，意味着采集图像中的车辆为套牌车；如果两幅图像车牌信息相同，车脸图像也匹配，意味着采集图像中车辆为正常车；如果数据库中没有包含该车牌信息，则不作任何决策；

所述的车脸比对包括下列步骤：

1)车脸图像初始特征提取；

将HOG特征作为车脸图像的初始特征；首先，将分割后的车脸图像大小归一化为N×N像素；而后，对图像进行分块处理，每一块大小为M×M像素，相邻块覆盖T个像素宽度，因此，图像块的个数K由式(1)得到；

在计算梯度方向直方图时，选择S个角度区间，从而得到车脸图像的初始特征Y_x维度为n，这里，n＝K×S；

2)基于加权非负矩阵分解的特征基建立；

给定一个非负矩阵Y，将其分解成两个非负矩阵U与V的乘积，如式(2)所示；

Y_n×m≈U_n×rV_r×m,s.t.u_ki,v_ij≥0 (2)；

这里，Y的列向量表示训练样本初始特征，即Y＝[Y₁ Y₂…Y_m]，m为训练样本个数，U的列向量表示特征基向量，V的列向量表示分解系数，1≤k≤n，1≤i≤r，1≤j≤m；进而获得目标函数，如式(3)所示；

2.1)特征基加权约束；

将不同的特征基分配不同的权重系数，目标函数改进为式(4)；

式中：U为基向量矩阵，Z为权重矩阵，V为系数矩阵；

2.2)权重稀疏性约束；

对权重矩阵Z加以稀疏性约束，从而目标函数改进为式(5)；

等价于求解矩阵Z的2范数，目标函数改进为式(6)；

2.3)聚类属性约束；分解后同一类别的车脸特征应该尽可能相似，而不同类别的车脸特征应具有较大差异性，将目标函数进一步改进为式(7)；

式中：f_a(V)与f_e(V)分别为特征类内相似性与特征类间区分性的测度；

f_a(V)＝||V-VA||₂ (11)；

f_e(V)＝||VA-VB||₂ (15)；

式中：

i＝1,2,...,c，这里，d_i为Y中第i类车脸样本数目，c为车脸样本类别数目；

综上：目标函数(7)进一步改进为式(16)，最优分解结果通过式(17)求得；

其中，式(17)的求解是通过不断迭代优化获得的；

3)特征降维；

假设车脸图像的初始特征向量为Y_q，基于提出的加权非负矩阵分解方法，对初始特征Y_q进行降维处理，形成新的特征向量V_q，如式(18)所示；

V_q＝((U^*Z^*)^TU^*Z^*)^-1(U^*Z^*)^TY_q (18)；

4)特征比对；

分别给出两幅车脸图像，经过初始特征提取与降维后，得到它们的特征向量V_i和V_j，此外，给出相似度阈值g；如果两个特征向量的相似性度量d(V_i,V_j)大于阈值g，表明两幅车脸图像代表同一类车；反之，则代表不同类车；这里，特征相似性计算如式(19)所示；

2.根据权利要求1所述的一种基于加权非负矩阵分解的套牌车辆检测方法，其特征在于下列步骤：

所述的式(17)的求解具体迭代过程如下：

Step 1:给定训练样本，并提取每一样本的初始特征向量，所有样本特征向量按列罗列，形成矩阵Y；此外，给出平衡因子α与β；

Step 2:给定初始化矩阵U⁽⁰⁾，V⁽⁰⁾，Z⁽⁰⁾，矩阵所有元素均在0与1之间，设置最大迭代次数n_max，迭代误差阈值e，计数器初始化t＝0；

Step 3:计数器自增t＝t+1；

Step 4:求解式(16)的值J(U^(t),V^(t),Z^(t))；

如果J(U^(t),V^(t),Z^(t))<e或t>n_max，则进入Step 6；

否则进入Step.5；

Step 5:对U，Z，V中所有元素按一下规则进行迭代；

迭代后进入Step 3；

Step 6:迭代结束，得到最优解U^*，V^*，Z^*。

Images