CN104134068A - 基于稀疏编码的监控车辆特征表示及分类方法 - Google Patents

Abstract

本发明涉及一种基于稀疏编码的监控车辆特征表示及分类方法，采用稀疏特征表示车辆图像，获取目标图像本质的字典基和稀疏表示，并进行特征表示及目标分类识别。本发明使用稀疏编码方法表示交通监控中车辆图像特征，并实现基于稀疏编码的车辆分类与识别，进而从高速公路监控视频中提取交通流参数，为上层车辆速度感知、车流量统计服务，分类效率显著优于传统方法。

Description

基于稀疏编码的监控车辆特征表示及分类方法

技术领域

本发明涉及智能交通信息技术领域，尤其是一种针对高速公路监控视频的基于稀疏编码的监控车辆特征表示及分类方法。

背景技术

在ITS(Intelligent Transport System，智能交通系统)应用中，交通流参数提取是道路感知的前提条件，一般车检检测方法有地感线圈检车检器、激光轮廓仪、RFID、监控视频挖掘等手段。

上述应用中，地感线圈铺设对路面破坏大，且受压后容易损坏，安装维护困难，不适于高速公路推广；激光轮廓仪价格昂贵，不适合大面积布设；RFID需要分发标签与布设读卡器，高速公路多车道长距离铺设不现实；鉴于目前高速公路平均2Km一对摄像头，视觉传感的路网感知方案利用已经设备资源，数据源分布广泛，成本低而普及范围广，是当前智能交通研究热点，但视频计算易受光线变化、车辆遮挡、恶劣天气等多种因素影响，但传统基于轮廓特征、颜色特征的车辆提取需要在稳定、高清的摄像机条件下实现，鲁棒性及泛化能力较差。

稀疏编码方法是近年来机器学习和神经网络领域的研究热点，其基本思想来源于压缩感知理论，如式(1)所示，稀疏编码通过无监督学习，提取数据的基本表示字典(bases，基)，将样本表示成基与稀疏权向量的线性组合，由于稀疏权向量大部分数据为0元素，从实现最本质数据特征表示及简化运算的目的，其中y表示输入，d表示字典，α表示稀疏编码，

y∈R^m，d∈R^m×p，a∈R^p。

$\left(y\right)\≈\left(d_1\right|d_2|...|d_p)\left(\begin{array}{c}a\left[1\right]\\ a\left[2\right]\\ ...\\ a\left[p\right]\end{array}\right)---\left(1\right)$

人眼人脑图像感知过程中，边缘、轮廓等高层抽你本质是目标识别的本质特征，而研究表明，图像稀疏特征表示最终得出的即为图像的边缘轮廓，与图像稀疏特征吻合，基于稀疏编码的图像特征能取得较好的分类效果。

发明内容

本发明要解决的技术问题是：鉴于目前国内高速公路拥有大量视频监控源，海量视频所包含丰富的交通信息，如违章事件、交通事故、车速及流量等，但高速公路摄像机仅作为管理监控视频使用，后期视频挖掘分析应用不足。本发明提出并实现基于稀疏车辆图像特征表示及分类的车辆信息挖掘算法框架，以稀疏特征表示运动目标，并进行分类和判别，识别出运动目标在不同帧的位置，并通过距离变化与时间间隔计算车辆速度、进行车辆计数，提取速度、流量等交通流参数，为高层应用提供信息服务。

本发明解决其技术问题所采用的技术方案是：一种基于稀疏编码的监控车辆特征表示及分类方法，采用稀疏特征表示车辆图像，获取目标图像本质的字典基和稀疏表示，并进行特征表示及目标分类识别，包括如下步骤：

一、GMM背景建模及目标提取：通过视觉传感方法提取监控视频的运动目标，以GMM提取出背景，将视频中新出现帧与提取背景差分，得出运动目标。

上述背景建模方法考虑高速公路摄像机场景固定，背景基本不变，为提高目标物提取速度，使用混合高斯模型(GMM)进行背景建模，建立背景后，将视频中新帧与背景差分即可得到运动物目标。

提取背景时，采用像素似然决策，式(1)是它的决策函数：

其中固定的阈值C>1意味着该像素点属于背景，

车辆图片中的像素点满足混合高斯分布，如式(2)所示：

其中T代表更新的适应时间，代表均值估计，代表高斯分布的方差。

二、车辆稀疏特征表示：使用L1正则限制，通过损失函数最小求解图像的特征基向量及稀疏系数。

上述算法稀疏编码针对背景建模条件下提取运动目标出现的负样本，如因摄像机抖动、树枝晃动、恶劣天气而出现的路面、护栏、树枝、雨滴，或行人及车辆抛洒物等，通过稀疏学习算法建立各类目标的字典和稀疏编码，作为下一阶段分类器训练参数。

在线性车辆图像表示中，车辆图像X用式(3)表示：

$X=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}W*h---\left(3\right)$

其中W是字典系数，h是对应X的编码向量，

W和h用式(4)损失函数得到：

$J=\underset{t}{\mathrm{\Σ}}{\left|\right|X^{\left(t\right)}-{\mathrm{Wh}}^{\left(t\right)}\left|\right|}_2^2---\left(4\right)$

在式(4)中增加正则约束项，并用L1约束，将参数W大部分值限制为0，达到稀疏编码效果，如式(5)所示：

$\underset{W,h}{\min }\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\left|\right|X_i-W_i*h_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|h_i\left|\right|}_1---\left(5\right)$

其中||h_i||₁是L1惩罚项，通过L1约束，λ参数可限制稀疏程序，通过训练求出车辆图像最优的特征基向量，并由根(5)求出车辆图像的稀疏编码表示。

三、线性SVM训练与车辆分类：将稀疏特征输入SVM分类器，将分类错误的样本重新加入到训练集中，对字典和SVM模型进行重新训练，经50次左右迭代，提取最佳训练结果条件下的字典集及SVM分类模型。

上述SVM分类包括训练与分类两个步骤，训练是指将带标签的各种车型及负样本作为分类器的训练输入，获取分类器模型，分类是指将测试样本和分类模型作为输入，输出样本的分类结果。

线性SVM训练中，模型的判决参数符合凸优化问题，局部解可以作为全局最优解，对于给定的训练集，对于给定的训练集{x_i∈Rⁿ；y_i∈R^{0,1}}，代价函数的定义如式(6)所示：

$\underset{\mathrm{\ω},\mathrm{\β},\mathrm{\ξ}}{\min }C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i+\frac{1}{2}{w}^{T}w---\left(6\right)$

服从 $\begin{array}{c}{y}_i({\mathrm{\ω}}^T\mathrm{\φ}\left(x_i\right)+b)\≥1-{\mathrm{\ξ}}_i\\ {\mathrm{\ξ}}_i\≥0,i=1,...,l\end{array},$

其中φ(x_i)将x_i映射到一个高维空间，并且正则化参数C>0，

最优化问题通过式(7)的对偶问题求解：

$\underset{\mathrm{\α}}{\min }\frac{1}{2}{\mathrm{\α}}^T\mathrm{Q\α}-e^T\mathrm{\α}---\left(7\right)$

服从 $\begin{array}{c}\mathrm{yT\α}=0\\ 0\≤\mathrm{\αi}\≤C,i=1,...l\end{array},w=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_i\mathrm{\φ}\left(x_i\right)$

其中e＝[1,...,]^T是一个全1的向量，Q是一个半正定的矩阵Q_ij≡y_iy_jK(x_i,x_j)，K(x_i,x_j)≡φ(x_i)^Tφ(x_j)是核函数，决策函数如式(8)所示：

sng(ω^Tφ(x_i)+b)＝sng(y_iα_iK(x_i,x)+b)  (8)

稀疏特征作为SVM分类器的输入，并引入了一个增加学习方法，即将分类错误的样本重新加入到训练集中，对字典和SVM模型进行重新训练，经50次左右迭代，提取最佳训练结果条件下的字典集及SVM分类模型。训练过程引入如式(9)所示分类正确率计算公式，并以正确率变化率：

$\mathrm{CorrectionRate}=\frac{\mathrm{CorrectlyclassifiedSampleNum}}{\mathrm{TotalTestingSampleNum}}\×100\%---\left(9\right)$

式(10)作为训练终止阈值：

ε＝|correctionrate_{t_num}-correctionrate_{t_num-1}|＜10^-3  (10)

分类输出为测试样本标签号。

四、车速、流量等交通流参数提取

根据稀疏特征的SVM分类参数，可对不同帧的多个运动目标进行分类判别，锁定目标后，同一目标在前后帧中的位置变化与时间比可计算出车辆速度，一段时间内经过指定区域的目标数可得出车辆流量。

本发明的有益效果是：

(1)使用背景建模方法提取运动目标，适合监控图像背景稳定特点，不需要考虑目标距离及大小变化等特征，较其他模板匹配方法目标跟踪方法，具有计算速度快，适应性好等特点；

(2)采用稀疏特征表示车辆图像，获取目标图像最本质的字典基和稀疏表示，不需要传统图像特征方法对颜色、轮廓等复杂图像特征提取，算法泛化能力明显增强，能适应图像遮挡、低分辨率、图像模糊等复杂场景应用，分类准确率较传统方法有显著提升；

(3)基于高速公路现有监控视频资源提取交通流参数，结合视频大数据分析，为全路网状态感知提供基础信息，充分利用现有硬件资源，能大幅度节约硬件投资成本。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明基于稀疏编码的监控车辆特征表示及分类方法的算法框架图；

图2是稀疏编码在线性SVM分类器的训练效率。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，本发明建立基于稀疏编码的车型特征表示及分类算法框架，包括监控视频中运动目标提取、车辆稀疏编码、SVM分类器车辆训练与分类、交通流参数提取等流程。

(一)GMM背景建模及目标提取：

利用高速公路视频监控中背景是相对静止的特点，采用背景建模方法提取监控背景，将视频中新出现帧与提取背景相减的，得出运动目标。背景建模目标提取算法针涉及到了像素似然决策，判断一个像素点是属于背景还是前景物体。式(1)是它的决策函数，其中固定的阈值C>1意味着该像素点属于背景，反之亦然。

车辆图片中的像素点满足混合高斯分布，如式(2)所示，混合高斯模型(GMM)在交通车辆背景建模算法中能取得了最好的效果。

其中T代表更新的适应时间，代表均值估计，代表高斯分布的方差。

本发明使用开源OPENCV的背景建模函数MOG2实现上述算法，对高速监控摄像机图像，算法可在对50帧图片(<2.5秒)之内，学习出很好的结果。由于相机抖动、树枝摇晃、雨滴等因素，背景建模往往会产生大量负样本。

(二)车辆稀疏特征表示：

在线性车辆图像表示中，图像X可以用式(3)表示，其中W是字典系数，h是对应X的编码向量。

$X=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}W*h---\left(3\right)$

W和h可以用式(4)损失函数学习得到：

$J=\underset{t}{\mathrm{\&Sigma;}}{\left|\right|X^{\left(t\right)}-{\mathrm{Wh}}^{\left(t\right)}\left|\right|}_2^2---\left(4\right)$

为了避免计算量过大和过拟合，在式(4)中增加正则约束项，并用L1约束，将参数w大部分值限制为0，从而达到稀疏编码效果，如式(5)所示。

$\underset{W,h}{\min }\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left|\right|X_i-W_i*h_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|h_i\left|\right|}_1$ 其中 $\left|h_i\right|\&le;1,\&ForAll;i=\mathrm{1,2},...K---\left(5\right)$

其中||h_i||₁是L1惩罚项，通过L1约束，车辆图像可以由一些稀疏的偏置函数表示，绝大部分系数W为0，λ参数可限制稀疏程序，参数越大，稀疏性越高。通过训练求出车辆图像最优的特征基向量，并由根(5)求出车辆图像的稀疏编码表示。稀疏编码可以获得更低的重构误差，以及更本质的原始图像特征。

(三)SVM训练与车辆分类：

SVM是一种在数据处理过程中非常流行的用来分类和回归的方法，并且有非常好的效果。其重要特性是模型的判决参数符合凸优化问题，因此局部解就可以作为全局最优解。对于一个二分类问题也就是对于给定的训练集{x_i∈Rⁿ；y_i∈R^{0,1}}，代价函数的定义如式(6)：

$\underset{\mathrm{\&omega;},\mathrm{\&beta;},\mathrm{\&xi;}}{\min }C\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_i+\frac{1}{2}{w}^{T}w---\left(6\right)$

服从 $\begin{array}{c}{y}_i({\mathrm{\&omega;}}^T\mathrm{\&phi;}\left(x_i\right)+b)\&GreaterEqual;1-{\mathrm{\&xi;}}_i\\ {\mathrm{\&xi;}}_i\&GreaterEqual;0,i=1,...,l\end{array},$

其中φ(x_i)将x_i映射到一个高维空间，并且正则化参数C>0。

最优化问题能够通过式(7)的对偶问题求解：

$\underset{\mathrm{\&alpha;}}{\min }\frac{1}{2}{\mathrm{\&alpha;}}^T\mathrm{Q\&alpha;}-e^T\mathrm{\&alpha;}---\left(7\right)$

服从 $\begin{array}{c}\mathrm{yT\&alpha;}=0\\ 0\&le;\mathrm{\&alpha;i}\&le;C,i=1,...l\end{array},w=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{y}_i{\mathrm{\&alpha;}}_i\mathrm{\&phi;}\left(x_i\right)$

其中e＝[1,...,]^T是一个全1的向量，Q是一个半正定的矩阵Q_ij≡y_iy_jK(x_i,x_j)，K(x_i,x_j)≡φ(x_i)^Tφ(x_j)是核函数，决策函数如式(8)所示：

sng(ω^Tφ(x_i)+b)＝sng(y_iα_iK(x_i,x)+b)  (8)

当采用非线性核函数时，SVM在训练阶段的计算复杂度为O(n²～n³)，而预测阶段是O(n)，而采用简单线性核函数训练可将计算r。

稀疏编码车辆特征可在线性SVM条件下达到90％以上的车型分类准确率，本发明使用线性SVM多类分类器进行模型学习及车辆分类。考虑到色彩同化现象，算法丢弃了图像颜色特征，直接将车辆图像转化成灰度图片并进行稀疏编码。稀疏特征作为SVM分类器的输入，并引入了一个增加学习方法，即将分类错误的样本重新加入到训练集中，对字典和SVM模型进行重新训练，经50次左右迭代，提取最佳训练结果条件下的字典集及SVM分类模型。训练过程引入如式(9)所示分类正确率计算公式，并以正确率变化率，式(10)，作为训练终止阈值。

$\mathrm{CorrectionRate}=\frac{\mathrm{CorrectlyclassifiedSampleNum}}{\mathrm{TotalTestingSampleNum}}\&times;100\%---\left(9\right)$

ε＝|correctionrate_{t_num}-correctionrate_{t_num-1}|＜10^-3  (10)

分类输出为测试样本标签号，例如，对于2类标签{“1-车”、“1-非车”}，输出“1”或“1”分别表示该图像属于车或非车，对于4类标签{“1-客车”、“1-小汽车”、“3-面包车”、“4-卡车”}，输出“1”～“4”分别表示客车、小汽车、面包车、卡车。

测试结果显示，本发明基于稀疏编码的车辆特征在线性SVM分类器中只需要少量训练迭代即可达到较高的分类准确率，当数据量增加时，稀疏编码算法的CPU耗时维持在2秒以下，训练效率如图2所示。

分别选取不同条件下的两路图像，与基于SIFT特征的SVM分类结果进行对比测试：video-429，晴天，图像质量正常；video-429，雨天，图像模糊，本发明算法分类准确率，特别在图像质量下降条件下，分类性能明显优于传统方法，如表1-表4所示，表中“SC”表示稀疏特征。

video-198视频中2种标签(车，非车)分类准确率

表1

video-429视频中2种标签(车，非车)分类准确率

表2

video-198视频中4种车型标签(客车，小车，面包车，卡车)分类准确率

表3

video-429视频中4种车型标签(客车，小车，面包车，卡车)分类准确率

表4

为了测试算法鲁棒性，选择几种低质量车辆图像进行分类测试，分别为：不同视角车辆图像、遮挡/残缺车辆图像、带阴影的车辆图像、模型车辆图像，每种图像分别选择400个测试样本。表5测试结果表明，本发明所使用稀疏图像编码方法在低质量图像条件下，分类效率显著优于传统方法。

低质量车辆图像条件下，稀疏与SIFT特征的SVM分类准确率

表5

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (5)

1.一种基于稀疏编码的监控车辆特征表示及分类方法，其特征在于：采用稀疏特征表示车辆图像，获取目标图像本质的字典基和稀疏表示，并进行特征表示及目标分类识别，包括如下步骤： 

一、GMM背景建模及目标提取：通过视觉传感方法提取监控视频的运动目标，以GMM提取出背景，将视频中新出现帧与所提取背景差分，得出运动目标； 

二、车辆稀疏特征表示：使用L1正则限制，通过损失函数最小求解图像的特征基向量及稀疏系数； 

三、线性SVM训练与车辆分类：将稀疏特征输入SVM分类器，将分类错误的样本重新加入到训练集中，对字典和SVM模型进行重新训练，经50次左右迭代，提取最佳训练结果条件下的字典集及SVM分类模型。 

2.如权利要求1所述的基于稀疏编码的监控车辆特征表示及分类方法，其特征在于：提取背景时，采用像素似然决策，式(1)是它的决策函数： 

其中固定的阈值C>1意味着该像素点属于背景， 

车辆图片中的像素点满足混合高斯分布，如式(2)所示： 

其中T代表更新的适应时间，代表均值估计，代表高斯分布的方差。 

3.如权利要求1所述的基于稀疏编码的监控车辆特征表示及分类方法，其特征在于：在线性车辆图像表示中，车辆图像X用式(3)表示： 

其中W是字典系数，h是对应X的编码向量， 

W和h用式(4)损失函数得到： 

在式(4)中增加正则约束项，并用L1约束，将参数W大部分值限制为0，达到稀疏编码效果，如式(5)所示： 

其中||h_i||₁是L1惩罚项，通过L1约束，λ参数可限制稀疏程序，通过训练求出车辆图像最优的特征基向量，并由根(5)求出车辆图像的稀疏编码表示。 

4.如权利要求1所述的基于稀疏编码的监控车辆特征表示及分类方法，其特征在于：线性SVM训练中，模型的判决参数符合凸优化问题，局部解可以作为全局最优解，对于给定的训练集，对于给定的训练集{x_i∈Rⁿ；y_i∈R^{0,1}}，代价函数的定义如式(6)所示： 

服从

其中φ(x_i)将x_i映射到一个高维空间，并且正则化参数C>0， 

最优化问题通过式(7)的对偶问题求解： 

服从

其中e＝[1,...,]^T是一个全1的向量，Q是一个半正定的矩阵Q_ij≡y_iy_jK(x_i,x_j)，K(x_i,x_j)≡φ(x_i)^Tφ(x_j)是核函数，决策函数如式(8)所示： 

sng(ω^Tφ(x_i)+b)＝sng(y_iα_iK(x_i,x)+b)   (8) 。

5.如权利要求1或4所述的基于稀疏编码的监控车辆特征表示及分类方法，其特征在于：将分类错误的样本重新加入到训练集中，对字典和SVM模型进行重新训练，训练过程引入式(9)所示分类正确率计算公式，并以正确率变化率： 

式(10)作为训练终止阈值： 

ε＝|correctionrate_{t_num}-correctionrate_{t_num-1}|＜10^-3   (10) 

分类输出为测试样本标签号。