CN103886331A - 一种基于监控视频的多特征融合的车辆体型分类方法 - Google Patents

Abstract

本发明公开了一种基于监控视频的多特征融合的车辆体型分类方法。包括依次进行的训练过程和识别过程：训练过程中，将所有各种车辆样本图像逐个输入到训练数据库中，计算各个车辆样本图像的HU矩特征、LBPS特征和长宽比特征并进行融合，再和类别标注一起输入到支持向量机中训练，并利用改进的粒子群方法来对支持向量机进行参数优化；识别过程中，先提取车辆前景，根据车辆前景计算得到该车辆图像序列的特征向量后输入到支持向量机中，输出识别结果。本发明方法能有效解决监控视频中车型分类准确率不高的问题，减少了后续的SVM训练的时间，且能满足实时性的需求，也避免了传统的粒子群方法容易陷入局部极小值和后期易震荡的缺点。

Description

一种基于监控视频的多特征融合的车辆体型分类方法

技术领域

本发明涉及一种车辆体型分类方法，涉及一种基于监控视频的多特征融合的车辆体型分类方法。

背景技术

随着社会经济的高速发展，整个社会对交通运输的需求逐渐增高，交通密度也逐渐增大，在工作生活当中，道路容易出现拥堵，交通事故发生的频率也很高。因而，现在世界各国逐渐加大了对交通系统的管理，对交通问题也更加重视，道路交通管理领域也逐渐形成。

其中车型的分类与识别是智能交通系统中的一个重要分支，已有的车型识别分类方法主要是利用电子标签、感应线圈、压电传感还有各种光波手段在内的车型识别方法，大多容易受到外界环境的干扰，并且安装维护的成本较高，使用效果不甚理想。

发明内容

本发明所要解决的技术问题是提供一种基于监控视频的多特征融合的车辆体型分类方法，可以实时有效地进行运动车辆的检测与车型识别，并有效的提高了识别的准确率和实时性。

为解决上述技术问题，本发明所采用的技术方案包括：

本发明方法包括依次进行的训练过程和识别过程：

1）训练过程包括如下步骤：

1.1）将所有各种车辆样本图像逐个输入到训练数据库中，各种车辆样本图像包含车辆完整轮廓；

1.2）计算各个车辆样本图像的HU矩特征，并对其进行归一化处理，记为以下式1：

HU=(hu₁,hu₂,hu₃,hu₄,hu₅,hu₆,hu₇)           （1）

其中，hu₁～hu₇分别表示HU矩特征的每一个子分量；

1.3）计算各个车辆样本图像的LBPS特征：

对各个车辆样本图像分别进行2×2和3×3分块，计算每一个子块的LBP特征，接着计算每个子块的LBPS，LBPS以下公式2：

$\mathrm{LBPS}=-\underset{i=1}{\overset{59}{\mathrm{\Σ}}}\mathrm{lb}{p}_i\log \left({\mathrm{lbp}}_i\right)---\left(2\right)$

其中，lbp₁～lbp₅₉表示LBP特征的每一个子分量。计算出每个子块的LBPS值后，将上述2×2和3×3分块后得到的13个子块图像加上原始车辆样本图像得到总计14个子块图像，将该14个子块图像的LBPS值组合成该原始车辆样本图像的LBPS特征，并对其做归一化处理，记为以下公式3：

LBPS=(LBPS₁,LBPS₂,…LBPS_i,…LBPS₁₄)         （3）

1.4）计算各个车辆样本图像分的长宽比信息：

设车辆样本图像的宽度为width，高度为height，长宽比特征记为以下公式4：

$\mathrm{Ratio}=\frac{\mathrm{height}}{\mathrm{width}}---\left(4\right)$

1.5）将步骤1.2）～1.4）中计算得到的HU矩特征、LBPS特征和长宽比特征融合为一个特征向量feature，用于表征车辆样本图像的特征信息，记为以下公式5：

feature=(LBPSHURatio)          （5）

1.6）将上述车辆样本图像的特征向量feature和类别标注一起输入到支持向量机中训练，其中类别标注为车辆体型的标注，并利用改进的粒子群方法来对支持向量机进行参数优化；

2）识别过程包括如下步骤：

2.1）提取车辆前景，对需要识别的车辆视频中提取图像序列进行混合高斯背景建模，进行滤波处理和膨胀腐蚀后得到二值化图像，计算车辆前景的最大外接矩形，得到车辆前景的坐标信息；

2.2）对车辆前景按照步骤1.1）～1.5）进行计算得到该车辆图像的特征向量；

2.3）将车辆图像的特征向量输入步骤1.6）参数优化后的支持向量机中，输出车辆体型的识别结果。

所述的改进的粒子群方法为：在粒子群方法的速度更新式中，增加对粒子群中随机粒子的追随，速度位置更新公式为以下式6：

$\left\{\begin{array}{c}{v}_i^{t+1}=\mathrm{\ω}\·v_i^t+c_1{r}_1(p_{\mathrm{ibest}}^t-x_i^t)+c_2{r}_2(p_{\mathrm{gbest}}^t-x_i^t)+c_3{r}_3(p_m^t-x_i^t)\\ x_i^{t1}=x_i^t+v_i^{t+1}\end{array}---\left(6\right)\right.$

其中，

为t+1时刻的飞行速度，

为t时刻的飞行速度，

为第i个粒子搜寻到的局部最优解，

为整个粒子群搜寻到的全局最优解，

为随机粒子在t时刻的局部最优解，

为t时刻第i个粒子的位置，

为t+1时刻第i个粒子的位置，ω为惯性权重，c₁为第一学习因子，c₂为第二学习因子，c₃为第三学习因子，r₁为第一控制参数，r₂为第二控制参数，r₃为第三控制参数；

接着引入t时刻的动量项

改进后的粒子群方法如以下公式7：

$\left\{\begin{array}{c}{v}_i^{t+1}=\mathrm{\ω}\·v_i^t+\mathrm{\Δ}{v}_i^t+\mathrm{\α}\·\mathrm{\Δ}{v}_i^{t-1}\\ x_i^{t+1}=x_i^t+v_i^{t+1}\end{array}---\left(7\right)\right.$

其中，是粒子群方法中的t时刻的速度修正值，

为t-1时刻的动量项，α为动量因子常数，其取值范围|α|∈[0,1)，如果

和

同号，则动量因子常数α取正值；若

和

异号，此时动量因子常数α取负值。

t时刻的动量项表示为以下公式8：

$\mathrm{\Δ}{v}_i^t=c_1{r}_1(p_{\mathrm{ibest}}^t-x_i^t)+c_2{r}_2(p_{\mathrm{gbest}}^t-x_i^t)+c_3{r}_3(p_i^t-x_i^t)---\left(8\right)$

本发明有如下有益效果：

1、本发明提出了基于多特征融合的方法来表征运动车辆的特征信息，和单一的特征表示方法相比，识别率更高。

2、本发明提出了LBPS的概念，和传统的LBP相比，更多的关注了图像的空间信息，并且降低了特征向量的维度，减少了后续的SVM训练的时间。

3、本发明提出了一种改进的粒子群方法来进行支持向量机的优化，避免了传统的粒子群方法容易陷入局部极小值和后期易震荡的缺点。

附图说明

图1为本发明的一种实施方法中训练过程的流程示意图。

图2为本发明的一种实施方法中识别过程的流程示意图。

具体实施方式

下面将结合附图对本发明的实施方式进行详细描述：

本发明方法包括训练过程和识别过程，首先进行训练过程，再进行识别过程：

1）如图1所示，训练过程包括如下步骤：

1.1）将所有各种车辆样本图像逐个输入到训练数据库中，各种车辆样本图像包含车辆完整轮廓；

1.2）计算各个车辆样本图像的HU矩特征，并对其进行归一化处理，记为一下式1：

HU=(hu₁,hu₂,hu₃,hu₄,hu₅,hu₆,hu₇)          （1）

其中，hu₁～hu₇分别表示HU矩特征的每一个子分量；

1.3）计算各个车辆样本图像分的LBPS特征：

对各个车辆样本图像分别进行2×2和3×3分块，计算每一个子块的LBP值，接着计算每个子块的LBPS值，LBPS值以下公式2：

$\mathrm{LBPS}=-\underset{i=1}{\overset{59}{\mathrm{\Σ}}}\mathrm{lb}{p}_i\log \left({\mathrm{lbp}}_i\right)---\left(2\right)$

其中，lbp₁～lbp₅₉表示LBP特征的每一个子分量。计算出每个子块的LBPS值后，将上述2×2和3×3分块后得到的13个子块图像加上原始车辆样本图像得到总计14个子块图像，将该14个子块图像的LBPS值组合成该原始车辆样本图像的LBPS特征，并对其做归一化处理，记为以下公式3：

LBPS=(LBPS₁,LBPS₂,…LBPS_i,…LBPS₁₄)            （3）

1.4）计算各个车辆样本图像分的长宽比信息：

设车辆样本图像的宽度为width，高度为height，长宽比特征记为以下公式4：

$\mathrm{Ratio}=\frac{\mathrm{height}}{\mathrm{width}}---\left(4\right)$

1.5）将步骤1.2）～1.4）中计算得到的HU矩特征、LBPS特征和长宽比特征融合为一个特征向量feature，用于表征车辆样本图像的信息，记为以下公式5：

feature=(LBPSHURatio)         （5）

1.6）将上述车辆样本图像的特征向量feature和类别标注一起输入到支持向量机中训练，其中类别标注为车辆体型的标注，并利用改进的粒子群方法来对支持向量机进行参数优化；

2）如图2所示，识别过程包括如下步骤：

2.1）提取车辆前景，对需要识别的车辆视频中提取图像序列进行混合高斯背景建模，进行滤波处理和膨胀腐蚀后得到二值化图像，计算车辆前景的最大外接矩形，得到车辆前景的坐标信息；

2.2）对车辆前景按照步骤1.1）～1.5）进行计算得到该车辆图像序列的特征向量；

2.3）将车辆图像的特征向量输入步骤1.6）参数优化后的支持向量机（SVM）中，输出车辆体型的识别结果。

上述改进的粒子群方法为：在粒子群方法的速度更新式中，增加对粒子群中随机粒子的追随，速度位置更新公式为以下式6：

$\left\{\begin{array}{c}{v}_i^{t+1}=\mathrm{\ω}\·v_i^t+c_1{r}_1(p_{\mathrm{ibest}}^t-x_i^t)+c_2{r}_2(p_{\mathrm{gbest}}^t-x_i^t)+c_3{r}_3(p_m^t-x_i^t)\\ x_i^{t1}=x_i^t+v_i^{t+1}\end{array}---\left(6\right)\right.$

其中，

为t+1时刻的飞行速度，

为t时刻的飞行速度，

为第i个粒子搜寻到的局部最优解，为整个粒子群搜寻到的全局最优解，

为随机粒子在t时刻的局部最优解，

为t时刻第i个粒子的位置，

为t+1时刻第i个粒子的位置，ω为惯性权重，c₁为第一学习因子，c₂为第二学习因子，c₃为第三学习因子，r₁为第一控制参数，r₂为第二控制参数，r₃为第三控制参数；

接着引入t时刻的动量项

因此改进后的粒子群方法如以下公式7：

$\left\{\begin{array}{c}{v}_i^{t+1}=\mathrm{\ω}\·v_i^t+\mathrm{\Δ}{v}_i^t+\mathrm{\α}\·\mathrm{\Δ}{v}_i^{t-1}\\ x_i^{t+1}=x_i^t+v_i^{t+1}\end{array}---\left(7\right)\right.$

其中，

是粒子群方法（PSO）中t时刻的速度修正值，为t-1时刻的动量项，α为动量因子常数，动量因子常数α的取值范围|α|∈[0,1)，其中，动量因子常数α具体取值和前一个时刻的速度修正值相关，如果

和

同号，则动量因子常数α取正值，此时可以加快方法的进化速度；若和

异号，说明方法此时存在一定的震荡，动量因子常数α取负值，减小

的变化量，可以有效的缓解震荡情况。

t时刻的动量项

表示为以下公式8：

$\mathrm{\Δ}{v}_i^t=c_1{r}_1(p_{\mathrm{ibest}}^t-x_i^t)+c_2{r}_2(p_{\mathrm{gbest}}^t-x_i^t)+c_3{r}_3(p_i^t-x_i^t)---\left(8\right)$

本发明改进的粒子群方法由于让每个粒子不仅仅追随基本方法中自身的局部极值和粒子群的全局极值，还同时追随了一个随机粒子的局部极值，当陷入局部极值点时，因为随机粒子的引入，有一定的概率能够跳脱局部极值点，从而能够更有效的找寻到全局极值。同时引入了动量项，让粒子在速度修正的时候同时考虑前一时刻和前前时刻的速度修正值的情况。本发明能够有效地解决传统方法后期容易陷入局部极值点以及震荡严重的缺点。

其中的类别标注为车辆体型大小的标注。

本发明的具体实施例如下：

按照上述方法进行训练过程：

a）将所有各种车辆样本图像逐个输入到训练数据库中，训练数据库中共计1000幅小型车和500幅大型车的车辆样本图像；

b）分别计算上述各个车辆样本图像的HU矩特征、LBPS特征和长宽比特征融合为一个特征向量feature；。

c）将上述车辆样本图像的特征向量feature和车辆体型的类别标注一起输入到支持向量机中训练，本例中小型车标注为1，大型车的标注为2，并利用改进的粒子群方法来对支持向量机进行参数优化。

上述改进的粒子群方法计算时，惯性权重ω初始化为1，第一学习因子c₁取1.5，第二学习因子c₂取1.7，第三学习因子c₃取2，r₁,r₂,r₃取0～1之间的随机数。

然后，输入监控视频采集到的图像序列进行识别过程：

A）提取车辆前景，对需要识别的车辆视频中提取图像序列进行混合高斯背景建模，进行滤波处理和膨胀腐蚀后得到二值化图像，计算车辆前景的最大外接矩形，得到车辆前景的坐标信息。

B）对车辆前景按照上述方法的步骤进行计算得到该车辆图像序列的特征向量feature。

C）将车辆图像的特征向量输入参数优化后的支持向量机（SVM）中，输出车辆体型的识别结果，若为小型车，则输出为1，若为大型车，则输出为2。

本发明改进的粒子群方法由于让每个粒子不仅仅追随基本方法中自身的局部极值和粒子群的全局极值，还同时追随了一个随机粒子的局部极值，当陷入局部极值点时，因为随机粒子的引入，有一定的概率能够跳脱局部极值点，从而能够更有效的找寻到全局极值。同时引入了动量项，让粒子在速度修正的时候同时考虑前一时刻和前前时刻的速度修正值的情况。本发明能够有效地解决传统方法后期容易陷入局部极值点以及震荡严重的缺点。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (2)

1.一种基于监控视频的多特征融合的车辆体型分类方法，其特征在于：包括依次进行的训练过程和识别过程：

1）训练过程包括如下步骤：

1.1）将所有各种车辆样本图像逐个输入到训练数据库中，各种车辆样本图像包含车辆完整轮廓；

1.2）计算各个车辆样本图像的HU矩特征，并对其进行归一化处理，记为以下式1：

HU=(hu₁,hu₂,hu₃,hu₄,hu₅,hu₆,hu₇)       （1）

其中，hu₁～hu₇分别表示HU矩特征的每一个子分量；

1.3）计算各个车辆样本图像的LBPS特征：

对各个车辆样本图像分别进行2×2和3×3分块，计算每一个子块的LBP特征，接着计算每个子块的LBPS，LBPS以下公式2：

$\mathrm{LBPS}=-\underset{i=1}{\overset{59}{\mathrm{\Σ}}}\mathrm{lb}{p}_i\log \left({\mathrm{lbp}}_i\right)---\left(2\right)$

其中，lbp₁～lbp₅₉表示LBP特征的每一个子分量。计算出每个子块的LBPS值后，将上述2×2和3×3分块后得到的13个子块图像加上原始车辆样本图像得到总计14个子块图像，将该14个子块图像的LBPS值组合成该原始车辆样本图像的LBPS特征，并对其做归一化处理，记为以下公式3：

LBPS=(LBPS₁,LBPS₂,…LBPS_i,…LBPS₁₄)        （3）

1.4）计算各个车辆样本图像分的长宽比信息：

设车辆样本图像的宽度为width，高度为height，长宽比特征记为以下公式4：

$\mathrm{Ratio}=\frac{\mathrm{height}}{\mathrm{width}}---\left(4\right)$

1.5）将步骤1.2）～1.4）中计算得到的HU矩特征、LBPS特征和长宽比特征融合为一个特征向量feature，用于表征车辆样本图像的特征信息，记为以下公式5：

feature=(LBPSHURatio)        （5）

1.6）将上述车辆样本图像的特征向量feature和类别标注一起输入到支持向量机中训练，其中类别标注为车辆体型的标注，并利用改进的粒子群方法来对支持向量机进行参数优化；

2）识别过程包括如下步骤：

2.1）提取车辆前景，对需要识别的车辆视频中提取图像序列进行混合高斯背景建模，进行滤波处理和膨胀腐蚀后得到二值化图像，计算车辆前景的最大外接矩形，得到车辆前景的坐标信息；

2.2）对车辆前景按照步骤1.1）～1.5）进行计算得到该车辆图像的特征向量；

2.3）将车辆图像的特征向量输入步骤1.6）参数优化后的支持向量机中，输出车辆体型的识别结果。

2.根据权利要求1所述的一种基于监控视频的多特征融合的车辆体型分类方法，其特征在于：所述的改进的粒子群方法为：在粒子群方法的速度更新式中，增加对粒子群中随机粒子的追随，速度位置更新公式为以下式6：

$\left\{\begin{array}{c}{v}_i^{t+1}=\mathrm{\ω}\·v_i^t+c_1{r}_1(p_{\mathrm{ibest}}^t-x_i^t)+c_2{r}_2(p_{\mathrm{gbest}}^t-x_i^t)+c_3{r}_3(p_m^t-x_i^t)\\ x_i^{t1}=x_i^t+v_i^{t+1}\end{array}---\left(6\right)\right.$

其中，

为t+1时刻的飞行速度，

为t时刻的飞行速度，为第i个粒子搜寻到的局部最优解，

为整个粒子群搜寻到的全局最优解，

为随机粒子在t时刻的局部最优解，为t时刻第i个粒子的位置，

为t+1时刻第i个粒子的位置，ω为惯性权重，c₁为第一学习因子，c₂为第二学习因子，c₃为第三学习因子，r₁为第一控制参数，r₂为第二控制参数，r₃为第三控制参数；

接着引入t时刻的动量项改进后的粒子群方法如以下公式7：

$\left\{\begin{array}{c}{v}_i^{t+1}=\mathrm{\ω}\·v_i^t+\mathrm{\Δ}{v}_i^t+\mathrm{\α}\·\mathrm{\Δ}{v}_i^{t-1}\\ x_i^{t+1}=x_i^t+v_i^{t+1}\end{array}---\left(7\right)\right.$

其中，

是粒子群方法中的t时刻的速度修正值，

为t-1时刻的动量项，α为动量因子常数，其取值范围|α|∈[0,1)，如果

和同号，则动量因子常数α取正值；若

和

异号，此时动量因子常数α取负值。

t时刻的动量项

表示为以下公式8：

$\mathrm{\Δ}{v}_i^t=c_1{r}_1(p_{\mathrm{ibest}}^t-x_i^t)+c_2{r}_2(p_{\mathrm{gbest}}^t-x_i^t)+c_3{r}_3(p_i^t-x_i^t)---\left(8\right)$

Images