CN105678218A - 一种移动物体分类的方法 - Google Patents

Abstract

本发明公开了一种移动物体分类的方法，通过交通监控系统提取多组车辆图像，再通过稀疏编码算法学习得到其中一组车辆图像的特征，再提出特征选择算法对图像特征进行二次选择，根据选择的特征对交通管理系统中提取出的车辆图像做特征提取与筛选，最后将车辆特征作为分类器的输入特征对车辆进行分类。本发明一种移动物体分类的方法对交通视频监控系统中的视觉碰撞问题和车辆分类问题分别给出了高效的解决方案：对于视觉碰撞问题，通过定义车辆之间间隙的特征向量和面积，将视觉碰撞问题转化为简单的最优化问题予以解决；对于车辆分类问题，通过稀疏编码算法先学习得到图像的特征，对特征进行二次选取。

Description

一种移动物体分类的方法

技术领域

本发明涉及一种物体分类方法，尤其涉及一种移动物体分类的方法。

背景技术

在配备了固定角度摄像头的道路监控系统中，需要准确的对车辆进行分类，以便于对道路进行监控与维护，并确定车辆的类别，以便于对车辆进行识别和技术；但是传统的分类方法的分类精度较低，且对发生了视觉碰撞的车辆块分割效率较低，并在在进行特征分类时，对部分无效特征也进行了分类，效率较低，且降低了分类准确率。

发明内容

本发明的目的就在于为了解决上述问题而提供一种移动物体分类的方法。

本发明通过以下技术方案来实现上述目的：

一种移动物体分类的方法，通过交通监控系统提取多组车辆图像，再通过稀疏编码算法学习得到其中一组车辆图像的特征，再提出特征选择算法对图像特征进行二次选择，根据选择的特征对交通管理系统中提取出的车辆图像做特征提取与筛选，最后将车辆特征作为分类器的输入特征对车辆进行分类。

具体地，车辆图像提取包括以下工作步骤：

A1、通过均值法背景建模从固定角度摄像头拍摄的视频帧中求取背景模型；

A2、根据已得到的背景模型和视频的当前帧，通过背景差法得到近似前景；

A3、判断近似前景中是否发生有视觉碰撞，若无视觉碰撞，则得到前景车辆，若有视觉碰撞，则对其进行碰撞分析，对发生碰撞的车辆块进行单独分割；

A4、对提取出的前景中的各个车辆均建立2D模型，并通过2D模型对交通参数进行分析并获取。

具体地，通过近似前景中的闭包与凸包的面积比值判断是否发生视觉碰撞，并对其进行碰撞分析，其分析步骤如下：

B1、对前景准确提取，在灰度空间通过双阈值法获取T₁图像，在YCbCr空间通过亮度分量Y计算获取T₂图像，在蓝色色度分量Cb和红色色度分量Cr下获取T₃图像，最后通过T₁、T₂、T₃的逻辑或运算得到最终前景T；

B2、计算闭包与凸包之间的中间间隙区域，对每个间隙建立间隙的特征描述，获取车辆之间的真实间隙；

B3、通过真实间隙顶点间的线段作为分割线，对发生视觉碰撞的车辆块进行分割。

具体地，T₁、T₂、T₃、T的计算公式如下：

$T_1=\left\{\begin{array}{c}1,ifgf-gb<t_{0}orgf-gb>t_1\\ 0,otherwise\end{array}\right.---\left(1\right)$

式中：gf为当前帧灰度图像，gb为灰度背景，t₀、t₁为选取的两个阀值；

$T_2=\left\{\begin{array}{c}1,(yf-yb)\&le;t_2\\ 0,(yf-yb)>t_2\end{array}\right.---\left(2\right)$

式中：yf和yb表示当前帧图像和背景的亮度分量，t₂表示选取阀值大小；

$T_3=\left\{\begin{array}{c}1,{(Cbf-Cbb)}^2+{(Crf-Crb)}^2\&le;t_3\\ 0,{(Cbf-Cbb)}^2+{(Crf-Crb)}^2>t_3\end{array}\right.---\left(3\right)$

式中：Cbf和Cbb表示当前帧图像和背景的Cb分量，Crf和Crb表示图像和背景的Cr分量；

T＝T₁∪T₂∪T₃(4)

具体地，所述真实间隙的获取包括以下步骤：

C1、定义每个间隙中的闭包上距离凸包最远的点为定点A，凸包与闭包的交点分别为B、C；

C2、根据定义的三个角点A、B、C对每个间隙定义特征向量v和面积s，计算公式如下：

$p=\frac{\left|BA\right|+\left|CA\right|+\left|BA\right|}{2}$

$s=\sqrt{p\&CenterDot;(p-|BA\left|\right)\&CenterDot;(p-|CA\left|\right)\&CenterDot;(p-|BA\left|\right)}---\left(5\right)$

$v=\frac{s}{\sqrt{2}}\&CenterDot;(\frac{\stackrel{\&RightArrow;}{BA}}{\left|BA\right|}+\frac{\stackrel{\&RightArrow;}{CA}}{\left|CA\right|})$

C3、根据优化方程式，求解最优分割顶点，获取真实间隙，并以其顶点连线作为分割线，

$\left\{\begin{array}{cc}\min & -\frac{s_i+s_j}{\underset{k}{\mathrm{\&Sigma;}}{s}_k}\&CenterDot;\frac{v_i\&CenterDot;v_j}{\left|A_i{A}_j\right|}\\ s.t.& i\&NotEqual;j\\ & 1\&le;i,j\&le;crad\left(H\right),i\&Element;N^{+},j\&Element;N^{+}\\ & v_i,s_i,A_i,B_i,C_i\&Element;H_i\end{array}\right.---\left(6\right)$

式中：H为所有间隙的集合；

具体地，稀疏编码算法的优化方程式如下：

$L(Y,Z;B)=\frac{1}{2}\left|\right|Y-BZ|{|}_2^2+\mathrm{\&lambda;}|\left|Z\right|{|}_1+\mathrm{\&gamma;}\left|\right|B|{|}_2^2---\left(7\right)$

式中：Y为输入数据图像，Y∈Rⁿ

Z为超完备的基向量稀疏表示，Z∈R^m

B基向量矩阵，B∈Rⁿ*，m>n

通过优化方程式获取Y在B下的稀疏表示Z，从子图像中学习得到图像特征。优选地，所述分类器为卷积神经网络，并在输入分类器前对其进行特征筛选，剔除部分无效特征，其步骤如下：

D1、对每个特征f_i提取到的图像表达做分类测试，得到每个特征对训练数据集图像的分类结果AC(f_i)，建立优化方程计算选取的K个特征：

$\left\{\begin{array}{c}max\underset{i=1}{\overset{N}{\&Sigma;}}{y}_i\&CenterDot;AC\left(f_i\right)\\ s.t.f_i\&Element;F,y_i=\{0,1\},\underset{i=1}{\overset{N}{\&Sigma;}}{y}_i=K\end{array}\right.---\left(8\right)$

式中：F表示稀疏编码学习到的N个特征，其中K表示选取的特征个数，当y_i＝1表示选取特征f_i提取特征；

D2、用学习到的N个特征分别对图像提取特征分类，并按照特征f的分类结果重新排列f的顺序，

$AC\left(f_m\right)\&le;AC\left(f_n\right)\&DoubleLeftRightArrow;m\&le;n---\left(9\right)$

D3、通过K个特征数据对N个特征数据进行定位，剔除N个特征中的部分无效特征。

本发明的有益效果在于：

本发明一种移动物体分类的方法对交通视频监控系统中的视觉碰撞问题和车辆分类问题分别给出了高效的解决方案：

对于视觉碰撞问题，通过定义车辆之间间隙的特征向量和面积，将视觉碰撞问题转化为简单的最优化问题予以解决，在实际视频中测试发现算法不仅可以对每个车辆进行单独分割，而且也满足实时处理的要求；

对于车辆分类问题，通过稀疏编码算法先学习得到图像的特征，为了选择更好的图像特征表达，文中提出了特征选择的概念，对特征进行二次选取，使得计算速度提高了数倍，且很大程度上降低了过拟合的可能，对于小数据的分类更有优势，且能提高一定的监控准确率。

具体实施方式

下面对本发明作进一步说明：

本发明一种移动物体分类的方法，通过交通监控系统提取多组车辆图像，再通过稀疏编码算法学习得到其中一组车辆图像的特征，再提出特征选择算法对图像特征进行二次选择，根据选择的特征对交通管理系统中提取出的车辆图像做特征提取与筛选，最后将车辆特征作为分类器的输入特征对车辆进行分类。

具体地，车辆图像提取包括以下工作步骤：

Backgroundestimation从视频帧中估计背景模型，由于交通监控视频中背景相对单一，我们选择高效的均值法背景建模来求取背景图像。

Extractforeground根据已经得到的背景和视频当前帧得到前景，本方法通过背景差法可以近似得到前景，得到了单辆车或者发生视觉碰撞的多辆车组成的车辆块。

Occlusiondetection是检测是否发展视觉碰撞，如果没有发生视觉碰撞，则前景车辆已经被提取出来；当发生视觉碰撞时，需要将发生视觉碰撞的车辆单独分割出来，

Vehiclemodel对提取的前景对每个车辆建立2D模型来表示车辆。

Trafficparameters是经过对视频中所有单一车辆分析得到有价值的交通参数，比如交通流量、交通拥挤度、车辆速度等交通信息。

通过近似前景中的闭包与凸包的面积比值判断是否发生视觉碰撞，并对其进行碰撞分析，其分析步骤如下：

对前景准确提取，在灰度空间通过双阈值法获取T1图像，在YCbCr空间通过亮度分量Y计算获取T2图像，在蓝色色度分量Cb和红色色度分量Cr下获取T3图像，最后通过T1、T2、T3的逻辑或运算得到最终前景T；

阴影区域的亮度相对背景亮度有了很大变化，双阀值法可以很好地去掉阴影的影响，计算T1

$T_1=\left\{\begin{array}{c}1,ifgf-gb<t_{0}orgf-gb>t_1\\ 0,otherwise\end{array}\right.---\left(1\right)$

式中：gf为当前帧灰度图像，gb为灰度背景，t0、t1为选取的两个阀值；

YCbCr颜色模型经常被用于分离图像的亮度和色度部分，T2是从图像的亮度分量来计算得到，计算T2：

$T_2=\left\{\begin{array}{c}1,(yf-yb)\&le;t_2\\ 0,(yf-yb)>t_2\end{array}\right.---\left(2\right)$

式中：yf和yb表示当前帧图像和背景的亮度分量，t2表示选取阀值大小；

根据图像的色度差异可以计算得到T3：

$T_3=\left\{\begin{array}{c}1,{(Cbf-Cbb)}^2+{(Crf-Crb)}^2\&le;t_3\\ 0,{(Cbf-Cbb)}^2+{(Crf-Crb)}^2>t_3\end{array}\right.---\left(3\right)$

式中：Cbf和Cbb表示当前帧图像和背景的Cb分量，Crf和Crb表示图像和背景的Cr分量；

根据得到的T1、T2、T3的逻辑或运算得到最终前景T：

T＝T₁∪T₂∪T₃(4)

真实间隙的获取包括以下步骤：

定义每个间隙中在闭包上距离凸包最远的点为顶点A，凸包与闭包的交点分别为B、C，对每个间隙根据定义的3个角点来定义特征向量v和面积s，间隙面积为△ABC的面积，特征向量v方向为顶点A的角平分线。则每个间隙可以有5个特征来唯一表示，分别为顶点A，交点B、C，间隙特征向量v，间隙面积s：

$p=\frac{\left|BA\right|+\left|CA\right|+\left|BA\right|}{2}$

$s=\sqrt{p\&CenterDot;(p-|BA\left|\right)\&CenterDot;(p-|CA\left|\right)\&CenterDot;(p-|BA\left|\right)}$

$v=\frac{s}{\sqrt{2}}\&CenterDot;(\frac{\stackrel{\&RightArrow;}{BA}}{\left|BA\right|}+\frac{\stackrel{\&RightArrow;}{CA}}{\left|CA\right|})---\left(5\right)$

分割碰撞车辆块问题可以转换为寻找合适的间隙顶点问题，最后以最优分割顶点间的线段作为分割线，对车辆进行分割即可，下面给出寻找间隙顶点的方案：

$\left\{\begin{array}{cc}\min & -\frac{s_i+s_j}{\underset{k}{\mathrm{\&Sigma;}}{s}_k}\&CenterDot;\frac{v_i\&CenterDot;v_j}{\left|A_i{A}_j\right|}\\ s.t.& i\&NotEqual;j\\ & 1\&le;i,j\&le;crad\left(H\right),i\&Element;N^{-},j\&Element;N^{+}\\ & v_i,s_i,A_i,B_i,C_i\&Element;H_i\end{array}\right.---\left(6\right)$

式中：H为所有间隙的集合；

发生视觉碰撞的车辆，在前景准确提取的情况下，由于车辆之间存在的间隙，从所有间隙中，找到间隙间顶点距离较近、且面积较大、特征向量方向相反的间隙，作为现实中车辆之间的真实间隙。间隙间的顶点距离较近可以判断间隙顶点相对远离凸包，即有可能属于真实间隙；面积大小将进一步确定是否是噪声间隙，小的噪声间隙会在这一步中去掉；最后的方向是当确认了均有可能是间隙时，当两个间隙间的特征向量相反时才是存在分割点的间隙。

由于在准确的前景提取下，存在间隙的数量不会很多(在实际实验中，最多不会超过10个)，在求解优化方程式(6)时，通过遍历所有组合来求得最优解，并不会有过多的时间消耗，所以保证了系统的实时性。

本发明通过稀疏编码算法学习得到自然图像的本质特征，特别的为了提高分类效率，我们给出特征选择方法，对学习到的特征进行二次选择，不仅降低了分类时间消耗，而且在很大程度上防止小数据集下的过拟合现象。最后再用选择好的特征提取原图像特征表达，输入softmax分类器对数据进行分类。

稀疏编码算法尝试着根据输入数据Y∈Rⁿ找到一组超完备的基向量的稀疏表示Z∈R^m，其中基向量为矩阵B∈Rⁿ*^m的列向量，其中m>n，理想化的稀疏编码可以表示为：

min||Z||₀s.t.Y＝BZ(7)

式(7)中表示求取Z的l⁰范数，即向量Z中非0的数的个数。如果直接求解式(7)需要组合寻找所有可能的情况，这是不可取的。该问题可以转化为：

$L(Y,Z;B)=\frac{1}{2}\left|\right|Y-BZ|{|}_2^2+\mathrm{\&lambda;}|\left|Z\right|{|}_1---\left(8\right)$

式(8)中第一项为重构误差，第二项为稀疏性惩罚项，保证了Z的稀疏性。但是式(8)的约束性并不强，当按照常数倍变化基向量B的同时按照常数的倒数倍变化稀疏表示Z，不会改变重构误差，但是会减少稀疏代价，则需要对基向量B加强约束，得到新的优化方程：

$L(Y,Z;B)=\frac{1}{2}\left|\right|Y-BZ|{|}_2^2+\mathrm{\&lambda;}|\left|Z\right|{|}_1+\mathrm{\&gamma;}\left|\right|B|{|}_2^2---\left(9\right)$

通过式(9)可以学习到一组超完备的基B，并且得到Y在B下的稀疏表示Z。我们从无标签数据中提取10W张8*8子图像学习到100个图像特征。

本发明采用深度学习网络作为分类器。针对图像分类问题，我们采用卷积神经网络。卷积神经网络中需要用学习到的特征和原图像做卷积来提取特征，当学习的特征数量比较大时，不仅需要消耗大量的时间来实现卷积，而且对于小数据的分类器，很容易发生过拟合。假设通过学习得到一些特征来对小汽车和越野车分类，其中核心的分类特征为尾翼的区别，而学习得到的轮胎、车头等特征对分类并没有起决定性的作用。我们提出特征筛选方案来选择对分类有作用的特征，减少计算时间的同时，可以减小过拟合的可能。

对每个特征fi提取到的图像表达做分类测试，得到每个特征对训练数据集图像的分类结果AC(fi)，建立优化方程计算选取的K个特征：

$\left\{\begin{array}{c}max\underset{i=1}{\overset{N}{\&Sigma;}}{y}_i\&CenterDot;AC\left(f_i\right)\\ s.t.f_i\&Element;F,y_i=\{0,1\},\underset{i=1}{\overset{N}{\&Sigma;}}{y}_i=K\end{array}\right.---\left(10\right)$

式中：F表示稀疏编码学习到的N个特征，其中K表示选取的特征个数，当yi＝1表示选取特征fi提取特征；

用学习到的N个特征分别对图像提取特征分类，并按照特征f的分类结果重新排列f的顺序，

$AC\left(f_m\right)\&le;AC\left(f_n\right)\&DoubleLeftRightArrow;m\&le;n---\left(11\right)$

通过K个特征数据对N个特征数据进行定位，剔除N个特征中的部分无效特征。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (7)

1.一种移动物体分类的方法，其特征在于：通过交通监控系统提取多组车辆图像，再通过稀疏编码算法学习得到其中一组车辆图像的特征，再提出特征选择算法对图像特征进行二次选择，根据选择的特征对交通管理系统中提取出的车辆图像做特征提取与筛选，最后将车辆特征作为分类器的输入特征对车辆进行分类。

2.根据权利要求1所述的一种移动物体分类的方法，其特征在于：车辆图像提取包括以下工作步骤：

A1、通过均值法背景建模从固定角度摄像头拍摄的视频帧中求取背景模型；

A2、根据已得到的背景模型和视频的当前帧，通过背景差法得到近似前景；

A3、判断近似前景中是否发生有视觉碰撞，若无视觉碰撞，则得到前景车辆，若有视觉碰撞，则对其进行碰撞分析，对发生碰撞的车辆块进行单独分割；

A4、对提取出的前景中的各个车辆均建立2D模型，并通过2D模型对交通参数进行分析并获取。

3.根据权利要求2所述的一种移动物体分类的方法，其特征在于：通过近似前景中的闭包与凸包的面积比值判断是否发生视觉碰撞，并对其进行碰撞分析，其分析步骤如下：

B1、对前景准确提取，在灰度空间通过双阈值法获取T₁图像，在YCbCr空间通过亮度分量Y计算获取T₂图像，在蓝色色度分量Cb和红色色度分量Cr下获取T₃图像，最后通过T₁、T₂、T₃的逻辑或运算得到最终前景T；

B2、计算闭包与凸包之间的中间间隙区域，对每个间隙建立间隙的特征描述，获取车辆之间的真实间隙；

B3、通过真实间隙顶点间的线段作为分割线，对发生视觉碰撞的车辆块进行分割。

4.根据权利要求3所述的一种移动物体分类的方法，其特征在于：T₁、T₂、T₃、T的计算公式如下：

式中：gf为当前帧灰度图像，gb为灰度背景，t₀、t₁为选取的两个阀值；

式中：yf和yb表示当前帧图像和背景的亮度分量，t₂表示选取阀值大小；

式中：Cbf和Cbb表示当前帧图像和背景的Cb分量，Crf和Crb表示图像和背景的Cr分量；

T＝T₁∪T₂∪T₃(4)。

5.根据权利要求3所述的一种移动物体分类的方法，其特征在于：所述真实间隙的获取包括以下步骤：

C1、定义每个间隙中的闭包上距离凸包最远的点为定点A，凸包与闭包的交点分别为B、C；

C2、根据定义的三个角点A、B、C对每个间隙定义特征向量v和面积s，计算公式如下：

C3、根据优化方程式，求解最优分割顶点，获取真实间隙，并以其顶点连线作为分割线，

式中：H为所有间隙的集合。

6.根据权利要求1所述的一种移动物体分类的方法，其特征在于：稀疏编码算法的优化方程式如下：

式中：Y为输入数据图像，Y∈Rⁿ

Z为超完备的基向量稀疏表示，Z∈R^m

B基向量矩阵，B∈Rⁿ*，m>n

通过优化方程式获取Y在B下的稀疏表示Z，从子图像中学习得到图像特征。

7.根据权利要求1所述的一种移动物体分类的方法，其特征在于：所述分类器为卷积神经网络，并在输入分类器前对其进行特征筛选，剔除部分无效特征，其步骤如下：

D1、对每个特征f_i提取到的图像表达做分类测试，得到每个特征对训练数据集图像的分类结果AC(f_i)，建立优化方程计算选取的K个特征：

式中：F表示稀疏编码学习到的N个特征，其中K表示选取的特征个数，当y_i＝1表示选取特征f_i提取特征；

D2、用学习到的N个特征分别对图像提取特征分类，并按照特征f的分类结果重新排列f的顺序，

D3、通过K个特征数据对N个特征数据进行定位，剔除N个特征中的部分无效特征。