CN103310206A - 一种基于多特征与多帧信息融合的助力车检测方法 - Google Patents

Abstract

一种基于多特征与多帧信息融合的助力车检测方法，为两个阶段，第一个阶段检测目标并提取单帧图像中运动物体的特征信息进行融合得到单帧的目标分类判决，第二个阶段对多帧图像的各判决进行融合从而产生总体目标分类判决结果。本发明不依赖于额外的硬件设备，能够处理实际视频监测中得到的质量较差、尺寸较小且场景混杂的图像；提高系统的检测率，降低了漏检率；提高了检测速度，满足了实时检测需求。

Description

一种基于多特征与多帧信息融合的助力车检测方法

技术领域

本发明涉及一种基于多特征与多帧信息融合的助力车检测方法，属于模式识别和智能交通技术领域。

背景技术

近年来我国道路上的机动车数量呈现爆炸式的增长，导致道路交通出现严重的堵塞。为了减轻道路交通的拥塞，同时缓解能源短缺和环境污染等问题造成的压力，国家大力倡导绿色能源和低碳经济，越来越多的人回归到选用助力车为代步工具，而助力车所带来的交通事故量大为增加。数据显示，2011年，全国共接报道路交通事故1840998起，直接财产损失4.4亿元。由此可见，对助力车进行检测具有很大的实用价值和社会效益，在民用和警用方面均有很好的发展空间。

现有对助力车的检测较多地采用增设外部传感器的方法。文章【2】使用激光传感器对行人和助力车进行检测和跟踪，成本较高，推广比较困难。文章【3】提出在助力车上安装GPS接收器检测车主的运动状态，对车主定位自身所在位置较为有效，但不宜用于城市交通管理之中。这类外部增设传感器的办法，增加了整个系统的构建和运行成本，处理手段较为复杂，而且无法获取视频图像等直观信息。

近年来由于图像处理和计算机视觉的飞速发展，将视频技术应用于智能交通系统的案例越来越多。视频由于其独有的具有巨大信息量的特点，在实际应用中迅速普及，利用视频进行助力车的监测变得越来越具有实用价值。文章【4】利用助力车有两个车轮的特征，通过霍夫变换在视频图像中寻找两个椭圆，以判定检测到的对象是否为助力车。算法利用的助力车具有两个车轮的特征信息属于运动物体的细节特征信息，因此算法要求视频图像具有较高的清晰度，而实际应用中的视频图像通常无法达到其对清晰度的要求。文章【5】统计检测到的运动物体区域的一些简单特征信息如长度、宽度和长宽比等，根据得到的特征信息将运动区域进行分类，对可能出现遮挡的区域按不同类型进行分割，进而采用检测和跟踪摩托车驾驶者的头盔来对摩托车进行识别，其检测对象单一，需要检测的头盔目标较小，目标跟踪的效果不理想。文章【6】利用被检测图像的积分图像的方向梯度直方图提取特征信息，并且使用Lucas-Kanade跟踪器对图像中检测出的运动物体进行跟踪，但是其提取特征信息所需要的图像要有较大的尺寸，实际应用中的监测图像很难达到要求，且数据计算量大，处理速度慢，难以满足实时性需求。

【1】2011年上半年全国道路交通事故情况

http://www.mps.gov.cn/n16/n1282/n3553/2921474.html

【2】Y.Wu,Q.Kong,Z.Liu and Y.Liu,"Pedestrian and Bicycle Detection and Tracking in RangeImages,"In Proc.International Conference on Optoelectronicsand Image Processing(ICOIP2010),2010,pp.109-112.

【3】N.Thepvilojanapng,K.Sugo,Y.Namiki and Y.Tobe,"Recognizing Bicycling States withHMM based on Accelerometer and Magnetometer Data,"In Proc.SICE Annual Conference,Waseda University,2011,pp.831-832.

【4】S.Rogers,P.Nikolaos,”A Robust Video‐based Bicycle Counting System”,InProceedings of ITSAmerica Meeting(9th:New thinking in transportation),WashingtonDC,pp.1‐12,1999.

【5】C.Chiu,M.Ku and H.Chen,”Motorcycle Detection and Tracking System with OcclusionSegmentation”,InProceedings of the Eight International Workshop on Image Analysis forMultimedia Interactive Services(WIAMIS’07),pp.32‐35,2007.

【6】H.Cho,P.Rybski and W.Zhang,”Vision‐based Bicyclist Detection and Tracking for IntelligentVehicles,”InProceedings of IEEE Intelligent Vehicle Symposium,University of California,San Diego,pp.454‐461,Jun.2010.

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于多特征与多帧信息融合的助力车检测方法，不依赖于额外的硬件设备，能够处理实际视频监测中得到的质量较差、尺寸较小且场景混杂的图像；提高系统的检测率，降低了漏检率；提高了检测速度，满足了实时检测需求。

本发明的技术方案分为两个阶段，第一个阶段提取单帧图像中运动物体的多个特征信息进行融合得到单帧判决结果，第二个阶段利用多帧图像的判决结果进行融合从而产生总体判决。

（1）单帧图像多特征信息融合

对视频图像中检测到的运动物体区域统计其多个特征信息组成该运动物体的特征向量，把得到的特征向量利用多特征信息融合规则得到单帧图像的判决结果。

（2）多帧信息融合

为了增大单帧判决的抗干扰能力，利用运动物体从进入检测区域到离开检测区域之间的多帧图像的判决结果进行融合，从而得到结果更加可靠的多帧判决结果。针对多帧判决结果，根据采集到的样本图像的多少提供其判决结果的置信度，从而满足不同判决精度下的检测结果。

本发明进行助力车检测方法具体实现流程如图1：

STEP1：从摄像头采集一帧图像，进入STEP2；

STEP2：采用自适应背景更新模型，利用STEP1采集到的图像获得最新的背景图像（若输入的是第一帧图像，则对背景图像进行初始化操作，建立背景图像，若不为第一帧，则结合上一帧获取的背景图像和输入的这一帧图像来更新背景图像），进入STEP3；

STEP3：利用STEP2得到的背景图像，采用背景差分的办法获取前景图像（即当前帧图像与背景图像相减，所得的差值构成的图像为前景图像），对所得前景图像进行了阈值处理、形态学处理、前景目标融合方面的后处理以消除由噪声、干扰信号、摄像机抖动和大范围光线变化因素导致的图像噪点，经过这些后处理可获得较纯净的前景图像，进入STEP4；

STEP4：在STEP3得到的前景图像中通过分割，检测到若干个运动物体（以下步骤以运动物体A为例，所有运动物体均执行相同的处理过程），进入STEP5；

STEP5：提取STEP4检测出的运动物体A的多个特征信息（包括状态信息和运动信息，其中状态信息包括运动物体的大小、长宽比、占空比等，运动信息包括速度等），当运动物体A首次出现在图像中时，为运动物体A新建一块信息存储空间，并记录提取出的特征信息；进入STEP6；

STEP6：对STEP5提取到的运动物体A的多个特征信息进行融合，此步骤称为单帧图像多特征信息融合，进入STEP7；

STEP7：利用STEP6的多特征融合结果判断运动物体A是否为助力车，并存储运动物体A的单帧判决结果，第i帧的判决结果P_I(A)，进入STEP8；

STEP8：对运动物体A进行跟踪，判断运动物体A是否已经离开检测区域，若是，则进入STEP9，否则进入STEP10；

STEP9：对运动物体A的所有判决结果进行融合，获得全局判决结果P(A)，并计算该判决结果即P(A)的置信度，此步骤称为多帧判决融合；进入STEP10；

STEP10：转到STEP1继续执行，直到摄像头采集的所有图像处理完毕。

所述STEP6中单帧多特征信息融合采用基于支持向量机（SVM，Support Vector Machine）的单帧图像多特征信息融合方法，具体实现为：

（1）从视频中截取大量助力车图像，作为训练SVM所使用的正样本，再从视频中截取非助力车图像，数量为助力车图像数量的两倍，作为训练所使用的负样本；进入（2）；

（2）针对（1）得到的每一个样本图像，提取其中运动物体的多个特征信息，该运动物体的多个特征信息组成该运动物体的特征向量；进入（3）；

（3）将（2）得到的所有运动物体的特征向量输入SVM计算，得到一个向量，该向量即为用于判断运动物体是否为助力车的最有分类面向量；进入（4）；

（4）针对每个检测到的运动物体，把其特征向量与（3）得到的最优分类面进行向量的点乘，得到一个浮点数，若该浮点数大于零，则该运动物体为助力车，否则不是。

所述STEP6中单帧多特征信息融合采用基于级联分类器的单帧图像多特征信息融合，具体实现为：根据运动物体A的第一个特征信息，判断A是否为助力车，若能够根据第一个特征判断其不是助力车，则结束判断过程，否则继续根据第二个特征进行判断；以此类推，直到所有的特征信息都已经被使用。

所述STEP9对运动物体A的所有判决结果进行融合，获得全局判决结果P(A)，并计算P(A)的其置信度的具体过程为：

（1）统计运动物体A从进入监视区域到离开监视区域之间被检测到的总帧数M，进入（2）；

（2）统计运动物体A从进入监视区域到离开监视区域单帧判决结果是助力车的总帧数M_b，进入（3）；

（3）若

大于一定的阈值，则P(A)为“A是助力车”，否则“A不是助力车”，进入（4）；

（4）若M大于某一设定的阈值N，则判断结果的置信度为1，否则为

本发明与现有技术相比的优点在于：

1）本发明技术方案选取运动物体的稀疏特征，对图像质量和图像尺寸的要求较低，因此能够很好地处理实际视频监测中的质量差、尺寸小的图像；

2）不同的特征信息能够在不同的方面区分运动物体，某一特征信息相近的两个物体在另外一些特征信息上具有很大的差异。本发明基于多特征融合能够自适应地根据运动物体的相异特征区分物体，增加了检测的准确率并且提高了检测速度，能够满足实时性需求；

3）通常图像中的噪声、扰动等干扰信息是随机出现的，融合多帧图像的判决结果能够有效地消除随机干扰信号的影响，选取运动物体的特征包括运动物体的大小、长宽比、占空比和运动速度，计算简单，能够达到很高的处理速度。在测试视频中基于SVM的特征融合检测率达到96.96%，单帧处理时间为16ms；基于级联分类器的特征融合检测率达到95.14%，单帧处理时间为16ms；本发明的多帧信息融合增加了判决的抗干扰能力；

4）通过引入置信度能够有效地平衡检测率和误检率之间的矛盾。

设置不同的置信度能够得到不同的检测率和误检率。当置信度较高时，误检率会降低但同时检测率也会降低；当置信度较低时检测率会增加但同时误检率也会增加。设置不同的置信度能够在增加检测率和降低误检率之间取得所需要的平衡。

附图说明

图1为本发明的实现流程图；

图2为本发明中的cascade分类器结构图。

具体实施方式

如图1所示，本发明具体实现如下：

1单帧图像多特征信息融合

1.1、运动物体的特征选择

选用运动物体的如下几个特征信息，建立运动物体的特征向量：

●运动物体区域所占像素点数：

运动物体在图像上所占有的面积大小可由图像区域的像素点数多少来表示，由统计信息可以得出，机动车所占像素点数明显多于行人或助力车所占的像素点数，但行人和助力车所占像素点数相差不大。此特征可以很好地区分机动车与非机动车，但无法有效地区分行人和助力车。

●运动物体区域宽度、长度、宽高比：

机动车宽高比一般大于1，行人宽高比一般小于1，助力车在横向出入检测区域时宽高比接近于1，而纵向出入检测区域时宽高比与行人类似。此特征可以有效地区分行人欲横向驶入的助力车。

●运动物体区域前景占空比：

前景占空比是指在运动物体区域的外接矩形区域中前景像素点数与总的像素点数的比值，如式（1）所示：

$R_f=\frac{N_{\mathrm{fore}}}{N_{\mathrm{total}}}---\left(1\right)$

其中，R_f为前景占空比，N_fore为前景像素点数，N_total为总的像素点数。将运动物体按上下位置分为两半，分别统计上下两块区域的前景占空比值，发现机动车和行人上下两块区域的前景占空比值均较大，而助力车上下两块区域的前景占空比值中，上半部分的值较小，下半部分的值较大，二者相差较大。

●运动物体速度：

假设图像中第i个运动物体的行进速度为v_i，则其速度表达式可用式（2）表示：

$v_i=\frac{\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}\mathrm{\Δ}{S}_j}{n-1}---\left(2\right)$

其中，ΔS_j为每两帧之间运动物体在图像中的位移，n为运动物体i已出现的帧数。在统计速度信息时，为了最大限度的降低因为前景分割不准确造成的误差，本技术发明方案采用运动物体中心位置的位移来统计速度信息。

1.2、基于支持向量机的单帧图像多特征信息融合

支持向量机（SVM，Support Vector Machine）是根据统计学习理论发展起来的一种机器学习方法，由于其出色的分类效果，现被广泛应用于计算机视觉领域。其基本思想为：将低维的输入空间通过核函数变换到高维特征空间，使得数据更容易线性可分，在高维特征空间中构造线性函数来实现原空间中的非线性分类函数，即获得一个分类的超平面，用来在高维空间里获得最优的分类结果。基于SVM的多特征融合步骤如下：

a)从视频中截取大量助力车图像，作为训练SVM所使用的正样本，再从视频中截取非助力车图像（数量约为助力车图像数量的两倍），作为训练所使用的负样本；进入b）。

b)针对a）得到的每一个样本图像，提取其中运动物体的多个特征信息，该运动物体的多个特征信息组成该运动物体的特征向量，如式（3）所示：

(label,feature₁,feature₂,...,feature_n)                 （3）

其中，label为样本标签，feature₁,feature₂,...,feature_n等表示的是各个特征的值；进入c）。

c)将b）得到的所有运动物体的特征向量输入SVM计算，得到一个向量，该向量即为用于判断运动物体是否为助力车的最有分类面向量；形如式（4）所示：

V_ε＝(β₁,β₂,...,β_n,γ)                                （4）

其中，β₁,β₂,...,β_n等是由SVM训练所得的最优分类权值，γ为由支持向量机训练所得偏置量；进入d）。

d)针对每个检测到的运动物体，将选定的最优分类面向量值输入到程序中，作为融合各特征时所用的权值，按式（5）计算分类所用的决策值：

F＝feature₁*β₁+feature₂*β₂+…+feature_n*β_n+γ     （5）

其中，F为融合后用来分类的决策值，γ为由SVM训练所得偏置量。若结果的决策值F≥0，则认为运动物体为助力车，否则不是。

1.3、基于级联分类器的单帧图像多特征信息融合

cascade级联分类器是一种串联结构的组合分类器，其结构图如图2所示：

图2中，每一个圆表示一级分类器，将各级分类器组合在一起，成为一个整体。级联分类器采用了一系列简单的分类器级联，每一级都是一个弱分类器，级联后构成一个强分类器。前级分类器采用相对较简单的特征，排除掉很大一部分运动物体，后级分类器则采用较为复杂一些的特征，用于精细划分运动物体。一旦某运动物体被级联分类器中的某一级判为非助力车，它就不会在下一级判断中出现，极大地降低了后级分类器的计算量，因此可以获得一个相对较快的检测速度。

在本发明中，将运动物体的各类形状信息作为级联分类器的前级分类器以区别机动车和非机动车，计算量较小，判断较简单；将运动物体的速度信息作为后级分类器，主要用来精细区分助力车和行人。

2、多帧图像信息融合

由于噪声和其他因素的影响，单帧判决准确率较低。通常噪声或者扰动是随机的，融合运动物体多帧图像的判决信息会大大降低噪声和扰动的影响，提高判决的准确率。

2.1、运动物体的生命周期

当一个运动物体离开检测区域时进行多帧信息融合，通过设定运动物体的生命周期来判断运动物体是否已经离开运动区域。运动物体A的生命周期设定为一个整数N，当运动物体A第一次被检测到之后，在后续每一帧图像中若A没有被检测到，其漏检次数加1，当漏检次数大于设定的阈值N时，算法认为运动物体A已经离开了检测区域，则开始多帧信息融合。由于扰动等因素的存在，运动物体A在检测区域中时可能没有被算法检测到从而产生漏检，设定生命周期后只有漏检次数达到一定阈值后才会认为运动物体A已经离开了检测区域，从而能够极大地降低扰动的影响。

2.2融合规则

对于运动物体A的多帧检测信息，假设其被检测到的总帧数为M，其中单帧判决结果为助力车的帧数为M_b，判决规则如式（6）：

当总帧数M大于2.3中的阈值N时，融合结果可信度较高；当M小于阈值N时，提供判决结果的置信度。

2.3判决的置信度

定义多帧信息融合的判决结果置信度COF，如式（7）：

$\mathrm{COF}=\left\{\begin{array}{c}1,M\&GreaterEqual;N\\ \frac{M}{N},M<N\end{array}\right.---\left(7\right)$

当多帧融合结果的置信度接近于1时，认为判决结果比较可靠。基于判决结果的置信度，可按式（8）来设置不同的置信度阈值，用以取舍判决结果。

其中T_COF为置信度的阈值，取值范围为[0,1]。通过设置不同的置信度阈值能够满足不同场景的应用需求。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (4)

1.一种基于多特征与多帧信息融合的助力车检测方法，其特征在于实现步骤如下：

STEP1：从摄像头采集一帧图像，预处理后进入STEP2；

STEP2：采用自适应背景更新模型，利用STEP1采集到的图像获得最新的背景图像。若输入的是第一帧图像，则对背景图像进行初始化操作，建立背景图像；若不为第一帧，则结合上一帧获取的背景图像和输入的这一帧图像来更新背景图像，之后进入STEP3；

STEP3：利用STEP2得到的背景图像，采用背景差分的办法获取前景图像，即当前帧图像与背景图像相减，所得的差值构成的图像为前景图像。对所得前景图像进行阈值处理、形态学处理、前景目标融合方面的后处理以消除由噪声、干扰信号、摄像机抖动和大范围光线变化因素导致的图像噪点，经过这些后处理可获得较纯净的前景图像，再进入STEP4；

STEP4：在STEP3得到的前景图像中通过分割，检测到若干个运动物体A，所有运动物体均执行相同的处理过程，进入STEP5；

STEP5：提取STEP4检测出的运动物体A的多个特征信息，多个特征信息包括状态信息和运动信息，其中状态信息包括运动物体的大小、长宽比和占空比，运动信息包括速度；当运动物体A首次出现在图像中时，为运动物体A新建一块信息存储空间，并记录提取出的特征信息；进入STEP6；

STEP6：对STEP5提取到的运动物体A的多个特征信息进行融合，此步骤称为单帧图像多特征信息融合，进入STEP7；

STEP7：利用STEP6的多特征融合结果判断运动物体A是否为助力车，并存储运动物体A的单帧判决结果，记第i帧的判决结果为P_i(A)，进入STEP8；

STEP8：对运动物体A进行跟踪，判断运动物体A是否已经离开检测区域：若是，则进入STEP9，否则进入STEP10；

STEP9：对运动物体A的所有单帧判决结果进行融合，获得全局判决结果P(A)，并计算该判决结果即P(A)的置信度，此步骤称为多帧判决融合；进入STEP10；

STEP10：转到STEP1继续执行，直到输入的所有图像处理完毕。

2.根据权利要求1所述的基于多个特征与多帧信息融合的助力车检测方法，其特征在于：所述STEP6中单帧多特征信息融合采用基于支持向量机（SVM，Support Vector Machine）的单帧图像多特征信息融合方法，具体实现为：

（1）从视频中截取大量助力车图像，作为训练SVM所使用的正样本，再从视频中截取非助力车图像，数量为助力车图像数量的两倍，作为训练所使用的负样本；进入步骤（2）；

（2）针对步骤（1）得到的每一个样本图像，提取其中运动物体的多个特征信息，该运动物体的多个特征信息组成该运动物体的特征向量；进入步骤（3）；

（3）将步骤（2）得到的所有运动物体的特征向量输入SVM计算，得到一个向量，即用于判断运动物体是否为助力车的最优分类面向量；进入步骤（4）；

（4）针对每个检测到的运动物体，把其特征向量与步骤（3）得到的最优分类面向量进行向量的点乘，得到一个浮点数，若该浮点数大于预定阈值，则该运动物体为助力车，否则不是。

3.根据权利要求1所述的基于多特征与多帧信息融合的助力车检测方法，其特征在于：所述STEP6中单帧多特征信息融合采用基于级联分类器的单帧图像多特征信息融合，具体实现为：根据运动物体A的第一个特征信息，判断运动物体A是否为助力车，若能够根据第一个特征判断其不是助力车，则结束判断过程，否则继续根据第二个特征进行判断；以此类推，直到所有的特征信息都已经被使用。

4.根据权利要求1所述的基于多特征与多帧信息融合的助力车检测方法，其特征在于：所述STEP9对运动物体A的所有判决结果进行融合，获得全局判决结果P(A)，并计算P(A)的置信度的具体过程为：

（1）统计运动物体A从进入监视区域到离开监视区域之间被检测到的总帧数M，进入步骤（2）；

（2）统计运动物体A从进入监视区域到离开监视区域单帧判决结果是助力车的总帧数M_b，进入步骤（3）；

（3）若

大于一定的阈值，则P(A)为“A是助力车”，否则“A不是助力车”，进入步骤（4）；

（4）若M大于某一设定的阈值N，则判断结果的置信度为1，否则为

Images