CN105718923A - 一种基于逆投影图的夜间车辆检测与计数方法 - Google Patents

Abstract

本发明公开了一种基于逆投影图的夜间车辆检测与计数方法，通过建立三维逆投影面，得到每一帧图像的逆投影图；对车灯进行粗匹配，得打车灯对，对车灯对进行细匹配，得到目标车灯对；将属于同一车辆的目标车灯对组成一个目标车灯对组，确定各个目标车灯对组的匹配次数，根据匹配次数的大小，确定目标车灯对是否为检测到的夜间车辆目标。本发明的方法对夜间车辆检测与计数具有实时高效的特点，具有广阔的应用前景。

Description

一种基于逆投影图的夜间车辆检测与计数方法

技术领域

本发明属于视频检测领域，具体涉及一种基于逆投影图的夜间车辆检测与计数方法。

背景技术

近年来，社会经济的快速发展使得私家汽车数量急剧的增加，智能交通系统作为一种实时的、高效的交通管理系统以其能够有效解决交通拥堵问题得到世界的认可。车辆检测与计数方法在智能交通系统的研究中占有相当重要的地位，车辆检测与计数是获取车流量信息的第一步。

目前，夜间车辆检测与计数作为车辆检测的一个部分，针对夜间光照条件较差的环境很难或者说基本不能通过摄像机来获取车辆的清晰图像，这就极大加深了检测的难度。针对这个难题，相关研究人员主要从两个方面进行研究，一方面是通过改善硬件采用特殊的高性能摄像机，该方法很难避免车灯的光晕以及车灯光线的影响，常用的方法还是通过CCD摄像机拍摄夜间视频，通过车灯对夜间车辆进行检测；另一方面就是针对夜间车辆检测与计数算法进行研究，一些学者考虑到在夜间受车灯光晕及其路面反射光线影响严重，因此试图采通过帧差法来消除车灯光晕和路面反射光线；另一些学者根据夜间车灯所具有的明亮、稳定且不受路灯投射光线和天气情况影响这几个特征做了大量的研究工作。在夜间，车灯包括前灯和车尾灯这两种。上述夜间车辆检测与计数方法容易受到非车灯(警示灯)或者车身反射光的影响。

发明内容

针对上述现有技术中存在的问题或缺陷，本发明的目的在于，提供一种基于逆投影图的夜间车辆检测与计数方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于逆投影图的夜间车辆检测与计数方法，包括以下步骤：

步骤一，采用路面监控摄像头拍摄路面图像，获取路面的多帧视频图像，设置三维逆投影检测面，将视频图像显示在三维逆投影检测面上，采用数据重构恢复出三维逆投影检测面上的每一帧图像的逆投影图；

步骤二，对每一帧图像的逆投影图进行背景提取，得到每一帧图像的背景图像；

步骤三，对每一帧图像的逆投影图进行前景提取，得到每一帧图像的前景图像，当前景图像中包含有多个代表车辆可疑车灯目标的目标亮块即连通域时，执行步骤四，否则，不执行任何操作；

步骤四，对每一帧图像的前景图像中的各个连通域进行标记；

步骤五，对同一帧图像中的连通域进行粗匹配，每一帧图像中均得到多个车灯对；

步骤六，对步骤五中得到的所有车灯对进行细匹配，得到多个目标车灯对，确定目标车灯对所在的前景图像为第N帧～N+m帧；

步骤七，建立高斯混合模型；

步骤八，将第N帧～N+m帧图像中属于同一车辆的目标车灯对组成一个目标车灯对组，并确定各个目标车灯对组的匹配次数；确定每个目标车灯对组中最接近于所设置的三维逆投影检测面的目标车灯对；若目标车灯对组的匹配次数大于阈值M，则该目标车灯对组中最接近于所设置的三维逆投影检测面的目标车灯对即为检测到的夜间车辆目标；最终检测到S个夜间车辆目标，则车辆计数增加S；返回步骤一。

具体地，所述的步骤五中的粗匹配的实现方式包括以下步骤：

分别求取每一帧图像的前景图像中的各个连通域的三维周长，面积和圆形度；若连通域的面积小于A，则将该目标剔除，计算同一帧图像中面积大于A的连通域中任意两个连通域的周长比T_{C_R}，面积比T_{A_R}和圆形度比T_{S_R}，若0.65<T_{C_R}<1.60、0.3<T_{A_R}<3且0.65<T_{S_R}<1.60，则这两个连通域对应的可疑车灯粗匹配为同一车辆的车灯对。

具体地，所述步骤六中的细匹配的实现方式包括以下步骤：

在逆投影图上求得车灯对的x方向距离差X，y方向距离差Y，以及车灯对中两个车灯的平均高度H；若计算结果满足100<X<260、Y<15且20<H<120，则该车灯对可进一步确定为当前图像中的一个目标车灯对，记录当前图像中的该目标车灯对，匹配次数为1；若车灯对不满足上述阈值条件，则该车灯对不是目标车灯对；按照上述方法，得到当前图像中的多个目标车灯对。

具体地，所述步骤八中的将第N帧～N+m帧图像中属于同一车辆的目标车灯对组成一个目标车灯对组，并确定各个目标车灯对组的匹配次数，其实现方式包括：

在步骤五中第N帧～N+m帧图像中，从相邻的两帧图像中分别选取一个目标车灯对，计算得到XF和YF，若满足XF<20且HF<40，则选取的两个目标车灯对为同一车辆的目标车灯对，该目标车灯对的匹配次数增加1；若计算得到的XF和YF不满足XF<20且HF<40，则选取的两个目标车灯对不是同一车辆的目标车灯对；属于同一车辆的目标车灯对组成一个目标车灯对组，最最终得到j组分别属于不同车辆的目标车灯对组,各个目标车灯对组的最终匹配次数为M₁…M_j。

具体地，所述步骤八中的确定每个目标车灯对组中最接近于所设置的三维逆投影检测面的目标车灯对，其实现方式包括：

计算每个目标车灯对组中的各个目标车灯对在高斯混合模型中的概率大小，即将目标车灯对中的两个车灯的x方向距离差X和两个车灯的平均高度H均代入上述高斯混合模型中，得到概率；选取概率大小中的最大值对应的目标车灯对，该目标车灯对即为该车辆最接近于当前三维逆投影检测面的目标车灯对。

与现有技术相比，本发明具有以下技术效果：

1、本发明利用车辆夜间仅有的车前灯信息，建立三维的逆投影面，利用车前灯的三维信息，减少光晕以及路面反射光线的影响，提高检测的准确性。

2、本发明不受硬件环境限制，能够进行实时检测，建立高斯混合模型，能够准确的确定出最接近于所设置的三维逆投影检测面的车灯对目标，从而准确检测夜间车辆目标。

3、采用粗匹配方法确定车灯对，进一步采用细匹配方法确定目标车灯对，并通过计算目标车灯对的匹配次数，准确确定夜间车辆目标。

本发明的方法对夜间车辆检测与计数具有实时高效的特点，具有广阔的应用前景。

附图说明

图1为本发明的方法流程图；

图2为上海市某路段视频以及逆投影面设置的情况；

图3为当前逆投影面上恢复重建的逆投影图；

图4为逆投影图所获取的背景图像；

图5为逆投影图所获取的前景图像；

图6为在第N帧图像中的可疑车灯的粗匹配情况；

图7为在第N帧图像中的目标车灯对在混合高斯模型下的概率大小；

图8为在第N+1帧图像中的可疑车灯的粗匹配情况；

图9为在第N+1帧图像中的目标车灯对在混合高斯模型下的概率大小；

图10为在第N+2帧图像中的可疑车灯的粗匹配情况；

图11为在第N+2帧图像中的目标车灯对在混合高斯模型下的概率大小；

下面结合附图和实施例对本发明的方案做进一步详细地解释和说明。

具体实施方式

实施例

本实施例的基于逆投影图的夜间车辆检测与计数方法，通过设置逆投影面和恢复建立逆投影面对应的逆投影图，然后在逆投影图上进行一系列的处理和分析，最终实现车辆检测与车辆计数，初始车辆数目为0。本实施例的方法包括以下步骤：

步骤一，采用路面监控摄像头连续拍摄路面图像，获取路面的多帧视频图像；设置平行于车头所在平面，沿竖直方向的三维逆投影检测面，获取的视频图像显示在设置的三维逆投影检测面上，针对三维逆投影检测面的大小根据路面实际情况，如车道数和路面宽度进行设置，本实施例中，其大小设置为2.5m*7m；针对三维逆投影检测面上的视频图像，采用数据重构恢复出每一帧图像的逆投影图。

步骤二，对每一帧图像的逆投影图采用平均法进行背景提取，得到背景图像，即路面图像；因路面情况随时可能发生变化，为了保证获取的背景图像的准确性，每间隔一定时间提取一次背景图像，并随时更新。

步骤三，对每一帧图像的逆投影图进行前景提取，即利用每一帧图像减去该帧图像对应的背景图像，得到每一帧图像的前景图像，当前景图像中包含有多个目标亮块时，执行步骤四，否则，不执行任何操作。每一个目标亮块为一个可疑车灯目标，一个目标亮块所在区域为一个连通域。

步骤四，分别对每一帧图像的前景图像中的各个连通域进行标记，针对每一帧图像的连通域的标记方法相同，即利用不同灰度值进行标号，如图4中出现3个车灯目标，可以标记为1,2,3，代表各自连通域的灰度值。

步骤五，分别求取每一帧图像的前景图像中的每个连通域的三维周长，面积和圆形度；针对每一帧图像，若连通域面积小于A(A＞160)，则可能是噪声，将该目标剔除；计算面积大于A的连通域中任意两个连通域的周长比T_{C_R}，面积比T_{A_R}和圆形度比T_{S_R}，若0.65<T_{C_R}<1.60、0.3<T_{A_R}<3且0.65<T_{S_R}<1.60，则将相应的两个连通域对应的可疑车灯粗匹配为同一车辆的车灯对，最终得到每一帧图像中均包含的多个车灯对。

步骤六，对步骤五得到的每一帧图像中的多个车灯对均进行细匹配，以第N帧图像为例，其中的每个车灯对的细匹配的方法相同，以下针对一个车灯对进行细匹配，具体方法如下：在逆投影图上求得车灯对的x方向距离差X，y方向距离差Y，以及车灯对中两个车灯的平均高度H；若计算结果满足100<X<260、Y<15且20<H<120，则该车灯对可进一步确定为第N帧图像中的一个目标车灯对，记录当前第N帧图像中的该目标车灯对，匹配次数为1；若车灯对不满足上述阈值条件，则该车灯对不是目标车灯对；按照上述方法，能够得到第N帧图像中的多个目标车灯对。

对每一帧图像中的车灯对均进行上述处理，最终确定出所有的目标车灯对，得到目标车灯对所在的前景图像为第N帧～N+m帧，处于同一帧图像中的多个目标车灯对分别属于不同车辆。本实施例中,N为237，m为2。

步骤七，采集车辆的两个车灯的水平方向距离差以及两个车灯的平均高度，采用EM算法建立高斯混合模型。

步骤八，帧间目标在逆投影图中会在x方向和y方向会产生偏差，即帧间偏差，分别为XF和YF，帧间偏差指的是在步骤五中第N帧～N+m帧图像中，从相邻的两帧图像中分别选取一个目标车灯对，计算得到XF和YF，若满足XF<20且HF<40，则选取的两个目标车灯对为同一车辆的目标车灯对，该目标车灯对的匹配次数增加1；若计算得到的XF和YF不满足XF<20且HF<40，则选取的两个目标车灯对不是同一车辆的目标车灯对；属于同一车辆的目标车灯对组成一个目标车灯对组，最终得到j组分别属于不同车辆的目标车灯对组,各个目标车灯对组的最终匹配次数为M₁…M_j；

计算每个目标车灯对组中的各个目标车灯对在高斯混合模型中的概率大小，即将目标车灯对中的两个车灯的x方向距离差X和两个车灯的平均高度H均代入上述高斯混合模型中，即可得到概率；选取概率大小中的最大值，该目标车灯对对应的图像为第N+X_d帧(0≤X_d≤m，1≤d≤j)，该第N+X_d帧图像对应的目标车灯对即为该车辆最接近于当前三维逆投影检测面的目标车灯对；

若目标车灯对组的最终匹配次数大于阈值M(M＝2),则该目标车灯对组中，最接近于当前三维逆投影检测面的目标车灯对，即为检测到的夜间车辆目标；最终得到S组符合上述阈值条件的目标车灯对组，即检测到S个夜间车辆目标，则车辆计数增加S；；返回步骤一，继续对车辆进行检测。

本实施例中，计算第N帧和第N+1帧图像的帧间偏差，即第237帧和第238帧图像的帧间偏差XF和YF，若满足XF<20且HF<40，则判断第237帧和第238帧图像中的目标车灯对为同一个目标车灯对，该目标车灯对的匹配次数增加1，变为2，将步骤六中得到的第N+1帧图像中的目标车灯对中的两个车灯的x方向距离差X和两个车灯的平均高度H代入上述高斯混合模型中，求取概率大小pN+1；同样，计算第N+1帧和第N+2帧图像的帧间偏差，即第238帧和第239帧图像的帧间偏差XF和YF，若满足XF<20且HF<40，则判断第238帧和第239帧图像中的目标车灯对为同一个目标车灯对，匹配次数增加1，变为3，将步骤六中得到的第N+2帧图像中的目标车灯对中的两个车灯的x方向距离差X和两个车灯的平均高度H代入上述高斯混合模型中，求取概率大小p_N+2；通过比较发现，p_N<p_N+1且p_N+2<p_N+1，则第238帧图像对应的目标车灯对即为最接近于当前投影面的目标车灯对；由于匹配次数为3，则第238帧图像中的目标车灯对即为检测出的夜间车辆目标，车辆计数增加1。

实验分析

图2为上海市某路段视频的第237帧以及逆投影面设置的情况，该图是上海市某路段的实时路况视频图像，该视频的采样频率是25帧每秒，图像大小为720*288，逆投影面大小为2.5m*7m；

图3为第237帧逆投影面上恢复重建的逆投影图；

图4为逆投影图所获取的背景图像；

图5为逆投影图去除背景图像之后的前景图像，以及可疑的车灯连通域目标；

图6为在第237帧图像中的可疑车灯的粗匹配情况；图7为第237帧图像中的目标车灯对在混合高斯模型下的概率大小，此时车灯对间距为136cm和车灯对平均高度为91cm；图8为第238帧图像中的可疑车灯对的粗匹配情况；图9为第238帧图像中的目标车灯对在混合高斯模型下的概率大小，此时车灯对间距为137cm和车灯对平均高度为65cm；图10为在第239帧图像中的可疑车灯对的粗匹配情况；图11为第239帧图像中的目标车灯对在混合高斯模型下的概率大小，此时车灯对间距为137cm和车灯对平均高度为41cm。

Claims (5)

1.一种基于逆投影图的夜间车辆检测与计数方法，其特征在于，包括以下步骤：

步骤一，采用路面监控摄像头拍摄路面图像，获取路面的多帧视频图像，设置三维逆投影检测面，将视频图像显示在三维逆投影检测面上，采用数据重构恢复出三维逆投影检测面上的每一帧图像的逆投影图；

步骤二，对每一帧图像的逆投影图进行背景提取，得到每一帧图像的背景图像；

步骤三，对每一帧图像的逆投影图进行前景提取，得到每一帧图像的前景图像，当前景图像中包含有多个代表车辆可疑车灯目标的目标亮块即连通域时，执行步骤四，否则，不执行任何操作；

步骤四，对每一帧图像的前景图像中的各个连通域进行标记；

步骤五，对同一帧图像中的连通域进行粗匹配，每一帧图像中均得到多个车灯对；

步骤六，对步骤五中得到的所有车灯对进行细匹配，得到多个目标车灯对，确定目标车灯对所在的前景图像为第N帧～N+m帧；

步骤七，建立高斯混合模型；

步骤八，将第N帧～N+m帧图像中属于同一车辆的目标车灯对组成一个目标车灯对组，并确定各个目标车灯对组的匹配次数；确定每个目标车灯对组中最接近于所设置的三维逆投影检测面的目标车灯对；若目标车灯对组的匹配次数大于阈值M，则该目标车灯对组中最接近于所设置的三维逆投影检测面的目标车灯对即为检测到的夜间车辆目标；最终检测到S个夜间车辆目标，则车辆计数增加S；返回步骤一。

2.如权利要求1所述的基于逆投影图的夜间车辆检测与计数方法，其特征在于，所述的步骤五中的粗匹配的实现方式包括以下步骤：

分别求取每一帧图像的前景图像中的各个连通域的三维周长，面积和圆形度；若连通域的面积小于A，则将该目标剔除，计算同一帧图像中面积大于A的连通域中任意两个连通域的周长比T_{C_R}，面积比T_{A_R}和圆形度比T_{S_R}，若0.65<T_{C_R}<1.60、0.3<T_{A_R}<3且0.65<T_{S_R}<1.60，则这两个连通域对应的可疑车灯粗匹配为同一车辆的车灯对。

3.如权利要求1所述的基于逆投影图的夜间车辆检测与计数方法，其特征在于，所述步骤六中的细匹配的实现方式包括以下步骤：

在逆投影图上求得车灯对的x方向距离差X，y方向距离差Y，以及车灯对中两个车灯的平均高度H；若计算结果满足100<X<260、Y<15且20<H<120，则该车灯对可进一步确定为当前图像中的一个目标车灯对，记录当前图像中的该目标车灯对，匹配次数为1；若车灯对不满足上述阈值条件，则该车灯对不是目标车灯对；按照上述方法，得到当前图像中的多个目标车灯对。

4.如权利要求1所述基于逆投影图的夜间车辆检测与计数方法，其特征在于，所述步骤八中的将第N帧～N+m帧图像中属于同一车辆的目标车灯对组成一个目标车灯对组，并确定各个目标车灯对组的匹配次数，其实现方式包括：

在步骤五中第N帧～N+m帧图像中，从相邻的两帧图像中分别选取一个目标车灯对，计算得到XF和YF，若满足XF<20且HF<40，则选取的两个目标车灯对为同一车辆的目标车灯对，该目标车灯对的匹配次数增加1；若计算得到的XF和YF不满足XF<20且HF<40，则选取的两个目标车灯对不是同一车辆的目标车灯对；属于同一车辆的目标车灯对组成一个目标车灯对组，最最终得到j组分别属于不同车辆的目标车灯对组,各个目标车灯对组的最终匹配次数为M₁…M_j。

5.如权利要求4所述基于逆投影图的夜间车辆检测与计数方法，其特征在于，所述步骤八中的确定每个目标车灯对组中最接近于所设置的三维逆投影检测面的目标车灯对，其实现方式包括：

计算每个目标车灯对组中的各个目标车灯对在高斯混合模型中的概率大小，即将目标车灯对中的两个车灯的x方向距离差X和两个车灯的平均高度H均代入上述高斯混合模型中，得到概率；选取概率大小中的最大值对应的目标车灯对，该目标车灯对即为该车辆最接近于当前三维逆投影检测面的目标车灯对。