CN100545867C - 航拍交通视频车辆快速检测方法 - Google Patents

Abstract

航拍交通视频车辆快速检测方法，步骤如下：步骤100、在空基编码部分采用全局运动估计，确定背景的全局运动矢量；步骤200、根据全局运动矢量计算残差值，分割出背景区域和运动区域；步骤300、判断是否均为背景区域，对于均为背景区域的图像转入下一帧，执行步骤100；否则，对于图像的运动区域，执行步骤400；步骤400、在地面部分先确定一个偏低但仍能正确分割各物体的自适应梯度阈值，进行初步标记提取；再引入面积和集水深度两个参数，对已提取的标记进一步筛选，以确定最终的标记点；然后以标记点为区域极小值，进行VS分水岭分割；最后，再根据区域的纹理信息进行区域合并；步骤500、在HSV颜色空间对阴影进行检测，滤除伪目标，最终检测出车辆。本发明解决了对航拍图像进行解压缩和运动目标检测时运算量较大，难以同时满足实时性和鲁棒性要求的问题。

Description

航拍交通视频车辆快速检测方法

技术领域

本发明涉及视频图像的运动估计和检测方法，特别是交通视频图像中运动车辆的检测方法，属于交通监视、视频处理领域。

背景技术

近十年来，交通拥堵、交通事故和环境污染对社会经济发展和生活产生了重要的影响，而智能交通系统成为解决这一问题的主要手段。现有的交通监视手段多是将采集装置固定于路面，由于固定的监视设备受路面状况制约，灵活性不够强，因此近年来又出现了在空基平台采集交通视频的方法。本发明正是基于空基平台采集的图像而提出的。

运动目标检测是数字图像处理技术的一个重要组成部分，它是计算机视觉、模式识别、目标识别与跟踪、运动图像编码、安全监控等研究领域的重点与难点，在军事、国防和工业等领域有着广泛的应用前景。序列图像的运动分析因其巨大的应用价值而受到广泛的重视。它的基本任务是从图像序列中检测出运动信息，简化图像处理过程，得到所需的运动矢量，从而能够识别与跟踪物体。

目前的运动目标检测方法主要有时域差分法、背景差除法、光流法。

其中时域差分法是将前后2帧或3帧图像相减，若差值大于某一阈值，就判断出现运动目标，并报警。

时域差分运动检测法对于动态环境具有较强的自适应性，鲁棒性较好，能够适应各种动态环境，但一般不能完全提取出所有相关的特征像素点，这样在运动实体内部容易产生空洞现象。该算法是三类前景提取算法中运算量最小的算法，仅仅需要对连续的几帧图像进行差值运算并进行阈值判断。虽然该算法能够高效地提取出运动区域，但是在包含运动车辆的图像序列中往往受到拍摄设备抖动、气候变化、昼夜交替、灯光闪烁等因素的影响，并不能有效地区分运动车辆和其他的运动物体，给车辆的正确提取造成很大的干扰。

背景差除法是一种常用的运动目标检测方法，其基本思想是将当前每一帧图像与事先存储或者实时得到的背景图像相减，若像素差值大于某一阈值，则判定此像素为出现在运动目标上的，且相减的阈值操作后得到的结果直接给出了目标的位置、大小、形状等信息。

这种方法对光照的环境条件变化非常敏感，容易产生误报警，且当背景改变时更新很慢。使用背景差方法进行运动目标检测通常会遇到如下一些问题：背景获取：背景图像的获取最简单的方法是在场景没有运动目标的情况下进行，但是在实际应用中无法满足这种要求；背景的扰动：背景中可以含有轻微扰动的对象，如树枝、树叶的摇动，扰动部分不应该被看作是前景运动目标；外界光照条件的变化：一天中不同时间段光线、天气等的变化对检测结果的影响；背景中固定对象的移动：背景里的固定对象可能移动，如场景中的一辆车开走，对象移走后的区域在一段内可能被误认为是运动目标，但不应该永远被看作是前景运动目标；背景的更新：背景中固定对象的移动和外界光照条件的变化会使背景图像发生变化，需要及时对背景模型进行更新，以适应这种变化；阴影的影响：通常前景目标的阴影也被检测为运动性目标的一部分，这样将影响运动目标的进一步处理和分析，给以后的跟踪和识别带来误差。

光流的计算方法一般分成四类：(1)基于梯度的方法；(2)基于匹配的方法；(3)基于能量的方法；(4)基于相位的方法。研究得最多的是基于梯度的算法。

光流分析法通过对视屏图像光流长的分析，可以在摄像机运动的情况下检测出运动目标，但计算复杂，实时性较差。基于光流方法的运动检测采用了运动目标随时间变化的光流特性，从而能有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。

目前常用的航拍交通视频图像的车辆检测方法均是将在空中采集到的视频图像经过压缩编码后传回地面，地基处理平台将压缩图像解压后再对车辆进行检测，现有的方法都没有利用压缩图像中已有的运动矢量及运动区域信息，由于解压和运动检测的运算量均较大，很难同时满足实时性，稳定性和精确性的要求。

发明内容

本发明针对现有技术存在的不足，提供一种航拍交通视频车辆快速检测方法，该方法结合压缩编码中的全局运动估计与分水岭分割技术，解决了对航拍图像进行解压缩和运动目标检测时运算量较大，难以同时满足实时性和鲁棒性要求的问题。

本发明的技术解决方案：航拍交通视频车辆快速检测方法，步骤如下：

步骤100、在空基编码部分，对采集图像帧系列，采用全局运动估计，确定背景的全局运动矢量；

步骤200、根据全局运动矢量计算残差值，分割出背景区域和运动区域；

步骤300、判断是否均为背景区域，对于均为背景区域的图像转入下一帧进行全局运动估计，执行步骤100；否则，对于图像的运动区域，执行步骤400；

步骤400、在地面部分，对运动区域，先确定一个偏低但仍能正确分割各物体的自适应梯度阈值，进行初步标记提取；再引入面积和集水深度两个参数，对已提取的标记进一步筛选，以确定最终的标记点；然后以标记点为区域极小值，进行VS(浸没模型)分水岭分割；最后，再根据区域的纹理信息进行区域合并；

步骤500、对合并后的区域，在HSV(色度、饱和度和明度)颜色空间对阴影进行检测，滤除伪目标，最终检测出车辆。

空基交通监视平台最常见的是悬停在空中对目标区域(体育场、交通路口)进行定点监控，或沿着道路进行跟踪，其运动可近似为平移运动，对于航拍视频序列，可分为背景图像和前景图像。图像中任何像素的运动可以分解为由摄像机运动引起的“全局运动”和由物体运动引起的“局部运动”。在编码过程中，通常利用全局运动估计及运动目标检测的相关技术来划分出前景区域(运动区域)和背景区域，并估算出个背景区域及前景区域的运动向量。目前的交通监视系统一般都在空中监视平台通过硬件对视频序列进行压缩后再传输给地面，地面对其解压后再运用运动估计与补偿、运动目标检测和模式识别的相关理论来检测车辆，这样做没有利用在编码过程中的运动估计和运动检测的相关结果，重复操作，同时，由于地面部分的计算量较大，难以同时满足实时性与准确性的要求。

本发明与现有技术相比的优点在于：

(1)本发明方法中的分割运动区域是在空中视频采集压缩平台上的压缩编码部分完成的。对连续两幅图像进行帧差，然后对每一个4×4块求SAD(绝对误差和)，如果SAD超过阈值，判定为运动区域；否则判定为背景区域。为避免图像序列全局运动引起的分割不准甚至误分割的问题，在帧差前进行全局运动估计。通过对视频图像序列进行全局运动估计分割出运动区域；在地面对接收到的运动区域直接进行分水岭分割，略去了对解压后的图像再进行运动分割这一运算量较大的步骤，提高了车辆检测的实时性；

(2)在地面的视频处理部分，对运动区域进行分水岭分割，改进了传统分水岭分割的标记方法，在提取标记时，先确定一个偏低但仍能正确分割各物体的自适应梯度阈值，进行初步标记提取；再引入面积和集水深度两个参数，对已提取的标记进一步筛选，以确定最终的标记点；最后以标记点为区域极小值，进行分水岭分割，再根据区域的纹理信息进行区域合并，有效地抑制了过度分割，提高了分割精确度。这种方法抑制了过度分割。最后通过对分割出的区域进行阴影检测，去除伪目标，使车辆检测的结果更加准确。

实验结果表明，该方法克服了传统方法运算量较大的缺点，满足航拍交通视频车辆检测的实时性要求，能够对监控场景中车辆进行精确检测，对光线变化、背景干扰不敏感，具有较好的鲁棒性。

附图说明

图1为本发明的总体流程图；

图2为图1中的全局运动估计流程图；

图3为图1中的分割背景和运动区域流程图；

图4为图1中的提取标记进行分水岭分割流程图；

图5为图1中的区域合并流程图；

图6为图1中的阴影检测的流程图。

具体实施方式

图1为本发明的总体流程图，具体为：

步骤100、节点在空基编码部分采用全局运动估计，确定背景的全局运动矢量；

步骤200、节点运用全局运动矢量计算残差值，分割出背景区域和运动区域；

步骤300、节点判断是否均为背景区域，对于均是背景区域的图像转入下一帧，执行步骤100；否则，对于图像的运动区域执行步骤400；

步骤400、节点地面部分，先确定一个偏低但仍能正确分割各物体的自适应梯度阈值，进行初步标记提取；再引入面积和集水深度两个参数，对已提取的标记进一步筛选，以确定最终的标记点；以标记点为区域极小值，进行VS分水岭分割；最后，再根据区域的纹理信息进行区域合并；

步骤500、节点在HSV颜色空间对阴影进行检测，滤除伪目标，最终检测出车辆。

图2为本发明全局运动估计的流程图，在图1所示的技术方案中，所述步骤100具体为：

步骤110、判断是否为第一帧，是则执行步骤120，否则执行步骤130；

步骤120、使用I帧编码，不进行区域分割；

步骤130、判断前一帧运动矢量是否存在，是则执行步骤140，否则执行步骤150；

步骤140、将前一帧的运动矢量作为搜索起点；

步骤150、将零矢量作为搜索起点；

步骤160、以步骤140和150计算出的起点作为中心，使用小钻石模板进行搜索，得到 $S_N(x,y)=\underset{m\∈W}{\mathrm{\Σ}}\underset{n\∈H}{\mathrm{\Σ}}|I_N(m,n)-I_{N-1}(m-x,n-y)|$ 最小的一点。其中x，y为全局运动矢量，I_N、I_N-1代表第N帧和N-1帧对应像素的亮度值，W，H为子块的宽和高。

步骤170、判断该点是否最小或是小钻石模板中心点或到达搜索窗边界是则执行步骤190；否则执行步骤180；

步骤180、将该点作为起始点；

步骤190、将(x，y)作为背景的全局运动向量进行全局运动估计，全局运动估计使用的两参数平移模型为：

x′＝G_x+x

y′＝G_y+y

式中：x，y和x’，y’分别为当前帧和上一帧对应点的坐标，Gx，Gy是全局运动矢量。

图3为本发明分割运动区域与背景区域的流程图，在图1所示的技术方案中，所述步骤200具体为：

步骤210、判断最终的S_N(x，y)是否大于某一阈值T₁，其中 $T_1=\frac{2}{n-2}\underset{i=2}{\overset{n-1}{\mathrm{\Σ}}}{S}_N^i(x,y),$ 是则执行步骤220，否则执行步骤230；

步骤220、认为发生了场景切换，将该帧作为I帧进行编码，不进行区域分割；

步骤230、使用全局运动矢量计算每一个4×4块亮度分量的S_N(x，y)；

步骤240、判断S_N(x，y)是否小于某一阈值T₂，其中T₂取300，是则执行步骤250，否则执行步骤260；

步骤250、判定该区域为背景区域；

步骤260、判定该区域为运动区域。

图4为本发明提取标记进行分水岭分割的流程图，在图1所示的技术方案中，所述步骤400具体为：

步骤410、选用形态学梯度算法， $g(x,y)=f(x,y)\⊕b(x,y)-f(x,y)\mathrm{\Θb}(x,y),$ 其中

表示图像的膨胀、Θ表示图像的腐蚀，b(x，y)为圆盘状结构元，并对图像进行中值滤波；

步骤420、计算图像中值滤波预处理后图像的自适应梯度阈值；

步骤430、判断各点梯度是否小于自适应梯度阈值，是则执行步骤440，否则转入下帧执行步骤420；

步骤440、记S_x为区域的面积，t₁为阈值，由步骤430选取得到的标记点根据其相应的坐标位置形成的连通区域，对于任意标记点q所处的连通区域S，判断是否满足S_x＞t₁，是则执行步骤450，否则转入下一帧执行步骤420；

步骤450、记D_x为区域S的集水盆地深度，t₂为阈值，对于任意通过步骤430、440选取的标记点p所在的连通区域，判断是否满足D_x＞t₂，是则执行步骤460，否则转入下帧执行步骤420；

步骤460、以步骤450得到的标记点为区域极小值进行VS分水岭分割；

步骤470、利用纹理信息合并区域。

由上述运动区域分割的原理可知，当一辆车处在不同的4*4块时，分割出的运动区域可能包含较大的背景信息，同时，当两辆或多辆车相距较近时，可能将它们划分成同一个运动区域，因此需要对运动区域在进行分割以提取出其中的车辆。本发明的提取标记及分割方法：先确定一个偏低但仍能正确分割各物体的自适应梯度阈值，进行初步标记提取；再引入面积和集水深度两个参数，对已提取的标记进一步筛选，以确定最终的标记点；最后以标记点为区域极小值，进行VS分水岭分割，再根据区域的纹理信息进行区域合并，有效地抑制了过度分割，提高了分割精确度。

图5为本发明区域合并的流程图，在图4所示的技术方案中，所述步骤470具体为：

步骤471、根据区域灰度级直方图的统计矩(即纹理)进行区域合并；

步骤472、判断合并后的区域面积与自适应阈值上下界关系，其中自适应阈值由空基平台传回的飞行参数和车辆实际尺寸的经验值获得。小于下界则执行步骤473，大于下界则执行步骤474，在上下界之间则执行步骤475；

步骤473、将该区域作为背景或噪声滤除；

步骤474、将该区域作为背景区域滤除；

步骤475、将该区域作为疑似运动目标。

图6为本发明阴影检测的流程图，在图1所示的技术方案中，所述步骤500具体为：

步骤510、在合并后的区域中，对单帧图像的灰度值进行统计，航拍视频图像的道路占大部分，取灰度值统计量为峰值的像素点作为道路；

步骤520、提取出这些点的H、S、V分量作统计平均，得到背景的色度B^H、饱和度B^S和亮度值B^V；

步骤530、判断

其中I(x，y)是当前输入图像，B是当前背景图像，α和β是阴影点与对应背景点的亮度比值的上、下界值；τ_H和τ_S分别是色调和饱和度的阈值。阴影点与对应背景点的色调差为D_H(x，y)＝min(|I_H(x，y)-B^H|，360-|I_H(x，y)-B^H|)，是则执行步骤540，否则执行步骤550；

步骤540、作为阴影滤除；

步骤550、得到最终的车辆检测结果。

经过分水岭分割及面积滤波合并了同一车辆区域，滤除了背景区域，但车辆的阴影有时由于形状与车辆相似，易被误检成车辆。本发明所关注的是运动目标的投射阴影像素与运动区域像素一样和背景有较显著的差异，但同时，阴影区域本身也具有一些与运动区域相区别的一致性特征，本发明利用以下3个特征来对阴影进行处理。(1)阴影区域内的点与背景中对应点的比值成比较严格的线性。对各种光场条件下产生的阴影进行分析，发现其比值在1.0～2.5之间。(2)阴影区域相对背景区域亮度降低，但是颜色并没有显著变化。(3)阴影区域相对背景区域饱和度降低。由于对于已经分割出运动区域的航拍交通视频，其背景即为道路，研究表明，在一定时间内将道路的HSV各分量看作定值对阴影检测的影响较小。经过阴影检测，滤除伪目标，提高了检测准确度。

Claims (6)

1、航拍交通视频车辆快速检测方法，其特征在于步骤如下：

步骤100、在空基编码部分，对采集图像帧系列，采用全局运动估计，确定背景的全局运动矢量；

步骤200、根据全局运动矢量计算残差值，分割出背景区域和运动区域；

步骤300、判断是否均为背景区域，对于均为背景区域的图像转入下一帧，执行步骤100；否则，对于图像的运动区域，执行步骤400；

步骤400、在地面部分，对运动区域，先确定一个偏低但仍能正确分割各物体的自适应梯度阈值，进行初步标记提取；再引入面积和集水深度两个参数，对已提取的标记进一步筛选，以确定最终的标记点；然后以标记点为区域极小值，进行VS分水岭分割；最后，再根据区域的纹理信息进行区域合并；

步骤500、对合并后的区域，在HSV颜色空间对阴影进行检测，滤除伪目标，最终检测出车辆。

2、根据权利要求1所述的航拍交通视频车辆快速检测方法，其特征在于：所述步骤100具体为：

步骤110、判断是否为第一帧，是则执行步骤120，否则执行步骤130；

步骤120、使用I帧编码，不进行区域分割；

步骤130、判断前一帧运动矢量是否存在，是则执行步骤140，否则执行步骤150；

步骤140、将前一帧的运动矢量作为搜索起点；

步骤150、当该运动矢量不存在时，以零矢量作为搜索起点；

步骤160、以步骤140和步骤150计算出的搜索起点作为中心，使用小钻石模板进行搜索，得到 $S_N(x,y)=\underset{m\∈W}{\mathrm{\Σ}}\underset{n\∈H}{\mathrm{\Σ}}|I_N(m,n)-I_{N-1}(m-x,n-y)|$ 最小的一点，其中x，y为全局运动矢量，I_N、I_N-1代表第N帧和N-1帧对应像素的亮度值，W，H为子块的宽和高；

步骤170、判断该点是否最小或是小钻石模板中心点或到达搜索窗边界，是则执行步骤190；否则执行步骤180；

步骤180、将该点作为搜索起始点；

步骤190、将(x，y)作为背景的全局运动向量进行全局运动估计，全局运动估计使用的两参数平移模型为：

x′＝G_x+x

y′＝G_y+y

式中：x，y和x’，y’分别为当前帧和上一帧对应点的坐标，Gx，Gy是全局运动矢量。

3、根据权利要求1所述的航拍交通视频车辆快速检测方法，其特征在于：所述步骤200具体为：

步骤210、判断最终的 $S_N(x,y)=\underset{m\∈W}{\mathrm{\Σ}}\underset{n\∈H}{\mathrm{\Σ}}|I_N(m,n)-I_{N-1}(m-x,n-y)|$ 是否大于某一阈值T₁，其中 $T_1=\frac{2}{n-2}\underset{i=2}{\overset{n-1}{\mathrm{\Σ}}}{S}_N^i(x,y),$ 是则执行步骤220；否则执行步骤230；

步骤220、认为发生了场景切换，将该帧作为I帧进行编码，不进行区域分割；

步骤230、使用全局运动矢量计算每一个4×4块亮度分量的S_N(x，y)；

步骤240、判断S_N(x，y)是否小于某一阈值T₂，是则执行步骤250，否则执行步骤260；

步骤250、判定该区域为背景区域；

步骤260、判定该区域为运动区域。

4、根据权利要求1所述的航拍交通视频车辆快速检测方法，其特征在于：所述步骤400具体为：

步骤410、选用形态学梯度算法， $g(x,y)=f(x,y)\⊕b(x,y)-f(x,y)\mathrm{\Θb}(x,y),$ 其中表示图像的膨胀、Θ表示图像的腐蚀，b(x，y)为圆盘状结构元，并对图像进行中值滤波；

步骤420、计算图像中值滤波预处理后图像的自适应梯度阈值；

步骤430、判断各点梯度是否小于自适应梯度阈值，是则执行步骤440，否则转入下帧执行步骤420；

步骤440、记S_x为区域的面积，t₁为阈值，由步骤430选取得到的标记点根据其相应的坐标位置形成的连通区域，对于任意标记点q所处的连通区域S，判断是否满足S_x＞t₁，是则执行步骤450，否则转入下一帧执行步骤420；

步骤450、记D_x为区域S的集水盆地深度，t₂为阈值，对于任意通过步骤430、440选取的标记点p所在的连通区域，判断是否满足D_x＞t₂，是则执行步骤460，否则转入下帧执行步骤420；

步骤460、以步骤450得到的标记点为区域极小值进行VS分水岭分割；

步骤470、利用纹理信息合并区域。

5、根据权利要求4所述的航拍交通视频车辆快速检测方法，其特征在于所述步骤470具体为：

步骤471、根据区域灰度级直方图的统计矩，即纹理，进行区域合并；

步骤472、判断合并后的区域面积与自适应阈值上下界关系，其中自适应阈值由空基平台传回的飞行参数和车辆实际尺寸的经验值获得，如果小于下界则执行步骤473，大于下界则执行步骤474，在上下界之间则执行步骤475；

步骤473、将该区域作为背景或噪声滤除；

步骤474、将该区域作为背景区域滤除；

步骤475、将该区域作为疑似运动目标。

6、根据权利要求1所述的航拍交通视频车辆快速检测方法，其特征在于所述步骤500具体为：

步骤510、在合并后的区域中，对单帧图像的灰度值进行统计，航拍视频图像的道路占大部分，取灰度值统计量为峰值的像素点作为道路；

步骤520、提取出这些点的H、S、V分量作统计平均，得到背景的色度B^H饱和度B^S和亮度值B^V；

步骤530、判断

其中I(x，y)是当前输入图像，B是当前背景图像，α和β是阴影点与对应背景点的亮度比值的上、下界值；τ_H和τ_S分别是色调和饱和度的阈值，阴影点与对应背景点的色调差为D_H(x，y)＝min(|I_H(x，y)-B^H|，360-|I_H(x，y)-B^H|)，是则执行步骤540，否则执行步骤550；

步骤540、作为阴影滤除；

步骤550、得到最终的车辆检测结果。

Images