CN101982825B - 一种智能交通监控场景下的视频图像处理方法和装置 - Google Patents

Abstract

本发明公开了一种智能交通监控场景下的视频图像处理方法，包括：A、确定车道检测区域，并通过分析连续M帧视频图像中的车道检测区域内的运动目标的运行轨迹确定车道方向；B、根据车道方向，分别确定之后的每帧视频图像中是否存在阴影，如果确定出连续N帧视频图像中均存在阴影，则执行步骤C；C、根据HSV色彩模型，对之后的每帧视频图像分别进行阴影抑制，并确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求，如果连续L帧均达到要求，则重复执行步骤B；M、N和L均为大于1的正整数。本发明同时公开了一种智能交通监控场景下的视频图像处理装置。应用本发明所述的方法和装置，能够有效地抑制视频图像中的阴影。

Description

一种智能交通监控场景下的视频图像处理方法和装置

技术领域

本发明涉及智能交通监控技术，特别涉及一种智能交通监控场景下的视频图像处理方法和装置。

背景技术

近些年来，基础设施投资力度越来越大，道路建设便是其中之一。由于道路建设期一般较长，其增长速度远远跟不上车辆的增长速度，因此使得各城市的交通状况日益恶化，而在各城市的交通管理部门建立功能完善的智能交通监控系统，是改善目前交通现状的有效方法。具体来说，即通过摄像机采集各道路的视频图像，对采集到的各帧视频图像进行分析，根据分析结果进行车流统计等，进而实现交通控制和管理。

由于光照的影响，当光源在入射方向上受到车辆遮挡时，会在车辆的另一侧产生阴影。由于阴影和运动目标(即车辆)之间往往具有相同的运动特征，因此后续针对视频图像进行分析时，可能会将阴影部分错误地划归为运动目标，从而使运动目标的形状受到影响，如使运动目标的形状变大，进而导致多个运动目标粘连在一起等，影响后续处理。因此，需要对阴影进行抑制，但现有技术中还没有一种有效的抑制方法。

发明内容

有鉴于此，本发明的主要目的在于提供一种智能交通监控场景下的视频图像处理方法，能够有效地抑制视频图像中的阴影。

本发明的另一目的在于提供一种智能交通监控场景下的视频图像处理装置，能够有效地抑制视频图像中的阴影。

为达到上述目的，本发明的技术方案是这样实现的：

一种智能交通监控场景下的视频图像处理方法，包括：

A、确定车道检测区域，并通过分析连续M帧视频图像中的车道检测区域内的运动目标的运行轨迹确定车道方向；

B、根据所述车道方向，分别确定之后的每帧视频图像中是否存在阴影，如果确定出连续N帧视频图像中均存在阴影，则执行步骤C；

C、根据色调、饱和度、亮度HSV色彩模型，对之后的每帧视频图像分别进行阴影抑制，并确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求，如果连续L帧均达到要求，则重复执行步骤B；所述M、N和L均为大于1的正整数。

一种智能交通监控场景下的视频图像处理装置，包括：

车道方向确定模块，用于确定车道检测区域，并通过分析连续M帧视频图像中的车道检测区域内的运动目标的运行轨迹确定车道方向，将确定出的车道方向发送给阴影检测模块；

所述阴影检测模块，用于根据所述车道方向，分别确定之后的每帧视频图像中是否存在阴影，如果确定出连续N帧视频图像中均存在阴影，则通知阴影抑制模块执行自身功能；

所述阴影抑制模块，用于根据色调、饱和度、亮度HSV色彩模型，对之后的每帧视频图像分别进行阴影抑制，并确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求，如果连续L帧均达到要求，则通知所述阴影检测模块重复执行自身功能；所述M、N和L均为大于1的正整数。

可见，采用本发明的技术方案，能够有效地抑制视频图像中的阴影，从而方便了后续处理；而且，本发明所述方案实现起来简单方便，便于普及。

附图说明

图1为本发明方法实施例的流程图。

图2为本发明方法实施例中从左下方到右上方的车道方向示意图。

图3为本发明方法实施例中从右下方到左上方的车道方向示意图。

图4为本发明方法实施例中检测出的一个目标区域示意图。

图5为本发明方法实施例中将目标区域平均分为左右两个子区域后的示意图。

图6为本发明装置实施例的组成结构示意图。

具体实施方式

针对现有技术中存在的问题，本发明中提出一种全新的智能交通监控场景下的视频图像处理方案，应用该方案可有效地抑制视频图像中的阴影。

为使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。

图1为本发明方法实施例的流程图。如图1所示，包括以下步骤：

步骤11：确定车道检测区域，并通过分析连续M帧视频图像中的车道检测区域内的运动目标的运行轨迹确定车道方向。

按照现有智能交通监控场景下的摄像机的安装情况，车道方向只有以下三种可能，即：1)从左下方到右上方；2)从右下方到左上方；3)从正下方到正上方。

图2为本发明方法实施例中从左下方到右上方的车道方向示意图。图3为本发明方法实施例中从右下方到左上方的车道方向示意图。

本步骤中，首先确定车道检测区域，该区域需要包括车道的直道部分，并尽量避免包括弯道和岔道部分，如图2和3所示，将其中的白线向两端延伸至视频图像的边缘，所界定出的矩形区域即为车道检测区域。对于每台摄像机来说，一旦其安装好后，利用其所采集到的每帧视频图像中的车道检测区域均相同。

之后，可通过对连续M帧(从第1帧到第M帧)视频图像中的车道检测区域内的运动目标的运行轨迹进行分析，确定车道方向。如何对运动目标的运动轨迹进行分析为现有技术。M为大于1的正整数，取值范围通常为200～500。

步骤12：根据车道方向，分别确定之后的每帧视频图像中是否存在阴影，如果确定出连续N帧视频图像中均存在阴影，则执行步骤13。

本步骤中，首先根据车道方向，确定待检测的运动目标类型。对于不同的车道方向，由于遮挡等不同，产生的阴影也将不同。比如，如果规定车辆靠右行驶，那么当车道方向为从左下方到右上方时，上行运动目标(从左下方向右上方行驶的车辆)会更靠近摄像机，由于投影角度的关系，产生的阴影会更明显，因此在这个车道方向上应该更关注上行运动目标，即待检测的运动目标类型为上行运动目标，当车道方向为从右下方到左上方时，待检测的运动目标类型为下行运动目标；如果规定车辆靠左行驶，那么当车道方向为从左下方到右上方时，待检测的运动目标类型为下行运动目标，当车道方向为从右下方到左上方时，待检测的运动目标类型为上行运动目标；特殊地，当车道方向为从正下方到正上方时，待检测的运动目标类型既可为上行运动目标，也可为下行运动目标。

另外，阴影的纹理特征和运动目标的纹理特征会有较大区别，其中，阴影的纹理会较弱较平坦，而运动目标的纹理则会比较丰富，因此，本步骤中，可基于纹理特征来确定每帧视频图像中是否存在阴影。

具体来说，针对每帧视频图像X，可分别按照如下方式来确定其中是否存在阴影：

1)从视频图像X中的车道检测区域内检测出每个相应类型的运动目标所在的目标区域，目标区域是指包括运动目标的最小矩形区域。

如果待检测的运动目标类型为下行运动目标，那么则在视频图像X的车道检测区域内检测出每个下行运动目标所在的目标区域。

按照现有检测方式，目标区域中会同时包括有运动目标及其阴影(如果有阴影的话)。图4为本发明方法实施例中检测出的一个目标区域示意图。

2)将每个目标区域平均分为左右两个子区域，计算每个子区域的平均梯度幅值

和，并计算

和

中的较小值与较大值的比值ρ。

图5为本发明方法实施例中将目标区域平均分为左右两个子区域后的示意图。

另外，可利用Sobel算子来计算每个子区域的平均梯度幅值

和

，如何计算为现有技术；之后，计算

和

中的较小值与较大值的比值ρ。

3)计算所有目标区域对应的ρ的平均值

针对视频图像X，可能检测出多个目标区域，每个目标区域均可按照步骤2)所示方式计算出一个ρ，本步骤中，计算所有目标区域对应的ρ的平均值

4)将

与预先设置的第一阈值T_G进行比较，如果小于T_G，则确定视频图像X中存在阴影。

T_G的取值范围通常为0.4～0.7。

如果按照上述方式确定出连续N帧视频图像中均存在阴影，则可执行步骤13。N为大于1的正整数，取值范围通常为500～2000。

步骤13：根据色调、饱和度、亮度(HSV)色彩模型，对之后的每帧视频图像分别进行阴影抑制，并确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求，如果连续L帧均达到要求，则重复执行步骤12。

在HSV色彩模型中，亮度(V)分量用于表示光作用于人眼所引起的明亮程度的感觉，它与物体的发光强度有关；色调(H)分量用于表示人眼看到一种或多种波长的光时所产生的彩色感觉，它反映颜色的种类，是决定颜色的基本特性，如红色、棕色等就是指色调；饱和度(S)分量用于表示颜色的纯度，即掺入白光的程度，或者说颜色的深浅程度，对于色调相同的彩色光，饱和度越深颜色越鲜明或说越纯。通常将色调分量和饱和度分量统称为色度分量。

另外，摄像机采集到的视频图像通常是亮度、色度(YUV)格式的。

本步骤中，针对每帧视频图像Y，可分别按照以下方式来对其进行阴影抑制：

1)遍历视频图像Y中的每个像素点，找出亮度分量小于预先获取的同样为YUV格式的背景图像中的对应像素点的亮度分量的像素点。

对应像素点是指坐标相同的像素点。举例来说，对于视频图像Y中的坐标为(1，1)的像素点，背景图像中坐标为(1，1)的像素点即为其对应像素点。如何获取背景图像为现有技术。

假设Lum_curr(i)表示视频图像Y中一像素点的亮度分量，Lum_bg(i)表示背景图像中其对应像素点的亮度分量，那么则有：Lum_bg(i)-Lum_curr(i)＞T_lum；T_lum大于0，取值越大表示两个像素点间的亮度分量差异越大，T_lum的取值范围通常为10～60。

由于阴影的特性，其中的各像素点，即阴影点的亮度分量通常小于背景图像中对应像素点的亮度分量，因此本步骤中，将满足Lum_bg(i)-Lum_curr(i)＞T_lum的像素点作为疑似阴影点，并针对这些疑似阴影点，进一步进行后续处理。

2)将视频图像Y和背景图像均转换为HSV格式，并设置三个参数。

如何转换为现有技术。

3)针对找出的每个像素点Z，分别进行以下处理：

3.1)计算像素点Z在HSV模型中的亮度分量与对应像素点在HSV模型中的亮度分量的比值，如果该比值位于预先设置的区间(α，β)内，则将第一个参数的取值设置为1，否则，设置为0；计算像素点Z在HSV模型中的饱和度分量与对应像素点在HSV模型中的饱和度分量的差值，如果该差值小于预先设置的第二阈值T_s，则将第二个参数的取值设置为1，否则，设置为0；计算像素点Z在HSV模型中的色调分量与对应像素点在HSV模型中的色调分量的差值的绝对值，如果该绝对值小于预先设置的第三阈值T_H，则将第三个参数的取值设置为1，否则，设置为0。

其中，α表示光线强弱，光线越强α的取值越大，但不能过大，否则会导致阴影抑制过度；β表示对噪声的鲁棒性，取值越大对噪声的适应性越强，但不能过大，否则会导致阴影抑制不足；通常，α的取值范围为0.3～0.7，β的取值范围为0.9～1.0。

另外，T_s的取值范围通常为0.04～0.1；T_H的取值范围通常为20～40。

3.2)用每个参数的取值分别乘以为其预先设置的权值，并将相乘结果相加，如果相加结果大于预先设置的第四阈值，则确定像素点Z为阴影点，并将其滤除。

由于色调分量、亮度分量和饱和度分量的重要性不同，因此需要为其设置不同的权重，其中，亮度分量的权重最大，其次是饱和度分量，最小的是色调分量。比如，可将色调分量、饱和度分量、亮度分量的权重分别设置为1、3、5或1、4、5。另外，在实际应用中，饱和度分量的权重和亮度分量的权重也可相同，比如，可将色调分量、饱和度分量和亮度分量的权重分别设置为1、5、5。

如何滤除像素点为现有技术。

按照上述方式完成对每帧视频图像的阴影抑制后，计算抑制前后的每帧视频图像中的前景图像的重合度，如何计算为现有技术，如果抑制前的视频图像中无阴影或阴影较少，那么抑制前后的前景图像的重合度会很高，因此，可将计算出的重合度与预先设置的第五阈值进行比较，如果重合度大于第五阈值，则确定重合度达到要求，并在当确定出连续L帧视频图像均达到要求后，重复执行步骤12。L为大于1的正整数，取值范围通常为500～2000。

第四阈值和第五阈值的具体取值均可根据实际需要而定。

至此，即完成了关于本发明方法实施例的介绍。

基于上述介绍，图6为本发明装置实施例的组成结构示意图。如图6所示，包括：

车道方向确定模块61，用于确定车道检测区域，并通过分析连续M帧视频图像中的车道检测区域内的运动目标的运行轨迹确定车道方向，将确定出的车道方向发送给阴影检测模块62；

阴影检测模块62，用于根据车道方向，分别确定之后的每帧视频图像中是否存在阴影，如果确定出连续N帧视频图像中均存在阴影，则通知阴影抑制模块63执行自身功能；

阴影抑制模块63，用于根据HSV色彩模型，对之后的每帧视频图像分别进行阴影抑制，并确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求，如果连续L帧均达到要求，则通知阴影检测模块62重复执行自身功能；M、N和L均为大于1的正整数。

其中，阴影检测模块62中可具体包括(为简化附图，未图示)：

第一处理单元，用于根据车道方向，确定待检测的运动目标类型，所述运动目标类型包括上行运动目标和下行运动目标，并针对每帧视频图像X，分别进行以下处理：从视频图像X中的车道检测区域内检测出每个相应类型的运动目标所在的目标区域，目标区域为包括运动目标的最小矩形区域；将每个目标区域平均分为左右两个子区域，计算每个子区域的平均梯度幅值

和，并计算

和

中的较小值与较大值的比值ρ；计算所有目标区域对应的ρ的平均值

将

与预先设置的第一阈值进行比较，如果

小于第一阈值，则确定视频图像X中存在阴影；

第二处理单元，用于当第一处理单元确定出连续N帧视频图像中均存在阴影时，通知阴影抑制模块63执行自身功能。

其中，如果规定车辆靠右行驶，则当车道方向为从左下方到右上方时，待检测的运动目标类型为上行运动目标，当车道方向为从右下方到左上方时，待检测的运动目标类型为下行运动目标；

如果规定车辆靠左行驶，则当车道方向为从左下方到右上方时，待检测的运动目标类型为下行运动目标，当车道方向为从右下方到左上方时，待检测的运动目标类型为上行运动目标。

阴影抑制模块63中可具体包括(为简化附图，未图示)：

第三处理单元，用于针对每帧YUV格式的视频图像Y，分别进行以下处理：遍历YUV格式的视频图像Y中的每个像素点，找出亮度分量小于预先获取的YUV格式的背景图像中的对应像素点的亮度分量的像素点，对应像素点为坐标相同的像素点；将YUV格式的视频图像Y和YUV格式的背景图像均转换为HSV格式，并设置三个参数；针对找出的每个像素点Z，分别进行以下处理：计算像素点Z在HSV模型中的亮度分量与对应像素点在HSV模型中的亮度分量的比值，如果该比值位于预先设置的区间内，则将第一个参数的取值设置为1，否则，设置为0，计算像素点Z在HSV模型中的饱和度分量与对应像素点在HSV模型中的饱和度分量的差值，如果该差值小于预先设置的第二阈值，则将第二个参数的取值设置为1，否则，设置为0，计算像素点Z在HSV模型中的色调分量与对应像素点在HSV模型中的色调分量的差值的绝对值，如果该绝对值小于预先设置的第三阈值，则将第三个参数的取值设置为1，否则，设置为0；用每个参数的取值分别乘以为其预先设置的权值，并将相乘结果相加，如果相加结果大于预先设置的第四阈值，则确定像素点Z为阴影点，并将其滤除；之后，计算抑制前后的每帧视频图像中的前景图像的重合度，将重合度与预先设置的第五阈值进行比较，如果重合度大于所述第五阈值，则确定重合度达到要求；

第四处理单元，用于当第三处理单元确定出连续Y帧视频图像均达到要求时，通知阴影检测模块62重复执行自身功能。

图6所示装置实施例的具体工作流程请参照图1所示方法实施例中的相应说明，此处不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (5)

1.一种智能交通监控场景下的视频图像处理方法，其特征在于，包括：

A、确定车道检测区域，并通过分析连续M帧视频图像中的车道检测区域内的运动目标的运行轨迹确定车道方向；

B、根据所述车道方向，分别确定之后的每帧视频图像中是否存在阴影，如果确定出连续N帧视频图像中均存在阴影，则执行步骤C；

C、根据色调、饱和度、亮度HSV色彩模型，对之后的每帧视频图像分别进行阴影抑制，并确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求，如果连续L帧均达到要求，则重复执行步骤B；所述M、N和L均为大于1的正整数；

其中，所述分别确定之后的每帧视频图像中是否存在阴影包括：

根据所述车道方向，确定待检测的运动目标类型，所述运动目标类型包括上行运动目标和下行运动目标；并针对每帧视频图像X，分别进行以下处理：

从所述视频图像X中的车道检测区域内检测出每个相应类型的运动目标所在的目标区域，所述目标区域为包括运动目标的最小矩形区域；

将每个目标区域平均分为左右两个子区域，计算每个子区域的平均梯度幅值和

并计算

和

中的较小值与较大值的比值ρ；

计算所有目标区域对应的ρ的平均值

将所述与预先设置的第一阈值进行比较，如果所述小于所述第一阈值，则确定所述视频图像X中存在阴影；

所述根据HSV色彩模型，对之后的每帧视频图像分别进行阴影抑制包括：

针对每帧亮度、色度YUV格式的视频图像Y，分别进行以下处理：

遍历所述YUV格式的视频图像Y中的每个像素点，找出亮度分量小于预先获取的YUV格式的背景图像中的对应像素点的亮度分量的像素点，所述对应像素点为坐标相同的像素点；将所述YUV格式的视频图像Y和所述YUV格式的背景图像均转换为HSV格式，并设置三个参数；

针对找出的每个像素点Z，分别进行以下处理：

计算所述像素点Z在HSV模型中的亮度分量与所述对应像素点在HSV模型中的亮度分量的比值，如果该比值位于预先设置的区间内，则将第一个参数的取值设置为1，否则，设置为0；计算所述像素点Z在HSV模型中的饱和度分量与所述对应像素点在HSV模型中的饱和度分量的差值，如果该差值小于预先设置的第二阈值，则将第二个参数的取值设置为1，否则，设置为0；计算所述像素点Z在HSV模型中的色调分量与所述对应像素点在HSV模型中的色调分量的差值的绝对值，如果该绝对值小于预先设置的第三阈值，则将第三个参数的取值设置为1，否则，设置为0；

用每个参数的取值分别乘以为其预先设置的权值，并将相乘结果相加，如果相加结果大于预先设置的第四阈值，则确定所述像素点Z为阴影点，并将其滤除。

2.根据权利要求1所述的方法，其特征在于，所述根据所述车道方向，确定待检测的运动目标类型包括：

如果规定车辆靠右行驶，则当所述车道方向为从左下方到右上方时，所述待检测的运动目标类型为上行运动目标，当所述车道方向为从右下方到左上方时，所述待检测的运动目标类型为下行运动目标；

如果规定车辆靠左行驶，则当所述车道方向为从左下方到右上方时，所述待检测的运动目标类型为下行运动目标，当所述车道方向为从右下方到左上方时，所述待检测的运动目标类型为上行运动目标。

3.根据权利要求1所述的方法，其特征在于，所述确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求包括：

计算抑制前后的每帧视频图像中的前景图像的重合度，将所述重合度与预先设置的第五阈值进行比较，如果所述重合度大于所述第五阈值，则确定所述重合度达到要求。

4.一种智能交通监控场景下的视频图像处理装置，其特征在于，包括：

车道方向确定模块，用于确定车道检测区域，并通过分析连续M帧视频图像中的车道检测区域内的运动目标的运行轨迹确定车道方向，将确定出的车道方向发送给阴影检测模块；

所述阴影检测模块，用于根据所述车道方向，分别确定之后的每帧视频图像中是否存在阴影，如果确定出连续N帧视频图像中均存在阴影，则通知阴影抑制模块执行自身功能；

所述阴影抑制模块，用于根据色调、饱和度、亮度HSV色彩模型，对之后的每帧视频图像分别进行阴影抑制，并确定抑制前后的每帧视频图像中的前景图像的重合度是否达到要求，如果连续L帧均达到要求，则通知所述阴影检测模块重复执行自身功能；所述M、N和L均为大于1的正整数；

其中，所述阴影检测模块包括：

第一处理单元，用于根据所述车道方向，确定待检测的运动目标类型，所述运动目标类型包括上行运动目标和下行运动目标；并针对每帧视频图像X，分别进行以下处理：从所述视频图像X中的车道检测区域内检测出每个相应类型的运动目标所在的目标区域，所述目标区域为包括运动目标的最小矩形区域；将每个目标区域平均分为左右两个子区域，计算每个子区域的平均梯度幅值

和

并计算

和

中的较小值与较大值的比值ρ；计算所有目标区域对应的ρ的平均值

将所述

与预先设置的第一阈值进行比较，如果所述小于所述第一阈值，则确定所述视频图像X中存在阴影；

第二处理单元，用于当所述第一处理单元确定出连续N帧视频图像中均存在阴影时，通知所述阴影抑制模块执行自身功能；

所述阴影抑制模块包括：

第三处理单元，用于针对每帧亮度、色度YUV格式的视频图像Y，分别进行以下处理：遍历所述YUV格式的视频图像Y中的每个像素点，找出亮度分量小于预先获取的YUV格式的背景图像中的对应像素点的亮度分量的像素点，所述对应像素点为坐标相同的像素点；将所述YUV格式的视频图像Y和所述YUV格式的背景图像均转换为HSV格式，并设置三个参数；针对找出的每个像素点Z，分别进行以下处理：计算所述像素点Z在HSV模型中的亮度分量与所述对应像素点在HSV模型中的亮度分量的比值，如果该比值位于预先设置的区间内，则将第一个参数的取值设置为1，否则，设置为0，计算所述像素点Z在HSV模型中的饱和度分量与所述对应像素点在HSV模型中的饱和度分量的差值，如果该差值小于预先设置的第二阈值，则将第二个参数的取值设置为1，否则，设置为0，计算所述像素点Z在HSV模型中的色调分量与所述对应像素点在HSV模型中的色调分量的差值的绝对值，如果该绝对值小于预先设置的第三阈值，则将第三个参数的取值设置为1，否则，设置为0；用每个参数的取值分别乘以为其预先设置的权值，并将相乘结果相加，如果相加结果大于预先设置的第四阈值，则确定所述像素点Z为阴影点，并将其滤除；之后，计算抑制前后的每帧视频图像中的前景图像的重合度，将所述重合度与预先设置的第五阈值进行比较，如果所述重合度大于所述第五阈值，则确定所述重合度达到要求；

第四处理单元，用于当所述第三处理单元确定出连续L帧视频图像均达到要求时，通知所述阴影检测模块重复执行自身功能。

5.根据权利要求4所述的装置，其特征在于，

如果规定车辆靠右行驶，则当所述车道方向为从左下方到右上方时，所述待检测的运动目标类型为上行运动目标，当所述车道方向为从右下方到左上方时，所述待检测的运动目标类型为下行运动目标；

如果规定车辆靠左行驶，则当所述车道方向为从左下方到右上方时，所述待检测的运动目标类型为下行运动目标，当所述车道方向为从右下方到左上方时，所述待检测的运动目标类型为上行运动目标。

Images