CN103021177B - 一种雾天交通监控视频图像的处理方法和系统 - Google Patents

Abstract

一种雾天交通监控视频图像的处理方法，包括：1，检测交通监控场景中的车辆；2，根据检测的车辆与行人活动区域，建立感兴趣区域，即可行驶区域；3，估计道路区域深度比例，生成深度图像：根据检测的车辆尺寸、位置与车辆运动的方向，估计道路区域的深度比例，建立交通监控场景模型，自动生成交通监控场景深度图像；4，建立交通监控场景雾天图像退化模型：利用交通监控场景深度图像，作为雾天图像退化的重要参数，建立该交通监控场景的雾天图像退化模型；5，求解所述交通监控场景雾天图像退化模型，恢复图像。

Description

一种雾天交通监控视频图像的处理方法和系统

技术领域

本发明涉及智能交通领域，具体地涉及一种雾天交通监控视频图像的处理方法和系统，对雾天情况下的交通监控视频进行去雾处理。

背景技术

智能交通对图像信息的采集和处理的质量要求很高。但是现今智能交通领域的视频监控仍不甚完善。因而即使拥有最为先进的图像采集设备，也可能由于拍摄过程中的各种环境因素的干扰而无法真正发挥效用，雾天情况下的图像识别难题便是其中之一。在雾天情况下的交通视频监控出现的问题主要包括：(1)雾天情况下，模糊的图像信息不利于监控人员对所需交通信息的识别，由于图像内容敏感度降低，同时也对交通控制及交通违章、事故等的取证也会极为不利。(2)使用计算机监控进行监控时，可能由于对比度降低导致监控对象无法智能识别，或者由于图像质量的降低导致识别错误。

然而，雾天情况在我国大部分地区都极为常见，对交通安全和交通监控会产生很大的影响。以北京地区为例，较明显的雾天天气就占到了全年的17%，这些天气的存在，对北京市的交通安全带来了极大的隐患。因此，针对智能交通视频监控系统，开发高效的去雾图像恢复系统，对保障道路交通安全，提高交通控制、交通执法等的效率具有重要的意义和广阔的应用前景。

雾天图像的对比度随深度呈现非线性关系是雾天降质图像的一个重要特征，因此，利用大气模型实现降质图复原效果的好坏关键取决于对图像上各点深度信息的求取是否较为准确。

现有的去雾方法主要是基于深度信息估计的方法。在场景几何结构已知的假设下，Oakley等人基于散射定律，考虑随机因素对成像过程的影响，构造出多参数统计的图像退化模型，利用图像数据对参数进行估计。对于这种方法的介绍，可以参考论文《Enhancement of Color Image inPoor Visibility Conditions（低能见度条件下的彩色图像增强）》(载于IEEEInternational Conference on Image Processing(ICIP),2000年）。

此外，Narasimhan和R.Tan等人从图像辅助信息角度出发，探讨大气散射现象对不同深度场景对比度的影响规律，提出了利用大气散射现象对场景深度进行估计的方法。这类方法代表性的论文可参见《ContrastRestoration of Weather Degraded Images（天气退化图像的对比度恢复）》（载于IEEE Transactions on Pattern Analysis and MachineIntelligence(TPAMI),2003年）以及《Visibility in Bad Weather from aSingle Image（恶劣天气下单一图像的能见度）》（载于IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2008年）。这类方法为解决雾天降质图像的复原问题提供了新的思路。

技术问题

但是，现有的去雾技术存在诸多不足之处。基于深度信息估计的复原方法通常仅仅利用了图像的灰度信息或颜色信息，对深度信息的准确估计可能缺失可靠性，不能根据交通场景的特点自动生成交通监控场景深度图像，无法为雾天图像退化模型提供精确的参数，影响去雾精度。甚至需要利用价格昂贵的雷达或距离传感器等硬件设备获取精确的场景深度信息，限制了这类方法在解决实际问题中的广泛应用。

发明内容

针对上述问题，本文从交通视频监控的特点出发，利用基于视频的自动车辆检测和跟踪，建立交通监控场景模型，自动生成交通监控场景深度图。本发明在利用图像灰度信息和颜色信息的基础上，充分利用自动车辆检测和跟踪的信息，获得更为精确的交通监控场景深度图像，为雾天图像退化模型提供精确的深度信息参数，能够更好地实现雾天图像的清晰化复原。

如图1所示，其本发明的主要原理为：（1）针对交通视频监控场景、感兴趣区域较为固定的特点，利用自动车辆检测与跟踪信息，自动生成交通监控场景深度图像。（2）结合交通监控场景深度图像，建立雾天交通监控视频图像退化模型，对雾天情况下的交通监控视频进行去雾处理，形成雾天交通监控视频系统的图像复原技术方案。

本发明的主要实现步骤为：（1）交通监控场景中的车辆检测；（2）建立感兴趣区域：根据检测的车辆与行人活动区域，建立感兴趣区域，即可行驶区域；（3）估计道路区域深度比例，生成深度图像：根据检测的车辆尺寸、位置与车辆运动的方向，估计道路区域的深度比例，建立交通监控场景模型，自动生成交通监控场景深度图像；（4）建立交通监控场景雾天图像退化模型：利用交通监控场景深度图像，作为雾天图像退化的重要参数，建立此交通监控场景的雾天图像退化模型；（5）求解模型，恢复图像。

在处理过程中，建立图像感兴趣区域，重点对感兴趣区域进行去雾处理，比全局去雾处理节省了处理时间。相比目前其他类是去雾方法，本发明去雾方法利用了更多的图像信息，深度估计更为准确，去雾效果更佳。此外，本发明计算雾天图像深度图基于视频摄像头，相比通过雷达或者距离传感器获得深度信息的方法，成本低廉，安装调试简单，数据采集更为方便。

附图说明

图1是本发明的原理示意图；

图2是本发明的技术流程图；

图3是根据本发明的车辆检测和跟踪流程图；

图4是根据本发明的感兴趣区域示图；

图5是根据本发明的坐标系示意图；

图6是根据本发明的获取车辆行驶方向示图；

图7是根据本发明的获取车辆尺寸示图；

图8是根据本发明的交通监控场景图像去雾前后对比示图，左图为去雾前，右图为去雾后；

图9是根据本发明的交通监控场景图像去雾前后二值化图像对比图，左图为去雾前，右图为去雾后；

图10是根据本发明的交通监控场景图像去雾前后图像边缘信息对比图，左图为去雾前，右图为去雾后。

具体实施方式

下面，结合附图，对本发明的具体实施过程进行详细的说明。

1、交通监控场景中的车辆检测和跟踪

车辆检测以及跟踪的过程如图3所示，1）采集交通监控场景中的车辆图像，建立图像库，对车辆图像进行特征提取，通过机器学习方法训练得到交通监控场景中的车辆分类器。2）对采集到的交通监控图像背景初始化，对交通监控图像进行特征提取。3）结合步骤1)中机器学习方法训练得到的分类器，进行车辆检测和车辆跟踪。

2、建立感兴趣区域

根据检测到的车辆行驶区域，并利用交通场景图像的先验信息，如车道线、交通标志等，在图像中建立交通监控场景的感兴趣区域，如图4所示的ABCDE构成的多边形区域。

3、估计道路区域深度比例，生成深度图

1）摄像机标定

坐标系的定义：（1）世界坐标系(X_w,Y_w,Z_w)；（2）摄像机坐标系(x,y,z),以摄像机成像中心为原点，摄像机光轴方向为z轴，垂直与图像平面；（3）图像坐标系(u,v)，以像素为单位；(X,Y)，以“毫米”为单位。坐标系示意图如图5所示。

根据针孔摄像机的模型，一幅视图是通过将三维空间中的点透视变换投影到图像平面上得到，其定义是：

$\frac{x}{z}=\frac{X}{f_x},\frac{y}{z}=\frac{Y}{f_x}---(3-2)$

$u=\frac{X}{\mathrm{dx}}+u_0,v=\frac{Y}{\mathrm{dy}}+v_0---(3-3)$

其中，K称作摄像机内参数矩阵，(c_x,c_y)是基准点，f_x,f_y是以像素为单位的焦距，旋转平移矩阵[Rt]是摄像机的外参数矩阵，用于描述物体围绕摄像机的刚性运动，(u₀,v₀)为以“毫米”为单位的图像坐标的坐标原点在以“像素”为单位的图像坐标中的坐标值，dx、dy为摄像机CCD像元的尺寸。

对于已标定的交通视频交通摄像机，K和[Rt]均为已知量。那么，

根据图像上一点M像素点坐标是(i,j)，则可计算出M点对应的世界坐标系中的坐标(X_wM,Y_wM,Z_wM)，如下（3-4）式所示。

$\left[\begin{array}{c}{X}_{\mathrm{wM}}\\ Y_{\mathrm{wM}}\\ Z_{\mathrm{wM}}\\ 1\end{array}\right]={\left[\begin{array}{cc}\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[R\right|t]& \end{array}\right]}^{\′}z\·\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---(3-4)$

2）获取车辆检测的相关参数

如图6所示，（1）获取车辆行驶方向：获取车辆行驶方向示意图如图6所示，设车体上某一点M1，经过T时间运动到M1'。通过摄像，反映到图像平面上，则是点m1(u₁,v₁)经过时间T移动到位置m1'(u₁',v₁')。

因此，当Δ＝v₁′-v₁>0，车辆向靠近摄像机方向行驶，当Δ＝v₁′-v₁<0时，车辆向远离摄像机方向行驶。

如图7所示，（2）获取车辆尺寸及其变化比例：车辆尺寸可用车辆检测框的大小近似估计，如图7所示，同一车辆经过时间T从V1运动到V1'位置。在V1处，车体尺寸用图像中车辆检测框尺寸|AB|表示；在V1'处，车体尺寸用图像中车辆检测框尺寸A′B'表示。图像坐标系中，车体尺寸表达式为：

$\left|\mathrm{AB}\right|=\sqrt{{(u_A-u_B)}^2+{(v_A-v_B)}^2}---(3-5)$

$\left|A^{\&prime;}{B}^{\&prime;}\right|=\sqrt{{(u_{A^{\&prime;}}-u_{B^{\&prime;}})}^2+{(v_{A^{\&prime;}}-v_{B^{\&prime;}})}^2}---(3-6)$

其中(u_A,v_A)、(u_B,v_B)、(u_A′，v_A′)、(u_B′，v_B′)分别是A、B、A'B'的像素坐标。

实际车体尺寸表达式可用欧氏距离计算，表达式为：

$D_{\mathrm{AB}}=\sqrt{{(X_{\mathrm{wA}}-X_{\mathrm{wB}})}^2+{(Y_{\mathrm{wA}}-Y_{\mathrm{wB}})}^2+{(Z_{\mathrm{wA}}-Z_{\mathrm{wB}})}^2}---(3-7)$

$D_{A^{\&prime;}{B}^{\&prime;}}=\sqrt{{(X_{w{A}^{\&prime;}}-X_{w{B}^{\&prime;}})}^2+{(Y_{w{A}^{\&prime;}}-Y_{w{B}^{\&prime;}})}^2+{(Z_{w{A}^{\&prime;}}-Z_{w{B}^{\&prime;}})}^2}---(3-8)$

D_AB=D_A＇B′  （3-9）

其中，(X_A,Y_A,Z_A)、(X_B,Y_B,Z_B)、(X_A′,Y_A′,Z_A′)、(X_b′,Y_B′,Z_B′)分别是A、B、A'B'的世界坐标。

3）计算道路区域深度比例，建立交通监控场景模型，生成深度图像：

结合式（3-4）、（3-6）和（3-9），检测监控场景中所有车体的比例关系

可以建立整个交通监控场景感兴趣区域模型，自动生成深度图像d(i,j)，其中，i,j表示图像像素坐标。

4、建立交通监控场景的雾天图像退化模型

通过交通监控场景中车辆检测和跟踪，我们能够得到场景中所有有关的图像像素信息，因此，能够完整构造出感兴趣区域的深度图。

根据有雾图像、场景深度图、大气光值求取去雾后的复原图像。求取复原图像的退化模型为：

I(i,j)=J(i,j)t(i,j)+A(1-t(i,j))  (4-1)

t(i,j)=e^-βd(i，j)            (4-2)

其中，J(i,j)为景物光线的强度，I(i,j)为观测到的图像的强度，A为全局大气光值。d(i,j)是本发明中自动生成交通监控场景深度图像，t(i,j)称作雾天图像传播矩阵，(i,j)为图像像素点的坐标值，其中β是大气散射系数。

5、求解交通监控场景的雾天图像退化模型

将（4-2）代入（4-1）式，解得:

$J(i,j)=\frac{I(i,j)-A}{e^{-\mathrm{\&beta;d}(i,j)}}+A---(5-1)$

其中J(i,j)即是我们最终要恢复的交通监控场景图像。

本文从交通视频监控的特点出发，利用基于视频的自动车辆检测和跟踪，建立交通监控场景模型，自动生成交通监控场景深度图。本发明在利用图像灰度信息和颜色信息的基础上，充分利用自动车辆检测和跟踪中的HOG特征以及Harris角点等信息，获得更为精确的交通监控场景深度图像，为雾天图像退化模型提供精确的深度信息参数，能够更好地实现雾天图像的清晰化复原。

在处理过程中，建立图像感兴趣区域，重点对感兴趣区域进行去雾处理，比全局去雾处理节省了处理时间。相比目前其他类是去雾方法，本发明去雾方法利用了更多的图像信息，深度估计更为准确，为去雾模型提供精度更高的参数，去雾效果更佳。

去雾后的图像，能够获取更多的图像边缘信息，得到更精确的深度图参数，从而进一步用于交通监控场景的图像去雾。如图8、图9、图10所示，为利用本发明的交通监控场景去雾前后的图像对比。

此外，本发明计算雾天图像深度图基于视频摄像头，相比通过雷达或者距离传感器获得深度信息的方法，成本低廉，安装调试简单，数据采集更为方便。

Claims (5)

1.一种雾天交通监控视频图像的处理方法，包括：

步骤1，检测交通监控场景中的车辆；

步骤2，根据检测的车辆与行人活动区域，建立感兴趣区域，即可行驶区域；

步骤3，估计道路区域深度比例，生成深度图像：根据检测的车辆尺寸、位置与车辆运动的方向，估计道路区域的深度比例，建立交通监控场景模型，自动生成交通监控场景深度图像；

步骤4，建立交通监控场景雾天图像退化模型：利用交通监控场景深度图像，作为雾天图像退化的重要参数，建立该交通监控场景的雾天图像退化模型；根据有雾图像、场景深度图、大气光值，利用所述雾天图像退化模型求取去雾图像，所述雾天图像退化模型为：

I(i,j)=J(i,j)t(i,j)+A(1-t(i,j)) (4-1)

t(i,j)=e^-βd(i,j)           (4-2)

其中，J(i,j)为景物光线的强度，I(i,j)为观测到的图像的强度，A为全局大气光值，d(i,j)是本发明中自动生成交通监控场景深度图像，t(i,j)称作雾天图像传播矩阵，(i,j)为图像像素点的坐标值，其中β是大气散射系数;

步骤5，求解所述交通监控场景的雾天图像退化模型，恢复图像。

2.根据权利要求1的方法，其中，所述步骤1具体包括如下步骤：

采集交通监控场景中的车辆图像，建立图像库，对车辆图像进行特征提取，通过机器学习方法训练得到交通监控场景中的车辆分类器；

对采集到的交通监控图像背景初始化，对所述交通监控图像进行特征提取；

结合通过所述机器学习方法训练得到的车辆分类器，进行车辆检测和跟踪。

3.根据权利要求2的方法，其中，所述步骤2具体包括：

根据检测到的车辆行驶区域与行人活动区域，利用诸如车道线、交通标志等的交通场景图像的先验信息，在图像中建立交通监控场景的感兴趣区域；并仅对所述感兴趣区域进行去雾处理。

4.权利要求3的方法，其中，所述步骤3具体包括如下步骤：

1）摄像机标定：包括世界坐标系、摄像机坐标系和图像坐标系的定义；

2）获取车辆检测的相关参数：包括获取车辆的行驶方向、车辆尺寸及车辆尺寸的变化比例；

3）计算道路区域深度比例，建立交通监控场景模型，生成深度图像：检测监控场景中所有车体的比例关系，建立整个交通监控场景感的兴趣区域模型，生成深度图像。

5.根据权利要求1的方法，其中，所述步骤5还包括：

将上述式（4-2）代入式（4-1），解得:

$J(i,j)=\frac{I(i,j)-A}{e^{-\mathrm{\&beta;d}(i,j)}}---(5-1)$

其中J(i,j)即是交通监控场景最终的恢复图像。

Images