CN103400135A - 一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法 - Google Patents

Abstract

一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：包括视频获取模块，处理恶劣天气模块，背景建模，目标匹配和跟踪模块，人工智能的人车分离模块，视频编解码模块，交通事件识别的流程模块，通过以上所有模块的运作，实现在马路上，大桥上的交通事件清晰检测，有益效果是：实现在7*24小时连续检测交通事件，即使在恶劣天气条件下，也能清晰显示图像，可以减少误报，提高准确率。

Description

一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法。

背景技术

目前的智能视频检测技术在普通的天气下能够自动清晰检测交通事件，但是在恶劣天气出现的时候，自动检测的清晰度就会比较差，达不到检测的效果。

发明内容

本发明目的在于克服现有技术不足，提出一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，去除对检测有影响的外在问题，获取比较清晰的图像质量，为该图像进行后道工序的检测，获得比较好的检测效果创造了条件。

本发明解决上述技术问题所采用的技术方案是一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，首先采用视频获取模块，捕捉视频信号，当视频信号出现异常时，启用交通事件的检测，其特征在于：再采用处理恶劣天气模块，它包括了稳像模块、去雾模块、灯光抑制模块、雨天去干扰模块，各模块对视频信号进行预处理，经过复杂算法，实现在恶劣天气条件下获得清晰图像，视频信号预处理方法和算法具体如下：

所述的稳像模块采用了SIFT(Scale Invariant Feature Transform)特征提取算法，针对同一目标物体，可以在存在缩放、旋转和平移的场景中检测出同一特征点，并生成该特征点的唯一描述子，使其区别于其他点，此算法对图像缩放、旋转、仿射变化以及光照变化都有良好的不变性，SIFT算法实现如下：

1、获取尺度空间的极值点：

这是检测获取图像中特征点的第一步，用于确定在不同的视角和尺度下可重复的位置，使用高斯卷积差值DOG(Different of Gaussian)来消除色差的影响。

附图1给出了DOG的实现方法，首先对高斯函数进行不同尺度的采样，得到高斯函数组，使用此高斯函数组对同一图像进行卷积，形成各组图像，组内相邻图像之差即得到了DOG。在得到了DOG后，需要获取极值点，附图2所示。对于图像中的每一点，将其与本层以及上下层的3*3区域中的26个像素点逐点进行比较，最大值和最小值即为极值点。

2、精确特征点获取：

再估计出的极值点中需要剔除对噪声较敏感的低对比度极值点和图像中的边缘点，以保证特征点的有效性。

3、特征主方向的确定，通过为每一帧图像中的所有特征点确定主方向，从而确定特征点的特征描述子，这些特征描述子对于图像旋转具有不变性，特征点的主方向是通过图像梯度来确定的。

4、特征描述子的生成

以特征点为中心取8×8的领域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个方向直方图，最后获得2×2×8的32维特征描述子，如附图3所示。每一个小格都代表了特征点领域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表了该像素的幅值，然后在4×4的窗口内计算8个方向的梯度方向直方图。

5、特征点的匹配

特征描述子可以很好的标识特征点，在相邻两帧图像检测出特征点后，需要对两帧间的特征点进行匹配，特征点匹配的步骤如下：

a.对图像中的每个特征点，都在下一帧中找出与其特征描述子之差最小的点；

b.若找出的两个特征点间的距离和特征描述子之差均小于指定门限，则认为这一对特征点为场景中的同一点，即匹配成功；

c.对每一帧图像的每个特征点都重复过程a，则在视频中的相邻两帧间，求出了匹配的特征点对。

在得到了两帧之间的匹配的特征点对后，两个图像之间的对应关系就出来了，将其中大部分不变的区域提取出来就获得了一个稳定的视频图像。稳定图像的获得对于后期出来背景建模带来了很好的应用前提。

所述的去雾模块采用了图像增强的方式来减小雾对于事件检测的影响，以灰度图像为例，

L是图像中所有的灰度数，n是图像中所有的像素数，p实际上是图像的直方图，归一化到0..1。

把c作为对应于p的累计概率函数，定义为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)$

$c\left(i\right)=\underset{j=0}{\overset{i}{\mathrm{\Σ}}}{p}_x\left(j\right)$

c是图像的累计归一化直方图。

创建一个形式为y＝T(x)的变化，对于原始图像中的每个值它就产生一个y，这样y的累计概率函数就可以在所有值范围内进行线性化，转换公式定义为：

y_i＝T(x_i)＝c(i)

注意T将不同的等级映射到0..1域，为了将这些值映射回它们最初的域，需要在结果上应用下面的简单变换：

$y_i^{\′}=y_i\·(\max -\min )+\min$

在实际的算法过程中，将彩色图像RGB分别用三个灰色图像的通道来实现上述的图像直方图的拉伸，从而使图像质量得到了提升，对于雾天等天气状况不太好的，能见度低得天气，能够提升一定的效果。

所述的灯光抑制模块采用了一种比较简单的阈值分割方式来判断视频画面是否为夜晚，夜晚的画面灰度值在0-50的比例和白天在200以上的比例，相差相当大，所以通过二分阈值，当比例到达夜晚设定的阈值内，则认为是夜晚。

当判断出是夜晚时，采用特征点和纹理信息的方法，因为灯光内部相当的平滑，内部像素值都非常大，周边不会存在着特征点和纹理信息，所以可以通过该区域内是否存在着足够的特征点从而可以判断该区域是否为灯光区域。

所述的雨天去干扰模块设置一个变动的阈值，来判断该车道内是否存在着雨天光照的影响，处理流程如下：

Step1；首先判断视频画面，根据画面像素值的亮度画面灰度值在0-50的比例和200以上的比例判断是否为夜晚；

Step2：获取每个规则车道内的高亮度，若不存在，则不是夜晚雨天；

Step3：若存在高亮度部分，则检测高亮区域内是否有做够数量的特征点存在；

Step4：如果不存在则认为该区域为雨天光照引起的区域，若检测中该区域内有足够特征点出现，则认为有车辆进入，开始检测。

通过以上模块对视频信号的复杂算法进行的预处理，获得在恶劣天气条件下获得比较清晰图像，从而能够有效地为后续的判断和识别得到比较好的检测效果创造了条件。

本发明的有益效果是：即使在恶劣天气条件下，也能清晰显示图像，能够有效地为后续的判断和识别得到比较好的检测效果创造了条件，提高准确率，减少误报。

附图说明

图1DOG的实现方法；

图2获取极值点；

图332维特征描述子；

具体实施方式

以下结合附图1、附图2、附图3和一个实施例对本发明作进一步详细描述。

一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，先用视频获取模块，捕捉视频信号，当视频信号出现异常时，启用交通事件的检测，其特征在于：采用处理恶劣天气模块，它包括了稳像模块、去雾模块、灯光抑制模块、雨天去干扰模块，各模块对视频信号进行预处理，经过复杂算法，实现在恶劣天气条件下获得清晰图像，视频信号预处理方法和算法具体如下：

所述的稳像模块采用了SIFT(Scale Invariant Feature Transform)特征提取算法，针对同一目标物体，可以在存在缩放、旋转和平移的场景中检测出同一特征点，并生成该特征

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)$

点的唯一描述子，使其区别于其他点，此算法对图像缩放、旋转、仿射变化以及光照变化都有良好的不变性，SIFT算法实现如下：

1、获取尺度空间的极值点：

这是检测获取图像中特征点的第一步，用于确定在不同的视角和尺度下可重复的位置，使用高斯卷积差值DOG(Different of Gaussian)来消除色差的影响。

图1给出了DOG的实现方法，首先对高斯函数进行不同尺度的采样，得到高斯函数组，使用此高斯函数组对同一图像进行卷积，形成各组图像，组内相邻图像之差即得到了DOG。在得到了DOG后，需要获取极值点，图2所示，对于图像中的每一点，将其与本层以及上下层的3*3区域中的26个像素点逐点进行比较，最大值和最小值即为极值点。

2、精确特征点获取：

再估计出的极值点中需要剔除对噪声较敏感的低对比度极值点和图像中的边缘点，以保证特征点的有效性。

3、特征主方向的确定，通过为每一帧图像中的所有特征点确定主方向，从而确定特征点的特征描述子，这些特征描述子对于图像旋转具有不变性，特征点的主方向是通过图像梯度来确定的。

4、特征描述子的生成

以特征点为中心取8×8的领域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个方向直方图，最后获得2×2×8的32维特征描述子，如图3所示。每一个小格都代表了特征点领域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表了该像素的幅值，然后在4×4的窗口内计算8个方向的梯度方向直方图。

5、特征点的匹配

特征描述子可以很好的标识特征点，在相邻两帧图像检测出特征点后，需要对两帧间的特征点进行匹配，特征点匹配的步骤如下：

a、对图像中的每个特征点，都在下一帧中找出与其特征描述子之差最小的点。

b、若找出的两个特征点间的距离和特征描述子之差均小于指定门限，则认为这一对特征点为场景中的同一点，即匹配成功。

c、对每一帧图像的每个特征点都重复过程a，则在视频中的相邻两帧间，求出了匹配的特征点对。

在得到了两帧之间的匹配的特征点对后，两个图像之间的对应关系就出来了，将其中大部分不变的区域提取出来就获得了一个稳定的视频图像。稳定图像的获得对于后期出来背景建模带来了很好的应用前提。

所述的去雾模块采用了图像增强的方式来减小雾对于事件检测的影响，以灰度图像为例，让n_i表示灰度i出现的次数，这样图像中灰度为i的像素的出现概率是

$p_x\left(i\right)=\frac{n_i}{n},i\∈0,...,L-1$

L是图像中所有的灰度数，n是图像中所有的像素数，p实际上是图像的直方图，归一化到0..1。

把c作为对应于p的累计概率函数，定义为：

$c\left(i\right)=\underset{j=0}{\overset{i}{\mathrm{\Σ}}}{p}_x\left(j\right)$

c是图像的累计归一化直方图。

创建一个形式为y＝T(x)的变化，对于原始图像中的每个值它就产生一个y，这样y的累计概率函数就可以在所有值范围内进行线性化，转换公式定义为：

y_i＝T(x_i)＝c(i)

注意T将不同的等级映射到0..1域，为了将这些值映射回它们最初的域，需要在结果上应用下面的简单变换：

$y_i^{\′}=y_i\·(\max -\min )+\min$

在实际的算法过程中，将彩色图像RGB分别用三个灰色图像的通道来实现上述的图像直方图的拉伸，从而使图像质量得到了提升，对于雾天等天气状况不太好的，能见度低得天气，能够提升一定的效果。

所述的灯光抑制模块采用了一种比较简单的阈值分割方式来判断视频画面是否为夜晚。夜晚的画面灰度值在0-50的比例和白天在200以上的比例，相差相当大，所以通过二分阈值，当比例到达夜晚设定的阈值内，则认为是夜晚。

当判断出是夜晚时，采用特征点和纹理信息的方法，因为灯光内部相当的平滑，内部像素值都非常大，周边不会存在着特征点和纹理信息，所以可以通过该区域内是否存在着足够的特征点从而可以判断该区域是否为灯光区域。

所述的雨天去干扰模块设置一个变动的阈值，来判断该车道内是否存在着雨天光照的影响，处理流程如下：

Step1；首先判断视频画面，根据画面像素值的亮度画面灰度值在0-50的比例和200以上的比例判断是否为夜晚。

Step2：获取每个规则车道内的高亮度，若不存在，则不是夜晚雨天。

Step3：若存在高亮度部分，则检测高亮区域内是否有做够数量的特征点存在。

Step4：如果不存在则认为该区域为雨天光照引起的区域，若检测中该区域内有足够特征点出现，则认为有车辆进入，开始检测。

通过以上模块对视频信号的复杂算法进行的预处理，获得在恶劣天气条件下获得比较清晰图像，从而能够有效地为后续的判断和识别得到比较好的检测效果创造了条件。

Claims (8)

1.一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于包括视频获取模块，处理恶劣天气模块，背景建模，目标匹配和跟踪模块，人工智能的人车分离模块，视频编解码模块，安全事件识别的流程模块，通过以上所有模块的运作，实现在马路上，大桥上的交通事件清晰检测。

2.根据权利要求1所述的一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：所述的视频获取模块主要处理摄像头所捕捉到的视频信号，通过视频线直接传送到监控中心，在获取视频的同时，智能设备需要分析视频信号是否异常，来决定是否启用交通事件的检测。

3.根据权利要求1所述的一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：所述的处理恶劣天气模块包括了稳像模块、去雾模块、灯光抑制模块、雨天去干扰模块。

4.根据权利要求1所述的一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：所述的背景建模采用了对像素值使用卡尔曼滤波的方式，得到背景。

5.根据权利要求1所述的一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：所述的目标匹配和跟踪，是对该前景目标区域中的判断，是否含有足够的特征点数，如果满足，则进行目标匹配和跟踪。

6.根据权利要求1所述的一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：所述的人工智能的人车分离模块采用了HOG-LBP(梯度方向直方图和局部二值模式)的前景提取方式来进行实现人车的分离。

7.根据权利要求1所述的一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：所述的视频编解码模块，采用了H264的编解码方式来进行，当交通事件检测出来以后，对视频进行编码，而在客户端这一边需要对编码数据进行解码，从而获得清晰的视频。

8.根据权利要求1所述的一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法，其特征在于：所述的安全事件识别的流程，通过人车分类模块区分是属于哪个类型，来确定情况是否是逆向行驶、来确定违章停车和缓慢行驶。

Images