CN104978719A - 基于时空相关性的自适应交通视频实时去雾方法 - Google Patents

Abstract

基于时空相关性的自适应交通视频实时去雾方法，包括：步骤1、估算时间片初始帧的车道空间区域、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；步骤2、提取视频中的直线车道，确定一个有限的车道区域；步骤3、通过从原图像中找到雾霾干扰最小的区域，获取其中最亮的像素值作为大气光强；步骤4、划分空间范围，每一个空间范围都设定一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头；步骤5、获得每个图像块的最优透射率值的透射率分布，采用导向滤波对块状的透射率分布进行优化；步骤6、对车道空间区域部分的原图像像素值求解，还原出车道部分的无雾图像。

Description

基于时空相关性的自适应交通视频实时去雾方法

技术领域

本发明涉及一种交通视频实时去雾方法。

背景技术

基于视频处理和视觉技术的方法被越来越广泛的应用于交通监控系统中，但是由于交通视频拍摄的是户外场景，经常会受到多变的天气的影响。目前，雾霾天气频发，而雾霾环境下获取的交通视频图像存在模糊退化的现象，导致图像的清晰度较低，从而明显影响交通视频图像处理的各类服务，包括车辆检测、车辆目标特征提取、车辆跟踪等操作，出现无法有效地识别车辆、难以提取车辆的细节特征等问题。分析雾霾交通视频图像的特征后发现，提高图像清晰度、去除雾霾干扰，才能有效确保车辆的准确识别和特征提取，因此，提出有效的交通视频去雾方法对于雾霾环境下的交通视频图像处理有十分重要的意义。

目前，很多研究者都针对单幅图像的去雾方法展开研究。单幅图像的去雾算法主要分为两类，基于图像增强的方法和基于图像复原的方法。基于图像增强的方法是从人类的视觉感受出发，通过直接增强图像对比度、修正图像的色彩等信息，进行雾霾天图像质量的改善，其中最常见的方法就是直方图均衡算法和基于Retinex理论的图像增强算法。但是，由于该类方法从图像处理角度出发，缺乏了对雾霾影响图像的成因的分析，所以，在图像还原过程中可能出现失真或过度增强的效果；如果想改进算法的去雾效果，会增加算法的复杂度，无法适应实时性需求。基于图像复原的方法从图像降质的逆过程入手，通过建立物理模型来描述图像退化的详细过程，符合雾霾天图像还原的实际情况，是目前常用的图像去雾方法。该类方法最关键的步骤是如何获得退化模型的参数，早期提出的方法都需要提前进行图像采集或者设置固定采集装置，因此无法做到随时随地处理各类图像，缺乏适应性；随后，越来越多的研究者开始采用一定的先验知识或者提出假设条件，使算法在实际应用时更具有可行性。总体来说，基于图像复原的图像去雾方法可以有效地实现图像去雾，但是也存在一定的局限。如果想要获得更精细的模型参数，就需要利用外部的高精密仪器，进行前期的数据整理，在实际应用过程中，外部仪器设施的布置以及复杂的前期数据整理，都使得该方法无法适应于各种未知场景，缺少拓展性。若是在求解模型参数时借助最优化工具，就会带来巨大的计算复杂度和时间复杂度。当然，也可以采用一定的先验知识或者给出假设条件、弱化限制来获取参数，但是随之而来的问题就是算法的鲁棒性较弱，在浓雾、浓霾时算法失效，不适合对未知环境下的退化图像进行处理。在单幅图像去雾算法的基础上，视频去雾算法的研究也在逐渐深入。在视频去雾的过程中，将视频图像看做单独的帧图像，可直接应用单幅图像去雾算法，但是如何保证视频去雾的实时性是算法的关键。

综合来看，现有的图像去雾或者视频去雾算法，主要存在三个方面的问题：实时性较差、还原后对比度失真、无法消除浓雾的影响。分析后两个问题的本质，其实是图像去雾算法无法适应不同雾霾干扰程度的图像。

发明内容

本发明要克服现有技术的上述缺点提供一种基于时空相关性的自适应交通视频实时去雾方法，提高算法对不同程度雾霾干扰图像的去雾效果，加强算法自适应性，并利用交通视频的时空相关特性提高算法实时性。

本发明所述的基于时空相关性的自适应交通视频实时去雾方法的主要步骤如图1所示。

步骤1、利用交通视频时间连续性，设立时间片，估算时间片初始帧的车道空间区域、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；在该段时间内其他图像帧的去雾还原过程中，采用初始帧计算获得的参数。

一般情况下，交通视频都由固定在道路上的监控摄像头拍摄，一段时间内的场景相对统一，所以在考虑时间连续性时，可以将一个时间片段内的交通视频作为一个整体进行分析。因此，我们通过设立时间片，直接利用时间片初始帧估算该时间片内所有视频帧的参数，包括该段视频的车道空间区域范围、雾霾影响标志值T、初始透射率校正值X和透射率分布情况。

步骤2、采用一种基于直线提取的交通视频图像车道空间分离算法，提取视频中的直线车道，确定一个有限的车道区域。

由于一般拍摄的交通视频都有包含车道隔离带或其他背景信息，而在进行交通视频检测时，车辆识别、跟踪或事件检测主要的感兴趣区域都为车道部分，因此，可以利用车道的直线特征分离出车道空间，单独对车道进行去雾处理，减小待处理的图像，从而加速去雾。

提取交通视频图像车道空间的具体步骤如下：

Step1：通过边缘检测，获取视频图像中的边缘信息；

Step2：利用Hough直线拟合，筛选掉角度明显有误的直线，获得候选的车道边界；

Step3：找到候选车道边界中最左侧和最右侧的直线，设定为车道边界，并且找到车道边界的交点；

Step4：由车道边界的交点及图像边界获得一个矩形规则车道区域，若交点在图像的范围外，则默认车道空间为整个图像空间。

步骤3、采用一种基于四叉树细分的层次搜索方法进行大气光强估计，通过从原图像中找到雾霾干扰最小的区域，获取其中最亮的像素值作为大气光强。

图像去雾方法的实现以求解雾天成像模型(1)为基础

I(p)＝J(p)t(p)+A(1-t(p))      (1)

其中，p表示图像中的某个像素点：I(p)表示全部反射光线经过衰减后最终达到成像设备时的光线强度，即生成的带雾图像；t(p)表示达到成像设备且没有被散射的那部分光线的传播率，即光线穿透雾霾的能力参数，可称为透射率且t(p)∈[0,1]。J(p)表示景物目标直接反射的光强，即需要恢复的真实无雾图像；A描述的是观测者视线方向无穷远处的光照强度，可表示为全局的大气光强。因此，要求解模型(1)获取真实图像J(p)，需要首先获得大气光强A及透射率分布t(p)。

本步骤进行大气光强估计，具体操作如下：

Step1：将图像均匀分成四个区域；

Step2：每个区域赋予一个权值S。权值S为该区域的像素均值与像素值标准差的差值。

Step3：选择权值最大的区域作为下一个待处理的子图像。

Step4：重复操作Step1～Step3，直至子图像的大小小于一个预先设定的阈值，可以设定为子图像长*宽小于200像素。

在最后获取的区域中，找到像素I(p)，使||(Ir(p),Ig(p),Ib(P))‐(255,255,255)||最小，令该像素值为大气光强值。

步骤4、根据交通监控摄像头的空间分布情况，划分空间范围，每一个空间范围都设定一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头。

随着交通网络布局的日益复杂，交通监控系统设置的数量也逐渐增加，很多时候同一路段有多个监控摄像头，甚至同一路段的不同车道也有专门的监控装置。这些摄像头拍摄的交通视频在物理上处于同一个场景空间，而且同一地区的摄像头其硬件指标通常情况下都是相同的。而天气情况也是一种具有空间区域特征的指标，比如在一定区域空间范围内的雾霾浓度都是类似的。对于完整的交通视频处理系统，系统内会接入多路摄像头数据，很多分布于同一空间区域的摄像头拍摄出的视频图像质量相近，因此，可以利用摄像头的空间区域分布特性加速多路摄像头的去雾处理速度，实现整个交通视频处理系统的性能优化。

我们将空间距离相近的摄像头划分为统一区域，取其中的一个摄像头为标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头。因此，如果判定该摄像头不是标定摄像头，则可根据系统中已近获取该区域标定摄像头的相关参数，直接进行该摄像头透射率分布估算及优化。

步骤5、采用自适应透射率估计方法，在获取雾霾影响标志值T及恒定的初始透射率校正值X后计算初始透射率。然后在图像对比度评价值及图像信息丢失情况之间寻找平衡点，在以初始透射率为起始值的固定范围内使代价函数E最小，从而获得每个图像块的最优透射率值的透射率分布。最后，采用导向滤波对块状的透射率分布进行优化。

(a)获取雾霾影响标志值

本发明引入图像雾霾影响标志值T和初始透射率校正值X，通过原图像的性质估算出初始透射率值，从而在不同雾霾干扰程度下的图像能估算出适合的透射率值。最终，透射率初始值为T*X。

图像雾霾影响标志值T基于暗通道先验假设，即对于清晰的户外无雾图像，在没有天空的大多数区域中，总是存在这样一些像素，它们至少一个颜色通道具有很低的像素值，也就是说，这些像素的最小值趋近于零。对于任意的输入图像J，其暗通道的表达式为：

$J^{\mathrm{dark}}\left(p\right)=\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c\∈\{r,g,b\}}{\min }{J}_c\left(y\right)\right)---\left(2\right)$

上式中下标C表示彩色图像的R/G/B三个通道，Ω(p)表示以像素p为中心的一个窗口，y表示以p为中心的窗口内的像素。而暗通道先验假设用数学公式的形式可以表示为J^dark→0。

雾天成像模型(1)可变形为：

$\frac{I_c\left(p\right)}{A_c}=t\left(p\right)\frac{J_c\left(p\right)}{A_c}+1-t\left(p\right)---\left(3\right)$

其中下标C表示彩色图像的R/G/B三个通道，I_c(p)表示带雾图像R/G/B通道中像素p的值，J_c(p)表示无雾图像R/G/B通道中像素p的值；t(p)为像素p的透射率值；A_c为R/G/B通道中的大气光强估计值。

设每一个窗口内透射率t(x)为常数值为t并且A值已经给定，对式(3)两边求两次最小值运算：

$\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)=\tilde{t}\left(p\right)\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)+1-\tilde{t}\left(p\right)---\left(4\right)$

根据暗通道先验理论有：

$J^{\mathrm{dark}}\left(p\right)=\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }{J}_c\left(y\right)\right)=0---\left(5\right)$

因此，可推导出：

$\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)=0---\left(6\right)$

把式(6)带入式(4)中，得到：

$\tilde{t}\left(p\right)=1-\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)---\left(7\right)$

这就是透射率的预估值。该值是一个暗通道图像块中的透射率值，最后计算所有图像块透射率的均值就可以得到整幅图像的透射率分布均值T。

(b)获取恒定的初始透射率校正值X

初始透射率校正值X综合考虑原图像中的对比度C和雾霾影响标志值T，根据T*C的取值范围可以分阶段确定一个恒定的X，如表1所示。

表1 分阶段初始透射率校正值的计算

T*C的范围	梯度恒定X
		T*C<10	0.5
10<＝T*C<15	0.6
		15<＝T*C<20	0.7
20<＝T*C<25	0.8
		25<＝T*C<30	0.9
T*C>＝30	1

初始透射率值为T*X，在后续步骤，进行透射率估计时，以T*X作为固定范围的起始值。

(c)同时考虑信息丢失和图像对比度增强的的透射率估计

自适应透射率估计方法根据透射率局部一致的假设，以32*32大小的子块为单位，设定同一子块内的透射率值一致。一般情况下，被雾霾影响的图像子块的对比度会降低，为了更好地达到去雾效果，需要增加图像子块的对比度，因此可以通过使还原后的图像块具备最大的对比度来获得最优的透射率估计值。图像对比度评估采用均方误差(Mean squared error，MSE)对比度C_MSE，其数学表达式如下：

$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}\frac{{(J_c\left(p\right)-\stackrel{\‾}{J_c})}^2}{N}---\left(8\right)$

其中J_c表示每一个色彩通道的图像块，c∈{r,g,b}；是图像块像素的均值，N是图像块的像素总数。

将公式(8)代入公式(1)，并变形可得：

$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}\frac{{(I_c\left(p\right)-\stackrel{\‾}{I_c})}^2}{t^{2}N}---\left(9\right)$

在上式中，就是输入的原图像块的像素均值。

均方误差对比度C_MSE随着t值的增加而递减，即还原后的图像对比度会随着透射率估计值的减小而增强。因此，为了使还原后的图像块具有更高的对比度，透射率t要取尽量小的值。但是，t的取值会影响到计算出的还原图像的像素值，如果还原后的像素值在[0,255]的区间范围外，则会产生信息丢失，影响图像的还原质量。根据公式(1)的属性，为了避免图像信息丢失，使更大范围内的输入像素值可以被有效还原，需要取较大的t值。因此，本发明引入了对比度评价值E_contrast和信息丢失评价值E_loss，并将以上两个评价值整合成一个代价值E，使E值最小的t^*就是每一个图像块最优的透射率值。

$E_{\mathrm{contrast}}=-\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\underset{p\∈B}{\mathrm{\Σ}}\frac{(J_c\left(p\right)-\stackrel{\‾}{J_c})}{N_B}=-\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\underset{p\∈B}{\mathrm{\Σ}}\frac{(I_c\left(p\right)-\stackrel{\‾}{I_c})}{N_B}---\left(10\right)$

$E_{\mathrm{loss}}=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\underset{p\∈B}{\mathrm{\Σ}}\{{\left(\min \right\{0,J_c\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_c\left(p\right)\left\}\right)}^2\}---\left(11\right)$

E＝E_contrast+λ_LE_loss

                        (12)

上式中，和分别是还原图像和原图像中对应块B的像素值均值，N_B是图像块B的像素数量；min{0,J_c(p)}和max{0,J_c(p)-255}分别表示超过区间[0,255]的像素值之和；λ_L用来调节对比度评价值和信息丢失评价值的重要度，即平衡对比度和信息丢失的情况。

根据以上的公式，以初始透射率值为起始值在一个区间范围内寻找最优的透射率值t^*使E最小化，该t^*值就是每一个图像块最优的透射率值。

(d)基于导向滤波的透射率分布优化

由于之前的算法中假设图像块内的透射率局部一致，所以透射率估计都是以图像块的形式进行操作，所获得的透射率分布图也存在明显的块状结构，从而导致还原后的图像存在块状的锯齿边缘。因此，本发明采用基于导向滤波的方法优化存在块状结构的透射率分布图。

导向滤波的基本公式如下：

$\hat{t}\left(q\right)=s^{T}I\left(q\right)+\mathrm{\ψ}---\left(13\right)$

其中，是滤波后的透射率，I(q)是导向图，我们用待去雾的图像作为导向图；s^T＝(s_r,s_g,s_b)^T是缩放向量，ψ是偏移量。

计算透射率时设定一个尺寸为41*41的窗口，对于一个窗口W，通过最小二乘法，使块状透射率值t^*和滤波后的透射率之间的差别最小，这样就能获得一个最佳的s^*和ψ^*值。

$(s^{*},{\mathrm{\ψ}}^{*})=\underset{t}{\arg \min }(s,\mathrm{\ψ})\underset{q\∈W}{\mathrm{\Σ}}{(t\left(q\right)-\hat{t}\left(q\right))}^2---\left(14\right)$

当透射率较小时，会增强还原后的图像的噪音，因此，实现算法时可以将透射率值的最小下限定为0.1。

步骤6、利用上述步骤求得的大气光强和透射率分布值，对车道空间区域部分的原图像像素值在模型(1)下求解，还原出车道部分的无雾图像。

已求出大气光强、透射率值后，通过求解模型(1)可以获得还原出去雾后的图像；并采用伽马校正方法对还原后的图像进行灰度校正，避免还原后的图像出现比原图像更深的值。在图像还原过程中，只需要对车道空间区域部分的像素进行还原计算。为了有很好的视觉效果，可以完整还原时间片初始帧，将该帧的背景替换到后续帧中，从而避免有明显的车道区域分界线。

本发明的优点是：

1、本发明提出的交通视频去雾方法采用自适应对比度增强的交通图像去雾算法，能够根据图像的雾霾影响程度，自适应处理各种不同程度的雾霾图像，在增强对比度的同时，还保证了图像信息的完整性，有较好的图像去雾效果。

2、目前的视频去雾算法都是从通用视频的角度出发，没有利用特定场景的视频特征开展相应去雾算法的研究。本发明的方法针对交通视频，利用交通视频的时间关联性、图像车道特征、监控摄像头的空间位置等信息，大大提高了交通视频去雾的整体效率。

附图说明

图1是本发明的流程图。

具体实施方式

下面参照附图进一步说明本发明。

本发明所述的基于时空相关性的自适应交通视频实时去雾方法的主要步骤如图1所示。

步骤1、利用交通视频时间连续性，设立时间片，估算时间片初始帧的车道空间区域、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；在该段时间内其他图像帧的去雾还原过程中，采用初始帧计算获得的参数。

一般情况下，交通视频都由固定在道路上的监控摄像头拍摄，一段时间内的场景相对统一，所以在考虑时间连续性时，可以将一个时间片段内的交通视频作为一个整体进行分析。因此，我们通过设立时间片，直接利用时间片初始帧估算该时间片内所有视频帧的参数，包括该段视频的车道空间区域范围、雾霾影响标志值T、初始透射率校正值X和透射率分布情况。

步骤2、采用一种基于直线提取的交通视频图像车道空间分离算法，提取视频中的直线车道，确定一个有限的车道区域。

由于一般拍摄的交通视频都有包含车道隔离带或其他背景信息，而在进行交通视频检测时，车辆识别、跟踪或事件检测主要的感兴趣区域都为车道部分，因此，可以利用车道的直线特征分离出车道空间，单独对车道进行去雾处理，减小待处理的图像，从而加速去雾。

提取交通视频图像车道空间的具体步骤如下：

Step1：通过边缘检测，获取视频图像中的边缘信息；

Step2：利用Hough直线拟合，筛选掉角度明显有误的直线，获得候选的车道边界；

Step3：找到候选车道边界中最左侧和最右侧的直线，设定为车道边界，并且找到车道边界的交点；

Step4：由车道边界的交点及图像边界获得一个矩形规则车道区域，若交点在图像的范围外，则默认车道空间为整个图像空间。

步骤3、采用一种基于四叉树细分的层次搜索方法进行大气光强估计，通过从原图像中找到雾霾干扰最小的区域，获取其中最亮的像素值作为大气光强。

图像去雾方法的实现以求解雾天成像模型(1)为基础

I(p)＝J(p)t(p)+A(1-t(p))          (1)

其中，p表示图像中的某个像素点：I(p)表示全部反射光线经过衰减后最终达到成像设备时的光线强度，即生成的带雾图像；t(p)表示达到成像设备且没有被散射的那部分光线的传播率，即光线穿透雾霾的能力参数，可称为透射率且t(p)∈[0,1]。J(p)表示景物目标直接反射的光强，即需要恢复的真实无雾图像；A描述的是观测者视线方向无穷远处的光照强度，可表示为全局的大气光强。因此，要求解模型(1)获取真实图像J(p)，需要首先获得大气光强A及透射率分布t(p)。

本步骤进行大气光强估计，具体操作如下：

Step1：将图像均匀分成四个区域；

Step2：每个区域赋予一个权值S。权值S为该区域的像素均值与像素值标准差的差值。

Step3：选择权值最大的区域作为下一个待处理的子图像。

Step4：重复操作Step1～Step3，直至子图像的大小小于一个预先设定的阈值，可以设定为子图像长*宽小于200像素。

在最后获取的区域中，找到像素I(p)，使||(Ir(p),Ig(p),Ib(P))‐(255,255,255)||最小，令该像素值为大气光强值。

步骤4、根据交通监控摄像头的空间分布情况，划分空间范围，每一个空间范围都设定一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头。

随着交通网络布局的日益复杂，交通监控系统设置的数量也逐渐增加，很多时候同一路段有多个监控摄像头，甚至同一路段的不同车道也有专门的监控装置。这些摄像头拍摄的交通视频在物理上处于同一个场景空间，而且同一地区的摄像头其硬件指标通常情况下都是相同的。而天气情况也是一种具有空间区域特征的指标，比如在一定区域空间范围内的雾霾浓度都是类似的。对于完整的交通视频处理系统，系统内会接入多路摄像头数据，很多分布于同一空间区域的摄像头拍摄出的视频图像质量相近，因此，可以利用摄像头的空间区域分布特性加速多路摄像头的去雾处理速度，实现整个交通视频处理系统的性能优化。

我们将空间距离相近的摄像头划分为统一区域，取其中的一个摄像头为标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头。因此，如果判定该摄像头不是标定摄像头，则可根据系统中已近获取该区域标定摄像头的相关参数，直接进行该摄像头透射率分布估算及优化。

步骤5、采用自适应透射率估计方法，在获取雾霾影响标志值T及恒定的初始透射率校正值X后计算初始透射率。然后在图像对比度评价值及图像信息丢失情况之间寻找平衡点，在以初始透射率为起始值的固定范围内使代价函数E最小，从而获得每个图像块的最优透射率值的透射率分布。最后，采用导向滤波对块状的透射率分布进行优化。

(a)获取雾霾影响标志值

本发明引入图像雾霾影响标志值T和初始透射率校正值X，通过原图像的性质估算出初始透射率值，从而在不同雾霾干扰程度下的图像能估算出适合的透射率值。最终，透射率初始值为T*X。

图像雾霾影响标志值T基于暗通道先验假设，即对于清晰的户外无雾图像，在没有天空的大多数区域中，总是存在这样一些像素，它们至少一个颜色通道具有很低的像素值，也就是说，这些像素的最小值趋近于零。对于任意的输入图像J，其暗通道的表达式为：

$J^{\mathrm{dark}}\left(p\right)=\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c\∈\{r,g,b\}}{\min }{J}_c\left(y\right)\right)---\left(2\right)$

上式中下标C表示彩色图像的R/G/B三个通道，Ω(p)表示以像素p为中心的一个窗口。而暗通道先验假设用数学公式的形式可以表示为J^dark→0。

雾天成像模型(1)可变形为：

$\frac{I_c\left(p\right)}{A_c}=t\left(p\right)\frac{J_c\left(p\right)}{A_c}+1-t\left(p\right)---\left(3\right)$

设每一个窗口内透射率t(x)为常数值为t～(x)，并且A值已经给定，对式(3)两边求两次最小值运算：

$\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)=\tilde{t}\left(p\right)\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)+1-\tilde{t}\left(p\right)---\left(4\right)$

根据暗通道先验理论有：

$J^{\mathrm{dark}}\left(p\right)=\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }{J}_c\left(y\right)\right)=0---\left(5\right)$

因此，可推导出：

$\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)=0---\left(6\right)$

把式(6)带入式(4)中，得到：

$\tilde{t}\left(p\right)=1-\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)---\left(7\right)$

这就是透射率的预估值。该值是一个暗通道图像块中的透射率值，最后计算所有图像块透射率的均值就可以得到整幅图像的透射率分布均值T。

(b)获取恒定的初始透射率校正值X

初始透射率校正值X综合考虑原图像中的对比度C和雾霾影响标志值T，根据T*C的取值范围可以分阶段确定一个恒定的X，如表1所示。

表1 分阶段初始透射率校正值的计算

T*C的范围	梯度恒定X
		T*C<10	0.5
10<＝T*C<15	0.6
		15<＝T*C<20	0.7
20<＝T*C<25	0.8
		25<＝T*C<30	0.9
T*C>＝30	1

初始透射率值为T*X，在后续步骤，进行透射率估计时，以T*X作为固定范围的起始值。

(c)同时考虑信息丢失和图像对比度增强的的透射率估计

自适应透射率估计方法根据透射率局部一致的假设，以32*32大小的子块为单位，设定同一子块内的透射率值一致。一般情况下，被雾霾影响的图像子块的对比度会降低，为了更好地达到去雾效果，需要增加图像子块的对比度，因此可以通过使还原后的图像块具备最大的对比度来获得最优的透射率估计值。图像对比度评估采用均方误差(Mean squared error，MSE)对比度C_MSE，其数学表达式如下：

$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}\frac{{(J_c\left(p\right)-\stackrel{\‾}{J_c})}^2}{N}---\left(8\right)$

其中J_c表示每一个色彩通道的图像块，c∈{r,g,b}；是图像块像素的均值，N是图像块的像素总数。

将公式(8)代入公式(1)，并变形可得：

$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}\frac{{(I_c\left(p\right)-\stackrel{\‾}{I_c})}^2}{t^{2}N}---\left(9\right)$

在上式中，就是输入的原图像块的像素均值。

均方误差对比度C_MSE随着t值的增加而递减，即还原后的图像对比度会随着透射率估计值的减小而增强。因此，为了使还原后的图像块具有更高的对比度，透射率t要取尽量小的值。但是，t的取值会影响到计算出的还原图像的像素值，如果还原后的像素值在[0,255]的区间范围外，则会产生信息丢失，影响图像的还原质量。根据公式(1)的属性，为了避免图像信息丢失，使更大范围内的输入像素值可以被有效还原，需要取较大的t值。因此，本发明引入了对比度评价值E_contrast和信息丢失评价值E_loss，并将以上两个评价值整合成一个代价值E，使E值最小的t^*就是每一个图像块最优的透射率值。

$E_{\mathrm{contrast}}=-\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\underset{p\∈B}{\mathrm{\Σ}}\frac{(J_c\left(p\right)-\stackrel{\‾}{J_c})}{N_B}=-\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\underset{p\∈B}{\mathrm{\Σ}}\frac{(I_c\left(p\right)-\stackrel{\‾}{I_c})}{N_B}---\left(10\right)$

$E_{\mathrm{loss}}=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\underset{p\∈B}{\mathrm{\Σ}}\{{\left(\min \right\{0,J_c\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_c\left(p\right)\left\}\right)}^2\}---\left(11\right)$

E＝E_contrast+λ_LE_loss

                     (12)

上式中，和分别是还原图像和原图像中对应块B的像素值均值，N_B是图像块B的像素数量；min{0,J_c(p)}和max{0,J_c(p)-255}分别表示超过区间[0,255]的像素值之和；λ_L用来调节对比度评价值和信息丢失评价值的重要度，即平衡对比度和信息丢失的情况。

根据以上的公式，以初始透射率值为起始值在一个区间范围内寻找最优的透射率值t^*使E最小化，该t^*值就是每一个图像块最优的透射率值。

(d)基于导向滤波的透射率分布优化

由于之前的算法中假设图像块内的透射率局部一致，所以透射率估计都是以图像块的形式进行操作，所获得的透射率分布图也存在明显的块状结构，从而导致还原后的图像存在块状的锯齿边缘。因此，本发明采用基于导向滤波的方法优化存在块状结构的透射率分布图。

导向滤波的基本公式如下：

$\hat{t}\left(q\right)=s^{T}I\left(q\right)+\mathrm{\ψ}---\left(13\right)$

其中，是滤波后的透射率，I(q)是导向图，我们用待去雾的图像作为导向图；s^T＝(s_r,s_g,s_b)^T是缩放向量，ψ是偏移量。

计算透射率时设定一个尺寸为41*41的窗口，对于一个窗口W，通过最小二乘法，使块状透射率值t^*和滤波后的透射率之间的差别最小，这样就能获得一个最佳的s^*和ψ^*值。

$(s^{*},{\mathrm{\ψ}}^{*})=\underset{t}{\arg \min }(s,\mathrm{\ψ})\underset{q\∈W}{\mathrm{\Σ}}{(t\left(q\right)-\hat{t}\left(q\right))}^2---\left(14\right)$

当透射率较小时，会增强还原后的图像的噪音，因此，实现算法时可以将透射率值的最小下限定为0.1。

步骤6、利用上述步骤求得的大气光强和透射率分布值，对车道空间区域部分的原图像像素值在模型(1)下求解，还原出车道部分的无雾图像。

已求出大气光强、透射率值后，通过求解模型(1)可以获得还原出去雾后的图像；并采用伽马校正方法对还原后的图像进行灰度校正，避免还原后的图像出现比原图像更深的值。在图像还原过程中，只需要对车道空间区域部分的像素进行还原计算。为了有很好的视觉效果，可以完整还原时间片初始帧，将该帧的背景替换到后续帧中，从而避免有明显的车道区域分界线。

Claims (1)

1.基于时空相关性的自适应交通视频实时去雾方法，包括如下步骤：

步骤1、利用交通视频时间连续性，设立时间片，估算时间片初始帧的车道空间区域、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；在该段时间内其他图像帧的去雾还原过程中，采用初始帧计算获得的参数；

一般情况下，交通视频都由固定在道路上的监控摄像头拍摄，一段时间内的场景相对统一，所以在考虑时间连续性时，可以将一个时间片段内的交通视频作为一个整体进行分析；因此，通过设立时间片，直接利用时间片初始帧估算该时间片内所有视频帧的参数，包括该段视频的车道空间区域范围、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；

步骤2、采用一种基于直线提取的交通视频图像车道空间分离算法，提取视频中的直线车道，确定一个有限的车道区域；

由于一般拍摄的交通视频都有包含车道隔离带或其他背景信息，而在进行交通视频检测时，车辆识别、跟踪或事件检测主要的感兴趣区域都为车道部分，因此，可以利用车道的直线特征分离出车道空间，单独对车道进行去雾处理，减小待处理的图像，从而加速去雾；

提取交通视频图像车道空间的具体步骤如下：

Step21：通过边缘检测，获取视频图像中的边缘信息；

Step22：利用Hough直线拟合，筛选掉角度明显有误的直线，获得候选的车道边界；

Step23：找到候选车道边界中最左侧和最右侧的直线，设定为车道边界，并且找到车道边界的交点；

Step24：由车道边界的交点及图像边界获得一个矩形规则车道区域，若交点在图像的范围外，则默认车道空间为整个图像空间；

步骤3、采用一种基于四叉树细分的层次搜索方法进行大气光强估计，通过从原图像中找到雾霾干扰最小的区域，获取其中最亮的像素值作为大气光强；

图像去雾方法的实现以求解雾天成像模型(1)为基础

I(p)＝J(p)t(p)+A(1-t(p))   (1)

其中，p表示图像中的某个像素点：I(p)表示全部反射光线经过衰减后最终达到成像设备时的光线强度，即生成的带雾图像；t(p)表示达到成像设备且没有被散射的那部分光线的传播率，即光线穿透雾霾的能力参数，可称为透射率且t(p)∈[0,1]；J(p)表示景物目标直接反射的光强，即需要恢复的真实无雾图像；A描述的是观测者视线方向无穷远处的光照强度，可表示为全局的大气光强；因此，要求解模型(1)获取真实图像J(p)，需要首先获得大气光强A及透射率分布t(p)；

本步骤进行大气光强估计，具体操作如下：

Step31：将图像均匀分成四个区域；

Step32：每个区域赋予一个权值S；权值S为该区域的像素均值与像素值标准差的差值；

Step33：选择权值最大的区域作为下一个待处理的子图像；Step4：重复操作Step1～Step3，直至子图像的大小小于一个预先设定的阈值，可以设定为子图像长*宽小于200像素；

在最后获取的区域中，找到像素I(p)，使||(Ir(p),Ig(p),Ib(P))‐(255,255,255)||最小，其中Ir(p)、Ig(p)、Ib(P)分别是像素I(p)的R、G、B分量，令该像素值为大气光强值；

步骤4、根据交通监控摄像头的空间分布情况，划分空间范围，每一个空间范围都设定一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头；

随着交通网络布局的日益复杂，交通监控系统设置的数量也逐渐增加，很多时候同一路段有多个监控摄像头，甚至同一路段的不同车道也有专门的监控装置；这些摄像头拍摄的交通视频在物理上处于同一个场景空间，而且同一地区的摄像头其硬件指标通常情况下都是相同的；而天气情况也是一种具有空间区域特征的指标，比如在一定区域空间范围内的雾霾浓度都是类似的；对于完整的交通视频处理系统，系统内会接入多路摄像头数据，很多分布于同一空间区域的摄像头拍摄出的视频图像质量相近，因此，可以利用摄像头的空间区域分布特性加速多路摄像头的去雾处理速度，实现整个交通视频处理系统的性能优化；

将空间距离相近的摄像头划分为统一区域，取其中的一个摄像头为标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头；因此，如果判定该摄像头不是标定摄像头，则可根据系统中已近获取该区域标定摄像头的相关参数，直接进行该摄像头透射率分布估算及优化；

步骤5、采用自适应透射率估计方法，在获取雾霾影响标志值T及恒定的初始透射率校正值X后计算初始透射率；然后在图像对比度评价值及图像信息丢失情况之间寻找平衡点，在以初始透射率为起始值的固定范围内使代价函数E最小，从而获得每个图像块的最优透射率值的透射率分布；最后，采用导向滤波对块状的透射率分布进行优化；

(a)获取雾霾影响标志值

本发明引入图像雾霾影响标志值T和初始透射率校正值X，通过原图像的性质估算出初始透射率值，从而在不同雾霾干扰程度下的图像能估算出适合的透射率值；最终，透射率初始值为T*X；

图像雾霾影响标志值T基于暗通道先验假设，即对于清晰的户外无雾图像，在没有天空的大多数区域中，总是存在这样一些像素，它们至少一个颜色通道具有很低的像素值，也就是说，这些像素的最小值趋近于零；对于任意的输入图像J，其暗通道的表达式为：

$J^{\mathrm{dark}}\left(p\right)=\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c\∈\{r,g,b\}}{\min }{J}_c\left(y\right)\right)---\left(2\right)$

上式中J^dark(p)表示像素p的暗通道值，J_c(y)表示输入图像中y像素的值，下标C表示彩色图像的R/G/B三个通道，Ω(p)表示以像素p为中心的一个窗口，y表示以p为中心的窗口内的像素；而暗通道先验假设用数学公式的形式可以表示为J^dark→0；

雾天成像模型(1)可变形为：

$\frac{I_c\left(p\right)}{A_c}=t\left(p\right)\frac{J_c\left(p\right)}{A_c}+1-t\left(p\right)---\left(3\right)$

其中下标C表示彩色图像的R/G/B三个通道，I_c(p)表示带雾图像R/G/B通道中像素p的值，J_c(p)表示无雾图像R/G/B通道中像素p的值；t(p)为像素p的透射率值；A_c为R/G/B通道中的大气光强估计值；

设每一个窗口内透射率t(x)为常数值为t～(x)，并且大气光强A_c值已经给定，对式(3)两边求两次最小值运算：

$\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)=\tilde{t}\left(p\right)\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)+1-\tilde{t}\left(p\right)---\left(4\right)$

根据暗通道先验理论有：

$J^{\mathrm{dark}}\left(p\right)=\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }{J}_c\left(y\right)\right)=0---\left(5\right)$

因此，可推导出：

$\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)=0---\left(6\right)$

把式(6)带入式(4)中，得到：

$\tilde{t}\left(p\right)=1-\underset{y\∈\mathrm{\Ω}\left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)---\left(7\right)$

这就是透射率t～(p)的预估值；该值是一个暗通道图像块中的透射率值，最后计算所有图像块透射率的均值就可以得到整幅图像的透射率分布均值T；

(b)获取恒定的初始透射率校正值X

初始透射率校正值X综合考虑原图像中的对比度C和雾霾影响标志值T，根据T*C的取值范围可以分阶段确定一个恒定的X，如表1所示；

表1 分阶段初始透射率校正值的计算

T*C的范围 梯度恒定X T*C<10 0.5 10<＝T*C<15 0.6 15<＝T*C<20 0.7 20<＝T*C<25 0.8 25<＝T*C<30 0.9 T*C>＝30 1

初始透射率值为T*X，在后续步骤，进行透射率估计时，以T*X作为固定范围的起始值；

(c)同时考虑信息丢失和图像对比度增强的的透射率估计

自适应透射率估计方法根据透射率局部一致的假设，以32*32大小的子块为单位，设定同一子块内的透射率值一致；一般情况下，被雾霾影响的图像子块的对比度会降低，为了更好地达到去雾效果，需要增加图像子块的对比度，因此可以通过使还原后的图像块具备最大的对比度来获得最优的透射率估计值；图像对比度评估采用均方误差(Mean squared error，MSE)对比度C_MSE，其数学表达式如下：

$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{{(J_c\left(p\right)-\stackrel{\&OverBar;}{J_c})}^2}{N}---\left(8\right)$ 其中J_c表示每一个色彩通道的图像块，c∈{r,g,b}；是图像块像素的均值，N是图像块的像素总数；

将公式(8)代入公式(1)，并变形可得：

$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{{(I_c\left(p\right)-\stackrel{\&OverBar;}{I_c})}^2}{t^{2}N}---\left(9\right)$

在上式中，就是输入的原图像块的像素均值；

均方误差对比度C_MSE随着t值的增加而递减，即还原后的图像对比度会随着透射率估计值的减小而增强；因此，为了使还原后的图像块具有更高的对比度，透射率t要取尽量小的值；但是，t的取值会影响到计算出的还原图像的像素值，如果还原后的像素值在[0,255]的区间范围外，则会产生信息丢失，影响图像的还原质量；根据公式(1)的属性，为了避免图像信息丢失，使更大范围内的输入像素值可以被有效还原，需要取较大的t值；因此，本发明引入了对比度评价值E_contrast和信息丢失评价值E_loss，并将以上两个评价值整合成一个代价值E，使E值最小的t^*就是每一个图像块最优的透射率值；

$E_{\mathrm{contrast}}=-\underset{c\&Element;\{r,g,b\}}{\mathrm{\&Sigma;}}\underset{p\&Element;B}{\mathrm{\&Sigma;}}\frac{(J_c\left(p\right)-\stackrel{\&OverBar;}{J_c})}{N_B}=-\underset{c\&Element;\{r,g,b\}}{\mathrm{\&Sigma;}}\underset{p\&Element;B}{\mathrm{\&Sigma;}}\frac{(I_c\left(p\right)-\stackrel{\&OverBar;}{I_c})}{N_B}---\left(10\right)$

$E_{\mathrm{loss}}=\underset{c\&Element;\{r,g,b\}}{\mathrm{\&Sigma;}}\underset{p\&Element;B}{\mathrm{\&Sigma;}}\{{\left(\min \right\{0,J_c\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_c\left(p\right)\left\}\right)}^2\}---\left(11\right)$

E＝E_contrast+λ_LE_loss

(12)

上式中，和分别是还原图像和原图像中对应块B的像素值均值，N_B是图像块B的像素数量；min{0,J_c(p)}和max{0,J_c(p)-255}分别表示超过区间[0,255]的像素值之和；λ_L用来调节对比度评价值和信息丢失评价值的重要度，即平衡对比度和信息丢失的情况；

根据以上的公式，以初始透射率值为起始值在一个区间范围内寻找最优的透射率值t^*使E最小化，该t^*值就是每一个图像块最优的透射率值；

(d)基于导向滤波的透射率分布优化

由于之前的算法中假设图像块内的透射率局部一致，所以透射率估计都是以图像块的形式进行操作，所获得的透射率分布图也存在明显的块状结构，从而导致还原后的图像存在块状的锯齿边缘；因此，本发明采用基于导向滤波的方法优化存在块状结构的透射率分布图；

导向滤波的基本公式如下：

$\hat{t}\left(q\right)=s^{T}I\left(q\right)+\mathrm{\&psi;}---\left(13\right)$

其中，是滤波后的透射率，I(q)是导向图，我们用待去雾的图像作为导向图；s^T＝(s_r,s_g,s_b)^T是缩放向量，ψ是偏移量；

计算透射率时设定一个尺寸为41*41的窗口，对于一个窗口W，通过最小二乘法，使块状透射率值t^*和滤波后的透射率之间的差别最小，这样就能获得一个最佳的缩放向量s^*和一个最佳的偏移量ψ^*值；

$(s^{*},{\mathrm{\&psi;}}^{*})=\underset{t}{\arg \min }(s,\mathrm{\&psi;})\underset{q\&Element;W}{\mathrm{\&Sigma;}}{(t\left(q\right)-\hat{t}\left(q\right))}^2---\left(14\right)$

当透射率较小时，会增强还原后的图像的噪音，因此，实现算法时可以将透射率值的最小下限定为0.1；

步骤6、利用上述步骤求得的大气光强和透射率分布值，对车道空间区域部分的原图像像素值在模型(1)下求解，还原出车道部分的无雾图像；

已求出大气光强、透射率值后，通过求解模型(1)可以获得还原出去雾后的图像；并采用伽马校正方法对还原后的图像进行灰度校正，避免还原后的图像出现比原图像更深的值；在图像还原过程中，只需要对车道空间区域部分的像素进行还原计算；为了有很好的视觉效果，可以完整还原时间片初始帧，将该帧的背景替换到后续帧中，从而避免有明显的车道区域分界线。