CN106780362A - 基于双色反射模型与双边滤波的道路视频去雾方法 - Google Patents

Abstract

基于双色反射模型与双边滤波的道路视频去雾方法，涉及图像处理领域，具体涉及一种视频去雾方法。本发明首先针对道路的视频确定视频中的图像是否处于有雾状态；并针对视频中有雾状态的图像，采用物理去雾模型，确定需要的参数；然后针对视频中有雾状态的图像，结合双色反射模型与双边滤波找到雾的位置，从而估计全球大气光成分A以及透射率t(x)；将透射率的范围限制为min(t(x),0.1)；根据透射率的范围限制得到恢复的无雾图像的像素。本发明用于视频或图像的去雾。

Description

基于双色反射模型与双边滤波的道路视频去雾方法

技术领域

本发明涉及图像处理领域，具体涉及一种视频去雾方法。

背景技术

目前许多学者对视频去雾展开了研究，并提出了相关去雾算法，这些方法主要分为两类：一类是基于图像处理的图像增强方法，另一类是基于物理模型(主要是大气散射模型)的图像复原方法。经典的雾天图像增强方法主要包括直方图均衡化、同态滤波、小波变换、Retinex算法。而雾天图像复原方法则主要是研究雾天图像退化的物理机制，建立雾天退化模型、反演退化过程以获得未经干扰退化的无雾图像或无雾图像的最优估计值。复原方法通常是利用不同散射光的偏振特性，交互式景深估计，或利用多幅不同天气状况下的同一场景图像，这些方法均取得了较好的效果。近年来，针对单幅图像的去雾取得了较大进展。这方面的早期工作是由Fattal完成的，随后又有许多研究者提出了各自的单幅图像去雾方法。如Tan利用最大化复原图像的局部对比度来达到去雾的目的。He等人提出的基于暗原色原理的去雾方法建立在暗原色先验知识上，通过精细化抠图处理以达到很好的去雾效果。Tarel提出的基于快速中值滤波的去雾方法利用中值滤波的变形形式估计大气耗散函数，在此基础上结合大气散射模型复原图像视觉效果。上述这些工作或是从物理成因，或是从经验统计的角度，利用相关先验知识以达到有效去雾的目的。当前这些算法仍有写局限性，其中之一是去雾后的图片比较模糊，导致峰值信噪比比较低，同时去雾算法所用的时间比较长，基本都在4s左右(图片大小为445*500)，所以实时性比较差。而本发明的去雾算法，去雾后的图片清晰，峰值信噪比较高，同时算法所需时间均在3s左右。所以本算法克服了已有算法的缺点。

发明内容

本发明为了解决利用现有的图像去雾方法进行去雾后存在图片比较模糊的问题。

基于双色反射模型与双边滤波的道路视频去雾方法，包括以下步骤：

步骤1、针对道路的视频，确定视频中的图像是否处于有雾状态；

步骤2、针对视频中有雾状态的图像，采用物理去雾模型，确定需要的参数；

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)表示需要进行去雾处理的有雾图像的像素；J(x)表示恢复的无雾图像的像素；t(x)为透射率；A为全球大气光成分；

步骤3、针对视频中有雾状态的图像，结合双色反射模型与双边滤波找到雾的位置，从而估计全球大气光成分A以及透射率t(x)；

步骤4、将透射率的范围限制为min(t(x),0.1)；

根据透射率的范围限制min(t(x),0.1)得到恢复的无雾图像的像素

优选地，步骤1所述的确定视频中的图像是否处于有雾状态的过程包括以下步骤：

步骤1.1、将视频分为一帧帧连续的图像，然后将图象映射到HSV颜色空间上，HSV表示的是色调、饱和度和明度；

步骤1.2、统计每帧图像V和S的差值大于0的像素个数占图像总像素的百分比；当所述的百分比大于阈值，说明图像中存在雾；反之图像中不存在雾；

其中阈值为0.1，V和S的公式如下：

V＝max(r,g,b)

其中，r、g、b分别表示图像处理领域中的红、绿、蓝通道；max(·)表示最大值，min(·)表示最小值。

优选地，步骤3的具体过程包括以下步骤：

双色反射模型的公式如下：

其中，I_c为需要进行去雾处理的有雾彩色图像；为彩色漫反射图像；I^S为镜面反射图像，对应雾气部分的图像；σ_c为色度；I_c ^D为r、g和b三通道对应的漫反射图像；

Λc为漫反射色度；Λ_max是漫反射色度在r,g,b三个通道上的最大值，用近似漫反射色度λ_c在r,g,b三个通道上的最大值λ_max来估计漫发射色度在r,g,b三个通道上的最大值Λ_max；

根据如下公式得到镜面反射图像I^S：

其中，σ_min为σ_c在r,g,b三个通道上的最大值；I^S(x)表示I^S的像素；

将镜面反射图像I^S作为雾图，利用双色反射模型找到雾的位置，然后通过双边滤波滤波器去除雾图噪声得到准确的雾图；按照亮度的大小排，取前20个亮度值作为全球大气光成分A的估计值；

t₁(x)＝(maxI^S(x)-minI^S(x))(A-I^S(x))

t₂(x)＝(maxI^S(x)-minI^S(x))A-(I^S(x)-minI^S(x))I^S(x)

然后通过以上的公式得到透射率t(x)。

优选地，步骤3所述的通过双边滤波滤波器去除噪声的过程中双边滤波滤波器g(i,j)如下：

i,j,k,l分别表示图像中两个相邻像素的坐标，其中(i，j)、(k，l)为对应像素的坐标；权重系数w(i,j,k,l)取决于定义域核和值域核的乘积f(k，l)表示要滤波的图像存在噪声的雾图上的每个像素的像素值，f(i，j)表示与f(k，l)每个像素点相邻的像素值；定义域方差记为σ_d，值域方差记为σ_r。

本发明具有以下有益效果：

本发明所述的基于双色反射模型与双边滤波的道路视频去雾方法去雾较好，相比现有的视频去雾方法，去雾效果能提高15％以上，并且本发明的峰值信噪比均高于其他方法。同时相比现有的视频去雾方法，本发明的去雾速度快，针对同一幅图片的去雾时间本发明能够缩短7％以上的时间。

附图说明

图1为针对于田野有雾图像的原图；

图2为针对田野有雾图像的双色反射模型得到的雾图(圈内的黑点表示噪声)；

图3为针对田野有雾图像的双色反射模型雾图的双边滤波去掉噪声的图像；

图4为双边滤波去掉噪声后图像的透射率图；

图5为针对田野有雾图像的全球大气光图；

图6为针对田野有雾图像的去雾后图像；

图7为针对于街道有雾图像的原图；

图8为针对于街道有雾图像的双色反射模型得到的雾图(圈内的黑点表示噪声)；

图9为针对于街道有雾图像的双色反射模型雾图的双边滤波去掉噪声的图像；

图10为双边滤波去掉噪声后图像的透射率图；

图11为针对于街道有雾图像的全球大气光图；

图12为针对于街道有雾图像的去雾后图像。

具体实施方式

具体实施方式一：

基于双色反射模型与双边滤波的道路视频去雾方法，包括以下步骤：

步骤1、针对道路的视频，确定视频中的图像是否处于有雾状态；

步骤2、针对视频中有雾状态的图像，采用物理去雾模型，确定需要的参数；

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)表示需要进行去雾处理的有雾图像的像素；J(x)表示恢复的无雾图像的像素；t(x)为透射率；A为全球大气光成分；现在的已知条件就是I(x)，要求目标值J(x)；显然，这是个有无数解的方程，因此，需要估计的参数有t(x)和A，从而得到唯一解；

步骤3、针对视频中有雾状态的图像，结合双色反射模型与双边滤波找到雾的位置，从而估计全球大气光成分A以及透射率t(x)；

步骤4、为了减少因为透射率不准确，而造成图像出现噪声，影像图像质量，需要限制透射率t(x)的取值范围；所以将透射率的范围限制为min(t(x),0.1)；

根据透射率的范围限制min(t(x),0.1)得到恢复的无雾图像的像素

具体实施方式二：

本实施方式的步骤1所述的确定视频中的图像是否处于有雾状态的过程包括以下步骤：

步骤1.1、将视频分为一帧帧连续的图像，然后将图象映射到HSV颜色空间上，HSV表示的是色调、饱和度和明度；雾的本身颜色是白色，如果图像中存在雾，会造成图像饱和度减小，而明亮度增加；如果图像中不存在雾，则图像中的饱和度较大，而明亮度较小；根据以上雾的特性，可以检测出图像中是否有雾，从而进一步去雾；

步骤1.2、统计每帧图像V和S的差值大于0的像素个数占图像总像素的百分比；当所述的百分比大于阈值，说明图像中存在雾；反之图像中不存在雾；

其中阈值为0.1，V和S的公式如下：

V＝max(r,g,b)

其中，r、g、b分别表示图像处理领域中的红、绿、蓝通道；max(·)表示最大值，min(·)表示最小值。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：

本实施方式的步骤3的具体过程包括以下步骤：

双色反射模型的公式如下：

其中，I_c为需要进行去雾处理的有雾彩色图像；为彩色漫反射图像；I^S为镜面反射图像，对应雾气部分的图像；σ_c为色度，与像素的颜色相关；I_c ^D为r、g和b三通道对应的漫反射图像；

Λc为漫反射色度；Λ_max是漫反射色度在r,g,b三个通道上的最大值，即Λ_max＝maxΛc，因为无法得到漫反射色度，所以需要用近似漫反射色度λ_c在r,g,b三个通道上的最大值λ_max来估计漫发射色度在r,g,b三个通道上的最大值Λ_max；

根据如下公式得到镜面反射图像I^S：

其中，σ_min为σ_c在r,g,b三个通道上的最大值；I^S(x)表示I^S的像素；

因为雾是白色的，连续的，因为雾的存在，会造成景物失真颜色变浅，而镜面反射也具有以上同样的特性；所以镜面反射也可以近似看成是白色的反射光，因此将镜面反射图像I^S作为雾图，去雾算法可以根据去镜面反射模型(双色反射模型)去除图像中的雾；

当利用双色反射模型找到雾的位置，此时得到的雾图会存在一些噪声，如果不去除噪声直接计算A和t(x)，会导致最后去雾效果较差，所以先用双色反射模型得到有噪声的雾图，然后通过双边滤波滤波器去除雾图噪声得到准确的雾图，准确的雾图就是经过双边滤波去噪后的I^S(x)；按照亮度的大小排，取前20个亮度值作为全球大气光成分A的估计值；

t₁(x)＝(maxI^S(x)-minI^S(x))(A-I^S(x))

t₂(x)＝(maxI^S(x)-minI^S(x))A-(I^S(x)-minI^S(x))I^S(x)

然后通过以上的公式得到透射率t(x)。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式步骤3所述的通过双边滤波滤波器去除噪声的过程中所述双边滤波滤波器如下：

双边滤波(Bilateral filter)滤波器是一种可以保边去噪的滤波器；之所以可以达到此去噪效果，是因为滤波器是由两个函数构成；一个函数是由几何空间距离决定滤波器系数；另一个由像素差值决定滤波器系数；

双边滤波滤波器g(i,j)如下：

i,j,k,l分别表示图像中两个相邻像素的坐标，其中(i，j)、(k，l)为对应像素的坐标；权重系数w(i,j,k,l)取决于定义域核和值域核的乘积f(k，l)表示要滤波的图像存在噪声的雾图上的每个像素的像素值，f(i，j)表示与f(k，l)每个像素点相邻的像素值；定义域方差记为σ_d，值域方差记为σ_r。

其它步骤及参数与具体实施方式三相同。

实施例

本发明适用于视频的去雾。针对道路交通去雾时，能够帮助实现自主驾驶；因为雨雾的天气，会造成图像不清晰，从而影响图像识别以及目标的匹配，这样自主驾驶的汽车，在雨雾天气很难及时躲避障碍物车辆以及行人，所以本发明能够帮助汽车主动驾驶；以及图像识别、图像增加等领域均可以在恶劣的雾天条件下，通过本发明得到清晰的图像。

本发明的去雾方法，首先需要确定视频中是否存在雾。其方法在于将视频通过matlab分解成一帧帧的图像，然后将图像映射到HSV颜色空间上，统计每帧图像V和S的差值大于0的像素个数占图像总像素的百分比；当所述的百分比大于阈值，说明图像中存在雾；反之则不需要。

然后，针对视频中有雾状态的图像，通过双色反射模型找到雾的位置，从而估计全球大气光成分A以及透射率t(x)；将透射率的范围限制为min(t(x),0.1)；根据透射率的范围限制min(t(x),0.1)得到恢复的无雾图像的像素从而实现了视频去雾的功能。

以图1-图12为例展示本发明的去雾效果。

图1-图6为针对田野有雾图像的去雾过程；其中，图1为针对于田野有雾图像的原图，图2为针对田野有雾图像的双色反射模型得到的雾图(圈内的黑点表示噪声)，图3为针对田野有雾图像的双色反射模型雾图的双边滤波去掉噪声的图像，图4为双边滤波去掉噪声后图像的透射率图，图5为针对田野有雾图像的全球大气光图(图上方的黑色标记)，图6为针对田野有雾图像的去雾后图像。

图7-图12为针对于街道有雾图像的去雾过程；其中，图7为针对于街道有雾图像的原图，图8为针对于街道有雾图像的双色反射模型得到的雾图(圈内的黑点表示噪声)，图9为针对于街道有雾图像的双色反射模型雾图的双边滤波去掉噪声的图像，图10为双边滤波去掉噪声后图像的透射率图，图11为针对于街道有雾图像的全球大气光图(图中方的黑色标记)，图12为针对于街道有雾图像的去雾后图像。

经过图1和图6的比对，以及图7和图12的对比明显可以看到本发明的去雾效果十分明显。经过与多种现有的视频去雾方法进行去雾效果比对分析，本发明的去雾效果能提高15％以上，并且本发明的峰值信噪比均高于其他方法。同时相比现有的视频去雾方法，本发明的去雾速度快，针对同一幅图片的去雾时间本发明能够缩短7％以上的时间。

Claims (4)

1.基于双色反射模型与双边滤波的道路视频去雾方法，其特征在于，包括以下步骤：

步骤1、针对道路的视频，确定视频中的图像是否处于有雾状态；

步骤2、针对视频中有雾状态的图像，采用物理去雾模型，确定需要的参数；

I(x)＝J(x)t(x)+A(1-t(x))

$J\left(x\right)=\frac{I\left(x\right)-A}{t\left(x\right)}+A$

其中，I(x)表示需要进行去雾处理的有雾图像的像素；J(x)表示恢复的无雾图像的像素；t(x)为透射率；A为全球大气光成分；

步骤3、针对视频中有雾状态的图像，结合双色反射模型与双边滤波找到雾的位置，从而估计全球大气光成分A以及透射率t(x)；

步骤4、将透射率的范围限制为min(t(x),0.1)；

根据透射率的范围限制min(t(x),0.1)得到恢复的无雾图像的像素

2.根据权利要求1所述的基于双色反射模型与双边滤波的道路视频去雾方法，其特征在于，步骤1所述的确定视频中的图像是否处于有雾状态的过程包括以下步骤：

步骤1.1、将视频分为一帧帧连续的图像，然后将图象映射到HSV颜色空间上，HSV表示的是色调、饱和度和明度；

步骤1.2、统计每帧图像V和S的差值大于0的像素个数占图像总像素的百分比；当所述的百分比大于阈值，说明图像中存在雾；反之图像中不存在雾；

其中阈值为0.1，V和S的公式如下：

V＝max(r,g,b)

其中，r、g、b分别表示图像处理领域中的红、绿、蓝通道；max(·)表示最大值，min(·)表示最小值。

3.根据权利要求1或2所述的基于双色反射模型与双边滤波的道路视频去雾方法，其特征在于，步骤3的具体过程包括以下步骤：

双色反射模型的公式如下：

$I_c=I_c^D+I^S$

${\mathrm{\σ}}_c=\frac{I_c}{\underset{c\∈\{r,g,b\}}{\Σ}{I}_c}$

$\mathrm{\Λ}c=\frac{{I_c}^D}{\underset{c\∈\{r,g,b\}}{\Σ}{I_c}^D}$

$I^S=\frac{{\max }_{c\∈\{r,g,b\}c}I-{\mathrm{\Λ}}_{max}{\mathrm{\Σ}}_{c\∈\{r,g,b\}}{I}_c}{1-3{\mathrm{\Λ}}_{max}}$

其中，I_c为需要进行去雾处理的有雾彩色图像；为彩色漫反射图像；I^S为镜面反射图像，对应雾气部分的图像；σ_c为色度；I_c ^D为r、g和b三通道对应的漫反射图像；

Λc为漫反射色度；Λ_max是漫反射色度在r,g,b三个通道上的最大值，用近似漫反射色度λ_c在r,g,b三个通道上的最大值λ_max来估计漫发射色度在r,g,b三个通道上的最大值Λ_max；

根据如下公式得到镜面反射图像I^S：

${\mathrm{\λ}}_c=\frac{{\mathrm{\σ}}_c-{\mathrm{\σ}}_{min}}{1-3{\mathrm{\σ}}_{\min }}$

${\mathrm{\λ}}_{max}=max(\frac{{\mathrm{\σ}}_r-{\mathrm{\σ}}_{min}}{1-3{\mathrm{\σ}}_{\min }},\frac{{\mathrm{\σ}}_g-{\mathrm{\σ}}_{min}}{1-3{\mathrm{\σ}}_{min}},\frac{{\mathrm{\σ}}_b-{\mathrm{\σ}}_{min}}{1-3{\mathrm{\σ}}_{\min }})$

$I^S\left(x\right)=\frac{{\max }_{c\∈\{r,g,b\}c}I-{\mathrm{\λ}}_{max}{\mathrm{\Σ}}_{c\∈\{r,g,b\}}{I}_c}{1-3{\mathrm{\λ}}_{max}}$

其中，σ_min为σ_c在r,g,b三个通道上的最大值；I^S(x)表示I^S的像素；

将镜面反射图像I^S作为雾图，利用双色反射模型找到雾的位置，然后通过双边滤波滤波器去除雾图噪声得到准确的雾图；按照亮度的大小排，取前20个亮度值作为全球大气光成分A的估计值；

t₁(x)＝(maxI^S(x)-minI^S(x))(A-I^S(x))

t₂(x)＝(maxI^S(x)-minI^S(x))A-(I^S(x)-minI^S(x))I^S(x)

$t\left(x\right)=\frac{t_1\left(x\right)}{t_2\left(x\right)}$

然后通过以上的公式得到透射率t(x)。

4.根据权利要求3所述的基于双色反射模型与双边滤波的道路视频去雾方法，其特征在于，步骤3所述的通过双边滤波滤波器去除噪声的过程中双边滤波滤波器g(i,j)如下：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)}$

i,j,k,l分别表示图像中两个相邻像素的坐标，其中(i，j)、(k，l)为对应像素的坐标；权重系数w(i,j,k,l)取决于定义域核和值域核的乘积f(k，l)表示要滤波的图像存在噪声的雾图上的每个像素的像素值，f(i，j)表示与f(k，l)每个像素点相邻的像素值；定义域方差记为σ_d，值域方差记为σ_r。