CN109903253B

CN109903253B - 一种基于景深先验的公路交通视频去雾算法

Info

Publication number: CN109903253B
Application number: CN201910150313.8A
Authority: CN
Inventors: 胡众义; 许明海; 肖磊
Original assignee: Wenzhou University
Current assignee: Wenzhou University
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2022-12-13
Anticipated expiration: 2039-02-28
Also published as: CN109903253A

Abstract

本发明公开了一种基于景深先验的公路交通视频去雾算法，具体包括以下步骤：S1、估计大气光传输图：首先将采集的图像分成若干矩形小块，估计每个区域的相对景深值，其范围是0到1，0为最远处，1为最近处，涉及公路交通技术领域。该基于景深先验的公路交通视频去雾算法，可实现通过分析雾天公路交通的特点，提出了公路景深先验来获取大气光传输图，并结合基于灰度直方图的天空分割法来估计大气光强度，同时通过对大量图像统计发现公路景深的变化规律，并利用该先验知识估计公路雾天图像景深，实现公路交通图像去雾，通过分析得出本发明算法的时间复杂度仅是图像像素数的线性函数，处理速度快。

Description

一种基于景深先验的公路交通视频去雾算法

技术领域

本发明涉及公路交通技术领域，具体为一种基于景深先验的公路交通视频去雾算法。

背景技术

视觉是人类获取图像信息的主要途径，人类通过眼睛直接或间接从观测系统采集到的客观世界中获得不同形式的反馈信息，图像处理已经与人类的活动息息相关，不论在日常生活中，还是在国防领域，图像质量都至关重要，在大雾的环境下，受大气散射影响，目标场景能见度降低，图像质量也随之下降，最终导致相关的图像处理系统的性能受到较大程度影响，严重情况下这类应用甚至无法正常运行，近年来，国内外研究机构及学者对雾天降质图像去雾处理问题越来越关注，提出或优化了许多图像去雾的算法，在雾天中水面和天空的颜色相似度较高，临界位置的处理更是其中重点和难点。

目前学者从模型复原和图像增强两个方面均有研究，在去雾的过程中，主要的核心问题是大气光强度值准确估计和图像景深值计算的方法，图像去雾是计算机视觉的热门研究领域之一，国内外研究机构及学者针对图像去雾的问题，提出许多算法，优化已有算法，由于公路交通天气状况动态性强，不确定因素相对较多，当前传统的去雾算法不能直接复制到公路交通场景中进行应用，本发明在已有成果基础上，分析雾天公路交通的特点，提出了公路景深先验来获取大气光传输图，并结合基于灰度直方图的天空分割法来估计大气光强度，本发明通过对大量图像统计发现公路景深的变化规律，并利用该先验知识估计公路雾天图像景深，实现公路交通图像去雾，通过分析得出本发明算法的时间复杂度仅是图像像素数的线性函数，处理速度快。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于景深先验的公路交通视频去雾算法，解决了传统的去雾算法不能直接复制到公路交通场景中进行应用，处理速度慢的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于景深先验的公路交通视频去雾算法，具体包括以下步骤：

S1、估计大气光传输图：首先将采集的图像分成若干矩形小块，估计每个区域的相对景深值，其范围是0到1，0为最远处，1为最近处，可从观察者到无穷远处的变化由1变化到0，相机焦距参数设置可控制变化的快慢，为提取相对景深，将图像从RGB颜色空间转换到YCbCr颜色空间，图像的亮度分量Y可以表示为Y＝k1R+k2G+k3B+C，将亮度分成若干15x15的小区域块，然后计算小区域块像素亮度的平均值，之后直接用经验公式计算粗略大气光传输图；

S2、大气光传输图细化：通过利用边缘保留的导向滤波器，对S1得到的粗略大气光传输图进行基于局部最优的大气光传输图改进，减轻块状现像，以增强图像的细节；

S3、基于灰度直方图的天空分割法估计大气光强度：首先将公路交通雾天彩色图像转换为灰度图，统计灰度图的每一个像素，生成灰度直方图，然后采用一个低通滤波器去除直方图毛刺，使灰度图像直方图曲线尽量平滑，峰谷位置更加明显，确定图像直方图的最大“峰值灰度积”点和该峰值点附近的两个谷值点，这两个谷值点之间对应像素的均值即为天空区域的亮度值，定义直方图“峰值灰度积”点为峰值点像素数量与对应灰度值的乘积,具体可以表示为：P＝N_p·I_g；

S4、大气光强度提取：首先经过雾天成像模型公式变换，得到大气光强度的计算公式，然后通过大气光强度计算公式分析雾天成像模型得出场景目标与拍摄点的距离为无穷大时，对应的大气光传输函数值无限接近0，可以将远处天空像素灰度值作为大气的光强度，为了减少估计可能带来的误差，只提取前文分割出天空前30％最亮部分像素的平均值作为大气光强度估计值；

S5、视频图像去雾：依据雾天成像模型公式可得到去雾公式，I₀(x)＝(I(x)-A_∞(1-t(x)))/t(x)，再经过去雾公式处理即可得到去雾后的视频图像。

优选的，所述步骤S1中的景深特征值并不是绝对意义上的景深值，而是一个相对量，它可以区分相邻区域的相对位置是靠近还是远离观察者，且步骤S1中的图像亮度分量Y计算公式中，k₁、k₂、k₃和C分别是常量0.257、0.564、0.098和16。

优选的，所述步骤S2中的导向滤波器可以实现图像的方向滤波，并且滤波的方向是可以任意的，可以通过局部的线性模型，使滤波结果图像边缘保持理想和平滑，通常情况下，一张600x400尺寸的大气光传输图优化只需要40ms，从而完全可以达到视频实时化的需求。

优选的，所述步骤S4和步骤S5中的雾天成像模型公式为I(x)＝I₀(x)t(x)+A_∞(1-t(x))。

(三)有益效果

本发明提供了一种基于景深先验的公路交通视频去雾算法。与现有技术相比具备以下有益效果：该基于景深先验的公路交通视频去雾算法，具体包括以下步骤：S1、估计大气光传输图：首先将采集的图像分成若干矩形小块，估计每个区域的相对景深值，其范围是0到1，0为最远处，1为最近处，可从观察者到无穷远处的变化由1变化到0，相机焦距参数设置可控制变化的快慢，为提取相对景深，S2、大气光传输图细化：通过利用边缘保留的导向滤波器，对S1得到的粗略大气光传输图进行基于局部最优的大气光传输图改进，减轻块状现像，以增强图像的细节，S3、基于灰度直方图的天空分割法估计大气光强度：首先将公路交通雾天彩色图像转换为灰度图，统计灰度图的每一个像素，生成灰度直方图，然后采用一个低通滤波器去除直方图毛刺，使灰度图像直方图曲线尽量平滑，峰谷位置更加明显，S4、大气光强度提取：首先经过雾天成像模型公式变换，得到大气光强度的计算公式，然后通过大气光强度计算公式分析雾天成像模型得出场景目标与拍摄点的距离为无穷大时，对应的大气光传输函数值无限接近0，可以将远处天空像素灰度值作为大气的光强度，S5、视频图像去雾：依据雾天成像模型公式可得到去雾公式，I₀(x)＝(I(x)-A_∞(1-t(x)))/t(x)再经过去雾公式处理即可得到去雾后的视频图像，可实现通过分析雾天公路交通的特点，提出了公路景深先验来获取大气光传输图，并结合基于灰度直方图的天空分割法来估计大气光强度，同时通过对大量图像统计发现公路景深的变化规律，并利用该先验知识估计公路雾天图像景深，实现公路交通图像去雾，通过分析得出本发明算法的时间复杂度仅是图像像素数的线性函数，处理速度快。

附图说明

图1为本发明公路交通雾天视频图像相对景深估计的框架图；

图2为本发明基于天空分割的大气光强度估计数值图；

图3为本发明算法处理时间对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明实施例提供一种技术方案：一种基于景深先验的公路交通视频去雾算法，具体包括以下步骤：

S1、估计大气光传输图：首先将采集的图像分成若干矩形小块，估计每个区域的相对景深值，其范围是0到1，0为最远处，1为最近处，可从观察者到无穷远处的变化由1变化到0，相机焦距参数设置可控制变化的快慢，为提取相对景深，将图像从RGB颜色空间转换到YCbCr颜色空间，图像的亮度分量Y可以表示为Y＝k₁R+k₂G+k₃B+C，将亮度分成若干15x15的小区域块，然后计算小区域块像素亮度的平均值，之后直接用经验公式计算粗略大气光传输图，t(x)＝1-D(x)-min(D(x))max(D(x))/max(D(x))-min(D(x))，其中Δ为修正后的相对景深图，t为粗略的大气光传输图；

S2、大气光传输图细化：通过利用边缘保留的导向滤波器，对S1得到的粗略大气光传输图进行基于局部最优的大气光传输图改进，减轻块状现像，以增强图像的细节，导向滤波是指定义一个普通的线性平移变换滤波器，将景深图D和亮度分量I^y作为导向图像输入，大气光传输估计值t为输出，导向滤波器的定义中，关键的假设是这个导向滤波器在导向图像Iy和滤波输出大气光传输图t之间是一个局部线性模型，本章假设t是Iy中以像素k为中心窗口w的线性转换；

本发明中，步骤S1中的景深特征值并不是绝对意义上的景深值，而是一个相对量，它可以区分相邻区域的相对位置是靠近还是远离观察者，且步骤S1中的图像亮度分量Y计算公式中，k₁、k₂、k₃和C分别是常量0.257、0.564、0.098和16，雾天公路景深先验是基于对雾天交通视频和图像观察后的结果，即：交通雾天无车空旷区域公路的亮度呈现规律性变化，从远到近亮度值逐渐变低，假设光线的照射是均匀的，则可以认定相机视野范围内，空旷公路无雾时的亮度是相同的，即由雾天成像模型公式可得出I0在当前区域是常量，假设公路相同高度的雾浓度是均匀的，即散射系数在相机视野范围内也是常量，则由雾天成像模型公式可知，公路雾天路面在雾的散射作用下亮度只与景深相关，景深值越大，交通亮度值越高，反之亦然。利用这一规律，可以获得内河雾天水面景深先验：雾天路面亮度值越高，该位置的景深值越大，反之亦然。

本发明中，步骤S2中的导向滤波器可以实现图像的方向滤波，并且滤波的方向是可以任意的，可以通过局部的线性模型，使滤波结果图像边缘保持理想和平滑，通常情况下，一张600x400尺寸的大气光传输图优化只需要40ms，从而完全可以达到视频实时化的需求。

本发明中，步骤S4和步骤S5中的雾天成像模型公式为I(x)＝I₀(x)t(x)+A_∞(1-t(x))，由于场景中目标对象的光反射到相机光路上，存在大气粒子的散射作用，光路周边的环境光源与雾气相互作用发生散射，从而偏离原来光线的传播方向而融合到成像光路中，沿着光路射向相机，与目标对象的反射光共同参与成像，这就是雾天成像的机理，这所描述的过程也是McCartney模型所描述的核心，雾天场景中目标成像正是由入射光衰减模型和大气散射模型共同存在，并且两者相互作用才导致目标图像降质的结果，大气散射光所占比例越多，则图像质量也就越差，大气散射光所占比例少，图像也就越清晰，因此，雾天户外视觉传感器上接收到的光源总强度，可以等效的表示成入射光经大气衰减后到达传感器的景物反射光强度，再与周围环境的散射光进入视觉系统后的线性叠加所组成，即：I(x,v)＝I_r(x,v)+A(x,v)＝I(x,v)e-γ(v)x+A(1-e-γ(v)x)，因此，在视频和图像清晰化研究领域，只需要考虑可见光在大气中的传输性质，可以忽略光波的频率，上式就可以简化为：I(x)＝I(x)e-γx+A(1-e-γx)，为了研究方便，将式进一步简化为：I(x)＝I₀(x)t(x)+A_∞(1-t(x))。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于景深先验的公路交通视频去雾算法，其特征在于：具体包括以下步骤：

S1、估计大气光传输图：首先将采集的图像分成若干矩形小块，估计每个区域的相对景深值，其范围是0到1，0为最远处，1为最近处，可从观察者到无穷远处的变化由1变化到0，相机焦距参数设置可控制变化的快慢，为提取相对景深，将图像从RGB颜色空间转换到YCbCr颜色空间，图像的亮度分量Y可以表示为Y＝k₁R+k₂G+k₃B+C，将亮度分成若干15x15的小区域块，然后计算小区域块像素亮度的平均值，之后直接用经验公式计算粗略大气光传输图；

2.根据权利要求1所述的一种基于景深先验的公路交通视频去雾算法，其特征在于：所述步骤S1中的景深特征值并不是绝对意义上的景深值，而是一个相对量，它可以区分相邻区域的相对位置是靠近还是远离观察者，且步骤S1中的图像亮度分量Y计算公式中，k₁、k₂、k₃和C分别是常量0.257、0.564、0.098和16。

3.根据权利要求1所述的一种基于景深先验的公路交通视频去雾算法，其特征在于：所述步骤S2中的导向滤波器可以实现图像的方向滤波，并且滤波的方向是可以任意的，可以通过局部的线性模型，使滤波结果图像边缘保持理想和平滑，通常情况下，一张600x400尺寸的大气光传输图优化只需要40ms，从而完全可以达到视频实时化的需求。

4.根据权利要求1所述的一种基于景深先验的公路交通视频去雾算法，其特征在于：所述步骤S4和步骤S5中的雾天成像模型公式为I(x)＝I₀(x)t(x)+A_∞(1-t(x))。