CN105631831B - 一种雾霾条件下视频图像增强方法 - Google Patents

Abstract

本发明公开了一种视频图像去雾处理方法，能够在满足实时去雾功能的同时，有效消除去雾后视频图像闪烁。具体步骤为：通过暗通道以及自适应调整的方法求取各帧图像的大气光值；暗通道先验算法计算第一帧图像的初始透射率；构造帧间的透射率估计和邻域空间的能量函数，求解块区域最优透射率值；快速导向滤波算法细化对初始透射率；通过去雾模型求去雾后的视频图像。

Description

一种雾霾条件下视频图像增强方法

技术领域

本发明涉及数字图像处理领域，尤其涉及一种雾霾条件下视频图像增强方法，适用于机器视觉应用的前期图像增强预处理，可广泛应用于在雾霾天气条件下的道路交通监控、行车记录、安防监控、无人机地面侦察等视频图像应用领域。

背景技术

近年来，我国的大气污染越来越严重，由此产生的雾霾导致大气能见度降低，户外视频监视系统很难直接得到具有较高清晰度的图像信息，直接导致监视系统失效。为此,在摄像机得到的视频图像基础上利用软件算法进行视频图像去雾处理，增加图像清晰度具有重要意义。

在过去的十几年里，国内外学者针对单幅图像去雾开展了很多研究，并提出了多种有效的图像去雾方法。而在视频图像去雾方面，由于存在视频序列相邻帧之间高冗余性数据应用、各帧图像透射率信息获取以及视频编辑图像时空一致性保持等特殊问题，相关研究工作相对单幅图像去雾研究较为缺乏。目前已提出的视频图像去雾方法包括两种类型。一种方法是针对具有固定背景的有雾视频，将其背景进行一次去雾处理，后续帧背景采用前帧去雾后背景替换；对其余区域进行逐帧去雾。该方法运算量相对较少，但仅适用于存在固定背景的视频应用。另一种方法是采用光流法进行运动估计，然后利用视频图像前后帧的透射率信息及运动估计结果构造马尔科夫场，通过求解全局最优值来获得本帧透射率。此种方法利用了相邻帧之间高冗余性的图像数据，保持了时空一致性，但由于求解全局最优需要解算大型稀疏方程，运算量极大，不适合于具有实时性要求的视频应用场合。

发明内容

有鉴于此，本发明提供了一种雾霾条件下视频图像增强方法，通过利用相邻图像帧的数据信息，既保持了时间连续性且处理速度能够满足视频处理的实时性要求，满足实时去雾功能的同时，能够有效地消除去雾后视频图像闪烁。

为了解决上述技术问题，本发明是这样实现的：

一种雾霾条件下视频图像增强方法，包括如下步骤：

步骤一、求取基于时间连续自适应调整的大气光值，具体为：

A、针对输入视频的当前帧图像I_k，获得每一个像素点的三个独立的单通道图像R、G、B中的最小值，遍历图像I_k的各个像素点，得到暗通道图I_dark；

将暗通道图I_dark中像素亮度值从大到小排列的前0.1％的像素点筛选出来，其它像素点不考虑，形成大气光区域图；针对图像I_k中与大气光区域图对应位置的各个像素点，获得各个像素点通道R、通道G以及通道B的平均值，则得到的三个平均值作为大气光值，该大气光值为一个有R,G,B分量的向量。

B、对视频中的每一帧图像进行如a中所述的处理，获得各帧图像原始大气光值；

C、如果视频中当前帧为第一帧，则将该帧图像的原始大气光值作为经过学习得到的当前帧大气光值A_k，此时k＝0；

D、如果视频中当前帧非第一帧，则当前帧的前N帧大气光值以及当前帧原始大气光值进行加权平均，作为经学习得到的当前帧大气光值A_k；其中，所述N至少取2，且小于或等于k-1；

步骤二、估计初始透射率图，具体包括如下步骤：

S201、将图像I_k各元素的值除以步骤一得到的经过学习的当前帧大气光值A_k，得到图像I_A，将图像I_A划分为半径为r的窗口，求每个窗口中的各个像素点的R、G和B三通道中的最小通道值，再从该窗口中各像素点的最小通道值中选择一个最小值，得到每个窗口对应的暗通道图I′_A；将该暗通道图I′_A与加权系数ω的乘积后，再用1减去该乘积，最终估计得到初始的透射率

其中，半径r的取值范围为7-15个像素；加权系数ω取值范围在0.90至0.99之间；

S202、判断：如果视频中的当前帧为第一帧，则将透射率作为经过调整得到的当前帧的初始透射率；

如果视频中当前帧非第一帧，则通过时间相干性方法获取调整后的初始透射率图，所述时间相干性方法求解透射率图的方法进一步包括：

将每一帧的RGB彩色图像转换到YUV空间，得到Y通道的图像I_y；将步骤一获得的经过学习的大气光值A_k转换为标量：

A＝A^r·0.3+A^g·0.59+A^b·0.11 (4)

其中A^r、A^g和A^b分别表示大气光值A_k的三通道分量值；

S203、第k帧透射率t_k(p)和k-1帧的透射率t_k-1(p)在像素点P的关系为t_k(p)＝τ_k(p)t_k-1(p)，则时间相干性因子根据下式求出：

其中，I_k(p)和I_k-1(p)表示同一像素点P在第k帧和k-1帧Y通道的图像所具有单通道值，σ²表示模型的方差；所述σ²的取值为10；

S204、根据时间相干因子τ_k，得到t_k(p)＝τ_k(p)t_k-1(p)后构造代价函数，如下式所述:

其中，t_k为最终要求的透射率，为未知数；σ_t ²表示透射率估计的模型误差，所述σ_t ²取值为10；N_p表示像素点P的邻域像素点；t_k-1(p)表示第k-1帧中像素点P的透射率；I_k-1(q)表示第k-1帧图像中像素点p的邻域像素点的Y通道图像的值；表示像素点p的邻域像素点的透射率，由暗通道求得的初始透射率；所述a²取值为0.005²；

S205、求式(8)表示的代价E最小时的透射率t_k；

步骤三、将输入图像的YUV空间的Y通道图像作为导向图像，初始透射率图t_k作为输入图，对初始透射率t_k导向滤波，得到各个区域块最终的透射率t^*；

步骤四、针对输入的当前帧图像的各个像素点，通过以下公式得到去雾处理后的图像：

其中，t^*(p)表示任意像素点p所在位置的最终的透射率，根据步骤3的最终的透射率t^*获得；I(p)为输入的RGB彩色图像的像素点p的三通道值，A_k为步骤一得到的三通道大气光值。

较佳的，在所述步骤中，当前帧的前N帧大气光值以及当前帧原始大气光值进行加权平均的具体方法如下：

找到大气光区域图中亮度最小的像素点，求该像素点3×3窗口内对应图像I_k中的像素值的差值B_std和平均值B_mean，再求该差值B_std与平均值B_mean之间的差值：

L＝|B_std-B_mean| (1)；

最后，判断当前第k帧对应的差值L_k与第k-1帧的差值L_k-1之间的差值是否小于或等于预设的阈值L_thresh，若第k帧L_k与第k-1帧L_k-1差值小于或等于L_thresh，则将当前帧原始大气光值作为经过学习得到的当前帧大气光值A_k；否则将当前帧的前N帧大气光值以及当前帧原始大气光值进行加权平均，作为经学习得到的当前帧大气光值A_k；其中，所述L_thresh取值为0.02；

所述经学习得到的当前帧大气光值A_k的R、G和B任意一个通道的值为：

其中，和分别表示原始第k帧和第j帧大气光，A_k表示经过学习获得的第k帧大气光，a_j表示当前帧更新权重；所述权重a_j的取值原则为，与当前帧越近，取值越大，反之越小；

较佳的，所述r取15。

较佳的，ω取值范围在0.94至0.96之间。

较佳的，ω取值0.95。

较佳的，所述步骤二中，得到时间相干性因子后，再得到基于区域块的时间相干因子，具体为：

首先，计算图像I_k中任意像素点P在相邻帧出现在同一个位置的概率，一种简单的方法，即下式中的权重值w_k(p)：

其次，对于图像I_k中的任意像素点P，以像素点P为中心，r’为半径划分区域块Ω，r’取值为5至15个像素；采用下式得到基于块的时间相干因子

最后，将该基于块的时间相干因子代替时间相干因子τ_k代入到代价E的表达式中，最终求得代价E最小时的透射率t_k。

较佳的，所述步骤二中，求代价E最小时的透射率t_k的方法具体包括：

设在每一个区域块中透射t_k初始值为0.1，代入代价函数求代价值E₁；然后将透射率t_k逐次增加0.1，每次均求出对应的代价值；选出最小代价值,此时对应的t_k即为满足要求的最小能量区域块透射率值；其中，累加次数小于10次；

每一个区域块均重复上述步骤，求出每一个区域块对应的最佳的t_k，最终得到经过调整的整个图像透射率图。

本发明具有如下有益效果：

(1)基于时间连续的自适应调整获得大气光值，解决了现有方法存在的各帧大气光跳变问题；建立了相邻帧透射率图关系模型，通过求解区域最优透射率来保证帧间去雾画面的时间连续性，消除了去雾后视频图像的闪烁；在调整初始透射率和引导滤波时只考虑Y通道，增强了视频图像去雾的实时性。

(2)基于点的时间相干性因子是在假设像素点的场景反射率为常值的情况下得到的数值，在镜头移动和有运动物体情景下，在整幅图像中并不完全适用。引入基于块的时间相干性因子，能更准确的描述块与块之间的相似性，在运动情况下也能适用。

附图说明

图1为本发明的流程图；

图2(a)为去雾前的输入图像。

图2(b)为输入图像采用本发明的方法进行去雾后的效果。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

步骤一、基于时间连续自适应调整的大气光值求取。

a.针对输入视频的当前帧图像I_k，获得每一个像素点的三个独立的单通道图像R、G、B中的最小值，遍历图像I_k的各个像素点，得到暗通道图I_dark；

将暗通道图I_dark中像素亮度值从大到小排列的前0.1％的像素点筛选出来，其它像素点不考虑，形成大气光区域图；针对图像I_k中与大气光区域图对应位置的各个像素点，获得各个像素点通道R、通道G以及通道B的平均值，则得到的三个平均值作为大气光值，该大气光值为一个有R,G,B分量的向量。

b.对视频中的每一帧图像进行如a中所述的处理，获得各帧图像原始大气光值。

c.如果视频中当前帧为第一帧，则将该帧图像的原始大气光值作为经过学习得到的当前帧大气光值A_k，此时k＝0；

d.如果视频中当前帧非第一帧，则进行如下处理：找到大气光区域图中亮度最小的像素点，求该像素点3×3窗口内对应图像I_k中的像素值的差值B_std和平均值B_mean，再求该差值B_std与平均值B_mean之间的差值：

L＝|B_std-B_mean| (1)；

最后，判断当前第k帧对应的差值L_k与第k-1帧的差值L_k-1之间的差值是否小于或等于预设的阈值L_thresh，若第k帧L_k与第k-1帧L_k-1差值小于或等于L_thresh，则将当前帧原始大气光值作为经过学习得到的当前帧大气光值A_k；否则将当前帧的前N帧大气光值以及当前帧原始大气光值进行加权平均，作为经学习得到的当前帧大气光值A_k；其中，所述L_thresh取值为0.02，所述N至少取2，且小于或等于k-1，即当前帧之前的所有帧。

所述经学习得到的当前帧大气光值A_k的R、G和B任意一个通道的值为：

其中，和分别表示原始第k帧和第j帧大气光，A_k表示经过学习获得的第k帧大气光，a_j表示当前帧更新权重。

所述权重a_j的取值原则为，与当前帧越近，取值越大，反之越小。本实施例中，a_j取值为0.5，a_j-1取值为0.3，a_j-2取值为0.2。

步骤二、估计初始透射率图

S201、将图像I_k各元素的值除以步骤一得到的经过学习的当前帧大气光值A_k，得到图像I_A，将图像I_A划分为半径为r的窗口，求每个窗口中的各个像素点的R、G和B三通道中的最小通道值，再从该窗口中各像素点的最小通道值中选择一个最小值，得到每个窗口对应的暗通道图I′_A；将该暗通道图I′_A与加权系数ω的乘积后，再用1减去该乘积，最终估计得到初始的透射率

其中，半径r的取值范围为7-15个像素，本实施例中r取15。

I_k与A₀为三通道的矩阵和向量，ω为加权系数，取值0.95。根据测试结果，ω取值范围可在0.90至0.99之间，优选地，ω取值范围在0.94至0.96之间。

S202、判断：如果视频中的当前帧为第一帧，则将透射率作为经过调整得到的当前帧的初始透射率；

如果视频中当前帧非第一帧，则通过时间相干性方法获取调整后的初始透射率图，所述时间相干性方法求解透射率图的方法进一步包括：

将每一帧的RGB彩色图像转换到YUV空间，得到Y通道的图像I_y。将步骤一获得的经过学习的大气光值A_k转换为标量：

A＝A^r·0.3+A^g·0.59+A^b·0.11 (4)

其中A^r、A^g和A^b分别表示大气光值A_k的三通道分量值；

S203、计算图像I_k中任意像素点P在相邻帧出现在同一个位置的概率，一种简单的方法，即下式中的权重值w_k(p)：

其中，I_k(p)和I_k-1(p)表示同一像素点P在第k帧和k-1帧所具有的Y通道值，σ²表示模型的方差。所述σ²的取值为10。

S204、第k帧和k-1帧的透射率在像素点P的关系为t_k(p)＝τ_k(p)t_k-1(p)，则时间相干性因子根据下式求出：

S205、上述计算均基于像素点，由于图像相邻像素点存在物理联系，下面计算基于块的时间相干性因子，即：对于图像I_k中的任意像素点P，以像素点P为中心，r’为半径划分区域块Ω，r’取值为5至15个像素；采用下式得到基于块的相干因子

S206、根据基于块的相干因子得到后构造代价函数，如下式所述:

其中，t_k为最终要求的透射率，为未知数；σ_t ²表示透射率估计的模型误差，所述σ_t ²取值为10。等号右侧第一项表示时间相干性，第二项表示空间相干项，用于描述邻域相干性，N_p表示像素点P的邻域像素点。其中，t_k-1(p)表示第k-1帧中像素点P的透射率；I_k-1(q)表示第k-1帧图像中像素点p的邻域像素点的强度；表示像素点p的邻域像素点的透射率，由暗通道求得的初始透射率；a²用来限制‖I_k(p)-I_k-1(q)‖²值的边界，所述a²取值为0.005²。

S207、求式(8)表示的代价E最小时的透射率t_k，即可使得透射率图具有更好的空间和时间平滑性，具体步骤包括：

设在每一个区域块中透射t_k初始值为0.1，代入代价函数求代价值E₁；然后将透射率t_k逐次增加0.1，每次均求出E_i(1≤i≤10)；选出最小值,此时对应的t_k即为满足要求的最小能量区域块透射率值。

每一个区域块均重复上述步骤，求出每一个区域块对应的最佳的t_k。最终得到经过调整的整个图像透射率图。

步骤三、将输入图像的YUV空间的Y通道图像作为导向图像，初始透射率图t_k作为输入图，对初始透射率t_k导向滤波，得到各个区域块最终的透射率t^*。

步骤四、针对输入的当前帧图像的各个像素点，通过以下公式得到去雾处理后的图像：

其中，t^*(p)表示任意像素点p所在位置的最终的透射率，根据步骤3的最终的透射率t^*获得；I(p)为输入的RGB彩色图像的像素点p的三通道值，A_k为步骤一得到的三通道大气光值。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种雾霾条件下视频图像增强方法，其特征在于，包括如下步骤：

步骤一、求取基于时间连续自适应调整的大气光值，具体为：

A、针对输入视频的当前帧图像I_k，获得每一个像素点的三个独立的单通道图像R、G、B中的最小值，遍历图像I_k的各个像素点，得到暗通道图I_dark；

将暗通道图I_dark中像素亮度值从大到小排列的前0.1％的像素点筛选出来，其它像素点不考虑，形成大气光区域图；针对图像I_k中与大气光区域图对应位置的各个像素点，获得各个像素点通道R、通道G以及通道B的平均值，则得到的三个平均值作为大气光值，该大气光值为一个有R,G,B分量的向量；

B、对视频中的每一帧图像进行如A中所述的处理，获得各帧图像原始大气光值；

C、如果视频中当前帧为第一帧，则将该帧图像的原始大气光值作为经过学习得到的当前帧大气光值A_k，此时k＝0；

D、如果视频中当前帧非第一帧，则将当前帧的前N帧大气光值以及当前帧原始大气光值进行加权平均，作为经学习得到的当前帧大气光值A_k；其中，所述N至少取1，且小于或等于k；

步骤二、估计初始透射率图，具体包括如下步骤：

S201、将图像I_k各元素的R、G和B值分别除以步骤一得到的经过学习的当前帧大气光值A_k的R、G和B值，得到图像I_A，将图像I_A划分为边长为r的窗口，求每个窗口中的各个像素点的R、G和B三通道中的最小通道值，再从该窗口中各像素点的最小通道值中选择一个最小值，将该最小值与加权系数ω的相乘得到乘积后，再用1减去该乘积，最终估计得到初始透射率

其中，边长r的取值范围为7-15个像素；加权系数ω取值范围在0.90至0.99 之间；

S202、判断：如果视频中的当前帧为第一帧，则将透射率作为经过调整得到的当前帧透射率图；

如果视频中当前帧非第一帧，则通过时间相干性方法获取调整后的当前帧透射率图，所述时间相干性方法求解透射率图的方法进一步包括：

将当前帧图像I_k转换到YUV空间，得到Y通道的图像；将步骤一获得的经过学习的大气光值A_k转换为标量：

A＝A^r·0.3+A^g·0.59+A^b·0.11

其中A^r、A^g和A^b分别表示大气光值A_k的三通道分量值；

S203、第k帧透射率t_k(p)和k-1帧的透射率t_k-1(p)在像素点p的关系为t_k(p)＝τ_k(p)t_k-1(p，)则时间相干性因子根据下式求出：

其中，I_k(p)和I_k-1(p)表示同一像素点p在第k帧和k-1帧Y通道的图像所具有单通道值；

S204、根据时间相干因子τ_k(p)，得到t_k(p)＝τ_k(p)t_k-1(p)后构造代价函数，如下式所述:

其中，t_k为最终要求的当前帧透射率图，为未知数；Ω表示以像素点p为中心，r’为半径划分区域块，r’取值为5至15个像素；σ_t ²取值为10；N_p表示像素点p的邻域像素点；t_k-1(p)表示第k-1帧中像素点p的透射率；I_k-1(q)表示第k-1帧图像中像素点p的邻域像素点的Y通道图像的值；表示像素点p的邻域像素点的初始透射率，由暗通道求得的初始透射率；所述a²取值为0.005²；

S205、求S204中代价E最小时的当前帧透射率图t_k；

步骤三、将当前帧图像I_k的YUV空间的Y通道图像作为导向图像，当前帧透射率图t_k作为输入图，对t_k进行导向滤波，得到各个区域块最终的透射率t*；

步骤四、针对输入的当前帧图像I_k的各个像素点，通过以下公式得到去雾处理后的图像：

其中，t*(p)表示任意像素点p所在位置的最终的透射率，根据步骤三的最终的透射率t*获得；I(p)为输入的当前帧图像I_k的像素点p的三通道值，A_k为步骤一得到的三通道大气光值。

2.如权利要求1所述的一种雾霾条件下视频图像增强方法，其特征在于，在所述步骤一的D中，当前帧图像的前N帧大气光值以及当前帧原始大气光值进行加权平均的具体方法如下：

找到大气光区域图中亮度最小的像素点，求该像素点3×3窗口内对应图像I_k中的像素值的差值B_std和平均值B_mean，再求该差值B_std与平均值B_mean之间的差值：

L_k＝|B_std-B_mean|；

最后，判断当前第k帧对应的差值L_k与第k-1帧的差值L_k-1之间的差值是否小于或等于预设的阈值L_thresh，若第k帧L_k与第k-1帧L_k-1差值小于或等于L_thresh，则将当前帧原始大气光值作为经过学习得到的当前帧大气光值A_k；否则将当前帧的前N帧大气光值以及当前帧原始大气光值进行加权平均，作为经学习得到的当前帧大气光值A_k；其中，所述L_thresh取值为0.02；

所述经学习得到的当前帧大气光值A_k的R、G和B任意一个通道的值为：

其中，和分别表示原始第k帧和第j帧大气光值，A_k表示经过学习获得的第k帧大气光值，a_j表示当前帧更新权重；所述权重a_j的取值原则为，与当前帧越近，取值越大，反之越小。

3.如权利要求1所述的一种雾霾条件下视频图像增强方法，其特征在于，所述r取15。

4.如权利要求1所述的一种雾霾条件下视频图像增强方法，其特征在于，ω取值范围在0.94至0.96之间。

5.如权利要求4所述的一种雾霾条件下视频图像增强方法，其特征在于，ω取值0.95。

6.如权利要求1所述的一种雾霾条件下视频图像增强方法，其特征在于，所述步骤二中，得到时间相干性因子后，再得到基于区域块的时间相干因子，具体为：

首先，计算当前帧图像I_k中任意像素点p在相邻帧出现在同一个位置的概率，即下式中的权重值w_k(p)：

其次，采用下式得到基于块的时间相干因子

最后，将该基于块的时间相干因子代替时间相干因子τ_k代入到代价E的表达式中，最终求得代价E最小时的t_k。

7.如权利要求1所述的一种雾霾条件下视频图像增强方法，其特征在于，所述步骤二中，求代价E最小时的当前帧透射率图t_k的方法具体包括：

设在每一个区域块中透射t_k初始值为0.1，代入代价函数求代价值E₁；然后将透射率t_k逐次增加0.1，每次均求出对应的代价值；选出最小代价值,此时对应的t_k即为满足要求的最小能量区域块透射率值；其中，累加次数小于10次；

每一个区域块均重复上述步骤，求出每一个区域块对应的最佳的t_k，最终得到经过调整的整个图像的透射率图。