CN102968767A - 带有白平衡校正的雾天降质图像实时复原方法 - Google Patents

Abstract

带有白平衡校正的雾天降质图像实时复原方法，涉及图像信息处理领域，解决现有雾天图像复原方法采用的算法复杂、图像处理过程中会出现颜色偏移，以及DSP等嵌入式平台无法实现的问题。本发明对雾天原始降质图像以大气背景做归一化操作并提取其最小通道图像，利用具有O(N)复杂度的统计学滤波快速方法求取暗通道图像。然后求取雾天原始降质图像的传输参数图像，根据大气光学成像模型，利用传输参数图像求取归一化的雾天降质图像的复原图像，最后依据白平衡理论，认为大气背景光为纯白色，将归一化的复原图像值域映射至[0,255]。经白平衡全局映射后的输出图像即为最终的复原图像。本发明方法可以满足多种外景监控应用需求。

Description

带有白平衡校正的雾天降质图像实时复原方法

技术领域

本发明涉及图像信息处理领域，具体涉及雾天降质图像的复原方法。

背景技术

雾是一种较为常见的自然现象。在近海、近河、山林等地区受水汽蒸发的影响，雾发生的频率会更高。雾天条件下，空气中悬浮着大量的水蒸气、尘埃等颗粒，使得雾天下的场景反射光在传输中发生了较为严重的衰减，同时背景杂光又掺杂其中，使得雾天的场景图像对比度低，细节模糊，严重的影响了人的观察以及基于视频理解的智能算法的性能（如高速公路路口的车辆检测）。

雾天图像的复原方法主要包括基于大气光学成像模型的方法和非基于大气光学成像模型的方法。非大气光学模型的方法旨在拉伸图像对比度，主要包括基于直方图均衡和Retinex方法。由于复原效果不佳或算法复杂度过高等原因，上述方法在工程中应用较少。基于大气光学模型的方法早期曾出现过偏振光，多幅去雾等方法，但是由于工程局限性原因，没有在实践中应用。近年来，由于暗通道先验信息这一极具工程意义的统计规律的发现，使得雾天图像实时复原成为可能。

利用暗通道先验信息对传输参数图像合理进行估计是暗通道去雾方法的关键技术。较为常见的有双边滤波、引导滤波以及多尺度滤波等过程。上述滤波过程具有较好的效果，在经过并行加速等手段后可以满足PC平台下的实时处理效果。但是，在一些只能依靠嵌入式系统工作的环境下，上述算法的复杂度是一般的DSP处理平台所不能承受的。

发明内容

本发明为解决现有雾天图像复原方法采用的算法复杂以及对图像处理过程中会出现颜色偏移，同时基于DSP运行平台无法实现的问题，提供一种带有白平衡校正的雾天降质图像实时复原方法。

带有白平衡校正的雾天降质图像实时复原方法，该方法由以下步骤实现：

步骤一、将雾天原始降质图像以大气为背景做归一化操作，获得最小通道图像；

步骤二、对步骤一获得的最小通道图像采用具有O(n)时间复杂度的统计学滤波方法求取暗通道图像；

步骤三、根据大气光学成像模型，采用步骤二获得的暗通道图像求取雾天原始降质图像的传输参数图像；

步骤四、根据大气光学成像模型，采用步骤三获得的传输参数图像求取归一化的复原图像；

步骤五、依据白平衡理论，将步骤四归一化的复原图像经白平衡校正映射后的输出图像为最终的复原图像。

本发明的有益效果：

一、本发明所述的方法极大的降低了传输参数图像的估计算法复杂度，使其能够满足嵌入式DSP系统的实时处理要求。一般的雾天复原算法在传输参数图像估算中使用了双边滤波、引导滤波以及多尺度滤波，最小二乘优化等方法来实现这一过程。上述滤波算法虽然具有较好的效果，并在经过并行加速等手段后可以满足PC平台下的实时处理效果。但是，在一些只能依靠嵌入式系统工作的环境下，上述算法的时间复杂度或空间复杂度开销是一般的嵌入式处理平台所不能承受的。本专利使用的具有O(n)时间复杂度的统计学快速滤波方法估算传输参数图像。O(n)时间复杂度意味着算法处理时间与滤波选取的尺寸无关，由此极大的降低了滤波过程中的运算次数。以15*15大小的统计学最小值滤波为例，若采用逐点平滑移动的传统滤波方式，则每点需要执行225次比较操作，若采用本专利使用的O(n)时间复杂度的统计学快速滤波方法，则每点只需要7次比较运算。本专利采用的O(n)时间复杂度的统计学快速滤波过程，峰值内存需要2MN（MN为图像尺寸的大小），时间复杂度与空间复杂度开销均不大，能够为一般的DSP处理平台所承受。

二、本发明将白平衡的白片假设算法很好的融入在去雾复原过程中。在基本不增加算法复杂度的前提下，实现了场景复原和颜色恒常的兼顾。经过白平衡校正后的输出图像即为最终的复原图像。复原后的图像主观视觉效果显著提升，对比度明显改善，复原效果自然无失真，在浓雾条件下亦能输出较好的效果。

三、本发明所述的雾天复原方法采用单一图像作为输入源，算法复杂度低，复原效果好，能够兼顾场景复原和颜色恒常。能够满足多种外景监控应用需求，特别适合于航空侦查等领域嵌入式平台的应用场合。

附图说明

图1为本发明所述的带有白平衡校正的雾天降质图像实时复原方法的流程图；

图2为本发明所述的带有白平衡校正的雾天降质图像实时复原方法中采用O(n)复杂度的统计学快速滤波在一维空间的操作示意图；

图3为本发明所述的带有白平衡校正的雾天降质图像实时复原方法的效果图，其中，图（a）为原始降质图像，图（b）为最小通道图像，图（c）为经过白平衡校正后的输出图像，图（d）为采用具有O(n)复杂度的统计学快速滤波方法估算出的传输参数图像；

 图4为现有无白平衡校正的图像与本发明所述的复原方法校正的图像的效果对比图，其中，图（a）为原始降质图像，图（b）为本发明所述方法的复原图像，图（c）为现有无白平衡校正的雾天复原算法的处理图像。

图5为浓雾图像复原效果图；其中，图（a）为原始降质的浓雾图像，图（b）为本发明所述方法的复原图像。

具体实施方式

具体实施方式一、结合图1说明本实施方式，带有白平衡校正的雾天降质图像实时复原方法，该方法由以下步骤实现：

步骤A、对雾天原始降质图像以大气背景做归一化操作并提取其最小通道图像，归一化的最小通道图像值域范围需校正为[0,1]。

步骤B、对最小通道图利用统计学滤波方法求取最小通道图像的暗通道图像。暗通道图像的值域范围是[0,1]；在执行统计学滤波的过程中，使用的是具有像利用具有O(n)复杂度的统计学快速滤波方法。

步骤C、根据大气光学成像模型，利用暗通道图像求取雾天原始降质图像的传输参数图像。

步骤D、根据大气光学成像模型，利用传输参数图像求取归一化的雾天降质图像的复原图像，该归一化的复原图像值域范围为[0,1]。

步骤E、依据白平衡理论，认为大气背景光为纯白色，将归一化的复原图像值域映射至[0,255]。经白平衡全局映射后的输出图像即为最终的复原图像。

本实施方式中步骤A所述的雾天原始降质图像指：对于外景雾天降质图像的降质过程，大气光学模型以公式一表述雾天图像降质过程。

公式一、O_i(x,y)=J_i(x,y)t(x,y)+A_i(1-t(x,y)),i∈{R,G,B}

在上述光学模型中，i表征该光学模型在RGB三色空间中各自独立成立，O(x,y)表示输入图像，即雾天降质图像；J(x,y)表示场景处未经退化的原始场景信息；t(x,y)是介质的传输参数图像，即场景深度信息图像，所述的传输参数图像在RGB三色空间中认为具有共同的传输参数图像；A表示大气背景光估计。

步骤A中对雾天原始降质图像以大气背景做归一化操作的具体过程为：

以彩色图像为例，灰度图像视为彩色图像的特例；对于彩色雾天降质图像在RGB三色空间中各自除以各自的大气背景光估计A。大气背景光估计A可以认为是已知项，其值可从输入图像直接获得。从工程简化的角度出发，本实施方式采用如下的方式估算大气背景光估计A：取降质图像G空间（若灰度图像，则为图像本身）上方20行原始数据进行从大至小排序，确定数值大小为前10%的像素点所在位置，这些位置所对应的原始降质图像的RGB空间各自的均值作为大气背景光在RGB空间各自的大气背景光估计。归一化过程由公式二表示（灰度图像作为彩色图像的特例）：

公式二、 $\frac{O_i(x,y)}{A_i}=\frac{J_i(x,y)t(x,y)}{A_i}+(1-t(x,y)),i\∈\{R,G,B\}$

若降质图像为彩色图像，则在RGB空间对应位置取最小值；若降质图像为灰度图像，则归一化后的图像本身即为最小通道图像；所述最小通道图像用公式三表示为：

公式三、 ${\min }_i\frac{O_i(x,y)}{A_i}={\min }_i\frac{J_i(x,y)t(x,y)}{A_i}+(1-t(x,y)),i\∈\{R,G,B\}$

上式中，称表达式

为归一化的最小通道图像。归一化的最小通道图像值域范围需校正至[0,1]。

本实施方式中步骤B所述的对最小通道图利用统计学滤波方法求取最小通道图像的暗通道图像的具体过程为：依据暗通道先验理论，在执行统计学滤波的过程中，采用具有O(n)复杂度的统计学快速滤波方法实现该过程。该统计学滤波方法，算法时间复杂度低，边缘保持效果好，能够在嵌入式平台中实现。采用具有O(n)复杂度的统计学快速滤波方法求取暗通道图像，用公式四表述为：

公式四、 ${\min }_i\frac{O_i(x,y)}{A_i}\→{\min }_{\mathrm{\Ω}}\left({\min }_i\frac{O_i(x,y)}{A_i}\right),i\∈\{R,G,B\}$

由于归一化的最小通道图像

值域范围为[0,1]，Ω表示在像素点(x,y)所在的图像邻域。该最小通道图像的暗通道图像

值域范围为[0,1]。

本实施方式中步骤C的根据大气光学成像模型和暗通道先验理论，暗通道图像与雾天原始降质图像的传输参数图像具有如下的关系：

$t(x,y)=1-{\min }_{\mathrm{\Ω}}\left({\min }_i\frac{O_i(x,y)}{A_i}\right)i\∈\{R,G,B\}$

上式中

描述了对

执行合理的大尺度保边最小值滤波的过程。式中的常系数θ₀表示人为的为远景保留一定的雾气。

本实施方式中步骤D所述的根据大气光学成像模型，利用传输参数图像求取归一化的雾天降质图像的复原图像，该过程公式表述如下：

$\frac{J_i(x,y)}{A_i}=1-\frac{1-\frac{O_i(x,y)}{A_i}}{\max (t(x,y),{\mathrm{\θ}}_1)},i\∈\{R,G,B\}$ ，

上式中，该归一化的复原图像

值域范围为[0,1]，θ₁为一固定的常数。

本实施方式中步骤E的具体过程为：依据白平衡理论，认为大气背景光为纯白色，将步骤D的归一化的复原图像

直接作为白平衡算法（白片假设算法）的中间结果，即认为背景大气的雾是纯白色的，将全局颜色向背景大气做白平衡颜色校正，将归一化的复原图像

的值范围从[0,1]映射至[0,255]，溢出数值修正为255。经过白平衡校正后的输出图像即为最终的复原图像。复原后的图像主观视觉效果显著提升，对比度明显改善，复原效果自然无失真，在浓雾条件下亦能输出较好的效果。

具体实施方式二、结合图1至图5说明本实施方式，本实施方式为具体实施方式一所述的带有白平衡校正的雾天降质图像实时复原方法的具体实施例：

以降质RGB彩色图像复原为例，原始图像参见图3（a），

一、对于外景雾天降质图像，大气光学模型能够以如下的公式表述雾天图像降质过程。

O_i(x,y)=J_i(x,y)t(x,y)+A_i(1-t(x,y)),i∈{R,G,B}

在该光学模型中，O(x,y)表示输入图像；J(x,y)表示场景处未经退化的原始场景信息；t(x,y)是介质的传输参数图像（场景深度信息图像）,在RGB三色空间中认为具有共同的传输参数图像；A表示大气背景光估计。

对雾天原始降质图像以大气背景光估计A做归一化操作，其详细过程如下：

该归一化过程以彩色图像为例，灰度图像视为彩色图像的特例。对于彩色雾天降质图像在RGB三色空间中各自除以各自的大气背景光估计A。大气背景光估计A可以认为是已知项，其值可从输入图像直接获得。从工程简化的角度出发，本专利采用如下的方式估算大气背景光A：取降质图像G空间（若灰度图像，则为自身）上方20行原始数据进行从大至小排序，确定数值大小为前10%的像素点所在位置，这些位置所对应的原始降质图像的RGB空间各自的均值作为大气背景光在RGB空间各自的大气背景光估计。该归一化过程描述如下（灰度图像作为彩色图像的特例）：

$\frac{O_i(x,y)}{A_i}=\frac{J_i(x,y)t(x,y)}{A_i}+(1-t(x,y)),i\∈\{R,G,B\}$

若降质图像为彩色图像，则在RGB空间对应位置取最小值；若降至图像为灰度图像，则归一化后的图像本身即为最小通道图像。

${\min }_i\frac{O_i(x,y)}{A_i}={\min }_i\frac{J_i(x,y)t(x,y)}{A_i}+(1-t(x,y)),i\∈\{R,G,B\}$

上式中，称表达式

为归一化的最小通道图像。归一化的最小通道图像值域范围需校正至[0,1]。

上式中，表达式

即为最小通道图像；该最小通道图像结合图3（b）所示。

二、依据暗通道先验理论，对最小通道图利用统计学滤波方法求取最小通道图像的暗通道图像。在执行统计学滤波的过程中，本实施方式利用具有O(n)复杂度的统计学快速滤波方法实现该过程。此过程公式描述如下：

${\min }_i\frac{O_i(x,y)}{A_i}\→{\min }_{\mathrm{\Ω}}\left({\min }_i\frac{O_i(x,y)}{A_i}\right),i\∈\{R,G,B\}$

由于归一化的最小通道图像

值域范围为[0,1]，Ω表示在像素点(x,y)所在的图像邻域。该最小通道图像的暗通道图像

值域范围为[0,1]。

上述具有O(n)复杂度的统计学快速滤波方法详细叙述如下：

基于暗通道先验信息的概念，对最小通道图像执行具有O(n)复杂度的大尺度保边最小值滤波。

在对最小通道图像执行大尺度保边最小值滤波过程中，可以先执行一次大尺度的统计学最小值滤波作粗提取过程，再执行一次统计学最大值滤波算法作为上述粗提取过程的边缘优化算法。两次统计学滤波算法均使用相同的O(n)复杂度的统计学快速滤波核心算法，该滤波过程详细叙述如下（以统计学最小值滤波为例，统计学最大值滤波过程仅需要将最小值比较过程替换为最大值比较过程即可）：

在对一幅M*N大小的图像在二维空间执行尺度为k的统计学最小值滤波过程中，如果不经过优化，则需要M*N*k²次的比较运算才可以完成。在运算中，需要开辟k²大小的缓存用于存放中间结果。在利用具有O(n)复杂度的统计学快速滤波过程中，需要将在二维空间执行尺度为k的统计学最小值滤波过程转化为x和y方向上两个一维空间的O(n)复杂度的尺度为k的统计学最小值比较过程。

以x方向的一维空间的尺度为k的统计学最小值比较过程为例，原图像的某一行数据L，以尺度k为长度分段截取，截余部分舍弃，剩余行数据序列长度为S，符号记为f_x。

对于该一维数据f_x，在以尺度为k的统计学最小值比较过程中，依照如下的表达式递归的求取每一点最小值。

$g_x=\left\{\begin{array}{cc}{f}_x& x=1,k+\mathrm{1,2}k+1,......\\ \min (g_{x-1},f_x)& x=2,...k,k+2,...2k,2k+2,...3k......\end{array}\right.$

$h_x=\left\{\begin{array}{cc}{f}_x& x=k,2k,3k,......\\ \min (h_{x+1},f_x)& x=k-1,...1,2k-1,...k+1,3k-1,...2k+1......\end{array}\right.$

${\mathrm{Result}}_x=\min (g_{x+\frac{k-1}{2}},h_{x-\frac{k-1}{2}})x=\frac{k-1}{2}+\mathrm{1,2},...,S-\frac{k-1}{2}$

上式中，g_x表示x方向的一维空间左方向递归函数；h_x表示x方向的一维右方向递归函数。从该递归过程中可以看出，g_x递归过程，每个像素点需要各自执行1次比较运算；h_x递归过程，每个像素点需要各自执行1次比较运算；Result_x表示该x方向的一维空间的尺度为k的统计学最小值比较过程的最终输出结果，h_x的输出和g_x的输出在Result_x处汇总，每个像素点在该过程中需要一次比较运算。因此，在该上述x方向的一维空间的尺度为k的统计学最小值比较过程，每一像素点的求取中需要执行三次比较运算。类似的，在y方向的一维空间的尺度为k的统计学最小值比较过程中，亦需要三次比较运算。最后，两个方向的两个最小值再作一次最小值比较，则为最终的输出结果，即为该点的统计学最小值滤波的输出值。上述过程，每一点需要做七次最小值比较运算，运算次数与滤波尺度无关，因此该算法的时间复杂度为O(n)。由于是依照空间换取时间的算法优化过程，在该过程中，需要开辟的峰值内存为2MN。

本实施方式使用的具有O(n)复杂度的统计学快速滤波方法将常规统计学滤波算法实现大尺度保边最小值滤波过程从2*M*N*k²次的比较运算，降低至2*7*M*N次比较运算。该具有O(n)复杂度的统计学快速滤波方法相比双边滤波，引导滤波等经典保边滤波算法实现大尺度保边最小值滤波过程也快得多。

结合图2直观的展示了上述公式所示的具有O(n)时间复杂度的统计学快速滤波在一维空间的操作示意图。为了展示方便，在图2中一维滤波尺度k设置为7。

结合图3（c）展示了利用上述O(n)时间复杂度统计学快速滤波方法以滤波尺度k为15求取的暗通道图像。

三、根据大气光学成像模型和暗通道先验理论，暗通道图像与雾天原始降质图像的传输参数图像具有如下的关系：

$t(x,y)=1-{\min }_{\mathrm{\Ω}}\left({\min }_i\frac{O_i(x,y)}{A_i}\right)i\∈\{R,G,B\}$

上式中描述了对

执行合理的大尺度保边最小值滤波的过程。式中的常系数θ₀表示人为的为远景保留一定的雾气，以避免雾气去除过强而导致的图像层次感消失。在本实施案例中该值设定为0.95

四、根据大气光学成像模型，利用传输参数图像求取归一化的雾天降质图像的复原图像，该过程公式表述如下：

$\frac{J_i(x,y)}{A_i}=1-\frac{1-\frac{O_i(x,y)}{A_i}}{\max (t(x,y),{\mathrm{\θ}}_1)},i\∈\{R,G,B\}$

上式中，该归一化的复原图像

值域范围为[0,1]，θ₁为一固定的常数，在本实施案例中该值设定为0.1。

五、依据白平衡理论，利用步骤4的归一化的复原图像

直接作为白平衡算法（白片假设算法）的中间结果，即认为背景大气的雾是纯白色的，将全局颜色向背景大气做白平衡颜色校正，将归一化的复原图像

的值范围从[0,1]映射至[0,255]，溢出数值修正为255。经过白平衡校正后的输出图像即为最终的复原图像，结合图3（d）。

结合图4，相比无白平衡校正的雾天图像复原算法，本实施方式所述的带有白平衡校正的复原方法处理效果自然无失真，能够兼顾场景信息复原和颜色恒常性，结合5所示，采用本发明所述的复原方法，简单高效，图像主观视觉效果显著提升，对比度明显改善，在浓雾条件下亦能输出较好的效果。

本发明提出的基于暗通道先验信息的快速雾天图像复原方法。使用了具有O(n)复杂度的统计学快速滤波方法估算传输参数图像。在O(n)复杂度的的统计学快速滤波过程中，每个像素点仅需要14次比较运算，峰值内存仅需要2MN（MN为图像尺寸的大小）。复杂度较低，能够为一般的DSP处理平台所承受。并在基本不增加算法复杂度的前提下，将白平衡的白片假设算法很好的融入在雾天复原算法中，实现了场景复原和颜色恒常的兼顾；另外，由于雾天降质自身图像自身颜色偏移严重，在经过一般的雾天复原算法后，依然存在着一定程度的颜色偏移。现有的方法为在雾算法前预执行一次全局白平衡处理以校正这种颜色偏移。但是这又在很大程度上增加了算法复杂度。本专利将白平衡的白片假设算法很好的融入在本算法中。在基本不增加算法复杂度的前提下，实现了场景复原和颜色恒常的兼顾。经过白平衡校正后的输出图像即为最终的复原图像。复原后的图像主观视觉效果显著提升，对比度明显改善，复原效果自然无失真，在浓雾条件下亦能输出较好的效果。

Claims (4)

1.带有白平衡校正的雾天降质图像实时复原方法，其特征是，该方法由以下步骤实现：

步骤一、将雾天原始降质图像以大气为背景做归一化操作，获得最小通道图像；

步骤二、对步骤一获得的最小通道图像采用具有O(n)时间复杂度的统计学滤波方法求取暗通道图像；

步骤三、根据大气光学成像模型，采用步骤二获得的暗通道图像求取雾天原始降质图像的传输参数图像；

步骤四、根据大气光学成像模型，采用步骤三获得的传输参数图像求取归一化的复原图像；

步骤五、依据白平衡理论，将步骤四的归一化的复原图像经白平衡校正，映射后的输出图像即为最终的复原图像。

2.根据权利要求1所述的带有白平衡校正的雾天降质图像实时复原方法，其特征在于，步骤一中所述雾天原始降质图像为彩色图像或灰度图像，如果雾天原始降质图像为彩色图像，则在RGB空间以大气为背景做归一化操作后求取RGB空间对应位置的最小值作为最小通道图像；如果雾天原始降质图像为灰度图像，则以大气为背景做归一化操作后的图像本身为最小通道图像。

3.根据权利要求1所述的带有白平衡校正的雾天降质图像实时复原方法，其特征在于，步骤二中对最小通道图像采用具有O(n)时间复杂度的统计学滤波方法求取暗通道图像的过程为：对最小通道图像执行大尺度保边最小值滤波过程，首先执行大尺度的统计学最小值滤波的提取过程，然后执行统计学最大值滤波算法作为最小值滤波的提取过程的边缘优化算法；最小通道图像用公式表示为：

${\min }_i\frac{O_i(x,y)}{A_i}={\min }_i\frac{J_i(x,y)t(x,y)}{A_i}+(1-t(x,y)),i\∈\{R,G,B\}$ ，

式中，i表示该光学模型在RGB三色空间中各自独立成立，O(x,y)表示输入图像，J(x,y)表示场景处未经退化的原始场景信息；t(x,y)是介质的传输参数图像，A表示大气背景光估计。

暗通道图像求取过程用公式表示为：

${\min }_i\frac{O_i(x,y)}{A_i}\→{\min }_{\mathrm{\Ω}}\left({\min }_i\frac{O_i(x,y)}{A_i}\right),i\∈\{R,G,B\}$ ,式中，Ω表示在像素点(x,y)所在的图像邻域。

4.根据权利要求1所述的带有白平衡校正的雾天降质图像实时复原方法，其特征在于，步骤五所述的依据白平衡理论，将归一化的复原图像经白平衡校正映射后，输出图像作为最终的复原图像的过程为：认定大气背景光为纯白色，即满足白平衡之白片假设，将归一化的复原图像直接作为白平衡算法中白片假设的中间结果，将整幅图像颜色向大气背景做白平衡颜色校正，经白平衡校正后的输出图像为最终的复原图像。

Images