CN104200437A - 一种图像去雾处理方法 - Google Patents

Abstract

本发明涉及一种图像去雾处理方法。针对雾霾天气时拍摄的城市街景/交通监控图像存在的清晰化低、图像中车辆和行人等目标物不易识别等问题，通过先对雾天图像实施整体增强，再提取图像高频信息以加强细节的方法得到最终去雾的清晰图像。所述方法包括：雾天图像采集，对所述雾天图像采用Retinex算法进行图像全局增强处理，对图像进行细节调整处理，图像统合。实验表明，采用本发明的Retinex+小波变换方法进行去雾处理，效果优于Retinex算法和Dark Channel算法。本发明不需要深度信息等辅助信息，不需3D建模等繁琐方法，可以简单快速地实现去雾处理，有较好的实时性。

Description

一种图像去雾处理方法

技术领域

本发明属于数字图像处理技术领域。针对雾霾天气时拍摄的城市街景/交通监控图像存在的清晰化低、图像中车辆和行人等目标物不易识别等问题，通过先对雾天图像实施整体增强，再提取图像高频信息以加强细节的方法得到最终去雾的清晰图像。

背景技术

近年来，“雾霾”成为年度关键词。比如在2013年，这一年的1月，4次雾霾过程笼罩30个省(区、市)，在北京，仅有5天不是雾霾天。雾霾会使大气的能见度降低，景物图像发生退化，在雾天拍摄的图像内容模糊，对比度下降，这将严重影响采集的户外图像的清晰度，给后续的图像识别与图像处理带来困难。

目前国内外对图像去雾的算法多种多样，大体分为图像的增强以及复原。比较有代表性的算法可以分为以下几种：

(1)全局化雾天图像增强方法。Retinex算法是一种描述颜色不变性的模型，包括单尺度Retinex算法(Single-Scale Retinex，SSR)和多尺度Retinex算法(Multi-Scale Retinex，MSR)。它具有动态范围压缩和颜色不变性的特点，对由于光照不均而引起的低对比度彩色图像具有很好的增强效果。申请号为CN201110182406.2、名称为“一种基于图像亮度分层的视频图像去雾方法”的发明专利，利用Open-MP技术，将自适应Retinex图像去雾方法和基于暗色通道先验的去雾方法(即Dark Channel算法，也是一种常用的全局雾天图像增强方法)结合来实时处理图像。其缺点是对图像整体进行增强，暗区域增强的同时，明亮区域也会被增强使得处理后的图像失真，更重要的是该算法忽略了图像边缘细节的增强效果。

(2)基于深度关系的雾天图像复原。降质图像的场景深度信息是复原雾天图像的一条重要线索。根据场景深度信息是否已知可将此种复原方法分为两类：一类是假设场景深度信息已知的方法。该方法由Oakley等人最早提出；另一类是用辅助信息进行场景深度提取的方法。交互式景深估计算法利用已知的3D模型来获取场景点深度，例如Kopf方法即是利用已知的3D模型获取景深，从而复原雾天图像。申请号为CN201110225936.0、名称为“一种基于单幅图像去雾的处理方法、装置及系统”的发明专利，也是通过获取雾化图像的景物深度信息实现图像去雾效果。其缺点是：3D模型的条件非常苛刻，而且这种算法是非自动的，很难实现实时性的处理。

发明内容

针对现有技术中存在的图像边缘细节失真，以及算法繁琐实时性差等问题，本发明提出了一种图像去雾处理方法，利用Retinex算法增强图像的整体轮廓信息，对经过Retinex算法处理后的图像进行小波变换，通过增大高频率分量信息，最后获得去除雾的清晰图像。

一种图像去雾处理方法，包括以下步骤：

步骤1，采集雾天图像I。

使用摄像机获取雾天图像I。所述图像I可为黑白或彩色图像，用n表示图像颜色通道个数，如果是黑白图像，n为1；如果是彩色图像，n为3。第l颜色通道用l表示，l＝1，2，…，n。

步骤2，对所述雾天图像I进行图像全局增强处理。

采用Retinex或Dark Channel算法对图像进行图像全局增强处理，本发明实施例采用Retinex算法。Retinex算法是依据人类视网膜(Retina)、大脑皮层(Cortex)构造亮度和颜色的感知模型提出的一种颜色恒常知觉的计算理论。Retinex算法包括单尺度算法SSR和多尺度算法MSR。在RGB颜色空间中，SSR计算公式如下：

R_l(x,y)＝logI_l(x,y)-log[F(x,y)*I_l(x,y)]，l＝1,2,...,n   (1)

其中，R_l(x,y)相应于第l通道的输出，I_l(x,y)是图像I第l通道像素的亮度值，*表示卷积运算，n表示颜色通道数，F(x,y)表示中心/包围函数，表示为高斯函数形式：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/{\mathrm{\σ}}^2}---\left(2\right)$

其中，σ为控制中心/包围函数的范围，σ越小，中心/包围函数越尖锐，K由归一化条件来确定，公式如下：

$k=\frac{1}{\underset{x=1}{\overset{w}{\mathrm{\Σ}}}\underset{y=1}{\overset{h}{\mathrm{\Σ}}}{e}^{-(x^2+y^2)/{\mathrm{\σ}}^2}}---\left(3\right)$

其中，(x，y)表示像素点的坐标，w表示图像的宽度(即横坐标长度)，h表示图像的高度(纵坐标长度)。显然，SSR的性能很大程度上取决于变量σ。采用Jobson等人提出的MSR算法得到第l通道的输出，公式如下：

$R_l(x,y)=\underset{n=1}{\stackrel{N}{\mathrm{\Σ}}}{W}_n\{\log I_l(x,y)-\log [F(x,y)*I_l(x,y)]\}---\left(4\right)$

其中，R_l(x,y)相应于第l通道的输出，W_n则表示尺度的权重因子，N表示使用尺度的个数。

对所述雾天图像I进行上述全局增强处理后，得到图像R。

步骤3，对图像进行细节调整处理。

图像I经过全局增强处理后，雾天信息一定程度上被去除，但是细节部分不过突出，还需进行进一步优化处理。

对图像进行细节调整有两种实施方式：实施方式一是对步骤2经过全局增强处理后得到的所述图像R进行细节调整处理；实施方式二是直接对步骤1得到的所述雾天图像I进行细节调整处理，得到图像W，然后在步骤4对所述图像W和所述图像R进行统合。

图像中的纹理和边缘都属于图像的高频部分，平滑部分对应低频部分。加强图像高频信息，能够突出图像中对象物(行人，车辆等)的边界信息，使图像细节更加清晰化。本发明利用增强图像的高频信息对图像中人物、车辆的细节信息进行加强。可以采取很多方法分离图像中的高频和低频部分，比如利用傅里叶变换、小波变换等算法。进行图像细节调整的步骤如下：

步骤3.1，输入待处理图像I或R。

步骤3.2，对所述图像进行分层处理。

可采用傅里叶变换、小波变换等算法对图像进行分层处理。本发明实施例采用小波变换。采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D。小波变换算法中的滤波次数可根据需要进行调整。

步骤3.3，调整高低频系数。

雾天图像的云雾信息主要分布在低频，景物信息占据相对高频。图像经多层小波变换得到最高层的近似系数和每一层的细节系数。近似系数代表图像背景，频率最低；细节系数代表图像的高频信息，层数大的细节系数频率较低。

通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，实现减弱低频的云雾信息、增强相对高频的景物信息的目的。

步骤3.4，根据所述步骤3.3进行小波系数重构，得到重构图像。

步骤4，进行图像统合处理。

本步骤只适应实施方式二，对步骤2得到的所述图像R和步骤3得到的所述图像W进行统合处理，方法如下：

对所述图像R和所述图像W实施像素级别的叠加，生成新图像R’，公式如下：

R’(i，j)＝w₁*R(i，j)+w₂*W(i，j)   (5)

其中，w₁,w₂分别表示权重，可以根据需要进行调整；R’(i，j)、R(i，j)和W(i，j)分别为新图像、图像R和图像W在坐标(i，j)位置的像素值，可以是灰度空间的灰度值，也可以分别是RGB颜色空间的R、G、B值。如果是RGB颜色空间，那么获得新图像R’(i，j)的RGB值。

与现有技术相比，本发明具有以下优点：

(1)应用单一的Retinex或Dark Channel算法进行除雾处理，只能增强图像的整体轮廓，图像的细节不突出。本发明提出了一种改进的除雾处理方法，首先利用Retinex算法增强图像的整体轮廓信息，然后对经过Retinex算法处理后的图像进行小波变换，增强高频率分量信息，最后获得轮廓清晰、细节突出的去除雾后的图像。实验表明，采用Retinex算法、Dark Channel算法和本发明的Retinex+小波变换方法，分别对10幅雾天图像进行处理，本发明所述方法对每幅图像处理的PSNR值和平均值均高于Retinex算法以及Dark Channel算法，说明利用本发明所述方法处理后的图象失真小，相比所述Retinex及Dark Channel算法有较好的去雾效果。

(2)本发明不需要深度信息等辅助信息，不需3D建模等繁琐方法，可以简单快速地实现去雾处理，有较好的实时性。

附图说明

图1为本发明具体实施方式一的流程图；

图2为本发明具体实施方式二的流程图；

图3为图像细节调整的实施步骤；

图4为实验结果，(a)为晴天图像，(b)为与(a)在同一个地方，利用相同的相机角度拍摄的雾天图像，(c)为采用Dark Channel算法处理后的去雾效果图像，(d)为采用Retinex算法处理后的去雾图像，(e)为本发明采用Retinex+小波变换方法得到的去雾效果图像。

具体实施方式

实施方式一。

实施方式一的流程图如图1所示，包括以下步骤：

步骤S10，图像采集；

步骤S20，图像全局增强；

步骤S30，图像细节调整。

实施方式二。

实施方式二的流程图如图2所示，包括以下步骤：

步骤S10，图像采集；

步骤S20，图像全局增强；

步骤S30，图像细节调整；

步骤S40，图像统合。

实施方式一、二的图像细节调整步骤S30还包括以下步骤：

步骤S300，取得图像R(或I)；

步骤S310，使用小波变换对图像R(或I)进行分层处理；

采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D。可根据需要调整小波变换算法中的滤波次数。

步骤S320，调整高低频系数。

通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，实现减弱低频的云雾信息、增强相对高频的景物信息的目的。

步骤S330，对所述步骤S320进行系数重构，得到重构图像。

下面给出应用本发明的实验结果。

实验分别采用Retinex算法、Dark Channel算法和本发明的Retinex+小波变换方法。实验结果如图4所示。

由图4的实验结果可以看出，本发明采用的图像全局增强算法+图像细节增强(Retinex+小波变换)获得的图像比仅利用图像全局增强算法更清晰、自然，比如图4(e)中的道路，以及路旁的树木，在颜色的过渡及边远细节方面都明显优于采用Retinex算法、Dark Channel算法的图4(c)和图4(d)。

用肉眼评价一些样本图像的细节差异不明显，为此引入最常见且最广泛使用的PSNR(峰值信噪比)评价价图像的去雾效果。PSNR计算公式如公式下：

$\mathrm{PSNR}=10\×\log \frac{{255}^2}{\mathrm{MSE}}---\left(6\right)$

$\mathrm{MSE}=\frac{\underset{n=1}{\overset{M\×N}{\mathrm{\Σ}}}(I_n-P_n)}{M\×N}---\left(7\right)$

其中，255就是指8bits灰度图像中最大值像素值255，对于其它灰度图像相应改为最大像素值即可。MSE(MeanSquareError)是原图像与处理图像之间均方误差，M、N分别表示图像的高度以及宽度。I_n为原始图像第n个像素值，P_n为经处理后的图像第n个像素值。PSNR的单位为dB。所以PSNR值越大，就代表图像失真越少。

表1给出了采用上述三种不同算法对10幅图像处理后的PSNR值及平均值由表1可知，本发明所述方法(Retinex+小波变换方法)对每幅图像处理的PSNR值和平均值均高于Retinex算法以及Dark Channel算法，说明利用本发明说书方法处理后的图象失真小,相比所述Retinex算法以及Dark Channel算法效果良好。

表1 采用三种不同算法的PSNR值的比较

图像序号	Retinex	Dark channel	本发明方法
				1	9.7932	9.5065	10.3224
2	10.9169	10.5276	11.1386
				3	10.821	10.2568	11.0775
4	13.2168	12.5982	13.6199
				5	10.2098	10.0772	12.9998
6	11.2922	11.029	11.7489
				7	11.0041	11.139	12.0801
8	10.7073	10.642	10.9005
				9	9.3789	9.2943	9.6504
10	10.5256	10.4896	10.9169
				平均值	10.78658	10.55602	11.4455

Claims (5)

1.一种图像去雾处理方法，包括采集雾天图像得到图像I的步骤，对所述图像I进行图像全局增强处理得到图像R的步骤；其特征在于，还包括对图像进行细节调整处理的步骤，方法如下：

(1)输入待处理图像；

(2)对所述图像进行分层处理；

采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D；所述小波变换算法中的滤波次数可根据需要进行调整；

(3)调整高低频系数；

通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，实现减弱低频的云雾信息、增强相对高频的景物信息的目的；

(4)根据所述步骤(3)进行小波系数重构，得到重构图像。

2.根据权利要求1所述的一种图像去雾处理方法，其特征在于，对所述雾天图像I进行图像全局增强处理的方法还包括以下内容：

采用Retinex算法对图像进行图像全局增强处理，包括单尺度算法SSR和多尺度算法MSR；在RGB颜色空间中，SSR计算公式如下：

R_l(x,y)＝logI_l(x,y)-log[F(x,y)*I_l(x,y)]，l＝1,2,...,n   (1)

其中，R_l(x,y)相应于第l通道的输出；I_l(x,y)是所述图像I第l通道像素的亮度值；*表示卷积运算；n表示颜色通道数，如果是黑白图像，n为1；如果是彩色图像，n为3；F(x,y)表示中心/包围函数，表示为高斯函数形式：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/{\mathrm{\σ}}^2}---\left(2\right)$

其中，σ为控制中心/包围函数的范围，σ越小，中心/包围函数越尖锐；K由归一化条件来确定，公式如下：

$k=\frac{1}{\underset{x=1}{\overset{w}{\mathrm{\Σ}}}\underset{y=1}{\overset{h}{\mathrm{\Σ}}}{e}^{-(x^2+y^2)/{\mathrm{\σ}}^2}}---\left(3\right)$

其中，(x，y)表示像素点的坐标；w表示图像的宽度，h表示图像的高度；显然，SSR的性能很大程度上取决于变量σ；采用Jobson提出的MSR算法得到第l通道的输出，公式如下：

$R_l(x,y)=\underset{n=1}{\stackrel{N}{\mathrm{\Σ}}}{W}_n\{\log I_l(x,y)-\log [F(x,y)*I_l(x,y)]\}---\left(4\right)$

其中，R_l(x,y)相应于第l通道的输出，W_n则表示尺度的权重因子，N表示使用尺度的个数。

3.根据权利要求1所述的一种图像去雾处理方法，其特征在于，所述细节调整处理的对象是经过全局增强处理后得到的所述图像R，处理后得到轮廓和细节都得到优化的去雾处理图像。

4.根据权利要求1所述的一种图像去雾处理方法，其特征在于，所述细节调整处理的对象是所述雾天图像I，处理后得到图像W。

5.根据权利要求4所述的一种图像去雾处理方法，其特征在于，对所述雾天图像I进行细节调整处理后，还需对所述图像R和所述图像W进行统合处理，得到轮廓和细节都得到优化的去雾处理图像；统合处理方法如下：

对所述图像R和所述图像W实施像素级别的叠加，生成新图像R’，公式如下：

R’(i，j)＝w₁*R(i，j)+w₂*W(i，j)   (5)

其中，w₁,w₂分别表示权重，可以根据需要进行调整；R’(i，j)、R(i，j)和W(i，j)分别为新图像、图像R和图像W在坐标(i，j)位置的像素值，可以是灰度空间的灰度值，也可以分别是RGB颜色空间的R、G、B值；如果是RGB颜色空间，那么获得新图像R’(i，j)的RGB值。