CN108288258B - 一种针对恶劣天气条件下的低质图像增强方法 - Google Patents

Abstract

本发明公开了一种针对恶劣天气条件下的低质图像增强方法，属于图像处理领域，解决同态滤波得到的图像会有严重的颜色退化；或Retinex算法在光照不均时会产生“halo”现象，也会出现局部过亮的现象的问题。本发明将读入待处理图像，在RGB空间，用Retinex方法修复图像颜色，得到彩色的改善后图像F；将读入待处理图像，在HSV空间，用同态滤波算法压缩图像亮度范围后，并增强对比度，得到改善后亮度图像J_v；将步骤1和步骤2处理的结果统一在HSV空间，提取Retinex处理后图像的色调和饱和度信息，提取同态滤波处理后的图像的亮度信息，并将提取的三者信息融合得到最终图像。本发明用于低质图像增强。

Description

一种针对恶劣天气条件下的低质图像增强方法

技术领域

一种针对恶劣天气条件下的低质图像增强方法，用于低质图像增强，属于图像处理领域。

背景技术

在图像处理和计算机视觉领域，恶劣天气条件下图像采集器采集到的图像退化严重是长久存在的问题。随着计算机视觉的高速发展，为了服务于后续的分析、判读、识别以及跟踪工作，人们对图像的质量提出了越来越高的要求。而恶劣天气则是导致现今户外图像退化的主要原因。

户外图像拍摄，图像的质量受天气影响很大。不同天气条件下散布在大气中的不同粒子会对图像成像造成不同的影响。雨天大气中散布的雨滴聚光，导致采集到的图像局部区域过亮；雾霾天气大气中的小颗粒会散射大气光，导致图像对比度降低、透光不均；沙尘天气散布在大气中的沙尘粒子会使整个采集图像的颜色偏向粒子颜色，导致色彩失真。

普遍来说，一般的恶劣天气条件下的退化图像都会包含光照不均、色彩失真、细节模糊这几个特征。

1960年，麻省理工学院的Thomas Stockham，Alan V.Oppenheim和RonaldW.Schafer等几位学者提出了同态滤波算法。同态滤波是一种可以同时增加图像对比度并压缩图像亮度范围的特殊方法。该方法把图像的灰度值认为是入射光分量和反射光分量的乘积，其中入射光是取决于大气中的照射光，在空间上变化平缓，一般占据低频部分；而反射光则取决于拍摄物体本身性质，在空间上变化剧烈，一般占据高频部分。同态滤波就是用一高通滤波器对图像在对数空间进行滤波，压制图像的低频成分、增强图像的高频成分。从而使得大气光对图像的影响减少，而物体的本质灰度进一步凸显，可以有效地处理明暗不均的图像。另外，不同于其他的线性变换，同态滤波在对数空间进行非线性滤波，可以更好的保留所需信息，去除乘性噪声。在处理光照不均图像方面，同态滤波方法有着显著的优越性。

然而对于彩色图像的处理，同态滤波存在着很大的局限性。因为在对反射光和入射光进行处理的时候，主要考虑的是光的亮度信息，而非颜色信息。若将图像拆分到RGB三个通道分别用同态滤波进行处理，因为这种独立操作忽略了颜色相关性，通道合并后的颜色会大幅度失真。目前如要用同态滤波对彩色图像进行处理，一般是将图像转换到HSV空间，只对亮度V通道进行处理，而保持原图的色调色度不变。然而一般恶劣天气而导致的退化现象往往不会只有光照不均，通常伴随着色彩的失真。因此这样处理后得到的图像会有严重的颜色退化。目前也有一些算法试图用不同的滤波器或者调整同态滤波器的参数对图像的颜色通道进行处理，但因为只是简单地进行调整，而并不了解人眼辨认色彩的本质，所以效果不好。

二十世纪七十年代，Edwin Land和McCann提出了Retinex理论。Reinex理论是与心理学、生物学和仿生学等学科密切相关的用于解释人类视觉系统如何能达到色彩恒常的一个视觉理论。Land通过大量的蒙德里安试验证明了物体表面的颜色与光照变化无关者以彩色恒常性质。与同态滤波类似，Retinex算法把图像灰度看作入射光分量和反射光分量的乘积。不同在于，Retinex算法用低通滤波器估计入射光的成分，从而求解出代表物体本身颜色的反射分量。这种方法有效地提取了物体的本身颜色，对于彩色退化图像的处理效果很好。但在光照不均时会产生“halo”现象，也会出现局部过亮的现象。另外，Retinex算法的处理效果与低通滤波器的参数有关，无法同时起到压缩图像动态范围和色彩保真的作用。

申请公布号为CN106997584A的专利申请中，先在HSV通道进行同态滤波处理，再转到RGB通道进行多尺度Retinex处理，在光照不均时同样会会产生“halo”现象，也会出现局部过亮的现象，同时无法起到压缩图像动态范围和色彩保真的作用；若先处理Retinex，后处理同态滤波时，图像会有严重的颜色退化问题。

发明内容

本发明的目的在于：解决现有技术对于彩色图像进行处理时，同态滤波得到的图像会有严重的颜色退化；或Retinex算法在光照不均时会产生“halo”现象，也会出现局部过亮的现象，同时无法起到压缩图像动态范围和色彩保真的作用；以及同态滤波和Retinex算法依次进行处理时，后处理及同态滤波或Retinex算法的问题同样存在的问题。

本发明采用的技术方案如下：

一种针对恶劣天气条件下的低质图像增强方法，其特征在于，如下步骤：

步骤1、读入待处理图像，在RGB空间，用Retinex方法修复图像颜色，得到彩色的改善后图像F；

步骤2、读入待处理图像，在HSV空间，用同态滤波算法压缩图像亮度范围后，并增强对比度，得到改善后亮度图像J_v；

步骤3、将步骤1和步骤2处理的结果统一在HSV空间，提取Retinex处理后图像的色调和饱和度信息，提取同态滤波处理后的图像的亮度信息，并将提取的三者信息融合得到最终图像。

进一步，步骤1的具体步骤为：

步骤11：读入待处理图像；

步骤12：将待处理图像在RGB空间拆分成三个通道灰度图像I_r、I_g和I_b，将各通道灰度图像转换到对数空间，同时将通道灰度图像分别与建立的高斯低通滤波器进行卷积运算，得到照射分量，即入射光分量；

步骤13：根据照射分量L_i和转换到对数空间的各通道灰度图像，通过如下公式得到反射光分量的对数形式r_i，并将其取指数得到反射光分量R_i作为各通道图像处理后的灰度图像；

r_i＝ln(I_i)-ln(L_i)

R_i＝exp(r_i)

其中，i代表三个颜色通道，L_i为入射光分量，R_i为各通道灰度图像的反射光分量，即反射分量，I_i为在RGB空间拆分的三个通道灰度图像；

步骤14：对处理得到的各通道灰度图像R_i进行线性灰度拉伸，使其适应于整个灰度范围，拉伸公式如下：

其中，R_min和R_max分别为R_i的最小像素灰度和最大像素灰度，R′_i为拉伸后的各通道灰度图像；

步骤15：对拉伸后的各通道灰度图像进行自适应的直方图均衡，并将各通道图像合并，得到彩色的改善后图像F。

进一步，所述步骤12的具体步骤如下：

步骤121：设定Retinex算法的滤波器方差值sigma；

步骤122：读取图像大小，记为[m,n]，创建待处理图像等大的、方差值为sigma的高斯低通滤波器H，高斯低通滤波器建立公式为：

其中，(x,y)表示高斯滤波器的像素坐标；

步骤123：将退化图像在RGB空间拆分成三个通道灰度图像I_r、I_g和I_b；

步骤124：将各通道灰度图像I_i转换到对数空间，使得入射光分量与反射光分量拆分开来，公式如下:

ln(I_i)＝ln(L_i)+ln(R_i)

其中，i代表三个颜色通道，L_i为入射光分量，R_i为各通道灰度图像的反射光分量，即反射分量，I_i为在RGB空间拆分的三个通道灰度图像；

步骤125：同步步骤124，将高斯低通滤波器与各通道灰度图像I_i进行卷积，得到入射光分量L_i:

L_i＝H*I_i

其中，*为卷积操作符，H为高斯低通滤波器。

进一步，Retinex算法采用高尺度的Retinex。

进一步，步骤2的具体步骤为：

步骤21：读入待处理图像；

步骤22：将待处理图像在HSV空间拆分成三个通道，提取图像亮度通道的灰度图像I_v；

步骤23：将灰度图像I_v转换到对数空间，使得入射光亮度与反射光亮度拆分开来，公式如下:

ln(I_v)＝ln(L_v)+ln(R_v)

其中，L_v为入射光亮度，R_v为反射光亮度；

步骤24：对ln(I_v)进行傅里叶变换，并通过建立好的高斯高通滤波器降低低频入射光亮度L_v在图像中的占比，增加高频图像性质内容R_v在图像中的占比；

步骤25：对步骤24处理后得到的ln(I′_v)进行傅里叶反变换后，返回空域图像，再取指数，得到处理后的亮度图像I′_v；

步骤26：对亮度图像I′_v进行线性灰度拉伸，使其适应于整个灰度范围，拉伸公式如下：

其中，I′_min和I′_max分别为亮度图像I′_v的最小像素灰度和最大像素灰度，J′_v为拉伸后的灰度图像；

步骤27：对拉伸后的灰度图像J′_v进行自适应的直方图均衡，得到改善后亮度的图像J_v。

进一步，步骤24中高斯高通滤波器的建立步骤如下：

步骤241：设定同态滤波算法的滤波器幅度范围rH、rL，rH>1，rL<1，rH是调整高频分量的系数，rL是调整低频分量的系数，以及形态参数c；

步骤242：在频率空间建立与图像等大的高斯高通滤波器，高斯高通滤波器建立公式如下：

D＝u²+v²

D₀＝median(D)

G(u，v)＝(rH-rL)g(u,v)+rL

其中，u、v为频域坐标，G为得到的高斯高通滤波器，D是中间变量。

进一步，所述步骤3的具体步骤为：

步骤31：将步骤1中得到的彩色改善后图像F转换到HSV空间，拆分成三个通道，提取色调通道灰度图像F_h和饱和度通道灰度图像F_S；

步骤32：提取步骤2中得到的亮度改善后的图像J_v；

步骤33：在HSV空间合并色调通道灰度图像F_h、饱和度通道灰度图像F_S和亮度通道灰度图像J_v，得到最终增强后的彩色图像，并输出。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

一、本发明用Retinex算法和同态滤波分别对待处理图像进行处理后融合；利用了可以有效改善的图像照度不均现象的同态滤波算法，在利用同态滤波算法达到压缩亮度范围、提升图像对比度、过滤乘性噪声的同时，通过Retinex算法解决了同态滤波后图像色彩失真的问题；

二、本发明利用了基于色彩恒常性理论的单尺度Retinex算法，达到了较好的颜色校正的目的，同时，通过同态滤波减弱了Retinex算法在光照不均区域出现的“halo”现象，同时避免了同态滤波选参时压缩动态范围和保真颜色不能两全的困境，采用单尺度Retinex算法，运算量小，低复杂度，并不会产生色彩偏移等；

三、本发明创新性的在多个颜色空间进行转换操作，各取算法所长，显著改善了图像的可视效果。

附图说明

图1为本发明的方法流程图；

图2为原始恶劣天气条件下的退化图像；

图3为传统同态滤波处理后的图像；

图4为传统Retinex算法处理后的图像；

图5为本发明中处理后的图像；

图6为原始恶劣天气条件下的退化图像的灰度直方图；

图7为传统Retinex算法处理后的灰度直方图；

图8为传统同态滤波处理后的图像的灰度直方图；

图9为本发明中处理后的图像的灰度直方图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种针对恶劣天气条件下的低质图像增强方法，主要包括三个部分，一是对图像的颜色部分进行基于Retinex理论的色彩复原工作，二是对图像亮度部分进行同态滤波处理，三是拆分图像通道，将两部分处理结果结合；具体包括以下内容：读取退化图像(即待处理图像)，分类退化图像，将不同类型的图像信息分别用不同的算法处理(如彩色图像采用本发明所述的处理方法，黑白图像直接用同态滤波进行处理)；在RGB空间拆分图像通道，各通道分别进行处理；设置处理参数，构建合适的高斯低通滤波器；使用高斯低通滤波器与各通道图像进行处理，过滤高通成分，利用低通成分估计大气照射分量；用原通道图像与所估计的照射分量相减，获得图像反射分量；将图像进行灰度拉伸和直方图均衡，合并三个颜色通道的图像，获得色彩复原的图像；将原退化图像在HSV空间拆分通道，提取图像亮度V通道，设置处理参数，构建合适的高斯高通滤波器；用高通滤波器在对数空间对亮度图像进行处理，有效去除乘性噪声，去除不均匀的光照信息，保留反射信息；将处理后的亮度图像进行灰度拉伸和直方图均衡；在HSV空间拆分处理后的颜色图像通道，保留H和S通道，并与处理后的亮度图像进行合并，最终得到颜色真实，细节清晰，照度均匀的增强图像。

具体包括以下步骤：

一种针对恶劣天气条件下的低质图像增强方法，如下步骤：

步骤1、读入待处理图像，在RGB空间，用Retinex方法修复图像颜色，得到彩色的改善后图像F；具体步骤为：

步骤11：读入待处理图像；

步骤12：将待处理图像在RGB空间拆分成三个通道灰度图像I_r、I_g和I_b，将各通道灰度图像转换到对数空间，同时将通道灰度图像分别与建立的高斯低通滤波器进行卷积运算，得到照射分量，即入射光分量；所述步骤12的具体步骤如下：

步骤121：设定Retinex算法的滤波器方差值sigma；

步骤122：读取图像大小，记为[m,n]，创建待处理图像等大的、方差值为sigma的高斯低通滤波器H，高斯低通滤波器建立公式为：

其中，(x,y)表示高斯滤波器的像素坐标；

步骤123：将退化图像在RGB空间拆分成三个通道灰度图像I_r、I_g和I_b；

步骤124：将各通道灰度图像I_i转换到对数空间，使得入射光分量与反射光分量拆分开来，公式如下:

ln(I_i)＝ln(L_i)+ln(R_i)

其中，i代表三个颜色通道，L_i为入射光分量，R_i为各通道灰度图像的反射光分量，即反射分量，I_i为在RGB空间拆分的三个通道灰度图像；

步骤125：同步步骤124，将高斯低通滤波器与各通道灰度图像I_i进行卷积，得到入射光分量L_i:

L_i＝H*I_i

其中，*为卷积操作符，H为高斯低通滤波器。

步骤13：根据照射分量L_i和转换到对数空间的各通道灰度图像，通过如下公式得到反射光分量的对数形式r_i，并将其取指数得到反射光分量R_i作为各通道图像处理后的灰度图像；

r_i＝ln(I_i)-ln(L_i)

R_i＝exp(r_i)

其中，i代表三个颜色通道，L_i为入射光分量，R_i为各通道灰度图像的反射光分量，即反射分量，I_i为在RGB空间拆分的三个通道灰度图像；

步骤14：对处理得到的各通道灰度图像R_i进行线性灰度拉伸，使其适应于整个灰度范围，拉伸公式如下：

其中，R_min和R_max分别为R_i的最小像素灰度和最大像素灰度，R_i′为拉伸后的各通道灰度图像；

步骤15：对拉伸后的各通道灰度图像进行自适应的直方图均衡，并将各通道图像合并，得到彩色的改善后图像F。

步骤2、读入待处理图像，在HSV空间，用同态滤波算法压缩图像亮度范围后，并增强对比度，得到改善后亮度图像J_v；具体步骤为：

步骤21：读入待处理图像；

步骤22：将待处理图像在HSV空间拆分成三个通道，提取图像亮度通道的灰度图像I_v；

步骤23：将灰度图像I_v转换到对数空间，使得入射光亮度与反射光亮度拆分开来，公式如下:

ln(I_v)＝ln(L_v)+ln(R_v)

其中，L_v为入射光亮度，R_v为反射光亮度；

步骤24：对ln(I_v)进行傅里叶变换，并通过建立好的高斯高通滤波器降低低频入射光亮度L_v在图像中的占比，增加高频图像性质内容R_v在图像中的占比；高斯高通滤波器的建立步骤如下：

步骤241：设定同态滤波算法的滤波器幅度范围rH、rL，rH>1，rL<1，rH是调整高频分量的系数，rL是调整低频分量的系数，以及形态参数c；

步骤242：在频率空间建立与图像等大的高斯高通滤波器，高斯高通滤波器建立公式如下：

D＝u²+v²

D₀＝median(D)

G(u，v)＝(rH-rL)g(u,v)+rL

其中，u、v为频域坐标，G为得到的高斯高通滤波器，D是中间变量。

步骤25：对步骤24处理后得到的ln(I′_v)进行傅里叶反变换后，返回空域图像，再取指数，得到处理后的亮度图像I′_v；

步骤26：对亮度图像I′_v进行线性灰度拉伸，使其适应于整个灰度范围，拉伸公式如下：

其中，I′_min和I′_max分别为亮度图像I′_v的最小像素灰度和最大像素灰度，J′_v为拉伸后的灰度图像；

步骤27：对拉伸后的灰度图像J′_v进行自适应的直方图均衡，得到改善后亮度的图像J_v。

步骤3、将步骤1和步骤2处理的结果统一在HSV空间，提取Retinex处理后图像的色调和饱和度信息，提取同态滤波处理后的图像的亮度信息，并将提取的三者信息融合得到最终图像。具体步骤为：

步骤31：将步骤1中得到的彩色改善后图像F转换到HSV空间，拆分成三个通道，提取色调通道灰度图像F_h和饱和度通道灰度图像F_S；

步骤32：提取步骤2中得到的亮度改善后的图像J_v；

步骤33：在HSV空间合并色调通道灰度图像F_h、饱和度通道灰度图像F_S和亮度通道灰度图像J_v，得到最终增强后的彩色图像，并输出。

本发明中Retinex算法采用高尺度的Retinex，本案不需要动态范围压缩，所以也不需要平衡，可减少花费时间。本发明中的步骤1和步骤2可同步进行，也可分先后顺序进行。本案的附图因转换为黑白，所以对比起来效果不明显，实质上彩色图的对比中，效果是十分明显的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对恶劣天气条件下的低质图像增强方法，其特征在于，如下步骤：

步骤1、读入待处理图像，在RGB空间，用Retinex方法修复图像颜色，得到彩色的改善后图像F；

步骤2、读入待处理图像，在HSV空间，用同态滤波算法压缩图像亮度范围后，并增强对比度，得到改善后亮度图像J_v；

步骤3、将步骤1和步骤2处理的结果统一在HSV空间，提取Retinex处理后图像的色调和饱和度信息，提取同态滤波处理后的图像的亮度信息，并将提取的三者信息融合得到最终图像。

2.根据权利要求1所述的一种针对恶劣天气条件下的低质图像增强方法，其特征在于，步骤1的具体步骤为：

步骤11：读入待处理图像；

步骤12：将待处理图像在RGB空间拆分成三个通道灰度图像I_r、I_g和I_b，将各通道灰度图像转换到对数空间，同时将通道灰度图像分别与建立的高斯低通滤波器进行卷积运算，得到照射分量，即入射光分量；

步骤13：根据照射分量L_i和转换到对数空间的各通道灰度图像，通过如下公式得到反射光分量的对数形式r_i，并将其取指数得到反射光分量R_i作为各通道图像处理后的灰度图像；

r_i＝ln(I_i)-ln(L_i)

R_i＝exp(r_i)

其中，i代表三个颜色通道，L_i为入射光分量，R_i为各通道灰度图像的反射光分量，即反射分量，I_i为在RGB空间拆分的三个通道灰度图像；

步骤14：对处理得到的各通道灰度图像R_i进行线性灰度拉伸，使其适应于整个灰度范围，拉伸公式如下：

其中，R_min和R_max分别为R_i的最小像素灰度和最大像素灰度，R′_i为拉伸后的各通道灰度图像；

步骤15：对拉伸后的各通道灰度图像进行自适应的直方图均衡，并将各通道图像合并，得到彩色的改善后图像F。

3.根据权利要求2所述的一种针对恶劣天气条件下的低质图像增强方法，其特征在于，所述步骤12的具体步骤如下：

步骤121：设定Retinex算法的滤波器方差值sigma；

步骤122：读取图像大小，记为[m,n]，创建待处理图像等大的、方差值为sigma的高斯低通滤波器H，高斯低通滤波器建立公式为：

其中，(x,y)表示高斯滤波器的像素坐标；

步骤123：将退化图像在RGB空间拆分成三个通道灰度图像I_r、I_g和I_b；

步骤124：将各通道灰度图像I_i转换到对数空间，使得入射光分量与反射光分量拆分开来，公式如下:

ln(I_i)＝ln(L_i)+ln(R_i)

其中，i代表三个颜色通道，L_i为入射光分量，R_i为各通道灰度图像的反射光分量，即反射分量，I_i为在RGB空间拆分的三个通道灰度图像；

步骤125：同步步骤124，将高斯低通滤波器与各通道灰度图像I_i进行卷积，得到入射光分量L_i:

L_i＝H*I_i

其中，*为卷积操作符，H为高斯低通滤波器。

4.根据权利要求1或2所述的一种针对恶劣天气条件下的低质图像增强方法，其特征在于，Retinex算法采用高尺度的Retinex。

5.根据权利要求1所述的一种针对恶劣天气条件下的低质图像增强方法，其特征在于，步骤2的具体步骤为：

步骤21：读入待处理图像；

步骤22：将待处理图像在HSV空间拆分成三个通道，提取图像亮度通道的灰度图像I_v；

步骤23：将灰度图像I_v转换到对数空间，使得入射光亮度与反射光亮度拆分开来，公式如下:

ln(I_v)＝ln(L_v)+ln(R_v)

其中，L_v为入射光亮度，R_v为反射光亮度；

步骤24：对ln(I_v)进行傅里叶变换，并通过建立好的高斯高通滤波器降低低频入射光亮度L_v在图像中的占比，增加高频图像性质内容R_v在图像中的占比；

步骤25：对步骤24处理后得到的ln(I′_v)进行傅里叶反变换后，返回空域图像，再取指数，得到处理后的亮度图像I′_v；

步骤26：对亮度图像I′_v进行线性灰度拉伸，使其适应于整个灰度范围，拉伸公式如下：

其中，I′_min和I′_max分别为亮度图像I′_v的最小像素灰度和最大像素灰度，J′_v为拉伸后的灰度图像；

步骤27：对拉伸后的灰度图像J′_v进行自适应的直方图均衡，得到改善后亮度的图像J_v。

6.根据权利要求5所述一种针对恶劣天气条件下的低质图像增强方法，其特征在于，步骤24中高斯高通滤波器的建立步骤如下：

步骤241：设定同态滤波算法的滤波器幅度范围rH、rL，rH>1，rL<1，rH是调整高频分量的系数，rL是调整低频分量的系数，以及形态参数c；

步骤242：在频率空间建立与图像等大的高斯高通滤波器，高斯高通滤波器建立公式如下：

D＝u²+v²

D₀＝median(D)

G(u，v)＝(rH-rL)g(u,v)+rL

其中，u、v为频域坐标，G为得到的高斯高通滤波器，D是中间变量。

7.根据权利要求1或3或6所述的一种针对恶劣天气条件下的低质图像增强方法，其特征在于，所述步骤3的具体步骤为：

步骤31：将步骤1中得到的彩色改善后图像F转换到HSV空间，拆分成三个通道，提取色调通道灰度图像F_h和饱和度通道灰度图像F_S；

步骤32：提取步骤2中得到的亮度改善后的图像J_v；

步骤33：在HSV空间合并色调通道灰度图像F_h、饱和度通道灰度图像F_S和亮度通道灰度图像J_v，得到最终增强后的彩色图像，并输出。

Images