CN102436640A - 一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法 - Google Patents

Abstract

一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，该方法有六大步骤：一、采集源图像，若源图像为黑白图像，则将其由byte型转换为double型；若为彩色图像，则将其分别从R、G、B三个通道的黑白像素值由byte型转换为double型。二、将R、G、B三个通道转换到H、I、S；三、对步骤二所获得的像素点分别进行改进的多尺度retinex(MSR)算法，得到新的图像；四、对步骤三所获得的图像进行线性对比度展宽；五、将步骤四所获得的H、I、S分别转换到R、G、B；六、对步骤五所获得的R、G、B进行合成，显示清晰化后的图像。本发明对雾天条件下所拍摄的模糊图像进行清晰化处理，能恢复出雾天模糊图像中的有效信息。它在图像恢复技术领域里有广阔的应用前景。

Description

一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法

技术领域

本发明涉及的是在低对比度信息量的条件下对雾天图像进行清晰化处理，更确切的说是一种基于HIS空间的多尺度(Multi Scale Retinex，MSR)模型的雾天图像清晰化方法。属于图像恢复技术领域。

背景技术

在现实生活中，通过成像系统获得的图像都会有一定程度的退化，产生图像退化的原因有很多种。图像的存储、传输或复制等一系列变换操作都会导致图像质量的退化。但是，雾天等恶劣天气条件下获得的图像会受到严重的退化，不仅模糊不清，对比度降低，而且彩色图像还会出现严重的颜色偏移和失真，比如沙尘暴天气获得的图像往往出现严重的泛红现象，这大大降低了图像的应用价值，对生产和生活等各方面造成了极大地影响，还有高速公路视频监控系统，在恶劣天气条件下得到的退化图像会对判断车辆信息和监控交通情况造成极大地困难；在军事侦察或监视中，退化图像对信息的识别与处理会造成偏差，而这种偏差的后果是非常严重的；遥感探测中退化图像同样对后续的信息处理产生很大的干扰。这些都急需进行处理，以达到更好的效果。

一般情况下，直方图均衡化是对雾天图像进行清晰化的一种最常用的方法，但是直方图均衡化图像增强方法一般是对整幅图像进行增强，没有考虑到不同的景深区域采用不同的增强策略，而且直方图均衡化对图像的细节部分处理的不够明显，并且有可能产生伪轮廓的现象；局部的直方图均衡化方法虽然可以解决不同景深问题，但是计算量非常大，而且处理后的图像会有明显的层次感；分块的直方图均衡化方法虽然可以针对清晰程度来处理图像，但是处理后的图像会产生明显的块效应，而且计算量非常大，计算时间长。

发明内容

本发明的目的是提供一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，来对雾天条件下所拍摄的雾天模糊图像进行清晰化处理，恢复出雾天模糊图像中的有效信息。

本发明采用的技术方案是，一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，该方法按照以下步骤实施：

步骤1、采集源图像，若源图像为黑白图像，则将其由byte型转换为double型；若为彩色图像，则将其分别从R、G、B三个通道的黑白像素值由byte型转换为double型。

步骤2、将R、G、B三个通道转换到H、I、S；

步骤3、对步骤2所获得的像素点分别进行改进的多尺度retinex算法，得到新的图像；

步骤4、对步骤3所获得的图像进行线性对比度展宽；

步骤5、将步骤4所获得的H、I、S分别转换到R、G、B；

步骤6、对步骤5所获得的R、G、B进行合成，显示清晰化后的图像。

其中，步骤2所述的将R、G、B三个通道转换到H、I、S，其具体实现过程如下：

若B＞G，

$H=2\mathrm{\π}-\arccos \left(\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right)---\left(1\right)$

否则，

$H=\arccos \left(\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right)---\left(2\right)$

而S，I值如下：

$S=1-\frac{3\min (R,G,B)}{R+G+B}---\left(3\right)$

$I=\frac{R+G+B}{3}---\left(4\right)$

其中，R、G、B为彩色图像的一种彩色模型，分别代表红、绿、蓝，H、I、S也是一种彩色图像的彩色模型，分别代表色调、亮度和色饱和度。

其中，步骤3中“对步骤2所获得的像素点分别进行改进的多尺度retinex算法，得到新的图像”其具体实现过程如下：

多尺度Retinex算法是一种既可很好完成图像的动态范围压缩，又可保证图像的色彩常恒性的图像增强方法。该算法可用下式描述：

$R(x,y)=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{W}_k(\log I_i(x,y)-\log [F_k(x,y)*I_i(x,y)\left]\right),i=\mathrm{1,2},...,N---\left(5\right)$

其中下标i表示第i个光谱带，N表示光谱带个数，N＝1时代表灰度图像，N＝3代表彩色图像。W_k表示和F_k相关的权重函数，M表示环境函数的个数。其中环境函数可以表示为：

F(x，y)＝K·exp(-(x²+y²)/c²)    (6)

其中，c为尺度函数，K满足下式：

∫∫F(x，y)dxdy＝1    (7)

F_k选取不同的标准偏差c_k，用来控制环境函数的尺度。每个尺度的权重取相同值1/3，*代表卷积。

其中，步骤4中“对步骤3所获得的图像进行线性对比度展宽”，其具体实现过程如下：

对比度线性展宽的计算公式如下表示：

$g(i,j)=\begin{array}{c}\left\{\begin{array}{cc}\mathrm{\&alpha;f}(i,j),& 0\&le;f(i,j)<f_a\\ \mathrm{\&beta;}(f(i,j)-f_a)+g_a,& f_a\&le;f(i,j)<f_b\\ \mathrm{\&gamma;}(f(i,j)-f_b)+g_b,& f_b\&le;f(i,j)<255\end{array}\right.\\ (i=\mathrm{1,2},...,m;j=\mathrm{1,2},...,n)\end{array}---\left(16\right)$

其中，

图像的大小为m×n。并且α，β，γ分别称为背景区抑制系数，过渡区保持系数和目标去拉伸系数。为了增强对比度，对目标段的灰度级进行拉伸，目的是获得最佳视觉效果。本文分段变换法的区间边界是通过键盘交互式输入的方式来确定，因此比较灵活。

其中，步骤5中“将步骤4所获得的H、I、S分别转换到R、G、B”，其具体实现过程如下：

HIS到RGB的转换公式如下：

当0＜H＜2π/3时，

$R=I\&CenterDot;(1+S\&CenterDot;\frac{\cos H}{\cos (\mathrm{\&pi;}/3-H)})$

B＝I·(1-S)

G＝3·I-(R+B)    (17)

当2π/3＜H＜4π/3时，

$G=I\&CenterDot;(1+S\&CenterDot;\frac{\cos (H-2\mathrm{\&pi;}/3)}{\cos (\mathrm{\&pi;}-H)})$

R＝I·(1-S)

B＝3 ·I-(G+B)    (18)

当4π/3＜H＜2π时，

$B=I\&CenterDot;(1+S\&CenterDot;\frac{\cos (H-4\mathrm{\&pi;}/3)}{\cos (5\mathrm{\&pi;}/3-H)})$

G＝I·(1-S)

R＝3·I-(R+B)    (19)

其中，步骤6中“对步骤5所获得的R、G、B进行合成，显示清晰化后的图像。”其具体实现过程如下：

使用MATLAB软件中的cat函数对直接R、G、B进行合成，显示清晰化后的图像。

优点及功效：本发明一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法的优点是：本发明的方法在进行图像清晰化时，首先不需要采集未被模糊的图像信息，可以直接会付出雾天模糊图像中的有效信息；其次，HSI颜色模型对人来说是自然、直观的，同时也有利于图像处理，这种彩色空间是从人的视觉系统出发，更符合人的视觉系统，从此颜色空间进行清晰化后的图像也更能适应人的视觉系统；最后，本发明是对传统的MSR方法进行了改进，其处理速度更快，处理后的图像更加清晰。

附图说明

图1是本发明方法流程框图；

图2是对比度线性展宽原理图

图中的符号说明如下：

R、G、B为彩色图像的一种彩色模型，分别代表红、绿、蓝，H、I、S也是一种彩色图像的彩色模型，分别代表色调、亮度和色饱和度；fft代表快速傅里叶变换。MSR代表多尺度Retinex算法。

具体实施方式

见图1，本发明的一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，该方法按照以下步骤实施：

步骤1、对图像的像素值进行有byte型到double得转换

由于源图像的像素值都是byte型，而在计算机软件MATLAB的处理的算法中要求其像素点全为double型，因此首先进行对像素点数值类型的转换：若源图像为黑白图像，则其可以直接进行转换；若为彩色图像，则将其分别从R、G、B三个通道的黑白像素值由byte型转换为double型。

步骤2、对彩色图像的RGB型转换到HIS模型

表示彩色数组图像最直接最常用的方法是使用红(R)、绿(G)、蓝(B)的亮度值综合标定图像像素点的颜色，HSI模型是Munseu提出的彩色模型，这种模型对人来说是自然、直观的，同时也有利于图像处理。这种彩色空间是从人的视觉系统出发，用色调(Hue)、色饱和度(Saturation或Chroma)和亮度(Intensity或Brightness)来描述色彩。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩数理和识别，人的视觉系统对亮度经常采用HIS彩色空间，它比RGB色彩空间更符合人的视觉特性。

RGB到HIS转换公式如下：

若B＞G，

$H=2\mathrm{\&pi;}-\arccos \left(\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right)---\left(1\right)$

否则，

$H=\arccos \left(\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right)---\left(2\right)$

而S，I值如下：

$S=1-\frac{3\min (R,G,B)}{R+G+B}---\left(3\right)$

$I=\frac{R+G+B}{3}---\left(4\right)$

步骤3、对步骤3所获得的H、I、S进行改进的多尺度Retinex(MSR)算法

Retinex理论是基于色彩恒常的一种代表性计算理论，其全称是视网膜皮层理论(Retinal-cortex theory)，最初由Land于20世纪70年代提出。Retinex理论认为人类知觉到的物体表色与物体表面的反射性质有着密切的关系，而与投射到人眼的光的谱特性关系不大。照度引起的颜色变化一般是平缓的，通常表现为平滑的照明梯度，而由表面变化引发的颜色变化效应则往往表现为突变形式。通过分辨这两种变化形式，人们就能将图像的照度变化和表面变化作出区分，从而得知由照度变化引起的表色变化，使对表色的知觉保持恒常。

多尺度(Multi Scale Retinex，MSR)算法是一种既可很好完成图像的动态范围压缩，又可保证图像的色彩常恒性的图像增强方法。该算法可用下式描述：

$R(x,y)=\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}{W}_k(\log I_i(x,y)-\log [F_k(x,y)*I_i(x,y)\left]\right),i=\mathrm{1,2},...,N---\left(5\right)$

其中下标i表示第i个光谱带，N表示光谱带个数，N＝1时代表灰度图像，N＝3代表彩色图像。W_k表示和F_k相关的权重函数，M表示环境函数的个数。其中环境函数可以表示为：

F(x，y)＝K·exp(-(x²+y²)/c²)    (6)

其中，c为尺度函数，K满足下式：

∫∫F(x，y)dxdy＝1    (7)

F_k选取不同的标准偏差c_k，用来控制环境函数的尺度。每个尺度的权重取相同值1/3，*代表卷积。

根据光学理论，假设Q(x，y)表示光源亮度的空域分布，W(x，y)表示场景中物体反射光线的分布，则人眼中物体反射光线的分布可以描述为：

$R(x,y)=\log \frac{Q(x,y)}{\stackrel{\&OverBar;}{Q(x,y)}}\&CenterDot;\frac{W(x,y)}{\stackrel{\&OverBar;}{W(x,y)}}---\left(8\right)$

是光源光线空域分布和反射光线分布平均值的乘积，描述人眼中物体的亮度。

通常光源亮度本身是不变的，即：

$Q(x,y)\&ap;\stackrel{\&OverBar;}{Q(x,y)}---\left(9\right)$

于是将式(9)代入式(8)中可得：

$R(x,y)=\log \frac{W(x,y)}{\stackrel{\&OverBar;}{W(x,y)}}---\left(10\right)$

这也就说明了反射图像R(x，y)仅由反射光线分布和反射光线分布的平均值来决定，与光源亮度无关。因此，如果可以从原图像中计算出亮度图像，便可以得到反射图像的数学描述R(x，y)，进而实现颜色恒定性，动态范围压缩和边缘增强。

根据上述所要求的图像清晰化方法，其特征在于MSR方法的改进，具体包括以下步骤：

(1)对输入图像I(x，y)，环境函数F(x，y)进行快速傅里叶变换(FFT)，利用下式计算出图像R(x，y)：

H(u，v)＝fft(I(x，y))×fft(F(x，y))    (11)

H(x，y)＝ifft(H(u，v))                 (12)

$R(x,y)=\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}{W}_k(\log I_i(x,y)-\log H(x,y)),i=\mathrm{1,2},...,N---\left(13\right)$

(2)经过MSR处理后的图像往往存在色彩失真现象，为了获取较好的显示效果，通常需要进行颜色校正。线性对比度拉伸是一种简单而有效的方法，对于每一个谱分量，均可表示为：

$I_{\mathrm{out}}=\left\{\begin{array}{cc}0,& I_{\mathrm{in}}\&le;I_{\mathrm{low}}\\ \frac{I_{\mathrm{in}}-I_{\mathrm{low}}}{I_{\mathrm{hi}}-I_{\mathrm{low}}}\&CenterDot;d_{\max },& I_{\mathrm{low}}<I_{\mathrm{in}}<I_{\mathrm{hi}}\\ d_{\max },& I_{\mathrm{in}}\&GreaterEqual;I_{\mathrm{hi}}\end{array}\right.---\left(14\right)$

其中，I_in和I_out分别为输入输出，d_max表示输出设备的动态范围，如8bit系统为255，I_hi和I_low分别为欲获取图像灰度值得最大值和最小值。

显然，I_hi和I_out的选取是处理效果好坏的关键，I_hi和I_out由下式表示：

$\left\{\begin{array}{c}{I}_{\mathrm{hi}}=\mathrm{\&mu;}+3\mathrm{\&sigma;}\\ I_{\mathrm{low}}=\mathrm{\&mu;}-3\mathrm{\&sigma;}\end{array}\right.---\left(15\right)$

其中，μ和σ分别是该谱分量灰度值的均值和标准差。

步骤4、对步骤3所获得的H、I、S进行线性对比度展宽

线性对比度展宽处理，实际上是图像灰度值的线性映射。假设处理后图像与处理前图像的量化级数相同，即处理前后图像的灰度分布范围均为[0，255]，则如果需要进行对比度展宽，从原理上说，只能通过抑制非常重要信息的对比度来腾出空间给重要信息进行对比度的展宽。

设原图像的灰度为f(i，j)，处理后图像的灰度为g(i，j)，对比度线性展宽的原理示意图如图2所示。

原图中的重要景物的灰度分布假设在[f_a，f_b]的范围内，则对比线性展宽的目的是使处理后图像的重要景物的灰度分布在[g_a，g_b]的范围内，当Δf＝(f_a-f_b)＜Δg＝(g_a-g_b)，则可达到对比度展宽的目的。换句话说，如图4所示的该线性映射关系中的分段直线的斜率有α＜1，γ＜1，表示了非重要景物的抑制，β＞1则表示了重要景物的对比度展宽增强。

对比度线性展宽的计算公式如下表示：

$g(i,j)=\left\{\begin{array}{cc}\mathrm{\&alpha;f}(i,j),& 0\&le;f(i,j)<f_a\\ \mathrm{\&beta;}(f(i,j)-f_a)+g_a,& f_a\&le;f(i,j)<f_b\\ \mathrm{\&gamma;}(f(i,j)-f_b)+g_b,& f_b\&le;f(i,,j)<255\end{array}\right.---\left(16\right)$

(i＝1，2，…，m；j＝1，2，…，n)

其中，

图像的大小为m×n。并且α，β，γ分别称为背景区抑制系数，过渡区保持系数和目标去拉伸系数。为了增强对比度，对，目标段的灰度级进行拉伸，目的是获得最佳视觉效果。本文分段变换法的区间边界是通过键盘交互式输入的方式来确定，因此比较灵活。

步骤5、对步骤4所获得H、I、S进行对R、G、B的转换

HIS到RGB的转换公式如下：

当0＜H＜2π/3时，

$R=I\&CenterDot;(1+S\&CenterDot;\frac{\cos H}{\cos (\mathrm{\&pi;}/3-H)})$

B＝I·(1-S)

G＝3·I-(R+B)    (17)

当2π/3＜H＜4π/3时，

$G=I\&CenterDot;(1+S\&CenterDot;\frac{\cos (H-2\mathrm{\&pi;}/3)}{\cos (\mathrm{\&pi;}-H)})$

R＝I·(1-S)

B＝3·I-(G+B)    (18)

当4π/3＜H＜2π时，

$B=I\&CenterDot;(1+S\&CenterDot;\frac{\cos (H-4\mathrm{\&pi;}/3)}{\cos (5\mathrm{\&pi;}/3-H)})$

G＝I·(1-S)

R＝3·I-(R+B)    (19)

步骤6、对步骤5所获得的R、G、B进行合成，显示清晰化后的图像

对步骤5所获得的R、G、B进行合成，显示处理后的图像。在MATLAB中，使用cat函数，直接对其进行合成。

本发明的方法在进行图像清晰化时，首先不需要采集未被模糊的图像信息，可以直接会付出雾天模糊图像中的有效信息；其次，HSI颜色模型对人来说是自然、直观的，同时也有利于图像处理。这种彩色空间是从人的视觉系统出发，更符合人的视觉系统，从此颜色空间进行清晰化后的图像也更能适应人的视觉系统；最后，此方法的运算速度快，清晰化后的效果图也很明显。

Claims (6)

1.一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，其特征在于：该方法按照以下步骤实施：

步骤一：采集源图像，若源图像为黑白图像，则将其由byte型转换为double型；若为彩色图像，则将其分别从R、G、B三个通道的黑白像素值由byte型转换为double型；

步骤二：将R、G、B三个通道转换到H、I、S；

步骤三：对步骤二所获得的像素点分别进行改进的多尺度retinex即MSR算法，得到新的图像；

步骤四：对步骤三所获得的图像进行线性对比度展宽；

步骤五：将步骤四所获得的H、I、S分别转换到R、G、B；

步骤六：对步骤五所获得的R、G、B进行合成，显示清晰化后的图像。

2.根据权利要求1所述的一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，其特征在于：步骤二所述的将R、G、B三个通道转换到H、I、S，其具体实现过程如下：

若B＞6，

$H=2\mathrm{\&pi;}-\arccos \left(\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right)---\left(1\right)$

否则，

$H=\arccos \left(\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right)---\left(2\right)$

而S，I值如下：

$S=1-\frac{3\min (R,G,B)}{R+G+B}---\left(3\right)$

$I=\frac{R+G+B}{3}---\left(4\right)$

其中，R、G、B为彩色图像的一种彩色模型，分别代表红、绿、蓝，H、I、S也是一种彩色图像的彩色模型，分别代表色调、亮度和色饱和度。

3.根据权利要求1所述的一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，其特征在于：步骤三中“对步骤二所获得的像素点分别进行改进的多尺度retinex(MSR)算法，得到新的图像”其具体实现过程如下：

多尺度Multi Scale Retinex，即MSR算法是一种既很好完成图像的动态范围压缩，又能保证图像的色彩常恒性的图像增强方法，该算法可用下式描述：

$R(x,y)=\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}{W}_k(\log I_i(x,y)-\log [F_k(x,y)*I_i(x,y)\left]\right),i=\mathrm{1,2},...,N---\left(5\right)$

其中，下标i表示第i个光谱带，N表示光谱带个数，N＝1时代表灰度图像，N＝3代表彩色图像，W_k表示和F_k相关的权重函数，M表示环境函数的个数，环境函数表示为：

F(x，y)＝K·exp(-(x²+y²)/c²)    (6)

其中，c为尺度函数，K满足下式：

∫∫F(x，y)dxdy＝1    (7)

F_k选取不同的标准偏差c_k，用来控制环境函数的尺度，每个尺度的权重取相同值1/3，*代表卷积。

4.根据权利要求1所述的一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，其特征在于：步骤四中“对步骤三所获得的图像进行线性对比度展宽”，其具体实现过程如下：对比度线性展宽的计算公式如下表示：

$g(i,j)=\left\{\begin{array}{cc}\mathrm{\&alpha;f}(i,j),& 0\&le;f(i,j)<f_a\\ \mathrm{\&beta;}(f(i,j)-f_a)+g_a,& f_a\&le;f(i,j)<f_b\\ \mathrm{\&gamma;}(f(i,j)-f_b)+g_b,& f_b\&le;f(i,,j)<255\end{array}\right.---\left(16\right)$

(i＝1，2，…，m；j＝1，2，…，n)

其中，

图像的大小为m×n；并且α，β，γ分别称为背景区抑制系数，过渡区保持系数和目标去拉伸系数；为了增强对比度，对目标段的灰度级进行拉伸，目的是获得最佳视觉效果；分段变换法的区间边界是通过键盘交互式输入的方式来确定。

5.根据权利要求1所述的一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，其特征在于：步骤五中“将步骤四所获得的H、I、S分别转换到R、G、B”，其具体实现过程如下：

HIS到RGB的转换公式如下：

当0＜H＜2π/3时，

$R=I\&CenterDot;(1+S\&CenterDot;\frac{\cos H}{\cos (\mathrm{\&pi;}/3-H)})$

B＝I·(1-S)

G＝3·I-(R+B)    (17)

当2π/3＜H＜4π/3时，

$G=I\&CenterDot;(1+S\&CenterDot;\frac{\cos (H-2\mathrm{\&pi;}/3)}{\cos (\mathrm{\&pi;}-H)})$

R＝I·(1-S)

B＝3·I-(G+B)    (18)

当4π/3＜H＜2π时，

$B=I\&CenterDot;(1+S\&CenterDot;\frac{\cos (H-4\mathrm{\&pi;}/3)}{\cos (5\mathrm{\&pi;}/3-H)})$

G＝I·(1-S)

R＝3·I-(R+B)    (19)。

6.根据权利要求1所述的一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法，其特征在于：步骤六中“对步骤五所获得的R、G、B进行合成，显示清晰化后的图像”其具体实现过程如下：

使用MATLAB软件中的cat函数对直接R、G、B进行合成，显示清晰化后的图像。

Images