CN104299200A - 一种彩色增强的单幅图像去雨处理方法 - Google Patents

Abstract

本发明公开了一种彩色增强的单幅图像去雨处理方法，所述方法包括：S1、将图像由RGB空间转换到HSI空间，对HSI空间的H分量、I分量和S分量分别进行去雨处理；S2、对HSI空间中I分量进行直方图均衡化处理；S3、将图像由HSI空间转换回RGB空间，对去雨后的图像进行后处理。本发明能够改善图像的对比度，减小因雨滴去除导致的图像色彩信息损失，得到对比度较好的去雨图像。

Description

一种彩色增强的单幅图像去雨处理方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种彩色增强的单幅图像去雨处理方法。

背景技术

本发明主要用于计算机视觉中的图像恢复，户外视觉系统广泛应用于军事国防、医疗技术、智能交通、工业控制等领域，与我们的生活联系也越来越密切。但是恶劣天气严重影响了户外视觉系统的性能，所以对图像进行预处理，消除各种天气因素的影响，对于一个全天候的户外视觉系统来说是必不可少的。雨滴由于其复杂的光学、物理等特性对于雨天所摄取的图像质量造成很大的影响，去雨技术不仅可以恢复被雨滴影响的图像，而且有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。图像去雨技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来有关视频图像中雨滴检测与去除的研究越来越广泛。Starik等2003年最早提出中值法进行去雨，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到不受雨滴影响的原图像。这种方法简单快捷，但是只在雨势不大的情况下才能获得较为理想的效果。Garg和Nayar最先建立雨滴模型(K.Garg and S.K.Nayar,“Detection andremoval of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，而后提出了检测和去除的方法(K.Garg and S.K.Nayar,“Photorealistic rendering of rain streaks,”ACM Trans.Graph.,vol.25,no.3,pp.996–1002,Jul.2006；K.Garg and S.K.Nayar,“Vision and rain,”Int.J.Comput.Vis.,vol.75,no.1,pp.3–27,Oct.2007)文中研究了雨的动力学和光学特性，提出一种帧差法进行雨滴检测，利用前后帧图像信息进行雨滴去除的方法。通过拟合同一雨滴中的像素在受雨滴影响前后的亮度差值与背景亮度的线性比值辨别是否为雨滴，但雨滴通常面积较小，拟合易受噪声干扰，同时该方法还需已知摄像曝光时间。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,NgT K.Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the 2006International Conference on Multimedia and Expo.Toronto,Canada:IEEE,)提出K-means聚类的方法检测雨滴，并加入了雨滴的色彩特性来减少检测的误差，实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rain and snow infrequency space.Internatio-nal Journal of Computer Vision,2010, )基于全局模型获取雨雪典型的频域特征，对降雨视频序列做三维傅里叶变换，在频域消除雨滴，再反变换至视频图像，但是这种方法要求雨雪有较高的下降速度，适用范围受限。2008年Brewer N等假设已知曝光时间、焦距等参数的前提下，提出利用雨的物理特征，如雨线长宽比、雨滴面积等来实现雨滴的检测(Brewer N,Liu N J.Using the shape characteristics of rain to identify andremove rain from video.In:Proceeding of the 2008Joint IAPR InternationalWorkshop on Structural,Syntactic,and Statistical Pattern Recognition.Berlin,Hei-delberg:Springer-Verlag,2008,5342:)，但是由于噪声的影响，会对雨线长宽比等参数造成干扰，从而导致无法准确的进行雨滴检测。

之后出现了基于单幅图像去雨的方法，基于单幅图像去雨算法是其中一种较为新颖的算法，不仅可以对单幅图像进行去雨，也可应用到视频去雨当中，所以使用范围更广。Yu-Hsiang Fu等(Fu Y H,Kang L W,Lin C W,et al.Single-frame-based rain removal via image decomposition.In:Proceeding of 2011IEEEInternatio nal Conference on Acoustics,Speech and Signal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)和Li-Wei Kang等(Kang L W,Lin CW,Fu Y H.Automatic single-image-based rain streaks removal via imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了使用图像分解的方法进行单幅图像去雨；De-An Huang等(Huang D A,KangL W,Yang M C,et al.Context-aware single image rain removal.In:Proceeding of2012IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEE Press,2012:164-169.)提出了通过情景感知去雨；Jaina George等(George J,Bhavani S,Jaya J.Certain explorations on removal of rain streaks usingmorphological component analysis.International Journal of Engineering Research&Technology.2013,2(2).)提出使用形态学成分分析的方法进行去雨；Duan-Yu Chen等(Chen D Y,Chen C C,Kang L W.Visual depth guided image rain streaks removalvia sparse coding.In:Proceeding of2012International Symposium on IntelligentSignal Processing and Communications Systems.New Taipei,Taiwan:IEEE,2012:151-156.)通过引导滤波和稀疏编码进行去雨。

以上雨滴检测与去除方法都是在二值图像上进行雨滴的检测与去除，可以进行彩色图像去雨的方法在雨滴去除后图像的色彩对比度也被削弱。

综上所述，现有技术具有以下缺点：

现有技术主要处理的是灰度图像，应用范围较小；

经过去雨后的图像色彩及边缘细节信息损失较多，图像视觉效果不够好。

对于夜间等较暗情况下拍摄的图像处理效果更加不理想。

因此，针对上述技术问题，有必要提供一种彩色增强的单幅图像去雨处理方法。

发明内容

有鉴于此，本发明的目的在于提供一种彩色增强的单幅图像去雨处理方法。

为了达到上述目的，本发明实施例提供的技术方案如下：

一种彩色增强的单幅图像去雨处理方法，所述方法包括：

S1、将图像由RGB空间转换到HSI空间，对HSI空间的H分量、I分量和S分量分别进行去雨处理；

S2、对HSI空间中I分量进行直方图均衡化处理；

S3、将图像由HSI空间转换回RGB空间，对去雨后的图像进行后处理。

作为本发明的进一步改进，所述步骤S1中“将图像由RGB空间转换到HSI空间”具体为：由基于笛卡尔直角坐标系的单位立方体的RGB空间转换为基于圆柱极坐标的双锥体的HSI空间。

作为本发明的进一步改进，所述步骤S1中“将图像由RGB空间转换到HSI空间”包括几何推导算法、坐标变换算法、分段定义算法。

作为本发明的进一步改进，所述几何推导算法具体为：

归一化RGB值：

$r=\frac{R}{R+G+B},g=\frac{G}{R+G+B},b=\frac{R}{R+G+B}.;$

计算H、S、I：

$h=\left\{\begin{array}{c}{\cos }^{-1}\left\{\frac{0.5[(r-g)+(r-b)]}{{[{(r-g)}^2+(r-b)(g-b)]}^{1/2}}\right\},h\∈[0,\mathrm{\π}],b\≤g\\ 2\mathrm{\π}{\cos }^{-1}\left\{\frac{0.5[(r-g)+(r-b)]}{{[{(r-g)}^2+(r-b)(g-b)]}^{1/2}}\right\},h\∈[\mathrm{\π},2\mathrm{\π}],b>g\end{array}\right.,$

s＝1-3min(r,g,b),s∈[0,1]，

i＝(R+G+B)/(3.255),i∈[0,1]；

将H、S、I的值分别转换为[0,360]，[0,100]，[0,255]范围：

H＝h×180/π；S＝s×100；I＝i×255.。

作为本发明的进一步改进，所述步骤S3中“由HSI空间转换回RGB空间”具体为：

R＝255×r；G＝255×g；B＝255×b.

h＜２π/3时，b＝x；r＝y；g＝z,

2π/3≤h＜4π/3时，h＝h-2π/3；r＝x；g＝y；b＝z,

4π/3≤h＜2π时,h＝h-4π/3；g＝x；b＝y；r＝z.

x＝i·(1-s)

$y=i\·[1+\frac{s\·\cos \left(h\right)}{\cos (\mathrm{\π}/3-h)}]$

其中，z＝3i-(x+y)，h＝H·S/180；s＝S/100；i＝I/255。

作为本发明的进一步改进，所述步骤S2中的直方图均衡化处理具体为：

给出原始图像的所有灰度级S_k(k＝0,1,...,L-1)；

统计原始图像各灰度级的像素数n_k；

根据原始图像，计算灰度直方图：其中，n为总像素数，n_k为灰度级S_k的像素数；

计算原始图像的累积直方图： $t_E=\mathrm{EH}\left(S_k\right)=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}\frac{n_i}{n}=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}{P}_s\left(S_i\right),(0\≤S_k\≤1,k=\mathrm{0,1},...,L-1);$

取整计算： $U_k=\mathrm{int}[(N-1)t_k+\frac{k}{N}];$

确定映射关系：S_k→U_k；

统计新直方图各灰度级U_k的像素数目n_k；

计算新直方图：

本发明具有以下有益效果：

将RGB空间转换到更符合视觉特性的HSI空间进行雨滴的去除；

因检测到HSI空间的三个分量均有雨滴，对三个分量进行雨滴的去除使去雨效果更好；

对去雨后的I分量进行亮度增强，再结合H、S分量转换到RGB空间，能够改善图像的对比度，减小因雨滴去除导致的图像色彩信息损失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种彩色增强的单幅图像去雨处理方法。

图2a、2b分别为本发明一具体实施方式中HSI空间与RGB空间的模型示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明公开了一种彩色增强的单幅图像去雨处理方法，包括以下步骤：

S1、将图像由RGB空间转换到HSI空间，对HSI空间的H(色调)分量、I(亮度)分量和S(饱和度)分量分别进行去雨处理；

S2、对HSI空间中I分量进行直方图均衡化处理；

S3、将图像由HSI空间转换回RGB空间，对去雨后的图像进行后处理。

以下结合具体实施方式对本发明进行具体说明。

HSI色彩空间是从人的视觉系统出发，用色调(Hue)、饱和度(Saturation)和亮度(Intensity)来描述色彩。此模型有二个特点：其一，I分量与图像的彩色信息无关；其二，H和S分量与人感受颜色的方式是紧密相连的。HSI色彩空间可以用一个圆锥空间模型来描述。通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩处理和识别，人的视觉系统经常采用HSI色彩空间，且在HSI色彩空间中可以对三个分量单独进行处理，这使得HSI色彩空间广泛应用于图像处理领域。

本发明单独进行I分量的增强，也可以改变图像的色彩信息，这便于对图像的对比度进行增强，以改善图像视觉效果。

本实施方式中将图像由RGB空间转换到HSI空间具体为：

RGB空间向HSI空间的转换是由一个基于笛卡尔直角坐标系的单位立方体(参图2a)向基于圆柱极坐标的双锥体(参图2b)的转换，基本要求是将RGB中的亮度I分量分离，将色度分解为色调H和饱和度S，并用角向量表示色调。

由RGB空间转换到HSI空间有几何推导、坐标变换、分段定义等多种算法，我们采用比较经典的几何推导算法，思路是先分离出亮度信息，将三维空间转为二维，在二维平面内利用解析几何的向量点积公式求出HSI模型的色调分量。具体过程如下：

1、归一化RGB值：

$r=\frac{R}{R+G+B},g=\frac{G}{R+G+B},b=\frac{R}{R+G+B}.;$

2、计算H、S、I：

$h=\left\{\begin{array}{c}{\cos }^{-1}\left\{\frac{0.5[(r-g)+(r-b)]}{{[{(r-g)}^2+(r-b)(g-b)]}^{1/2}}\right\},h\∈[0,\mathrm{\π}],b\≤g\\ 2\mathrm{\π}{\cos }^{-1}\left\{\frac{0.5[(r-g)+(r-b)]}{{[{(r-g)}^2+(r-b)(g-b)]}^{1/2}}\right\},h\∈[\mathrm{\π},2\mathrm{\π}],b>g\end{array}\right.,$

s＝1-3min(r,g,b),s∈[0,1]，

i＝(R+G+B)/(3·255),i∈[0,1]；

3、将H、S、I的值分别转换为[0,360]，[0,100]，[0,255]范围：

H＝h×180/π；S＝s×100；I＝i×255.。

RGB空间向HSI空间的转换完成后，分别对H、S、I三个分量均使用现有的单幅图像去雨算法进行雨滴去除。

然后对I分量进行直方图均衡化处理。

直方图均衡化处理的中心思想是将原始图像的灰度直方图从比较集中地某个灰度区间转变为在全部灰度范围内的均匀分布，即把给定图像的直方图分布改成均匀分布直方图分布，由此扩大了像素灰度的动态范围，从而增强了图像的对比度。

直方图均衡化算法步骤为：

1、给出原始图像的所有灰度级S_k(k＝0,1,...,L-1)；

2、统计原始图像各灰度级的像素数n_k；

3、根据原始图像，计算灰度直方图：其中，n为总像素数，n_k为灰度级S_k的像素数；

4、计算原始图像的累积直方图： $t_E=\mathrm{EH}\left(S_k\right)=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}\frac{n_i}{n}=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}{P}_s\left(S_i\right),(0\≤S_k\≤1,k=\mathrm{0,1},...,L-1);$

5、取整计算： $U_k=\mathrm{int}[(N-1)t_k+\frac{k}{N}];$

6、确定映射关系：S_k→U_k；

7、统计新直方图各灰度级U_k的像素数目n_k；

8、计算新直方图：

最后将均衡化的I分量与原来的H、S分量组合在一起，转换到RGB空间。

HSI-RGB转换公式是RGB-HSI公式的逆过程，如下所示：

h＝H·π/180；s＝S/100；i＝I/255

x＝i·(1-s)

$y=i\·[1+\frac{s\·\cos \left(h\right)}{\cos (\mathrm{\π}/3-h)}]$

z＝3i-(x+y)

h＜2π/3时，b＝x；r＝y；g＝z,

2π/3≤h＜4π/3时，h＝h-2π/3；r＝x；g＝y；b＝z,

4π/3≤h＜2π时,h＝h-4π/3；g＝x；b＝y；r＝z.

以上公式得到的r、g、b是归一化值，范围在[0,1]之间，因此需乘以255得到最终的RGB值，即R＝255×r；G＝255×g；B＝255×b.。

本发明通过将RGB图像转换为HSI颜色空间，再利用去雨算法对H、S、I通道分别进行单幅图像去雨处理，对去雨后的I分量进行增强后与H、S分量转换回RGB图像，从而实现单幅彩色图像去雨处理，提高了去雨算法的使用范围。

与现有技术相比，本发明具有以下有益效果：

将RGB空间转换到更符合视觉特性的HSI空间进行雨滴的去除；

因检测到HSI空间的三个分量均有雨滴，对三个分量进行雨滴的去除使去雨效果更好；

对去雨后的I分量进行亮度增强，再结合H、S分量转换到RGB空间，能够改善图像的对比度，减小因雨滴去除导致的图像色彩信息损失。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种彩色增强的单幅图像去雨处理方法，其特征在于，所述方法包括：

S1、将图像由RGB空间转换到HSI空间，对HSI空间的H分量、I分量和S分量分别进行去雨处理；

S2、对HSI空间中I分量进行直方图均衡化处理；

S3、将图像由HSI空间转换回RGB空间，对去雨后的图像进行后处理。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中“将图像由RGB空间转换到HSI空间”具体为：由基于笛卡尔直角坐标系的单位立方体的RGB空间转换为基于圆柱极坐标的双锥体的HSI空间。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1中“将图像由RGB空间转换到HSI空间”包括几何推导算法、坐标变换算法、分段定义算法。

4.根据权利要求3所述的方法，其特征在于，所述几何推导算法具体为：

归一化RGB值：

$r=\frac{R}{R+G+B},g=\frac{G}{R+G+B},b=\frac{B}{R+G+B}.;$

计算H、S、I：

$h=\left\{\begin{array}{c}{\cos }^{-1}\left\{\frac{0.5[(r-g)+(r-b)]}{{[{(r-g)}^2+(r-b)(g-b)]}^{1/2}}\right\},h\∈[0,\mathrm{\π}],b\≤g\\ 2\mathrm{\π}-{\cos }^{-1}\left\{\frac{0.5[(r-g)+(r-b)]}{{[{(r-g)}^2+(r-b)(g-b)]}^{1/2}}\right\},h\∈[\mathrm{\π},2\mathrm{\π}],b>g\end{array}\right.,$

s＝1-3min(r，g，b)，s∈[0，1]，

i＝(R+G+B)/(3·255)，i∈[0，1]；

将H、S、I的值分别转换为[0，360]，[0，100]，[0，255]范围：

H＝h×180/π；S＝s×100；I＝i×255.。

5.根据权利要求4所述的方法，其特征在于，所述步骤S3中“由HSI空间转换回RGB空间”具体为：

R＝255×r；G＝255×g；B＝255×b.

h＜2π/3时，b＝x；r＝y；g＝z，

2π/3≤h＜4π/3时，h＝h-2π/3；r＝x；g＝y；b＝z，

4π/3≤h＜2π时，h＝h-4π/3；g＝x；b＝y；r＝z.

x＝i·(1-s)

$y=i\·[1+\frac{s\·\cos \left(h\right)}{\cos (\mathrm{\π}/3-h)}]$

其中，z＝3i-(x+y)，h＝H·π/180；s＝S/100；i＝I/255。

6.根据权利要求1所述的方法，其特征在于，所述步骤S2中的直方图均衡化处理具体为：

给出原始图像的所有灰度级S_k(k＝0，1，...，L-1)；

统计原始图像各灰度级的像素数n_k；

根据原始图像，计算灰度直方图：其中，n为总像素数，n_k为灰度级S_k的像素数；

计算原始图像的累积直方图： $t_E=\mathrm{EH}\left(S_k\right)=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}\frac{n_i}{n}=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}{P}_S\left(S_i\right),(0\≤S_k\≤1,k=\mathrm{0,1},...,L-1);$

取整计算： $U_k=\mathrm{int}[(N-1)t_k+\frac{k}{N}];$

确定映射关系：S_k→U_k；

统计新直方图各灰度级U_k的像素数目n_k；

计算新直方图：