发明内容
本发明的目的在于提供一种能够解决上述问题的一种基于改进Retinex的图像增强方 法和系统。
本发明采用的技术方案如下:
一种改进Retinex的图像增强方法,该方法包括如下步骤:
a.将待处理的图像从RGB域转换到HSV域上;
b.对于V分量,对其进行小波分解,分解出高频分量和低频分量;
c.对于低频分量,采用多通道双边滤波Retinex方法进行处理;
d.对于高频分量,采用拉普拉斯算子进行图像锐化处理;
e.将处理后的高频分量和低频分量进行小波重构成新的V分量;
f.对于S分量,采用分段对数拉伸的方法进行优化;
g.将图像从HSV域转换到RGB域,得到最终的处理图像。
本发明的进一步改进在于:所述的步骤a将图像从RGB域转换到HSV域上
本发明的进一步改进在于:所述的步骤b,对V分量进行二维小波变换得到高频分量 和低频分量,采用的公式如下:
本发明的进一步改进在于:所述的步骤c,对低频分量进行多通道双边滤波Retinex 处理,该滤波器的权函数定义为:w[(x,y),(x',y')]=ws[(x,y),(x',y')]×wR[(x,y),(x',y')]。
本发明的进一步改进在于:所述的步骤d,对高频分量进行锐化处理来突出图像的边 缘信息。
本发明的进一步改进在于:所述的步骤f对S分量进行分段线性处理。
处理公式:S(x′,y′)=a×lg[1+S(x,y)];其中a表示拉伸系数,定义为
本发明的进一步改进在于:该系统包括图像采集模块,图像处理模块和图像输出模块, 其中:
所述图像采集模块用于在不同环境下的图像采集工作;
所述图像处理模块用于对采集到的图像进行数学处理;
所述图像输出模块用于对处理结果进行展示。
本发明的进一步改进在于:所述图像采集模块的作用是将采集到的图像从RGB域转换 到HSV域。
本发明的进一步改进在于:所述图像处理模块的作用是对S分量和V分量进行处理。
本发明的进一步改进在于:所述图像输出模块的作用是将图像从HSV域转化到RGB域, 并且进行打印展示。
有益效果:
第一:对于进行增强处理后的图像细节和颜色保真度不能两全的问题,本方法提出在 HSV域中进行运算,因为HSV能够很好的把色调分量和亮度分量区分开,进行处理时,不 改变原图像色彩的比例。
第二:对于在景深突变的地方产生“光晕”现象的问题,本方法采取一种全新的双边 滤波器来代替传统的高斯滤波器进行滤波,将图像进行小波分解,解决了双边滤波器保存 过多高频信息的缺点。同时,为了适应不同输入图像产生光晕大小不同的情况,本方法将采用多通道结合的方法来进行处理,以达到更好的处理效果。
第三:对于运算速度慢,效率低的问题,本方法将图像分为不同部分,对不同的部分 被采用不同的处理方法,大幅提高处理速度,具有更好的实时性。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本 发明进行进一步详细说明。
本发明讲述了本发明提出了传统的单尺度Retinex(SSR)图像增强方法采用高斯滤波 器对图像的RGB三个通道分别进行滤波处理,最后将处理后的三通道图合成为新的图像。
Retinex理论的基本假设是基于反射照度模型所提出的。观察者所观察到的图像S相 当于入射光L和物体反射率R的乘积,可以表示为:
S(x,y)=L(x,y)R(x,y) (1)
成像设备所搜集到的图像是S(x,y),我们想要得到的理想图像是物体反射出来的图像 R(x,y),将反射分量R(x,y)从S(x,y)中分离出来,就必须要清楚S(x,y)和L(x,y)之间的 关系,这就需要运用数学方法进行近似估计。最经典的估计方法是将入射光分量L(x,y)用 高斯函数和进入观察者眼中的分量S(x,y)的卷积来表示:
L(x,y)=G(x,y)*S(x,y) (2)
G(x,y)是所定义的高斯函数,表示为:
其中,c表示高斯函数的滤波半径,K作为一个常数由归一化条件
∫∫G(x,y)dxdy=1 (4)
来确定的,c和K也可以表示为:
式中δ为标准差,也称尺度参数
将关系式左右两边进行对数运算可以得到:
Ri(x,y)=lnSi(x,y)-ln[G(x,y)*Si(x,y)] (5)
公式中,i表示图像R,G,B三个通道,将三个通道分别进行运算后即可合成最后的图像。
我们可以观察,控制高斯滤波器的只有一个参数是空间因子c,当c较小时,处理后的 图像细节突出,但是图像的颜色不自然;当c较大时,处理后的图像色彩比较自然,但图像的细节不够,由于高斯滤波器在卷积时只是在空间上的加权平均,因此在景深突变的地方还会产生光晕现象。
为了改善单尺度Retinex方法的缺陷,以单尺度Retinex算法为基础,同时处理出多 幅不同尺度的图像,最后再取加权得到最终的图像结果,以此改善单尺度Retinex模型所 带来的局限性,这种方法称为多尺度(MSR)Retinex图像增强方法,其原理定义式如下:
上式中,N表示尺度的个数;ωn表示为尺度的加权系数并且满足
该方法虽然可以在一定程度上缓解图像细节和颜色保真度上的矛盾问题,到但如果加 权系数取值不合适,还是会产生较为严重的色彩失真。同时,不仅提高了算法的复杂度, 出现光晕现象的问题也没有得到解决。
本发明方案
本发明讲述了一种新的图像增强的方法及系统,其主要的目的是解决传统Retinex增 强方法的效果差,速度慢,效率低等问题。可以较好地解决图像细节和颜色保真度的冲突 问题,改善光晕现象。
所述装置包括图像采集单元,基于华为海思Hi3519AV100处理器的FEA3519A-C图像 处理核心板,PC端控制单元和图像输出模块,其结构示意如图2所示。
该方法主要包括以下四个部分:1.将待处理的图像从RGB域转换到HSV域;2.对V域进行滤波处理,对低频分量用多通道双边滤波器代替传统的高斯滤波器,来改善细节和颜色的冲突问题以及产生的光晕现象,对高频分量再进行平滑锐化处理来突出图像的边缘信息;3.对S域进行自适应对数拉伸运算,改变图像的饱和度,改善视觉效果;4.将经过处 理的HSV图像转化成RGB图像,最终合成为新的图像。下面是对本发明的图解:
第一部分:将待处理的图像转换到HSV域上
对图像的像素进行运算处理时,最常用的方法是把图像分解为RGB三通道图,对每一 个通道单独处理后,再合成为最终的结果图像。这种方法虽然简单好用,但是三通道的相 关性较强,同时改变三个通道的数据,可能会导致最终合成的图像颜色比例失调而导致色 彩失真。所以本发明不使用传统的RGB三通道域,而是将RGB域转换到HSV域上。HSV模型与 RGB模型不同,分别用H、S、V三个参数来表示,H表示颜色的波长,称为色调;S表示颜色的鲜艳程度,称为饱和度;V表示颜色的亮度,称为强度。
HSV模型有以下两个特点:一、强度分量V与颜色无关。二、色调H和饱和度S与人眼感 受颜色的方式是基本相同的,基本上反映出人类对颜色感知的基本属性。这两个特点可以 使处理后的图像保持原有的色彩比例,在很大程度上避免图像产生色彩失真的现象。
将R、G、B三个值设置为0到1的实数,max代表它们三个中的最大值,min代表它 们三个中的最小值;H的范围是0度到360度,S和V是0到1的实数,从RGB到HSV有 下列转换:
第二部分:对V分量进行小波变换、双边滤波和锐化处理
由于高斯滤波器自身的局限性而导致图像产生光晕现象,本发明选取了一种新的滤波 器来代替传统的高斯滤波器,这种滤波器在满足高斯滤波器空间上作用的同时,还要考虑 到亮度上的相似性,这种滤波器叫作双边滤波器。但双边滤波器在处理的过程中由于保存了过多的边缘高频信息,对图像本身的高频噪声没有滤掉,所以双边滤波器只适合过滤掉 低频的部分。为了将图像的高频分量和低频分量分开,本发明使用二维的离散小波变换的 方法,对待处理图像进行高低频分离。
1.二维小波分解:
二维离散小波分解的表达式为:
上式中,表示的是图像的低频系数;/>表示的是图像的三个高频 系数,分别表示为H,V,D;M,N表示图像的宽和高,/>表示二维小波尺度函数;表示水平、垂直、对角方向的小波函数,将图像的高频分量和低频分量分开后,对低频分量进行双边滤波处理,对高频分量进行平滑、锐化处理,使图像达到良好的处理效果。
2.低频分量进行滤波处理:
双边滤波器的权函数w定义为:
w[(x,y),(x',y')]=ws[(x,y),(x',y')]×wR[(x,y),(x',y')] (11)
定义式中(x,y)是当前被处理的像素点,Ω是像素点(x,y)的领域且(x',y')∈Ω,ws[(x,y),(x',y')]是空间因子,wR[(x,y),(x',y')]是亮度因子,表达式分别为:
在上述两个表达式中,δS和δR分别表示空间参数和亮度参数,V(x,y)表示强度分量V所对应像素的灰度值,同理V(x',y')表示邻域上像素的灰度值。从表达式不难看出,双边滤波器也是对像素的加权平均,但是在加权的过程中还会考虑强度分量的变化情况。
它的原理可以概括为:两个像素不仅在空间上相近,在强度特征上也要相似。
按照反射照度的模型,图像的入射分量可以表示为双边滤波函数与成像设备接收到图 像分量的卷积:
上式中,L(x,y)表示入射分量,双边滤波器的的加权系数是空间因子和强度因子的乘 积,该滤波器中的空间因子和高斯滤波器中的空间因子是一个概念,随着与像素中心点距 离的增加,空间因子也逐渐减小;强度因子主要反映像素间强度值的变化,强度值相差越大,强度因子就越小,当邻域内像素强度值的差异足够小时,双边滤波器可以等效为高斯 滤波器。
根据反射照度模型的公式,可以得到图像反射分量为:
R(x,y)=lnV(x,y)-lnL(x,y) (15)
反射分量R(x,y)就是经过本发明算法处理的新的强度分量V(x,y),本方法在以上双边 滤波器的基础上继续改进,采用多通道融合的处理方法见附图4,使其能够适应多元的应 用场景;
对于三个不同的双边滤波器分别设置不同的参数来达到多通道的处理效果,参数设置 为如下;
滤波器1为δS1和δR1;滤波器2为1.3*δS1和1.3*δR1;滤波器3为1.5*δS1和1.5*δR1。
3.高频分量进行平滑、锐化处理:
图像的高频分量包含着图像的边缘细节信息,为了突出图像的轮廓,本发明先采用直 方图均衡化的方法增加图像的对比度,接着对图像进行锐化处理,进一步突出图像的细节 和轮廓。
直方图均衡化处理的根本思想就是其直方图从范围较窄的灰度区间变为范围更宽的 灰度区间,使其更加“均匀”的分布。直方图均衡化也可以理解为一种对图像进行非线性 拉伸的方法,一个重新分配像素的过程。在直方图均衡化的过程中,其映射原理如下:
上式中,n表示图像中像素的总和,L表示灰度级的总数。
本发明采用二维Laplacian算子来对图像进行锐化处理以突出图像的边缘信息,算子 模板如下:
第三部分:将S分量进行自适应对数拉伸运算
图像增强的核心目的就是要使图像的对比度得到增强,增强对比度就表现为拉伸强度 V。随着强度的增加,饱和度会出现降低的趋势,即拉伸了V,S也会随之降低,这样的话, 视觉效果就会降低。因此,为了使经过处理的图像保持或增强原有的鲜艳度,我们需要对 饱和度S进行拉伸。由于不同区域的饱和度大小各异,传统的线性拉伸会使处理后的图像 变得很“僵硬”。因此,本发明根据强度V的改变来选取拉伸系数,以求达到最好的拉伸效果。
拉伸公式如下:
S(x',y')=a×lg[1+S(x,y)] (17)
a为拉伸系数,S(x',y')表示处理后的饱和度分量,系数的大小与V分量的拉伸程度呈 正相关,本方法定义为:
第四部分:将处理后图像从HSV域转换到RGB域
首先,将经过处理的小波系数进行重构,重构出的结果就是最终的V分量,小波重构 公式如下:
将经过算法处理后的H、S、V分量逆变换为R、G、B分量,得到最终处理后的图像, 转换公式如下:
在上述公式中,p=V×(1-S),
本发明的有益效果:
第一:因为卷积运算的复杂程度远远超出线性变换和非线性变化的复杂程度,在现行 的图像增强中一般会对RGB三个通道进行高斯滤波最后在进行加权运算得到新的RGB图像,这样的话,算法的复杂度会大幅提高,运算速度会很慢。本方法对V(亮度)分量进行多通道双边滤波处理,对S(饱和度)分量进行对数拉伸运算,大大降低了算法的复杂度, 运算速度会有显著的提高。
第二:直接对RGB三通道进行处理的结果是会改变原来图像的颜色比例,使图像产生失真。本发明不直接对RGB三通道进行处理,而是将图像从RGB域上转换到HSV域上,在保证原始图像的颜色比例的基础上对强度V进行处理。
第三:为了适应不同场景下的图像输入,本发明采用多通道融合处理方法,以达到不 同场景下较好的处理效果。
第四:本发明对V分量进行小波分解,对低频分量进行双边滤波处理,对高频分量进 行平滑、锐化处理,进一步提高了算法的性能。
以上仅为本发明的较佳实施例而已。