CN110473152B - 基于改进Retinex算法的图像增强方法 - Google Patents

Abstract

本发明公开了一种基于改进Retinex的图像增强方法，使用引导滤波代替高斯滤波估算亮度图像，利用Sobel边缘检测器得出多尺度引导滤波图像的权重因子，对于彩色图像，将RGB色彩空间转换到YUV色彩空间进行增强处理，之后再转回RGB色彩空间显示。本发明不仅在运算速度上得到显著的提高，而且能够使得色彩恢复的效果更好。

Description

基于改进Retinex算法的图像增强方法

技术领域

本发明属于图像处理技术领域，具体为一种基于改进Retinex算法的图像增强方法。

背景技术

视频监控、智能交通和全天候作战等领域中，不可避免的会获取到成像质量差的低照度图像。由于光照分布不均匀，或者光源的缺乏，导致图像在亮度、对比度和细节表现等方面的严重退化。这些退化图像使得人们难以从中获取有效的信息，影响观察效果。因此，关于低照度图像增强技术的研究是图像处理领域的一个重点。

针对低照度图像的增强方法，主要使用的有Retinex算法，其是一种常用的建立在科学实验的科学分析基础上的图像增强算法，近40年来，研究人员模仿人类视觉系统发展了Retinex算法，从单尺度Retinex算法(SSR)改进成多尺度加权平均的Retinex算法(MSR)，再发展成彩色恢复多尺度Retinex算法(MSRCR)。

尽管Retinex算法的发展已经有了很大的提升，但是其在处理低照度图像的时候仍然存在不足，由于传统Retinex算法使用高斯滤波函数估算亮度图像，导致得到的增强图像会出现光晕伪影，除此之外，在处理彩色图像时，MSRCR虽然能够对色彩恢复有一定的帮助，但是由于其算法中涉及大量的参数，且由经验设置，限制泛化能力，导致会出现非自然的色彩。

发明内容

本发明的目的在于提出了一种基于改进Retinex的图像增强方法。

实现本发明目的的技术方案为：一种基于改进Retinex算法的图像增强方法，具体步骤为：

步骤1、对图像类型进行判断，判断结果为灰度图像，则进行步骤2，判断结果为彩色图像，则进行步骤4；

步骤2、利用改进的Retinex算法得到灰度图像的反射分量；

步骤3、对得到的反射分量进行gamma矫正，得到增强后的灰度图像；

步骤4、将彩色图像从RGB色彩空间转换到YUV色彩空间；

步骤5、对Y分量进行步骤2的处理得到反射分量R_y(x,y)；

步骤6、利用反射分量R_y(x,y)对UV分量进行均值校正得到校正后图像；

步骤7、将校正后图像从YUV色彩空间转换到RGB色彩空间进行显示。

优选地，所述步骤2中利用改进的Retinex算法得到图像的反射分量R(x,y)的具体方法为：

步骤2-1、对尺度半径r进行自适应取值：

选择三个不同的尺度半径分别为r₁、r₂和r₃，具体分别为：

r_min＝[min(h,w)/2^N]

r_max＝[min(h,w)/2-1]

r_mid＝[(r_min+r_max)/2]

r₁＝(1+r_min)/2

r₂＝(r_min+r_mid)/2

r₃＝(r_mid+r_max)/2

步骤2-2、使用Sobel边缘检测算子得出多尺度引导滤波图像的自适应权重；

步骤2-3、根据步骤2-2中求得的自适应权重因子以及引导滤波函数得到多尺度的反射分量R_g(x,y)如下：

其中，ω_n表示尺度的权重因子，S(x,y)是原始图像，G_i(x,y)是由引导滤波估算出的亮度图像，i＝1,2,3。

优选地，通过引导滤波函数计算得到三个不同尺度的亮度图像的公式为：

G＝guidedfilter(I,p,r,ε)

其中，G是引导滤波的输出图像，guidedfilter是引导滤波函数，I是引导图像，p滤波输入图像，ε是正规化因子，r是尺度半径。

优选地，利用Sobel边缘检测算子得到多尺度亮度图像的自适应权重的具体方法为：

确定Sobel边缘检测的四个检测方向分别为0°、45°、90°和135°，四个方向的卷积核为：

四个方向的卷积结果为：

Z_0,i＝∑(V(x_i,y_i)).*G₀

Z_45,i＝∑(V(x_i,y_i)).*G₄₅

Z_90,i＝∑(V(x_i,y_i)).*G₉₀

Z_135,i＝∑(V(x_i,y_i)).*G₁₃₅

其中，V(x_i,y_i)代表图像像素(x_i,y_i)的3*3邻域；

根据四个方向的卷子结果，确定梯度图像：

根据梯度图像确定原始图像的归一化图像为：

根据图像梯度信息确定三个不同尺度的自适应权重因子，计算公式如下：

ω₁(x,y)＝(h_i(x,y))/3

ω₂(x,y)＝(1-ω₁(x,y))/2

ω₃(x,y)＝(1-ω₁(x,y))/2

优选地，步骤4将彩色图像从RGB色彩空间转换到YUV色彩空间，转换公式为：

Y＝0.299R+0.587G+0.114B

U＝-0.147R-0.289G+0.436B

V＝0.615R-0.515G-0.100B

优选地，步骤6利用反射分量R_y(x,y)对UV分量进行均值校正的公式为：

其中，A_U表示校正后的U分量值，U表示未经校正的U分量值；A_V表示校正后的V分量值，V表示未经校正的V分量值；Y表示未经校正的Y分量值，R_Y表示增强后的Y分量值，也即反射分量R_y(x,y)。

优选地，步骤7中将校正后图像从YUV色彩空间转换回RGB色彩空间，转换公式为：

R＝A_Y+1.14A_V

G＝A_Y-0.39A_U-0.58A_V

B＝A_Y+2.03A_U

将增强校正后图像从YUV色彩空间转换回RGB色彩空间进行显示。

本发明与现有方法相比，其显著优点：(1)本发明使用引导滤波代替高斯滤波估算亮度图像，能够有效的去处光晕伪影；(2)本发明引入Sobel边缘检测器，针对图像梯度信息，计算出多尺度引导滤波图像的权重因子，能够有效的提升图像细节保留的能力；(3)本发明将图像从RGB色彩空间转换到YUV色彩空间对Y分量单独进行增强处理，不仅在运算速度上得到显著的提高，而且能够使得色彩恢复的效果更好。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于改进Retinex的图像增强方法的流程图。

图2是灰度图像原图。

图3是经过SSR算法增强过后的灰度图像。

图4是经过MSR算法增强过后的灰度图像。

图5是经过改进Retinex算法增强过后的灰度图像。

图6是红外图像原图。

图7是经过SSR算法增强过后的红外图像。

图8是经过MSR算法增强过后的红外图像。

图9是经过改进Retinex算法增强过后的红外图像。

图10是伪彩色图像原图。

图11是经过MSR算法增强过后的伪彩色图像。

图12是经过MSR算法增强过后的伪彩色图像。

图13是经过改进Retinex算法增强过后的伪彩色图像。

具体实施方式

如图1所示，一种基于改进Retinex算法的图像增强方法，包括以下步骤：

步骤1、对图像类型进行判断，判断结果为灰度图像，则进行步骤2，判断结果为彩色图像，则进行步骤4。

步骤2、利用改进的Retinex算法得到灰度图像的反射分量Rg(x,y)；

步骤2-1、对尺度半径进行自适应选取：

当r的取值较大时，使得引导滤波图像边缘和细节更加丰富，过渡更加平滑，避免了光晕伪影现象的发生，但是当r过大时，会导致增强效果不明星，r较小时会使得图像较为模糊。因此对r的取值进行自适应调整，这就需要根据原始图像的大小来决定r的取值。

最大的尺度r1在[r_mid,r_max]之间，中间尺度r2在[r_min,r_mid]之间，最小的尺度在[1,r_min]之间。具体表达式如下：

其中，h和w是原始图像的高度和宽度，N取3，通过(2)式可以得到三个不同的尺度半径。

步骤2-2、使用Sobel边缘检测算子得出多尺度引导滤波图像的自适应权重：

Sobel边缘检测器在一张图片中执行二维空间的梯度测量，并且强调图像中的高频成分，即图像的边缘部分。通常情况，Sobel边缘检测器被用来在严格的灰度范围内求出每个点的近似绝对梯度大小。本发明中，将Sobel检测器的检测方向从两个扩展到四个，分别是0°、45°、90°和135°，四个方向的卷积核如下：

假设V(x_i,y_i)代表图像像素(x_i,y_i)的3*3邻域，那么四个方向的卷积结果如下：

Z_0,i＝∑(V(x_i,y_i)).*G₀ (4)

Z_45,i＝∑(V(x_i,y_i)).*G₄₅ (5)

Z_90,i＝∑(V(x_i,y_i)).*G₉₀ (6)

Z_135,i＝∑(V(x_i,y_i)).*G₁₃₅ (7)

则梯度图像为：

原始图像的归一化图像为：

由此即可以根据图像梯度信息而得出三个不同尺度的自适应权重因子，计算公式如下：

ω₁(x,y)＝(h_i(x,y))/3 (10)

ω₂(x,y)＝(1-ω₁(x,y))/2 (12)

ω₃(x,y)＝(1-ω₁(x,y))/2 (11)

步骤2-3、得到反射分量R_g(x,y)：

将步骤2-1改进后的自适应尺度半径选取加入引导滤波函数中，得到多尺度反射分量R_g(x,y)如下：

ω_n表示不同尺度的权重因子，本发明选取了三个尺度。人为的定义ω_n的取值，会导致忽略原始图像丰富的梯度信息，未达到良好的边缘保持的效果。因此，通过步骤2-2得到自适应的权重因子，充分将梯度信息考虑其中，得到更好的边缘保持效果。

步骤3、对得到的反射分量R_g(x,y)进行gamma矫正；

步骤4、将彩色图像从RGB色彩空间转换到YUV色彩空间，具体为：

对彩色图像进行增强时，需要考虑色彩的保持，MSR算法对于彩色图像增强时存在的问题是RBG三个通道是分别进行处理的，并没有考虑到三个通道之间的关联，所以会产生色差问题，而MSRCR在MSR的基础上加上了颜色恢复和颜色均衡，但是MSRCR仍然会暴露出一些问题，其在提供动态范围压缩、颜色恢复和保留大部分细节方面表现出了较强的能力，但是由于涉及到大量的参数，并且是经验设置的，限制了泛化能力，经常导致光晕伪影和非自然的颜色，考虑到在YUV色彩空间中Y表示明亮度，U和V表示色度，用来确定像素的颜色。与RGB色彩空间相比，YUV色彩空间的三个信号是彼此分离的，另外更重要的一点，YUV色彩空间更符合人眼对色彩的感知特点，所以为了解决这一问题，本发明考虑将彩色图像由RGB色彩空间转换到YUV色彩空间进行增强。

RGB色彩空间转化到YUV色彩空间的公式如下：

步骤5、对Y分量进行步骤2的处理得到反射图像R_y(x,y)。

步骤6、利用增强后的反射分量R_y(x,y)对UV分量进行均值校正，在对Y分量增强处理后，由于Y分量的改变使得明亮度Y与色度UV直接的关系发生改变，会导致增强后的图像色感发生变化，因此使用增强后的Y分量对UV分量进行均值校正，校正方法如下：

其中，A_U表示校正后的U分量值，U表示未经校正的U分量值；A_V表示校正后的V分量值，V表示未经校正的V分量值；Y表示未经校正的Y分量值，R_Y表示增强后的Y分量值，也即反射分量R_y(x,y)，经过多次试验，N取(1,3)之间的数值效果较好。

步骤7、将增强校正后图像从YUV色彩空间转换回RGB色彩空间，进行显示，YUV转RGB的公式为：

通过以上7个步骤，即可以显示增强过后的图像效果。

下面将结合本发明的仿真实验结果对本发明做进一步的说明。

如图2所示，为低照度灰度图像原图，其亮度和对比度都非常低，在经过如图3所示SSR(单尺度Retinex算法)和图4所示MSR(多尺度Retinex算法)增强过后，其对比度得到了很大的提升，但仍存在问题为会出现光晕伪影，图像中路灯两旁出现了严重的伪影现象。

在本发明改进过后的算法效果如图5所示，在保证亮度和对比度得到大幅提升的前提下，消除了光晕伪影，并且保持良好的图像细节。

如图6所示，为红外图像原图，其亮度较高，使用如图7所示SSR和如图8所示MSR算法增强之后，对比度得到了一定的提升，但是问题仍然是会出现光晕伪影，图7中亮度分布不均匀，忽明忽暗，图8中右侧男子脚下的部分区域有泛白的现象。而改进算法中，消除了光晕伪影，增强亮度保持均匀，并且保留了较多的图像细节。

在本发明改进过后的算法效果如图9所示，消除了光晕伪影，增强亮度保持均匀，并且保留了较多的图像细节。

如图10所示，为微光红外融合过后的伪彩色图像原图。

在经过如图11所示MSR增强过后，原伪彩色图像得到了亮度以及对比度的明显增强，但是由于MSR在增强过程中，可能会因为增加了噪声而导致图像中局部区域的色彩失真，使得物体真正的颜色效果不能很好地显现出来，从而影响了整体的视觉观感，如图11中所示，图像色彩暗淡。

而在经过如图12所示MSRCR算法进行色彩恢复之后，使得增强图像色彩显示更加丰富一点，但是由于MSRCR的算法中存在很多由经验设置的参数，这限制了其泛化能力，会导致一些非自然的颜色出现，图12所示显示出增强效果图会使人眼感官上，觉得色彩不够鲜艳，更像是铁锈一般的颜色出现。

在本发明改进过后的算法效果如图13所示，可以直观的感受到色彩恢复问题已经得到明显的改善，色彩更加鲜艳，更加准确的还原出原始图像的色彩分布。

除了对实验结果的主观分析，本发明还从均值(mean)、标准差(std)、信息熵(entropy)以及平均梯度(avegrad)四项量化指标来评价增强算法，均值(mean)可以衡量图像整体的亮暗水平，标准差(std)能够有效的反映图像整体的对比度，信息熵(entropy)能够体现图像的信息量的大小，以及平均梯度(avegrad)反映了图像中的微小细节反差和纹理变化特征，同时也反映了图像的清晰度。

表1，低照度灰度图像的各项客观评价指标对比

	mean	std	entropy	avegrad
					图3	106.8293	32.9582	7.1063	0.3831
图4	106.0001	34.2643	7.1692	0.3976
					图5	125.6970	37.4633	7.2587	0.4224

表2，红外图像的各项客观评价指标对比

	mean	std	entropy	avegrad
					图7	85.6103	51.4748	7.4678	0.2451
图8	92.1595	50.7885	7.5368	0.2671
					图9	106.7624	51.9655	7.6860	0.3258

表3，伪彩色图像的各项客观评价指标对比

从以上三个表格统计中可以看出，本发明在均值(mean)、标准差(std)、信息熵(entropy)以及平均梯度(avegrad)四个方面的表现上是最出色的，尤其是加入了Sobel算子检测器根据图像梯度信息来进行自适应多尺度权重的改进之后，在平均梯度的表现上明显的优于SSR、MSR以及MSRCR增强后的效果。

Claims (4)

1.一种基于改进Retinex算法的图像增强方法，其特征在于，包括以下步骤：

步骤1、对图像类型进行判断，判断结果为灰度图像，则进行步骤2，判断结果为彩色图像，则进行步骤4；

步骤2、利用改进的Retinex算法得到灰度图像的反射分量，具体方法为：

步骤2-1、对尺度半径r进行自适应取值：

选择三个不同的尺度半径分别为r₁、r₂和r₃，具体分别为：

r_min＝[min(h,w)/2^N]

r_max＝[min(h,w)/2-1]

r_mid＝[(r_min+r_max)/2]

r₁＝(1+r_min)/2

r₂＝(r_min+r_mid)/2

r₃＝(r_mid+r_max)/2

式中，h和w是原始图像的高度和宽度，N取3；

步骤2-2、使用Sobel边缘检测算子得出多尺度引导滤波图像的自适应权重；

通过引导滤波函数计算得到三个不同尺度的亮度图像的公式为：

G＝guidedfilter(I,p,r,ε)

其中，G是引导滤波的输出图像，guidedfilter是引导滤波函数，I是引导图像，p滤波输入图像，ε是正规化因子，r是尺度半径；利用Sobel边缘检测算子得到多尺度亮度图像的自适应权重的具体方法为：

确定Sobel边缘检测的四个检测方向分别为0°、45°、90°和135°，四个方向的卷积核为：

四个方向的卷积结果为：

Z_0,i＝∑(V(x_i,y_i)).*G₀

Z_45,i＝∑(V(x_i,y_i)).*G₄₅

Z_90,i＝∑(V(x_i,y_i)).*G₉₀

Z_135,i＝∑(V(x_i,y_i)).*G₁₃₅

其中，V(x_i,y_i)代表图像像素(x_i,y_i)的3*3邻域；

根据四个方向的卷子结果，确定梯度图像：

根据梯度图像确定原始图像的归一化图像为：

根据图像梯度信息确定三个不同尺度的自适应权重因子，计算公式如下：

ω₁(x,y)＝(h_i(x,y))/3

ω₂(x,y)＝(1-ω₁(x,y))/2

ω₃(x,y)＝(1-ω₁(x,y))/2；

步骤2-3、根据步骤2-2中求得的自适应权重因子以及引导滤波函数得到多尺度的反射分量R_g(x,y)如下：

其中，ω_n表示尺度的权重因子，S(x,y)是原始图像，G_i(x,y)是由引导滤波估算出的亮度图像，i＝1,2,3；

步骤3、对得到的反射分量进行gamma矫正，得到增强后的灰度图像；

步骤4、将彩色图像从RGB色彩空间转换到YUV色彩空间；

步骤5、对Y分量进行步骤2的处理得到反射分量R_y(x,y)；

步骤6、利用反射分量R_y(x,y)对UV分量进行均值校正得到校正后图像；

步骤7、将校正后图像从YUV色彩空间转换到RGB色彩空间进行显示。

2.根据权利要求1所述的基于改进Retinex算法的图像增强方法，其特征在于，步骤4将彩色图像从RGB色彩空间转换到YUV色彩空间，转换公式为：

Y＝0.299R+0.587G+0.114B

U＝-0.147R-0.289G+0.436B

V＝0.615R-0.515G-0.100B。

3.根据权利要求1所述的基于改进Retinex算法的图像增强方法，其特征在于，步骤6利用反射分量R_y(x,y)对UV分量进行均值校正的公式为：

其中，A_U表示校正后的U分量值，U表示未经校正的U分量值；A_V表示校正后的V分量值，V表示未经校正的V分量值；Y表示未经校正的Y分量值，R_Y表示增强后的Y分量值，也即反射分量R_y(x,y)。

4.根据权利要求1所述的基于改进Retinex算法的图像增强方法，其特征在于，步骤7中将校正后图像从YUV色彩空间转换回RGB色彩空间，转换公式为：

R＝A_Y+1.14A_V

G＝A_Y-0.39A_U-0.58A_V

B＝A_Y+2.03A_U

将增强校正后图像从YUV色彩空间转换回RGB色彩空间进行显示。

Images