CN111292257B - 一种基于Retinex的暗视觉环境下图像增强方法 - Google Patents

Abstract

本发明属于图像增强与计算机视觉领域，具体涉及一种基于Retinex的暗视觉环境下图像增强方法，该方法包括：获取图像数据，并将图像数据分为全局光照图和局部光照图；对两种图像的对应像素点进行加权平均，得到初步估计光照图，采用改进的加权引导滤波对初步估计光照图进行保边平滑滤波，对滤波后的光照图进行改进的自适应Gamma校正得到校正后的估计光照图；采用Retinex算法利用原始图像和校正后的估计光照图计算R通道、G通道、B通道的反射图，将三个通道的反射图合成，获得增强的图像；本发明将暗视觉环境下图像增强的同时还能保留亮区细节和减少光晕效应，避免图像过度增强，便于对暗视觉环境下图像做识别和检测等处理。

Description

一种基于Retinex的暗视觉环境下图像增强方法

技术领域

本发明属于图像增强与计算机视觉领域，具体涉及一种基于Retinex的暗视觉环境下图像增强方法。

背景技术

图像增强技术广泛应用于航空航天、军事侦察、人脸识别、医学诊断等各种图像处理中。然而，暗视觉环境的图像增强方面还存在问题，无法达到良好的图像增强效果。从人眼视觉的角度上，当处在很暗的环境下，光亮度小于千分之几坎德拉/平方米时，锥状细胞失去活性，杆状细胞起感光功能，这时的视觉叫做暗视觉。暗视觉环境下，由于夜晚环境下光照不足，人类视觉不能分辨出图像的结构来，但是图像的结构是物理存在的。暗视觉环境下图像的灰度范围较窄，灰度级不明显，相邻像素的空间相关性较高，使得图像中的细节、背景和噪声都包含在窄小的灰度范围。因此，暗视觉环境下图像的细节、结构信息恢复是一个严峻的挑战。

暗视觉环境下的图像由于能见度低，不利于人的观察和计算机视觉算法的实现。尽管许多图像增强技术已经被提出来解决这个问题，现有的方法不可避免地会存在多度增强和光晕的现象。现有的图像增强算法有直方图类、Retinex类、去雾增强类等。直方图均衡化类算法由于灰度融合，会丢失部分图像细节。Retinex方法的关键是光照图的估计，平衡对比度增强效果、噪声抑制和计算效率，以达到最佳的视觉效果。Retinex方法虽然能够获得较好的视觉效果，但是存在过度增强和颜色转移的现象。在去雾增强算法中，通过暗通道先验理论来求解图像去雾模型，将低照度视频倒置带入到去雾模型中，获得较好的图像增强效果，但是该算法所依赖的基本模型缺乏物理解释。

发明内容

为解决以上现有技术的问题，本发明提出了一种基于Retinex的暗视觉环境下图像增强方法，该方法包括：

S1：获取暗视觉环境下的原始图像；

S2：将获取的原始图像中RGB三通道最大值的图像作为全局光照图，将获取的图像转为YCbCr色彩空间的Y通道图像，作为局部光照图；

S3：将全局光照图和局部光照图的对应像素点进行加权平均，得到具有局部和全局特征的初步估计光照图；

S4：采用改进的加权引导滤波对初步估计光照图进行保边平滑滤波，得到滤波后的光照图；

S5：对滤波后的光照图进行改进的自适应Gamma校正得到校正后的估计光照图；

S6：采用Retinex算法利用原始图像和校正后的估计光照图计算R通道、G通道、B通道的反射图，将三个通道的反射图合成，获得增强的图像。

优选的，获取的暗视觉环境下的原始图像分为反射图像和光照图像，其表达式为：I＝R·L。

优选的，全局光照图和局部光照图的计算表达式为：

优选的，初步估计光照图的表达式为：

优选的，改进的加权引导滤波包括：对原始加权引导波的权重进行改进，即使用均值和方差的乘积代替局部方差。

进一步的，改进后的权重公式为：

代价函数的表达式为：

计算a_p′和b_p′的值为：

b_p′＝μ_T,ξ(p′)-a_pμ_G,ξ(p′)

根据a_p′、b_p′以及代价函数，得到改进后的滤波输出图像的表达式为：

优选的，改进的自适应Gamma校正包括：采用JND对控制光照图强弱系数进行优化，改进自适应Gamma校正的表达式。

进一步的，对控制光照图强弱系数进行优化的表达式为：

对JND值进行归一化处理，其表达式为：

确定控制k₁大小的系数k₂，其表达式为：

优化后的控制光照图强弱系数的表达式为：

k＝k₁*k₂

改进后的校正公式为：

L′＝k*L^1-cdf(L)

优选的，将R通道、G通道和B通道的图像分别计算反射图后，对得到的反射图进行融合，得到RGB图像，表达式为：

本发明通过改进的加权引导滤波，更加准确地检测暗视觉环境下的图像中光照突变的边缘部分，提高了检测的准确率；本发明通过对Gamma校正表达的控制光照图强弱系数进行优化，进一步提高图像亮度，提高低灰度动态范围，获得更好的视觉效果。

附图说明

图1为本发明的Retinex理论模型示意图；

图2为本发明的流程示意图；

图3为本发明的加权引导滤波权重改进对比图；

图4为本发明的光照估计和反射图；

图5为本发明的与其他现有方法的处理结果的对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于Retinex的暗视觉环境下图像增强方法，如图1所示，把一幅暗视觉环境下的图像可以分解为两个不同的图像：反射图像和光照图像；其表达式为：

I＝R·L

其中，I为获取的图像，R为反射分量(反射图像)，L为入射分量(光照图像)；对光照图进行估计，校正光照图，再根据Retinex理论求解反射分量，达到图像增强的效果。

一种基于Retinex的暗视觉环境下图像增强方法，如图2所示，该方法步骤包括：

S1：获取暗视觉环境下的图像数据；

S2：将获取的图像数据中RGB三通道最大值的图像作为全局光照图，将获取的图像转为YCbCr色彩空间的Y通道图像，作为局部光照图；

S3：将全局光照图和局部光照图的对应像素点进行加权平均，得到具有局部和全局特征的初步估计光照图；

S4：采用改进的加权引导滤波对初步估计光照图进行保边平滑滤波，得到滤波后的光照图；

S5：对滤波后的光照图进行改进的自适应Gamma校正得到校正后的估计光照图；

S6：采用Retinex算法利用原始图像和校正后的估计光照图计算R通道、G通道、B通道的反射图，将三个通道的反射图合成，获得增强的图像。

其中，Retinex表示视网膜皮层算法，YCbCr中Y指亮度分量、Cb指蓝色色度分量、Cr指红色色度分量，Gamma表示伽马校正。

所述获取暗视觉环境下的图像数据是在夜晚光照不足的地方使用佳能EOS800D单反摄像机进行拍摄的图像数据。

输入图像的Max-RGB的全局光照图

和输入图像的YCbCr色彩空间的Y通道的局部光照图

的计算公式如下：

其中，I^c表示输入图像，R表示输入RGB图像中R通道的值，G表示输入RGB图像中G通道的值，B表示输入RGB图像中B通道的值，即将原始图像输入到R、G、B通道中得到的图像的矩阵。

将Max-RGB全局光照图和Y通道局部光照图进行加权平均得到具有局部和全局特征的初步估计光照图的计算公式为：

其中，

为初步估计的光照图，ω₁表示全局光照图的权重因子，ω₂表示局部光照图的权重因子，Max-RGB表示输入图像的RGB三通道最大值；本实例中ω₁、ω₂均取值为0.5。

加权引导滤波器是一种局部边缘保持的图像滤波器，若引导图像为G，输入图像为T，输出图像为

在引导图像下的线性转换模型为：

其中，Ω_ξ(P′)是以像素p′为中心和ξ为半径的正方形窗口，a_p′和b_p′表示窗口内的常量。

改进的加权引导滤波为改进原始加权引导波的权重，即使用均值和方差的乘积代替局部方差，更准确地检测暗视觉环境下的图像中光照突变的边缘部分，其对暗视觉环境下的图像处理的权重对比图，如图3所示，改进后的权重公式为：

其中，N为输入图像像素总数，μ_G,1(p′)和

分别为G在Ω₁(P′)正方形窗口内均值和方差，λ是很小的常量，一般定义为(0.001×D)²，D为输入图像的动态范围。

实例中对图3(a)进行滤波，通过对比使用加权引导滤波的权重图如图3(b)和使用改进加权引导滤波的权重图如图3(c)，发现改进后的权重可以准确的检测光照突变的边缘，保留更好的图像高亮区边缘，减少光晕现象。

改进后的加权引导滤波的代价函数的表达式为：

其中，a_p′和b_p′的值计算为：

b_p′＝μ_T,ξ(p′)-a_p′μ_G,ξ（p′)

其中，·表示两个矩阵的元素乘积，μ_G·T,ξ(p′)，μ_G,ξ(p′)，μ_T,ξ(p′)分别为G·T，G，T在Ω_ξ(P′)窗口内的均值，

为G在Ω_ξ(P′)窗口内的方差。

改进后的滤波输出图像的表达式为：

利用改进的加权引导滤波将进行处理得到滤波后的光照图的表达式为：

其中，L是滤波输出图像，filter是改进的加权引导滤波函数，

为滤波输入图像和引导图像，ε是正规化因子，r是尺度半径；实例中参数设置正规化因子ε为0.01，尺度半径r为3，滤波窗口为3×3的正方形。

对初步估计的光照图进行Gamma校正得到校正后的估计光照图，实例中对图4(a)进行光照估计，光照估计图如图4(b)所示，其校正公式为：

L′＝k*L^1-cdf(L)

其中，k为控制光照图强弱系数，k越小就越削弱光照，cdf是累计分布函数，cdf(L)是通过形状参数为2和尺度参数为1的伽马分布对光照图L的概率密度函数得到，L′为校正的估计光照图，光照图像的累积分布函数通过Gamma分布的概率密度函数计算得到的。

改进的自适应Gamma校正包括对参数k进行优化，即采用JND进行自适应控制光照强弱，其计算公式为：

k＝k₁*k₂

其中，JND表示随光照变化的恰可分辨差，T表示JND值，L是滤波后的光照图，代表暗视觉环境下图像的背景照度，k₁是对JND值进行归一化处理后的值，k₂是控制k₁大小的系数，k₂表示一个sigmoid函数，改进后的伽马函数能够自适应的校正光照图，达到最佳的视觉效果。

实例中对图4(a)进行增强处理，其增强结果如图4(c)所示，将R通道、G通道和B通道的图像分别计算反射图后，对得到的反射图进行融合，得到RGB图像，达到图像增强的效果，其公式为：

其中，R^c为增强结果图，I^c为暗视觉环境下的图像的R、G、B三通道图。

如图5所示，图5(a)是原始暗视觉环境下的图像，图5(b)是本发明的增强效果图，图5(c)是基于Retinex变分法的LIME方法，图5(d)是暗通道先验去雾法，及其细节放大图。结果表明，LIME算法具有较好的视觉效果，对比度高，亮度增强效果明显，但也存在一些过度增强和色彩偏移的现象；去雾法可以更好地保留图像的颜色和恢复图像的细节，但在亮区边缘会产生黑色边缘；本文发明的方法法采用局部和全局结合估计光照图改善亮度过增强的问题，改进的加权引导滤波可以保持亮区细节和减少光晕，结合JND值进行自适应伽马校正光照图，增强图像对比度，本发明方法处理暗视觉环境下的图像视觉效果更好。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于Retinex的暗视觉环境下图像增强方法，其特征在于，该方法包括：

S1：获取暗视觉环境下的原始图像；

S2：将获取的原始图像中RGB三通道最大值的图像作为全局光照图，将获取的图像转为YCbCr色彩空间的Y通道图像，作为局部光照图；

S3：将全局光照图和局部光照图的对应像素点进行加权平均，得到具有局部和全局特征的初步估计光照图；

S4：采用改进的加权引导滤波对初步估计光照图进行保边平滑滤波，得到滤波后的光照图；改进的加权引导滤波包括对原始加权引导波的权重进行改进，即使用均值和方差的乘积代替局部方差；改进后的权重公式为：

代价函数的表达式为：

计算a_p′和b_p′的值为：

b_p′＝μ_T,ξ(p′)-a_p′μ_G,ξ(p′)

根据a_p′、b_p′以及代价函数，得到改进后的滤波输出图像的表达式为：

其中，N为输入图像像素总数，μ_G,1(p′)和

分别为G在Ω₁(P′)正方形窗口内均值和方差，λ为常量，·表示两个矩阵的元素乘积，a_p′和b_p′是窗口内的常量，ε为正规化因子，μ_G·T,ξ(p′)，μ_G,ξ(p′)，μ_T,ξ(p′)分别为G·T，G，T在Ω_ξ(P′)窗口内的均值，

为G在Ω_ξ(P′)窗口内的方差；

S5：对滤波后的光照图进行改进的自适应Gamma校正得到校正后的估计光照图；改进的自适应Gamma校正包括：采用JND对控制光照图强弱系数进行优化，改进自适应Gamma校正的表达式，JND表示随图像光照变化的恰可分辨差；对控制光照图强弱系数进行优化的表达式为：

对JND值进行归一化处理，其表达式为：

确定控制k₁大小的系数k₂，其表达式为：

优化后的控制光照图强弱系数的表达式为：

k＝k₁*k₂

改进后的校正公式为：

L′＝k*L^1-cdf(L)

其中，T表示JND值，L是滤波后的光照图，k₁是对JND值进行归一化处理后的值，k₂是控制k₁大小的系数，k为控制光照图强弱系数，L′为校正的估计光照图；

S6：采用Retinex算法利用原始图像和校正后的估计光照图计算R通道、G通道、B通道的反射图，将三个通道的反射图合成，获得增强的图像；

其中，Retinex表示视网膜皮层算法，YCbCr中Y指亮度分量、Cb指蓝色色度分量、Cr指红色色度分量，Gamma表示伽马校正。

2.根据权利要求1所述的一种基于Retinex的暗视觉环境下图像增强方法，其特征在于，所述获取的暗视觉环境下的原始图像分为反射图像和光照图像，其表达式为：

I＝R·L

其中，I为获取的图像，R为反射图像，L为光照图像。

3.根据权利要求1所述的一种基于Retinex的暗视觉环境下图像增强方法，其特征在于，所述全局光照图和局部光照图的计算表达式包括：

全局光照图：

局部光照图：

其中，I^c表示输入图像，R表示输入RGB图像中R通道的值，G表示输入RGB图像中G通道的值，B表示输入RGB图像中B通道的值。

4.根据权利要求3所述的一种基于Retinex的暗视觉环境下图像增强方法，其特征在于，获得初步估计光照图的表达式为：

其中，

为初步估计的光照图，ω₁表示全局光照图的权重因子，ω₂表示局部光照图的权重因子。

5.根据权利要求1所述的一种基于Retinex的暗视觉环境下图像增强方法，其特征在于，所述滤波后的光照图的表达式为

其中，L是滤波输出图像，filter是改进的加权引导滤波函数，

为滤波输入图像和引导图像，ε是正规化因子，r是尺度半径。

6.根据权利要求1所述的一种基于Retinex的暗视觉环境下图像增强方法，其特征在于，得到增强图像的表达式为：

其中，R^c为增强结果图，I^c为暗视觉环境下的图像的R、G、B三通道图。

Images