CN109872285B - 一种基于变分约束的Retinex低照度彩色图像增强方法 - Google Patents

Abstract

本发明公开了一种基于变分约束的Retinex低照度彩色图像增强方法，涉及彩色图像处理技术领域，本发明包括如下步骤：将原始彩色图像由RGB空间转换到HSV空间，并提取强度通道V的图像作为灰度图像；利用所提取的灰度图像构造电导权值矩阵；利用能量最小化原则构建目标函数，将灰度图像和电导权值矩阵输入目标函数，利用交替方向乘子法求解目标函数获取照度图像；根据照度图像从原始彩色图像中分离反射分量，得到反射图像；利用照度图像和反射图像对灰度图像进行重构，得到增强后彩色图像，本发明较好地保留了图像的边界，使得估算出的照度图像更为准确，也使得反射图像包含图像更多的内部细节和纹理特征，提升增强图像的对比度，保留了图像高亮度处的细节。

Description

一种基于变分约束的Retinex低照度彩色图像增强方法

技术领域

本发明涉及彩色图像处理技术领域，更具体的是涉及一种基于变分约束的Retinex低照度彩色图像增强方法。

背景技术

低照度彩色图像是在暗环境下拍摄，由于光线和图像采集设备的限制所得到的低光照图像，这种图像的特点是亮度低、噪声大、细节显示不清晰，难以进行人眼的二次观测或是计算机系统的识别，因而需要对低照度图像进行处理来获得清晰度较高的图像。图像增强技术在提升图像像质方面有着重要的作用，通过图像增强，可以提升图像的亮度、对比度以及图像中的细节信息，使增强后的图像更能符合人眼的观察规律和计算机图像处理系统的要求。

传统的图像增强技术可以分为两大类，分别是空域图像增强算法和频域图像增强算法。空域的图像增强算法包括对图像灰度的映射变换和直方图均衡化等，这些增强方法实现简单，运行速度快但鲁棒性差，需要根据不同图像选取不同的方法和不同的参数指标，难以达到好的增强效果；频域的增强方法主要包括低通滤波、高通滤波、同态滤波等，这些方法可以突出图像中的一些特定信息，如提取图像的边界轮廓或突出高频的细节，但是非常容易对图像造成模糊，不利于后续的图像处理。

在Land提出模拟人类视觉机制的Retinex的模型之后，研究者们提出了许多基于Retinex的图像增强方法，这些方法相较于传统的图像增强方法有更好的鲁棒性，对低质图像像质的提升效果也更好。基于Retinex理论提出的单尺度Retinex方法(Single-scaleRetinex,SSR)、多尺度Retinex方法(Multi-scale Retinex,MSR)以及带有颜色校正的多尺度Retinex技术(Multi-scale Retinex with color Restoration,MSRCR)在不丢失图像细节的同时也能保持图像的良好过渡。

但是上述方法在处理彩色图像时往往会造成图像的光照不自然并且当尺度选取不合适时会出现光晕现象。虽然后来以Kimmel为代表的将全变分引入Retinex理论进行照度图像估计的低质图像增强方法中，大幅降低了光晕出现的概率，但由于目标函数求解过程中对照度图像估计的不准确，易造成图像亮处细节的丢失以及明暗关系的改变，并且由于需要迭代求解，算法运行速度较慢。

发明内容

本发明的目的在于：为了解决现有方法对照度图像估计不够准确，把部分纹理信息也归入到照度图像中，导致增强图像高亮区域细节丢失，而低亮度区域对比度又增强不够的问题，本发明提供一种基于变分约束的Retinex低照度彩色图像增强方法。

本发明为了实现上述目的具体采用以下技术方案：

一种基于变分约束的Retinex低照度彩色图像增强方法，包括如下步骤：

S1：将原始彩色图像S由RGB空间转换到HSV空间，并提取强度通道V的图像作为灰度图像I；

S2：利用所提取的灰度图像I构造电导权值矩阵W；

S3：利用能量最小化原则构建目标函数，将灰度图像I和电导权值矩阵W输入目标函数，利用交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)求解目标函数获取照度图像L；

S4：根据照度图像L从原始彩色图像S中分离反射分量，得到反射图像R；

S5：利用照度图像L和反射图像R对灰度图像I进行重构，得到增强后的彩色图像。

进一步的，所述S1具体包括如下步骤：

S1.1：获取原始彩色图像

其中，m、n分别是原始彩色图像的长和宽；

S1.2：根据RGB转化HSV算法，将原始彩色图像S由RGB空间转换到HSV空间，并提取强度通道V的图像作为灰度图像I。

进一步的，所述S2具体包括如下步骤：

S2.1：构建两个尺度不同的高斯模板，并用大尺度的高斯模板减去小尺度的高斯模板，得到高斯差分模板DoG_σ，所述高斯差分模板DoG_σ中任一点(x,y)的计算公式为：

其中，σ表示高斯函数的方差，

A为灰度图像I的分辨率；

S2.2：剔除高斯差分模板DoG_σ中的负数值，公式为：

然后对剔除了负数值的高斯差分模板DoG_σ进行归一化处理，得到权重函数w_σ(x,y)：

S2.3：根据权重函数w_σ(x,y)计算抑制函数t(x,y)：

其中，*表示卷积，

表示灰度图像I在点(x,y)处的梯度值；

S2.4：利用抑制函数t(x,y)将灰度图像I的各点的梯度值进行非边界的纹理抑制操作，得到边界图像

边界图像B的任一像素点B(x,y)的计算公式为：

其中，γ是抑制强度因子；

S2.5：计算电导权值矩阵

电导权值矩阵W的任一点W(x,y)的计算公式为：

W(x,y)＝g(B(x,y))

其中，g()为电导函数，表达式为：

其中，K为区分边界和纹理的阈值，它的值为边界图像B的累积分布函数的90％～95％。

进一步的，所述S3中构建目标函数，具体包括如下步骤：

S3.1.1：为分离出照度图像L构建目标函数如下：

其中，α表示平衡系数，||||_F表示矩阵Frobenius范数，||||₁表示矩阵l₁范数，

表示矩阵对应元素相乘；

S3.1.2：为分离矩阵l₁范数和矩阵Frobenius范数的两个约束项，引入辅助变量G，令

因此目标函数变为：

S3.1.3：目标函数的增广拉格朗日方程为：

其中，Z表示拉格朗日乘子，μ表示非负的惩罚因子。

进一步的，所述S3中求解目标函数获取照度图像，包括如下步骤：

S3.2.1：初始化增广拉格朗日方程参数，令迭代次数k＝0，最大迭代次数为k_max；

S3.2.2：固定辅助变量G和拉格朗日乘子Z，更新照度图像L，公式为：

其中，

为二维离散傅里叶变换，

为二维离散傅里叶逆变换，

是

的复共轭操作，D是Toeplitz矩阵；

S3.2.3：固定照度图像L和拉格朗日乘子Z，更新辅助变量G，公式为：

其中，S_τ()表示软阈值收缩算子，S_τ(x)＝sgn(x)max(x|-τ,0)；

S3.2.4：固定照度图像L和辅助变量G，更新拉格朗日乘子Z，公式为：

S3.2.5：更新非负的惩罚因子μ，令μ_k+1＝ρμ_k，其中，ρ表示增长系数，ρ≥1；

S3.2.6：更新迭代次数k，令k＝k+1；

S3.2.7：判断当前迭代次数k是否大于最大迭代次数k_max，若是，则停止迭代，执行S3.2.8；否则，满足下式时停止迭代，并执行S3.2.8：

其中，δ＝10-⁵，若不满足上述条件，则执行S3.2.2；

S3.2.8：求出最优解L*和G*，并输出L*作为照度图像L。

进一步的，所述S4中反射图像R为：

其中，L_min表示一个阈值矩阵，它的每个元素都为

进一步的，所述S5中利用照度图像L和反射图像R对灰度图像I进行重构，得到图像I′：

用得到的图像I′代替HSV空间三通道中的强度通道V，并将替换后的图像转换回RGB空间，得到最终的增强图像。

本发明的有益效果如下：

1、本发明模拟人类视觉神经的环绕抑制机制，对传统的基于Retinex的变分框架进行改进，通过引入电导权值矩阵对照度梯度图像稀疏项的各向异性进行约束，该电导权值矩阵的特点是，在图像边界部分的权值小，而在图像内部区域的权值大；因此，估算出的照度图像既保留了图像内部区域的局部平滑性，又较好地保留了图像的边界，使得估算出的照度图像更为准确，也使得根据照度图像分离出的反射图像包含图像更多的内部细节和纹理特征，从而在提升增强图像的对比度的同时，保留了图像高亮度处的细节。

2、本发明对照度图像保真项进行了改进，不再使用原图像对照度图像进行保真，而采用三通道的最大值图像对其进行保真，使得估计出照度图像更接近于真实场景中光照的分布情况，从而有效地提升了增强结果的亮度，并且使增强后的图像的明暗关系与原始图像基本保持一致。

3、本发明使用矩阵l₁范数对照度图像的稀疏性进行约束，增强了对照度梯度图像稀疏性的约束能力，使照度图像保留的边界更为准确，并且解决了传统变分方法噪声去除不佳的问题。

4、本发明对于DoG中高斯模板的选取采取自适应的取值算法，根据图像的大小进行相应的变换，增强了算法的鲁棒性。

5、本发明使用ADMM算法对目标函数进行求解，并且在求解过程中将照度图像的更新过程转换到傅里叶域进行处理，加快了收敛速度，提升算法的效率。

附图说明

图1是本发明的方法流程图。

图2是本发明实施例原始彩色图像S的示意图。

图3是本发明实施例灰度图像I的示意图。

图4是本发明实施例照度图像L的示意图。

图5是本发明实施例反射图像R的示意图。

图6是本发明实施例增强后的彩色图像的示意图。

具体实施方式

为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。

实施例1

如图1所示，本实施例提供一种基于变分约束的Retinex低照度彩色图像增强方法，包括如下步骤：

S1：将如图2所示的原始彩色图像S由RGB空间转换到HSV空间，并提取强度通道V的图像作为如图3所示的灰度图像I，具体为：

S1.1：获取原始彩色图像

其中，m、n分别是原始彩色图像的长和宽；

S1.2：根据RGB转化HSV算法，将原始彩色图像S由RGB空间转换到HSV空间，并提取强度通道V的图像作为灰度图像I；

S2：利用所提取的灰度图像I构造电导权值矩阵W，具体为：

S2.1：构建两个尺度不同的高斯模板，并用大尺度的高斯模板减去小尺度的高斯模板，得到高斯差分模板DoG_σ，所述高斯差分模板DoG_σ中任一点(x,y)的计算公式为：

其中，σ表示高斯函数的方差，它根据图像分辨率不同而取相对应的值，本实施例中

A为灰度图像I的分辨率；

S2.2：剔除高斯差分模板DoG_σ中的负数值，公式为：

然后对剔除了负数值的高斯差分模板DoG_σ进行归一化处理，得到权重函数w_σ(x,y)：

S2.3：根据权重函数w_σ(x,y)计算抑制函数t(x,y)：

其中，*表示卷积，

表示灰度图像I在点(x,y)处的梯度值；

S2.4：利用抑制函数t(x,y)将灰度图像I的各点的梯度值进行非边界的纹理抑制操作，得到边界图像

边界图像B的任一像素点B(x,y)的计算公式为：

其中，γ是抑制强度因子，决定了纹理抑制的强度，本实施例中取值为1.2；

S2.5：计算电导权值矩阵

电导权值矩阵W的任一点W(x,y)的计算公式为：

W(x,y)＝g(B(x,y))

其中，g()为电导函数，表达式为：

其中，K为区分边界和纹理的阈值，它的值为边界图像B的累积分布函数的90％～95％；

S3：利用能量最小化原则构建目标函数，将灰度图像I和电导权值矩阵W输入目标函数，利用交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)求解目标函数获取如图4所示的照度图像L；

所述S3中构建目标函数，具体包括如下步骤：

S3.1.1：为分离出照度图像L构建目标函数如下：

其中，α表示平衡系数，本实施例中取值为0.15，|| ||_F表示矩阵Frobenius范数，|| ||₁表示矩阵l₁范数，

表示矩阵对应元素相乘；

S3.1.2：为分离矩阵l₁范数和矩阵Frobenius范数的两个约束项，引入辅助变量G，令

因此目标函数变为：

S3.1.3：目标函数的增广拉格朗日方程为：

其中，Z表示拉格朗日乘子，μ表示非负的惩罚因子，初始值设置为0.002；

所述S3中求解目标函数获取照度图像，包括如下步骤：

S3.2.1：初始化增广拉格朗日方程参数，令迭代次数k＝0，最大迭代次数为k_max；

S3.2.2：固定辅助变量G和拉格朗日乘子Z，更新照度图像L，公式为：

其中，

为二维离散傅里叶变换，

为二维离散傅里叶逆变换，

是

的复共轭操作，D是Toeplitz矩阵；

S3.2.3：固定照度图像L和拉格朗日乘子Z，更新辅助变量G，公式为：

其中，S_τ()表示软阈值收缩算子，S_τ(x)＝sgn(x)max(x|-τ,0)；

S3.2.4：固定照度图像L和辅助变量G，更新拉格朗日乘子Z，公式为：

S3.2.5：更新非负的惩罚因子μ，令μ_k+1＝ρμ_k，其中，ρ表示增长系数，ρ≥1；

S3.2.6：更新迭代次数k，令k＝k+1；

S3.2.7：判断当前迭代次数k是否大于最大迭代次数k_max，若是，则停止迭代，执行S3.2.8；否则，满足下式时停止迭代，并执行S3.2.8：

其中，δ＝10-⁵，若不满足上述条件，则执行S3.2.2；

S3.2.8：求出最优解L*和G*，并输出L*作为照度图像L；

S4：根据照度图像L从原始彩色图像S中分离反射分量，得到如图5所示的反射图像R，具体为：

其中，L_min表示一个阈值矩阵，它的每个元素都为

S5：利用照度图像L和反射图像R对灰度图像I进行重构，得到图像I′：

用得到的图像I′代替HSV空间三通道中的强度通道V，并将替换后的图像转换回RGB空间，得到如图6所示的最终的增强图像。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (4)

1.一种基于变分约束的Retinex低照度彩色图像增强方法，其特征在于，包括如下步骤：

S1：将原始彩色图像S由RGB空间转换到HSV空间，并提取强度通道V的图像作为灰度图像I；

S2：利用所提取的灰度图像I构造电导权值矩阵W；

S3：利用能量最小化原则构建目标函数，将灰度图像I和电导权值矩阵W输入目标函数，利用交替方向乘子法求解目标函数获取照度图像L；

S4：根据照度图像L从原始彩色图像S中分离反射分量，得到反射图像R；

S5：利用照度图像L和反射图像R对灰度图像I进行重构，得到增强后的彩色图像；

所述S2具体包括如下步骤：

S2.1：构建两个尺度不同的高斯模板，并用大尺度的高斯模板减去小尺度的高斯模板，得到高斯差分模板DoG_σ，所述高斯差分模板DoG_σ中任一点(x,y)的计算公式为：

其中，σ表示高斯函数的方差，

A为灰度图像I的分辨率；

S2.2：剔除高斯差分模板DoG_σ中的负数值，公式为：

然后对剔除了负数值的高斯差分模板DoG_σ进行归一化处理，得到权重函数w_σ(x,y)：

S2.3：根据权重函数w_σ(x,y)计算抑制函数t(x,y)：

其中，*表示卷积，

表示灰度图像I在点(x,y)处的梯度值；

S2.4：利用抑制函数t(x,y)将灰度图像I的各点的梯度值进行非边界的纹理抑制操作，得到边界图像

边界图像B的任一像素点B(x,y)的计算公式为：

其中，γ是抑制强度因子；

S2.5：计算电导权值矩阵

电导权值矩阵W的任一点W(x,y)的计算公式为：

W(x,y)＝g(B(x,y))

其中，g()为电导函数，表达式为：

其中，K为区分边界和纹理的阈值，它的值为边界图像B的累积分布函数的90％～95％；

所述S3中构建目标函数，具体包括如下步骤：

S3.1.1：为分离出照度图像L构建目标函数如下：

其中，α表示平衡系数，|| ||_F表示矩阵Frobenius范数，|| ||₁表示矩阵l₁范数，

表示矩阵对应元素相乘；

S3.1.2：为分离矩阵l₁范数和矩阵Frobenius范数的两个约束项，引入辅助变量G，令

因此目标函数变为：

S3.1.3：目标函数的增广拉格朗日方程为：

其中，Z表示拉格朗日乘子，μ表示非负的惩罚因子；

所述S3中求解目标函数获取照度图像，包括如下步骤：

S3.2.1：初始化增广拉格朗日方程参数，令迭代次数k＝0，最大迭代次数为k_max；

S3.2.2：固定辅助变量G和拉格朗日乘子Z，更新照度图像L，公式为：

其中，F()为二维离散傅里叶变换，F^-1()为二维离散傅里叶逆变换，

是F()的复共轭操作，D是Toeplitz矩阵；

S3.2.3：固定照度图像L和拉格朗日乘子Z，更新辅助变量G，公式为：

其中，S_τ()表示软阈值收缩算子，S_τ(x)＝sgn(x)max(|x|-τ,0)；

S3.2.4：固定照度图像L和辅助变量G，更新拉格朗日乘子Z，公式为：

S3.2.5：更新非负的惩罚因子μ，令μ_k+1＝ρμ_k，其中，ρ表示增长系数，ρ≥1；

S3.2.6：更新迭代次数k，令k＝k+1；

S3.2.7：判断当前迭代次数k是否大于最大迭代次数k_max，若是，则停止迭代，执行S3.2.8；否则，满足下式时停止迭代，并执行S3.2.8：

其中，δ＝10^-5，若不满足上述条件，则执行S3.2.2；

S3.2.8：求出最优解L*和G*，并输出L*作为照度图像L。

2.根据权利要求1所述的一种基于变分约束的Retinex低照度彩色图像增强方法，其特征在于，所述S1具体包括如下步骤：

S1.1：获取原始彩色图像

其中，m、n分别是原始彩色图像的长和宽；

S1.2：根据RGB转化HSV算法，将原始彩色图像S由RGB空间转换到HSV空间，并提取强度通道V的图像作为灰度图像I。

3.根据权利要求1所述的一种基于变分约束的Retinex低照度彩色图像增强方法，其特征在于，所述S4中反射图像R为：

其中，L_min表示一个阈值矩阵，它的每个元素都为

4.根据权利要求1所述的一种基于变分约束的Retinex低照度彩色图像增强方法，其特征在于，所述S5中利用照度图像L和反射图像R对灰度图像I进行重构，得到图像I′：

用得到的图像I′代替HSV空间三通道中的强度通道V，并将替换后的图像转换回RGB空间，得到最终的增强图像。

Images