CN115619659B

CN115619659B - 基于正则化高斯场模型的低照度图像增强方法与系统

Info

Publication number: CN115619659B
Application number: CN202211160307.9A
Authority: CN
Inventors: 杨锋; 顾燕; 董隽媛; 赵维骏; 朱波; 吕扬; 焦国力; 李海生; 乔延婷; 季云州
Original assignee: North Night Vision Technology Nanjing Research Institute Co ltd
Current assignee: North Night Vision Technology Nanjing Research Institute Co ltd
Priority date: 2022-09-22
Filing date: 2022-09-22
Publication date: 2024-01-23
Anticipated expiration: 2042-09-22
Also published as: CN115619659A

Abstract

本发明属于图像处理领域，尤其是低照度图像增强，具体提出一种基于正则化高斯场模型的低照度图像增强方法与系统。该方法将Retinex分解表述为一个无约束的优化问题，利用高效的梯度优化技术即可实现反射层和照度层的同步估计。首先，构建了基于正则高斯场(regularized Gaussian fields,RGF)的优化函数，该函数是可微的，因此可以采用基于梯度的标准优化技术进行解优化。然后，通过梯度下降算法同时估计反射率和光照度。最后，利用高斯核对估计出的反射层进行校正，实现了可以保留图像细节和自然度的低照度增强。

Description

基于正则化高斯场模型的低照度图像增强方法与系统

技术领域

本发明属于图像处理领域，尤其是低照度图像的增强技术，具体提出一种基于正则化高斯场模型的低照度图像增强方法与系统。

背景技术

Retinex分解将自然图像看作是反射层和亮度层的乘积，包含场景细节的反射层可以通过基于Retinex的模型从拍摄图像中恢复出来。

研究人员提出了许多基于Retinex的图像增强方法。例如，单尺度Retinex算法(single-scale Retinex，SSR)(D.J.Jobson,Z.Rahman,and G.A.Woodell,“Propertiesand performance of a center/surround Retinex,”IEEE Trans.Image Process.,vol.6,no.3,pp.451-462,Mar.1997)使用单尺度高斯模糊来生成照度层，从而估计出图像反射层。多尺度Retinex算法(multi-scale Retinex，MSR)(D.J.Jobson,Z.Rahman,andG.A.Woodell,“A multiscale Retinex for bridging the gap between color imagesand the human observation of scenes,”IEEE Trans.Image Process.,vol.6,no.7,pp.965-976,Jul.1997)可被视为具有不同尺度的多个SSR的加权组合。前述的单尺度算法SSR和多尺度算法MSR已被广泛用于增强灰度图像，但是由于高斯模糊生成的亮度层精度有限，因此它们在低照度图像增强方面性能不佳。

X.Fu等人提出了一种反射层和照度层同时估计的加权变分模型(simultaneousreflectance and illumination estimation,SRIE)来解决直接估计反射层图像的细节损失问题。He等人还提出了通过暗通道先验的成像模型，用于图像去雾和增强。基于反色的低光图像看起来像雾霾图像的观察与判断，在这一观察的基础上，暗通道先验被应用于低光图像增强。例如Li等人设计了一种三分量广义高斯混合模型(M.-D.Li,X.-L.Wu,J.-Y Liu,and Z.-M.Guo,“Restoration of unevenly illuminated images,”in Proc.25th IEEEInt.Conf.Image Process.(ICIP),Oct.2018,pp.1118-1122)，通过不同的策略来增强正常、欠曝和过曝区域。针对低照度水下图像的增强，Marques等人提出了一种从局部对比度信息中导出照明模型的方法(T.P.Marques and A.B.Albu,“L2UWE:a framework for theefficient enhancement of low-light underwater images using local contrast andmulti-scale fusion,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),May.2020)。Ren等人利用低秩先验来抑制低光照图像增强结果中的噪声，提出了低秩正则化Retinex模型(X.-T.Ren,W.-H.Yang,W.-H.Cheng,and J.-Y.Liu,“LR3M:robust low-light enhancement via low-rank regularized Retinex model,”IEEE Trans.ImageProcess.,vol.29,pp.5862-5876,Apr.2020)。Hao等人提出了半解耦分解法用于低照度增强与去噪(S.-J.Hao,X.Han,Y.-R.Guo,X.Xu,and M.Wang,“Low-light image enhancementwith semi-decoupled decomposition,”IEEE Trans.Multimedia,vol.22,no.12,pp.3025-3038,Dec.2020)。

基于现有的增强算法我们看到，现有的方法很多时候是将低照度增强表述为一个多块凸优化问题，并通过交替方向最小化技术的优化，同时估计低照度图像的反射层和照度层。这些基于SRIE的方法极大地提高了弱光增强的性能，同时也使图像增强算法的结构越来越复杂，导致计算复杂度高，工程实现困难。许多研究人员已经意识到了这个问题，因此一些增强方法都有自己的加速策略。然而，多块凸优化的复杂性使得低照度增强的实际应用面临着巨大的困难。

发明内容

针对现有技术存在的缺陷与不足，本发明提供一种基于正则化高斯场模型(Regularized Gaussian Fields Model,RGF)的优化函数实现的图像增强方法。

根据本发明目的的第一方面的基于RGF的低照度图像增强方法，包括如下步骤：

步骤一、针对输入的图像，计算每个像素值的对数，得到对数图像；

步骤二、从对数图像中生成网格掩膜；

步骤三、将对数图像和网格掩膜代入RGF优化函数和对应的一阶导数，利用梯度优化方法进行解优化，估计出最优反射层；

步骤四、利用高斯核对估计出的最优反射层进行校正，得到最终增强结果。

步骤一所述对输入图像的对数操作如下：

s＝ln(S), (1)

其中，S代表被观察或被相机接收到的图像信号。S和s都是m×n的二维矩阵。

步骤二所述的网格掩模的构造方法如下：

公式对横坐标为奇数的对数图像像素点s_ij，设置该像素点的值为0。

步骤三中将对数图像和网格掩膜代入得到的RGF优化函数如下：

其中是s的掩模，f_r(·)和f_l(·)分别是反射层和照度层的映射函数。x是s的坐标矩阵，即x_ij＝(i,j),i∈[1,m],j∈[1,n]。σ为范围系数，λ为正则化常数，φ(f_l,f_r)的作用是防止映射函数f_r(·)和f_l(·)过度变化。

反射层和照度层的映射函数定义如下:

其中，D是函数多项式的阶数，β_d和α_dk表示多项式系数。

定义行向量β^D和α^D表示反射层和照度层的映射函数系数的向量。和/>表示为和[i¹j⁰,i⁰j¹,i²j⁰,i¹j¹,i⁰j²,…,i^d-kj^k,…,i⁰j^D]。有RGF优化函数的矩阵形式如下：

其中P^D＝[α^D|β^D]，[·]^T表示矩阵的转置。公式(3)中的稳定项在矩阵形式下表示为/>

矩阵形式的RGF优化函数对应一阶导数为：

最后，利用梯度优化方法进行解优化，估计出最优反射层。

步骤四所述的对最优反射层的矫正操作如下：

其中，ω(s_ij)＝exp{-τ(s_ij)²}为高斯核函数，τ用于控制高斯核范围。η用于控制f_r(s)强度。基于高斯核的校正可以提高增强图像的细节保持性和自然度。

由此，通过本发明的方法，将Retinex分解表述为一个无约束的优化问题，利用高效的梯度优化技术即可实现反射层和照度层的同步估计。首先，构建基于正则高斯场(regularized Gaussian fields,RGF)的优化函数，该函数是可微的，因此可以采用基于梯度的标准优化技术进行解优化。然后，通过梯度下降算法同时估计反射率和光照度。最后，利用高斯核对估计出的反射层进行校正，实现了可以保留图像细节和自然度的低照度图像增强。

附图说明

图1为本发明示例性实施例的低照度图像增强方法的流程图。

图2为本发明中目标函数所使用的高斯场准则的函数曲线示意图。

图3为本发明方法同其他方法对同一低照度图像的图像增强的效果对比图。

具体实施方式

为了更了解本发明的技术内容，特举实例连同所附图式进行如下说明。

结合图1所述的示例性实现流程，本发明提出的基于正则化高斯场模型的低照度图像增强方法的实现包括以下过程：

步骤二、从对数图像中生成网格掩膜；

我们将结合附图所示，进一步描述以上实施例的低照度图像增强方法的示例性的实现。

步骤一、针对输入的图像，计算每个像素值的对数，得到对数图像。

若输入图像为灰度图像，则直接进行处理。

若输入为RGB彩色图像，则首先要将其转换至HSV颜色空间，然后只对图像的V通道按照本发明的实施例的方法进行处理，最后将处理后结果从HSV空间转换回RGB颜色空间，得到最终的彩色增强图像。

对输入图像的对数操作如下：

s＝ln(S), (1)

步骤二、从对数图像中生成网格掩膜。

在本发明的实施例中，对网络掩模的构造为，对输入图像中横坐标为奇数的像素点的值设置为0。公式如下：

步骤三、将对数图像和网格掩膜代入RGF优化函数和对应的一阶导数，利用梯度优化方法进行解优化，估计出最优反射层。

在本发明的实施例中，我们构造基于RGF的优化函数如下：

其中是s的掩模，f_r(·)和f_l(·)分别是反射层和照度层的映射函数。x是s的坐标矩阵，即x_ij＝(i,j),i∈[1,m],j∈[1,n]。σ为范围系数，基于经验，设定σ＝0.6。

φ(f_l,f_r)的作用是防止映射函数f_r(·)和f_l(·)过度变化。

λ为正则化常数，经实验可得，λ取0.02时效果最佳。

反射层和光照层的映射函数定义如下:

其中D是函数多项式的阶数，令D＝4。β_d和α_dk表示多项式系数。

当时，/>此时代入式(3)，优化函数变为：

其中s_e表示横坐标为奇数处的图像，x_e表示对应处坐标。此时容易得到光照的映射函数f_l。

当时，优化函数表示如下：

其中s_o表示除去横坐标为奇数处的剩余部分图像，x_o表示对应处坐标。在得到光照映射函数f_l基础上，通过式(7)易得到反射函数f_r(s)。可见网格掩模保证了基于RGF的优化函数可以同时估计反射层和照度层。

关于反射层和照度层映射函数的系数，我们定义行向量β^D和α^D，分别表示为[β₁,β₂,…,β_d,…,β_D]和[α₁₀,α₁₁,α₂₀,α₂₁,α₂₂,…,α_dk,…,α_DD]。

同样的，定义行向量为/> 为[i¹j⁰,i⁰j¹,i²j⁰,i¹j¹,i⁰j²,…,i^d-kj^k,…,i⁰j^D]。

我们令P^D＝[α^D|β^D]，[·]^T表示矩阵的转置。

公式(3)中的稳定项在矩阵形式下表示为

此时基于RGF的优化函数的矩阵形式如下：

根据本发明的一种具体实施方式，目标函数的一阶导数为如下形式：

基于目标函数(8)和其一阶导数(9)，可以利用拟牛顿法等梯度优化方法进行解优化，估计出最优反射层。

作为可选的示例，为降低计算复杂度，可以将输入图像进行一定比例缩小，然后将缩小后的图像代入RGF目标函数进行参数估计，操作如下：

s^r＝imresize(s,r), (10)

其中s是原图像对数，r是图像缩放倍数，imresize(·)定义为图像缩放操作。输入图像的灰度范围必须缩放在[0,1]。

在本发明的实施例中，我们设计r＝0.2对图像进行压缩，降低了时间复杂度的同时也避免了算法过拟合问题。

图2显示了目标函数所使用的函数曲线可以看到，/>的值越大，对于高斯场准则最小化的贡献越小，优化效果变差。对于公式(8)表示的矩阵形式的目标函数，捕获图像中明亮区域的反射层并没有得到很好的恢复。

为得到图像明亮区域细节，本发明提出一种具体实施方式，对估计出的最优反射层校正如下：

其中，s和f_r(s)是归一化的。ω(s_ij)＝exp{-τ(s_ij)²}为高斯核函数，其中，τ用于控制高斯核范围，η用于控制f_r(s)强度，避免过度曝光。

在本发明的实施例中，基于经验τ值取0.62，η值取0.67。由此，基于高斯核的校正可以提高增强图像的细节保持性和自然度。

图3显示了本发明的图像增强结果(proposed)与六种目前效果较好图像增强方法CLAHE、SRIE、LIME、L²UWE、LR3M、SDD结果之间的定性对比。可以看到，与现有的其他方法相比，通过本发明提出的方法对输入的原始低照度图像(Input)进行增强处理后，更好地保留了明亮区域的纹理细节信息。

结合以上本发明实施例的低照度图像增强方法的实施，根据本发明公开的实施例，还提出一种低照度图像增强装置，包括：

用于计算输入的图像的每个像素值的对数，得到对数图像的对数图像生成模块；

用从对数图像中生成网格掩膜的掩膜生成模块；

用于将对数图像和网格掩膜代入RGF优化函数和对应的一阶导数，利用梯度优化方法进行解优化，估计出最优反射层的估计模块；

用于利用高斯核对估计出的最优反射层进行校正，得到最终增强结果的图像校正模块。

其中，前述对数图像生成模块、掩膜生成模块、估计模块以及图像校正模块被设置成根据前述实施例的低照度图像增强方法中对应的方式实现。

结合以上实施例的方法的实施，根据本发明公开的实施例，还提出一种基于RGF的低照度图像增强系统，包括：一个或多个处理器；以及至少一个存储器。存储器可用以存储可被操作的指令，这些指令在通过一个或多个处理器执行时使得一个或多个处理器执行这样的操作，这些操作包括前述实施例的低照度图像增强方法的过程。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.一种基于RGF的低照度图像增强方法，其特征在于，包括如下步骤：

步骤1、计算输入的图像的每个像素值的对数，得到对数图像；

步骤2、从对数图像中生成网格掩膜；

步骤3、将对数图像和网格掩膜代入RGF优化函数和对应的一阶导数，利用梯度优化方法进行解优化，估计出最优反射层；

步骤4、利用高斯核对估计出的最优反射层进行校正，得到最终增强结果；

其中，所述步骤1中，计算输入的图像的每个像素值的对数，包括：

s＝ln(S) (1)

其中，S代表被观察或被相机接收到的图像信号；S和s都是m×n的二维矩阵；

所述步骤2中，从对数图像中生成网格掩膜，包括以下述方式构造网格掩膜：

其中，对横坐标为非奇数的对数图像像素点，设置该像素点的值为0；

所述步骤3中，将对数图像和网格掩膜代入RGF优化函数，如下：

其中，是s的掩模，f_r(·)和f_l(·)分别是反射层和照度层的映射函数；

x是s的坐标矩阵，即x_ij＝(i,j),i∈[1,m],j∈[1,n]；σ为范围系数，λ为正则化常数，φ(f_l,f_r)的作用是防止映射函数f_r(·)和f_l(·)过度变化；

其中反射层和照度层的映射函数f_r(·)和f_l(·)分别定义如下：

其中，D是函数多项式的阶数，β_d和α_dk表示多项式系数；

则，获得RGF优化函数的矩阵形式如下：

其中P^D＝[α^D|β^D]，[·]^T表示矩阵的转置；

行向量β^D和α^D表示反射层和照度层的映射函数系数的向量；

表示为：/>

表示为：[i¹j⁰,i⁰j¹,i²j⁰,i¹j¹,i⁰j²,…,i^d-kj^k,…,i⁰j^D]；

其中，公式(3)中的稳定项在矩阵形式下表示为

矩阵形式的RGF优化函数对应一阶导数为：

最后，利用梯度优化方法进行解优化，估计出最优反射层。

2.根据权利要求1所述的基于RGF的低照度图像增强方法，其特征在于，所述步骤4中，利用高斯核对估计出的最优反射层进行校正，包括：

其中，ω(s_ij)＝exp{-τ(s_ij)²}为高斯核函数，τ用于控制高斯核范围；η用于控制f_r(s)强度。

3.一种基于RGF的低照度图像增强装置，其特征在于，包括：

用从对数图像中生成网格掩膜的掩膜生成模块；

用于利用高斯核对估计出的最优反射层进行校正，得到最终增强结果的图像校正模块；

其中，所述对数图像生成模块被设置成以下述方式生成对数图像：

s＝ln(S)

所述掩膜生成模块被设置成以下述方式生成网格掩膜：

所述估计模块被设置成以下述方式估计出最优反射层：

将对数图像和网格掩膜代入RGF优化函数：

其中，D是函数多项式的阶数，β_d和α_dk表示多项式系数；

行向量β^D和α^D表示反射层和照度层的映射函数系数的向量；和/>表示为和[i¹j⁰,i⁰j¹,i²j⁰,i¹j¹,i⁰j²,…,i^d-kj^k,…,i⁰j^D]；

则有RGF优化函数的矩阵形式如下：

其中P^D＝[α^D|β^D]，[·]^T表示矩阵的转置；

其中公式(3)中的稳定项在矩阵形式下表示为

矩阵形式的RGF优化函数对应一阶导数为：

最后，利用梯度优化方法进行解优化，估计出最优反射层。

4.根据权利要求3所述的基于RGF的低照度图像增强装置，其特征在于，所述图像校正模块被设置成以下述方式对最优反射层进行校正：

5.一种基于RGF的低照度图像增强系统，其特征在于，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括所述权利要求1或2所述的方法的过程。