CN113808036A - 基于Retinex模型的低照度图像增强与去噪方法 - Google Patents

Abstract

本发明公开了一种基于Retinex模型的低照度图像增强与去噪方法，首先用图像采集设备获取待增强的低照度图像；然后将低照度图像分解为光照分量L和反射分量R两个未知分量，根据先验特征为光照分量L和反射分量R构建先验约束；引入变量B代表无噪声的低照度图像，根据图像非局部相似性，为无噪声的低照度图像B构建无噪声的先验约束条件，结合光照分量L和反射分量R的先验约束条件，构建分解优化目标函数；并进行求解，判断是否达到可行性解；最终的增强结果表示为L^γ⊙R，其中γ为校正因子，L^γ表示反射分量L矩阵中的每个元素的γ次方，⊙表示矩阵中对应元素相乘。本发明解决了现有技术中存在的低照度图像增强后噪声较大的问题。

Description

基于Retinex模型的低照度图像增强与去噪方法

技术领域

本发明属于数字图像处理与计算机视觉技术领域，具体涉及一种基于Retinex模型的低照度图像增强与去噪方法。

背景技术

由于曝光不足和各种传感器噪声，在弱光环境下拍摄的图像往往会出现低亮度、低对比度、强噪声和伪影等特征。这种图像不仅影响了人眼的主观视觉效果，而且不能被一些机器视觉系统有效地处理，例如监控或自动驾驶系统中的人和物体识别和检测。因此，低照度图像增强作为一项重要的预处理步骤而被人们广泛关注。

目前主流的低照度图像增强方法可分为基于Retinex的方法和基于深度学习的方法。基于深度学习的方法主要学习低照度图像与正常曝光图像之间的映射关系。基于Retinex的增强方法首先将输入图像分解为光照分量和反射分量，然后对光照分量进行伽马校正，校正后的光照分量与反射分量的哈达玛积即为增强后的图像。但是，目前的方法主要集中在为两个分量构建有效的先验约束，而忽略了获取的低照度图像中含有大量的噪声信息，增强后的噪声信息被放大，严重降低了增强图像的视觉质量。

发明内容

本发明的目的是提供一种基于Retinex模型的低照度图像增强与去噪方法，解决了现有技术中存在的低照度图像增强后噪声较大的问题。

本发明所采用的技术方案是，一种基于Retinex模型的低照度图像增强与去噪方法，具体按照以下步骤实施：

步骤1、用图像采集设备获取待增强的低照度图像；

步骤2、将所述步骤1得到的低照度图像分解为光照分量L和反射分量R两个未知分量，根据先验特征为光照分量L和反射分量R构建先验约束；引入变量B代表无噪声的低照度图像，根据图像非局部相似性，为无噪声的低照度图像B构建无噪声的先验约束条件，结合光照分量L和反射分量R的先验约束条件，构建分解优化目标函数；

步骤3、采用交替优化求解策略对三个未知分量B、R、L进行求解，使光照分量L和反射分量R的哈达玛积即两个分量矩阵中的对应元素相乘，在逼近变量B的优化过程中，去除低照度图像中的噪声；

步骤4、依据收敛条件，判断是否达到可行性解；

步骤5、最终的增强结果表示为L^γ⊙R，其中γ为校正因子，L^γ表示反射分量L矩阵中的每个元素的γ次方，⊙表示矩阵中对应元素相乘。

本发明的特点还在于，

步骤2具体如下：

依据Retinex成像原理，步骤1中获取的低照度图像I表示为：

I＝L⊙R (1)

其中，L表示场景光照分量，R表示物体对光照的反射率，即反射分量，

步骤2具体如下：

步骤2.1、引入变量N表示低照度图像I中含有的噪声，

引入一个新的变量B表示无噪声的低照度图像，即有：

B＝L⊙R (2)

步骤2.2、搭建完整的优化目标函数为：

式(3)中，|| ||_F表示矩阵的Frobenius范数,

表示矩阵Frobenius范数的平方，则

是使用矩阵的Frobenius范数去度量低照度图像I和L⊙R之间的差异，即为保真项，使得估计出的图像与低照度图像在内容上保持一致；Φ_l(L)、Φ_r(R)、Ψ(B)分别代表R、L、B的先验约束项，也即正则项；

步骤2.3、为光照分量L构建约束模型Φ_l(L)：

其中，α_l为优化参数，下角标l表示该参数是用于求解光照分量L；W_l为控制光照分量L中每个像素梯度变化幅度的权重参数，▽为梯度算子，将(4)式就x和y方向的梯度展开为：

其中，

表示使用矩阵的Frobenius范数去约束光照分量L的梯度变化，

和

分别代表光照分量L在x和y方向上的梯度，

其中，G_σ是标准偏差为σ的高斯滤波器，ε用于防止分母为零，给定值为10^-7；

步骤2.4、同理，为反射分量R构建约束模型Φ_r(R)：

其中，α_r是优化参数，下角标r表示该参数是用于求解反射分量R，W_r是控制反射分量R中每个像素梯度变化幅度的权重参数，将(6)式就x和y方向的梯度展开为：

其中，

整体表示使用矩阵的Frobenius范数去约束反射分量R的梯度变化,

和

分别代表反射分量R在x和y方向上的梯度，

步骤2.5，为无噪声低照度图像B构建约束模型Ψ(B)：

其中，β是优化参数；

B_i0是一个以像素点i为中心的，大小为b*b的图像块，B_ij,j＝1,...,n是图像中搜索得到的第j个与块B_i0相似的图像块，||N_i(B)||_*代表N_i(B)的核范数；

步骤2.6基于步骤2.3、2.4及2.5，公式(3)展开为：

(8)式为构建的分解优化目标函数。

步骤3具体如下：

采用交替优化迭代法对公式(8)进行求解，为了消除约束项B＝L⊙R，采用拉格朗日乘子法，引入新的变量H，得到新的优化目标函数：

其中，μ是优化参数；

步骤3.1、固定变量R、B、H，优化变量L的子问题为：

将(10)式化简为：

式中，

表示两个矩阵中对应元素相除，公式(11)属于标准的二次优化问题，可直接求解；

步骤3.2、基于步骤3.2对变量L的优化过程，固定变量L、B、H，对变量R进行优化的子问题为：

公式(12)也属于标准的二次优化问题，可直接求解；

步骤3.3、对变量B进行优化：

设计相应的惩罚参数β_i：

公式(14)中

上式的解由奇异值收缩法得到：

其中

U、S、V为X_i的奇异值分解结果，即svd(X_i)＝[U,S,V]，

δ_i为第i个奇异值；

其中，ρ和λ是预先设定的控制参数，W_x和W_y的具体计算如下：

其中R(i)为以i为中心，大小为b*b的图像块中像素点的集合；j是集合中的具体某个点；

根据公式(11)、(12)与(15)交替求得光照分量L、反射分量R及无噪声低照度图像B。

步骤4具体如下：

根据公式(11)、(12)与(15)交替迭代更新分量L、R与B，直至B的更新幅度小于给定的收敛条件：

其中，B^t表示第t次迭代求取的结果，B^t-1是第t-1次迭代求取的结果，ρ是给定的阈值。

步骤5具体如下：

当公式(18)的收敛条件达到时，求取的光照分量与反射分量分别为L和R,则最终的增强结果可表示为L^γ⊙R，其中γ为校正因子。

本发明的有益效果是，一种基于Retinex模型的低照度图像增强与去噪方法，在将图像分解为反射分量和照明分量的同时将其中的噪声去除，主要解决的是对弱光图像增强后噪声较大的问题。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明一种基于Retinex模型的低照度图像增强与去噪方法，具体按照以下步骤实施：

步骤1、用图像采集设备获取待增强的低照度图像；

步骤2、根据Retinex模型，将所述步骤1得到的低照度图像分解为光照分量L和反射分量R两个未知分量，根据先验特征为光照分量L和反射分量R构建先验约束；引入变量B代表无噪声的低照度图像，根据图像非局部相似性，为无噪声的低照度图像B构建无噪声的先验约束条件，结合光照分量L和反射分量R的先验约束条件，构建分解优化目标函数；

步骤2具体如下：

依据Retinex成像原理，步骤1中获取的低照度图像I表示为：

I＝L⊙R (1)

其中，L表示场景光照分量，R表示物体对光照的反射率，即反射分量，由物体的物理特性决定；

步骤2具体如下：

步骤2.1、由于Retinex模型没有显式地对成像过程中引入的噪声建模，本发明引入变量N表示低照度图像I中含有的噪声，

由于成像条件复杂，本发明不考虑噪声N的分布模型，为了在求解L与R的过程中去除噪声N，引入一个新的变量B表示无噪声的低照度图像，即有：

B＝L⊙R (2)

步骤2.2、搭建完整的优化目标函数为：

式(3)中，|| ||_F表示矩阵的Frobenius范数,

表示矩阵Frobenius范数的平方，则

是使用矩阵的Frobenius范数去度量低照度图像I和L⊙R之间的差异，即为保真项，使得估计出的图像与低照度图像在内容上保持一致；Φ_l(L)、Φ_r(R)、Ψ(B)分别代表R、L、B的先验约束项，也即正则项；

步骤2.3、为光照分量L构建约束模型Φ_l(L)：

其中，α_l为优化参数，下角标l表示该参数是用于求解光照分量L；W_l为控制光照分量L中每个像素梯度变化幅度的权重参数，▽为梯度算子，将(4)式就x和y方向的梯度展开为：

其中，

表示使用矩阵的Frobenius范数去约束光照分量L的梯度变化，

和

分别代表光照分量L在x和y方向上的梯度，

其中，G_σ是标准偏差为σ的高斯滤波器，ε用于防止分母为零，给定值为10^-7；

步骤2.4、同理，为反射分量R构建约束模型Φ_r(R)：

其中，α_r是优化参数，下角标r表示该参数是用于求解反射分量R，W_r是控制反射分量R中每个像素梯度变化幅度的权重参数，将(6)式就x和y方向的梯度展开为：

其中，

整体表示使用矩阵的Frobenius范数去约束反射分量R的梯度变化,

和

分别代表反射分量R在x和y方向上的梯度，

步骤2.5，利用图像的非局部自相似性，即在自然图像中，对于给定的图像块，可以在图像中找到许多与其相似的图像块，这些图像块构成的矩阵具有低秩性，为无噪声低照度图像B构建约束模型Ψ(B)：

其中，β是优化参数；

B_i0是一个以像素点i为中心的，大小为b*b的图像块，B_ij,j＝1,...,n是图像中搜索得到的第j个与块B_i0相似的图像块，||N_i(B)||_*代表N_i(B)的核范数；

步骤2.6基于步骤2.3、2.4及2.5，公式(3)展开为：

(8)式为构建的分解优化目标函数。

步骤3、采用交替优化求解策略对三个未知分量B、R、L进行求解，使光照分量L和反射分量R的哈达玛积即两个分量矩阵中的对应元素相乘，在逼近变量B的优化过程中，去除低照度图像中的噪声；

步骤3具体如下：

采用交替优化迭代法对公式(8)进行求解，为了消除约束项B＝L⊙R，采用拉格朗日乘子法，引入新的变量H，得到新的优化目标函数：

其中，μ是优化参数；

步骤3.1、固定变量R、B、H，优化变量L的子问题为：

将(10)式化简为：

式中，

表示两个矩阵中对应元素相除，公式(11)属于标准的二次优化问题，可直接求解；

步骤3.2、基于步骤3.2对变量L的优化过程，固定变量L、B、H，对变量R进行优化的子问题为：

公式(12)也属于标准的二次优化问题，可直接求解；

步骤3.3、对变量B进行优化：

其中(13)式是对整个图像的全局描述，由于不同图像块中的噪声水平不同，对于图像中不同的图像块估计相对应的噪声水平，设计相应的惩罚参数β_i：

公式(14)中

上式的解由奇异值收缩法得到：

其中

U、S、V为X_i的奇异值分解结果，即svd(X_i)＝[U,S,V]，

δ_i为第i个奇异值；

在求β_i的时候，考虑了噪声与图像主体结构在梯度统计特征上的差异性：

其中，ρ和λ是预先设定的控制参数，W_x和W_y的具体计算如下：

其中R(i)为以i为中心，大小为b*b的图像块中像素点的集合；j是集合中的具体某个点；

根据公式(11)、(12)与(15)交替求得光照分量L、反射分量R及无噪声低照度图像B。

步骤4、依据收敛条件，判断是否达到可行性解；

步骤4具体如下：

根据公式(11)、(12)与(15)交替迭代更新分量L、R与B，直至B的更新幅度小于给定的收敛条件：

其中，B^t表示第t次迭代求取的结果，B^t-1是第t-1次迭代求取的结果，ρ是给定的阈值。

步骤5、最终的增强结果表示为L^γ⊙R，其中γ为校正因子，L^γ表示反射分量L矩阵中的每个元素的γ次方，⊙表示矩阵中对应元素相乘。

步骤5具体如下：

当公式(18)的收敛条件达到时，求取的光照分量与反射分量分别为L和R,则最终的增强结果可表示为L^γ⊙R，其中γ为校正因子。

Claims (5)

1.一种基于Retinex模型的低照度图像增强与去噪方法，其特征在于，具体按照以下步骤实施：

步骤1、用图像采集设备获取待增强的低照度图像；

步骤2、将所述步骤1得到的低照度图像分解为光照分量L和反射分量R两个未知分量，根据先验特征为光照分量L和反射分量R构建先验约束；引入变量B代表无噪声的低照度图像，根据图像非局部相似性，为无噪声的低照度图像B构建无噪声的先验约束条件，结合光照分量L和反射分量R的先验约束条件，构建分解优化目标函数；

步骤3、采用交替优化求解策略对三个未知分量B、R、L进行求解，使光照分量L和反射分量R的哈达玛积即两个分量矩阵中的对应元素相乘，在逼近变量B的优化过程中，去除低照度图像中的噪声；

步骤4、依据收敛条件，判断是否达到可行性解；

步骤5、最终的增强结果表示为L^γ⊙R，其中γ为校正因子，L^γ表示反射分量L矩阵中的每个元素的γ次方，⊙表示矩阵中对应元素相乘。

2.根据权利要求1所述的一种基于Retinex模型的低照度图像增强与去噪方法，其特征在于，所述步骤2具体如下：

依据Retinex成像原理，步骤1中获取的低照度图像I表示为：

I＝L⊙R (1)

其中，L表示场景光照分量，R表示物体对光照的反射率，即反射分量，

步骤2具体如下：

步骤2.1、引入变量N表示低照度图像I中含有的噪声，

引入一个新的变量B表示无噪声的低照度图像，即有：

B＝L⊙R (2)

步骤2.2、搭建完整的优化目标函数为：

式(3)中，||||_F表示矩阵的Frobenius范数,

表示矩阵Frobenius范数的平方，则

是使用矩阵的Frobenius范数去度量低照度图像I和L⊙R之间的差异，即为保真项，使得估计出的图像与低照度图像在内容上保持一致；Φ_l(L)、Φ_r(R)、Ψ(B)分别代表R、L、B的先验约束项，也即正则项；

步骤2.3、为光照分量L构建约束模型Φ_l(L)：

其中，α_l为优化参数，下角标l表示该参数是用于求解光照分量L；W_l为控制光照分量L中每个像素梯度变化幅度的权重参数，

为梯度算子，将(4)式就x和y方向的梯度展开为：

其中，

表示使用矩阵的Frobenius范数去约束光照分量L的梯度变化，

和

分别代表光照分量L在x和y方向上的梯度，

其中，G_σ是标准偏差为σ的高斯滤波器，ε用于防止分母为零，给定值为10^-7；

步骤2.4、同理，为反射分量R构建约束模型Φ_r(R)：

其中，α_r是优化参数，下角标r表示该参数是用于求解反射分量R，W_r是控制反射分量R中每个像素梯度变化幅度的权重参数，将(6)式就x和y方向的梯度展开为：

其中，

整体表示使用矩阵的Frobenius范数去约束反射分量R的梯度变化,

和

分别代表反射分量R在x和y方向上的梯度，

步骤2.5，为无噪声低照度图像B构建约束模型Ψ(B)：

其中，β是优化参数；

B_i0是一个以像素点i为中心的，大小为b*b的图像块，B_ij,j＝1,...,n是图像中搜索得到的第j个与块B_i0相似的图像块，||N_i(B)||_*代表N_i(B)的核范数；

步骤2.6基于步骤2.3、2.4及2.5，公式(3)展开为：

(8)式为构建的分解优化目标函数。

3.根据权利要求2所述的一种基于Retinex模型的低照度图像增强与去噪方法，其特征在于，所述步骤3具体如下：

采用交替优化迭代法对公式(8)进行求解，为了消除约束项B＝L⊙R，采用拉格朗日乘子法，引入新的变量H，得到新的优化目标函数：

其中，μ是优化参数；

步骤3.1、固定变量R、B、H，优化变量L的子问题为：

将(10)式化简为：

式中，

表示两个矩阵中对应元素相除，公式(11)属于标准的二次优化问题，可直接求解；

步骤3.2、基于步骤3.2对变量L的优化过程，固定变量L、B、H，对变量R进行优化的子问题为：

公式(12)也属于标准的二次优化问题，可直接求解；

步骤3.3、对变量B进行优化：

设计相应的惩罚参数β_i：

公式(14)中

B_i＝N_i(B)；上式的解由奇异值收缩法得到：

其中

U、S、V为X_i的奇异值分解结果，即svd(X_i)＝[U,S,V]，

δ_i为第i个奇异值；

其中，ρ和λ是预先设定的控制参数，W_x和W_y的具体计算如下：

其中R(i)为以i为中心，大小为b*b的图像块中像素点的集合；j是集合中的具体某个点；

根据公式(11)、(12)与(15)交替求得光照分量L、反射分量R及无噪声低照度图像B。

4.根据权利要求3所述的一种基于Retinex模型的低照度图像增强与去噪方法，其特征在于，所述步骤4具体如下：

根据公式(11)、(12)与(15)交替迭代更新分量L、R与B，直至B的更新幅度小于给定的收敛条件：

其中，B^t表示第t次迭代求取的结果，B^t-1是第t-1次迭代求取的结果，ρ是给定的阈值。

5.根据权利要求4所述的一种基于Retinex模型的低照度图像增强与去噪方法，其特征在于，所述步骤5具体如下：

当公式(18)的收敛条件达到时，求取的光照分量与反射分量分别为L和R,则最终的增强结果可表示为L^γ⊙R，其中γ为校正因子。