CN114862711B - 基于双重互补先验约束的低照度图像增强与去噪方法 - Google Patents

Abstract

本发明公开了一种基于双重互补先验约束的低照度图像增强与去噪方法，该方法如下：求解光照分量，并确保光照分量中不含有噪声，所有噪声都包含在反射分量中；基于非局部自相似性原理，为反射分量构建噪声去除内部先验约束；基于大量自然图像，为增强后图像构建噪声去除外部先验约束；结合上述构建的内部和外部先验约束，使两种先验约束动态互补，求取最后的增强结果。采用该方法解决了低照度图像增强技术中的噪声放大问题。

Description

基于双重互补先验约束的低照度图像增强与去噪方法

技术领域

本发明属于数字图像处理技术领域，具体涉及基于双重互补先验约束的低照度图像增强与去噪方法。

背景技术

在夜间或逆光等条件下，采集的影像常存在大面积的暗区、对比度低、有效信息少、噪声污染严重等，这些降质给后续视觉任务带来了极大的挑战。低照度图像增强旨在通过一些原理和方法尽可能地恢复场景的真实信息。早期的研究主要面向编码后的图像格式(如PNG,JPEG和BMP等)。近年来，随着图像采集设备计算能力的提升，面向原始光学传感器数据(Raw格式)的增强方法越来越多。然而，很多便携式采集设备仍不支持Raw格式数据，且在一些特殊的应用中，只可获取编码后的图像。

目前，主流的低照度图像增强方法包括两类：基于深度学习的方法和基于Retinex模型的方法。基于深度学习的方法常采用端到端的学习策略来获取低照度图像与正常曝光图像间的映射关系。基于Retinex模型的增强方法常将待增强图像分解为两部分：光照分量与反射分量，然后对光照分量进行伽马校正，增强后的图像表示为校正后的光照分量与反射分量的哈达玛积。但是低照度图像常伴随着高噪声，经过分解和伽马校正后，噪声常被放大。目前，基于Retinex模型的增强方法集中在解决输入图像光照不均匀的欠增强或过增强问题，而忽略了增强过程中的噪声放大问题。

发明内容

本发明的目的是提供一种基于双重互补先验约束的低照度图像增强与去噪方法，解决了低照度图像增强技术中的噪声放大问题。

本发明采用以下技术方案：基于双重互补先验约束的低照度图像增强与去噪方法，该方法包括如下步骤：

步骤1、经图像采集设备获取需要增强的低照度图像I_low；

步骤2、将所述步骤1中获取的图像I_low分解为光照分量L和反射分量R_noise；

步骤3、基于图像内容的非局部相似性原理，利用低秩矩阵恢复理论对反射分量R_noise构建噪声去除内部先验约束；

步骤4、基于深度学习理论，借助正常光照条件下图像去噪任务的公开数据集，为增强后的图像I_en-noise构建噪声去除外部先验约束；

步骤5、结合所述步骤3中的内部先验约束和步骤4中的外部先验约束，构建联合优化目标函数，交替优化求解无噪声的反射分量R和去噪后的增强图像I_en；

步骤6、根据所述反射分量R的更新，构建收敛条件，并判断是否已达到可行解；

步骤7、将

作为最终的增强结果。

进一步地，步骤3的具体过程如下：

依据图像内容的非局部自相似性原理，利用低秩矩阵恢复理论对反射分量R_noise构建噪声去除内部先验约束，令无噪声的反射分量为R，则内部先验约束如下：

其中：||N_ij(R)||_*代表矩阵N_ij(R)的核范数；矩阵N_ij(R)是依据图像内容的非局部自相似原理构建：确定R中以像素点(i，j)为中心，大小为b·b的图像块R_ij；在R中搜索到n个与块R_ij相似的图像块，让这些块连接构成矩阵

所述步骤4的具体过程如下：依据步骤2中求取的光照分量L和反射分量R_noise，经伽马(Gamma)校正，增强后的含有噪声图像I_en-noise可表示为

本发明依据深度学习理论，借助正常光照条件下图像去噪任务的公开数据集，提前训练一个深度即插即用模块；基于此模块，为I_en-noise构建噪声去除外部先验约束，具体表示如下：

其中：I_en代表去噪声后的增强图像，

是保真项，Θ(I_en)代表采用深度即插即用模块构建的噪声去除正则化项。

进一步地，步骤5的具体过程如下：

将步骤3里构建的内部先验约束公式(5)与步骤4里构建的外部先验约束公式(6)相结合，构建基于双重互补先验约束的联合优化目标函数：

公式(7)可采用交替优化迭代法求解，采用拉格朗日乘子法，引入变量，得到新的目标函数：

其中：α是正则化参数；

步骤5.1、在公式(8)中，待增强低照度图像I_low，光照分量L和增强后的噪声图像I_en-noise已知，初始化H为元素全为0的矩阵；然后固定变量I_en和H，求解反射分量R的子问题为：

上述(9)式可简化为：

/>

公式(10)是经典的低秩矩阵恢复模型，可采用奇异值收缩法(SVT，SingularValue Thresholding)求取反射分量R；

步骤5.2、在公式(8)中固定变量R和H，求解I_en的子问题可化简为：

上述(11)式可以化简为以下优化目标函数：

将

输入到提前训练好的深度即插即用模块里，求解得到I_en；

步骤5.3、依据步骤5.1和5.2求取的反射分量R和I_en，更新变量H的值，具体计算方法如下：

根据公式(10)、(12)及(13)交替更新R、I_en和H的值。

进一步地，步骤6具体如下：根据公式(10)、(12)与(13)交替迭代更新R、I_en及H的值，直至_R的更新幅度小于给定的收敛条件：

其中，R^t与R^t-1分别表示第t次和第t-1次迭代求取的反射分量，ρ是给定的阈值。

5.如权利要求1所述的一种X，其特征在于，步骤7具体为：当公式(14)的收敛条件达到时，将求取的R作为最终的反射分量，则最终的增强结果可表示为

进一步地，步骤2的具体过程如下：在上述步骤1中获取的低照度图像I_low中常含有噪声，根据Retinex模型理论，I_low可分解为光照分量L和反射分量R_noise的哈达玛积，即：

为了求取光照分量L和反射分量R_noise，步骤2的具体操作如下：

步骤2.1、为L构建了以下优化目标函数：

上述(2)式中

表示矩阵Frobenius范数的平方，/>

约束，/>

表示矩阵的L1范数，/>

为梯度算子，/>

约束；引入ε＝10^-6，(2)式可直接求解；W(i，j)代表权重矩阵W在像素(i，j)点的值，/>

表示光照分量在像素(i，j)点的梯度，∑是求和符号；其中权重矩阵W计算方法如下：

其中：G_σ是标准偏差为σ的高斯滤波器，*表示卷积运算；

步骤2.2、根据步骤2.1求取光照分量L后，可直接用下式求取反射分量R_noise：

其中：

表示两个矩阵中对应元素相除，max(L，ε)。

本发明的有益效果是：对低照度图像求解光照分量，并确保光照分量中不含有噪声，这使得所有噪声都包含在反射分量中；基于非局部自相似性原理，为反射分量构建噪声去除内部先验约束；基于大量自然图像，为增强后图像构建噪声去除外部先验约束；构建的内部和外部先验约束，使两种先验约束动态互补，求取最后的增强结果，解决了低照度图像增强技术中噪声放大的问题。

附图说明

图1为本发明实施例中低照度图像及进行Retinex分解的图，其中：

1a为低照度图像；

1b为得到的光照分量；

1c为得到的反射分量；

图2为本发明实施例中基于双重互补先验约束的去噪的结果图，其中：

2a是步骤2中Retinex分解得到含有噪声的反射分量；

2b是利用步骤2中Retinex分解得到的光照分量和反射分量，经伽马校正，增强后的含有噪声的图像；

2c是求解公式(8)时，第一次迭代中求取的反射分量；

2d是求解公式(8)时，第一次迭代中求取的去噪后的增强图像，

2e是求解公式(8)时，第二次迭代中求取的反射分量；

2f是求解公式(8)时，第二次迭代中求取的去噪后的增强图像；

2g是本发明最后的增强结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

步骤1、经图像采集设备获取需要增强的低照度图像I_low，如图1中图a所示，照度低，模糊。以及进行Retinex分解，得到的光照分量和反射分量如图1中b和c所示。

步骤2、将步骤1中获取的低照度图像I_low分解为光照分量L和反射分量R_noise，在求解L时，需要考虑两点：一是L应具有与I_low相似的纹理特征；二是L中无噪声，这样使得低照度图像I_low中的噪声都表现在R_noise中，如图2中a所示。

步骤2具体如下：

在上述步骤1中获取的低照度图像I_low中常含有噪声，根据Retinex模型理论，I_low可分解为光照分量L和反射分量R_noise的哈达玛积，即：

为了求取光照分量L和反射分量R_noise，步骤2的具体操作如下：

步骤2.1、为了使L具有与I_low相似的纹理特征，且L中无噪声，为L构建了以下优化目标函数：

上述(2)式中

表示矩阵Frobenius范数的平方，/>

约束是为了让L具有与I_low相似的纹理特征，/>

表示矩阵的L1范数，/>

为梯度算子，/>

约束是为了使光照分量L中不含有噪声。为了提高求解效率，引入ε＝10^-6用于防止分母为零，将基于L1范数的优化问题转化为标准的二次优化问题，(2)式可直接求解。W(i，j)代表权重矩阵W在像素(i，j)点的值，/>

表示光照分量在像素(i，j)点的梯度，∑是求和符号。其中权重矩阵W计算方法如下：

其中：G_σ是标准偏差为σ的高斯滤波器，*表示卷积运算。

步骤2.2、根据步骤2.1求取光照分量L后，可直接用下式求取反射分量R_noise：

其中：

表示两个矩阵中对应元素相除，max(L，ε)用于防止分母为0。

步骤3、基于图像内容的非局部相似性原理，利用低秩矩阵恢复理论对反射分量R_noise构建噪声去除内部先验约束；

步骤3具体如下：

依据图像内容的非局部自相似性原理，利用低秩矩阵恢复理论对反射分量R_noise构建噪声去除内部先验约束，令无噪声的反射分量为R，则内部先验约束如下：

其中：||N_ij(R)||_*代表矩阵N_ij(R)的核范数；矩阵N_ij(R)是依据图像内容的非局部自相似原理构建：确定R中以像素点(i，j)为中心，大小为b·b的图像块R_ij；在R中搜索到n个与块R_ii相似的图像块，让这些块连接构成矩阵

步骤4、基于深度学习理论，借助大量自然图像信息，为增强后的图像I_en-noise构建噪声去除外部先验约束；

依据步骤2中求取的光照分量L和反射分量R_noise，经伽马(Gamma)校正，增强后的含有噪声的图像I_en-oise可表示为

如图2中的b所示。本发明依据深度学习理论，借助大量自然图像，提前训练一个深度即插即用模块。基于此模块，为I_en-noise构建噪声去除外部先验约束，具体表示如下：

其中：I_en代表去噪声后的增强图像，

是保真项，Θ(I_en)代表采用深度即插即用模块构建的噪声去除正则化项。

步骤5、结合步骤3的内部先验约束和步骤4的外部先验约束，构建联合优化目标函数，交替优化求解无噪声的反射分量R和去噪后的增强图像I_en；

步骤5具体如下：

将步骤3里构建的内部先验约束(公式(5))与步骤4里构建的外部先验约束(公式(6))相结合，构建基于双重互补先验约束的联合优化目标函数：

公式(7)可采用交替优化迭代法求解，为了消除约束项

本发明采用拉格朗日乘子法，通过引入变量，得到新的目标函数：

其中：α是正则化参数。

步骤5.1、在公式(8)中，待增强低照度图像I_low，光照分量L和增强后的噪声图像I_en-noise已知，初始化H为元素全为0的矩阵。然后固定变量I_en和H，求解反射分量R的子问题为：

上述(9)式可简化为：

公式(10)是经典的低秩矩阵恢复模型，可采用奇异值收缩法(SVT，SingularValue Thresholding)求取反射分量R。

步骤5.2、在公式(8)中固定变量R和H，求解I_en的子问题可化简为：

上述(11)式可以化简为以下优化目标函数：

将

输入到提前训练好的深度即插即用模块里，求解得到I_en。

步骤5.3、依据步骤5.1和5.2求取的反射分量R和I_en，更新变量H的值，具体计算方法如下：

根据公式(10)、(12)及(13)交替更新R、I_en和H的值。

求解公式(8)时，第一次迭代中求取的反射分量如图2中c所示，如图所示，展示的反射分量R至少依据R的内部先验知识去噪的结果，很多纹理信息连同噪声一起被去除。第一次迭代中求取的去噪后的增强图像如图2中d所示；第二次迭代中求取的反射分量如图2中e所示，展示的反射分量R是结合内部先验约束和外部先验约束的去噪结果，相比于图2c，更多的纹理信息被保留下来。第二次迭代中求取的去噪后的增强图像如图2中f所示；

步骤6、根据反射分量R的更新，为优化目标函数，即公式(8)构建收敛条件，并判断是否已达到可行解；

如步骤5所述，根据公式(10)、(12)与(13)交替迭代更新R、I_en及H的值，直至R的更新幅度小于给定的收敛条件：

其中，R^t与R^t-1分别表示第t次和第t-1次迭代求取的反射分量，ρ是给定的阈值。

步骤7、将

作为最终的增强结果，γ代表伽马校正因子，L^γ表示对光照分量L矩阵中的每个元素都进行γ次方运算，/>

表示两个矩阵的对应元素相乘。

步骤7具体如下：

当公式(14)的收敛条件达到时，将求取的R作为最终的反射分量，则最终的增强结果可表示为

如图2中g所示，与图2b相比较，噪声得到了有效去除，并较好的保留了相关纹理特征。其中γ代表伽马(Gamma)校正因子，L^γ表示对光照分量L矩阵中的每个元素都进行γ次方运算。/>

Claims (4)

1.基于双重互补先验约束的低照度图像增强与去噪方法，其特征在于，该方法包括如下步骤：

步骤1、经图像采集设备获取需要增强的低照度图像I_low；

步骤2、将所述步骤1中获取的图像l_low分解为光照分量L和反射分量R_noise；

步骤3、基于图像内容的非局部相似性原理，利用低秩矩阵恢复理论对反射分量R_noise构建噪声去除内部先验约束；

步骤4、基于深度学习理论，借助正常光照条件下图像去噪任务的公开数据集，为增强后的图像I_{en noise}构建噪声去除外部先验约束；

步骤5、结合所述步骤3中的内部先验约束和步骤4中的外部先验约束，构建联合优化目标函数，交替优化求解无噪声的反射分量R和去噪后的增强图像I_on；

步骤6、根据所述反射分量R的更新，构建收敛条件，并判断是否已达到可行解；

步骤7、将

作为最终的增强结果；

所述步骤3的具体过程如下：

依据图像内容的非局部自相似性原理，利用低秩矩阵恢复理论对反射分量R_noise构建噪声去除内部先验约束，令无噪声的反射分量为R，则内部先验约束如下：

其中：||N_ij(R)||_*代表矩阵N_ij(R)的核范数；矩阵N_ij(R)是依据图像内容的非局部自相似原理构建：确定R中以像素点(i,j)为中心，大小为b·b的图像块R_ij；在R中搜索到n个与块R_ij相似的图像块，让这些块连接构成矩阵

所述步骤4的具体过程如下：依据步骤2中求取的光照分量L和反射分量R_noise，经伽马(Gamma)校正,增强后的含有噪声图像I_{en noise}可表示为

依据深度学习理论，借助正常光照条件下图像去噪任务的公开数据集，提前训练一个深度即插即用模块；基于此模块，为i_en-noise构建噪声去除外部先验约束，具体表示如下：

其中：I_en代表去噪声后的增强图像，

是保真项，Θ(I_en)代表采用深度即插即用模块构建的噪声去除正则化项；

所述步骤5的具体过程如下：

将步骤3里构建的内部先验约束公式(5)与步骤4里构建的外部先验约束公式(6)相结合，构建基于双重互补先验约束的联合优化目标函数：

公式(7)可采用交替优化迭代法求解，采用拉格朗日乘子法，引入变量，得到新的目标函数：

其中：α是正则化参数；

步骤5.1、在公式(8)中，待增强低照度图像I_low，光照分量L和增强后的噪声图像i_en-noise已知，初始化H为元素全为0的矩阵；然后固定变量I_en和H，求解反射分量R的子问题为：

上述(9)式可简化为：

公式(10)是经典的低秩矩阵恢复模型，可采用奇异值收缩法(SVT,Singular ValueThresholding)求取反射分量R；

步骤5.2、在公式(8)中固定变量R和H，求解I_en的子问题可化简为：

上述(11)式可以化简为以下优化目标函数：

将

输入到提前训练好的深度即插即用模块里，求解得到I_en；

步骤5.3、依据步骤5.1和5.2求取的反射分量R和I_en，更新变量H的值，具体计算方法如下：

根据公式(10)、(12)及(13)交替更新R、I_en和H的值。

2.如权利要求1所述的基于双重互补先验约束的低照度图像增强与去噪方法，其特征在于，所述步骤6具体如下：根据公式(10)、(12)与(13)交替迭代更新R、I_en及H的值，直至R的更新幅度小于给定的收敛条件：

其中，R^t与R^t-1分别表示第t次和第t-1次迭代求取的反射分量，ρ是给定的阈值。

3.如权利要求2所述的基于双重互补先验约束的低照度图像增强与去噪方法，其特征在于，步骤7具体为：当公式(14)的收敛条件达到时，将求取的R作为最终的反射分量，则最终的增强结果可表示为

4.如权利要求2所述的基于双重互补先验约束的低照度图像增强与去噪方法，其特征在于，所述步骤2的具体过程如下：在上述步骤1中获取的低照度图像I_low中常含有噪声，根据Retinex模型理论，I_low可分解为光照分量L和反射分量R_noise的哈达玛积，即：

为了求取光照分量L和反射分量R_noise，步骤2的具体操作如下：

步骤2.1、为L构建了以下优化目标函数：

上述(2)式中

表示矩阵Frobenius范数的平方，/>

约束，|| ||_l1表示矩阵的L1范数，/>

为梯度算子，/>

约束；引入ε＝10^-6，(2)式可直接求解；W(i,j)代表权重矩阵W在像素(i,j)点的值，/>

表示光照分量在像素(i,j)点的梯度，∑是求和符号；其中权重矩阵W计算方法如下：

其中：G_σ是标准偏差为σ的高斯滤波器，*表示卷积运算；

步骤2.2、根据步骤2.1求取光照分量L后，可直接用下式求取反射分量R_noise：

其中：

表示两个矩阵中对应元素相除，max(L,ε)。/>

Images