CN110796609B - 基于尺度感知和细节增强模型的低光图像增强方法 - Google Patents
基于尺度感知和细节增强模型的低光图像增强方法 Download PDFInfo
- Publication number
- CN110796609B CN110796609B CN201910836624.XA CN201910836624A CN110796609B CN 110796609 B CN110796609 B CN 110796609B CN 201910836624 A CN201910836624 A CN 201910836624A CN 110796609 B CN110796609 B CN 110796609B
- Authority
- CN
- China
- Prior art keywords
- order difference
- matrix
- iteration
- result
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008447 perception Effects 0.000 title claims abstract description 22
- 238000005286 illumination Methods 0.000 claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 97
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 230000021615 conjugation Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 230000014759 maintenance of location Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于尺度感知和细节增强模型的低光图像增强方法提出了一种尺度感知的结构保留和细节增强模型（SSD），它对于在弱光条件下的图像增强简单且有效。首先，设计了一种新的基于Retinex的模型，其中使用新颖的尺度感知结构保留项作为正则化，可以同时估计尺度感知结构保持反射分量和平滑照明分量。噪声分量估计也包括在模型中以抑制给定图像的噪声。其次，采用交替方向法（ADMM）精确求解细化问题。最后，使用伽马校正对图像进行细节增强，以进一步改善给定图像的视觉质量。实验结果验证了所提方法的适用性，可应用到图像处理设备中。
Description
技术领域
本发明涉及计算机视觉与人工智能技术领域，尤其涉及一种 基于尺度感知和细节增强模型的低光图像增强方法。
背景技术
随着计算机视觉技术的不断发展，成像系统和计算机视觉监 控设备可以捕获大量的图像信息。然而，在室内，夜晚，不均匀 照明条件等一些弱光条件下，由于不自然的照明光不足，目标表 面上的反射光较弱，光线进入成像传感器的光线不足，导致成像 质量不佳并且图像识别率低，而且图像中含有大量噪声，因此很 难区分图像中的细节，从而大大降低了图像的价值。
传统的图像增强算法可以分为两类：基于空间域的增强算法 和基于变换域的增强算法。其中，基于空间域的算法通过直接处 理图像的像素值来达到图像增强的目的，基于变换域的算法通过 将源图像转换到另一个特征域来实现图像增强。目前，图像增强 算法主要包括线性变换，伽马校正，直方图均衡，反清晰掩模， 同态滤波，色调映射，暗通道算法，基于形态学的图像增强算法， 基于人类视觉系统的图像增强算法和图像增强。其中，基于直方 图均衡的算法通过在整个图像上均匀地扩展图像的直方图，达到 了增强图像对比度和丰富图像细节的目的。然而，在均衡直方图 的过程中，原始图像中具有较少像素数的灰度级被合并为新的灰 度级，这导致图像局部过度增强并丢失细节。非锐化掩模通过增强原始图像中的边缘轮廓等高频信息来实现图像增强，但是增强 图像在边缘处具有光晕现象，并且光照平缓变化的区域不那么增 强。偏微分方程具有图像统计建模的简单性和灵活性以及数值实 现中的数学易处理性和有效性，在图像增强中引起了广泛的关注。 色调映射基于对比度增强技术来构建基于概率的像素映射函数。 然而，一个大的动态范围往往被分配给平滑区域，从而阻止了为 感兴趣的区域分配动态范围资源。
Retinex算法的提出是基于彩色图像可以分解为反射和照明两 个因素的假设。基于Retinex理论，首先提出了单尺度Retinex算 法(SSR)和多尺度Retinex算法(MSR)。Retinex算法理论为低 照度图像增强算法提供了一个新的研究方向。近年来，出现了一 系列基于Retinex的改进算法。2005年，Elad提出了一种基于双边 滤波的快速非迭代Retinex算法。该算法的核心思想是利用双边滤 波估计输入图像中的光照分量，从而保留反射分量，提高低光照 图像的亮度。双边滤波的性能是有前途的。但由于光照结构的盲 目性，双边滤波可能会失去纹理丰富区域的真实性。2009年，Chen 等人提出了一种基于Retinex的彩色图像自然表示算法，将Retinex 与直方图均衡相结合，实现图像冷暖色调的自然表示和增强。2013 年，Lee等人提出了一种增强图像对比度的自适应多尺度视网膜算 法(AMSR)。该算法基于SSR和MSR，在增强图像对比度方面 具有很好的效果。然而，图像往往看起来不自然，并经常出现过 度增强后的ASMR过程。
上述方法大都采用对数变换进行预处理，以降低计算复杂度。 然而，由于对数变换抑制了亮区梯度幅度的变化，解决对数域中 的不适定问题可能会导致这些区域的精细结构细节丢失。为克服 Retinex理论对数变换的缺点，近年来提出了许多改进的Retinex方法。Fu等人提出了一种同时进行反射率和光照估计(SRIE)的 加权变化模型。SRIE的主要思想是利用估计的反射率和光照来控 制光照，从而增强目标图像。Fu等人提出了一种图像增强的概率 模型，同时估计输入图像的光照图和反射率图。郭等人提出了一 种基于光照图估计(LIME)的微光图像增强的变化模型，该模型 旨在通过估计其光照图来增强微光图像。LIME方法很有效，但由 于其忽略了反射图估计，因此输出图像的噪声比较明显。随后，Liu等人提出了一种鲁棒性Retinex模型，克服了噪声对输出图像 的影响。然而，该方法也存在计算效率相对较低的问题。
由于以上算法的缺陷，目前急需一种能够实时而有效的低光 图像增强算法，以便对图片进行有效的理解。
发明内容
本发明提供了一种基于尺度感知和细节增强模型的低光图像 增强方法，以便图片更易于人眼的理解，从而用于机器视觉中等 设备后续的处理。
本发明采用如下技术方案：
基于尺度感知和细节增强模型的低光图像增强方法，包括如下 步骤：
步骤1：在低光情况下，采集图片信号K；
步骤2：将RGB通道图片转为HSV通道图片；
使用HSV变换，将RGB通道图片K转换为HSV通道图片P, 其中H代表色调、S代表饱和度、V代表亮度；
步骤3：在图片P的V通道，使用以下模型对图片进行分解：
其中
M为权重矩阵，其具体 的确定方式见3，θ为关于权重矩阵M的角矩阵；
R、I、N分别为P待分解的反射分量、照明分量和噪声分量；
运算符
表示元素乘法，即两个大小相同的矩阵对应位置的乘 积；
表示一阶差分，
表示x方向的一阶差分，
表示y方向的 一阶差分；||·||1代表矩阵的L1范数,||·||2代表矩阵的L2范数； 
保持观察到的图像P和重构图像
之间的 保真度；
确保照度图的尺度感知结构平滑度；
是尺度感知算子，M是其对应的权重矩阵，具体的确定方式见3； 
对应于反射分量的稀疏度,让反射分量R保持分段连续性； 
用于避免基于L2范数白路径假设的缩放问题；
为噪声分量的保真度项，用于保证模型的准确性；α,γ,δ和β分别 为正惩罚因子，用于平衡模型中的各项；I0是P的平均像素值；
步骤4，使用增广拉格朗日模型进行求解，求得图片的照明分 量，反射分量和噪声分量；
使用增广拉格朗日法对公式(1)进行迭代求解，各项更新公式 如下：
对于反射分量R：
其中
Δ＝0.001， 用于避免分母为0；μ2＝0.6；
为一阶差分；
为一阶差分的转置； R(t)、N(t)、I(t)、
分别为矩阵R、N、I、G3、Z3第t次迭 代结果，R(t+1)为矩阵R第t+1次迭代结果；
为二维傅里叶变换；
和
分别表示二维傅里叶逆变换和
的复共轭；
中的2代表与
大小相同的矩阵， 矩阵的每个位置都为2；
对于照明分量I：
其中
；Δ＝0.001，用于避免分母为0；R(t)、N(t)、I(t)、
分 别为矩阵R、N、I、G1、Z1、Z2、G2第t次迭代结果；I(t+1)代表 矩阵I第t+1次迭代结果；μ1＝0.6，γ＝0.01；E代表特征矩阵；
为 一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分； 
表示x方向的一阶差分转置，
表示y方向的一阶差分转置；
对于噪声分量N：
其中R(t)、I(t)分别为矩阵R、I第t次迭代结果，N(t+1)为矩阵 N第t+1次迭代结果；δ＝0.01；
对于G1，G2，G3：
其中
对于Z1，Z2，Z3：
其中I(t)，R(t)，
分别为矩 阵I,R,G1，G2，G3，Z1，Z2，Z3第t次迭代结果，
分别为矩阵Z1，Z2，Z3第t+1次迭代结果；μ1＝μ2＝0.6；
为一阶差 分；
表示x方向的一阶差分，
表示y方向的一阶差分；
步骤5，重复步骤4，若满足以下条件：
εI＝(||I(t+1)-I(t)||/||I(t)||)≤ε1 且εR＝(||R(t+1)- R(t)||/||R(t)||)≤ε2 (11)
其中ε1＝ε2＝10-4，结束本步骤；
步骤6，使用伽马校正，对图片照明分量进行校正；
对步骤5中得到的照明分量I进行伽马矫正，公式如下：
其中γ＝2.2；
步骤7，将HSV通道图片转回RGB通道图片，算法结束。
进一步的，所述步骤2中的HSV变换，具体公式如下：
V＝max{R，G，B} (16)
其中R、G、B分别代表彩色图片R、G、B三个通道对应的 矩阵。
进一步的，所述步骤3中权重矩阵确定方式如下：
这里使用以下方式来确定参数，公式(1)中的权重M由以下公 式设定：
其中
为沿角度θp方向的偏导数算子：
其中θp是具有最小振荡的结构方向，即垂直于附近结构的方 向，且
为一阶差分； 
表示x方向的一阶差分，
表示y方向的一阶差分；gσ(·)是以 方差为σ2的二维高斯函数。ε＝0.001。
进一步的，所述步骤4中，公式(1)具体求解方法如下：
对公式(1)，用辅助变量G1，G2，G3代替第二项和第三项中的 
可将公式(1)转换为：
通过引入三个拉格朗日乘子Z1，Z2，Z3去除等式约束，可以得到 公式(20)的拉格朗日函数：
其中：
<·，·>代表矩阵内积；μ1＝μ2＝0.6；
表示x方向的一阶差分， 
表示y方向的一阶差分；
通过迭代更新每个变量同时保持其他变量不变，求解公式(21)。
具体步骤如下：
步骤1：求解R相关子问题：
删除与R无关的项，可以得到以下等式：
在公式(22)中将
转为
导出R(t+1)的最优化条件，通过对R进行微分并将结果设置为零， 得到更新等式：
用快速傅立叶变换来求解上述等式：
其中
令Δ＝0.001， 带入公式(24),可得：
μ2＝0.6；
为一阶差分；
为一阶差分的转置；R(t)、N(t)、I(t)、 
分别为矩阵R、N、I、G3、Z3第t次迭代结果，R(t+1)为 矩阵R第t+1次迭代结果；
为二维傅里叶变换；
和
分别表示二维傅里叶逆变换和
的复共轭；
中的2代表与
大小相同的矩阵，矩阵的每个位置都 为2；
步骤2：求解I相关子问题：
类似于上述R子问题的方法，可以得到与I相关的等式：
其中R(t)、N(t)、I(t)、
分别为矩阵R、N、I、G1、 Z1、Z2、G2第t次迭代结果；I(t+1)代表矩阵I第t+1次迭代结果；
为 一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分；
类似于求解R子问题的迭代方法，通过对I进行微分并将结果 设置为零，更新方程：
其中
其中
求解公式为：
令Δ＝0.001，μ1＝0.6，γ＝0.01；E代表特征矩阵；
为一阶差分； 
表示x方向的一阶差分转置，
表示y方向的一阶差分转置； 
为二维傅里叶变换；
和
分别表示二维傅里叶逆变 换和
的复共轭；
步骤3：求解N相关子问题：
删除与N无关的项，得到以下等式：
这个二次问题的封闭形式解决方案如下：
其中R(t)、I(t)分别为矩阵R、I第t次迭代结果，N(t+1)为矩阵 N第t+1次迭代结果；δ＝0.01；
步骤4：求解G1，G2，G3相关子问题:
从公式(1)中收集涉及G1，G2，G3项，得到如下等式：
通过执行广义收缩操作可以得到上述方程的解：
其中
s(t)，I(t)，R(t)，
分别为矩阵s,I,R,Z1，Z2，Z3第t 次迭代结果；
分别为矩阵向量G1，G2，G3第t+1 次迭代结果；
为一阶差分；
表示x方向的一阶差分，
表示y 方向的一阶差分；max(a，b)取a,b中较大的值；μ1＝μ2＝μ＝0.6， β＝0.8；
步骤5：求解Z1，Z2，Z3相关子问题：
辅助矩阵Z1，Z2，Z3通过以下公式更新：
其中I(t)，R(t)，
分别为矩 阵I,R,G1，G2，G3，Z1，Z2，Z3第t次迭代结果；
分别为矩阵Z1，Z2，Z3第t+1次迭代结果；μ1＝μ2＝0.6；
为一阶差 分；
表示x方向的一阶差分，
表示y方向的一阶差分。
本发明的有益效果：本发明提出了一种新的尺度感知结构保 持和细节增强模型(SSD)；SSD属于Retinex类别，它可以同时 估计比例感知结构的显示反射比分量、平滑照明分量和噪声图分 量。并使用伽马校正作为输出图像细节增强的后置处理。SSD不 仅保留了输入图像的结构和细节信息，而且还抑制了噪声。而且 计算效率很高。
附图说明
图1是本发明的算法流程；
图2是使用本发明对低光图片增强前后的对比实验图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明。
如图1所示，本发明的目的是提供一种新的基于尺度感知和细节 增强模型的低光图像增强方法，该增强算法过程包括：
步骤1：在低光情况下，采集图片信号K；
步骤2：将RGB通道图片转为HSV通道图片；
使用HSV变换，将RGB通道图片K转换为HSV通道图片P, 其中H代表色调、S代表饱和度、V代表亮度；
步骤3：在图片P的V通道，使用以下模型对图片进行分解：
其中
M为权重矩阵，其具体 的确定方式见3，θ为关于权重矩阵M的角矩阵；
R、I、N分别为P待分解的反射分量、照明分量和噪声分量；
运算符
表示元素乘法，即两个大小相同的矩阵对应位置的乘 积；
表示一阶差分，
表示x方向的一阶差分，
表示y方向的 一阶差分；||·||1代表矩阵的L1范数,||·||2代表矩阵的L2范数； 
保持观察到的图像P和重构图像
之间的 保真度；
确保照度图的尺度感知结构平滑度；
是尺度感知算子，M是其对应的权重矩阵，具体的确定方式见3； 
对应于反射分量的稀疏度,让反射分量R保持分段连续性； 
用于避免基于L2范数白路径假设的缩放问题；
为噪声分量的保真度项，用于保证模型的准确性；α,γ,δ和β分别 为正惩罚因子，用于平衡模型中的各项；I0是P的平均像素值；
步骤4，使用增广拉格朗日模型进行求解，求得图片的照明分 量，反射分量和噪声分量；
使用增广拉格朗日法对公式(1)进行迭代求解，各项更新公式 如下：
对于反射分量R：
其中
Δ＝0.001， 用于避免分母为0；μ2＝0.6；
为一阶差分；
为一阶差分的转置； R(t)、N(t)、I(t)、
分别为矩阵R、N、I、G3、Z3第t次迭 代结果，R(t+1)为矩阵R第t+1次迭代结果；
为二维傅里叶变换；
和
分别表示二维傅里叶逆变换和
的复共轭；
中的2代表与
大小相同的矩阵， 矩阵的每个位置都为2；
对于照明分量I：
其中
；Δ＝0.001，用于避免分母为0；R(t)、N(t)、I(t)、
分 别为矩阵R、N、I、G1、Z1、Z2、G2第t次迭代结果；I(t+1)代表 矩阵I第t+1次迭代结果；μ1＝0.6，γ＝0.01；E代表特征矩阵；
为 一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分； 
表示x方向的一阶差分转置，
表示y方向的一阶差分转置；
对于噪声分量N：
其中R(t)、I(t)分别为矩阵R、I第t次迭代结果，N(t+1)为矩阵 N第t+1次迭代结果；δ＝0.01；
对于G1，G2，G3：
其中
对于Z1，Z2，Z3：
其中I(t)，R(t)，
分别为矩 阵I,R,G1，G2，G3，Z1，Z2，Z3第t次迭代结果，
分别为矩阵Z1，Z2，Z3第t+1次迭代结果；μ1＝μ2＝0.6；
为一阶差 分；
表示x方向的一阶差分，
表示y方向的一阶差分；
步骤5，重复步骤4，若满足以下条件：
εI＝(||I(t+1)-I(t)||/||I(t)||)≤ε1且εR＝(||R(t+1)- R(t)||/||R(t)||)≤ε2 (11)
其中ε1＝ε2＝10-4，结束本步骤；
步骤6，使用伽马校正，对图片照明分量进行校正；
对步骤5中得到的照明分量I进行伽马矫正，公式如下：
其中γ＝2.2；
步骤7，将HSV通道图片转回RGB通道图片，算法结束。
所述步骤2中的HSV变换，具体公式如下：
V＝max{R，G，B}
(16)
其中R、G、B分别代表彩色图片R、G、B三个通道对应的 矩阵。
所述步骤3中权重矩阵确定方式如下：
这里使用以下方式来确定参数，公式(1)中的权重M由以下公 式设定：
其中
为沿角度θp方向的偏导数算子：
其中θp是具有最小振荡的结构方向，即垂直于附近结构的方 向，且
为一阶差分； 
表示x方向的一阶差分，
表示y方向的一阶差分；gσ(·)是以 方差为σ2的二维高斯函数。ε＝0.001。
所述步骤4中，公式(1)具体求解方法如下：
对公式(1)，用辅助变量G1，G2，G3代替第二项和第三项中的 
可将公式(1)转换为：
通过引入三个拉格朗日乘子Z1，Z2，Z3去除等式约束，可以得到 公式(20)的拉格朗日函数：
其中：
<·，·>代表矩阵内积；μ1＝μ2＝0.6；
表示x方向的一阶差分， 
表示y方向的一阶差分；
通过迭代更新每个变量同时保持其他变量不变，求解公式(21)。
具体步骤如下：
步骤1：求解R相关子问题：
删除与R无关的项，可以得到以下等式：
在公式(22)中将
转为
导出R(t+1)的最优化条件，通过对R进行微分并将结果设置为零， 得到更新等式：
用快速傅立叶变换来求解上述等式：
其中
令Δ＝0.001， 带入公式(24),可得：
μ2＝0.6；
为一阶差分；
为一阶差分的转置；R(t)、N(t)、I(t)、 
分别为矩阵R、N、I、G3、Z3第t次迭代结果，R(t+1)为 矩阵R第t+1次迭代结果；
为二维傅里叶变换；
和
分别表示二维傅里叶逆变换和
的复共轭；
中的2代表与
大小相同的矩阵，矩阵的每个位置都 为2；
步骤2：求解I相关子问题：
类似于上述R子问题的方法，可以得到与I相关的等式：
其中R(t)、N(t)、I(t)、
分别为矩阵R、N、I、G1、 Z1、Z2、G2第t次迭代结果；I(t+1)代表矩阵I第t+1次迭代结果；
为 一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分；
类似于求解R子问题的迭代方法，通过对I进行微分并将结果 设置为零，更新方程：
其中
其中
求解公式为：
令Δ＝0.001，μ1＝0.6，γ＝0.01；E代表特征矩阵；
为一阶差分； 
表示x方向的一阶差分转置，
表示y方向的一阶差分转置； 
为二维傅里叶变换；
和
分别表示二维傅里叶逆变 换和
的复共轭；
步骤3：求解N相关子问题：
删除与N无关的项，得到以下等式：
这个二次问题的封闭形式解决方案如下：
其中R(t)、I(t)分别为矩阵R、I第t次迭代结果，N(t+1)为矩阵N第t+1次迭代结果；δ＝0.01；
步骤4：求解G1，G2，G3相关子问题:
从公式(1)中收集涉及G1，G2，G3项，得到如下等式：
通过执行广义收缩操作可以得到上述方程的解：
其中
s(t)，I(t)，R(t)，
分别为矩阵s,I,R,Z1，Z2，Z3第t 次迭代结果；
分别为矩阵向量G1，G2，G3第t+1 次迭代结果；
为一阶差分；
表示x方向的一阶差分，
表示y 方向的一阶差分；max(a，b)取a,b中较大的值；μ1＝μ2＝μ＝0.6， β＝0.8；
步骤5：求解Z1，Z2，Z3相关子问题：
辅助矩阵Z1，Z2，Z3通过以下公式更新：
其中I(t)，R(t)，
分别为矩 阵I,R,G1，G2，G3，Z1，Z2，Z3第t次迭代结果；
分别为矩阵Z1，Z2，Z3第t+1次迭代结果；μ1＝μ2＝0.6；
为一阶差 分；
表示x方向的一阶差分，
表示y方向的一阶差分。
实施例1
步骤101：在低光情况下，采集图片信号P；
步骤102：使用HSV变换，将RGB通道图片P转换为HSV通道 图片S，具体公式为(14)，(15)，(16)；
步骤103：在图片的V通道，按照公式(1)图像进行尺度感知结构 分解，对该限定性问题求解步骤如下：
步骤104：使用公式(12),(13)对分解得到的照明分量进行伽马校 正；
步骤105：将HSV通道的图像转回RGB通道图像，算法结束。
通过以上步骤，可低光图像增强后图片。
如图2所示：是使用本发明对低光图片增强前后的对比实验 图：
选用了3张低光图片的数据集，使用专利中提出的增强算法，对 图像进行处理。
可以明显的看出，通过本专利提出的方法处理后，原始图片的纹 理细节重新显现出来，并且图像的对比度明显增强，因此本方法可很 好的起到低光图片增强的效果。
本文中应用了具体个例对本发明的原理及实施方式进行阐述， 以上实施例子的说明只是用于帮助理解本发明的方法及其核心思 想；同时，对于本领域的一般技术人员，依据本发明的的思想， 在具体实施方式及应用范围上会有改变之处。综上，本说明书内 容不应理解为对本发明的限制。
Claims (4)
1.基于尺度感知和细节增强模型的低光图像增强方法，其特征在于，包括如下步骤：
步骤1：在低光情况下，采集图片信号K；
步骤2：将RGB通道图片转为HSV通道图片；
使用HSV变换，将RGB通道图片K转换为HSV通道图片P,其中H代表色调、S代表饱和度、V代表亮度；
步骤3：在图片P的V通道，使用以下模型对图片进行分解
其中
M为权重矩阵，其具体的确定方式见3，θ为关于权重矩阵M的角矩阵；
R、I、N分别为P待分解的反射分量、照明分量和噪声分量；
运算符
表示元素乘法，即两个大小相同的矩阵对应位置的乘积；
表示一阶差分，
表示x方向的一阶差分，
表示y方向的一阶差分；||·||1代表矩阵的L1范数,||·||2代表矩阵的L2范数；
保持观察到的图像P和重构图像
之间的保真度；
确保照度图的尺度感知结构平滑度；
是尺度感知算子，M是其对应的权重矩阵，具体的确定方式见3；
对应于反射分量的稀疏度,让反射分量R保持分段连续性；
用于避免基于L2范数白路径假设的缩放问题；
为噪声分量的保真度项，用于保证模型的准确性；α,γ,δ和β分别为正惩罚因子，用于平衡模型中的各项；I0为P的平均像素值；
步骤4，使用增广拉格朗日模型进行求解，求得图片的照明分量，反射分量和噪声分量；
使用增广拉格朗日法对公式(1)进行迭代求解，各项更新公式如下：
对于反射分量R：
其中
Δ＝0.001，用于避免分母为0；μ2＝0.6；
为一阶差分；
为一阶差分的转置；R(t)、N(t)、I(t)、
分别为矩阵R、N、I、G3、Z3第t次迭代结果，R(t+1)为矩阵R第t+1次迭代结果；
为二维傅里叶变换；
和
分别表示二维傅里叶逆变换和
的复共轭；
中的2代表与
大小相同的矩阵，矩阵的每个位置都为2；
对于照明分量I：
其中
对于噪声分量N：
其中R(t)、I(t)分别为矩阵R、I第t次迭代结果，N(t+1)为矩阵N第t+1次迭代结果；δ＝0.01；
对于G1，G2，G3：
其中
s(t)，I(t)，R(t)，
分别为矩阵s,I,R,Z1，Z2，Z3第t次迭代结果,
分别为矩阵向量G1，G2，G3第t+1次迭代结果；
为一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分；max(a，b)取a,b中较大的值；μ1＝μ2＝μ＝0.6，α＝0.1，β＝0.8；
对于Z1，Z2，Z3：
其中I(t)，R(t)，
分别为矩阵I,R,G1，G2，G3，Z1，Z2，Z3第t次迭代结果，
分别为矩阵Z1，Z2，Z3第t+1次迭代结果；μ1＝μ2＝0.6；
为一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分；
步骤5，重复步骤4，若满足以下条件：
εI＝(||I(t+1)-I(t)||/||I(t)||)≤ε1且εR＝(||R(t+1)-R(t)||/||R(t)||)≤ε2 (11)
其中ε1＝ε2＝10-4，结束本步骤；
步骤6，使用伽马校正，对图片照明分量进行校正；
对步骤5中得到的照明分量I进行伽马矫正，公式如下：
其中γ＝2.2；
步骤7，将HSV通道图片转回RGB通道图片，算法结束。
2.根据权利要求1所述的基于尺度感知和细节增强模型的低光图像增强方法，其特征在于：所述步骤2中的HSV变换，具体公式如下：
V＝max{R，G，B} (16)
其中R、G、B分别代表彩色图片RGB三个通道对应的矩阵。
3.根据权利要求1所述的基于尺度感知和细节增强模型的低光图像增强方法，其特征在于：所述步骤3中权重参数确定方式如下：
这里使用以下方式来确定参数，公式(1)中的权重M由以下公式设定：
其中
为沿角度θp方向的偏导数算子：
其中θp是具有最小振荡的结构方向，即垂直于附近结构的方向，且
为一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分；gσ(·)是以方差为σ2的二维高斯函数； ε＝0.001。
4.根据权利要求1所述的基于尺度感知和细节增强模型的低光图像增强方法，其特征在于：所述步骤4中，公式(1)具体的求解方法如下：
对公式(1)，用辅助变量G1，G2，G3代替第二项和第三项中的
可将公式(1)转换为：
通过引入三个拉格朗日乘子Z1，Z2，Z3去除等式约束，可以得到公式(20)的拉格朗日函数：
其中：
＜·，·＞代表矩阵内积；μ1＝μ2＝0.6；
表示x方向的一阶差分，
表示y方向的一阶差分；
通过迭代更新每个变量同时保持其他变量不变，求解公式(21)；
其中具体步骤如下：
步骤1：求解R相关子问题：
删除与R无关的项，可以得到以下等式：
在公式(22)中将
转为
导出R(t+1)的最优化条件，通过对R进行微分并将结果设置为零，得到更新等式：
用快速傅立叶变换来求解上述等式：
其中
令Δ＝0.001，带入公式(24),可得：
μ2＝0.6；
为一阶差分；
为一阶差分的转置；R(t)、N(t)、I(t)、
分别为矩阵R、N、I、G3、Z3第t次迭代结果，R(t+1)为矩阵R第t+1次迭代结果；
为二维傅里叶变换；
和
分别表示二维傅里叶逆变换和
的复共轭；
中的2代表与
大小相同的矩阵，矩阵的每个位置都为2；
步骤2：求解I相关子问题：
类似于上述R子问题的方法，可以得到与I相关的等式：
其中R(t)、N(t)、I(t)、
分别为矩阵R、N、I、G1、Z1、Z2、G2第t次迭代结果；I(t+1)代表矩阵I第t+1次迭代结果；
为一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分；
类似于求解R子问题的迭代方法，通过对I进行微分并将结果设置为零，更新方程：
其中
使用快速傅里叶变换求解等式：
其中
求解公式为：
令Δ＝0.001，μ1＝0.6，γ＝0.01；E代表特征矩阵；
为一阶差分；
表示x方向的一阶差分转置，
表示y方向的一阶差分转置；
为二维傅里叶变换；
和
分别表示二维傅里叶逆变换和
的复共轭；
步骤3：求解N相关子问题：
删除与N无关的项，得到以下等式：
这个二次问题的封闭形式解决方案如下：
其中R(t)、I(t)分别为矩阵R、I第t次迭代结果，N(t+1)为矩阵N第t+1次迭代结果；δ＝0.01；
步骤4：求解G1，G2，G3相关子问题:
从公式(1)中收集涉及G1，G2，G3项，得到如下等式：
通过执行广义收缩操作可以得到上述方程的解：
其中
s(t)，I(t)，R(t)，
分别为矩阵s,I,R,Z1，Z2，Z3第t次迭代结果；
步骤5：求解Z1，Z2，Z3相关子问题：
辅助矩阵Z1，Z2，Z3通过以下公式更新：
其中I(t)，R(t)，
分别为矩阵I,R,G1，G2，G3，Z1，Z2，Z3第t次迭代结果；
分别为矩阵Z1，Z2，Z3第t+1次迭代结果；μ1＝μ2＝0.6；
为一阶差分；
表示x方向的一阶差分，
表示y方向的一阶差分。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019107014421 | 2019-07-31 | ||
| CN201910701442 | 2019-07-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110796609A CN110796609A (zh) | 2020-02-14 |
| CN110796609B true CN110796609B (zh) | 2022-04-08 |
Family
ID=69427201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910836624.XA Active CN110796609B (zh) | 2019-07-31 | 2019-09-05 | 基于尺度感知和细节增强模型的低光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110796609B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192027B (zh) * | 2021-04-29 | 2023-03-24 | 华南理工大学 | 一种大功率led模组封装缺陷的检测方法及应用 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346776A (zh) * | 2013-08-02 | 2015-02-11 | 杭州海康威视数字技术股份有限公司 | 基于Retinex理论的非线性图像增强方法及其系统 |
| CN105654437A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种对低照度图像的增强方法 |
| CN106204504A (zh) * | 2016-09-10 | 2016-12-07 | 天津大学 | 基于暗通道先验和色调映射的低照度图像增强方法 |
| CN109872285A (zh) * | 2019-01-21 | 2019-06-11 | 电子科技大学 | 一种基于变分约束的Retinex低照度彩色图像增强方法 |
-
2019
- 2019-09-05 CN CN201910836624.XA patent/CN110796609B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346776A (zh) * | 2013-08-02 | 2015-02-11 | 杭州海康威视数字技术股份有限公司 | 基于Retinex理论的非线性图像增强方法及其系统 |
| CN105654437A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种对低照度图像的增强方法 |
| CN106204504A (zh) * | 2016-09-10 | 2016-12-07 | 天津大学 | 基于暗通道先验和色调映射的低照度图像增强方法 |
| CN109872285A (zh) * | 2019-01-21 | 2019-06-11 | 电子科技大学 | 一种基于变分约束的Retinex低照度彩色图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度卷积神经网络的低照度图像增强;马红强等;《光学学报》;20181007;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110796609A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gao et al. | Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex | |
| Wang et al. | Dehazing for images with large sky region | |
| CN109872285B (zh) | 一种基于变分约束的Retinex低照度彩色图像增强方法 | |
| CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| CN108564549B (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| CN108765336A (zh) | 基于暗亮原色先验与自适应参数优化的图像去雾方法 | |
| CN110163818A (zh) | 一种用于海事无人机的低照度视频图像增强方法 | |
| Fu et al. | An anisotropic Gaussian filtering model for image de-hazing | |
| CN117252773A (zh) | 基于自适应颜色校正和导向滤波的图像增强方法及系统 | |
| Wen et al. | Autonomous robot navigation using Retinex algorithm for multiscale image adaptability in low-light environment | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| Wen et al. | A survey of image dehazing algorithm based on retinex theory | |
| Chen et al. | Retinex low-light image enhancement network based on attention mechanism | |
| Pan et al. | ChebyLighter: Optimal Curve Estimation for Low-light Image Enhancement | |
| Han et al. | Low contrast image enhancement using convolutional neural network with simple reflection model | |
| CN110796609B (zh) | 基于尺度感知和细节增强模型的低光图像增强方法 | |
| Gao et al. | Image Dehazing Based on Multi-scale Retinex and Guided Filtering | |
| Park et al. | Enhancing underwater color images via optical imaging model and non-local means denoising | |
| Yu et al. | Single image dehazing based on multi-scale segmentation and deep learning | |
| Zeng | Low-light image enhancement algorithm based on lime with pre-processing and post-processing | |
| Lv et al. | Unsupervised Low-Light Video Enhancement With Spatial-Temporal Co-Attention Transformer | |
| Subramani et al. | Pixel intensity optimization and detail-preserving contextual contrast enhancement for underwater images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |