CN110706180B

CN110706180B - 一种极暗图像视觉质量提升方法、系统、设备及介质

Info

Publication number: CN110706180B
Application number: CN201910954351.9A
Authority: CN
Inventors: 林明星; 代成刚; 吴筱坚; 张东; 管志光
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2019-10-09
Filing date: 2019-10-09
Publication date: 2022-02-11
Anticipated expiration: 2039-10-09
Also published as: CN110706180A

Abstract

本公开公开了一种极暗图像视觉质量提升方法、系统、设备及介质，对获取的极暗图像提取亮通道图，基于亮通道图计算图像入射光；将极暗图像的RGB空间转换到HSV空间，提取HSV空间的V通道图；创建全变分模型，将图像入射光和V通道图输入到全变分模型中，得到去噪图像；在HSV空间下，增强去噪图像的对比度，并将处理后的去噪图像转换到RGB空间，完成对极暗图像的视觉质量提升。该方法不仅能有效地改善极暗图像的对比度，对其他不同程度的暗图像也有较好的增强效果，且在图像照度提升过程中能还有效地抑制噪声。

Description

一种极暗图像视觉质量提升方法、系统、设备及介质

技术领域

本公开涉及图像处理领域，具体涉及一种极暗图像视觉质量提升方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

在夜晚，或者在亮度过低、极暗的场景下，传统的成像器件由于受到灵敏度的限制，其成像难以维持自然场景的图像色彩，对于更为黑暗或局部暗场景的成像，可增加图像采集装置的曝光时间，以获得高亮度的图像。然而，较长的曝光时间会导致获取的图像模糊，且极暗条件下获取的图像往往存在大量噪声。传统的图像增强方法中，一般采用直方图匹配的方法还原彩色信息，但是这类方法虽然能有效提高图像对比度，但是也会出现过增强现象，导致图像颜色失真的问题；而且在极暗条件下获取的图像往往存在大量噪声，传统的图像增强方法对极暗图像的噪声抑制的效果欠佳。

发明内容

为了解决上述问题，本公开提出了一种极暗图像视觉质量提升方法、系统、设备及介质，通过构建全变分模型，结合图像亮通道图和图像入射光值，实现极暗图像亮度提升与去躁，不仅能有效地改善极暗图像的对比度，对其他不同程度的暗图像也有较好的增强效果，且在图像照度提升过程中能还有效地抑制噪声。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种极暗图像视觉质量提升方法，包括：

对获取的极暗图像提取亮通道图，基于亮通道图计算图像入射光；

将极暗图像的RGB空间转换到HSV空间，提取HSV空间的V通道图；

创建全变分模型，将图像入射光和V通道图输入到全变分模型中，得到去噪图像；

在HSV空间下，增强去噪图像的对比度，并将处理后的去噪图像转换到RGB空间，完成对极暗图像的视觉质量提升。

第二方面，本公开提供一种极暗图像视觉质量提升系统，包括，

图像入射光计算模块，被配置为对获取的极暗图像提取亮通道图，基于亮通道图计算图像入射光；

HSV空间模块，被配置为将极暗图像的RGB空间转换到HSV空间，提取HSV空间的V通道图；

图像去噪模块，被配置为创建全变分模型，将图像入射光和V通道图输入到全变分模型中，得到去噪图像；

图像增强模块，被配置为在HSV空间下，增强去噪图像的对比度，并将处理后的去噪图像转换到RGB空间，完成对极暗图像的视觉质量提升。

第三方面，本公开提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述的一种极暗图像视觉质量提升方法。

第四方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的一种极暗图像视觉质量提升方法。

与现有技术相比，本公开的有益效果为：

本公开通过构建全变分模型，在图像照度提升过程中，有效的抑制噪声，实现图像的去噪；

本公开结合图像亮通道、最大值滤波、导向滤波及线性映射，计算图像入射光；为了消除最大滤波引起的区块效应，采用导向滤波对亮通道图进行平滑，从而准确估计图像入射光。

本公开方法不仅能有效地改善极暗图像的对比度，避免颜色失真，抑制图像噪声，而且对其他不同程度的暗图像也有较好的增强效果。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开方法流程示意图；

图2为本公开方法的实验结果图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

根据Retinex理论，一幅图像可表示为反射率与入射光的乘积，如公式(1)所示。基于该理论，本公开构建变分模型，并结合线性映射、图像亮通道及同态滤波，实现极暗图像亮度提升与去躁。

O^c(x)＝I^c(x)·R^c(x)c∈{r,g,b} (1)

式中O^c(x)为原图像(极暗图像)，I^c(x)表示入射光，R^c(x)表示反射率，x表示像素坐标，c表示图像红绿蓝三通道，‘·’表示矩阵元素对应相乘。

如图1所示，本公开提供，包括如下步骤：

(1)对获取的极暗图像提取亮通道图，基于亮通道图计算图像入射光；

本公开在RGB空间中，提取极暗图像RGB通道的最大值像素值，获得亮通道图，结合图像亮通道、最大值滤波、导向滤波及线性映射，从而准确估计图像入射光。入射光估计方法如(2)-(4)所示，

式中O^L(x)表示亮通道图，max_c∈{r,g,b}()表示提取图像RGB三通道最大值。因图像局部小区域内的入射光值相似，故采用最大滤波对获取的亮通道图进行处理，max_y∈Ω(x)()即表示最大值滤波，滤波半径为3*3；

为了消除最大滤波引起的区块效应，本公开采用导向滤波对亮通道图进行平滑处理，如公式(3)所示，

O^G(x)＝GF[O^L(x)] (3)

式中O^G(x)为平滑后的亮通道图，GF[]表示导向滤波，本公开采用原图像的灰度图为导向图，对平滑后的亮通道图进行线性映射，从而获得图像入射光，如公式(4)所示，

I_out(x)＝(1-λ)*O^G(x)+λ (4)

式中I_out(x)为估计的入射光，λ为亮度调节因子，本实施例中λ为0.05。

(2)将极暗图像的RGB空间转换到HSV空间，提取HSV空间的V通道图；

HSV空间为色调(H)、饱和度(S)和明度(V)，可采用Opencv实现图像的RGB空间到HSV空间的转换。

(3)创建全变分模型，将图像入射光和V通道图输入到全变分模型中，得到去噪图像；

本公开根据公式(1)，构建公式(5)所示的全变分模型，并将HSV色彩空间的V通道图及图像入射光输入该模型，从而同时实现提升亮度与降低噪声的目的。本实施例中，下述公式中已将像素坐标x去除。

式中‖ ‖₂表示L2范数，| |₁表示L1范数，V为原图像HSV色彩空间的V通道图，I为估计的入射光，R为反射率(即为模型输出)，i,j分别为反射率图像R的横坐标和纵坐标，α为调节因子(固定常数0.1)。

公式(5)中

为反射率R与入射光I的数据保持项，限制分解后的R与I的积与V接近。∑_i,j|R_i+1,j-R_i,j|₁+|R_i,j+1-R_i,j|₁为全变分稀疏正则化项，用于降低输出图像的噪声。为便于求解，将公式(5)等价变换为公式(6)。

全变分模型构建完成后，本公开采用循环迭代方式对上述模型进行求解，具体步骤如公式(7)(8)所示：

式中k表示第k次迭代过程，本实施例中k＝3。div表示散度，h和v代表水平和垂直方向，

和

代表水平和垂直方向求梯度，τ为固定常数(当0.24≤τ≤0.249时，模型有较好的收敛特性)。

(4)在HSV空间下，增强去噪图像的对比度，并将处理后的去噪图像转换到RGB空间，完成对极暗图像的视觉质量增强。

采用同态滤波增强图像对比度，同态滤波在增强高频分量时，可衰减低频分量，且能同时兼顾全局对比度和局部对比度，本公开采用同态滤波进一步改善全变分模型输出的去噪图像反射率R的对比度。如公式(9)-(12)所示：

R(u)＝F[ln R(x)] (9)

R_Q(u)＝Q(u)·R(u) (10)

R_HF(x)＝exp{F^-1[R_Q(u)]} (11)

Q(u)＝(θ_H-θ_L)[1-exp(-σD²(u)/D₀)]+θ_L (12)

式中R_HF(x)为同态滤波后的反射率，F为快速傅里叶变换，F^-1为傅里叶逆变换，ln表示取对数，将R(x)转换到对数域，Q(u)为滤波器，D₀,σ,θ_H,θ_L为滤波器参数，D₀和σ默认设置为200和2；

当θ_H≥1且θ_L≤1时，滤波器衰减低频分量，同时增强高频分量，故本实施例中将θ_H设置为1.5，θ_L设置为0.9，

最后，采用线性拉伸，即对比度拉伸对同态滤波后的图像R_HF(x)进行处理，如公式(13)所示：

式中R_out(x)表示对比度增强后的反射率，转换到RGB色彩空间后即为本公开的输出结果，

为线性拉伸操作，表示截去R_HF(x)中1％最大的像素，并线性拉伸至[0 1]区间。

如图2所示，本公开为了验证该方法的有效性，采用多张极暗的大气图像进行测试。原图像对比度低，可见性差。经本公开提出的方法处理后，图像对比度大幅提高，且噪声较小。实验结果表明本公开提出的方法能显著改善极暗图像的视觉质量。

实施例2

本公开提供一种极暗图像视觉质量提升系统，包括：

所述图像入射光计算模块，还包括提取极暗图像RGB通道的最大值，获得亮通道图；

采用最大值滤波对获取的亮通道图进行处理；

采用导向滤波对处理后的亮通道图进行平滑；

对平滑后的亮通道图进行线性映射，获得图像入射光。

所述全变分模型为，

其中，‖ ‖₂表示L2范数，| |₁表示L1范数，V为HSV空间的V通道图，I为图像入射光，R为反射率，即为全变分模型的输出，i,j分别为反射率图像R的横坐标和纵坐标，α为调节因子。

实施例3

本公开提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述的一种极暗图像视觉质量提升方法，在此不做赘述。

实施例4

本公开提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的一种极暗图像视觉质量提升方法，在此不做赘述。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种极暗图像视觉质量提升方法，其特征在于，包括：

对获取的极暗图像提取亮通道图，基于亮通道图计算图像入射光；所述提取亮通道图包括，采用最大值滤波对获取的亮通道图进行处理；采用导向滤波对处理后的亮通道图进行平滑；对平滑后的亮通道图进行线性映射，获得图像入射光；

将极暗图像的RGB空间转换到HSV空间，提取HSV空间的V通道图；

创建全变分模型，将图像入射光和V通道图输入到全变分模型中，得到去噪图像；所述全变分模型为，

其中，|| ||₂表示L2范数，| |₁表示L1范数，V为HSV空间的V通道图，I为图像入射光，R为反射率，即为全变分模型的输出，i,j分别为反射率图像R的横坐标和纵坐标，α为调节因子；

2.如权利要求1所述的一种极暗图像视觉质量提升方法，其特征在于，

所述提取亮通道图包括，在RGB空间中，提取极暗图像RGB通道的最大值像素值，获得亮通道图；对亮通道图进行线性映射，计算得到图像入射光。

3.如权利要求1所述的一种极暗图像视觉质量提升方法，其特征在于，

所述增强去噪图像对比度采用同态滤波和对比度拉伸的方法对去噪图像的反射率进行处理，得到对比度增强后的反射率。

4.一种极暗图像视觉质量提升系统，其特征在于，包括，

图像入射光计算模块，被配置为对获取的极暗图像提取亮通道图，基于亮通道图计算图像入射光；所述提取亮通道图包括，采用最大值滤波对获取的亮通道图进行处理；采用导向滤波对处理后的亮通道图进行平滑；对平滑后的亮通道图进行线性映射，获得图像入射光；

图像去噪模块，被配置为创建全变分模型，将图像入射光和V通道图输入到全变分模型中，得到去噪图像；所述全变分模型为，

5.如权利要求4所述的一种极暗图像视觉质量提升系统，其特征在于，

所述图像入射光计算模块，还被配置为在RGB空间中，提取极暗图像RGB通道的最大值像素值，获得亮通道图。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3任一项所述的一种极暗图像视觉质量提升方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任一项所述的一种极暗图像视觉质量提升方法。