CN112598612A - 一种基于照度分解的无闪烁暗光视频增强方法及装置 - Google Patents

Abstract

本发明公开了一种基于照度分解的无闪烁暗光视频增强方法及装置，所述方法包括：基于分解以及对数减法的帧内增强方法：对单帧暗光图像进行双边滤波，滤波结果为原图像的非均匀光照分量，原图像去除非均匀光照部分为图像细节分量，输入暗光图像分解为非均匀光照分量和图像细节分量，基于最小视觉可觉差对图像亮度值进行归一化，计算各亮度值对应的权重因子，通过该因子将非均匀光照分量部分返还到图像细节分量，相乘得到具有均匀照度的残留部分光照的细节分量，通过对数减法增强残留光照的细节分量得到增强后的单帧图像；本发明方法可以有效的增强暗光视频的对比度和细节，改善视觉效果，极具实用性，具有很好的应用前景。

Description

一种基于照度分解的无闪烁暗光视频增强方法及装置

技术领域

本发明属于机器视觉以及图形处理技术领域，具体涉及一种基于照度分解的无闪烁暗光视频增强方法。

背景技术

低光照环境下采集到的视频通常具有较差的视觉感知效果，先进的采集设备和专业的摄影技术有助于在此类场景获取质量较高的视频，但对于已经采集到的低质量视频，则需要进行恰当的视频增强技术来提升图像的视觉效果。

低照度视频增强方法的研究受到了人们的广泛关注。传统的低照度视频增强方法主要采用灰度曲线映射、直方图均衡等方法对视频进行处理。这类方法虽然能有效提高视频的对比度，但目前的基于照度分解的暗光增强方法普遍认为视频帧的光照是均匀的，实际上在低照度环境下的光照一般都是分布极其不均匀的，所以逐帧增强得到的视频会出现亮度闪烁等现象。

所以亟需一种暗光图像增强方法，不仅能够增强暗光视频的对比度，而且能够去除非均匀的光照分量，保持增强视频无亮度闪烁。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于照度分解的无闪烁暗光视频增强方法，能够增强暗光视频的对比度，而且能够去除非均匀的光照分量。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于照度分解的无闪烁暗光视频增强方法，其特征在于，包括以下步骤：

将暗光视频分解为暗光视频帧序列，获得RGB格式的暗光视频帧；

将所述暗光视频帧转换为HSV空间，得到HSV暗光图像；

保持所述HSV暗光图像的H、S通道不变，取原始V通道进行照度分解，得到图像非均匀照度分量L和图像细节分量R，分解形式如下：

V(x,y)＝L(x,y)×R(x,y) (1)

其中(x,y)为像素点在图像中的位置，x为其横坐标，y为其纵坐标。即非均匀照度分量L与图像细节分量R中相同位置的像素点亮度值相乘等于原始V通道在该位置的亮度值。

基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子；

根据所述自适应影响因子返还部分非均匀光照分量到图像细节分量R上，获得残留部分光照的细节分量R'，表达式为：

通过对数减法拉伸压缩后得到的所述残留部分光照的细节分量R'得到增强视频帧，表达式为：

其中E为最终的增强视频帧，M为图像的亮度动态范围，8bit图像为256，f是人为定义得到，f＝M-R'，即用256减去残留部分光照的细节分量的值，类似于亮度互补，g为视频帧增强参数，值为M-T,其中T的值为残留部分光照的细节分量R'的亮度累计分布函数值为0.9处的亮度值；将所述增强视频帧构建转换增强视频；

为对数减法运算符，运算法则为

进一步的，所述图像非均匀照度分量L为通过对原始V通道进行双边滤波得到，即

其中

为像素点几何距离差值，

为像素点亮度差值，(x，y)为中心像素点位置，(i，j)为中心像素点周围的像素点位置，S(x，y)为中心像素点亮度值，S(i，j)为中心像素点周围的像素点亮度值，表达式分别为，小中大三个尺度下σ_s和σ_r的取值分别为[2,0.08],[20,0.8],[100,2]：

所述图像细节分量R为去除非均匀照度分量的原始V通道图像，表达式为：

R(x,y)＝L(x,y)^-1×V(x,y) (7)

进一步的，所述基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子的方法包括以下步骤：

对最小视觉可觉差进行归一化处理得到影响因子的可觉差成分：

其中JND(l)为最小视觉可觉差阈值，ω_JND为归一化后的JND(l)曲线，β_JND为影响因子的可觉察成分，值为1-ω_JND，l为亮度值，取值为[0,255]，JND(l)表达式为：

根据原始V通道的统计特性设置影响因子的基数部分；

根据所述影响因子的基数部分确定自适应影响因子；

进一步的，所述影响因子的基数部分的设置方法包括以下步骤：

将所述原始V通道的四倍标准差小于

的图像定义为低对比度图像，大于

小于

的图像定义为中对比度图像，大于

的图像定义为高对比度图像；

所述影响因子的基数部分β_base设置为：

进一步的，根据所述影响因子的基数部分确定自适应影响因子β_adaptive的公式为：

β_adaptive＝β_base+α·(β_JND-0.5) (11)

其中，α为约束因子，控制最终的返还因子的浮动范围，取值为0.2。

进一步的，所述将所述增强视频帧构建转换增强视频的方法包括以下步骤：

计算每个视频帧的光流信息，并将当前帧前P帧光流幅度进行累加(以像素为单位，根据每个像素点的累积光流值确定该点属于运动点还是背景点)，表达式如下：

其中OF为累积光流值，P为累积当前帧之前的帧数，of为光流值，t为当前帧的帧数；

设置用于分割背景的阈值T₁，将累加光流幅度小于阈值T₁的部分划分为背景；

设置用于减小背景区域微小移动像素的干扰的阈值T₂，以区分有效运动像素和无效运动像素，累加光流幅度超过阈值T₂的像素为运动像素，否则为无效运动像素；

计算运动像素在整个背景区域像素的占比，设置用于判断突变场景的阈值T₃，若背景区域运动像素占比超过阈值T₃，则判断当前帧为突变场景，并更新对数减法参数g；

基于参数反馈调整帧间亮度使其保持连续性，对视频帧的对数参数设置表达式为：

其中g_t为当前帧图像自适应计算得到的参数，g_t-1为前一帧的参数，K表示g_t-1到g_t的范围内以一定间隔可划分的段数，设置

为计算得到的闪烁分数和前一帧相差最小的值作为对数减法参数；

对未发生突变的场景帧保持对数减法参数不变，使用与上一帧相同参数进行增强；

将增强后视频帧的序列转换成视频得到增强视频。

进一步的，用于分割背景的阈值T₁＝10，用于减小背景区域微小移动像素的干扰的阈值T₂＝2，用于判断突变场景的阈值T₃＝0.7。

第二方面，本发明提供了一种基于照度分解的无闪烁暗光视频增强装置，其特征在于，所述装置包括：

帧分解模块：用于将暗光视频分解为暗光视频帧序列，获得RGB格式的暗光视频帧；

HSV转换模块：用于将所述暗光视频帧转换为HSV空间，得到HSV暗光图像；

照度分解模块：用于保持所述HSV暗光图像的H、S通道不变，取原始V通道进行照度分解，得到图像非均匀照度分量L和图像细节分量R；

自适应计算模块：用于基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子；

返还模块：用于根据所述自适应影响因子返还部分非均匀光照分量到图像细节分量R上，获得残留部分光照的细节分量R'；

增强视频帧模块：用于通过对数减法拉伸被压缩的所述残留部分光照的细节分量R'得到增强视频帧；

视频转换模块：用于将所述增强视频帧构建转换增强视频。

第三方面，本发明提供一种基于照度分解的无闪烁暗光视频增强装置，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行上述任一项所述方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。

与现有技术相比，本发明所达到的有益效果：

1.本发明基于照度分解，有效地分解出暗光视频帧中的非均匀照度分量，增强视频帧的对比度和细节，使视频帧更加清晰，具有更好的主观感知效果；

2.本发明通过对背景场景变化的划分，对不同情况的场景帧选用不同的增强参数，使增强视频亮度平稳无闪烁；

3.本发明计算复杂度低，能有效节省计算成本。

附图说明

图1是本发明方法具体实施例的流程示意图；

图2是将所述增强视频帧构建转换增强视频的流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

本实施例提供一种基于照度分解的无闪烁暗光视频增强方法，包括以下步骤：

将暗光视频分解为暗光视频帧序列，获得RGB格式的暗光视频帧；

将所述暗光视频帧转换为HSV空间，得到HSV暗光图像；

保持所述HSV暗光图像的H、S通道不变，取原始V通道进行照度分解，得到图像非均匀照度分量L和图像细节分量R；

基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子；

根据所述自适应影响因子返还部分非均匀光照分量到图像细节分量R上，获得残留部分光照的细节分量R'；

通过对数减法拉伸被压缩的所述残留部分光照的细节分量R'得到增强视频帧；

将所述增强视频帧构建转换增强视频。

实施原理：本实施例基于照度分解，有效地分解出暗光视频帧中的非均匀照度分量，增强视频帧的对比度和细节，使视频帧更加清晰，具有更好的主观感知效果

实施例二：

本实施例提供一种基于照度分解的无闪烁暗光视频增强方法，包括以下步骤：帧内增强部分先将输入的RGB暗光图像转换到HSV空间，保持H、S通道不变，取V通道进行照度分解，得到非均匀的视频帧光照分量和图像细节分量，基于对比度和最小视觉可觉差计算出非均匀光照分量的返还因子，返还部分光照分量至视频帧细节分量，得到残留部分光照的细节图像，对该图像进行对数图像处理减法对比度拉伸，增强结果作为新的V通道与原H、S通道转回到RGB空间，输出增强视频帧，帧间增强部分通过光流法计算视频帧背景区域以及背景中运动像素占比，将视频帧划分为突变场景和不变场景，用对应对数减法参数进行增强，使增强视频帧亮度平稳无闪烁。

本实施例主要由基于分解以及对数减法的帧内增强方法以及基于光流法的帧间增强方法两部分组成其具体实施方案如下：

1.基于分解以及对数减法的帧内增强方法：

步骤a:将输入暗光视频分解为暗光视频帧序列，将RGB格式的暗光视频帧转换到HSV空间，保持H、S通道不变，取V通道进行照度分解，分解为图像非均匀照度分量L和图像细节分量R，分解形式如下：

V(x,y)＝L(x,y)×R(x,y) (1)

其中(x,y)为像素点在图像中的位置，x为其横坐标，y为其纵坐标。即非均匀照度分量L与图像细节分量R中相同位置的像素点亮度值相乘等于原始V通道在该位置的亮度值。

步骤b：图像非均匀照度分量L通过对原始V通道进行双边滤波得到：

其中

为像素点几何距离差值，

为像素点亮度差值，(x，y)为中心像素点位置，(i，j)为中心像素点周围的像素点位置，S(x，y)为中心像素点亮度值，S(i，j)为中心像素点周围的像素点亮度值，表达式分别为，小中大三个尺度下σ_s和σ_r的取值分别为[2,0.08],[20,0.8],[100,2]：

步骤c：去除非均匀照度分量的原始V通道图像为图像细节分量，表达式为：

R(x,y)＝L(x,y)^-1×V(x,y) (5)

步骤d：对最小视觉可觉差进行归一化得到影响因子的可觉差成分：

其中JND(l)为最小视觉可觉差阈值，ω_JND为归一化后的JND(l)曲线，β_JND为影响因子的可觉察成分，值为1-ω_JND，l为亮度值，取值为[0,255]，表达式为：

步骤e：根据原始V通道的统计特性设置影响因子的基数部分，V通道的四倍标准差小于

的图像定义为低对比度图像，大于

小于

的定义为中对比度图像，大于

的定义为高对比度图像。影响因子的基数部分设置为：

步骤f：设置自适应影响因子为：

β_adaptive＝β_base+α·(β_JND-0.5) (9)

其中α为约束因子，控制最终的返还因子的浮动范围，取值为0.2。

步骤g：利用返还因子返还部分非均匀光照分量到图像细节分量上，获得残留部分光照的细节分量，此残留部分光照可认为是均匀光照，表达式为：

步骤h：通过对数减法拉伸被压缩的残留部分光照的细节分量得到增强视频帧，表达式为：

其中E为最终的增强视频帧，M为图像的亮度动态范围，8bit图像为256，f是人为定义得到，f＝M-R'，即用256减去残留部分光照的细节分量的值，类似于亮度互补，g为视频帧增强参数，值为M-T,其中T的值为残留部分光照的细节分量R'的亮度累计分布函数值为0.9处的亮度值。

为对数减法运算符，运算法则为

M即上述图像亮度动态范围，8bit图像取值为256。

2.基于光流法的帧间增强方法

步骤a：计算每个视频帧的光流信息，将当前帧前五帧光流幅度进行累加(以像素为单位，根据每个像素点的累积光流值确定该点属于运动点还是背景点，判断方法即下文所述)，表达式如下：

其中OF为累积光流值，P为累积当前帧之前的帧数，本方法内取5，of为光流值，t为当前帧的帧数。

步骤b：设置阈值T₁分割背景，无运动背景区域光流幅度小于阈值T₁部分划分为背景，设置T₁＝10。

步骤c：设置阈值T₂减小背景区域微小移动像素的干扰，区分有效运动像素和无效运动像素，光流幅度超过阈值T₂的像素为运动像素，计算运动像素在整个背景区域像素的占比，若背景区域运动像素占比超过阈值T₃，判断当前帧为突变场景，需更新对数减法参数g,设置T₂＝2,T₃＝0.7。

步骤d：基于参数反馈调整帧间亮度使其保持连续性，对视频帧的对数参数设置表达式为：

其中g_t为当前帧图像自适应计算得到的参数，g_t-1为前一帧的参数，K表示g_t-1到g_t的范围内以0.2为间隔可划分的段数，设置

为计算得到的闪烁分数和前一帧相差最小的值作为对数减法参数。

步骤e：对未发生突变的场景帧保持对数减法参数不变，使用与上一帧相同参数进行增强。

步骤f：将增强后视频帧序列转换成视频得到增强视频。

本实施例基于照度分解，有效地分解出暗光视频帧中的非均匀照度分量，增强视频帧的对比度和细节，使视频帧更加清晰，具有更好的主观感知效果。本实施例还通过对背景场景变化的划分，对不同情况的场景帧选用不同的增强参数，使增强视频亮度平稳无闪烁；并且本实施例计算复杂度低，能有效节省计算成本。

实施例三：

本实施例提供一种基于照度分解的无闪烁暗光视频增强装置，用于有效地分解出暗光视频帧中的非均匀照度分量，增强视频帧的对比度和细节，使视频帧更加清晰，具有更好的主观感知效果，所述装置包括：

帧分解模块：用于将暗光视频分解为暗光视频帧序列，获得RGB格式的暗光视频帧；

HSV转换模块：用于将所述暗光视频帧转换为HSV空间，得到HSV暗光图像；

照度分解模块：用于保持所述HSV暗光图像的H、S通道不变，取原始V通道进行照度分解，得到图像非均匀照度分量L和图像细节分量R；

自适应计算模块：用于基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子；

返还模块：用于根据所述自适应影响因子返还部分非均匀光照分量到图像细节分量R上，获得残留部分光照的细节分量R'；

增强视频帧模块：用于通过对数减法拉伸被压缩的所述残留部分光照的细节分量R'得到增强视频帧；

视频转换模块：用于将所述增强视频帧构建转换增强视频。

实施例四：

本实施例提供一种基于照度分解的无闪烁暗光视频增强装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行实施例二所述的方法的步骤。

实施例四：

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例二所述的方法的步骤：

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于照度分解的无闪烁暗光视频增强方法，其特征在于，包括以下步骤：

将暗光视频分解为暗光视频帧序列，获得RGB格式的暗光视频帧；

将所述暗光视频帧转换为HSV空间，得到HSV暗光图像；

保持所述HSV暗光图像的H、S通道不变，取原始V通道进行照度分解，得到图像非均匀照度分量L和图像细节分量R，分解形式如下：

V(x,y)＝L(x,y)×R(x,y) (1)

其中(x,y)为像素点在图像中的位置，x为其横坐标，y为其纵坐标；

基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子；

根据所述自适应影响因子返还部分非均匀光照分量到图像细节分量R上，并压缩获得残留部分光照的细节分量R’，表达式为：

通过对数减法拉伸所述残留部分光照的细节分量R’得到增强视频帧，表达式为：

其中E为最终的增强视频帧，M为图像的亮度动态范围，f是人为定义的亮度互补参数，f＝M-R’，g为视频帧增强参数，值为M-T,其中T的值为残留部分光照的细节分量R’的亮度累计分布函数值为0.9处的亮度值，

为对数减法运算符，运算法则为

将所述增强视频帧构建转换增强视频。

2.根据权利要求1所述的基于照度分解的无闪烁暗光视频增强方法，其特征在于，所述图像非均匀照度分量L为通过对原始V通道进行双边滤波得到，即

其中

为像素点几何距离差值，

为像素点亮度差值，表达式如下式，(x，y)为中心像素点位置，(i，j)为中心像素点周围的像素点位置，S(x，y)为中心像素点亮度值，S(i，j)为中心像素点周围的像素点亮度值，为：

其中，小中大三个尺度下σ_s和σ_r的取值分别为[2,0.08],[20,0.8],[100,2]；

所述图像细节分量R为去除非均匀照度分量的原始V通道图像，表达式为：

R(x,y)＝L(x,y)^-1×V(x,y) (7)

3.根据权利要求1所述的基于照度分解的无闪烁暗光视频增强方法，其特征在于，所述基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子的方法包括以下步骤：

对最小视觉可觉差进行归一化处理得到影响因子的可觉差成分：

其中JND(l)为最小视觉可觉差阈值，ω_JND为归一化后的JND(l)曲线，β_JND为影响因子的可觉察成分，值为1-ω_JND，l为亮度值，表达式为：

根据原始V通道的统计特性设置影响因子的基数部分；

根据所述影响因子的基数部分确定自适应影响因子。

4.根据权利要求3所述的基于照度分解的无闪烁暗光视频增强方法，其特征在于，所述影响因子的基数部分的设置方法包括以下步骤：

将所述原始V通道的四倍标准差小于

的图像定义为低对比度图像，大于

小于

的图像定义为中对比度图像，大于

的图像定义为高对比度图像；

所述影响因子的基数部分β_base设置为：

5.根据权利要求4所述的基于照度分解的无闪烁暗光视频增强方法，其特征在于，根据所述影响因子的基数部分确定自适应影响因子β_adaptive的公式为：

β_adaptive＝β_base+α·(β_JND-0.5) (11)

其中，α为约束因子，控制最终的返还因子的浮动范围，取值为0.2。

6.根据权利要求1所述的基于照度分解的无闪烁暗光视频增强方法，其特征在于，所述将所述增强视频帧构建转换增强视频的方法包括以下步骤：

计算每个视频帧的光流信息，并将当前帧前P帧光流幅度进行累加，表达式如下：

其中OF为累积光流值，P为累积当前帧之前的帧数，of为光流值，t为当前帧的帧数；

设置用于分割背景的阈值T₁，将累加光流幅度小于阈值T₁的部分划分为背景区域；

设置用于减小背景区域微小移动像素的干扰的阈值T₂，以区分有效运动像素和无效运动像素，累加光流幅度超过阈值T₂的像素为运动像素，否则为无效运动像素；

计算运动像素在整个背景区域像素的占比，设置用于判断突变场景的阈值T₃，若背景区域运动像素占比超过阈值T₃，则判断当前帧为突变场景，并更新对数减法参数g；

基于参数反馈调整帧间亮度使其保持连续性，对视频帧的对数参数设置表达式为：

其中g_t为当前帧图像自适应计算得到的参数，g_t-1为前一帧的参数，K表示g_t-1到g_t的范围内以一定间隔可划分的段数，设置

为计算得到的闪烁分数和前一帧相差最小的值作为对数减法参数；

对未发生突变的场景帧保持对数减法参数不变，使用与上一帧相同参数进行增强；

将增强后视频帧的序列转换成视频得到增强视频。

7.根据权利要求6所述的基于照度分解的无闪烁暗光视频增强方法，其特征在于，用于分割背景的阈值T₁＝10，用于减小背景区域微小移动像素的干扰的阈值T₂＝2，用于判断突变场景的阈值T₃＝0.7。

8.一种基于照度分解的无闪烁暗光视频增强装置，其特征在于，所述装置包括：

帧分解模块：用于将暗光视频分解为暗光视频帧序列，获得RGB格式的暗光视频帧；

HSV转换模块：用于将所述暗光视频帧转换为HSV空间，得到HSV暗光图像；

照度分解模块：用于保持所述HSV暗光图像的H、S通道不变，取原始V通道进行照度分解，得到图像非均匀照度分量L和图像细节分量R；

自适应计算模块：用于基于对比度和最小视觉可觉差计算出非均匀光照分量L的自适应影响因子；

返还模块：用于根据所述自适应影响因子返还部分非均匀光照分量到图像细节分量R上，获得残留部分光照的细节分量R’；

增强视频帧模块：用于通过对数减法拉伸被压缩的所述残留部分光照的细节分量R’得到增强视频帧；

视频转换模块：用于将所述增强视频帧构建转换增强视频。

9.一种基于照度分解的无闪烁暗光视频增强装置，其特征在于，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1～8任一项所述方法的步骤。

10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～8任一项所述方法的步骤。

Images