CN109886906B - 一种细节敏感的实时弱光视频增强方法和系统 - Google Patents

Abstract

本发明提供一种细节敏感的实时弱光视频增强方法和系统，首先对弱光视频进行多重灰度变换，获得多张局部区域亮度合理的灰度图，然后利用细节评估方法对变换后的图像进行细节评估并获得权重图，再利用快速融合的方法将多个变换后的图像及其权重图融合成一张增强图像，再用采样加速的方法对增强过程进行加速，最后进行后处理得到增强后的视频。本发明有如下优点：细节敏感的增强方法能够将弱光视频各个区域增强到细节丰富的程度并在此过程中能够防止过曝光现象的出现，快速融合方法和采样加速技术能够大大减少运算所需时间，达到实时视频增强的速率。

Description

一种细节敏感的实时弱光视频增强方法和系统

技术领域

本发明属于视频处理领域，涉及一种弱光视频增强方法，尤其是一种细节敏感的实时弱光视频增强方法和系统。

背景技术

在环境光照不足或者对比强烈的条件下拍摄视频时，画面常常出现较暗的区域，影响细节的呈现，需要对其进行增强以提升视觉观感。此外视频拍摄时需要进行实时预览，要求弱光视频增强技术能够达到实时的处理效率。

现有的弱光视频增强技术主要有gamma校准、直方图均衡化、基于色调映射的方法、基于本征分解的增强方法、基于反相暗通道的方法、基于统计学习的方法。这几类方法均存在缺陷：gamma校准将灰度往高光部分压缩，容易造成视频高光区域的细节丢失；直方图均衡只在全局进行色彩空间的映射，视频中正常的局部区域可能会缺乏足够的灰度范围来呈现细节；多重色调映射方法在增强过程中需要生成多张与原图大小一致的中间图像并建立图像金字塔，因此效率低下；基于本征分解的方法计算复杂、实际处理时所需时间较长，且现有的模型难以准确还原真实的光照情况；反相暗通道方法一般适用于户外大场景拍摄的视频，不具备普适性；基于统计学习的方法依靠大量的视频数据集，需要首先给定弱光视频及其人工增强后的视频进行训练，且处理效率较低。

发明内容

本发明的目的是克服上述现有方法存在的缺陷提供一种细节敏感的实时视频增强技术，对弱光视频进行细节敏感的光照增强，从而有效地使得视频中各个区域的细节得以清晰呈现，并利用采样加速方法对运行效率进行加速，在全高清分辨率尺寸下达到实时的增强速率。

本发明的上述技术问题主要是通过以下技术方案得以解决的：

一种细节敏感的实时弱光视频增强方法，包括以下步骤：

步骤1，将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；

步骤2，采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；

步骤3，对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；

步骤4，重复步骤1-3获得视频每帧对应的参照图，再用改进的BGU(bilateralguided upsampling)方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；

步骤5，利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。

进一步的，步骤1中获得低分辨率灰度图的实现方式为，将灰度图划分成n×n大小的块，计算每个块的平均值，并按照块的位置重新组合成低分辨率灰度图。

进一步的，所述步骤2中多重灰度变换的具体公式为：

其中a取值为{2ⁱ|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。

进一步的，所述步骤3中对变换图集中的每张图像进行细节评估，获得权重图集的具体方法为：

对变换图集{I₁，I₂，...，I_m}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W₁，W₂，...，W_m}。

进一步的，所述步骤3中将变换图集与权重图集进行快速融合，获得参照图的具体方法为：

对变换图集{I₁，I₂，...，I_m}及对应的权重图集{W₁，W₂，...，W_m}，用以下公式获得融合后的图像

其中

为权重图集的归一化图：

Gaussian表示基于DCT(discrete cosine transform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。

进一步的，所述步骤4中改进的BGU方法为：

步骤4.1，将步骤1中增强前的低分辨率灰度图序列与步骤3中增强后的参照图序列建立3D双边网格序列；

步骤4.2，将双边网格序列按照视频帧的时间顺序组合起来，得到一个4D双边网格H；

步骤4.3，利用4D高斯核对H进行滤波，得到H′；

步骤4.4，利用H′结合快速三线性插值方法对视频每帧高分辨率灰度图像G_i进行变换，获得增强后的高分辨率灰度图像

进一步的，步骤5中利用公式

对视频每帧对应的灰度增强图

进行色调恢复，其中s＝0.5，ε＝10^-6，从而获得RGB增强图像

本发明还提供一种细节敏感的实时弱光视频增强系统，包括以下模块：

低分辨率灰度图获取模块，用于将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；

多重灰度变换处理模块，用于采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；

参照图获取模块，用于对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；

灰度增强图获取模块，用于重复上述三个模块获得视频每帧对应的参照图，再用改进的BGU(bilateral guided upsampling)方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；

色调恢复模块，用于利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。

进一步的，所述多重灰度变换处理模块中多重灰度变换的具体公式为：

其中a取值为{2ⁱ|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。

进一步的，所述参照图获取模块的具体实现方式如下：

对变换图集{I₁，I₂，...，I_m}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W₁，W₂，...，W_m}；

对变换图集{I₁，I₂，...，I_m}及对应的权重图集{W₁，W₂，...，W_m}，用以下公式获得融合后的图像

其中

为权重图集的归一化图：

Gaussian表示基于DCT(discrete cosine transform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。

本发明有如下优点：1.本发明的多重灰度变换方法能够防止视频在增强中产生的过曝光现象；2.本发明的细节评估方法能够将视频各个区域的亮度调节到细节最丰富的程度；3.本发明基于DCT高斯滤波的快速融合方法能够减少内存需求并提高运算效率；4.本发明改进的BGU方法能够大大减少增强过程消耗的时间，达到实时速率，并且使得增强前后具有连贯性，减少帧间瑕疵。

附图说明

图1是现有灰度映射方法和本发明灰度变换方法的比较，其中，(a)图为Underexposed Video Enhancement via Perception Driven Progressive Fusion中的色调映射函数，(b)图为本发明的灰度变换函数。

图2是采用图1中两种函数最终增强结果的比较，其中，(a)为输入图像，(b)为采用色调映射的结果，(c)为采用本发明的灰度变换结果。

图3是图像评估方法的比较，(a)为输入图像，(b)为采用Exposure Fusion和Underexposed Video Enhancement via Perception Driven Progressive Fusion中的图像视觉感知方法得到的最终增强结果，(c)为采用本发明的细节敏感评估得到的最终增强结果。

图4是本发明对单层融合(Single Scale Fusion)的改进结果，(a)为输入图像，(b)为采用单层融合方法的结果，(c)为本发明改进后的结果。

图5是本发明的数据流图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图5所示，一种细节敏感的实时弱光视频增强方法，包括如下步骤：

步骤1，从视频流中获取一帧图像，转换为灰度图，并对其进行下采样处理，获得低分辨率灰度图。

步骤1.1，用OpenCV将视频解码，从中获取一张RGB8bit的图像，并转换成RGB浮点型图像。

步骤1.2，将图像进行灰度化，获得单通道的灰度图。

步骤1.3，将灰度图划分成8×8大小的块，计算每个块的平均值，并按照块的位置重新组合成低分辨率灰度图。

步骤2，采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集。

步骤2.1，利用{2ⁱ|i＝1，2，...，m}生成一个向量，其中参数个数m设定为5。

步骤2.2，利用灰度变换函数f(x)＝2/(1+exp(-ax))-1结合步骤1.3中的低分辨率灰度图与步骤2.1中的向量进行多重灰度变换，获得包含m张图像的变换图集{I₁，I₂，...，I_m}，其中x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值，a取值为向量中的每个元素。与现有的色调映射方法相比，本发明的灰度变换函数涉及到了高光部分的灰度降低处理，如图1所示。这样的处理能够使得高光部分拥有更多的可选范围，从而使得增强后的图像高光区域拥有足够的梯度来呈现细节。两种方法最终增强后的对比结果如图2所示，色调映射方法由于只进行灰度提升，原有的天空等高光区域灰度范围降低，而本发明的色调变换结果能够较好地保留天空等高光区域的细节，同时弱光区域也得到了增强。此外，色调映射方法的α参数在接近0的附近内变化剧烈，增强幅度不易控制，而本发明的函数随着参数a变化均匀。

步骤3，对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图。

步骤3.1，对变换图集中的每一张图像计算其梯度图。

步骤3.2，取梯度图的绝对值进行窗口大小为3的最大值滤波，获得m张权重图像，将其作为权重图集。与图像视觉感知评估方法不同，本发明的细节敏感评估方法侧重于选取梯度较大的像素及其相邻的区域，这样能够同时增强弱光和高光部分的细节。而图像视觉感知方法倾向于选取灰度值接近0.5的像素，对梯度的选取只考虑单个像素，因此容易使得图像灰度整体往0.5灰度收缩，造成对比度下降。两者的对比结果如图3所示。

步骤3.3，利用公式

将权重图集{W₁，W₂，...，W_m}进行归一化，得到归一化权重图集

步骤3.4，根据权重图像素的行数r和列数c计算滤波参数σ＝min(r，c)/2。

步骤3.5，利用公式

将变换图集及对应的归一化权重图集融合成参照图

其中Gaussian表示基于DCT(discrete cosine transform)的快速高斯滤波方法。如图4所示，相比原有的单层融合方法，本发明改进后的快速融合方法能够防止图像高频区域出现的白边瑕疵。

步骤4，重复步骤1-3获得视频每一帧对应的参照图，再用改进的BGU方法对其进行上采样，得到与视频同分辨率的灰度增强图，相当于加速增强的过程，具体实现如下。

步骤4.1，利用步骤1中增强前的低分辨率灰度图与步骤3中增强后的参照图建立3D双边网格B，其中双边网格的空间缩放系数设置成0.125，灰度级别设置成10，则对于视频中的每帧高分辨率灰度图像G_i，都有一个B_i与之对应。

步骤4.2，将双边网格序列{B₁，B₂，...，B_N}按照视频帧的时间顺序组合起来，得到一个4D双边网格H。

步骤4.3，利用窗口大小为5的4D高斯核对H进行滤波，获得平滑的4D双边网格H′。

步骤4.4，利用H′结合快速三线性插值方法对视频每帧高分辨率灰度图像G_i进行变换，获得增强后的高分辨率灰度图像

步骤5，利用色调恢复方法结合视频帧原图像对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。

步骤5.1，利用公式

对视频每帧对应的灰度增强图

进行色调恢复，其中s＝0.5，ε＝10^-6，从而获得RGB增强图像

步骤5.2，将

从浮点型转换成RGB8bit图像。

步骤5.3，合并所有视频帧的增强图像，得到弱光增强后的视频。

本发明还提供一种细节敏感的实时弱光视频增强系统，包括以下模块：

低分辨率灰度图获取模块，用于将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；

多重灰度变换处理模块，用于采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；

参照图获取模块，用于对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；

灰度增强图获取模块，用于重复上述三个模块获得视频每帧对应的参照图，再用改进的BGU(bilateral guided upsampling)方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；

色调恢复模块，用于利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。

其中，所述多重灰度变换处理模块中多重灰度变换的具体公式为：

其中a取值为{2ⁱ|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。

其中，所述参照图获取模块的具体实现方式如下：

对变换图集{I₁，I₂，...，I_m}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W₁，W₂，…，W_m}；

对变换图集{I₁，I₂，...，I_m}及对应的权重图集{W₁，W₂，...，W_m}，用以下公式获得融合后的图像

其中

为权重图集的归一化图：

Gaussian表示基于DCT(discrete cosine transform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。

各模块的具体实现方式和各步骤相应，本发明不予撰述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种细节敏感的实时弱光视频增强方法，其特征在于，包括以下步骤：

步骤1，将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；

步骤2，采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；

步骤3，对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；

步骤4，重复步骤1-3获得视频每帧对应的参照图，再用改进的bilateral guidedupsampling方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；

所述步骤4中改进的bilateral guided upsampling方法为：

步骤4.1，将步骤1中增强前的低分辨率灰度图序列与步骤3中增强后的参照图序列建立3D双边网格序列；

步骤4.2，将双边网格序列按照视频帧的时间顺序组合起来，得到一个4D双边网格H；

步骤4.3，利用4D高斯核对H进行滤波，得到H′；

步骤4.4，利用H′结合快速三线性插值方法对视频每帧高分辨率灰度图像G_i进行变换，获得增强后的高分辨率灰度图像

步骤5，利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。

2.根据权利要求1所述的一种细节敏感的实时弱光视频增强方法，其特征在于：步骤1中获得低分辨率灰度图的实现方式为，将灰度图划分成n×n大小的块，计算每个块的平均值，并按照块的位置重新组合成低分辨率灰度图。

3.根据权利要求1所述的一种细节敏感的实时弱光视频增强方法，其特征在于：所述步骤2中多重灰度变换的具体公式为：

其中a取值为{2ⁱ|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。

4.根据权利要求1所述的一种细节敏感的实时弱光视频增强方法，其特征在于：所述步骤3中对变换图集中的每张图像进行细节评估，获得权重图集的具体方法为：

对变换图集{I₁，I₂，...，I_m}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W₁，W₂，...，W_m}。

5.根据权利要求4所述的一种细节敏感的实时弱光视频增强方法，其特征在于：所述步骤3中将变换图集与权重图集进行快速融合，获得参照图的具体方法为：

对变换图集{I₁，I₂，...，I_m}及对应的权重图集{W₁，W₂，...，W_m}，用以下公式获得融合后的图像

其中

为权重图集的归一化图：

Gaussian表示基于DCT(discrete cosine transform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。

6.根据权利要求5所述的一种细节敏感的实时弱光视频增强方法，其特征在于：步骤5中利用公式

对视频每帧对应的灰度增强图

进行色调恢复，其中s＝0.5，ε＝10^-6，从而获得RGB增强图像

7.一种用于实现细节敏感的实时弱光视频增强方法的系统，其特征在于，包括以下模块：

低分辨率灰度图获取模块，用于将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；

多重灰度变换处理模块，用于采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；

参照图获取模块，用于对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；

灰度增强图获取模块，用于重复上述三个模块获得视频每帧对应的参照图，再用改进的bilateral guided upsampling方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；

色调恢复模块，用于利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。

8.根据权利要求7所述的一种用于实现细节敏感的实时弱光视频增强方法的系统，其特征在于：所述多重灰度变换处理模块中多重灰度变换的具体公式为：

其中a取值为{2ⁱ|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。

9.根据权利要求7所述的一种用于实现细节敏感的实时弱光视频增强方法的系统，其特征在于：所述参照图获取模块的具体实现方式如下：

对变换图集{I₁，I₂，...，I_m}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W₁，W₂，...，W_m}；

对变换图集{I₁，I₂，...，I_m}及对应的权重图集(W₁，W₂，...，W_m}，用以下公式获得融合后的图像

其中

为权重图集的归一化图：

Gaussian表示基于DCT(discrete cosine transform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。

Images