CN108898566A - 一种利用时空照度图的低照度彩色视频增强方法 - Google Patents

Abstract

本发明公开了一种利用时空照度图的低照度彩色视频增强方法，首先计算视频帧的初始空间照度图，利用当前视频帧与其前k视频帧的初始空间照度图计算当前视频帧的时间相似性照度图，利用初始空间照度图和时间相似性照度图构造当前视频帧的结构权重矩阵，利用初始空间照度图、时间相似性照度图和结构权重矩阵构造最优照度图估计的代价最小化模型并求解，所得解为当前视频帧的最优照度图，最后对最优照度图做伽马校正，利用校正后的照度图求取增强后的当前视频帧；当所有视频帧都处理完毕后，将全部增强后的视频帧合并成输出的彩色视频。本发明能在有效增强低照度彩色视频照度的同时保持视频帧中主要结构，并使得增强后的视频具有连贯的照度。

Description

一种利用时空照度图的低照度彩色视频增强方法

技术领域

本发明涉及一种利用时空照度图的低照度彩色视频增强方法，属于图像增强技术。

背景技术

在自然光线不充足的情况下，人们拍摄到的视频往往具有较低的照度和较差的视觉效果，无法真实地反映目标场景中物体的细节，对于一些基于视觉的应用，如目标检测、目标追踪等，都造成了极大的不便。

对低照度图像或视频进行增强的方法可大致分为两类，一类是基于直方图的方法，另一类是基于Retinex理论的方法。基于直方图的方法通过调整图像或视频帧的直方图分布来改善结果图像或视频帧，然而其并没有从图像照度的本质上解决光照增强的问题，而仅仅是从对比度增强的角度改善了图像或视频帧的光照和对比度。因此，基于直方图的方法对增强图像或视频照度方面的效果并不是很理想。目前，对低照度图像或视频进行增强的方法多是以Retinex理论为基础，即将待增强的图像分解为照度和反射率两部分，并将这两部分分别处理后再合成增强后的结果图像。Xueyang Fu等人提出一种基于融合的低照度图像增强方法(Xueyang Fu，Delu Zeng，Yue Huang，Yinghao Liao，Xinghao Ding，JohnPaisley，A fusion-based enhancing method for weakly illuminated images，vol.129,no.2016,pp.82-96,2016)，通过三种方式生成三种不同的照度图，进而加权融合成增强后的照度图，然而该方法没有考虑图像中的结构信息，会造成一些纹理结构区域光照失真。中国专利“一种低照度视频图像增强方法”[201310639998.5]对每一帧图像的照度进行帧内增强，并以前一帧增强结果作为下一帧图像的标准帧进行帧间增强，然而该方法也没有考虑视频帧中的结构信息。中国专利“一种基于亮通道的低照度视频实时增强方法”[201510181696.7]通过计算低照度视频帧的均值和亮通道值来得到一个照度因子，并以此照度因子和视频帧像素强度之间简单的代数运算，来得到增强后的视频帧，该方法运算速度快可以满足实时处理要求，但其并没有利用到视频的帧间信息。Xiaojie Guo等人提出一种低照度图像增强方法(Xiaojie Guo,Yu Li,Haibin Ling，LIME：Low-light imageenhancement via illumination map estimation,IEEE Transactions on ImageProcessing,vol.26,no.2,pp.982-993,2017)，通过估计照度图来达到增强图像照度的目的，该方法考虑了图像内部的空间结构信息，能够估计出空间分段平滑的照度图，但不适用于处理包含了时间信息的低照度视频。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种利用时空照度图的低照度彩色视频增强方法，以构造最优照度图估计的代价最小化模型，通过计算视频帧的初始空间照度图和时间相似性照度图来充分利用视频中的时间和空间信息，并基于时空信息构造结构权重矩阵，从而能够在照度增强的同时保持视频帧中主要结构，并使得增强后的视频具有更连贯的照度。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种利用时空照度图的低照度彩色视频增强方法，首先计算视频帧的初始空间照度图，利用当前视频帧与其前k视频帧的初始空间照度图计算当前视频帧的时间相似性照度图，利用初始空间照度图和时间相似性照度图构造当前视频帧的结构权重矩阵，利用初始空间照度图、时间相似性照度图和结构权重矩阵构造最优照度图估计的代价最小化模型并求解，所得解为当前视频帧的最优照度图，最后对最优照度图做伽马校正，利用校正后的照度图求取增强后的当前视频帧；当所有视频帧都处理完毕后，将全部增强后的视频帧合并成输出的彩色视频。

具体的，计算视频帧的初始空间照度图的方法为：对于某一视频帧，使用S表示该视频帧中待增强的彩色视频帧，使用x表示S中各通道图像的像素点；首先将所有x的像素强度值都归一化到[0,1]区间内，然后使用归一化后的x计算该视频帧的初始空间照度图其中R、G、B分别为S中红、绿、蓝三个通道的图像。

具体的，设当前视频帧为第c视频帧，当前视频帧的前k视频帧为第c-k≤i≤c-1视频帧；利用当前视频帧与其前k视频帧的初始空间照度图计算当前视频帧的时间相似性照度图的方法为：将第c-k≤i≤c视频帧的初始空间照度图均分解为不重叠且大小为M×M像素的图像块，构成图像块集合P＝{P_i ^x；x＝1,2,…,N；i＝c-k,…,c}，N为每一视频帧初始空间照度图中的图像块个数；

对于第c视频帧的某一个图像块在图像块集合P_i＝{P_i ^x；x＝1,2,…,N；i＝c-k,…,c-1}中搜索图像块P_i ^y，使得计算时间相似性照度图像块其中i＝c-1,…,c-k，和分别为第c视频帧和第i视频帧的初始空间照度图，视频帧中待增强的彩色视频帧S的区域为W×H，x_z为初始空间照度图中W×H区域的像素点；

将x＝1,2,…,N的拼接成原始时间相似性照度图再应用引导滤波得到当前视频帧的时间相似性照度图，即其中引导滤波中的引导图为第c视频帧初始空间照度图r为引导滤波中均值滤波的半径，1≤r＜min(W,H)，θ为参数，0.0001≤θ＜1。

具体的，利用初始空间照度图和时间相似性照度图构造当前视频帧的结构权重矩阵的方法为：结构权重矩阵由水平分量和垂直分量构成，即下标h和v分别表示水平方向和垂直方向，水平分量和垂直分量各有两种构造方式：

方式1：d∈{h,v}

方式2：d∈{h,v}

其中表示d方向上的一阶导数运算，为视频帧的初始空间照度图，x为视频帧的待增强的彩色视频帧S内的像素点，y为以x为中心的邻域Ω(x)中的像素点，G_σ(x,y)为标准差为σ的高斯核函数ε为避免分母为零的参数，0＜ε≤1。

具体的，利用初始空间照度图、时间相似性照度图和结构权重矩阵构造最优照度图估计的代价最小化模型的方法为：构造的代价最小化模型为：

其中符号表示逐元素相乘，为视频帧的初始空间照度图，为视频帧的时间相似性照度图，为结构权重矩阵，为一阶导数运算；L_opt为待估计的最优照度图；

利用增广拉格朗日乘子法和交替方向最小化法求解该代价最小化模型，求得的解L_opt作为当前视频帧的最优照度图。

具体的，利用校正后的照度图求取增强后的当前视频帧的方法为：对最优照度图L_opt做伽马校正其中γ为伽马校正参数；然后利用校正后的照度图求取增强后的视频帧其中为视频帧的初始空间照度图，S为视频帧中待增强的彩色视频帧。

有益效果：本发明提供的利用时空照度图的低照度彩色视频增强方法，现有技术相比，其显著优点为：1、联合利用了视频帧照度图的时空信息，与变分技术结合在一起，能够使增强后的视频具有更连贯的照度；2、能在有效增强图像照度的同时，保持视频帧中主要结构。

附图说明

图1为发明的实施流程图；

图2为实施例中低照度测试视频1中的两个视频帧；

图3为实施例中低照度测试视频2中的两个视频帧；

图4为实施例中对低照度测试视频1增强后与图2对应的结果视频帧；

图5为实施例中对低照度测试视频2增强后与图3对应的结果视频帧。

具体实施方式

下面结合附图对本发明作更进一步的说明。

一种利用时空照度图的低照度彩色视频增强方法，以Retinex理论为基础，以变分技术作为方法模型的建模手段。变分技术是图像处理中常用的方法，根据具体问题的变量特征构建能量泛函，使泛函达到最小值的解就是问题最后的结果图像，采用变分技术能使我们更容易根据实际问题理解和解决图像处理问题。另外，Retinex理论中将图像分解为反射率分量和照度分量两个部分，照度分量有分片光滑的特征，本发明方法以此为理论依据，构造最优照度图估计的代价最小化模型，进而求解最优照度图，并求取增强后的视频帧，最后合成输出的彩色视频。

如图1所示为本发明的实施流程图，具体包括如下步骤。

步骤一：计算视频帧的初始空间照度图

设当前视频帧为第c视频帧，当前视频帧的前k视频帧为第c-k≤i≤c-1视频帧；以S表示视频帧中待增强的彩色视频帧，其大小为W×H，以x表示S中各通道(红、绿、蓝三通道)图像的像素点。

对于任意视频帧，首先将x的像素强度值都归一化到[0,1]区间内，然后使用归一化后的x计算该视频帧的初始空间照度图其中R、G、B分别为S中红、绿、蓝三个通道的图像。

使用上述方法计算第c-k≤i≤c-1视频帧的初始空间照度图。

步骤二：利用当前视频帧与其前k视频帧的初始空间照度图计算当前视频帧的时间相似性照度图

将第c-k≤i≤c视频帧的初始空间照度图均分解为不重叠且大小为M×M像素的图像块，构成图像块集合P＝{P_i ^x；x＝1,2,…,N；i＝c-k,…,c}，N为每一视频帧初始空间照度图中的图像块个数。

对于第c视频帧的某一个图像块在图像块集合P_i＝{P_i ^x；x＝1,2,…,N；i＝c-k,…,c-1}中搜索图像块P_i ^y，使得计算时间相似性照度图像块其中i＝c-1,…,c-k，和分别为第c视频帧和第i视频帧的初始空间照度图，视频帧中待增强的彩色视频帧S的区域为W×H，x_z为初始空间照度图中W×H区域的像素点。

将x＝1,2,…,N的拼接成原始时间相似性照度图再应用引导滤波得到当前视频帧的时间相似性照度图，即其中引导滤波中的引导图为第c视频帧初始空间照度图r为引导滤波中均值滤波的半径，1≤r＜min(W,H)，θ为参数，0.0001≤θ＜1。

步骤三：利用初始空间照度图和时间相似性照度图构造当前视频帧的结构权重矩阵

结构权重矩阵由水平分量和垂直分量构成，即下标h和v分别表示水平方向和垂直方向，水平分量和垂直分量各有两种构造方式：

方式1：d∈{h,v}

方式2：d∈{h,v}

其中表示d方向上的一阶导数运算，为视频帧的初始空间照度图，x为视频帧的待增强的彩色视频帧S内的像素点，y为以x为中心的邻域Ω(x)中的像素点，G_σ(x,y)为标准差为σ的高斯核函数ε为避免分母为零的参数，0＜ε≤1。

步骤四：利用初始空间照度图、时间相似性照度图和结构权重矩阵构造最优照度图估计的代价最小化模型

构造的代价最小化模型为：

其中符号表示逐元素相乘，为视频帧的初始空间照度图，为视频帧的时间相似性照度图，为结构权重矩阵，为一阶导数运算；L_opt为待估计的最优照度图。

利用增广拉格朗日乘子法和交替方向最小化法求解该代价最小化模型，求得的解L_opt作为当前视频帧的最优照度图。

步骤五：逐帧增强视频

对最优照度图L_opt做伽马校正其中γ为伽马校正参数；然后利用校正后的照度图求取增强后的视频帧其中为视频帧的初始空间照度图，S为视频帧中待增强的彩色视频帧。

判断当前帧是否为视频的最后一帧，如果不是最后一帧，则重复步骤一至步骤五处理下一帧，如果是最后一帧，则将全部增强后的视频帧合并成输出的彩色视频。

步骤六：彩色视频合成。

所有视频帧都处理完成后，将全部增强后的视频帧合并成输出的彩色视频。

下面结合附图和实施例，对本发明的实施过程进行如下详细说明。在本次实施例中采用两段视频帧大小为720×404的低照度彩色视频进行实验。

如图1所示，首先输入待增强的低照度测试视频1(或低照度测试视频2)，然后进行以下步骤：

步骤1：计算视频帧的初始空间照度图。将当前第c帧大小为W×H的待增强的彩色视频帧S各通道的每个像素点x的像素强度值都归一化到[0,1]区间内，计算初始空间照度图其中R、G、B分别为彩色视频帧S的红绿蓝三个通道的图像，并用同样方法计算其前4帧的初始空间照度图，若c＝1，则跳过步骤2至步骤4直接进行步骤5，若1＜c≤4，则只计算其前c-1帧的初始空间照度图。

步骤2：利用当前帧与其前k帧的初始空间照度图计算时间相似性照度图。将当前第c帧与其前4帧的初始空间照度图都分解为不重叠的大小为16×16像素的初始空间照度图像块，进而构成初始空间照度图像块集合P＝{P_i ^x；x＝1,2,…,N；i＝c-4,…,c}，N为每一帧初始空间照度图中的图像块个数，对于当前第c帧中每一个初始空间照度图像块在初始空间照度图像块集合P_i＝{P_i ^x；x＝1,2,…,N；i＝c-4,…,c-1}中搜索初始空间照度图像块使得然后计算时间相似性照度图像块其中时间相似性照度图像块拼接成原始时间相似性照度图后，再应用引导滤波得到时间相似性照度图，即引导滤波中的引导图为当前第c帧的初始空间照度图r为引导滤波中均值滤波的半径(单位为像素)，r取值为80，θ为参数，θ取值为0.001。

步骤3：利用初始空间照度图和空间相似性照度图构造结构权重矩阵。权重矩阵由水平分量和垂直分量构成，即下标h和v分别表示水平方向和垂直方向，水平分量和垂直分量各有两种构造方式：

方式1：d∈{h，v}

方式2：d∈{h,v}

其中ε为避免分母为零的参数，ε取值为0.001，采用构造方式2，G_σ(x,y)是标准差为σ的高斯核函数σ取值为2，y为以x为中心的邻域Ω(x)中的像素，表示d方向上的一阶导数运算。

步骤4：利用初始空间照度图、时间相似性照度图和结构权重矩阵构造最优照度图估计的代价最小化模型，并求解该模型，模型的解为最优照度图。构造的最优照度图估计的代价最小化模型为

其中符号表示逐元素相乘，L_opt为待估计的最优照度图；然后利用增广拉格朗日乘子法和交替方向最小化法求解该代价最小化模型，求得的解L_opt作为当前帧的最优照度图。

步骤5：逐帧增强视频。对最优照度图做伽马校正其中γ为伽马校正参数，取值为然后利用校正后的照度图求取增强后的视频帧判断当前帧是否为视频的最后一帧，如果不是最后一帧，则重复步骤1至步骤5处理下一帧，如果是最后一帧，则将全部增强后的视频帧合并成输出的彩色视频。

步骤6：彩色视频合成。所有视频帧都处理完成后，将全部增强后的视频帧合并成输出的彩色视频。

下面结合图2至图5，通过实施例的效果评价来进一步说明本发明。

如图2和图3所示，原始的低照度测试视频1和低照度测试视频2由于在拍摄时光线不充足，导致视频帧画面整体亮度偏暗，人物、景物的色彩、结构等信息都很难分辨。图4为本发明方法处理低照度测试视频1后的结果视频帧，从图中可以看出视频帧的亮度连贯并且得到了明显的增强，画面中的游船、树木等都呈现出明亮的色彩，原先暗处的人群也可以分辨出来。图5为本发明方法处理低照度测试视频2后的结果视频帧，从图中可以看出原先昏暗的窗格不论是颜色还是结构纹理都清晰可见，许多细节都呈现出来。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种利用时空照度图的低照度彩色视频增强方法，其特征在于：首先计算视频帧的初始空间照度图，利用当前视频帧与其前k视频帧的初始空间照度图计算当前视频帧的时间相似性照度图，利用初始空间照度图和时间相似性照度图构造当前视频帧的结构权重矩阵，利用初始空间照度图、时间相似性照度图和结构权重矩阵构造最优照度图估计的代价最小化模型并求解，所得解为当前视频帧的最优照度图，最后对最优照度图做伽马校正，利用校正后的照度图求取增强后的当前视频帧；当所有视频帧都处理完毕后，将全部增强后的视频帧合并成输出的彩色视频。

2.根据权利要求1所述的利用时空照度图的低照度彩色视频增强方法，其特征在于：计算视频帧的初始空间照度图的方法为：对于某一视频帧，使用S表示该视频帧中待增强的彩色视频帧，使用x表示S中各通道图像的像素点；首先将所有x的像素强度值都归一化到[0,1]区间内，然后使用归一化后的x计算该视频帧的初始空间照度图 其中R、G、B分别为S中红、绿、蓝三个通道的图像。

3.根据权利要求1所述的利用时空照度图的低照度彩色视频增强方法，其特征在于：设当前视频帧为第c视频帧，当前视频帧的前k视频帧为第c-k≤i≤c-1视频帧；利用当前视频帧与其前k视频帧的初始空间照度图计算当前视频帧的时间相似性照度图的方法为：将第c-k≤i≤c视频帧的初始空间照度图均分解为不重叠且大小为M×M像素的图像块，构成图像块集合P＝{P_i ^x；x＝1,2,…,N；i＝c-k,…,c}，N为每一视频帧初始空间照度图中的图像块个数；

对于第c视频帧的某一个图像块P_c ^x，在图像块集合P_i＝{P_i ^x；x＝1,2,…,N；i＝c-k,…,c-1}中搜索度图像块P_i ^y，使得计算时间相似性照度图像块其中i＝c-1,…,c-k，和分别为第c视频帧和第i视频帧的初始空间照度图，视频帧中待增强的彩色视频帧S的区域为W×H，x_z为初始空间照度图中W×H区域的像素点；

将x＝1,2,…,N的拼接成原始时间相似性照度图再应用引导滤波得到当前视频帧的时间相似性照度图，即其中引导滤波中的引导图为第c视频帧初始空间照度图r为引导滤波中均值滤波的半径，1≤r＜min(W,H)，θ为参数，0.0001≤θ＜1。

4.根据权利要求1所述的利用时空照度图的低照度彩色视频增强方法，其特征在于：利用初始空间照度图和时间相似性照度图构造当前视频帧的结构权重矩阵的方法为：结构权重矩阵由水平分量和垂直分量构成，即下标h和v分别表示水平方向和垂直方向，水平分量和垂直分量各有两种构造方式：

方式1：

方式2：

其中表示d方向上的一阶导数运算，为视频帧的初始空间照度图，x为视频帧的待增强的彩色视频帧S内的像素点，y为以x为中心的邻域Ω(x)中的像素点，G_σ(x,y)为标准差为σ的高斯核函数ε为避免分母为零的参数，0＜ε≤1。

5.根据权利要求1所述的利用时空照度图的低照度彩色视频增强方法，其特征在于：利用初始空间照度图、时间相似性照度图和结构权重矩阵构造最优照度图估计的代价最小化模型的方法为：构造的代价最小化模型为：

其中符号表示逐元素相乘，为视频帧的初始空间照度图，为视频帧的时间相似性照度图，为结构权重矩阵，为一阶导数运算；L_opt为待估计的最优照度图；

利用增广拉格朗日乘子法和交替方向最小化法求解该代价最小化模型，求得的解L_opt作为当前视频帧的最优照度图。

6.根据权利要求1所述的利用时空照度图的低照度彩色视频增强方法，其特征在于：利用校正后的照度图求取增强后的当前视频帧的方法为：对最优照度图L_opt做伽马校正其中γ为伽马校正参数；然后利用校正后的照度图求取增强后的视频帧其中为视频帧的初始空间照度图，S为视频帧中待增强的彩色视频帧。