CN113191995B - 一种基于深度学习的视频图像自动曝光校正方法 - Google Patents

Abstract

本发明提供一种基于深度学习的视频图像自动曝光校正方法，涉及数字图像处理技术领域。本发明的方法设计了一个结合亮度注意力机制的卷积神经网络结构，构建了平滑损失和内容一致性损失，并通过自制的涵盖多种曝光尺度、不同地点及不同时间的训练集来无监督地训练，并参考GOP中划分关键帧的方式，用训练好的网络对低照度下的视频图像进行自动曝光校正，相比于传统技术，降低了时间成本，更适合应用于视频会话场景中。本发明在对不均匀曝光的视频图像上避免了过度校正，且在时间上与传统算法相比，本发明的用时较短，能够实时处理视频。

Description

一种基于深度学习的视频图像自动曝光校正方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于深度学习的视频图像自动曝光校正方法。

背景技术

如今互联网蓬勃发展，多媒体业务随之兴起，种类也更加丰富多样，吸引着大规模用户的使用，逐步影响着人们的生活。多媒体业务的种类繁多，如视频医疗、监控、教学等。同时多媒体业务也正在逐渐转向民用，主要以处理速度和处理效果为研究重点，期望在快速实时的同时保持画面质量。目前视频会话形式的市场份额比重逐年持续增长，其范围已经涉及到生活的各种领域，在人们交流沟通的过程中成为不可或缺的工具，也将是未来的主流趋势。随着近几年硬件设备和网络速度的不断提升，人们对视频会话的质量要求也越来越高。

然而在日常生活中，由于场景低光照、拍摄手法及设备配置问题，得到的视频会话图像很容易出现曝光不足、显示昏暗场景等问题，直接影响用户的主观感受，使得用户或计算机视觉任务无法很好地识别图像具体信息。光照影响视频质量主要有下面两种情况：在低光照条件下，获得的图像具有大量较暗区域，导致观测到的细节纹理不清晰，识别困难；在背光或闪光灯条件下，图像存在高亮和阴影区域，图像亮度呈现不均匀状态，影响用户体验。

视频会话需要考虑用户体验及后续的图像处理等问题，这些都是建立在高质量图像的基础上，因此在视频会话场景下，对含低照度视频图像的曝光校正需求非常迫切。其中对视频图像的曝光校正属于视频增强技术，视频增强技术是一种对视频颜色、噪声、光照度、细节等进行处理以提高视频体验的技术，也是图像的预处理阶段，旨在增强图像质量，根据需求恢复图像的重要信息，为后期的计算机视觉任务奠定坚实的基础。

目前针对视频图像曝光校正的研究相对较少，通常采用单帧处理的方式，但是传统方法计算量过大，并且主要针对离线视频难以达到实时。对视频会话场景下的曝光校正技术研究几乎处于空白阶段，因此为了有效的利用图像中的信息，解决拍摄过程中的一些问题，满足人们的主观感受以及计算机视觉设备的进一步分析应用，就必须对低照度条件下视频会话场景中的视频图像进行曝光校正。以深度学习为基础的方法是近年研究的新方向，基于神经网络的算法能够比传统方法在速度上有一定的提高，且避免了人工设置参数的复杂性，但是现有的网络存在网络结构较单一的问题，且适合视频会话业务的视频图像曝光校正技术研究较少，所以提高深度神经网络在视频图像曝光校正上面的性能是十分重要的。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的视频图像自动曝光校正方法，实现对低照度环境下降质视频图像的颜色、亮度以及细节恢复，并且在时间上能够满足实时性。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于深度学习的视频图像自动曝光校正方法，包括以下步骤：

步骤1、训练数据集准备；

使用自行拍摄的包含多种曝光尺度、不同地点及不同时间的图像来训练；所述多种曝光尺度包括欠曝光、正常曝光和过曝光；所述地点包括室内、室外、远景、近景、特写；所述时间包括早上、中午、下午和傍晚；并通过翻转以及旋转的方式来进行数据增强；

步骤2、设计网络结构；

网络模型的体系结构将待曝光校正的单帧视频图像I及其HSV颜色空间下提取的亮度注意力图I_att合并为四通道的矩阵作为输入来训练低照度视频图像曝光校正网络，其中第一个卷积层和两个下采样层的输出特征图与尺寸匹配的亮度注意力图I_att逐像素相乘后分别与最后一个卷积层、两个上采样层进行concat级联或逐像素相加，最终生成曲线特征图；

其中亮度注意力图I_att的计算方式为：

I_att＝(1-I^V)θ (1)

式(1)中，I表示输入的视频图像；I^V表示输入I在HSV颜色空间下亮度分量V的像素值；参数θ≥1，用于控制亮度注意力图的曲率；式(2)中，Maxpooling()为最大池化操作，对I_att进行重塑尺寸操作得到

步骤3、训练网络；

以无监督的方式使用步骤1的数据集对步骤2中的网络进行训练，构建平滑损失L_smooth和内容一致性损失L_content，输入数据反复迭代直到训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型，即低照度视频图像曝光校正网络；

设置网络训练的平滑损失函数为：

其中，N为迭代次数，表示一阶导数算子，/>表示曲线特征图的梯度，‖·‖₂表示L2范数，Norm()表示归一化操作；

设置网络训练的内容一致性损失函数为：

其中，表示一个在ImageNet数据集下预训练的VGG模型提取到的特征，I为输入的视频图像，I′为输出图像，W和H分别表示特征图的宽和高；

步骤4、测试；

在摄像头实时获取待曝光校正的低照度视频，通过对所述低照度视频进行解码、分帧处理，得到所述低照度视频对应的连续图像序列；将获取到的连续图像序列以GOP的形式划分，其中第一帧定义为关键帧，标记为I帧，一个GOP内的其他帧标记为P帧，将每个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，保存生成的曲线特征图，除了应用在I帧自身上，还将其直接应用在每个GOP内的P帧，依次得到连续的曝光校正后的视频帧，其中一个GOP长度设定为2秒；下一个GOP时重复该步骤；

步骤5、将得到的连续曝光校正后的视频帧合成视频输出。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于深度学习的视频图像自动曝光校正方法，设计了一个结合亮度注意力机制的卷积神经网络结构，构建了平滑损失和内容一致性损失，并通过自制的涵盖多种曝光尺度、不同地点及不同时间的训练集来无监督地训练，并参考GOP中划分关键帧的方式，用训练好的网络对低照度下的视频图像进行自动曝光校正，相比于传统技术，降低了时间成本，更适合应用于视频会话场景中。本发明在对不均匀曝光的视频图像上避免了过度校正，且在时间上与传统算法相比，本发明的用时较短，能够实时处理视频。

附图说明

图1为本发明实施例提供的基于深度学习的视频图像自动曝光校正方法网络流程图；

图2为本发明实施例提供的亮度注意力图；其中，(a)为原始输入在HSV颜色空间下的V通道灰度图；(b)为计算得到的亮度注意力图；

图3为本发明实施例提供的曝光校正效果图；其中，(a)为原始输入的低照度视频单帧图像；(b)为曝光校正后的结果；

图4为本发明实施例提供的本发明方法的单帧处理时间截图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例的基于深度学习的视频图像自动曝光校正方法如下所述。

步骤1、训练数据准备：使用自行拍摄的包含多种曝光尺度、不同地点及不同时间的图像来训练；所述多种曝光尺度包括欠曝光、正常曝光和过曝光；所述地点包括室内、室外、远景、近景、特写；所述时间包括早上、中午、下午和傍晚；最终获得的训练集包含的图像数量为8023张，所有图像的大小均为512*512；

为了有效地模拟真实世界的变形，防止过拟合，让网络学习到光照分布的更多可能，通过随机剪辑、翻转以及旋转(0°、90°、180°、270°)的方式来进行数据增强，最终得到的数据集图像数量达到了18000张，其中大致按照7：2：1的比例将数据集分为训练集、测试集和验证集。

步骤2、设计网络结构。

本实施例所提出的网络模型的体系结构将待曝光校正的单帧视频图像I及其HSV颜色空间下亮度注意力图I_att合并为四通道的矩阵作为输入来训练低照度视频图像曝光校正网络，使用亮度注意力图可以让网络更多地关注原本欠曝光的区域，避免对原本正常曝光的区域过度校正；设计的低照度视频图像曝光校正网络由encoder-decoder结构组成，首先进行一次卷积操作，然后进行两次下采样，其中下采样层由卷积层、Relu层和2×2的最大池化层组成。两次下采样后再进行一次卷积，之后进行两次上采样，上采样层由卷积层、ReLU和2×2的反卷积组成，其中第二个下采样模块的输出特征图与重塑尺寸的注意力图I_att进行逐像素相乘后再与相邻卷积模块的输出进行逐像素相加(add)作为第一个上采样模块的输入。在进行第二次上采样操作前，同样将第一次下采样模块的输出与注意力图I_att点乘，但不再使用点加操作，而是与上采样的输出特征图进行concat连接后作为上采样模块的输入。将第一个卷积层的输出特征图与注意力图I_att点乘后与第二次上采样模块的输出特征图进行concat连接作为输入，进行最后一次卷积，之后接Tanh激活函数，生成18个曲线参数特征图，利用高阶曲线将生成的曲线特征图与输入待曝光校正的单帧视频图像结合，不断迭代，继而生成曝光校正后的单帧视频图像.

(2a)关于步骤2中所述的亮度注意力图I_att：在解决低照度图像中曝光不均匀的问题时，之前的许多图像曝光校正算法，一般采取对图像整体进行增强的方式，却忽略了图像中各区域亮度不一致的情况，导致原本正常曝光的区域过曝光，低曝光的区域相对欠曝光。由此，本实施例利用一个亮度注意力机制，亮度注意力机制具体的使用方法：将输入的RGB图像I转化为HSV颜色空间，提取亮度分量V的值I^V，计算(1-I^V)^θ，得到I_att再与输入单帧视频图像I进行concat操作，再用多级最大池化运算获得调整尺寸后的注意力图，与网络中若干层的特征图进行逐像素相乘，具体计算过程如下：

I_att＝(1-I^V)^θ (1)

式(1)中，I表示输入的视频图像，I^V表示输入I在HSV颜色空间下亮度分量V的像素值，参数θ≥1，可以控制亮度注意力图的曲率，经过多次实现设置θ＝2。式(2)中，Maxpooling为最大池化操作，用来修改注意力图I_att的尺寸，至此生成4通道的矩阵后被送入低照度视频图像曝光校正网络来训练。

计算亮度注意力图I_att的动机其实是一种自正则化的思想，旨在让网络更加关注输入图像中没有充分曝光的区域，避免对曝光相对好一些的区域过度校正。如图2所示，可以看到图2(a)中，光照越强的地方如天空，在图2(b)中越暗。需要注意的是，这里使用的亮度注意力图完全是由输入图像本身的特征得来的，而并不属于配对训练的有监督学习。这样一来，曝光充足的区域被赋予了较低的权重，欠曝光的区域被赋予了较高的权重，旨在引导曲线避免过度校正。

(2b)关于步骤2中所述的高阶曲线：

输入的低照度图像可以用一种曲线映射成一个曝光校正后的图像，高阶曲线形式如下：

f(I(x)；α)＝I(x)+αI(x)(1-I(x)) (3)

其中x为像素坐标，f(I(x)；α)为输入待曝光校正的单帧视频图像I的校正结果，α∈[-1,1]是要训练学习的参数，可以修改曲线曲率的同时控制曝光。此外，每个像素都被归一化在[0,1]范围内。将式(3)的二阶曲线不断迭代，且每次迭代应用不同的曲线参数，得到式(4)的高阶曲线f_n(x)：

fn(x)＝f_n-1(x)+α_n(x)f_n-1(x)(1-f_n-1(x)) (4)

其中n表示迭代次数，控制着曲率。这一操作的原理类似于递归调用，上一次计算的输出作为本次的输入，通过对输入图像不断进行这样的迭代，可以增大曲率，使曲线的动态范围调整能力更灵活。将式(4)的α修正为像素级参数图A_n，A_n的尺寸(H×W)与输入待曝光校正的单帧视频图像I的尺寸一致，如式(5)所示。这样对于输入待曝光校正的单帧视频图像I的每一个像素来说都有其对应的最佳拟合下的曲线参数α来调整像素的动态范围。

fn(x)＝f_n-1(x)+A_n(x)f_n-1x(x)(1-f_n-1(x)) (5)

生成的18个特征图被用来作为参与6次迭代(n＝6)的曲线特征图A_n，其中每次迭代需要为三个通道(RGB)提供3个曲线特征图，所以是3×6＝18，其中迭代次数选择n＝6，这个值是多次实验观察得出的相对最佳情况。

步骤3、训练：随机初始化各层的连接权值W和偏置b，BatchSize＝U，给定学习率为η，使用Adam优化器来对网络参数进行优化，相关参数设定为β₁＝0.9，β₂＝0.999，ε＝10^-8，以无监督的方式训练，构建平滑损失L_smooth和内容一致性损失L_content，输入数据反复迭代直到训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型。

(3a)关于步骤3中所述的平滑损失L_smooth和内容一致性损失L_content。在一种基于深度学习的视频图像自动曝光校正方法采用无监督的训练方式，即不需要配对数据集。

考虑到光照平滑的先验知识是指光照是缓慢变化的，但实际情况下图像中会存在亮度差异比较大的区域，即光照不平滑的区域，在区域的边界处进行增强后容易产生光晕现象。因此为了避免这类问题，设定平滑损失函数L_smooth为：

其中,N为迭代次数，表示一阶导数算子，/>表示曲线特征图的梯度，||·||₂表示L2范数，Norm()表示归一化操作。

通过缩小校正后图像经过VGG模型提取得到的特征图与标签图像经过提取得到的特征图之间的差异，可以使得校正后图像与标签图像在高维感知层更加相似。由于输入到输出图像之间亮度的改变对VGG模型提取到的特征距离的影响并不会很大，因此可以设定一个约束来保持输入的低照度图像与输出校正后图像的内容一致性。内容一致性损失函数L_content为：

其中,表示一个在ImageNet数据集下预训练的VGG模型提取到的特征，I为输入图像，I′为输出图像，W和H分别表示特征图的宽和高。

步骤5、测试：在摄像头实时获取待曝光校正的低照度视频，其中拍摄视频的场景并未出现在训练集当中，通过对所述低照度视频进行解码、分帧处理，得到所述低照度视频对应的连续图像序列。对于视频会话业务来说，相邻帧之间的光照强度往往十分相似，短时间内光照情况并不会有巨大的改变，因此相邻帧对应的曲线参数其调整趋势也十分相似。将获取到的连续图像序列以GOP的形式划分，其中第一帧定义为关键帧，标记为I帧，一个GOP内的其他帧标记为P帧，将每个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，保存生成的18张曲线特征图，除了应用在I帧自身上，还将其直接应用在每个GOP内的P帧，依次得到连续的曝光校正后的视频帧，其中一个GOP长度设定为2秒。

步骤6、将得到的连续曝光校正后的视频帧合成视频输出。

本实施例对视频图像的曝光校正效果如图3所示，可以看到图3(a)中原始的输入视频图像曝光度低，画面昏暗，大量细节不可见，图3(b)为曝光校正后的结果，在亮度和对比度上都有很好的视觉效果，方法的单帧处理时间如图4所示，实时帧率最高可达到23.4FPS，可见本发明的提出很好地实现了对视频图像的曝光校正，并且具有较小的计算复杂度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (3)

1.一种基于深度学习的视频图像自动曝光校正方法，其特征在于：包括以下步骤：

步骤1、训练数据集准备；使用自行拍摄的包含多种曝光尺度、不同地点及不同时间的图像来训练；

步骤2、设计网络结构；

将待曝光校正的单帧视频图像I及其HSV颜色空间下提取的亮度注意力图I_att合并为四通道的矩阵作为输入来训练低照度视频图像曝光校正网络，其中第一个卷积层和两个下采样层的输出特征图与尺寸匹配的亮度注意力图I_att逐像素相乘后分别与最后一个卷积层、两个上采样层进行concat级联或逐像素相加，最终生成曲线特征图；

其中，亮度注意力图I_att的计算方式为：

I_att＝(1-I^V)^θ (1)

式(1)中，I表示输入的视频图像；I^V表示输入I在HSV颜色空间下亮度分量V的像素值；参数θ≥1，用于控制亮度注意力图的曲率；式(2)中，Maxpooling()为最大池化操作，对I_att进行重塑尺寸操作得到

步骤3、训练网络；

以无监督的方式使用步骤1的数据集对步骤2中的网络进行训练，构建平滑损失L_smooth和内容一致性损失L_content，输入数据反复迭代直到训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型，即低照度视频图像曝光校正网络；

其中，设置网络训练的平滑损失函数为：

其中，N为迭代次数，表示一阶导数算子，/>表示曲线特征图的梯度，||·||₂表示L2范数，Norm()表示归一化操作；

设置网络训练的内容一致性损失函数为：

其中，表示一个在ImageNet数据集下预训练的VGG模型提取到的特征，I为输入的视频图像，I′为输出图像，W和H分别表示特征图的宽和高；

步骤4、测试；

在摄像头实时获取待曝光校正的低照度视频之后，不将所有帧都送入所述低照度视频图像曝光校正网络，仅将一个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，并保存生成的曲线特征图，其余P帧直接使用I帧的曲线特征图进行曝光校正，下一个GOP时重复该步骤；

步骤5、将得到的连续曝光校正后的视频帧合成视频输出。

2.根据权利要求1所述的基于深度学习的视频图像自动曝光校正方法，其特征在于：所述步骤1中多种曝光尺度包括欠曝光、正常曝光和过曝光；所述地点包括室内、室外、远景、近景、特写；所述时间包括早上、中午、下午和傍晚；并通过翻转以及旋转的方式来进行数据增强。

3.根据权利要求2所述的基于深度学习的视频图像自动曝光校正方法，其特征在于：所述步骤4的具体实现方式为：

在摄像头实时获取待曝光校正的低照度视频之后，将获取到的连续图像序列以GOP的形式划分，其中第一帧定义为关键帧，标记为I帧，一个GOP内的其他帧标记为P帧，将每个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，保存生成的曲线特征图，除了应用在I帧自身上，还将其直接应用在每个GOP内的P帧，依次得到连续的曝光校正后的视频帧，其中一个GOP长度设定为2秒。