CN114972061A

CN114972061A - 一种暗光视频去噪增强方法及系统

Info

Publication number: CN114972061A
Application number: CN202210352440.8A
Authority: CN
Inventors: 付莹; 梁瑛平
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2022-04-04
Filing date: 2022-04-04
Publication date: 2022-08-30

Abstract

本发明涉及一种暗光视频去噪增强方法及系统，属于计算机视觉技术领域。本发明利用时间空间的自相似性，并结合了基于3D窗口的自注意力机制。通过3D注意力来利用自然视频中的自相似性，同时采用U型网络设计。本发明结合了深层卷积，可以更好地利用视频中存在的冗余细节，特别是在连续帧之间。通过使用基于窗口的自注意力来处理长距离的依赖关系，使用深度卷积来处理局部性，网络在空间和时间上都结合了有效信息。本发明能够在不依靠任何额外设备的情况下，高效率地对高质量有噪声、无噪声视频数据对进行收集，视频场景能够包含日常生活中的几乎所有场景，尤其适用于低光照条件，能够保证在真实视频去噪时的有效性与稳定性。

Description

一种暗光视频去噪增强方法及系统

技术领域

本发明涉及一种暗光视频去噪增强方法及系统，具体涉及一种能够获取包含真实运动的高质量光视频去噪数据集的方法及系统，属于计算机视觉技术领域。

背景技术

暗光视频去噪技术，是指在低弱光条件下实现对视频场景信息的有效恢复，能够在亮度较低、包含明显噪声和伪影的情况下对真实场景信息进行捕获。

自从智能手机相机等迅速发展，随着在夜景中拍摄视频的需求不断增加，低光摄像已经变得非常重要。然而，由于光子数量少，噪声在低光环境下几乎是不可避免的。噪声降低了视频的质量。

为了解决这个问题，一些基于硬件的解决方案旨在收集更多的光子。例如，使用更大的光圈尺寸、打开闪光灯、拍摄长曝光的图像等。然而，智能手机的光圈大小是有限的，闪光灯只能照亮附近的物体，长曝光时间只适用于静态场景。这些限制削弱了其有效性。

相比之下，基于计算的去噪有其自身的优点，因为它对各种设备有更好的兼容性。它们的性能在很大程度上取决于原始噪声图像的信息量。例如，在输入数据方面，为了追求输入数据中的更多信息，研究人员直接在RAW域中进行去噪。RAW域的读数不会被非线性ISP破坏，所以它能严格反映场景的辐照度并记录原始的亮度值。出于这个原因，一些视频去噪数据集已经被提出。但是，这些数据集通常由有噪声、无噪声图像对组成，基于拍摄长/短曝光对或平均多个噪声图像作为基准值。由于物体可能会沿着时间维度移动，所以很难将这种方式与图像直接适应于视频。这两种技术都不能在动态场景中捕获高质量的基准值。

在低光照的动态场景中，很难收集真正的视频去噪数据集。出于这个原因，一些方法使用合成数据进行训练，但不准确的数据会损害最终的性能。此外，研究人员试图在简化的环境中捕捉配对的干净和低光的视频，可以分为仅包含静态场景的、使用人工创建的运动，或固定运动、使用一种共轴光学系统来进行拍摄，通过分光器创造两个空间对齐的场景用于拍摄有噪声、无噪声图像。通过添加ND滤镜，使其中一个干净的场景添加噪声，从而帮助网络进行学习与训练。

对于第一和第二种设置，手动创建运动或没有运动要比现实世界的情况简单得多。对于第三种设置，需要精确控制在共轴光学系统的像素水平上对准两帧，使得这个系统很难被装配。另外，光子被分光器减半，使得基准值包含的细节更少，这严重限制了数据集的质量。一般来说，这些数据集都是在退化的条件下收集的，在处理真实场景时，这可能会大大降低在这些数据集上训练的网络性能。目前还没有高质量的弱光下真实运动的原始视频去噪数据集。

除了数据集，视频去噪方法的有效性也是暗光视频恢复任务的重要部分。近几年，基于学习的端到端的视频去噪网络涌现了一些研究成果。对于图像去噪而言，目前已经有广泛的研究显示了编码器、解码器结构的有效性，得益于跳过连接的编码器-解码器架构。尽管图像去噪取得了惊人的成果，但视频去噪的一个主要问题是如何利用时间维度上的信息。为了在时间上对准多帧图像，现有方法普遍直接使用时序卷积，或使用光流、可变形卷积等技术手段来聚集时间特征。

对于视频去噪来说，空间以及时间信息是非常重要的。然而，现有的方法经常使用辅助模块进行排列，其中次优排列会损害其性能。另外，现有方法对多帧特征的融合可能没有充分地利用时间-空间维度的联合自相似性。在深度学习方法中，连续帧之间的自相似性还没有被仔细研究。

发明内容

本发明的目的是为了克服现有技术存在的缺陷，创造性地提出一种基于暗光视频去噪生成方法及系统。本发明能够在不需要特殊设备、具有较高效率的前提下，填补目前包含真实运动模式暗光视频去噪数据方法不足的空白。

本发明的创新点在于：构建一个大规模的包含真实运动的视频去噪数据集，用于在低光下动态场景的视频去噪。通过从互联网上收集高分辨率的视频，并以逐帧方式播放，然后使用显示器捕捉长短曝光对，由此可以从真实世界视频中获得运动和场景。在精心设计的拍摄条件下，可以通过精确的控制获得高质量的有噪声、无噪声图像数据对，其中包含具有真实运动和多种噪声等级的高质量数据库，弥补了视频去噪数据集的不足。由于不需要手动移动物体或摄像机，可以更有效地收集数据集。

本发明提出了一种新型的暗光视频去噪方法，利用时间空间的自相似性，并结合基于3D窗口的自注意力机制。为了更好地挖掘局部特征，本发明结合深度卷积网络，可以更好地利用视频中存在的冗余细节，特别是在连续帧之间。通过使用基于3D窗口的自注意力来处理长距离的依赖关系，使用深度卷积来处理局部性，网络在空间和时间上都结合了有效信息。

为达到以上目的，本发明采用以下技术方案实现。

一种暗光视频去噪增强方法，包括数据收集阶段和网络训练阶段。

步骤1：数据收集阶段，获取真实运动的暗光视频去噪数据集。

首先，收集包含真实运动特征的动态视频，并在显示器上对视频进行逐帧播放。

然后，使用拍摄设备(如摄像机)，通过长曝光、短曝光的方式分别对有噪声、无噪声的图像数据进行捕获，实现对整体数据集的采集。

步骤2：网络训练阶段。

首先，应用卷积和激活函数提取去噪数据集每一帧的特征；

然后，将多帧的特征进行叠加合并，构成整体视频共同的特征。

之后，依照多层级的方式对视频的空间分辨率进行下采样。同时，在每一层中，通过基于窗口的3D自注意力计算和前馈方式，对相应的时空自相似性进行计算，从而对输出特征进行重新加权。通过时序融合对多帧视频图像进行动态融合。

然后，根据输出图像与真实图像的差距，对视频去噪网络参数进行梯度反向传播，更新网络参数，完成网络的训练；

使用训练后的网络，生成最终的去噪视频。

为实现本发明所述目的，本发明提出了一种暗光视频去噪增强系统，包括数据收集子系统和网络训练子系统。

其中，数据收集子系统用于收集包含真实运动模式的视频数据，并将数据输入网络训练子系统。通过提供一对“有噪声+无噪声”的视频对，帮助网络学习去噪。

网络训练子系统，包括基于窗口的3D自注意力计算模块、前馈模块和时序融合模块。该子系统用于训练视频去噪网络，根据输出图像对视频去噪网络参数完成梯度反向传播，实现网络参数更新。

数据收集子系统的输出端与网络训练子系统的输入端相连。在网络训练子系统内，基于窗口的3D自注意力计算模块的输出端与前馈模块的输入端相连，模块的输出端与时序融合模块的输入端相连。

有益效果

本发明，与现有技术相比，具有以下优点：

1.对包含运动场景的视频进行收集，以逐帧的方式播放，然后用高端显示器捕捉长短曝光对，可以直接从真实世界视频中获得运动和场景。在精心考虑的拍摄条件下，可以通过精确的控制获得高质量的配对。其中包含具有真实运动和多种噪声水平的高质量帧，可以高效的对视频去噪数据集进行补充。

2.本发明采用了一种新型的暗光视频去噪增强方法，该方法利用了时间空间的自相似性，并结合了基于三维窗口的自注意力机制。为了更好地得到局部特征，本方法结合了深度卷积进行局部特征的提取。该网络可以更好地利用视频中存在的冗余细节，特别是在连续帧之间。通过三维注意力来利用自然视频中的自相似性，同时采用U型网络的设计。通过处理长距离的依赖关系，并使用深度卷积来处理局部性的依赖关系，从而在空间和时间上都结合有效信息。

3.本发明方法能够在不依靠任何额外设备的情况下，高效率地对高质量有噪声、无噪声视频数据对进行收集，并且视频的场景能够包含日常生活中的几乎所有场景，能够保证本发明在真实视频去噪时的有效性与稳定性。

4.本发明方法，检测质量高，适用于手机相机传感器、单反相机传感器、红外相机传感器等多种设备，适用于低光照条件下的深海探测、近地探测等多种应用领域。

附图说明

图1是本发明方法的流程图。

图2是本发明所述数据收集子系统得到结果的示意图。

图3是本发明系统使用与结果评估的示意图。

图4是本发明所述网络训练子系统的内部细节示意图。

具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实例对发明方法做进一步说明。

实施例

下面以基于RAW域的暗光视频去噪为例，对本发明进行具体说明。但本发明所述方法和系统，并不限于RAW域的暗光视频的去噪处理。

如图1所示，一种暗光视频去噪增强方法，包括以下步骤：

步骤1：获取真实运动RAW域暗光视频去噪数据集。

具体地，包括以下步骤：

步骤1.1：收集包含真实运动场景的视频，视频类型包含室内场景和室外场景。其中，场景类别要尽可能覆盖现实生活中的绝大多数物体，包括不同亮度、不同色彩的场景，目的是保证训练得到的算法对不同场景的鲁棒性。具体地，可以通过互联网收集各类符合要求的视频(因为互联网上的视频内容分布更为广泛)，优选4k级及以上的高清视频。

然后，在显示器上对视频进行逐帧播放。其中，显示器的分辨率与视频的分辨率一致。

步骤1.2：使用拍摄设备(如相机、摄像机等)，通过长曝光、短曝光的方式，分别对显示器中有噪声、无噪声的图像数据进行捕获，实现对整体数据集的采集。

具体地，在播放一帧视频后，使显示器保持静止状态，并按照不同比率的曝光时间来拍摄相应的有噪声数据和无噪声数据。当前帧视频图像拍摄完成后，播放至下一帧，重复拍摄操作，直到该视频的数据采集完毕。

优选地，为了在拍摄过程中显示器时不产生明显的摩尔纹，要合理摆放拍摄设备的位置，直到摩尔纹消失。显示器和拍摄设备之间的距离要足够远，确保每个显示器的像素都比拍摄设备的传感器像素小。并且，所有拍摄过程都需要在暗环境(比如暗房)中进行。

步骤2：利用步骤1得到的真实运动RAW域暗光视频去噪数据集，训练视频去噪网络。使用训练后的网络生成最终的去噪视频。

具体地，包括以下步骤：

步骤2.1：为了将视频图像中的像素嵌入为标记，首先应用卷积和激活函数提取去噪数据集中每一帧的特征。

步骤2.2：将特征进行堆叠合并，得到整个序列的三维标记，构成整体视频共同的特征。

步骤2.3：按照多层级方式，对视频的空间分辨率进行下采样。在每一层中，通过基于窗口的3D自注意力计算和前馈方式，计算相应的时空自相似性，从而对输出特征进行重新加权。

由于全局自注意力计算十分耗费计算量，再加上额外的时间维度，直接使用它进行视频去噪并不可行。此外，这种方式虽然具有较强的长距离建模能力，却忽略了局部特征，而局部特征对于恢复视频图像细节至关重要。为了以较少的计算量提出取局部特征，本发明通过基于窗口的3D自注意力计算方法和前馈方式，在前馈层中应用基于三维移位窗的多头自注意，以及深度卷积进行计算。通过这种方式，能够通过卷积有效提取出局部特征，同时利用长程建模能力充分利用内在的时空自相似性。

具体地，基于窗口的3D自注意力计算的方法，如下式所示：

其中，z代表在l层级得到的输出数据。z^l表示第l层基于3D窗口自注意力计算的输出，

表示第l层基于3D移动窗口自注意力计算的输出；3DW-MSA表示层基于3D窗口自注意力计算，3DSW-MSA表示基于3D移动窗口自注意力计算。FFN表示前馈，LN表示层归一化。

步骤2.4：通过时序融合，对多帧特征进行叠加合并。

当利用“空间-时间”自相似性之后，相邻帧的特征将被互相融合以恢复参考帧。然而，简单合并这些帧并不合适，因为真实视频中的复杂运动使每个相邻帧对中心参考帧的贡献不同。相邻帧的特征与参考帧之间的距离越近，则相邻帧能提供的恢复信息就越多。

因此，首先利用嵌入提取特征。然后，在一个嵌入空间中，计算每个相邻帧的特征和参考特征之间的相似性：

S(F_t+i,F_t)＝Sim(θ(F_t+i)^T,φ(F_t))

其中，S表示两个相邻帧之间的相似程度，F_t表示参考帧，F_t+i表示相邻帧，Sim表示相似性判断函数，θ和φ表示嵌入函数，T表示转置。

通过使用点积，对特征之间的相似性进行计算。当得到相似性矩阵后，对相应的特征重新进行加权：

其中，

表示重新加权后的特征。⊙表示逐元素乘法。

当完成加权后，将所有特征通过卷积进行重建。

步骤2.5：对网络参数进行更新迭代。

根据网络的输出图像，对视频去噪网络的参数完成梯度反向传播，并实现参数的更新。

具体地，可以利用相应的损失函数(如L1、L2损失函数等)监督网络的输出，帮助网络学习去噪模式。通过对比计算网络的输出损失值，并将该损失值回传至网络参数，用于训练。各神经网络层根据回传的损失值进行参数修改更新，完成一次训练迭代。

步骤2.6：重复步骤2.3至2.5。当网络输出图像的损失收敛后，完成网络训练。使用训练后的网络，生成最终的去噪视频。

本发明进一步提出了一种暗光视频去噪增强系统，包括数据收集子系统和网络训练子系统。

其中，数据收集子系统用于收集包含真实运动模式的RAW域视频数据，然后将数据输入网络训练子系统中，提供一对“有噪声、无噪声”的视频对，帮助网络学习去噪。在训练完成后，网络可以被应用于低光照RAW域动态视频的恢复任务中，并在各类运动、光照条件、场景下均具有良好的性能与鲁棒性。

网络训练子系统，包括基于窗口的3D自注意力计算模块、前馈模块和时序融合模块。

实施例对比验证

为说明本发明的效果，本实施例将在实验条件相同的情况下对多种方法进行对比。

表1对比其他暗光视频去噪方案

从表1的结果可以看出，本发明方法可以达到非常好的恢复效果，无论在仿真运动模式的RAW域视频恢复任务中，还是在本方法提出的包含真实运动RAW域视频恢复任务，本发明都能够在峰值信噪比(PSNR)和结构相似度(SSIM)两项指标上达到更好的效果。PSNR能够衡量原图像与被处理图像之间的均方误差，而SSIM指标能够衡量两幅图像相似度的指标，这两项指标均为视频去噪任务中广泛使用的模型评价指标。表1中的结果证明了本发明在多种数据集上对RAW域视频去噪任务的优越性，明显优于其他方法。

在本发明系统的数据收集子系统中，在互联网上含有运动场景的高清视频首先被收集。这些场景包括室内场景、室外场景和许多其他场景，以确保数据集包含的场景与真实拍摄的视频内容足够接近。将收集到的视频投射到显示器上，并确保显示器的分辨率与收集到的视频的分辨率一致。拍摄时，为了拍摄显示器不产生比较明显的摩尔纹，需要仔细定位摄像机，直到摩尔纹消失。此外，显示器和相机之间的距离需要设置得足够远，以确保每个显示器的像素都比相机传感器的像素小。所有的拍摄都是在暗室中进行的，照明条件得到严格控制。

在网络训练子系统中，噪声图像视频输入T帧的数量，并在RAW域中排列为拜尔模式像素。为了将图像中的像素嵌入，首先应用卷积和激活函数来提取每一帧的低层次特征。通过将这些特征堆叠在一起，可以得到整个序列的三维标记。接下里，所有数据将通过K个编码器层和合并层。每个编码器层包含M个3D窗口自注意力的计算模块。然后，根据U-net结构，使用卷积对特征图进行降维处理，并将维度提高一倍。出于对称性考虑，解码器分支还包括一个K-变换层。扩展层是通过转置卷积实现的。同时，由编码器生成的相应特征图被融合，以补充补丁合并层中被损失的高频信息。然后，解码器层的输出被投射回图像。最后，提取的多帧特征将被融合，以处理跨帧的错位问题。

数据收集子系统首先把被用于对包含真实运动模式的RAW域视频数据进行收集，然后将数据输入网络训练系统中，提供相应的有噪声、无噪声视频对帮助网络学习去噪方式。在训练完成后，网络可以被应用于低光照RAW域动态视频的恢复任务中，并在各类运动、光照条件、场景下均具有良好的性能与鲁棒性。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种暗光视频去噪增强方法，其特征在于，包括以下步骤：

步骤1：数据收集阶段，获取真实运动暗光视频去噪数据集；

首先，收集包含真实运动特征的动态视频，并在显示器上对视频进行逐帧播放；然后，使用拍摄设备对图像数据进行捕获，实现对整体数据集的采集；

步骤2：网络训练阶段，利用步骤1得到的真实运动暗光视频去噪数据集，训练视频去噪网络；使用训练后的网络生成去噪视频；

首先，应用卷积和激活函数提取去噪数据集每一帧的特征；

然后，将多帧的特征进行叠加合并，构成整体视频共同的特征；

之后，依照多层级的方式对视频的空间分辨率进行下采样；同时，在每一层中，通过基于窗口的3D自注意力计算和前馈方式，对相应的时空自相似性进行计算，从而对输出特征进行重新加权；通过时序融合对多帧视频图像进行动态融合；

使用训练后的网络，生成最终的去噪视频。

2.如权利要求1所述的一种暗光视频去噪增强方法，其特征在于，步骤1中，收集的视频场景类别要尽可能覆盖现实生活中的绝大多数物体，包括不同亮度、不同色彩的场景；然后，在显示器上对视频进行逐帧播放，显示器的分辨率与视频的分辨率一致；

对视频图像进行捕获时，在播放一帧视频后，使显示器保持静止状态，并按照不同比率的曝光时间来拍摄相应的有噪声数据和无噪声数据；当前帧视频图像拍摄完成后，播放至下一帧，重复拍摄操作，直到该视频的数据采集完毕；

在拍摄过程中，合理摆放拍摄设备的位置，直到摩尔纹消失；显示器和拍摄设备之间的距离要足够远，确保每个显示器的像素都比拍摄设备的传感器像素小；所有拍摄过程均在暗环境中进行。

3.如权利要求1所述的一种暗光视频去噪增强方法，其特征在于，步骤2中，基于窗口的3D自注意力计算的方法，如下式所示：

其中，z代表在l层级得到的输出数据；z^l表示第l层基于3D窗口自注意力计算的输出，

表示第l层基于3D移动窗口自注意力计算的输出；3DW-MSA表示层基于3D窗口自注意力计算，3DSW-MSA表示基于3D移动窗口自注意力计算；FFN表示前馈，LN表示层归一化。

4.如权利要求1所述的一种暗光视频去噪增强方法，其特征在于，步骤2中，通过时序融合对多帧特征进行叠加合并时，首先利用嵌入提取特征；然后，在一个嵌入空间中，计算每个相邻帧的特征和参考特征之间的相似性：

S(F_t+i,F_t)＝Sim(θ(F_t+i)^T,φ(F_t))

其中，S表示两个相邻帧之间的相似程度，F_t表示参考帧，F_t+i表示相邻帧，Sim表示相似性判断函数，θ和φ表示嵌入函数，T表示转置；

通过使用点积，对特征之间的相似性进行计算；当得到相似性矩阵后，对相应的特征重新进行加权：

其中，

表示重新加权后的特征；⊙表示逐元素乘法；当完成加权后，将所有特征通过卷积进行重建。

之后，利用相应的损失函数监督网络的输出，帮助网络学习去噪模式；通过对比计算网络的输出损失值，并将该损失值回传至网络参数，用于训练；各神经网络层根据回传的损失值进行参数修改更新。

5.一种暗光视频去噪增强系统，其特征在于，包括数据收集子系统和网络训练子系统；

其中，数据收集子系统用于收集包含真实运动模式的视频数据，并将数据输入网络训练子系统；通过提供一对“有噪声+无噪声”的视频对，帮助网络学习去噪；

网络训练子系统，包括基于窗口的3D自注意力计算模块、前馈模块和时序融合模块；该子系统用于训练视频去噪网络，根据输出图像对视频去噪网络参数完成梯度反向传播，实现网络参数更新；

数据收集子系统的输出端与网络训练子系统的输入端相连；在网络训练子系统内，基于窗口的3D自注意力计算模块的输出端与前馈模块的输入端相连，模块的输出端与时序融合模块的输入端相连。