CN115205731A - 一种视频降噪装置、方法及终端 - Google Patents

Abstract

本发明公开了一种视频降噪装置、方法及终端。所述装置包括噪声标定模块、训练数据生成模块和视频降噪模块，噪声标定模块用于标定真实条件下噪声的噪声模型；训练数据生成模块用于根据噪声模型生成噪声图像，噪声图像与无噪声的干净图像合成有噪声的视频图像，有噪声的视频图像与无噪声的干净图像构成视频对；视频降噪模块用于将当前帧图像、历史帧图像以及噪声标准差图输入到降噪网络模型中，降噪网络模型对当前帧进行降噪处理并输出去噪后的当前帧图像。本发明避免了人工采集同场景下有噪声图像和无噪声图像对的高昂时间成本和人力成本，且可表示不同区域的噪声大小，从而引导网络进行有差别的去噪。

Description

一种视频降噪装置、方法及终端

技术领域

本发明属于计算机视觉技术领域，具体涉及一种视频降噪装置、方法及终端。

背景技术

近年来，各种各样的拍摄设备被广泛应用于安防、教育、工业质检等领域。然而，在暗光条件下，拍摄到的视频往往信噪比低，噪声颗粒感强，这严重制约了拍摄设备在夜间的效果。

现有方法可分为传统的滤波算法和基于深度学习的算法。传统的滤波算法包含高斯滤波、中值滤波、双边滤波等，优点是所需计算资源少和容易部署。但这些算法在面对高强度的噪声时往往存在降噪不完全和细节丢失严重等问题；基于深度学习的算法的优点是去噪能去得更完全、细节也能保留的更多，但缺点是所需算力资源较多，而且目前的深度学习算法在训练时是采用合成数据的方法，往往使用简单的固定方差的高斯噪声，这与所拍摄到的视频的实际的噪声不同，这使得在合成数据上表现良好的模型面对真实数据时，效果要弱上许多。

因此，针对上述两种视频降噪算法存在的降噪不完全、细节丢失严重和所需算力资源较多等问题，需要发明一种新型的视频降噪方案，以克服现有视频降噪算法存在的不足。

发明内容

本发明的主要目的在于提供一种视频降噪装置、方法及终端，从而克服现有技术的不足。

为实现前述发明目的，本发明采用的技术方案包括：一种视频降噪装置，包括：

噪声标定模块，用于标定真实条件下噪声的噪声模型；

训练数据生成模块，与所述噪声标定模块相连，用于根据所述噪声模型生成噪声图像，所述噪声图像与无噪声的干净图像合成有噪声的视频图像，所述有噪声的视频图像与无噪声的干净图像构成视频对；

视频降噪模块，与所述训练数据生成模块相连，用于将所述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由所述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对所述当前帧进行降噪处理并输出去噪后的当前帧图像。

在一优选实施例中，所述噪声标定模块包括：

图片拍摄模块，用于对正常光照条件下的标定板拍摄至少一组图片；

均值和方差计算模块，用于将所述图片裁剪出多个色块，计算各个所述色块的均值和方差；

拟合关系曲线模块，用于拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。

在一优选实施例中，所述图片拍摄模块拍摄多组图片，所述均值和方差计算模块对应得到多组均值和方差，对所述多组均值和方差求平均值。

在一优选实施例中，所述训练数据生成模块包括：

视频解码模块，用于对无噪声的视频流进行解码，得到所述无噪声的干净图像；

视频图像合成模块，用于将所述均值和方差的关系曲线与所述无噪声的干净图像根据所述噪声模型合成所述有噪声的视频图像；

视频对构成模块，用于将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。

在一优选实施例中，所述均值和方差的关系曲线拟合为直线方程y＝kx+b，其中，直线方程的斜率k为泊松噪声的缩放系数，直线方程的坐标点b为高斯噪声的方差。

在一优选实施例中，所述视频降噪模块包括：

特征关联模块，用于将所述历史帧图像与当前帧图像进行空间对齐；

所述降噪网络模型，用于接收空间对齐后的所述历史帧图像、当前帧图像和所述噪声标准差图，并对所述当前帧图像进行降噪处理并输出去噪后的当前帧图像。

在一优选实施例中，所述去噪网络对RGB域的图像直接降噪或对RAW域的图像进行降噪。

另一方面，本发明实施例还提供了一种视频降噪方法，包括：

S1，标定真实条件下噪声的噪声模型；

S2，根据所述噪声模型生成噪声图像，所述噪声图像与无噪声的干净图像合成有噪声的视频图像，所述有噪声的视频图像与无噪声的干净图像构成视频对；

S3，将所述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由所述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对所述当前帧进行降噪处理并输出去噪后的当前帧图像。

在一优选实施例中，所述S1包括：

S11，对正常光照条件下的标定板拍摄至少一组图片；

S12，将所述图片裁剪出多个色块，计算各个所述色块的均值和方差；

S13，拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。

在一优选实施例中，所述S2包括：

S21，对无噪声的视频流进行解码，得到所述无噪声的干净图像；

S22，将所述均值和方差的关系曲线与所述无噪声的干净图像根据所述噪声模型合成所述有噪声的视频图像；

S23，将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。

在一优选实施例中，所述S3包括：

S31，将所述历史帧图像与当前帧图像进行空间对齐；

S32，接收空间对齐后的所述历史帧图像、当前帧图像和所述噪声标准差图，并对所述当前帧图像进行降噪处理并输出去噪后的当前帧图像。

又一方面，本发明实施例还提供了一种视频降噪终端，所述终端用于执行上述的视频降噪方法。

与现有技术相比较，本发明的有益效果至少在于：本发明通过固定图像的部分噪声参数后对噪声进行标定，得到噪声的方差数据，利用该数据能人工合成大量逼真的有噪声图像进行训练，避免人工采集同场景下有噪声图像和无噪声图像对的高昂时间成本和人力成本。同时将当前的标准差图作为额外输入送入网络，可表示不同区域的噪声大小，从而引导网络进行有差别的去噪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的视频降噪方法的流程示意图；

图2是本发明噪声标定模块的原理示意图；

图3是本发明训练数据生成模块的原理示意图；

图4是本发明视频降噪模块的原理示意图；

图5是本发明视频降噪装置的结构框图；

图6是本发明视频降噪终端的结构框图。

具体实施方式

通过应连同所附图式一起阅读的以下具体实施方式将更完整地理解本发明。本文中揭示本发明的详细实施例；然而，应理解，所揭示的实施例仅具本发明的示范性，本发明可以各种形式来体现。因此，本文中所揭示的特定功能细节不应解释为具有限制性，而是仅解释为权利要求书的基础且解释为用于教示所属领域的技术人员在事实上任何适当详细实施例中以不同方式采用本发明的代表性基础。

结合图1所示，本发明实施例所揭示的一种视频降噪方法，具体包括以下步骤：

S1，标定真实条件下噪声的噪声模型。

需要说明的是，图像的噪声分布存在一定规律，可通过标定得到图像的噪声模型，合成大量数据，进行针对性训练，提高模型的降噪能力。图像的噪声分布规律与曝光时间、增益系数、环境光、光圈大小等因素相关，通过固定部分参数(如环境光、光圈大小)后可对噪声进行标定，得到噪声的方差数据，利用该数据能人工合成大量逼真的有噪声图像进行训练，避免人工采集同场景下有噪声图像和无噪声图像对的高昂时间成本和人力成本。

如图2所示，具体地，实施时，首先需要固定拍摄相机的ISO(感光度)，建议在光学暗室下，控制合适的光照强度，尽可能使光的分布较为均匀，对标定板拍摄多组图片，本实施例中，标定板为24色卡，拍摄多组图片是为了减少随机性，使得标定出的噪声更贴近真实的分布水平。然后将多组图片导出至计算机，将每组图片均裁剪出24个色块，计算这些色块的不同颜色通道的均值和方差，并将多组结果(即得到的多个均值和方差)求平均值。如拍摄了两组图片，每组图片裁剪出24个色块，对每组图片的24个色块的不同颜色通道计算均值和方差，再将两组均值和方差求平均值，计算出的平均均值和平均方差作为最后色块的均值和方差。

最后以均值为自变量，方差为应变量，拟合上述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。这些均值和方差体现了视频亮度和噪声强度的关系。一般情况下，raw域的噪声为高斯、泊松联合分布，此时关系曲线可拟合为一个直线：y＝kx+b，其中，泊松噪声与亮度有关，是一种乘性噪声，直线的k为泊松噪声的缩放系数；高斯噪声与亮度无关，是一种加性噪声，y轴上坐标点b为高斯噪声的方差。

S2，根据上述噪声模型生成噪声图像，将上述噪声图像与无噪声的干净图像合成有噪声的视频图像，上述有噪声的视频图像与无噪声的干净图像构成视频对。

如图3所示，具体地，首先需要获取清晰干净的视频流，可以通过实拍的方式也可以通过互联网下载得到，然后将无噪声的视频流解码为无噪声的干净图像。之后基于上述构建的亮度和噪声强度的噪声模型，将上述均值和方差的关系曲线和无噪声的干净图像根据所述噪声模型逐元素相加，得到加噪后的有噪声的视频图像。最后将有噪声的视频图像按时序关系重新堆叠为一个噪声图像列表，加噪前的无噪声的干净图像也按时序关系重新堆叠为一个干净图像列表，噪声图像列表和干净图像列表构成列表对，保存起来便于后续神经网络进行大规模训练。

S3，将上述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由上述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对上述当前帧进行降噪处理并输出去噪后的当前帧图像。

如图4所示，具体地，首先根据当前帧图像(如表示为第t帧图像)和噪声模型生成噪声的噪声标准差图，该噪声标准差图与当前帧图像的大小相同，与当前帧图像沿着通道维串联起来，作为额外的引导信息。本发明将当前的噪声标准差图作为额外输入送入网络，可表示不同区域的噪声大小，从而引导网络进行有差别的去噪。

视频的连续帧之间往往存在相似区域，可通过仿射变换将区域对齐，进行信号增强，完成时序关联。具体地，对于视频序列中一般的图像帧，优选通过仿射变换的方式将前一帧的去噪后的历史帧图像(如表示为第t-1帧图像)与当前帧图像(即第t帧图像)进行空间对齐，而后沿着通道维串联起来。具体是通过计算前后帧图像(即历史帧图像和当前帧图像)的特征点对，根据特征点对的坐标计算仿射变换矩阵，根据仿射变换矩阵来对前一帧的历史帧图像的坐标进行变换得到与当前帧图像特征对齐的图像。对于序列的第一帧图像，由于没有前面的去噪结果作为辅助，采用一个全为0的图像与当前帧的历史帧图像沿通道维串联起来。之后将历史帧图像、当前帧图像和噪声标准差图输入到降噪网络模型中，并对上述当前帧图像进行降噪处理并输出去噪后的当前帧图像。

降噪网络模型既可以对RGB域的图像直接降噪，也可以对RAW域的图像进行降噪，对RGB域的图像进行降噪时，网络的输入通道数为9，输出通道数为3；对RAW域图像进行降噪时，网络的输入通道数为12，输出通道数为4。降噪网络模型是一个Unet结构的变体，本身是一个全卷积网络，其具体通过残差连接的方式将编码器的输出与解码的输入连接起来，通过跨步卷积的方式对特征图进行下采样，通过PixelShuffle(将特征维数据转置到空间维)来对特征图进行上采样。与Unet原版结构不同的地方在于，本网络下采样采用的是跨步卷积，上采样采用的是PixelShuffle，这能有效的减少网络生成结果的网格效应。

结合图5所示，本发明实施例所揭示的一种视频降噪装置，具体包括噪声标定模块、训练数据生成模块和视频降噪模块，其中，噪声标定模块用于标定真实条件下噪声的噪声模型。其具体包括图片拍摄模块、均值和方差计算模块和拟合关系曲线模块，其中，图片拍摄模块用于对正常光照条件下的标定板拍摄至少一组图片。均值和方差计算模块用于将所述图片裁剪出多个色块，计算各个所述色块的均值和方差。拟合关系曲线模块用于拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。

训练数据生成模块包括视频解码模块、视频图像合成模块和视频对构成模块，视频解码模块用于对无噪声的视频流进行解码，得到所述无噪声的干净图像；视频对构成模块用于将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。

视频降噪模块包括特征关联模块和降噪网络模型，特征关联模块用于将历史帧图像与当前帧图像进行空间对齐；降噪网络模型用于接收空间对齐后的历史帧图像、当前帧图像和噪声标准差图，并对当前帧图像进行降噪处理并输出去噪后的当前帧图像。

每个模块的具体原理可参照上述方法中的对应表述，这里不做赘述。

另一方面，如图6所示，本发明实施例所揭示的一种视频降噪终端，用于作为上述视频降噪方法的执行主体，具体地，本发明视频降噪方法的执行主体的可以为上述视频降噪终端中的一个或多个处理器。当然，本发明的视频降噪方法不限于其执行主体，且也可应用于任何格式的视频。

具体地，本实施例中，视频降噪终端包括视频获取单元、视频降噪单元、ISP(图像信号处理)处理单元和存储单元。其中，视频获取单元用于获取视频流信号，视频降噪单元用于执行上述视频降噪方法，ISP处理单元用于对降噪后的视频流进行ISP处理得到高质量的RGB视频数据，存储单元用于保存ISP处理后得到的高质量视频数据。

本发明通过固定图像的部分噪声参数后对噪声进行标定，得到噪声的方差数据，利用该数据能人工合成大量逼真的有噪声图像进行训练，避免人工采集同场景下有噪声图像和无噪声图像对的高昂时间成本和人力成本。同时将当前的标准差图作为额外输入送入网络，可表示不同区域的噪声大小，从而引导网络进行有差别的去噪。

本发明的各方面、实施例、特征及实例应视为在所有方面为说明性的且不打算限制本发明，本发明的范围仅由权利要求书界定。在不背离所主张的本发明的精神及范围的情况下，所属领域的技术人员将明了其它实施例、修改及使用。

在本发明案中标题及章节的使用不意味着限制本发明；每一章节可应用于本发明的任何方面、实施例或特征。

Claims (10)

1.一种视频降噪装置，其特征在于，所述装置包括：

噪声标定模块，用于标定真实条件下噪声的噪声模型；

训练数据生成模块，与所述噪声标定模块相连，用于根据所述噪声模型生成噪声图像，所述噪声图像与无噪声的干净图像合成有噪声的视频图像，所述有噪声的视频图像与无噪声的干净图像构成视频对；

视频降噪模块，与所述训练数据生成模块相连，用于将所述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由所述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对所述当前帧进行降噪处理并输出去噪后的当前帧图像。

2.根据权利要求1所述的一种视频降噪装置，其特征在于，所述噪声标定模块包括：

图片拍摄模块，用于对正常光照条件下的标定板拍摄至少一组图片；

均值和方差计算模块，用于将所述图片裁剪出多个色块，计算各个所述色块的均值和方差；

拟合关系曲线模块，用于拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。

3.根据权利要求2所述的一种视频降噪装置，其特征在于，所述训练数据生成模块包括：

视频解码模块，用于对无噪声的视频流进行解码，得到所述无噪声的干净图像；

视频图像合成模块，用于将所述均值和方差的关系曲线与所述无噪声的干净图像根据所述噪声模型合成所述有噪声的视频图像；

视频对构成模块，用于将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。

4.根据权利要求2所述的一种视频降噪装置，其特征在于，所述均值和方差的关系曲线拟合为直线方程y＝kx+b，其中，直线方程的斜率k为泊松噪声的缩放系数，直线方程的坐标点b为高斯噪声的方差。

5.根据权利要求2所述的一种视频降噪装置，其特征在于，所述视频降噪模块包括：

特征关联模块，用于将所述历史帧图像与当前帧图像进行空间对齐；

所述降噪网络模型，用于接收空间对齐后的所述历史帧图像、当前帧图像和所述噪声标准差图，并对所述当前帧图像进行降噪处理并输出去噪后的当前帧图像。

6.一种视频降噪方法，其特征在于，所述方法还包括：

S1，标定真实条件下噪声的噪声模型；

S2，根据所述噪声模型生成噪声图像，所述噪声图像与无噪声的干净图像合成有噪声的视频图像，所述有噪声的视频图像与无噪声的干净图像构成视频对；

S3，将所述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由所述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对所述当前帧进行降噪处理并输出去噪后的当前帧图像。

7.根据权利要求6所述的一种视频降噪方法，其特征在于：所述S1包括：

S11，对正常光照条件下的标定板拍摄至少一组图片；

S12，将所述图片裁剪出多个色块，计算各个所述色块的均值和方差；

S13，拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。

8.根据权利要求6所述的一种视频降噪方法，其特征在于：所述S2包括：

S21，对无噪声的视频流进行解码，得到所述无噪声的干净图像；

S22，将所述均值和方差的关系曲线与所述无噪声的干净图像根据所述噪声模型合成所述有噪声的视频图像；

S23，将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。

9.根据权利要求6所述的一种视频降噪方法，其特征在于：所述S3包括：

S31，将所述历史帧图像与当前帧图像进行空间对齐；

S32，接收空间对齐后的所述历史帧图像、当前帧图像和所述噪声标准差图，并对所述当前帧图像进行降噪处理并输出去噪后的当前帧图像。

10.一种视频降噪终端，其特征在于，所述视频降噪终端用于执行权利要求6～9任意一项所述的视频降噪方法。

Images