CN113014745A

CN113014745A - 视频图像降噪方法及装置、存储介质及电子设备

Info

Publication number: CN113014745A
Application number: CN202110219844.5A
Authority: CN
Inventors: 王猛; 阮良; 陈功
Original assignee: Hangzhou Langhe Technology Co Ltd
Current assignee: Hangzhou Netease Zhiqi Technology Co Ltd
Priority date: 2021-02-26
Filing date: 2021-02-26
Publication date: 2021-06-22
Anticipated expiration: 2041-02-26
Also published as: CN113014745B

Abstract

本发明的实施方式提供了一种视频图像降噪方法、视频图像降噪装置、计算机可读存储介质及电子设备，涉及图像处理技术领域。该视频图像降噪方法包括：获取视频图像；遍历所述视频图像中的各个像素点，对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，以实现对所述视频图像的降噪。本公开对于视频图像中的各像素点，通过对各像素点及其相邻接的像素点进行加权运算对当前像素点进行更新，从而可以在实现图像降噪的同时降低时耗，进而可以满足实时通信的需求。

Description

视频图像降噪方法及装置、存储介质及电子设备

技术领域

本发明的实施方式涉及图像处理技术领域，更具体地，涉及一种视频图像降噪方法、视频图像降噪装置、计算机可读存储介质及电子设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

视频从采集到播放的整个生命周期中会经过多次处理，如采集、剪辑、编码、传输及显示等，每次处理过程都会引入失真，噪声即为在信号采集过程中引入的一种普遍失真。

在通信过程中，噪声不仅会破坏图像的显示效果，还会在视频压缩时浪费码率在编码噪声上，此外，噪声的存在还会对视频编码中的运动准确性、熵编码速度等带来不良影响。因此，视频降噪是改善通信效果必不可少的技术手段。

视频降噪技术用于对发送端编码前的视频帧进行降噪。相关技术主要通过图像滤波技术或时域信息与空域或变化域相结合的方式进行视频降噪处理。然而，上述方法虽然可以在一定程度上达到降噪的效果，但也存在影响画面质量、耗时长，无法适应实时通信场景等问题。

发明内容

本公开的目的在于提供一种视频图像降噪方法及装置、计算机可读存储介质和电子设备，从而至少在一定程度上克服由于相关技术的缺陷和限制而导致的视频降噪处理影响画面质量、耗时长，无法适应实时通信场景等问题。

根据本公开的第一方面，提供了一种视频图像降噪方法，包括：

获取视频图像；

遍历所述视频图像中的各个像素点，对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，以实现对所述视频图像的降噪。

在本公开的一种示例性实施例中，所述遍历所述视频图像中的各个像素点，对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，包括：

基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组；

遍历所述视频图像中的各个像素点，基于所述降噪权重及所述降噪权重数组对各所述像素点以及与各所述像素点相邻接的像素点做加权运算。

在本公开的一种示例性实施例中，所述基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组，包括：

基于所述第一预设权重值确定第一指数，并利用所述第一指数对自然对数的底数做指数运算，得到所述降噪权重；

计算所述视频图像中每两个所述像素点之间的像素差值，基于所述第二预设权重值与各所述像素差值确定多个第二指数，利用各所述第二指数对自然对数的底数做指数运算，并与所述降噪权重相乘，得到所述降噪权重数组。

在本公开的一种示例性实施例中，所述遍历所述视频图像中的各个像素点，基于所述降噪权重及所述降噪权重数组对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，包括：

以行方向遍历所述视频图像，基于所述降噪权重及所述降噪权重数组对各所述像素点以及在行方向上与各所述像素点相邻接的像素点做加权运算。

以列方向遍历所述视频图像，基于所述降噪权重及所述降噪权重数组对各所述像素点以及在列方向上与各所述像素点相邻接的像素点做加权运算。

在本公开的一种示例性实施例中，所述以行方向遍历所述视频图像，基于所述降噪权重及所述降噪权重数组对各所述像素点以及在行方向上与各所述像素点相邻接的像素点做加权运算，包括：

遍历所述视频图像的各个所述像素点，基于所述降噪权重及所述降噪权重数组，以当前像素点的左侧或右侧像素点的像素值作为加权，对所述当前像素点进行像素值更新计算，并以计算得到的像素值更新所述当前像素点的像素值。

在本公开的一种示例性实施例中，所述以列方向遍历所述视频图像，基于所述降噪权重及所述降噪权重数组对各所述像素点以及在列方向上与各所述像素点相邻接的像素点做加权运算，包括：

遍历所述视频图像的各个所述像素点，基于所述降噪权重及所述降噪权重数组，以当前像素点的上方或下方像素点的像素值作为加权，对所述当前像素点进行像素值更新计算，并以计算得到的像素值更新所述当前像素点的像素值。

在本公开的一种示例性实施例中，在所述获取视频图像之后，所述方法还包括：

基于所述视频图像的各个像素点以及预设像素亮度阈值确定所述视频图像的亮度值，以实现在所述视频图像的亮度值小于预设图像亮度阈值时，对所述视频图像进行降噪处理。

在本公开的一种示例性实施例中，所述基于所述视频图像的各个像素点以及预设像素亮度阈值确定所述视频图像的亮度值，包括：

基于各个所述像素点及所述预设像素亮度阈值计算所述视频图像的平均亮度值；

确定像素值小于所述预设像素亮度阈值的所述像素点占所述视频图像全部所述像素点的比例，并基于所述比例及所述平均亮度值确定所述视频图像的所述亮度值。

在本公开的一种示例性实施例中，所述基于各个所述像素点及所述图像亮度均值计算所述视频图像的平均亮度值，包括：

计算各所述像素点的像素值与所述预设像素亮度阈值的差值；

对各所述差值求和，并对求和得到的值及所述视频图像的面积做除法运算，得到所述平均亮度值。

在本公开的一种示例性实施例中，所述确定像素值小于所述预设像素亮度阈值的所述像素点占所述视频图像全部所述像素点的比例，并基于所述比例及所述平均亮度值确定所述视频图像的所述亮度值，包括：

确定所述视频图像的直方图，并通过所述直方图确定所述像素值小于所述预设像素亮度阈值的所述像素点占所述视频图像全部所述像素点的比例；

以所述比例及所述平均亮度值进行加权运算，得到所述视频图像的所述亮度值。

在本公开的一种示例性实施例中，在所述遍历所述视频图像中的各个像素点，对各所述像素点以及与各所述像素点相邻接的像素点做加权运算之前，所述方法还包括：

获取所述视频图像的高频信息，以用于将所述高频信息加权至降噪后的所述视频图像中。

在本公开的一种示例性实施例中，所述获取所述视频图像的高频信息，包括：

对所述视频图像进行高斯滤波，并利用所述视频图像的原始图像减去经高斯滤波后的图像，得到所述视频图像的高频信息。

对所述视频图像进行梯度运算，并依据得到的梯度值确定所述视频图像各区域的降噪强度。

在本公开的一种示例性实施例中，所述方法还包括：

当降噪时长超过预设时长时，降低待降噪的视频图像的分辨率。

在本公开的一种示例性实施例中，所述视频图像降噪方法在所述视频图像的Y通道进行。

根据本公开的第二方面，提供了一种视频图像降噪装置，包括：

图像获取模块，用于获取视频图像；

图像降噪模块，用于遍历所述视频图像中的各个像素点，对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，以实现对所述视频图像的降噪。

在本公开的一种示例性实施例中，所述图像降噪模块包括权重确定单元及图像降噪单元，其中：

所述权重确定单元，用于基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组；

所述图像降噪单元，用于遍历所述视频图像中的各个像素点，基于所述降噪权重及所述降噪权重数组对各所述像素点以及与各所述像素点相邻接的像素点做加权运算。

在本公开的一种示例性实施例中，所述权重确定单元通过执行如下方法实现所述基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组：

在本公开的一种示例性实施例中，所述图像降噪单元通过执行如下方法实现所述遍历所述视频图像中的各个像素点，基于所述降噪权重及所述降噪权重数组对各所述像素点以及与各所述像素点相邻接的像素点做加权运算：

在本公开的一种示例性实施例中，所述装置还包括亮度检测模块；

所述亮度检测模块用于基于所述视频图像的各个像素点以及预设像素亮度阈值确定所述视频图像的亮度值，以实现在所述视频图像的亮度值小于预设图像亮度阈值时，对所述视频图像进行降噪处理。

在本公开的一种示例性实施例中，所述基于所述视频图像的各个像素点、预选取的图像亮度均值以及预设像素亮度阈值确定所述视频图像的亮度值，包括：

在本公开的一种示例性实施例中，所述装置还包括高频信息获取模块；

所述高频信息获取模块用于获取所述视频图像的高频信息，以用于将所述高频信息加权至降噪后的所述视频图像中。

在本公开的一种示例性实施例中，所述装置还包括梯度运算模块；

所述梯度运算模块用于对所述视频图像进行梯度运算，并依据得到的梯度值确定所述视频图像各区域的降噪强度。

在本公开的一种示例性实施例中，所述装置还包括图像压缩模块：

所述图像压缩模块用于当降噪时长超过预设时长时，降低待降噪的视频图像的分辨率。

在本公开的一种示例性实施例中，所述视频图像降噪装置所执行的方法在所述视频图像的Y通道进行。

根据本公开的第三方面，提供一种存储介质，其上存储有程序，该程序被处理器执行时实现如以上各技术方案中的方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器和存储器，所述存储器存储有可执行指令，所述处理器用于调用所述存储器存储的可执行指令执行如以上各技术方案中的方法。

根据上述视频图像降噪方法、视频图像降噪装置、存储介质与电子设备，获取视频图像；遍历视频图像中的各个像素点，对各像素点以及与各像素点相邻接的像素点做加权运算，以实现对视频图像的降噪。一方面，通过对视频图像中的各个像素点以及与各像素点相邻接的像素点做加权运算，对各像素点的像素值更新，从而可以实现对视频图像的降噪。另一方面，本示例实施方式所提供的视频图像降噪方法由于采用加权运算的方式进行降噪，减少了降噪耗时，可以满足实时通信的降噪需求。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示出了应用本公开示例性实施方式的系统架构示意图；

图2示出了本公开实施例的视频图像降噪方法的流程图；

图3示出了本公开实施例的视频图像降噪方法的对各像素点以及与各像素点相邻接的像素点做加权运算的流程图；

图4示出了本公开实施例的视频图像降噪方法的对降噪耗时进行监测的流程图；

图5示出了本公开实施例的视频图像降噪方法的一种具体应用场景的流程图；

图6示出了本公开实施例的视频图像降噪方法的视频图像的直方图；

图7示出了本公开实施例的视频图像降噪方法的从左至右遍历视频图像中的各像素点的示意图；

图8示出了本公开实施例的视频图像降噪方法的从右至左遍历视频图像中的各像素点的示意图；

图9示出了本公开实施例的视频图像降噪方法的行方向上对于某一像素点降噪的左右两个像素点的示意图；

图10示出了本公开实施例的视频图像降噪方法的从下至上遍历视频图像中的各像素点的示意图；

图11示出了本公开实施例的视频图像降噪方法的从上至下遍历视频图像中的各像素点的示意图；

图12示出了本公开实施例的视频图像降噪方法的用于更新像素点V_5的像素值的3*3的核的示意图；

图13示出了本公开实施例中的视频图像降噪装置的一种结构示意图；

图14示出了本公开实施例中电子设备的一种结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

本公开中涉及的技术术语解释如下：

实时通信：实时通信场景即发送端与接收端能够达到视频画面的实时传输，常见的应用像视频直播，网络会议等。

视频降噪技术：即对实时通信场景中发送端编码前的视频帧进行降噪，滤除视频帧中的噪声，增大编码传输的效率。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

发明概述

在本公开的相关技术中，主要通过图像滤波技术或时域信息与空域或变化域相结合的方式进行视频降噪处理实现。

然而，上述通过图像滤波技术进行视频降噪的方法存在如下问题：(1)会造成图像的细节丢失，影响画面质量；(2)耗时较大，无法适应实时通信场景的需求。上述时域信息与空域或变化域相结合的方式在一定程度上可以改善降噪效果，但也存在耗时过高的问题。

为了解决相关技术中的上述问题，本公开提出了一种视频图像降噪方法，获取视频图像；遍历视频图像中的各个像素点，对各像素点以及与各像素点相邻接的像素点做加权运算，以实现对视频图像的降噪。

在本公开示例实施方式所提供的视频图像降噪方法中，一方面，通过对视频图像中的各个像素点以及与各像素点相邻接的像素点做加权运算，对各像素点的像素值更新，从而可以实现对视频图像的降噪。另一方面，本示例实施方式所提供的视频图像降噪方法由于采用加权运算的方式进行降噪，减少了降噪耗时，可以满足实时通信的降噪需求。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

需要注意的是，下述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。

图1示出了应用本公开示例性实施方式的系统架构示意图。如图1所示，系统架构100可以包括客户端101、102和103，网络104和服务端105。客户端101、102和103可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种终端设备。服务端105可以包括网络服务器、应用服务器、数据库服务器等各种服务器设备，服务端105可以为客户端101、102和103提供网络资源和数据服务。网络104可以是能够在客户端101、102、103和服务端105之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路、无线通信链路或者光纤电缆等等。

根据实现需要，应用本公开示例性实施方式的系统架构可以具有任意数目的客户端、网络和服务端。例如，服务端105可以是由多个服务器设备组成的服务器群组。本公开示例性实施方式提供的视频图像降噪方法可以应用于客户端101、102、103，也可以应用于服务端105，还可以由客户端101、102、103及服务端105共同执行，本公开对此不做特殊限定。

例如，在本公开示例实施方式中，服务端105可以通过客户端101、102、103获取视频图像，并遍历所获取的视频图像中的各个像素点，对各像素点以及与各像素点相邻接的像素点做加权运算，以实现对视频图像的降噪。

示例性方法

下面结合图2至图12来描述根据本公开示例性实施方式的视频图像降噪方法。

图2示意性地示出了本公开一些示例性实施方式中的视频图像降噪方法的步骤流程。如图2所示，该视频图像降噪方法主要可以包括以下步骤：

步骤S210：获取视频图像；

步骤S220：遍历视频图像中的各个像素点，对各像素点以及与各像素点相邻接的像素点做加权运算，以实现对视频图像的降噪。

在步骤S210中，获取视频图像。

在本示例实施方式中，视频为一系列连续的静态图像的序列，上述视频图像即为构成视频的各静态图像。举例而言，上述视频图像可以为直播、网络会议等实时通信场景中的视频图像帧，也可以为符合定义的其他形式，本示例实施方式对此不做特殊限定。

此外，上述视频图像可以为YUV图像，YUV图像是基于色彩编码得到的图像。其中，“Y”“U”以及“V”的含义分别为：“Y”表示亮度，“U”表示色度，“V”表示浓度。由于YUV图像的Y通道与亮度相关，在Y通道上的统计计算更能代表亮度变化。因此，当该视频图像为YUV图像，本示例实施方式所提供的视频图像降噪方法在Y通道上进行。需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。

在本示例实施方式中，获取上述视频图像的方式可以为服务端通过网络在终端设备中采集视频图像，也可以通过其他技术手段获取视频并提取视频中的各静态视频图像，本示例实施方式对此不做特殊限定。

在实际应用的过程中，由于光照环境等因素的影响，不同场景下的视频图像包含噪声的程度也会有所不同。例如，白天等光线较强的场景视频画面较亮，噪声也会弱一些，而对于夜晚等暗光场景，视频画面较暗，噪声就比较突出。因此，在本示例实施方式所提供的视频图像降噪方法中，在进行降噪处理前，首先对视频图像进行亮度检测，并依据亮度检测的结果决定是否对该视频图像进行降噪处理，举例而言，可以设置一个预设图像亮度阈值，当视频图像的亮度值小于该预设图像亮度阈值时，才对该视频图像进行降噪处理，以此来减少降噪时耗。

具体地，上述进行亮度检测的方法可以实现如下：遍历获取到的视频图像，基于视频图像的各个像素点以及预设像素亮度阈值确定视频图像的亮度值，以实现在视频图像的亮度值小于预设图像亮度阈值时，对视频图像进行降噪处理。

举例而言，上述基于视频图像的各个像素点、预选取的图像亮度均值以及预设像素亮度阈值确定视频图像的亮度值的过程可以实现如下：基于各个像素点及预设像素亮度阈值计算视频图像的平均亮度值；确定像素值小于预设像素亮度阈值的像素点占视频图像全部像素点的比例，并基于比例及平均亮度值确定视频图像的亮度值。

具体地，上述基于各个像素点及预设像素亮度阈值计算视频图像的平均亮度值的实现可以如下：计算各像素点的像素值与预设像素亮度阈值的差值；对各差值求和，并对求和得到的值及视频图像的面积做除法运算，得到平均亮度值。

上述确定像素值小于预设像素亮度阈值的像素点占视频图像全部像素点的比例，并基于比例及平均亮度值确定视频图像的亮度值的实现可以如下：确定视频图像的直方图，并通过直方图确定像素值小于预设像素亮度阈值的像素点占视频图像全部像素点的比例；并对确定得到的比例和上述平均亮度值进行加权运算，得到视频图像的亮度值。

需要说明的是，上述场景只是一种示例性说明，本示例实施方式的保护范畴并不以此为限，也可以通过其他方式得到视频图像亮度值。

在得到亮度值后，将亮度值与预设图像亮度阈值进行比较，并在视频图像的亮度值小于预设图像亮度阈值，对视频图像进行以下步骤S220中的降噪处理：

在步骤S220中，遍历视频图像中的各个像素点，对各像素点以及与各像素点相邻接的像素点做加权运算，以实现对视频图像的降噪。

在本示例实施方式中，通过对上述图像中的各个像素点及其相邻的像素点进行加权运算来实现对于视频图像的降噪。该处理过程旨在通过在一个n*n的运算核内对每个像素点及与其相邻的像素点进行加权运算，以消除噪声点的影响。例如，可以在3*3的运算核内进行上述运算，则上述过程为对每一个像素点与其上、下、左、右、左上、左下、右上、右下的像素点进行加权运算，从而达到对视频图像降噪的效果。其中，上述每个像素点及与其相邻的像素点的运算也可以为其他可以实现消除噪声点影响的关联运算，本示例实施方式对此不做特殊限定。

上述各像素点相邻接的像素点即为上述n*n的运算核中所包含的像素点，例如，在上述3*3的运算核内，各像素点的上、下、左、右、左上、左下、右上、右下的像素点都为该像素点的邻接像素点。以此类推，当n为4时，4*4的运算核内所包含的所有像素点都为该运算核中心像素点的邻接像素点。其中，n可以依据降噪的实际需求进行设定。

上述遍历视频图像中的各个像素点，对各像素点以及与各像素点相邻接的像素点做加权运算的实现，如图3所示，可以包含以下步骤：

在步骤S310中，基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组。

在本示例实施方式中，上述第一预设权重值及第二预设权重值用于确定上述降噪加权运算中的权重系数。该第一预设权重值及第二预设权重值可以依据实际应用场景进行设置，并且可以根据降噪效果进行调节。例如，在一种场景中可以将第一预设权重值w_1的值设置为12，第二预设权重值w_2的值设置为0.1。需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。

上述降噪权重以及降噪权重数组即为上述加权运算的权重系数。上述基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组，举例而言，可以实现如下：

(1)计算得到上述降噪权重：基于第一预设权重值w_1确定第一指数，并利用第一指数对自然对数的底数做指数运算，得到降噪权重a，具体运算公式可以为

其中，e为自然对数的底数，

为第一指数；

(2)计算得到上述降噪权重数组：计算上述视频图像中每两个像素点之间的像素差值，基于第二预设权重值与各像素差值确定多个第二指数，利用各第二指数对自然对数的底数做指数运算，并与降噪权重相乘，得到降噪权重数组w_a[x]，具体计算公式可以为：

其中，

为第二指数，a为上述计算得到的降噪权重。

需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。

在步骤S320中，遍历上述视频图像中的各个像素点，基于上述降噪权重及降噪权重数组对各像素点以及与各像素点相邻接的像素点做加权运算。

在本示例实施方式中，在得到上述降噪权重及降噪权重数组后，可以基于计算得到的降噪权重及降噪权重数组对各像素点以及与各像素点相邻接的像素点进行加权运算，以达到对上述视频图像降噪的效果。

举例而言，上述加权运算可以在行方向上进行如下：以行方向遍历视频图像，基于降噪权重及降噪权重数组对各像素点以及在行方向上与各像素点相邻接的像素点做加权运算。具体地，计算过程可以通过执行以下方法进行：遍历视频图像的各个像素点，基于降噪权重及降噪权重数组，以当前像素点的左侧或右侧像素点的像素值作为加权，对当前像素点进行像素值更新计算，并以计算得到的像素值更新当前像素点的像素值。

其中，在上述加权运算时，可以是对遍历到的当前像素点与其左侧及后侧的像素点的像素值进行加权运算后，再继续遍历行方向上当前像素点的下一个像素点。此外，为了降低降噪的时耗，优选地，还可以从左至右遍历上述视频图像的全部像素点，并对遍历到的当前像素点及其左侧的像素点进行加权运算，以更新当前像素点的像素值，继续遍历当前方向(从左至右方向)上的下一个像素点，直至遍历完全部像素点。之后，再从右向左遍历上述视频图像的全部像素点，并对遍历到的当前像素点及其右侧的像素点进行加权运算，以更新当前像素点的像素值，继续遍历当前方向(从右至左方向)上的下一个像素点，直至遍历完全部像素点。

此外，上述加权运算也可以在行方向上进行如下：以列方向遍历上述视频图像，基于降噪权重及降噪权重数组对各像素点以及在列方向上与各像素点相邻接的像素点做加权运算。具体地，计算过程可以通过执行以下方法进行：遍历上述视频图像的各个像素点，基于降噪权重及降噪权重数组，以当前像素点的上方或下方像素点的像素值作为加权，对当前像素点进行像素值更新计算，并以计算得到的像素值更新当前像素点的像素值。

其中，在上述加权运算时，可以是对遍历到的当前像素点与其上方及下方的像素点的像素值进行加权运算后，再继续遍历列方向上当前像素点的下一个像素点。此外，为了降低降噪的时耗，优选地，还可以从下至上遍历上述视频图像的全部像素点，并对遍历到的当前像素点及其上一行的多个像素点进行加权运算，以更新当前像素点的像素值，继续遍历当前方向(沿列的高度增长的方向)上的下一个像素点，直至遍历完全部像素点。之后，再从上向下遍历上述视频图像的全部像素点，并对遍历到的当前像素点及其下一行的多个像素点进行加权运算，以更新当前像素点的像素值，继续遍历当前方向(沿列的高度降低的方向)上的下一个像素点，直至遍历完全部像素点。

需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。例如，上述各个方向上的加权运算也可以以其他任意一种方式组合实现，以达到降噪的效果。

在本示例实施方式中，上述视频图像经过降噪处理后，可能会出现脸部等细节丰富的区域细节减少的情况，因此，为了使降噪后的图像保留更多细节，可以通过在降噪前获取高频信息，以通过将高频信息加权至降噪后的视频图像中来解决这一问题，具体地，上述获取高频信息可以实现如下：在进行上述降噪处理之前，对视频图像进行高斯滤波，并利用视频图像的原始图像减去经高斯滤波后的图像，得到视频图像的高频信息。需要说明的是，上述场景只是一种示例性的说明，本示例实施方式也可以通过其他方式获取视频图像的高频信息。

此外，在视频图像中，梯度值变化小的区域通常为平坦区域，而细节纹理丰富的区域则通常为梯度值变化较大的区域。因此，本示例实施方式还可以通过对上述视频图像进行梯度运算，并依据得到的梯度值确定视频图像各区域的降噪强度，来达到在进一步加大降噪强度的同时，不增加人脸区域的磨皮效果，使人脸区域更真实的效果。例如，针对平坦区域加大滤波强度，从而滤除更多的噪声。需要说明的是，上述场景只是一种示例性的说明，本示例实施方式保护范畴并不以此为限。

在本示例实施方式中，为了降低降噪时耗，以更好地满足实时通信的需求，在进行上述降噪时，还可以对降噪耗时进行监测，以便通过及时调整上述视频图像的分辨率来降低时耗。例如，当降噪时长超过预设时长时，降低待降噪的视频图像的分辨率。具体地，该过程可以包括如图4所示的步骤：

在步骤S410中，监测上述降噪过程的降噪耗时。

在该步骤中，在对上述视频图像进行降噪的同时，监测降噪所用的时长，例如，可以检测上述加权降噪的时长，也可以检测视频图像亮度检测及加权降噪的总时长。

在步骤S420中，比较上述降噪耗时是否大于预设时长。

在该步骤中，预先设置一个预设时长，在降噪耗时小于预设时长时，继续降噪并检测降噪时长；否则，继续执行步骤S430。

在步骤S430中，降低上述视频图像的分辨率。

在该步骤中，当监测到的降噪时长大于预设时长时，降低上述视频图像的分辨率。例如，可以将上述视频图像分辨率缩小一半，并在缩小后的图像上进行上述降噪运算，之后再缩放回原图像。

需要说明的是，上述场景只是一种示例性的说明，本示例实施方式的保护范畴并不以此为限。例如，在上述耗时监测中，也可以通过其他方式来降低降噪时长。

下面，在一具体应用场景中，对上述视频图像降噪方法进行完整的说明，如图5所示，该具体应用场景包括以下步骤：

在步骤S510中，获取视频图像。

在步骤S520中，对上述视频图像进行亮度检测。

在该步骤中，对上述视频图像进行亮度检测，并依据亮度检测的结果确定是否进行对该视频图像进行降噪处理。该亮度检测过程包括以下步骤：计算该视频图像的亮度值，并将计算得到的视频图像的亮度值与预设图像亮度阈值进行比较，当图像亮度值小于预设图像亮度阈值时，继续执行步骤S530。否则，结束对该视频图像的处理，并通过执行步骤S510获取下一帧视频图像。通过这样的方式，可以缩短降噪用时，以满足实时通信的需求。

其中，上述计算视频图像的亮度值的过程为：计算该视频图像的平均亮度值；确定视频图像中小于预设像素亮度阈值的像素点占上述视频图像全部像素点的比例，并基于该比例以及上述计算得到的视频图像的平均亮度值得到视频图像的亮度值。

具体地，可以通过如下公式计算上述视频图像的平均亮度值：

其中，b_1为视频图像的平均亮度值，W为视频图像的宽度，H为视频图像的高度，x_ij用于表示视频图像中的各像素点，T为上述预设像素亮度阈值，在本具体应用场景中，T＝80，视频图像中像素值大于T的为亮像素，小于T的为暗像素。

在以上计算平均亮度值b_1时，为了节省计算开销，降低降噪时长，在运算时，需要先计算好每个像素值与T的差值，并存入到数组pix中，每个值是对应的下标与T的差值。具体地，上述数组pix中各元素的计算公式为：pix[x_ij]＝x_ij-T,x_ij∈[-255,0]；在得到该数组后，可以进一步通过以下公式计算上述平均亮度值b_1：

在计算得到该平均亮度值后，通过执行以下步骤实现上述确定像素值小于预设像素亮度阈值的像素点占视频图像全部像素点的比例，并基于比例及平均亮度值确定视频图像的亮度值：确定视频图像的直方图，图6为得到的视频图像的直方图；在上述直方图中，以上述预设像素亮度阈值T为划分，确定像素值小于T的像素点占视频图像全部像素点的比例，并对确定得到的比例和上述平均亮度值进行乘法运算，得到视频图像的亮度值b。

在步骤S530中，对视频图像进行预处理。

在该步骤中，对经步骤S520判断，亮度值小于预设图像亮度阈值的视频图像进行预处理。该预处理可以包括以下三个方面：

(1)对视频图像进行高斯滤波，并利用视频图像的原始图像减去经高斯滤波后的图像，得到视频图像的高频信息F，以用于后续将获取到的高频信息加权至降噪后的图像，防止视频图像经处理后丢失脸部等细节丰富区域的信息；

(2)通过对上述视频图像进行梯度运算，并依据得到的梯度值确定视频图像各区域的降噪强度，来达到在进一步加大降噪强度的同时，使人脸区域更真实的效果。例如，由于在视频图像中，梯度值变化小的区域通常为平坦区域，而细节纹理丰富的区域则通常为梯度值变化较大的区域，故而可以针对平坦区域加大滤波强度，以滤除更多的噪声；

(3)对降噪耗时进行监测，以便当降噪时长超过预设时长时，降低待降噪的视频图像的分辨率。

在步骤S540中，对视频图像进行降噪处理。

在该步骤中，依次从行方向及列方向上实现对上述视频图像进行降噪。具体可以包括如下步骤：预设第一预设权重值w_1为12，第二预设权重值w_2为0.1，其中，上述第一预设权重值以及第二预设权重值可以依据降噪效果进行调节；基于第一预设权重值以及第二预设权重值计算得到降噪权重a以及降噪权重数组W_a；利用上述降噪权重a以及降噪权重数组W_a通过加权运算依次从行方向以及列方向上对上述视频图像进行降噪。

具体地，上述降噪权重a的具体运算公式为

上述降噪权重数组w_a[x]的具体计算公式为：

其中，e为自然对数的底数，w_1为第一预设权重值，w_2为第二预设权重值。

上述通过加权运算依次从行方向以及列方向上对上述视频图像进行降噪中，其中，行方向上可以包含从左至右以及从右至左两个方向，列方向上可以包含从上至下以及从下至上两个方向，在本具体应用场景中，依次从这四个方向对上述视频图像进行加权降噪运算，且对于各方向的顺序不做特殊要求。下面，分别对上述四个方向上的降噪运算进行详细的介绍：

(1)从左至右(行方向)：从左至右遍历视频图像中的各像素点，对于遍历到的当前像素点进行降噪运算，如图7所示，图中的箭头方向表示当前的遍历方向，P_2为当前遍历到的像素点，P_1为P_2在遍历方向上的前一个像素点，通过以下公式对当前遍历到的像素点P_2的像素值进行更新，以实现降噪处理：

P_2＝w_a[|P_2-P_1|]*P_1+(1-a)*P_2

其中，a为降噪权重，W_a为降噪权重数组，P_2为当前遍历到的像素点，P_1为P_2在遍历方向上的前一个像素点。

重复上述过程，直至遍历完当前遍历方向上的最后的一个像素点。

(2)从右至左(行方向)：从右至左遍历视频图像中的各像素点，对于遍历到的当前像素点进行降噪运算，如图8所示，图中的箭头方向表示当前的遍历方向，P_2为当前遍历到的像素点，P_1为P_2在遍历方向上的前一个像素点，通过以下公式对当前遍历到的像素点P_2的像素值进行更新，以实现降噪处理：

P_2＝w_a[|P_2-P_1|]*P_1+(1-a)*P_2

经过上述的行方向上的遍历，相当于参考了各像素点的左右两个像素点进行加权降噪。以图9中的像素v_5为例，上述过程相当于同时参考了像素v_5的左右两个像素v_4和v_6的像素值。

(3)从下至上(列方向)：以图10中的像素v_5为例，图中的箭头方向表示当前的遍历方向，该过程的实现为：在当前遍历方向上分别计算V_5与V_1、V_2、V_3的加权，然后取平均作为V_5的新像素值，具体计算公式如下：

其中，a为降噪权重，W_a为降噪权重数组，V_5为当前遍历到的像素点，V_1、V_2、V_3为V_5在遍历方向上的下一行的像素点。

(4)从上至下(列方向)：以图11中的像素v_5为例，图中的箭头方向表示当前的遍历方向，该过程的实现为：在当前遍历方向上分别计算V_5与V_7、V_8、V_9的加权，然后取平均作为V_5的新像素值，具体计算公式如下：

其中，a为降噪权重，W_a为降噪权重数组，V_5为当前遍历到的像素点，V_7、V_8、V_9为V_5在遍历方向上的下一行的像素点。

经过上述行方向及列方向上的加权降噪运算，相当于在如图12所示的3*3的核内对上述像素点V_5通过加权运算更新了像素值。

在本具体应用场景中，从一个方向上对视频图像的像素点进行对应的加权运算后，再进行下一方向的处理，可以降低运算消耗，从而可以缩短降噪时长，以满足实时通信的需要。

示例性装置

图13示出了本公开实施例中视频图像降噪装置的一种结构示意图，如图13所示，一种视频图像降噪装置1300主要可以包括：

图像获取模块1310，可以用于获取视频图像；

图像降噪模块1320，可以用于遍历上述视频图像中的各个像素点，对各像素点以及与各像素点相邻接的像素点做加权运算，以实现对视频图像的降噪。

在本公开的一种示例性实施例中，图像降噪模块包括权重确定单元及图像降噪单元，其中：

权重确定单元，用于基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组；

图像降噪单元，用于遍历视频图像中的各个像素点，基于降噪权重及降噪权重数组对各像素点以及与各像素点相邻接的像素点做加权运算。

在本公开的一种示例性实施例中，权重确定单元通过执行如下方法实现基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组：

基于第一预设权重值确定第一指数，并利用第一指数对自然对数的底数做指数运算，得到降噪权重；

计算视频图像中每两个像素点之间的像素差值，基于第二预设权重值与各像素差值确定多个第二指数，利用各第二指数对自然对数的底数做指数运算，并与降噪权重相乘，得到降噪权重数组。

在本公开的一种示例性实施例中，图像降噪单元通过执行如下方法实现遍历视频图像中的各个像素点，基于降噪权重及降噪权重数组对各像素点以及与各像素点相邻接的像素点做加权运算：

以行方向遍历视频图像，基于降噪权重及降噪权重数组对各像素点以及在行方向上与各像素点相邻接的像素点做加权运算。

以列方向遍历视频图像，基于降噪权重及降噪权重数组对各像素点以及在列方向上与各像素点相邻接的像素点做加权运算。

在本公开的一种示例性实施例中，以行方向遍历视频图像，基于降噪权重及降噪权重数组对各像素点以及在行方向上与各像素点相邻接的像素点做加权运算，包括：

遍历视频图像的各个像素点，基于降噪权重及降噪权重数组，以当前像素点的左侧或右侧像素点的像素值作为加权，对当前像素点进行像素值更新计算，并以计算得到的像素值更新当前像素点的像素值。

在本公开的一种示例性实施例中，以列方向遍历视频图像，基于降噪权重及降噪权重数组对各像素点以及在列方向上与各像素点相邻接的像素点做加权运算，包括：

遍历视频图像的各个像素点，基于降噪权重及降噪权重数组，以当前像素点的上方或下方像素点的像素值作为加权，对当前像素点进行像素值更新计算，并以计算得到的像素值更新当前像素点的像素值。

在本公开的一种示例性实施例中，装置还包括亮度检测模块；

亮度检测模块用于基于视频图像的各个像素点以及预设像素亮度阈值确定视频图像的亮度值，以实现在视频图像的亮度值小于预设图像亮度阈值时，对视频图像进行降噪处理。

在本公开的一种示例性实施例中，基于视频图像的各个像素点、预选取的图像亮度均值以及预设像素亮度阈值确定视频图像的亮度值，包括：

基于各个像素点及预设像素亮度阈值计算视频图像的平均亮度值；

确定像素值小于预设像素亮度阈值的像素点占视频图像全部像素点的比例，并基于比例及平均亮度值确定视频图像的亮度值。

在本公开的一种示例性实施例中，基于各个像素点及图像亮度均值计算视频图像的平均亮度值，包括：

计算各像素点的像素值与预设像素亮度阈值的差值；

对各差值求和，并对求和得到的值及视频图像的面积做除法运算，得到平均亮度值。

在本公开的一种示例性实施例中，确定像素值小于预设像素亮度阈值的像素点占视频图像全部像素点的比例，并基于比例及平均亮度值确定视频图像的亮度值，包括：

确定视频图像的直方图，并通过直方图确定像素值小于预设像素亮度阈值的像素点占视频图像全部像素点的比例；

以比例及平均亮度值进行加权运算，得到视频图像的亮度值。

在本公开的一种示例性实施例中，装置还包括高频信息获取模块；

高频信息获取模块用于获取视频图像的高频信息，以用于将高频信息加权至降噪后的视频图像中。

在本公开的一种示例性实施例中，获取视频图像的高频信息，包括：

对视频图像进行高斯滤波，并利用视频图像的原始图像减去经高斯滤波后的图像，得到视频图像的高频信息。

在本公开的一种示例性实施例中，装置还包括梯度运算模块；

梯度运算模块用于对视频图像进行梯度运算，并依据得到的梯度值确定视频图像各区域的降噪强度。

在本公开的一种示例性实施例中，装置还包括图像压缩模块：

图像压缩模块用于当降噪时长超过预设时长时，降低待降噪的视频图像的分辨率。

在本公开的一种示例性实施例中，视频图像降噪装置所执行的方法在视频图像的Y通道进行。

以上各示例性实施方式中的视频图像降噪装置的具体细节已在相应的示例性方法部分做出详细说明，因此此处不再赘述。

示例性介质

在介绍了本公开示例性实施方式的方法之后，接下来，对本公开示例性实施方式的介质进行说明。

在一些可能的实施方式中，本公开的各个方面还可以实现为一种介质，其上存储有程序代码，当上述程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的视频图像降噪方法中的步骤。

在本公开的一些示例性实施方式中，上述设备的处理器执行上述程序代码时可以用于实现上述方法实施例的各个步骤。

需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

示例性计算设备

在介绍了本公开示例性实施方式的视频图像降噪方法和视频图像降噪装置之后，接下来，将对本公开的示例性实施方式的电子设备进行描述。其中，本公开的示例性实施方式的电子设备包括上述视频图像降噪装置。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本公开的电子设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，上述存储单元存储有程序代码，当上述程序代码被上述处理单元执行时，使得上述处理单元执行本说明书上述“方法”部分中描述的根据本公开各种示例性实施方式的视频图像降噪方法中的步骤等。

下面参照图14来描述根据本公开的这种实施方式的电子设备1400。图14显示的电子设备1400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图14所示，计算机系统1400包括中央处理器1401，其可以根据存储在只读存储器1402中的程序或者从存储部分1408加载到随机访问存储器1403中的程序而执行各种适当的动作和处理。在随机访问存储器1403中，还存储有系统操作所需的各种程序和数据中央处理器1401、只读存储器1402以及随机访问存储器1403通过总线1404彼此相连。输入/输出接口1405也连接至总线1404。

以下部件连接至输入/输出接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至输入/输出接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理器1401执行时，执行本申请的装置中限定的各种功能。

在本公开的示例性实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述任意一项所述的方法。

需要说明的是，本公开所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当注意，尽管在上文详细描述中提及了视频图像降噪装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims

1.一种视频图像降噪方法，包括：

获取视频图像；

2.根据权利要求1所述的视频图像降噪方法，其特征在于，所述遍历所述视频图像中的各个像素点，对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，包括：

3.根据权利要求2所述的视频图像降噪方法，其特征在于，所述基于第一预设权重值及第二预设权重值确定降噪权重以及降噪权重数组，包括：

4.根据权利要求2所述的视频图像降噪方法，其特征在于，所述遍历所述视频图像中的各个像素点，基于所述降噪权重及所述降噪权重数组对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，包括：

5.根据权利要求2所述的视频图像降噪方法，其特征在于，所述遍历所述视频图像中的各个像素点，基于所述降噪权重及所述降噪权重数组对各所述像素点以及与各所述像素点相邻接的像素点做加权运算，包括：

6.根据权利要求1所述的视频图像降噪方法，其特征在于，在所述获取视频图像之后，所述方法还包括：

7.根据权利要求6所述的视频图像降噪方法，其特征在于，所述基于所述视频图像的各个像素点以及预设像素亮度阈值确定所述视频图像的亮度值，包括：

8.一种视频图像降噪装置，包括：

图像获取模块，用于获取视频图像；

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的方法。