CN115619653A - 视频降噪方法、装置、设备以及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种视频降噪方法、装置、设备以及计算机可读存储介质，该方法包括：获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像；对待处理图像与参考图像进行相减运算处理，得到运动量图；对运动量图进行权重函数映射处理，得到权重图；根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像。采用本申请实施例，在对视频的当前帧图像降噪处理时，可以结合前面某一帧图像进行融合降噪，在实现对视频降噪的同时，使得视频中连续的图像帧之间画面更加自然。

Description

视频降噪方法、装置、设备以及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种视频降噪方法、装置、设备以及计算机可读存储介质。

背景技术

常用摄像头分为CCD(Charge-coupled Device，电荷耦合器件)和CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)两种，由于它们的感光元件都存在有热稳性的问题，如果机器的温度升高，噪音信号过强，会在画面上不应该有的地方形成杂色斑点，这些点就是噪点。目前的电子设备拍摄的视频中很容易出现噪点。

发明内容

本申请实施例提供一种视频降噪方法、装置、设备以及计算机可读存储介质，能够实现对视频的降噪处理。

第一方面，本申请实施例提供一种视频降噪方法，包括：

获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当参考图像对应待处理视频中的第1帧图像时，参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像；

对待处理图像与参考图像进行相减运算处理，得到运动量图；

对运动量图进行权重函数映射处理，得到权重图，权重图中包含待处理图像和参考图像中的每一像素点对应的权重值；

根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像。

第二方面，本申请实施例还提供一种视频降噪装置，包括：

获取模块，用于获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当参考图像对应待处理视频中的第1帧图像时，参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像；

第一处理模块，用于对待处理图像与参考图像进行相减运算处理，得到运动量图；

第二处理模块，用于对运动量图进行权重函数映射处理，得到权重图，权重图中包含待处理图像和参考图像中的每一像素点对应的权重值；

降噪模块，用于根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像。

第三方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如本申请任一实施例提供的视频降噪方法。

第四方面，本申请实施例还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如本申请任一实施例提供的视频降噪方法。

本申请实施例提供的技术方案，获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像；如果参考图像对应待处理视频中的第1帧图像时，那么参考图像为经过降噪处理或未经过降噪处理后的图像；如果参考图像不对应第1帧图像时，那么参考图像对应第n帧图像之前的一帧经过降噪处理后的图像，对待处理图像与参考图像进行相减运算处理，得到运动量图，对该运动量图进行权重函数映射处理得到权重图，该权重图中包含待处理图像和参考图像中的每一像素点对应的权重值，然后基于该权重图将待处理图像与参考图像进行融合处理，得到目标降噪图像，按照这样的方式，可以对待处理视频中自第2帧起的全部图像进行降噪处理，并且在对视频的当前帧图像降噪处理时，可以结合前面某一帧图像进行融合降噪，在实现对视频降噪的同时，使得视频中连续的图像帧之间画面更加自然。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的第一种视频降噪方法的流程示意图。

图2为本申请实施例提供的第二种视频降噪方法的流程示意图。

图3为本申请实施例提供的视频降噪装置的结构示意图。

图4为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种视频降噪方法，该视频降噪方法的执行主体可以是电子设备，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。

请参阅图1，图1为本申请实施例提供的第一种视频降噪方法的流程示意图。本申请实施例提供的视频降噪方法的具体流程可以如下：

101、获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当参考图像对应待处理视频中的第1帧图像时，参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像。

在使用电子设备拍摄视频时，可能会存在由于设备温度较高等原因导致的噪音信号过强，进而造成拍摄画面上形成噪点。这些噪点的位置在连续的视频画面中并不是连续的，也就是说，一般情况下，在视频中相邻的两帧图像上的噪点的位置并不相同。本申请实施例中，在对视频中的图像进行降噪时，结合该帧图像之前的相邻帧图像，来计算融合权重，并基于计算得到的融合权重进行图像融合处理，以消除该帧图像中的噪点。

在一实施例中，本申请的方案可以在电子设备拍摄视频的过程中，同步地进行降噪处理，也就是说，电子设备通过摄像头模组拍摄视频并不断地输出连续的视频帧图像，处理器按照输出的视频帧图像的时间先后顺序，依次对输出的图像帧按照本申请实施例的方案进行降噪处理，并将降噪处理后的连续视频帧图像显示预览框中，通过这种方式，可以实现所见即所得，用户通过预览框看到的就是经过降噪处理后的视频。该实施例中，将电子设备实时拍摄并输出的原始视频数据作为待处理视频。

或者，在另一实施例中，本申请的方案还可以对预先拍摄得到的视频进行降噪处理。该预先拍摄的视频可以为电子设备本端拍摄并存储在本地的视频，也可以为电子设备接收其他设备发送的视频。该实施例中，获取预先存储的视频，作为待处理视频。

视频一般为连续的图像序列。假设该待处理视频中一共包含有N帧连续的图像。则对这N帧图像分别进行降噪处理，以实现整个视频的降噪。

可以理解的是，由于本申请的方案在对一帧图像进行降噪处理时，需要结合前面某一帧图像进行融合处理，对于视频中的第一帧图像来说，是没有前面某一帧图像的，因此，第一帧图像可以不进行降噪处理。或者第一帧图像可以按照传统的降噪方式进行降噪处理。

从待处理视频中的第2帧图像开始，获取待处理图像和参考图像，待处理图像为待处理是屁中的第n帧图像，该待处理图像对应的参考图形为待处理视频中的第n-1帧图像，其中，该待处理视频包括N帧图像，n∈(2,3,4,5,…,N)。

102、对待处理图像与参考图像进行相减运算处理，得到运动量图。

例如，对于视频中的第2帧图像P2，获取第1帧图像P1作为第2帧图像的参考图像。将图像P2与图像P1进行相减运算处理，得到运动量图。该运动量图反映图像P2中的每一像素点相对于图像P1中相同位置处的像素点的运动量，对于没有出现噪声的像素点来说，一般相邻两帧图像的形同位置处的像素点的运动量较小，反之，出现噪声的像素点处，相对于前面某一帧图像的相同位置处的像素点，运动量较大。

在一些实施例中，将待处理图像与参考图像进行相减运算处理，得到运动量图，包括：

分别确定待处理图像和参考图像的YUV格式数据；

对待处理图像的Y通道图像与参考图像的Y通道图像进行相减运算处理，根据相减运算结果的绝对值得到运动量图。

该实施例中，为了提高运动量图的计算准确度，先分别将待处理图像和参考图像由RGB格式转换为YUV格式。然后分别获取待处理图像的Y通道图像，参考图像的Y通道图像。其中，YUV格式中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。该实施例中，采用Y通道的数值进行图像相减运算处理。

例如，按照公式(1)，将待处理图像的Y通道图像Y_n+1与参考图像的Y通道图像Y_n进行相减运算，并取绝对值，得到运动量图m。

m＝abs(Y_n+1-Y_n) 公式(1)

103、对运动量图进行权重函数映射处理，得到权重图，权重图中包含待处理图像和参考图像中的每一像素点对应的权重值。

得到运动量图之后，对运动量图进行权重函数映射计算，得到权重图。在一实施例中，对运动量图进行权重函数映射处理，得到权重图，包括：对运动量图进行滤波处理，得到滤波后的运动量图；对滤波处理后的运动量图进行权重函数映射处理，得到权重图。

该实施例中，为了进一步提高运动量图的准确度，对初步得到的运动量图进行滤波处理，例如进行高斯滤波处理，可以平滑掉运动量图中一些较为明显的噪点，其中，高斯核的大小可以根据需要设置，本申请对此不作具体限定。参见公式(2)，得到经过高斯模糊处理后的运动量图m_g。

m_g＝GaussianBlur(m) 公式(2)

权重函数表示为如下公式(3)和公式(4)：

w＝Factor(x)，x＝clamp(m_g,0,K) 公式(4)

其中，m_g为经过高斯滤波处理后的运动量图，T为去噪强度控制参数，w为权重图。对于权重图中的每一个像素点，都可以按照公式(3)和公式(4)计算得到对应的权重，从而得到一个权重图。

公式中的clamp()函数为区间限定函数，经过clamp(m_g,0,K)运算得到的x的值位于(0，K)之间。在一个实施例中，K为50至100中的一个值，比如，K＝60。K值是一个经验值，可经过测试确定出一个合适的取值。

然后将计算得到的x值代入到权重函数Factor()进行运算，得到对应的权重值。权重函数中的T为去噪强度控制参数，其中T值越大，降噪效果越强，与此同时也会产生明显的拖影现象，故同样可以经过测试确定出合适的T值，既可以取得较好的降噪效果，同时又不会出现明显的拖影现象。其中，(1-exp(-T/x))的运算结果为一个位于0至1之间的值。因此，当x>0的情况，计算得到的权重值为一个位于0-255之间的值(包括0和255)。

此外，假设视频中的图像帧的大小均为100×100，则待处理图像的Y通道图像和参考图像的Y通道图像的大小也为100×100，计算得到的运动量图m和权重图w的大小也为100×100。

104、根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像。

计算得到权重图之后，基于该权重图将两帧图像进行融合处理。

在一实施例中，根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像，包括：

对权重图进行开运算处理，得到开运算处理后的权重图；

根据开运算处理后的权重图，对待处理图像与参考图像进行融合处理，得到目标降噪图像。

该实施例中，得到权重图w之后，对其进行开运算处理，得到开运算处理后的权重图w₀。此处进行开运算的目的在于通过领域点纠正运动点被误判断为静止点，可以减少拖影。

在一实施例中，根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像，包括：

对权重图中的权重进行归一化处理，得到w_r；

根据归一化处理后的权重图，分别在Y通道、U通道和V通道上，对待处理图像与参考图像进行融合处理，得到目标降噪图像；其中，将w_r作为待处理图像的融合权重，将1-w_r作为参考图像的融合权重。

该实施例中，按照公式(5)至公式(8)进行图像融合。

w_r＝w_o/255 公式(5)

Y_n+1′＝Y_n+1*w_r+Y_n*(1-w_r) 公式(6)

U_n+1′＝U_n+1*w_r+U_n*(1-w_r) 公式(7)

V_n+1′＝V_n+1*w_r+V_n*(1-w_r) 公式(8)

其中，在图像融合之前，先通过公式(5)将经过开运算处理后的权重图w₀进行归一化处理，归一化处理后的权重图w_r中的权重值均是位于0-1之间的数据值(包括0和1)。接下来，按照公式(6)至公式(8)分别在Y通道、U通道和V通道上，对参考图像与待处理图像进行融合处理。从公式(3)和公式(4)可以看出，对于待运算图像中的某一像素点来说，当该像素点相对于参考图像中的同样位置处的像素点的运动量越大时，计算得到该像素点对应的权重值越小，对应的w_r的值越小，而根据公式(6)至公式(8)可以看出，待处理图像的融合权重为w_r，参考图像的融合权重为1-w_r，因此，在图像融合时，使用待处理图像中的信息量就越小。也就是说，对于待处理图像中出现噪声的像素点来说，可以更多地使用该帧图像之前的参考图像中相同位置处的像素点的信息融合至该出现噪声的像素点，噪声越强，参考图像对应的融合权重越高。一般情况下，在视频中相邻的两帧图像上的噪点的位置并不相同，通过本申请实施例的方案，可以尽可能地消除待处理图像中的噪点。

按照上述公式(6)至公式(8)，计算得到Y通道、U通道和V通道降噪后的值Y_n+1′、U_n+1′、V_n+1′，进而得到降噪处理后的YUV格式的待处理图像，然后再将其转换RGB格式，进行视频编码处理，作为视频帧图像进行视频的输出。

在一实施例中，参考图像为经过降噪处理后的图像。

该实施例中，对于待处理视频中的N帧图像，可以逐帧进行降噪处理，在上一帧图像完成降噪处理后，将经过降噪处理后的该帧图像作为下一帧图像降噪处理的参考图像，也就是说，对于当前的待处理图像来说，其对应的参考图像为经过降噪处理后的图像。

在另一实施例中，还可以将上一帧原始图像作为下一帧图像降噪处理的参考图像。这种情况下，就可以多线程并行处理，不必等到上一帧图像降噪完成才对下一帧图像降噪处理。

上文提供的一些实施例中，在得到待处理图像和参考图像之后，将待处理图像和参考图像由RGB格式转换为YUV格式。并通过待处理图像的Y通道图像和参考图像的Y通道图像，计算运动量图和权重图。后续在进行图像融合时，在Y通道、U通道和V通道上使用相同的融合权重进行图像融合处理。

在另一些实施例中，还可以使用U通道图像或者V通道图像，计算运动量图和权重图，并根据计算得到权重，在Y通道、U通道和V通道上使用相同的融合权重进行图像融合处理。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提供的视频降噪方法，获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，参考图像为待处理视频中的第n-1帧图像，对待处理图像与参考图像进行相减运算处理，得到运动量图，对该运动量图进行权重函数映射处理得到权重图，该权重图中包含待处理图像和参考图像中的每一像素点对应的权重值，然后基于该权重图将待处理图像与参考图像进行融合处理，得到目标降噪图像，按照这样的方式，可以对待处理视频中自第2帧起的全部图像进行降噪处理，并且在对视频的当前帧图像降噪处理时，可以结合前面某一帧图像进行融合降噪，在实现对视频降噪的同时，使得视频中连续的图像帧之间画面更加自然。

请参阅图2，图2为本发明实施例提供的第二种视频降噪方法的流程示意图。方法包括：

201、获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当参考图像对应待处理视频中的第1帧图像时，参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像。

本申请实施例中，在对视频中的图像进行降噪时，结合该帧图像之前的相邻帧图像，来计算融合权重，并基于计算得到的融合权重进行图像融合处理，以消除该帧图像中的噪点。视频一般为连续的图像序列。假设该待处理视频中一共包含有N帧连续的图像,则对这N帧图像分别进行降噪处理，以实现整个视频的降噪。具体的，获取待处理视频中的第n帧图像，作为待处理图像，获取待处理视频中的第n-1帧图像，作为参考图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)。

例如，对于视频中的第2帧图像P2，获取第1帧图像P1作为第2帧图像的参考图像，经过下文中的一些列计算，得到权重图，按照该权重图将图像P2与图像P1进行融合处理，得到融合后的图像P2’，然后，获取第三帧图像P3作为待处理图像，获取图像P2’作为参考图像，进行图像P3的降噪处理，得到图像P3’，以此类推，直至完成视频中全部图像的降噪。

接下来，对具体的降噪过程进行详细说明。

202、分别确定待处理图像和参考图像的YUV格式数据，分别获取待处理图像和参考图像的Y通道图像。

为了提高运动量图的计算准确度，先将待处理图像和参考图像由RGB格式转换为YUV格式。然后分别获取待处理图像的Y通道图像，参考图像的Y通道图像。按照公式(1)，将待处理图像的Y通道图像Y_n+1与参考图像的Y通道图像Y_n进行相减运算，并取绝对值，得到运动量图m。

203、对待处理图像的Y通道图像与参考图像的Y通道图像进行相减运算处理，根据相减运算结果的绝对值得到运动量图。

接下来，按照公式(1)，将待处理图像的Y通道图像Y_n+1与参考图像的Y通道图像Y_n进行相减运算，并取绝对值，得到运动量图m。

204、对运动量图进行滤波处理，得到滤波后的运动量图。

为了进一步提高运动量图的准确度，对初步得到的运动量图进行滤波处理，例如进行高斯滤波处理，平滑掉运动量图中一些较为明显的噪点，其中，高斯核的大小可以根据需要设置，本申请对此不作具体限定。参见公式(2)，得到经过高斯模糊处理后的运动量图m_g。

205、对滤波后的运动量图进行权重函数映射处理，得到权重图。

得到运动量图之后，对运动量图进行权重函数映射计算，得到权重图。对于权重图中的每一个像素点，都可以按照公式(3)和公式(4)计算得到对应的权重，从而得到一个权重图。

206、对权重图进行开运算处理，得到开运算处理后的权重图。

得到权重图w之后，对其进行开运算处理，得到开运算处理后的权重图w₀。此处进行开运算的目的在于通过领域点纠正运动点被误判断为静止点，可以减少拖影。

207、根据开运算处理后的权重图，对待处理图像与参考图像进行融合处理，得到目标降噪图像。

在图像融合之前，先通过公式(5)将经过开运算处理后的权重图w₀进行归一化处理，归一化处理后的权重图w_r中的权重值均是位于0-1之间的数据值。接下来，按照公式(6)至公式(8)分别在Y通道、U通道和V通道上，对参考图像与待处理图像进行融合处理，得到目标降噪图像。从公式(3)和公式(4)可以看出，对于待运算图像中的某一像素点来说，当该像素点相对于参考图像中的同样位置处的像素点的运动量越大时，计算得到该像素点对应的权重值越小，对应的w_r的值越小，而根据公式(6)至公式(8)可以看出，待处理图像的融合权重为w_r，参考图像的融合权重为1-w_r，因此，在图像融合时，使用待处理图像中的信息量就越小。也就是说，对于待处理图像中出现噪声的像素点来说，可以更多的使用该帧图像之前的参考图像中相同位置处的像素点的信息融合至该出现噪声的像素点，噪声越强，参考图像对应的融合权重越高。一般情况下，在视频中相邻的两帧图像上的噪点的位置并不相同，通过本申请实施例的方案，可以尽可能地消除待处理图像中的噪点。

由上可知，本发明实施例提出的视频降噪方法，可以对待处理视频中自第2帧起的全部图像进行降噪处理，并且在对视频的当前帧图像降噪处理时，可以结合前面某一帧图像进行融合降噪，在实现对视频降噪的同时，使得视频中连续的图像帧之间画面更加自然。

在一实施例中还提供一种视频降噪装置。请参阅图3，图3为本申请实施例提供的视频降噪装置300的结构示意图。该视频降噪装置300包括获取模块301、第一处理模块302、第二处理模块303以及降噪模块304，如下：

获取模块301，用于获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当参考图像对应待处理视频中的第1帧图像时，参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像；

第一处理模块302，用于对待处理图像与参考图像进行相减运算处理，得到运动量图；

第二处理模块303，用于对运动量图进行权重函数映射处理，得到权重图，权重图中包含待处理图像和参考图像中的每一像素点对应的权重值；

降噪模块304，用于根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像。

在一些实施例中，参考图像为经过降噪处理后的图像。

在一些实施例中，第一处理模块302，还用于分别确定待处理图像和参考图像的YUV格式数据；

对待处理图像的Y通道图像与参考图像的Y通道图像进行相减运算处理，根据相减运算结果的绝对值得到运动量图。

在一些实施例中，第二处理模块303，还用于对运动量图进行滤波处理，得到滤波后的运动量图；对滤波后的运动量图进行权重函数映射处理，得到权重图。

在一些实施例中，降噪模块304，还用于对权重图进行开运算处理，得到开运算处理后的权重图；根据开运算处理后的权重图，对待处理图像与参考图像进行融合处理，得到目标降噪图像。

在一些实施例中，权重函数表示为：

w＝Factor(x)，x＝clamp(m_g,0,K)

其中，m_g为滤波后的运动量图，T为去噪强度控制参数，w为权重图，clamp()为区间限定函数，K为常数。

在一些实施例中，降噪模块304，还用于对权重图中的权重进行归一化处理，得到w_r；根据归一化处理后的权重图，分别在Y通道、U通道和V通道上，对待处理图像与参考图像进行融合处理，得到目标降噪图像；其中，将w_r作为待处理图像的融合权重，将1-w_r作为参考图像的融合权重。

应当说明的是，本申请实施例提供的视频降噪装置与上文实施例中的视频降噪方法属于同一构思，通过该视频降噪装置可以实现视频降噪方法实施例中提供的任一方法，其具体实现过程详见视频降噪方法实施例，此处不再赘述。

由上可知，本申请实施例提出的视频降噪装置，获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像；如果参考图像对应待处理视频中的第1帧图像时，那么参考图像为经过降噪处理或未经过降噪处理后的图像；如果参考图像不对应第1帧图像时，那么参考图像对应第n帧图像之前的一帧经过降噪处理后的图像，对待处理图像与参考图像进行相减运算处理，得到运动量图，对该运动量图进行权重函数映射处理得到权重图，该权重图中包含待处理图像和参考图像中的每一像素点对应的权重值，然后基于该权重图将待处理图像与参考图像进行融合处理，得到目标降噪图像，按照这样的方式，可以对待处理视频中自第2帧起的全部图像进行降噪处理，并且在对视频的当前帧图像降噪处理时，可以结合前面某一帧图像进行融合降噪，在实现对视频降噪的同时，使得视频中连续的图像帧之间画面更加自然。

本申请实施例还提供一种电子设备，该电子设备可以为终端，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，Personal Computer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。请参阅图4，图4为本申请实施例提供的电子设备的结构示意图。该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中，处理器401与存储器402电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或加载存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。

在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：

获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当参考图像对应待处理视频中的第1帧图像时，参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像；

对待处理图像与参考图像进行相减运算处理，得到运动量图；

对运动量图进行权重函数映射处理，得到权重图，权重图中包含待处理图像和参考图像中的每一像素点对应的权重值；

根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

可选的，如图4所示，电子设备400还包括：触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中，处理器401分别与触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

触控显示屏403可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏403可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏403而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏403也可以作为输入单元406的一部分实现输入功能。

射频电路404可用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。

音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路405接收后转换为音频数据，再将音频数据输出处理器401处理后，经射频电路404以发送给比如另一电子设备，或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。

输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源407用于给电子设备400的各个部件供电。可选的，电源407可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图4中未示出，电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

由上可知，本实施例提供的电子设备，获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像；如果参考图像对应待处理视频中的第1帧图像时，那么参考图像为经过降噪处理或未经过降噪处理后的图像；如果参考图像不对应第1帧图像时，那么参考图像对应第n帧图像之前的一帧经过降噪处理后的图像，对待处理图像与参考图像进行相减运算处理，得到运动量图，对该运动量图进行权重函数映射处理得到权重图，该权重图中包含待处理图像和参考图像中每一像素点对应的权重值，然后基于该权重图将待处理图像与参考图像进行融合处理，得到目标降噪图像，按照这样的方式，可以对待处理视频中自第2帧起的全部图像进行降噪处理，并且在对视频的当前帧图像降噪处理时，可以结合前面某一帧图像进行融合降噪，在实现对视频降噪的同时，使得视频中连续的图像帧之间画面更加自然。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时，实现本申请实施例所提供的任一种视频降噪方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取待处理图像和参考图像，待处理图像为待处理视频中的第n帧图像，待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当参考图像对应待处理视频中的第1帧图像时，参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当参考图像不对应第1帧图像时，参考图像对应第n帧图像之前的一帧经过降噪处理后的图像；

对待处理图像与参考图像进行相减运算处理，得到运动量图；

对运动量图进行权重函数映射处理，得到权重图，权重图中包含待处理图像和参考图像中的每一像素点对应的权重值；

根据权重图对待处理图像与参考图像进行融合处理，得到目标降噪图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种视频降噪方法中的步骤，因此，可以实现本申请实施例所提供的任一种视频降噪方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种视频降噪方方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种视频降噪方法，其特征在于，包括：

获取待处理图像和参考图像，所述待处理图像为待处理视频中的第n帧图像，所述待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当所述参考图像对应所述待处理视频中的第1帧图像时，所述参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当所述参考图像不对应所述第1帧图像时，所述参考图像对应所述第n帧图像之前的一帧经过降噪处理后的图像；

对所述待处理图像与所述参考图像进行相减运算处理，得到运动量图；

对所述运动量图进行权重函数映射处理，得到权重图，所述权重图中包含所述待处理图像和所述参考图像中的每一像素点对应的权重值；

根据所述权重图对所述待处理图像与所述参考图像进行融合处理，得到目标降噪图像。

2.如权利要求1所述的方法，其特征在于，所述对所述待处理图像与所述参考图像进行相减运算处理，得到运动量图，包括：

分别确定所述待处理图像和所述参考图像的YUV格式数据；

对所述待处理图像的Y通道图像与所述参考图像的Y通道图像进行相减运算处理，根据相减运算结果的绝对值得到运动量图。

3.如权利要求2所述的方法，其特征在于，所述对所述运动量图进行权重函数映射处理，得到权重图，包括：

对所述运动量图进行滤波处理，得到滤波后的运动量图；

对所述滤波后的运动量图进行权重函数映射处理，得到权重图。

4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述权重图对所述待处理图像与所述参考图像进行融合处理，得到目标降噪图像，包括：

对所述权重图进行开运算处理，得到开运算处理后的权重图；

根据所述开运算处理后的权重图，对所述待处理图像与所述参考图像进行融合处理，得到目标降噪图像。

5.如权利要求3所述的方法，其特征在于，所述权重函数表示为：

w＝Factor(x)，x＝clamp(m_g,0,K)

其中，m_g为所述滤波后的运动量图，T为去噪强度控制参数，w为所述权重图，clamp()为区间限定函数，K为常数。

6.如权利要求5所述的方法，其特征在于，所述根据所述权重图对所述待处理图像与所述参考图像进行融合处理，得到目标降噪图像，包括：

对所述权重图中的权重进行归一化处理，得到w_r；

根据所述归一化处理后的权重图，分别在Y通道、U通道和V通道上，对所述待处理图像与所述参考图像进行融合处理，得到目标降噪图像；其中，将所述w_r作为所述待处理图像的融合权重，将所述1-w_r作为所述参考图像的融合权重。

7.一种视频降噪装置，其特征在于，包括：

获取模块，用于获取待处理图像和参考图像，所述待处理图像为待处理视频中的第n帧图像，所述待处理视频包含N帧图像，n∈(2,3,4,5,…,N)；其中，当所述参考图像对应所述待处理视频中的第1帧图像时，所述参考图像为经过降噪处理后的图像，或未经过降噪处理后的图像；当所述参考图像不对应所述第1帧图像时，所述参考图像对应所述第n帧图像之前的一帧经过降噪处理后的图像；

第一处理模块，用于对所述待处理图像与所述参考图像进行相减运算处理，得到运动量图；

第二处理模块，用于对所述运动量图进行权重函数映射处理，得到权重图，所述权重图中包含所述待处理图像和所述参考图像中的每一像素点对应的权重值；

降噪模块，用于根据所述权重图对所述待处理图像与所述参考图像进行融合处理，得到目标降噪图像。

8.根据权利要求7所述的装置，其特征在于，在对所述待处理图像与所述参考图像进行相减运算处理，得到运动量图方面，所述第一处理模块具体用于：

分别确定所述待处理图像和所述参考图像的YUV格式数据；

对所述待处理图像的Y通道图像与所述参考图像的Y通道图像进行相减运算处理，根据相减运算结果的绝对值得到运动量图。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的视频降噪方法。

10.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的视频降噪方法。

Images