CN113612996B - 一种基于时域滤波的视频降噪的方法及装置 - Google Patents

一种基于时域滤波的视频降噪的方法及装置 Download PDF

Info

Publication number
CN113612996B
CN113612996B CN202110872850.0A CN202110872850A CN113612996B CN 113612996 B CN113612996 B CN 113612996B CN 202110872850 A CN202110872850 A CN 202110872850A CN 113612996 B CN113612996 B CN 113612996B
Authority
CN
China
Prior art keywords
different channels
filtered
pixel
pixel point
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110872850.0A
Other languages
English (en)
Other versions
CN113612996A (zh
Inventor
许桂森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202110872850.0A priority Critical patent/CN113612996B/zh
Publication of CN113612996A publication Critical patent/CN113612996A/zh
Application granted granted Critical
Publication of CN113612996B publication Critical patent/CN113612996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了基于时域滤波的视频降噪的方法及装置，该方法包括：在对当前视频帧进行编码之前，对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值；确定所述视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重；根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值，从而实现对视频帧在不同通道上独立地进行时域滤波降噪预处理，提高视频的主观质量和编码效率。

Description

一种基于时域滤波的视频降噪的方法及装置
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种基于时域滤波的视频降噪的方法及装置。
背景技术
噪声对视频图像的主观效果和视频编码的客观效率都会造成较大的影响，视频降噪一直是图像视频处理和计算机视觉研究的热点之一。图像视频去噪的直接目的是改善噪声污染的视频图像，解决实际图像由于噪声干扰而导致图像质量下降的问题。去噪可以有效地提高视频图像质量，增大信噪比，更好的体现原始视频所携带的信息。有效的去噪方法还会提高后续视频图像处理的质量，如目标分割、边缘提取、目标跟踪和识别等，也有利于提升视频的编码效率。
发明内容
本申请提供一种基于时域滤波的视频降噪的方法及装置，以提升视频的主观质量和编码效率。
第一方面，本申请实施例提供了一种基于时域滤波的视频降噪的方法，所述方法包括：
在对当前视频帧进行编码之前，对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值；
确定所述视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；
根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重；
根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值。
第二方面，本申请实施例还提供了一种基于时域滤波的视频降噪的装置，所述装置包括：
噪声估计模块，用于在对当前视频帧进行编码之前，对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值；
像素点匹配模块，用于确定所述视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；
滤波权重确定模块，用于根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重；
滤波模块，用于根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值。
第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面的方法。
本申请具有如下有益效果：
在本实施例中，在对当前视频帧进行编码之前，将运动估计与时域滤波相结合来实现对视频帧的降噪预处理。具体的，通过对当前视频帧进行噪声估计，来确定该视频帧分别在不同通道上的噪声估计值。然后确定当前视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；并根据该不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重。最后根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定待滤波像素点分别在不同通道上的经过滤波后的滤波像素值，从而实现对视频帧在不同通道上独立地进行时域滤波降噪预处理，提高视频的主观质量和编码效率，进而提升用户的观看体验和节省传输带宽。
另外，通过实践发现，Libaom提出的时域滤波方法作为预处理用于视频降噪时，存在块效应明显和色度的编码性能损失等缺点。对此，本实施例对该时域滤波方法进行如下改进：其一，通过幂函数对各匹配像素点在不同通道上的综合匹配误差进行缩放处理，从而调整综合匹配误差对于滤波权重的影响，降低误差很大的匹配块对于待滤波视频帧的影响，该改进有效减少了块效应；其二，对像素点在不同通道上的滤波权重进行独立计算，在确定滤波权重时亮度和色度使用各自的信息计算，不相互参考，该改进大幅提升了色度的编码性能。
附图说明
图1是本申请实施例一提供的一种基于时域滤波的视频降噪的方法实施例的流程图；
图2是本申请实施例一提供的一种视频帧处理流程示意图；
图3是本申请实施例一提供的一种数据存储结构示意图；
图4是本申请实施例一提供的一种滤波权重确定方法流程图；
图5是本申请实施例二提供的一种基于时域滤波的视频降噪的装置实施例的结构框图；
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的一种基于时域滤波的视频降噪的方法实施例的流程图，本实施例可以适用于所有对视频进行降噪的场景，能有效地降低视频中的高斯噪声。本实施例可以将基于时域滤波的视频降噪的方法称为ARNR(Alternate Reference NoiseReduction)方法。
本实施例可以应用于对视频帧进行编码之前的预处理过程，如图2的视频帧处理流程示意图所示，视频帧通过降噪预处理装置进行降噪以后，再送入视频编码器进行编码，输出视频码流。本实施例描述的是降噪预处理装置对视频帧进行预处理以达到降噪目的的过程。
在本实施例中，降噪预处理装置可以参考AV1参考软件libaom提出的时域滤波方法来对视频帧进行预处理。其中，AV1是一种新兴的开源、版权免费的视频压缩格式，AV1开发的主要目标是在当前的编解码器基础上获得可观的压缩率提升，同时确保解码的复杂性和硬件的实际可行性，但其在编解码器上对于视频图像的主观质量的提升程度有限。而本实施例将libaom提出的时域滤波方法应用于视频帧的预处理时，通过视频预处理对视频进行降噪，可以有效地提高视频图像的主观效果和压缩效率，从而改善视频画质和节省传输带宽。
如图1所示，本实施例可以包括如下步骤：
步骤110，在对当前视频帧进行编码之前，对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值。
在该步骤中，对于当前需要处理的目标视频的每一个视频帧，在将视频帧输入至编码器进行编码之前，可以首先对视频帧进行降噪预处理。在降噪预处理的过程中，可以先对各视频帧进行噪声估计，以确定每个视频帧分别在不同通道上的噪声估计值。其中，噪声估计值用于反映当前视频帧在不同通道上的帧级噪声强度，不同通道可以包括Y、U、V通道。通过步骤110，可以估计当前视频帧分别在Y、U、V通道的帧级噪声程度，得到noise_level[Y]、noise_level[U]、noise_level[V]。
在一种实施例中，步骤110中可以采用如下步骤确定当前视频帧在某个通道上的噪声估计值(Y、U、V三个通道的处理过程相同)：
步骤110-1，对当前视频帧进行边界检测，以确定非边界像素点。
在一种实现中，可以通过Sobel算子(索贝尔算子)对当前视频帧进行边界检测，以确定边界像素点和非边界像素点，并将边界像素点排除，保留非边界像素点，边界像素点不参与后续的噪声估计可以提高噪声估计的准确度。
步骤110-2，分别对各非边界像素点在不同通道上的像素值进行卷积操作。
在一种实现中，可以采用拉普拉斯卷积核(laplace convolution kernel)对各非边界像素点在不同通道上的像素值进行卷积操作。
例如，对于某个非边界像素点，可以获取其Y分量像素值，并采用拉普拉斯卷积核对该Y分量像素值进行卷积操作，得到该像素点在Y通道上的卷积结果。
步骤110-3，根据各通道上的卷积结果以及所述视频帧的大小，确定该视频帧在各通道上的噪声估计值。
在实现时，视频噪声可以被建模为零均值的高斯白噪声，则噪声估计值可以使用方差σ表示。在该步骤中，当对所有非边界像素点完成卷积操作以后，可以逐通道对所有非边界像素点的卷积结果进行汇总，并根据汇总结果进行方差计算得到各通道上的噪声估计值。
例如，可以采用如下公式计算某个通道上的噪声估计值σ：
其中，I(x，y)表示(x，y)这个像素位置在某个通道上的像素值，比如，若当前计算的通道为亮度Y通道，则I(x，y)表示(x，y)这个像素位置的Y分量像素值；N表示拉普拉斯卷积核；W、H分别表示当前视频帧的宽度和高度；π表示圆周率。
步骤120，确定所述视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点。
在实际中，为了便于访问，可以将当前视频帧以及其多个参考帧(假设参考帧为K个)存储在同一数据存储结构中。其中，参考帧可以为当前视频帧前后相邻的若干视频帧。例如，如图3的数据存储结构示意图所示，在该数据存储结构中，参考帧可以为当前视频帧前后3帧视频帧，当前视频帧与多个参考帧可以按照时域顺序进行存储，并可以根据存储的位置确定当前视频帧与多个参考帧的存储索引值to_filter_idx，该存储索引值可以用于标识视频帧。
在该步骤中，可以采用运动估计搜索算法，将当前视频帧划分成多个编码块，然后分别从各参考帧中搜索出与各编码块对应的匹配块，从而确定编码块中的待滤波像素点对应的在匹配块中的匹配像素点。示例性地，运动估计搜索算法可以包括但不限于：全搜索算法、三步搜索算法、菱形搜索算法、六边形搜索算法等。
步骤130，根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重。
在对当前视频帧的待滤波像素点进行滤波前，可以参考各匹配像素点在不同通道中的滤波权重。而各匹配像素点在不同通道上的滤波权重又是与当前视频帧在该通道上的噪声估计值相关的。
在一种实施例中，如图4的滤波权重确定方法流程图所示，步骤130进一步可以包括如下步骤：
步骤130-1，根据所述运动估计搜索算法，分别获得各匹配像素点所在的匹配块与所述待滤波像素点所在的当前编码块、在不同通道上的第一匹配误差。
在实现时，可以首先将当前视频帧划分成多个编码块(Coding Unit，简称CU)，各编码块CU的尺寸可以为N*M，其中，N和M可以根据实际需求确定。然后遍历各编码块，针对当前遍历到的编码块(即curr_CU)，可以在各参考帧中使用亮度分量的像素值、通过运动估计搜索与curr_CU最匹配的best_CU(即匹配块)，并记录运动估计搜索过程中获得的运动矢量(Motion Vector，简称MV)和第一匹配误差Block_error。
其中，运动矢量用于描述best_CU与curr_CU的相对位移。根据运动矢量MV进行运动补偿，可以得到best_CU中各像素点的预测像素值。
Block_error用于表示curr_CU和best_CU像素值的差异程度，可以采用MSE(Mean-Square Error，均方误差)、SAD(Sum of Absolute Difference，绝对误差和)、SATD(Sum ofAbsolute Transformed Difference，变换后的绝对误差和)等表示Block_error。Block_error越大说明两者越不匹配，Block_error越小说明两者越相似。
步骤130-2，分别确定各匹配像素点与所述待滤波像素点在不同通道上的第二匹配误差。
在实际中，由于Block_error描述的是curr_CU和best_CU的误差，当Block_error很小时，说明两个CU块非常匹配，但是无法精确描述具体某个待滤波像素点与匹配像素点的匹配程度，可能存在Block_error误差很小，但是best_CU中某些像素点与curr_CU的对应像素点之间的误差很大的情况，因此需要计算第二匹配误差window_error用于描述匹配像素点与待滤波像素点的匹配程度，其中，window_error越小表明两者越相似，window_error越大表明两者像素值差距越大。
在一种实施例中，步骤130-2进一步可以包括如下步骤：
分别以各匹配像素点为中心确定各匹配像素点在所处参考帧中的第一参考块；以所述待滤波像素点为中心确定所述待滤波像素点在当前视频帧中的第二参考块；分别确定各第一参考块与所述第二参考块在不同通道上的匹配误差，作为第二匹配误差。
在计算匹配像素点与待滤波像素点的window_error时，可以以匹配像素点为中心，在对应参考帧中取其周围指定步长的像素点组成B*C(例如，5*5)大小的第一参考块CU。类似地，以待滤波像素点为中心，在当前视频帧中取其周围指定步长的像素点组成B*C大小的第二参考块CU。然后根据第一参考块与第二参考块中各像素点分别在Y、U、V分量上的像素值，计算第一参考块与第二参考块分别在Y、U、V分量上的第二匹配误差window_error，即Ywindow_error、U window_error和V window_error。
原有的ARNR方法在计算色度U、V的window_error时，会使用对应位置的亮度的误差进行计算，即色度误差考虑了亮度误差的影响。因为ARNR方法中只使用亮度像素值进行运动估计，得到的最佳匹配块是亮度像素值的最佳匹配块，但是色度的像素值并不一定是最匹配的。由于ARNR方法中色度误差考虑了亮度误差后，会导致当色度块之间相差很大而亮度块很相似时(比如颜色闪烁变化的特效场景)，会因为使用了亮度的信息导致色度误差偏小，从而滤波权重计算为较大值，最终导致色度的编码效率损失严重，并且可能对色度的主观质量造成显著影响。为了解决上述问题，本实施例独立计算亮度和色度的window_error，计算色度U、V的window_error只是使用U、V的误差值，不考虑亮度误差值，从而可以提升色度的主观质量并大幅提升色度的编码效率。则上述分别确定各第一参考块与第二参考块在不同通道上的匹配误差，作为第二匹配误差的步骤，进一步可以包括如下步骤：
针对某个通道以及某个第一参考块，计算该第一参考块中各像素点在该通道上的分量像素值、与第二参考块中对应位置的像素点在该通道上的分量像素值之间的差值；计算该第一参考块中各像素点的所有所述差值的总和与该第一参考块中像素点的数量的比值，得到第二匹配误差。
例如，可以采用如下公式计算第二匹配误差：
其中，square_diff为第一参考块中各像素点在某通道上的分量像素值、与第二参考块中对应位置的像素点在该通道上的分量像素值之间的差值；sum_square_diff为第一参考块中各像素点的所有square_diff的总和；num_ref_pixels为第一参考块中像素点的数量。
步骤130-3，根据所述第一匹配误差以及所述第二匹配误差，分别确定各匹配像素点在不同通道上的综合匹配误差。
在得到匹配像素点在不同通道上的第一匹配误差以及第二匹配误差以后，则可以将同一通道上的第一匹配误差与第二匹配误差进行融合，得到该匹配像素点在该通道上的综合匹配误差。
例如，可以采用如下公式确定某个匹配像素点在Y通道上的综合匹配误差：
其中，window_error为匹配像素点在Y通道上的第二匹配误差，block_error为匹配像素点在Y通道上的第一匹配误差，Combine_error为匹配像素点在Y通道上的综合匹配误差，c1为大于0的常量，可取c1＝10。
步骤130-4，根据不同通道对应的噪声估计值以及各匹配像素点在不同通道上的综合匹配误差，确定各匹配像素点在不同通道上的滤波权重。
在一种实施例中，步骤130-4进一步可以包括如下步骤：
步骤130-4-1，采用预设幂函数对各匹配像素点在不同通道上的综合匹配误差进行缩放处理。
在使用原有的ARNR方法时，如果当前视频帧与前后参考帧之间的像素值差别较大，经过滤波融合之后会产生明显的块效应。为了减少块效应，本实施例可以通过预设幂函数对各匹配像素点在不同通道上的综合匹配误差进行缩放处理，使得当综合匹配误差很小时滤波权重较大，当综合误差很大时通过幂函数的放大，滤波权重被调整为很小，从而避免像素值相差很大的匹配对编码块造成较大影响，从而减少块效应。
例如，可以采用如下公式对综合匹配误差进行缩放处理：
scale_error＝c2×combine_error2
其中，scale_error为缩放后的综合匹配误差；c2为大于0的常量，用于调整误差缩放的程度。
步骤130-4-2，根据不同通道对应的噪声估计值，确定不同通道的滤波系数。
在一种实现中，可以采用如下公式确定某个通道的滤波系数：
r＝decay_control×(c3+log(noise_level[plane]+1.0))
其中，r为滤波系数；decay_control是与分辨率相关的常数系数，通常可以根据分辨率设置，例如，当视频帧的高度大于等于720时，可以设置decaycontrol＝4，否则可以设置decaycontrol＝3；c3为大于0的常量，例如可以设置c3＝0.7；noise_level[plane]是指当前通道对应的噪声估计值，即noise_level[Y]、noise_level[U]、noise_level[V]中的一个。
步骤130-4-3，根据所述滤波系数以及缩放处理后的综合匹配误差，确定各匹配像素点在不同通道上的滤波权重。
例如，可以采用如下公式确定某个匹配像素点在某个通道上的滤波权重：
adjust_weight＝scale×escaled_diff
其中，
其中，adjust_weight为滤波权重；scale是缩放常数；c4为大于0的常量，例如可以设置c4＝2；q为大于0的常量，例如可以设置q＝1.0；MIN_DIFF是小于0的常量，表示scaled_diff的最小值。
从上式可以看出，window_error和Block_error越大，滤波权重越小，即待滤波的CU与匹配的参考帧CU之间差别越大，参考帧CU对待滤波CU的影响越小；待滤波图像的noise_level[plane]越大，滤波权重越大，即待滤波图像噪声程度越大，滤波程度越大。
步骤140，根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重以及滤波像素值，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值。
在一种实施例中，可以通过归一化处理的方法来确定待滤波像素点分别在不同通道上的滤波像素值，则步骤140进一步可以包括如下步骤：
步骤140-1，计算同一待滤波像素点对应的不同匹配像素点在同一通道上的滤波权重的总和，得到该待滤波像素点在该通道上的总滤波权重。
步骤140-2，将各匹配像素点在不同通道上的滤波权重以及各匹配像素点在不同通道上的像素值进行加权计算，获得各匹配像素点在不同通道上的滤波像素值。
在该步骤中，针对每个匹配像素点，在得到该匹配像素点在不同通道上的滤波权重以后，可以计算该匹配像素点在某个通道上的滤波权重以及在该通道的像素值的加权值，得到该匹配像素点在当前通道上的滤波像素值。
例如，假设某个匹配像素点在某个通道上的滤波权重为wc，i，j，k，其中，c表示通道索引值，c＝0表示亮度Y，c＝1表示色度U，c＝2表示色度V；i，j表示像素位置；k表示当前匹配像素点所在的参考帧的帧索引值。则该匹配像素点在当前通道上的滤波像素值fc，i，j，k为：
fc，i，j，k＝wc，i，j，k*I(x，y)
步骤140-3，计算同一待滤波像素点对应的不同匹配像素点在同一通道上的滤波像素值的总和，得到该待滤波像素点在该通道上的总滤波像素值；
步骤140-4，计算所述总滤波像素值与所述总滤波权重的比值，获得该待滤波像素点在该通道上的滤波像素值。
即，可以通过如下公式确定待滤波像素点在某个通道上的滤波像素值：
其中，为当前待滤波像素点对应的各个匹配像素点、在当前通道上的滤波像素值的总和；/>为当前待滤波像素点对应的各个匹配像素点、在当前通道上的滤波权重的总和。
需要说明的是，上述步骤120-步骤140的过程可以以CU为单位进行时域滤波处理，当当前CU处理完毕后，则遍历下一个未处理的CU，直到当前视频帧中的所有CU都处理完毕，则完成对当前视频帧的降噪预处理过程。
在本实施例中，在对当前视频帧进行编码之前，将运动估计与时域滤波相结合来实现对视频帧的降噪预处理。具体的，通过对当前视频帧进行噪声估计，来确定该视频帧分别在不同通道上的噪声估计值。然后确定当前视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；
并根据该不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重。最后根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定待滤波像素点分别在不同通道上的经过滤波后的滤波像素值，从而实现对视频帧在不同通道上独立地进行时域滤波降噪预处理，提高视频的主观质量和编码效率，进而提升用户的观看体验和节省传输带宽。
另外，通过实践发现，Libaom提出的时域滤波方法作为预处理用于视频降噪时，存在块效应明显和色度的编码性能损失等缺点。对此，本实施例对该时域滤波方法进行如下改进：其一，通过幂函数对各匹配像素点在不同通道上的综合匹配误差进行缩放处理，从而调整综合匹配误差对于滤波权重的影响，降低误差很大的匹配块对于待滤波视频帧的影响，该改进有效减少了块效应；其二，对像素点在不同通道上的滤波权重进行独立计算，在确定滤波权重时亮度和色度使用各自的信息计算，不相互参考，该改进大幅提升了色度的编码性能。
实施例二
图5为本申请实施例二提供的一种基于时域滤波的视频降噪的装置实施例的结构框图，可以包括如下模块：
噪声估计模块210，用于在对当前视频帧进行编码之前，对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值；
像素点匹配模块220，用于确定所述视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；
滤波权重确定模块230，用于根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重；
滤波模块240，用于根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值。
在一种实施例中，所述滤波权重确定模块230进一步可以包括如下子模块：
第一匹配误差确定子模块，用于根据所述运动估计搜索算法，分别获得各匹配像素点所在的匹配块与所述待滤波像素点所在的当前编码块、在不同通道上的第一匹配误差；
第二匹配误差确定子模块，用于分别确定各匹配像素点与所述待滤波像素点在不同通道上的第二匹配误差；
综合匹配误差确定子模块，用于根据所述第一匹配误差以及所述第二匹配误差，分别确定各匹配像素点在不同通道上的综合匹配误差；
滤波权重确定子模块，用于根据不同通道对应的噪声估计值以及各匹配像素点在不同通道上的综合匹配误差，确定各匹配像素点在不同通道上的滤波权重。
在一种实施例中，所述第二匹配误差确定子模块可以包括如下单元：
第一参考块确定单元，用于分别以各匹配像素点为中心确定各匹配像素点在所处参考帧中的第一参考块；
第二参考块确定单元，用于以所述待滤波像素点为中心确定所述待滤波像素点在当前视频帧中的第二参考块；
块误差确定单元，用于分别确定各第一参考块与所述第二参考块在不同通道上的匹配误差，作为第二匹配误差。
在一种实施例中，所述块误差确定单元具体用于：
针对某个通道以及某个第一参考块，计算该第一参考块中各像素点在该通道上的分量像素值、与第二参考块中对应位置的像素点在该通道上的分量像素值之间的差值；
计算该第一参考块中各像素点的所有所述差值的总和与该第一参考块中像素点的数量的比值，得到第二匹配误差。
在一种实施例中，所述滤波权重确定子模块具体用于：
采用预设幂函数对各匹配像素点在不同通道上的综合匹配误差进行缩放处理；
根据不同通道对应的噪声估计值，确定不同通道的滤波系数；
根据所述滤波系数以及缩放处理后的综合匹配误差，确定各匹配像素点在不同通道上的滤波权重。
在一种实施例中，所述滤波模块240具体用于：
计算同一待滤波像素点对应的不同匹配像素点在同一通道上的滤波权重的总和，得到该待滤波像素点在该通道上的总滤波权重；
将各匹配像素点在不同通道上的滤波权重以及各匹配像素点在不同通道上的像素值进行加权计算，获得各匹配像素点在不同通道上的滤波像素值；
计算同一待滤波像素点对应的不同匹配像素点在同一通道上的滤波像素值的总和，得到该待滤波像素点在该通道上的总滤波像素值；
计算所述总滤波像素值与所述总滤波权重的比值，获得该待滤波像素点在该通道上的滤波像素值。
在一种实施例中，所述噪声估计模块具体用于：
对当前视频帧进行边界检测，以确定非边界像素点；
分别对各非边界像素点在不同通道上的像素值进行卷积操作；
根据各通道上的卷积结果以及所述视频帧的大小，确定该视频帧在各通道上的噪声估计值。
需要说明的是，本申请实施例所提供的上述一种基于时域滤波的视频降噪的装置可执行本申请实施例一所提供的一种基于时域滤波的视频降噪的装置，具备执行方法相应的功能模块和有益效果。
实施例三
图6为本申请实施例三提供的一种电子设备的结构示意图，如图6所示，该电子设备包括处理器610、存储器620、输入装置630和输出装置640；电子设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区
可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例四
本申请实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由服务器的处理器执行时用于执行实施例一中任一实施例中的方法。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于时域滤波的视频降噪的方法，其特征在于，所述方法包括：
在对当前视频帧进行编码之前，对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值；
确定所述视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；
根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重；
根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，包括：
根据运动估计搜索算法，分别获得各匹配像素点所在的匹配块与所述待滤波像素点所在的当前编码块、在不同通道上的第一匹配误差；
分别确定各匹配像素点与所述待滤波像素点在不同通道上的第二匹配误差；
根据所述第一匹配误差以及所述第二匹配误差，分别确定各匹配像素点在不同通道上的综合匹配误差；
根据不同通道对应的噪声估计值以及各匹配像素点在不同通道上的综合匹配误差，确定各匹配像素点在不同通道上的滤波权重。
3.根据权利要求2所述的方法，其特征在于，所述分别确定各匹配像素点与所述待滤波像素点在不同通道上的第二匹配误差，包括：
分别以各匹配像素点为中心确定各匹配像素点在所处参考帧中的第一参考块；
以所述待滤波像素点为中心确定所述待滤波像素点在当前视频帧中的第二参考块；
分别确定各第一参考块与所述第二参考块在不同通道上的匹配误差，作为第二匹配误差。
4.根据权利要求3所述的方法，其特征在于，所述分别确定各第一参考块与所述第二参考块在不同通道上的匹配误差，作为第二匹配误差，包括：
针对某个通道以及某个第一参考块，计算该第一参考块中各像素点在该通道上的分量像素值、与第二参考块中对应位置的像素点在该通道上的分量像素值之间的差值；
计算该第一参考块中各像素点的所有所述差值的总和与该第一参考块中像素点的数量的比值，得到第二匹配误差。
5.根据权利要求2或3或4所述的方法，其特征在于，所述根据不同通道对应的噪声估计值以及各匹配像素点在不同通道上的综合匹配误差，确定各匹配像素点在不同通道上的滤波权重，包括：
采用预设幂函数对各匹配像素点在不同通道上的综合匹配误差进行缩放处理；
根据不同通道对应的噪声估计值，确定不同通道的滤波系数；
根据所述滤波系数以及缩放处理后的综合匹配误差，确定各匹配像素点在不同通道上的滤波权重。
6.根据权利要求2或3或4所述的方法，其特征在于，所述根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重以及滤波像素值，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值，包括：
计算同一待滤波像素点对应的不同匹配像素点在同一通道上的滤波权重的总和，得到该待滤波像素点在该通道上的总滤波权重；
将各匹配像素点在不同通道上的滤波权重以及各匹配像素点在不同通道上的像素值进行加权计算，获得各匹配像素点在不同通道上的滤波像素值；
计算同一待滤波像素点对应的不同匹配像素点在同一通道上的滤波像素值的总和，得到该待滤波像素点在该通道上的总滤波像素值；
计算所述总滤波像素值与所述总滤波权重的比值，获得该待滤波像素点在该通道上的滤波像素值。
7.根据权利要求1所述的方法，其特征在于，所述对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值，包括：
对当前视频帧进行边界检测，以确定非边界像素点；
分别对各非边界像素点在不同通道上的像素值进行卷积操作；
根据各通道上的卷积结果以及所述视频帧的大小，确定该视频帧在各通道上的噪声估计值。
8.一种基于时域滤波的视频降噪的装置，其特征在于，所述装置包括：
噪声估计模块，用于在对当前视频帧进行编码之前，对所述视频帧进行噪声估计，以确定所述视频帧分别在不同通道上的噪声估计值；
像素点匹配模块，用于确定所述视频帧中各待滤波像素点分别在多个不同参考帧中的对应匹配像素点；
滤波权重确定模块，用于根据所述不同通道对应的噪声估计值，确定同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重；
滤波模块，用于根据同一待滤波像素点对应的不同匹配像素点分别在不同通道上的滤波权重，确定所述待滤波像素点分别在不同通道上的经过滤波后的滤波像素值。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的方法。
CN202110872850.0A 2021-07-30 2021-07-30 一种基于时域滤波的视频降噪的方法及装置 Active CN113612996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110872850.0A CN113612996B (zh) 2021-07-30 2021-07-30 一种基于时域滤波的视频降噪的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110872850.0A CN113612996B (zh) 2021-07-30 2021-07-30 一种基于时域滤波的视频降噪的方法及装置

Publications (2)

Publication Number Publication Date
CN113612996A CN113612996A (zh) 2021-11-05
CN113612996B true CN113612996B (zh) 2024-02-09

Family

ID=78338768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110872850.0A Active CN113612996B (zh) 2021-07-30 2021-07-30 一种基于时域滤波的视频降噪的方法及装置

Country Status (1)

Country Link
CN (1) CN113612996B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666583B (zh) * 2022-03-14 2023-03-21 中山大学 一种基于时空域滤波的视频编码前处理方法
CN115131229A (zh) * 2022-05-27 2022-09-30 腾讯科技（深圳）有限公司 图像降噪、滤波数据处理方法、装置和计算机设备
CN116055710B (zh) * 2022-08-10 2023-10-20 荣耀终端有限公司 一种视频时域噪声的评估方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
CN107454284A (zh) * 2017-09-13 2017-12-08 厦门美图之家科技有限公司 一种视频去噪方法及计算设备
CN109743473A (zh) * 2019-01-11 2019-05-10 珠海全志科技股份有限公司 视频图像3d降噪方法、计算机装置及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US10951885B2 (en) * 2018-08-30 2021-03-16 Google Llc Adaptive temporal filtering for alternate frame reference rendering
US11197008B2 (en) * 2019-09-27 2021-12-07 Intel Corporation Method and system of content-adaptive denoising for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
CN107454284A (zh) * 2017-09-13 2017-12-08 厦门美图之家科技有限公司 一种视频去噪方法及计算设备
CN109743473A (zh) * 2019-01-11 2019-05-10 珠海全志科技股份有限公司 视频图像3d降噪方法、计算机装置及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Non-local Mean Temporal Filter for Video Compressiong;Cheng Chen et al.;《2020 IEEE International Conference on Image Processing(ICIP)》;全文 *
AV1视频标准中的CDEF滤波器研究;罗瑜 张珍珍;《信息技术》;全文 *
可扩展视频编码中运动补偿时域滤波的改进;李俊 刘晓冬;《计算机应用与软件》;全文 *

Also Published As

Publication number Publication date
CN113612996A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113612996B (zh) 一种基于时域滤波的视频降噪的方法及装置
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
US20090290637A1 (en) Methods and Apparatus for Adaptive Reference Filtering
TW200535717A (en) Directional video filters for locally adaptive spatial noise reduction
WO2002102086A2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
CN110263699B (zh) 视频图像处理方法、装置、设备及存储介质
WO2006010276A1 (en) Apparatus and method for adaptive 3d artifact reducing for encoded image signal
JPH07203435A (ja) 歪んだ図形情報の強調方法及び装置
JP2002238049A (ja) 符号化歪み低減方法
EP1434442A2 (en) Advanced DCT-based video encoding method and apparatus
Soh et al. Reduction of video compression artifacts based on deep temporal networks
KR102182697B1 (ko) 영상 처리 장치 및 방법
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
Kim et al. Temporally x real-time video dehazing
CN108259791B (zh) 一种从视频文件中提取prnu噪声的方法
JP2001320713A (ja) 画像予備処理方法
CN113613005B (zh) 一种基于时域滤波的视频降噪的方法及装置
Jia et al. Real-time content adaptive contrast enhancement for see-through fog and rain
JPH0767176B2 (ja) 符号化雑音除去フィルタ
CN113012061A (zh) 降噪处理方法、装置及电子设备
CN111815659A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2017004883A1 (zh) 基于时域信息的自适应视频预处理方法
Wong et al. Turbo denoising for mobile photographic applications
CN112567722B (zh) 用于处理含有噪声的视频序列中的数据的方法和装置
KR102027886B1 (ko) 대형 디스플레이의 영상 크기 조절 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant