CN104104843A - 用于视频处理的有效的2d自适应噪声阈值 - Google Patents

Abstract

本发明用于图像处理的有效的2D自适应噪声阈值化，本公开的各种实施方式提供用于进行视频去噪（VDN）的技术。自适应噪声阈值被动态地确定，并且被用于将与图像运动有关的像素值中的逐帧差值和与噪声有关的那些差值进行区分。所公开的技术使得能够连续地更新噪声阈值，例如每帧一次那样频繁地更新，使得噪声阈值可以密切跟踪输入视频数据中的噪声的变化水平。该技术可以被实现在例如视频格式转换装置中。有利地，该技术可以被并入可配置为进行视频格式转换的可编程逻辑器件（PLD）或者现场可编程门阵列（FPGA）中，而仅仅对装置添加适度额外的计算需求。

Description

用于视频处理的有效的2D自适应噪声阈值

相关申请的交叉引用

本申请要求2013年4月5日提交的标题为“EFFICIENT2DADAPTIVE NOISE THRESHOLDING FOR VIDEO PROCESSING”的美国专利申请13/857,773和作为部分继续申请的2014年2月25日提交的标题为“EFFICIENT2D ADAPTIVE NOISE THRESHOLDINGFOR VIDEO PROCESSING”的美国专利申请14/189,534的优先权的权益，两者的整体内容为了全部目的通过引用合并于此。

技术领域

本公开总体涉及视频处理，并且更具体地，涉及动态调节用于区分与图像运动有关的像素值中的逐帧差值和与噪声有关的那些差值的阈值的技术。

背景技术

视频数据（例如包括由视频摄像机输出的数据）的处理可以包括各种类型的格式转换以及噪声检测和/或噪声抑制。

图像格式转换是各种视频摄像机和视频显示器中普遍使用的功能，并用于广播基础设施系统，诸如服务器、交换机、头端编码器和专业工作室显示器。图像格式转换应用例如可以包括交错式或者渐进式格式中的标清和高清视频流的向上、向下和交叉转换。格式转换应用可以转换在串行数字接口（SDI）或者数字视频接口（DVI）上接收到的一个或者更多个视频通道的图像格式。接收到的视频可以是标清（SD）、高清（HD）或者3G-SDI（全HD）。经转换的图像可以被混合并且通过用户可选择的输出（诸如SDI、DVI或者高清多媒体接口（HDMI））来显示。图像格式转换应用可以例如被并入在可编程逻辑器件（PLD）或者现场可编程门阵列（FPGA）的知识产权（IP）模块或者IP块中。

视频摄像机输出的视频数据通常包含某些数量的零均值高斯噪声，其可以被称为“白噪声”。白噪声特征性地逐帧在像素值上产生小的随机差值，其不是由于由像素描绘的图像元素的运动引起的。为了提高图像质量，期望的是在不扭曲由图像元素的运动导致的逐帧值像素差值的情况下抑制噪声。至少由于图像元素运动和噪声，像素值的逐帧差值通常在时间和空间这两者上以非确定性方式改变。因此，区分由噪声导致的差值和由图像元素的运动导致的差值可能是具有挑战性的。

因此，以下描述的各个实施方式尝试改进区分与图像运动有关的像素的逐帧差值和与噪声有关的差值的技术。

发明内容

本发明公开了自动并且动态地确定用于区分与图像运动有关的像素值中的逐帧差值和与噪声有关的那些差值的阈值（“噪声阈值”）从而进行视频降噪（VDN）的技术。

自适应噪声阈值可以被动态地确定，并且被用于将与图像运动有关的像素值中的逐帧差值和与噪声有关的那些差值进行区分的技术。所公开的技术使得能够连续地更新噪声阈值，例如每帧一次那样频繁地更新，使得噪声阈值可以密切跟踪输入视频数据中的噪声的变化水平。该技术可以被实现在例如视频格式转换装置中。有利地，该技术可以被并入可配置为进行视频格式转换的可编程逻辑器件（PLD）或者现场可编程门阵列（FPGA）中，而仅对装置添加适度额外的计算需求。

在本发明的以下说明和附图中将详细呈现这些特征以及其它特征，以下说明和附图通过示例方式说明本发明的原理。

附图说明

通过以下描述，结合附图，可以最佳地理解以上技术和机制，以及本公开的其它特征、实施例和优点，其描述本技术和机制的各种实施例。在附图中，具有相同或者类似功能的结构元件由相同的附图标记表示。

图1示出视频处理装置的示例框图。

图2A和图2B示出根据实施方式的处理流程图的示例。

图3示出根据实施方式的处理流程图的示例。

具体实施方式

本公开的各个实施例提供用于自动并且动态地确定用于区分与图像运动有关的像素值中的逐帧差值和与噪声有关的那些差值的阈值（“噪声阈值”）的技术。

所公开的技术使得能够连续更新噪声阈值，例如每帧一次那样频繁地更新，使得噪声阈值可以密切跟踪输入视频数据中的噪声的变化水平。该技术可以被实现在例如视频格式转换装置中。有利地，该技术可以被并入可配置为进行视频格式转换的可编程逻辑器件（PLD）或者现场可编程门阵列（FPGA）中，而仅仅对装置添加适度额外的计算需求。

首先通过参考图1，可以更好地理解所公开的技术，图1示出视频处理装置的示例。装置101可以被配置为接收来自输入图像源（未示出）的视频数据的多个输入帧。在实施方式中，多个输入帧可以按照时间序列排列。输入图像源可以包括该装置的另一部件，例如，装置的存储器或者输入器件。另外，或者可替换地，输入图像源可以部分地或者整体地位于该装置的外部。例如，输入图像源可以通过广播或者蜂窝网络或者因特网耦合到该装置。

视频处理装置101可以被配置为进行图像格式转换，例如，交错式或者渐进式格式的标清和高清视频流的上转换、下转换、和交叉转换。视频处理装置101可以转换在串行数字接口（SDI）或者数字视频接口（DVI）上接收到的视频的一个或者更多个视频通道的图像格式。接收到的视频数据可以是例如按照RGB或者YCbCr格式编码的标清（SD）、高清（HD）或者SG-SDI（全HD）。经转换的图像可以被混合并且通过用户可选择的输出（诸如SDI、DVI或者高清多媒体接口（HDMI））被显示。更具体地，视频处理装置101可以被配置为对所接收的视频数据的输入帧进行噪声抑制或者视频降噪（VDN）。

可以逐帧来接收输入帧，例如，其中每个输入帧都包括数个输入像素。视频处理装置101可以被配置为针对每个输入帧产生视频数据的输出帧，该视频数据的输出帧已经根据目前所公开的技术进行VDN。在实施方式中，通过逐像素地确定输入帧的像素值和基准帧的像素值之间的差值是否归因于噪声而非归因于由像素描绘的图像元素的运动来进行VDN。有利地，如以下所述，参考动态更新的噪声阈值来进行确定。例如，仅仅当输入帧的图像数据的部分中的每个像素的像素值相对于基准帧的对应像素的像素值之间的差值的绝对值的总和（SAD）的计算值不超过动态调整的噪声阈值时，输入像素可以被识别为受益于VDN。接着，针对每个输入帧，通过仅对被识别为受益于VDN的输入像素应用VDN，可以产生输出帧。

帧中的每个像素可以具有由帧内的像素的空间（x，y）坐标以及由像素的时间坐标限定的空间坐标位置，像素的时间坐标可以由帧编号限定。例如，仍参考图1，输入帧“i”中的像素115可以被标识为（3，2，i）。位于相同空间（x，y）坐标处的输入帧“j”中的像素125可以被称作对应于像素115，并且被标识为（3，2，j）。类似地，输出帧“j+1”中的像素126可以被标识为（3，2，j+1），并且可以被称作对应于像素116（3，2，i+1）。尽管为了清晰的说明，每个示出的视频帧仅仅包括16个像素，但是可以理解的是，当前所公开的技术可以有利地用于每个帧包括任意大数量的像素的视频帧。

现在参考图2A和图2B，将描述根据实施方式进行VDN的过程的示例。首先参考图2A，在实施方式中，可以由图1所示的视频处理装置101来进行VDN方法200。

该方法可以在框210处以接收视频数据的输入帧开始，该输入帧包括多个输入像素。可以接收来自包括电子显示器的装置的另一个部件（例如，装置的存储器或者输入器件）的输入帧。另外，或者可替换地，输入帧的源可以位于装置的外部。例如，输入图像源可以通过广播或者蜂窝网络或者因特网耦合到装置。

在框220处，可以产生视频数据的输出帧。该输出帧可以包括其中至少一些已经进行根据图2B所示的方法进行VDN的输出像素。

现在转到图2B，可以将输入帧作为图像数据的连续的多个“部分”来处理。在框221处接收到的每个部分可以包括输入像素，可以根据当前所公开的技术来调整该输入像素的值以产生输出像素。将理解的是，本文和权利要求使用的术语像素“值”可以包括表征与该像素相关的图像数据的一个或者更多个数值。例如，像素值可以包括关于RGB或者YCbCr颜色空间的一个或者更多个分量的信息。

每个部分还可以包括与输入像素相邻的多个像素。例如，图像数据的部分可以由3×3像素阵列组成。再次参考图1以及以上描述的术语，当输入像素是位于（3，2）处的像素115时，与像素115一起待接收的图像数据的部分可以包括位于（2，1）、（2，2）、（2，3）、（3，1）、（3，3）、（4，1）、（4，2）和（4，3）处的像素。尽管为了简化，本文描述3×3像素阵列组成图像数据部分，但是图像数据部分可以替代地包括更大尺寸的像素阵列。此外，图像数据部分不必是正方形的。矩形或者近似六边形、八边形、圆形或者椭圆形部分都可以预期。

在框221处，可以将计数器设置为零，其中如下所述，可以针对当前输入帧中的进行VDN的每个像素而递增计数器。

在框222处，可以进行图像数据部分的分析，该分析包括计算输入帧的图像数据部分中的每个像素的像素值相对于基准帧的对应像素的像素值之间的差值总和（SD）以及差值的绝对值总和（SAD）。在实施方式中，基准帧可以是紧位于输入帧之前的帧。然而，基准帧可以是在输入帧的之前或者之后的数据的任何相邻帧或者接近相邻帧。在实施方式中，基准帧可以是从VDN的应用中得到的之前产生的输出帧。为了简要阐述，可以下文中和权利要求中使用术语SAD。然而，应理解的是，在一些实施方式中可以使用等同技术，诸如平方和误差（SSE）等，并且本文公开的以及在权利要求中引用的示例实施方式不限于基于SAD的差值测量。在框222之后，该过程可以并行地进行框223和框227。

在框223，可以进行图像数据的部分是否包括边缘的确定。可以预期任何类型的边缘检测算法来形成框223的一部分。例如，在实施方式中，输入（和基准）帧的3×3部分可以乘以下列矩阵： $\left[\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right]$ 以获得所计算的边缘检测值。在纯平（flat）彩色的区域中，全部像素可以粗略具有相同值，八个-1抵消中间的单个+8，以产生所计算的接近于零的计算边缘检测值。在具有边缘的区域中，该值将不能抵消，并且所计算的边缘检测值将是充分大于零的值。为了确定边缘的存在，用户可以设置量化边缘阈值，计算边缘检测值可以与其进行比较。

当确定图像数据的部分包括边缘时，该过程可以进行到框229。

另一方面，当确定计算的边缘检测值没有指示存在边缘时，该过程可以进行到框224，其中确定SAD是否充分大于SD。例如，可以将计算的SAD值与计算的SD值的N倍比较。在实施方式中，N可以是5到50之间的整数。有利地，N可以是2n，其中‘n’等于例如4。当确定SAD不超过N×SD时，则可以做出输入像素值和基准帧的对应像素值之间的差值可归因于由像素描绘的图像元素的运动的结论。因此，对该像素处的噪声值进行采样将没有益处，并且该过程可以直接进行到框229。

在另一方面，当在框224处确定计算的SAD值超过N×SD时，可以做出输入像素值和基准帧的对应像素值之间的差值可归因于噪声的结论。因此，该过程可以进行到框225，其中将SAD与当前阈值噪声水平比较。如果发现SAD超过当前阈值噪声水平，则该过程可以进行到框226，否则该过程可以进行到框229。

在框226处，可以递增计数器，并且该过程可以进行到框229。

在与框223到226并行的框227处，可以将SAD与当前阈值噪声水平比较。如果发现SAD超过当前阈值噪声水平，则该过程可以进行到框229。在另一方面，当在框227处确定计算的SAD值没有超过阈值噪声水平时，可以做出输入像素值和基准帧的对应像素值之间的差值可归因于噪声的结论。因此，在进行到框229之前，该过程可以进行到框228，其中输入像素可以被识别为被选择进行VDN。

在框229，可以确定当前输入帧中是否存在额外的输入像素。当确定不存在额外的输入像素时，该过程可以进行到框231，其中可以通过仅在所选择的输入像素上进行VDN而产生输出帧。例如，针对每个选择的输入像素，对应的输出像素可以被指定等于两个或者更多个邻近帧中的对应像素的平均值的值。另外，或者可替换地，用于VDN的其它技术也可以应用于框231。在框231之后，该过程可以进行到框235（图2A）。

另一方面，当确定当前输入帧中存在额外的输入像素时，该过程可以进行到框230。在框230处，可以接收图像数据的下一个部分，其包括下一个输入像素和与下一个输入像素相邻的像素，并且可以利用框222-229进行该过程。

再次参考图2A，在框235a处，可以确定是否存在额外的输入帧。当确定不存在额外的输入帧时，该过程可以停止（框290）。

在另一方面，当确定存在额外的输入像素时，该过程可以进行到框240。在框240处，可以将当前计数器值与计数下限进行比较。当确定当前计数器值小于计数下限时，该过程可以进行到框260。在框260，可以递减噪声阈值，并且该过程可以进行到框280。

在另一方面，当确定当前计数器值小于计数下限时，该过程可以进行到框250。在框250，可以将当前计数器值与计数上限比较。当确定当前计数器值大于计数上限时，该过程可以进行到框270。在框270，可以递增噪声阈值，并且该过程可以进行到框280。

在框280处，可以接收视频数据的下一个输入帧，并且该过程可以进行到框220。

现在参考图3，其将描述用于进行VDN的过程的另一个示例。过程300可以在框310处开始于接收视频数据的多个输入帧。每个输入帧可以包括多个输入像素。每个输入像素可以由各自的像素值来表征。

在框320处，可以计算绝对差值总和（SAD）。可以针对每个输入帧的至少一部分和基准帧的至少一个对应部分计算SAD。输入帧的每个部分可以包括输入像素的第一子集，并且基准帧的每个对应部分可以包括输入像素的第二子集。SAD可以是输入像素的第一子集的相应像素值和输入像素的第二子集的相应像素值之间的绝对差值的总和。

在框330处，可以确定第一子集的第一像素的第一相应像素值和第二子集中的对应像素的第二相应像素值之间的差值是否由噪声导致。该确定可以通过比较SAD和动态调整的噪声阈值得到。

在框340处，仅当SAD超过动态调整的噪声阈值时，输入像素可以被识别为受益于视频降噪（VDN）。

在框350处，针对每个输入帧，可以通过仅对被识别为受益于VDN的输入像素应用VDN而产生输出帧。

上述该过程可以由视频处理装置控制或者执行，其可以包括控制器，该控制器包括一个或者更多个可编程逻辑器件或者可编程门阵列。应理解的是，控制器可以被实现为电子硬件、计算机软件或者这两者的组合。可以利用通用单芯片或多芯片处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列、可编程逻辑器件、分立门或者晶体管逻辑、分立硬件部件或者其任意组合来实现或者进行用于实现各个实施方式的硬件和数据处理装置。

在一个或者更多个方面，所描述的功能可以被实现在硬件、数字电子电路、计算机软件、固件（包括本说明书中公开的结构以及其结构等同物）或者以其任意组合中。本说明书中描述的主题的实施方式也可以作为一个或者更多个计算机程序实现，即计算机程序指令的一个或者更多个模块，在计算机存储介质上编码，以被数据处理装置执行或者以控制数据处理装置。

如果在软件中实现，功能可以作为一个或者更多个指令或者代码存储在计算机可读介质上。此处公开的方法或者算法的步骤可以在驻留在计算机可读介质上的处理器可执行软件模块中实现。计算机可读介质包括计算机存储介质和通信介质两者，通信介质包括能够将计算机程序从一个地方传送到另一个地方的任何介质。存储介质可以是可以被计算机存取的任何可用介质。通过示例，并且不限制，这些计算机可读介质可以是非瞬时的并且可以包括RAM、ROM、EEPROM、CD-ROM或者其它光盘存储、磁盘存储或者其它磁存储装置，或者可以用于以指令或者数据结构的形式存储期望程序代码并且可以被计算机存取的任何其它介质。并且任何连接可以被适当地作为为计算机可读介质。如本文所用的，磁盘和光碟包括致密盘（CD）、激光盘、光盘、数字通用盘（DVD）、软盘和蓝光盘，并且磁盘（disk）通常磁性地再现数据，而光碟用激光光学地再现数据。以上的组合也可以被包括在计算机可读介质的范围内。另外，方法或者算法的操作可以驻留作为机器可读介质和计算机可读介质上的代码和指令中的一个或者任意组合或者集合，其可以包括在计算机程序产品中。

因而，公开了用于动态地调整用于区分与图像运动有关的像素值的逐帧差值和与噪声有关的那些差值的阈值的技术。

尽管为了清楚和理解的目的通过图示和示例详细描述了以上系统和方法，将认识到的是，以上描述的系统和方法可以在多个其它变形和实施例中体现，并不脱离系统和方法的精神或者实质特征。可以进行某些变化和修改，并且应理解系统和方法不限于以上细节，而是由所附的权利要求的范围限定。

Claims (15)

1.一种用于处理视频数据的方法，所述方法包括：

在视频处理装置接收视频数据的多个输入帧，每个输入帧包括多个输入像素，每个输入像素由相应像素值来表征，所述视频处理装置：

针对每个输入帧的至少一部分和基准帧的至少一个对应部分计算输入像素的第一子集的所述相应像素值与输入像素的第二子集的所述相应像素值之间的绝对差值的总和即SAD，所述输入帧的每个部分包括输入像素的所述第一子集，并且所述基准帧的每个对应部分包括输入像素的所述第二子集；以及

针对每个输入帧，仅仅对所述SAD不超过动态调整的噪声阈值的那些输入像素应用视频去噪即VDN，从而产生输出帧。

2.根据权利要求1所述的方法，进一步包括：

确定所述第一子集的第一像素的第一相应像素值和所述第二子集中的对应像素的第二相应像素值之间的差值是否由噪声导致，其中所述确定通过将所述SAD与所述动态调整的噪声阈值比较而得到；

仅当所述SAD不超过所述动态调整的噪声阈值时，将所述输入像素识别为受益于视频降噪即VDN。

3.根据权利要求1所述的方法，进一步包括：

计算输入像素的所述第一子集的所述相应像素值和输入像素的所述第二子集的所述相应像素值之间的差值总和即SD；以及

当所述输入帧的部分不包括边缘并且SAD充分大于SD以及SAD大于当前噪声阈值时，递增所述SAD大于当前噪声阈值的每个帧的像素数量的计数。

4.根据权利要求3所述的方法，其中所述动态调整的噪声阈值通过迭代比较所述SAD大于所述当前噪声阈值的每个帧的像素数量的所述计数得到，并且当所述计数超过所述计数阈值时，递增所述当前噪声阈值，并且当所述计数小于所述计数阈值时，递减所述噪声阈值。

5.根据权利要求4所述的方法，其中所述动态调整的噪声阈值通过迭代地将所述计数与计数下限以及与计数上限比较得到，当所述计数超过所述计数上限时，递增所述噪声阈值，并且当所述计数小于计数下限时，递减所述噪声阈值。

6.根据权利要求5所述的方法，其中VDN包括指定输出像素值等于至少两个相邻帧中对应像素的平均值。

7.根据权利要求1所述的方法，其中所述每个输入帧的至少一部分是以所述第一像素为中心的多个像素。

8.根据权利要求7所述的方法，其中所述每个输入帧的至少一部分包括近似于以下形状中的一个或多个的形状：矩形、六边形、八边形、圆形或者椭圆形。

9.根据权利要求1所述的方法，其中所述基准帧在所述输入帧之前。

10.根据权利要求9所述的方法，其中所述基准帧紧位于所述输入帧之前。

11.根据权利要求1所述的方法，其中所述基准帧是通过应用VDN得到的先前产生的输出帧。

12.一种视频处理装置，该视频处理装置包括处理器用于：

接收视频数据的多个输入帧，每个输入帧包括多个输入像素，每个输入像素由相应像素值来表征；

针对每个输入帧的至少一部分和基准帧的至少一个对应部分计算输入像素的第一子集的所述相应像素值与输入像素的第二子集的所述相应像素值之间的绝对差值的总和即SAD，所述输入帧的每个部分包括输入像素的所述第一子集，并且所述基准帧的每个对应部分包括输入像素的所述第二子集；以及

针对每个输入帧，仅仅对所述SAD不超过动态调整的噪声阈值的那些输入像素应用视频去噪即VDN，从而产生输出帧。

13.根据权利要求12所述的装置，其中所述处理器：

计算输入像素的所述第一子集的所述相应像素值和输入像素的所述第二子集的所述相应像素值之间的差值总和即SD；以及

当所述输入帧的部分不包括边缘，SAD充分大于SD并且SAD大于当前噪声阈值时，递增所述SAD大于当前噪声阈值的每个帧的像素数量的计数。

14.根据权利要求12所述的装置，其中所述动态调整的噪声阈值通过迭代比较所述SAD大于所述当前噪声阈值的每个帧的像素数量的所述计数得到，并且当所述计数超过所述计数阈值时，递增所述当前噪声阈值，并且当所述计数小于所述计数阈值时，递减所述噪声阈值。

15.根据权利要求14所述的装置，其中所述动态调整的噪声阈值通过迭代地将所述计数与计数下限以及与计数上限比较得到，当所述计数超过所述计数上限时，递增所述噪声阈值，并且当所述计数小于计数下限时，递减所述噪声阈值。