CN102186003A - 用于内容自适应空-时运动自适应噪声降低的方法和装置 - Google Patents

Abstract

根据一个实施例，公开了一种方法。该方法包括接收视频数据；测量该数据的运动移动的时间特征；测量该数据的按像素的空间内容特征；执行局部内容分析以分类像素；以及对像素执行噪声降低滤波。

Description

用于内容自适应空-时运动自适应噪声降低的方法和装置

本申请是申请日为2009年6月29日申请号为第200780048704.4号发明名称为“用于内容自适应空-时运动自适应噪声降低的方法和装置”的中国专利申请的分案申请。

发明领域

本发明涉及计算机系统，尤其涉及视频处理。

背景

降低噪声伪像(artifact)在视频处理领域是非常重要的因素。画面噪声是不期望的视觉现象，它由有缺陷的视频捕捉、传输、编码和存储过程引起。例如，在视频应用的接收端，通常应用噪声降低技术作为部分后处理滤波以提高画面质量。

当代媒体处理器通过使用诸如运动补偿、运动自适应、时间或空间滤波器之类的技术来降低噪声伪像。由于在运动搜索中花费的大量的计算和存储，用以算出最佳的时间相关从而降低噪声伪像，运动补偿方法一般实现最佳的滤波效果。

运动自适应和时间办法不需要像运动补偿那样大量的运动搜索。然而，时间处理中涉及的计算/存储的量却不是少量的。空间域办法是以画面质量为代价最节省计算的。

附图简述

本发明在附图中通过示例而非限制地示出，其中相同的附图标记指示相似的元件，附图中：

图1是计算机系统的一个实施例的框图；

图2是示出内容自适应空-时运动自适应噪声滤波的一个实施例的流程图；

图3示出噪声降低滤波器的一个实施例；以及

图4示出映射边缘检测度量相对于用于参考像素去除过程的阈值的示图的一个实施例。

详细描述

公开了一种用于降低存在于画面中的噪声的内容自适应空-时运动自适应机制。在一个实施例中，机制包括通过降低由视频捕捉、传输、编码和存储过程引起的噪声伪像来增强图像/视频视觉质量的组件；通过使用运动检测、边缘检测和奇异点检测选择噪声降低滤波器来提供内容分析的组件；提供噪声降低滤波以降低由奇异噪声像素引起的视觉降级的组件；通过空-时滤波器利用包括从空-时邻域选择的像素集合的参考像素降低噪声的组件；通过空间滤波器利用包括从空间邻域选择的像素集合的参考像素降低噪声的组件；以及利用边缘检测的信息使空-时/空间滤波器的滤波适应用于有噪声的画面的组件。

在本发明的以下详细描述中，阐述了很多特定细节以便提供对本发明的透彻理解。然而，对于本领域的技术人员显然易见的是没有这些特定细节也可实施本发明。在其它情况下，公知的结构和设备以框图形式而不详细地示出，以免淡化本发明。

在本说明书中对“一个实施例”或“一实施例”的引述表示结合该实施例描述的特定特征、结构、或特性包括在本发明的至少一个实施例中。在说明书的各位置出现的短语“在一个实施例中”不一定全指同一实施例。

以下的详细描述的某些部分是按照对计算机存储器内数据位的操作的算法和符号表示来介绍的。这些算法描述和表示是数据处理领域的技术人员用于向本领域的其它技术人员最有效地传达其工作实质的手段。在本文中且通常认为算法是导致期望结果的步骤的自相容序列。这些步骤需要对物理量的物理处理。通常，尽管并非必需，这些量采用能够被存储、传送、组合、比较和其它方式处理的电或磁信号形式。已经证明将这些信号称为位、值、元素、码元、字符、项、数字等有时是方便的，主要是出于通用的原因。

然而，应当铭记，所有这些和类似术语都与适当的物理量相关联且仅仅是应用于这些量的方便标志。除非具体说明否则，如从以下讨论所显而易见的，应意识到，贯穿说明书使用诸如“处理”、“计算”、“推算”、“确定”、“显示”等术语的讨论指的是计算机系统或类似的电子计算设备的动作和进程，它们将计算机系统寄存器和存储器内表示为物理(例如，电子)量的数据处理和/或变换成计算机系统存储器、寄存器或其他这种信息存储、传输或显示设备内类似地表示为物理量的其他数据。

本发明还涉及用于在本文中执行操作的装置。该装置可专门构造成用于所需目的，或者它可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可存储在计算机可读存储介质中，诸如但不限于包括软盘、光盘、CD-ROM和磁光盘的任意类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、或适用于存储电子指令且各自耦合到计算机系统总线的任意类型的介质。

本文中出现的算法和显示器不固有地关联于任何特定计算机或其它装置。各种通用系统可根据本文的教义与程序一起使用，或者可证明构造更为专用的装置来执行所需的方法步骤是方便的。用于多种这些系统的所需结构将从以下的描述中出现。此外，本发明不是参考任何具体编程语言描述的。将意识到可将多种编程语言用于实现如本文所述的本发明的教义。

编程语言的指令可由一个或多个处理设备(例如，处理器、控制器、控制处理单元(CPU))执行。

图1是计算机系统100的一个实施例的框图。计算机系统100包括耦合至互连105的中央处理单元(CPU)102。在一个实施例中，CPU 102是可从加利福尼亚州圣克拉拉的英特尔公司购买到的Pentium

IV处理器的Pentium

处理器家族中的处理器。或者，可使用其它CPU。例如，可将CPU 102实现为多个处理器或多个处理器核。

在又一个实施例中，芯片组107也耦合到互连105。芯片组107可包括存储器控制组件(MC)110。MC 110可包括耦合到主系统存储器115的存储器控制器112。主系统存储器115存储由CPU 102或系统100中包括的任何其它设备执行的数据和指令序列。

MC 110可经由集线器接口耦合到输入/输出控制组件(IC)140。IC 140向计算机系统100内的输入/输出(I/O)设备提供接口。IC 140可支持诸如外围组件互连(PCI)、加速图形端口(AGP)、通用串行互连(USB)、低引脚数(LPC)互连或任意其它类型的I/O互连(未示出)等I/O互连上的标准I/O操作。在一个实施例中，IC 140耦合到无线收发机160。

根据一个实施例，IC 140包括用于对所接收的视频数据执行内容自适应空-时运动自适应进程的指令集。然而，在其它实施例中，IC 140可包括用于执行该进程的硬件模块。在又一些实施例中，CPU 102可被实现成执行该进程。

图2是示出用于执行内容自适应空-时运动自适应噪声滤波的一个实施例的流程图。在处理框210，接收视频输入。在处理框220，测量按像素的空间内容特征，诸如边缘和奇异点。在处理框230，测量运动移动的按块的时间特征。

在处理框240，执行局部内容分析以将像素分成奇异像素、运动像素和静止像素。在处理框250，根据分类信息和内容测量信息将各种滤波技术应用于每种不同类别的像素，以便降低噪声伪像。在处理框260，从IC 140发送经处理的视频数据。以下更详细地描述各个处理220-250。

空-时运动检测

空时运动检测考虑时间和空间信息两者，以便更好地检测画面内容的运动。在一个实施例中，将进程实现为将时间差与局部空间复杂度相组合。给定当前目标像素的集合{c(x，y)}，围绕{c(x，y)}的毗邻像素的集合表示为{n(x，y)}，而前一画面中对应的像素的集合是{(p(x，y)}。

根据一个实施例，空间垂直复杂度测量(SVCM)定义为SVCM＝Norm{(n(x，y)-n(x，y+2))}，空间水平复杂度测量(SHCM)定义为SHCM＝Norm{(n(x，y)-n(x+1，y))}。此外，时间差测量(TDM)定义为TDM＝Norm{(n(x，y)-p(x，y))。在一个实施例中，范数(norm)测量是绝对差之和(SAD)以及最大绝对差(MAD)。

因此，空-时运动测量(STMM)定义为STMM＝C1*TDM/{(C2*SVCM+C3*SHCM)+C4，其中C1、C2、C3、C4是根据应用要求的预定义加权因数。在一个实施例中，STMM等于TDM的STMM简化版本是视频处理领域中运动检测的一般情况。STMM基于集合{c(x，y)}，且共用于{c(x，y)}中的每个像素。

空间内容测量

为了进行空间内容测量，为每个像素测量两个空间特征：边缘和奇异点。对于奇异点检测，考虑当前目标像素c(x，y)和紧邻像素的集合{n(x，y)}。如果对于{n(x，y)}中的每个像素n(x，y)，c(x，y)总是比n(x，y)大预定阈值数或总是比n(x，y)小于预定阈值数，则将c(x，y)定义为奇异像素。根据一个实施例，将紧接的8个毗邻像素用作{n(x，y)}的默认大小。

对于边缘检测，诸如索贝尔(Sobel)公式之类的公式用于估计边缘信息。索贝尔公式表示为

$E\_h=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ $E\_v=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

将一阶索贝尔边缘度量(EM)定义为：

EM(c(x，y))＝/n9(x，y)*E_h/+/n9(x，y)*E_v/

其中n9(x，y)是当前目标像素c(x，y)的3x3空间毗邻像素。

局部内容分析

为了进行局部内容分析，收集来自奇异点检测的信息。如果目标像素被标识为奇异像素，则目标像素被转发到噪声降低滤波器的奇异滤波器组件，如下更详细描述地。在一个实施例中，非奇异像素被转发用于运动测试，用于分类成运动像素类别或静止像素类别。

在非奇异目标像素c(x，y)和相关联的毗邻像素{n(x，y)}的示例中，如果周围像素中其STMM值大于预定阈值STMM_阈的像素的数目大于预定值数目_大_STMM_像素_阈，则c(x，y)被分类为运动像素。否则，非奇异c(x，y)被渲染为静止像素。实现运动测试的过程如下：

数目_大_STMM_像素(c(x，y))＝0

循环{n(x，y)}中的每个像素n(x，y){

If(STMM(n(x，y))＞STMM_阈)数目_大_STMM_像素(c(x，y))++；

}

If(数目_大_STMM_像素(c(x，y))＞数目_大_STMM_像素_阈)

像素c(x，y)是运动像素

Else c(x，y)是静止像素

在另一实施例中，STMM的总和用于{n(x，y)}的集合作为度量。实现运动测试的这个过程如下：

总和_STMM(c(x，y))＝0

循环{n(x，y)}中的每个像素n(x，y){

总和_STMM(c(x，y))+＝STMM(n(x，y))

}

If(总和_STMM(c(x，y))＞总和_STMM_阈)像素c(x，y)是运动像素

Else c(x，y)是静止像素(总和_STMM_阈是预定义阈值)

在本实施例中描述的运动测试技术是在以目标像素为中心的毗邻像素上获取的度量。在其它实施例中，简化且有效版本可用于基于预定义块的像素，因此该块内部的像素共享此共用运动度量。运动像素和静止像素被分别发送到噪声降低滤波器的空间滤波器和空-时滤波器组件。

噪声降低滤波器

如上所述，噪声降低滤波器250进程包括子进程。如图3所示，这些子进程包括奇异点滤波器进程351、空间滤波器进程352和空-时滤波器进程353。

奇异点滤波器351包括处理所检测的奇异像素的中值滤波器。在一个实施例中，滤波器支持的大小是5，且参考像素的集合是目标像素左、右、上和下的紧邻像素。在另一个实施例中，滤波器支持扩展至9，增加了紧接的右上、左上、右下和左下。

内容自适应滤波器352包括应用到所标识的运动像素的内容自适应、边缘保持空间滤波器。在进行滤波之前，基于像素差测量去除外部参考像素。考虑目标像素c(x，y)和相关联的空间毗邻像素集合{nS(x，y)}，进程被实现为如下：

在一个实施例中，新形成的{nS(x，y)}标示为{nS′(x，y)}。边缘_阈是基于目标像素的边缘检测测量的阈值，且映射在图4中描述。因此，空间滤波器(空间_滤波器)定义如下：

$\left(\frac{1}{\underset{n(x,y)\∈\left\{n{S}^{\′}(x,y)\right\}}{\mathrm{\Σ}}w\left(n(x,y)\right)}\right)\·(\underset{n(x,y)\∈\left\{n{S}^{\′}(x,y)\right\}}{\mathrm{\Σ}}w\left(n(x,y)\right)\·n(x,y))$

其中w(n(x，y))是加权因数。

内容自适应空-时滤波器352是通过将时间像素集合包括在参考像素考虑内实现的空间滤波器的扩展。在一个实施例中，前一/下一画面的毗邻像素中的像素集合标示为{nT(c(x，y))}。在这样的实施例中，以上参考目标像素c(x，y)描述的相同选择进程用于去除外部像素并形成新的参考像素的集合作为{nT′(c(x，y))。因此，空-时滤波器(空-时_滤波器)定义如下：

$\left(\frac{1}{\underset{n(x,y)\∈\left\{n{S}^{\′}(x,y)\right\}}{\mathrm{\Σ}}\mathrm{wS}\left(n(x,y)\right)+\underset{n(x,y)\∈\left\{n{T}^{\′}(x,y)\right\}}{\mathrm{\Σ}}\mathrm{wT}\left(n(x,y)\right)}\right)(\underset{n(x,y)\∈\left\{n{S}^{\′}(x,y)\right\}}{\mathrm{\Σ}}\mathrm{wS}\left(n(x,y)\right)\·n(x,y)+\underset{n(x,y)\∈\left\{n{T}^{\′}(x,y)\right\}}{\mathrm{\Σ}}\mathrm{wT}\left(n(x,y)\right)\·n(x,y))$

其中w(nS(x，y))是空间参考像素的加权因数以及

w(nT(x，y))是时间参考像素的加权因数。

上述通过组合局部空间信息与时间变化以估计视觉观看的效果来降低噪声伪像从而实现增强的视频质量。此外，实现空间和空-时滤波器技术用于通过使用空间边缘信息自适应地精化我们的空间和空-时滤波器，在噪声降低阶段保持锐度，从而实现更好的边缘保持噪声降低视觉质量机制。

尽管本发明的很多改变和修改在本领域的普通技术人员阅读上述描述之后无疑将变得显而易见，但应该理解经由说明示出和描述的任何具体实施例不应被认为是限制性的。因此，对各实施例的细节的参考不打算限制权利要求的范围，该权利要求仅列举认为是对本发明至为重要的那些特征。

Claims (19)

1.一种用于视频处理的方法，包括对视频数据执行局部内容分析以将像素分类为奇异像素、运动像素和静止像素。

2.如权利要求1所述的方法，其特征在于，还包括通过对所述奇异像素执行奇异点滤波、对所述运动像素执行空间滤波以及对所述静止像素执行空时滤波来对所述像素执行噪声降低滤波。

3.如权利要求2所述的方法，其特征在于，还包括：

在执行所述局部内容分析之前测量所述视频数据的运动移动的时间特征；以及

测量所述数据的按像素的空间内容特征。

4.如权利要求3所述的方法，其特征在于，测量按像素的空间内容特征包括测量边缘内容特征和奇异点内容特征。

5.如权利要求4所述的方法，其特征在于，测量奇异点内容特征包括检查当前目标像素和紧邻像素。

6.如权利要求3所述的方法，其特征在于，测量运动移动包括检查时间和空间信息。

7.如权利要求6所述的方法，其特征在于，还包括组合时间差信息和局部空间复杂度信息。

8.如权利要求6所述的方法，其特征在于，执行局部内容分析包括测量所述运动移动的按块的时间特征以分类所述像素。

9.一种视频处理器，包括对视频数据执行局部内容分析以将像素分类为奇异像素、运动像素和静止像素的组件。

10.如权利要求9所述的视频处理器，其特征在于，还包括通过对所述奇异像素执行奇异点滤波、对所述运动像素执行空间滤波以及对所述静止像素执行空时滤波来对所述像素执行噪声降低滤波的组件。

11.如权利要求10所述的视频处理器，其特征在于，还包括：

在执行所述局部内容分析之前测量所述视频数据的运动移动的时间特征的组件；以及

测量所述数据的按像素的空间内容特征的组件。

12.如权利要求11所述的视频处理器，其特征在于，所述测量按像素的空间内容特征的组件测量边缘内容特征和奇异点内容特征。

13.如权利要求12所述的视频处理器，其特征在于，所述测量奇异点内容特征的组件检查当前目标像素和紧邻像素。

14.如权利要求11所述的视频处理器，其特征在于，所述测量运动移动的组件检查时间和空间信息。

15.如权利要求14所述的视频处理器，其特征在于，还包括组合时间差信息和局部空间复杂度信息的组件。

16.一种用于视频处理的装置，包括对视频数据执行局部内容分析以将像素分类为奇异像素、运动像素和静止像素的装置。

17.如权利要求16所述的装置，其特征在于，还包括通过对所述奇异像素执行奇异点滤波、对所述运动像素执行空间滤波以及对所述静止像素执行空时滤波来对所述像素执行噪声降低滤波的装置。

18.如权利要求16所述的装置，其特征在于，还包括：

在执行所述局部内容分析之前测量所述视频数据的运动移动的时间特征的装置；以及

测量所述数据的按像素的空间内容特征的装置。

19.如权利要求18所述的装置，其特征在于，测量运动移动包括检查时间和空间信息。

Images