CN101584204B - 用于数字画面的内容自适应细节滤波的方法和装置 - Google Patents

Abstract

根据一个实施例，公开了一种方法。该方法包括接收视频数据；对数据执行预滤波；执行内容分析以标识数据的区域；应用二维(2-D)二阶梯度运算以提取高频分量；以及关于来自先前画面的高频信息归一化该高频分量。

Description

用于数字画面的内容自适应细节滤波的方法和装置

发明领域

本发明涉及计算机系统，尤其涉及视频处理。

背景

图像增强在视频处理领域是重要的因素。在图像/视频应用的终端用户方，通常应用图像增强技术作为部分后处理滤波以提高画面质量。常规的媒体处理器通过放大高频分量以增加画面内容的细节/锐度来提高画面质量。遗憾的是，盲目地放大高频分量由于画面内容的噪声细节的放大而导致不期望的画面质量。

附图简述

本发明在附图中通过示例而非限制地示出，其中相同的附图标记指示相似的元件，附图中：

图1是计算机系统的一个实施例的框图；

图2是示出执行细节滤波的一个实施例的流程图；

图3是示出执行细节滤波的另一个实施例的流程图；

图4示出用于中心目标像素的高频分量提取进程的等式和像素位置的一个实施例；以及

图5示出常规边缘检测度量上映射边缘检测对滤波加权的示图的一个实施例。

详细描述

公开了一种内容自适应细节滤波机制。在一个实施例中，该机制包括应用于视频、图像、显示和媒体处理器领域中的后处理系统的组件。在一个实施例中，该组件包括通过内容自适应滤波增加画面细节/锐度来增强图像/视频视觉质量的进程；通过利用边缘检测和噪声检测以适配细节滤波的使用来提供内容分析的进程；通过利用预处理滤波改善边缘检测和噪声检测来提供更好/准确的内容分析的进程；通过所提出的二维(2-D)二阶导数公式提取高频分量来提供细节滤波的进程；通过从先前画面检测出的高频分量的最大值归一化滤波量来提供细节滤波的进程；根据噪声检测或从先前画面检测出的高频分量的最大值的一部分修改滤波量来提供细节滤波的进程；以及通过允许终端用户指定滤波增益因数来修改滤波量以实现用户偏好来提供细节滤波的进程。

在本发明的以下详细描述中，阐述了很多特定细节以便提供对本发明的透彻理解。然而，对于本领域的技术人员显然易见的是没有这些特定细节也可实施本发明。在其它情况下，公知的结构和设备以框图形式而不详细地示出，以免淡化本发明。

在本说明书中对“一个实施例”或“一实施例”的引述表示结合该实施例描述的特定特征、结构、或特性包括在本发明的至少一个实施例中。在说明书的各位置出现的短语“在一个实施例中”不一定全指同一实施例。

以下的详细描述的某些部分是按照对计算机存储器内数据位的操作的算法和符号表示来介绍的。这些算法描述和表示是数据处理领域的技术人员用于向本领域的其它技术人员最有效地传达其工作实质的手段。在本文中且通常认为算法是导致期望结果的步骤的自相容序列。这些步骤需要对物理量的物理处理。通常，尽管并非必需，这些量采用能够被存储、传送、组合、比较和其它方式处理的电或磁信号形式。已经证明将这些信号称为位、值、元素、码元、字符、项、数字等有时是方便的，主要是出于通用的原因。

然而，应当铭记，所有这些和类似术语都与适当的物理量相关联且仅仅是应用于这些量的方便标志。除非具体说明否则，如从以下讨论所显而易见的，应意识到，贯穿说明书使用诸如“处理”、“计算”、“推算”、“确定”、“显示”等术语的讨论指的是计算机系统或类似的电子计算设备的动作和进程，它们将计算机系统寄存器和存储器内表示为物理(例如，电子)量的数据处理和变换成计算机系统存储器、寄存器或其他这种信息存储、传输或显示设备内类似地表示为物理量的其他数据。

本发明还涉及用于在本文中执行操作的装置。该装置可专门构造成用于所需目的，或者它可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可存储在计算机可读存储介质中，诸如但不限于包括软盘、光盘、CD-ROM和磁光盘的任意类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、或适用于存储电子指令且各自耦合到计算机系统总线的任意类型的介质。

本文中出现的算法和显示器不固有地关联于任何特定计算机或其它装置。各种通用系统可根据本文的教义与程序一起使用，或者可证明构造更为专用的装置来执行所需的方法步骤是方便的。用于多种这些系统的所需结构将从以下的描述中出现。此外，本发明不是参考任何具体编程语言描述的。将意识到可将多种编程语言用于实现如本文所述的本发明的教义。

编程语言的指令可由一个或多个处理设备(例如，处理器、控制器、控制处理单元(CPU))执行。

图1是计算机系统100的一个实施例的框图。计算机系统100包括耦合至互连105的中央处理单元(CPU)102。在一个实施例中，CPU 102是可从加利福尼亚州圣克拉拉的英特尔公司购买到的Pentium

IV处理器的Pentium

处理器家族中的处理器。或者，可使用其它CPU。例如，可将CPU 102实现为多个处理器或多个处理器核。

在又一个实施例中，芯片组107也耦合到互连105。芯片组107可包括存储器控制组件(MC)110。MC 110可包括耦合到主系统存储器115的存储器控制器112。主系统存储器115存储由CPU 102或系统100中包括的任何其它设备执行的数据和指令序列。

MC 110可经由集线器接口耦合到输入/输出控制组件(IC)140。IC 140向计算机系统100内的输入/输出(I/O)设备提供接口。IC 140可支持诸如外围组件互连(PCI)、加速图形端口(AGP)、通用串行互连(USB)、低引脚数(LPC)互连或任意其它类型的I/O互连(未示出)等I/O互连上的标准I/O操作。在一个实施例中，ICH 140耦合到无线收发机160。

根据一个实施例，IC 140包括执行视频数据的内容自适应细节滤波的指令集。然而，在其它实施例中，IC 140可包括用于执行该进程的硬件模块。在又一些实施例中，CPU 102可被实现成执行该进程。

图2是示出执行细节滤波的一个实施例的流程图。在处理框210，接收视频输入。在处理框220，执行预滤波以平滑画面。在处理框230，应用内容分析以标识诸如边缘区之类的感兴趣的区域。在处理框240，应用2-D二阶梯度运算以提取高频分量。

在处理框250，关于来自先前画面的同一高频信息，归一化高频分量。在处理框255，通过边缘检测的结果精化调节量。在处理框260，从ICH 140发送经处理的视频数据。以下更详细地描述各个处理220-255。

根据又一个实施例，向用户提供参数设置以按用户偏好选择精化量。图3是示出结合用户偏好执行细节滤波的另一个实施例的流程图。在处理框320，乘法器被应用于精化值以提供基于用户定义的增益因数的调节。在处理框325，执行限幅(clipping)。在一个实施例中，限幅基于在细节滤波期间处理的3x3毗邻像素的局部最大和局部最小。在处理框330，将经调节的值加至视频输入。在处理框340，在转发到视频输出之前执行第二限幅操作。

预滤波

使用低通预处理器去除噪声改进了画面分析的准确度。根据一个实施例，利用权重w实现2-D预边缘滤波器。在又一个实施例中，可将2-D滤波器分解成两个1-D滤波器以减少运算的数量。这可表示为：

预_边缘_滤波器_权重 $w=\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right]*\left[\begin{array}{ccc}1& 2& 1\end{array}\right]$

考虑具有3x3相邻像素NH9(x)的目标像素x，预边缘滤波器的输出由以下表示：

在以上的等式2中，对于等式1中的预_边缘_滤波器_权重的和，∑w(x)＝16。最后一项1/2·∑w(x)用于舍入目的。以上的公式由于简单的复杂度而包括在本实施例中。然而，在其它实施例中，可应用其它的预处理器技术。

内容分析-边缘保护

根据一个实施例，将边缘检测用作内容分析进程以标识有兴趣将被应用于细节滤波的像素。在这一实施例中，以下示出的索贝尔边缘算子被用作四个方向中的边缘检测进程。

$E\_h=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ $E\_v=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $E\_P45=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right]$ $E\_N45=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]$

目标像素x的边缘度量(EM)用公式表示为等式3中的权重与其3x3毗邻NH9(x)的卷积

EM(x)＝|NH9(x)*E_h|+|NH9(x)*E_v|＝|NH9(x)*E_P45|+|NH9(x)*E_N45|

根据一个实施例，对于大多数应用，使用两个方向(例如，E_v和E_h)可能就足够了。在45度的检测以更大的计算复杂度进一步改善了边缘检测。

高频分量提取

在一个实施例中，以上示出的2-D公式在等式5中用于提取高频分量。图4示出高频分量。如图4所示，高频分量被表示为中心像素Xc的σ

精化

精化进程包括两个修改进程：归一化和边缘自适应。在一个实施例中，σ(Xc)由先前画面的σ值的最大值σ_最大_先前来归一化，使得：

临时_σ(Xc)＝C*(σ(Xc)/σ_最大_先前-δ)

在一个实施例中，可由用户指定的参数C是来自边缘检测的权重。在这一实施例中，像素被分类为强边缘像素、弱边缘像素和非边缘像素。随后，根据像素的边缘性质指派C值。图5示出常规边缘检测度量上映射边缘检测对滤波加权的示图的一个实施例。如图5所示，低边缘像素未被高频测量所修改。

等式7中的δ是以上高频分量提取的阈值，其中此修改被添加到重构。在一个实施例中，该进程由噪声检测水平设置。然而，本文中没有描述这一进程，以免使本发明的范围混淆。因此，在本实施例中，将σ_最大_先前的10％用作阈值。

用户偏好

如上所述，这可以通过允许终端用户指定滤波增益因数来修改滤波量以实现用户偏好来提供。在这一实施例中，调节的量导致等式8中表示的最终调节：

最终_σ(Xc)＝K*临时_σ(Xc)

在一个实施例中，参数K是用户选择的常数。此外，在等式9中表示为：

输出(Xc)＝限幅(Xc+最终_σ(Xc)

其中如果x＞255则限幅(x)＝255，如果x＜0则限幅(x)＝0，否则限幅(x)＝x。

上述机制通过用边缘检测利用局部空间内容信息来适配高频分量调节以提供画面细节的适度增强，由此实现提高的画面质量。此外，预滤波进程提取更可靠的高频分量和更准确的内容分析。此外，应用有效的高频分量提取限幅以避免在产生输出时下溢或溢出，进程实现二维2阶导数公式以滤掉高频分量从而示出画面的细节。此外，通过允许用户指定用于实现用户所要求的观看体验的增益因数而允许用户配置各种应用。

尽管本发明的很多改变和修改在本领域的普通技术人员阅读上述描述之后无疑将变得显而易见，但应该理解经由说明示出和描述的任何具体实施例不应被认为是限制性的。因此，对各实施例的细节的参考不打算限制权利要求的范围，该权利要求仅列举认为是本发明必不可少的那些特征。

Claims (13)

1.一种视频处理方法，包括：

接收视频数据；

对所述数据执行预滤波；

执行内容分析以标识所述数据的区域，包括使用边缘检测操作来标识有兴趣的像素；

向所标识的区域应用二维（2-D）二阶梯度运算以提取高频分量；

通过使用边缘自适应修改进程，相关于来自先前画面的高频信息归一化所述高频分量；以及

将经归一化的高频分量加至所述视频数据。

2.如权利要求1所述的方法，其特征在于，还包括接收来自边缘检测的用户定义的权重以提供给所述归一化步骤。

3.如权利要求1所述的方法，其特征在于，还包括接收用户定义的滤波增益因数以修改经归一化的高频分量的滤波量。

4.如权利要求1所述的方法，其特征在于，所述执行预滤波包括使用2-D滤波器从所述数据去除噪声。

5.如权利要求4所述的方法，其特征在于，所述2-D滤波器被分解成两个1-D滤波器以减少运算的数目。

6.如权利要求1所述的方法，其特征在于，所述边缘检测操作是索贝尔边缘操作。

7.如权利要求1所述的方法，其特征在于，所述边缘自适应修改进程将像素数据分类为强边缘像素、弱边缘像素和非边缘像素。

8.一种用于视频处理的装置，包括：

接收视频数据的组件；

对所述数据执行预滤波的组件；

执行内容分析以标识所述数据的区域的组件，包括使用边缘检测操作来标识有兴趣的像素的组件；

向所标识的区域应用二维（2-D）二阶梯度运算以提取高频分量的组件；

通过使用边缘自适应修改进程，相关于来自先前画面的高频信息归一化所述高频分量的组件；以及

将经归一化的高频分量加至所述视频数据的组件。

9.如权利要求8所述的装置，其特征在于，还包括接收来自边缘检测的用户定义的权重以提供给所述用于归一化的组件的组件。

10.如权利要求8所述的装置，其特征在于，还包括接收用户定义的滤波增益因数以修改经归一化的高频分量的滤波量的组件。

11.如权利要求8所述的装置，其特征在于，所述执行预滤波的组件包括2-D滤波器从所述数据去除噪声。

12.如权利要求11所述的装置，其特征在于，所述2-D滤波器被分解成两个1-D滤波器以减少运算的数目。

13.如权利要求8所述的装置，其特征在于，边缘自适应修改进程将像素数据分类为强边缘像素、弱边缘像素和非边缘像素。

Images