CN101662682A - 视频编码技术 - Google Patents

Abstract

描述了可被用来确定要应用于一视频区域的自适应维纳滤波器的参数的技术。维纳滤波器的以下参数可被调整：系数、系数量化、滤波器类型、滤波器大小、预测模式、熵编码、和滤波器表的数量。选择与编码器的最低速率失真成本相关联的参数来与经编码的视频一起传输。如果不使用自适应维纳滤波产生最低速率失真成本，则不将自适应维纳滤波用于该视频区域。如果使用自适应维纳滤波产生最低速率失真成本，则自适应维纳滤波所应用的、产生最低速率失真成本的参数与经滤波的视频区域一起传递。

Description

视频编码技术

技术领域

此处所公开的主题一般涉及视频编码器和解码器。

背景技术

视频编码器压缩视频信息以便可以通过给定带宽发送更多信息。经压缩的信号随后可被传送到在显示之前解码或解压该信号的接收器。

常规视频编码算法导致损失。即，在压缩视频信息的过程中，一些信息可能丢失，从而导致降低的画面质量。理想地，视频质量被改进到最大可能的限度并且压缩被增加到最大可能的限度。然而，这两个目标往往相互冲突。

附图说明

本发明的实施例在各附图中是作为示例而非作为限制而示出的，在附图中相同的附图标记指代相同的元素。

图1描绘根据本发明的某些实施例的示例编码器系统。

图2描绘根据本发明的一实施例的量化器的示例实施例。

图3描绘根据本发明的一实施例的滤波器设置选择逻辑的示例实施例。

图4描绘根据本发明的一实施例的滤波器类型选择逻辑的示例实施例。

图5描绘根据本发明的一实施例的系数预测模式选择逻辑的示例实施例。

图6描绘根据本发明的一实施例的熵编码器选择逻辑。

图7描绘根据本发明的一实施例的可被用来确定产生所需速率失真成本的滤波器参数的示例流程图。

图8描绘根据本发明的一实施例的系统。

具体实施方式

在本说明书通篇中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在贯穿本说明书的各个地方，短语“在一个实施例中”或“一实施例”的出现不一定都指代同一实施例。此外，特定特征、结构或特性可被组合在一个或多个实施例中。

图1描绘根据本发明的一实施例的编码器系统100。编码器系统100包括系数估算逻辑102、量化器104、全局/局部滤波器选择106、滤波器类型选择逻辑108、滤波器系数预测和熵编码器选择逻辑110、自适应维纳(wiener)滤波器112和RD成本计算器114。在一个实施例中，来自一视频区域的输入像素和重建像素可以从以下申请中描述的视频编码器提供给编码器系统100：2008年4月9日提交的、发明人为Chiu和Xu的、题为“IN-LOOP ADAPTIVE WIENER FILTER FOR VIDEO CODING ANDDECODING(用于视频编码和解码的循环内自适应维纳滤波器)”的美国专利申请第12/082,182号，和2008年4月11日提交的、发明人为Chiu和Xu的、题为“ADAPTIVE FILTERING FOR BIT-DEPTH SCALABLE VIDEOCODEC(用于位深度可伸缩视频编解码器的自适应滤波)”的美国专利申请第12/082,561号(代理案卷号P27258和P27259)(此后统称为“参考文献”)。更具体而言，诸如参考2008年4月9日提交的、发明人为Chiu和Xu的、题为“IN-LOOP ADAPTIVE WIENER FILTER FOR VIDEOCODING AND DECODING”的美国专利申请第12/082,182号的图1所描述的视频编码器循环可以提供输入像素和重建像素。

自适应维纳滤波器112可以根据系数估算逻辑102、量化器104、全局/局部滤波器选择逻辑106、滤波器类型选择逻辑108和滤波器预测和熵编码器选择逻辑110中的每一个所选择的参数来编码视频区域。RD成本计算器114可以确定使用所选择的参数将自适应维纳滤波应用于视频区域的速率失真(RD)成本。此外，RD成本计算器114确定在不应用自适应维纳滤波时的RD成本。如果RD成本计算器114确定最低RD成本与不使用自适应维纳滤波相关联，则在编码器100不应用自适应维纳滤波的情况下来传送视频区域。如果RD成本计算器114确定最低RD成本与自适应维纳滤波的使用相关联，则与最低RD成本相关联的参数与根据这些参数编码的视频一起传送到存储设备或传输介质以供解码。视频区域可以处于序列级、图像组(GOP)级、图像级、片级、宏块级、块级、或任意图像区域。

系数估算逻辑102可以确定自适应维纳滤波器要应用的滤波器系数。系数估算逻辑102确定系数的一种方式在参考文献中描述。系数估算逻辑102可以基于视频区域中的像素强度来确定系数。系数估算逻辑102可以确定在维数上可以是M乘N的系数矩阵。例如，系数矩阵大小可以是3×3、5×5、7×7或9×9，或其它大小，但不必是对称的。系数估算逻辑将其浮点系数矩阵输出到量化器104。

量化器104可以通过量化系数估算逻辑102所确定的浮点滤波器系数来确定定点系数。可以使用各种量化步长，如8位、10位、12位步长或其它步长值。使用高量化步长可减少失真，但可产生更多位并增加用来发送滤波器系数的位速率。

全局/局部滤波器选择逻辑106可以使用全局滤波器表和一个或多个局部滤波器表中的一个或多个来选择图像和/或图像的区域的滤波。全局/局部滤波器选择逻辑106可以使用来自量化器104的经量化的系数。全局滤波器表可以从来自图像的像素中产生。局部滤波器表可以从来自图像区域的一个或多个像素中产生。使用更多局部滤波器表可减少失真，但可增加用于发送滤波器系数的位的数量。

滤波器类型选择逻辑108可以选择应用各种维纳滤波器类型中的至少一个，如2-D不可分滤波器、1-D可分滤波器和/或对称滤波器。

滤波器系数预测和熵编码器选择逻辑110可以选择各种预测和编码模式中的一种，以应用于经量化的系数、所选择的滤波器表、以及滤波器类型。滤波器系数一般具有空间和时间相关性。对于滤波器系数预测而言，滤波器系数预测和熵编码器110可以使用空间系数预测、时间系数预测、空间-时间系数预测、和直接模式(无系数预测)中的至少一个来降低发送滤波器系数所引起的位速率。

对于熵编码，滤波器系数预测和熵编码器选择逻辑110可以选择Exp-Golomb(指数哥伦布)码、定长码和大小-值码中的一个。可以应用其它和/或附加熵编码模式。确定定长码可涉及寻找具有最大绝对值(C)的维纳滤波器系数，并接着使用Ceil(log2(C+1))+1位来编码所有系数，使用Exp-Golomb码编码Ceil(log2(C+1))+1的数量，并随后将这些码发送到解码器。函数Ceil可涉及向上舍入到整数。

确定大小-值码可涉及以下步骤。以下步骤可被用来编码系数的大小(即，系数中位的数量)：对于具有绝对值(C)的每一系数，使用Exp-Golomb码编码其大小使之等于Ceil(log2(C+1))。为编码大小-值码的值，使用定长编码。如果系数值是负数，则所编码的值是(1＜＜Ceil(log2(C+1)))-C)。如果系数值是非负数，则所编码的值是该系数的值。

系数估算逻辑102、量化器104、全局/局部滤波器选择106、滤波器类型选择108、以及滤波器系数预测和熵编码器110中的每一个都可以向自适应维纳滤波器112和RD成本计算器114提供所选择的、用于视频区域的特定编码的参数。

自适应维纳滤波器112可以对重建像素应用自适应滤波，并基于逻辑102-110所选择的参数来输出经滤波的像素。维纳滤波器是可达到源信号和通过随机噪声建模的重建信号之间的最小均方误差的滤波器。在一个实施例中，自适应维纳滤波器112可以通过应用以下等式(1)来对重建像素滤波。自适应未被滤波器112的一个实施例在参考文献中描述。自适应维纳滤波器112将经滤波的像素P’_x，y输出到RD成本计算器114。

${P^{\′}}_{x,y}=\underset{j=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{P}_{x^{\′},y^{\′}}{C}_{i,j}---\left(1\right)$

其中，

P_x，y表示重建像素(例如来自核心编码循环的经解块的像素)，且

C_i，j表示来自量化器104的、通过最小化Q_x，y和P’_x，y之间的失真获得的经量化的系数，其中Q_x，y表示对于编码器100的输入像素。

自适应维纳滤波器112能用参考文献中所描述的方式减少P_x，y和Q_x，y之间的失真。自适应滤波器112使用每一参数集输出经编码的视频以供存储在存储器中或以供传输。

RD成本计算器114可以确定自适应未被滤波器112所应用的每一参数排列的RD成本，并可以选择产生最低RD成本的参数。对于每一参数排列，RD成本计算器114可以从等式(2)确定每一排列的RD成本：

J(通道)＝D(通道)+λR(通道)                  (2)

其中，

R(通道)是滤波器系数的位速率，

D是平方差之和SSD，且

λ是用于通道决定的拉格朗日(Lagrangian)因子。

例如，令通道1不使用自适应维纳滤波器112而通道2使用自适应维纳滤波器112。则以下是D和R的表示：

D(通道1)＝SSD(P_x，y，Q_x，y)    R(通道1)＝0

D(通道2)＝SSD(P’_x，y，Q_x，y)    R(通道2)＝位(C_i，j)

RD成本计算器114确定使用自适应维纳滤波器112是否产生最低RD成本。如果使用自适应维纳滤波器112不产生最低RD成本，则在没有自适应维纳滤波112编码的情况下来传送视频区域。如果使用自适应维纳滤波器产生最低RD成本，则RD成本计算器传送自适应维纳滤波器112所应用的、产生最低RD成本的参数与根据这些参数编码的视频区域。RD成本计算器114可以将所选择的参数集编码到位流中，并将该位流传送到存储或解码器。

图1的编码器例如可以符合H.264(高级视频编解码器(AVC)和MPEG-4部分10)压缩标准。H.264标准由包括也被称为VCEG(视频编码专家组)的ITU-T SG16 Q.6和也被称为MPEG(运动图像专家组)的ISO-IECJTC1/SC29/WG11(2003)的联合视频小组(JVT)准备。仅举数例，H.264被设计成应用于数字电视广播、直接广播卫星视频、数字用户线视频、交互式存储介质、多媒体消息传送、数字地面电视广播和远程视频监控等领域。

尽管一个实施例可以符合H.264视频编码，但本发明不限于此。相反，各实施例可以用于各种视频压缩系统中，包括MPEG-2(可从瑞士日内瓦的国际标准化组织获得的ISO/IEC 13818-1(2000)MPEG-2)和VC1(可从邮编为10601的纽约州白原市的SMPTE获得的SMPTE 421M(2006))。

图2描绘根据本发明的一实施例的、可以选择量化步长参数的量化器200的示例实施例。例如，量化器200可以选择Q0、Q1到Qn之间的任何量化步长以应用于来自系数估算逻辑102的系数。量化器200可以将量化步长参数传递到自适应维纳滤波器112和RD成本计算器114。

图3描绘根据本发明的一实施例的滤波器设置选择逻辑300的示例实施例。例如，滤波器设置选择逻辑300可以选择S0到Sn之间的任何滤波器表设置。滤波器表设置可以从全局和局部滤波器表中选择。滤波器设置选择逻辑300可以将滤波器表设置参数传递到自适应维纳滤波器112和RD成本计算器114。

图4描绘根据本发明的一实施例的滤波器类型选择逻辑400的示例实施例。例如，滤波器类型选择逻辑400可以选择T0到Tn之间的任何滤波器类型。滤波器类型可以从至少2-D不可分滤波器、1-D可分滤波器、非对称滤波器和/或对称滤波器中选择。滤波器类型选择逻辑400可以将滤波器类型参数传递到自适应维纳滤波器112和RD成本计算器114。

图5描绘根据本发明的一实施例的系数预测选择逻辑500的示例实施例。系数预测逻辑500可选择直接模式(无系数预测)、空间系数预测、时间系数预测、和空间-时间系数预测中的一个。系数预测选择逻辑500可以将所选择的系数预测模式传递到自适应维纳滤波器112和RD成本计算器114。

图6描绘根据本发明的一实施例的熵编码器600。熵编码器600可以选择Exp-Golomb码、定长码、和大小-值码中的一个以应用于所选择的滤波器类型、滤波器设置和经量化的系数。熵编码器600可以将所选择的熵编码模式传递到自适应维纳滤波器112和RD成本计算器114。

图7描绘根据本发明的一实施例的可被用来确定产生所需速率失真成本的编码器参数的示例流程图。框702可包括在编码器处接收视频区域。视频区域可包括一个或多个图像、片、宏块、块或像素。

框704可包括确定在不使用自适应维纳滤波器时视频区域的速率失真成本。速率失真成本可使用等式(1)来测量。

框706可包括使用具有新参数集的自适应维纳滤波来编码视频区域。自适应滤波可包括依赖于内容的滤波，或基于对图像的一部分、作为整体的图像、或多个连续图像中的像素强度的分析的滤波。例如，所接收到的视频信息的类型(图形或流观看视频)导致维纳滤波器中的对于不同类型的视频的不同分接。因此，自适应滤波器分接是对给定图像部分、图像、或图像序列中的每一像素的强度的检查的结果。参数可以从各种系数、量化级、滤波器大小、滤波器类型、系数预测和熵编码中选择。例如，可以用与关于编码器100的元件102-110所描述的相类似的方式来选择参数。

框708可包括确定得自使用新参数集的自适应维纳滤波的视频区域的速率失真成本。

框710可包括确定当前编码器参数集的速率失真成本是否是最低测得速率失真成本。如果该速率失真成本是最低的，则框710之后是框712。如果该速率失真成本不是最低的，则框710之后是框714。

框712可包括将当前速率失真成本的速率失真成本设为最低测得速率失真成本。框712还可包括标识与最低测得速率失真成本相关联的编码器参数集。

框714可包括确定自适应维纳滤波器是否已经应用了所有参数集。如果自适应维纳滤波器已经应用了所有参数集，则框714之后可以是框716。如果编码器尚未应用所有参数集，则框714之后可以是框706。

框716可包括传送用于当前视频区域的、产生最低速率失真成本的滤波器参数集。滤波器参数可以与使用该产生最低速率失真成本的滤波器参数集处理的视频区域一起传送。例如，帧缓冲区可以存储用每一滤波器参数集编码的当前视频区域。帧缓冲区可以传送用与用每一编码器参数集编码的最低测得视频区域相对应的的滤波器参数集编码的视频区域。

然而，如果与不使用自适应维纳滤波相关联的速率失真成本是最低速率失真成本，则不将自适应维纳滤波应用于视频区域并且没有滤波器参数与该视频区域一起传送。

参考图8，在一个实施例中，图1-6描绘的编码器和逻辑可以是图形处理器812的一部分。本发明的各实施例可以作为以下各项中的任一个或其组合来实现：使用主板来互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并由微处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。术语“逻辑”可包括，作为示例，软件或硬件和/或软件和硬件的组合。

在软件实现的情况下，有关代码可以存储在任何合适的半导体、磁性或光学存储器中，包括主存储器832。因此，在一个实施例中，源代码839可以存储在诸如主存储器832等机器可读介质中，以供诸如处理器800或图形处理器812等处理器执行。

计算机系统830可包括由总线804耦合到芯片组核心逻辑810的硬盘驱动器834和可移动介质836。在一个实施例中，核心逻辑可以耦合到图形处理器812(经由总线805)和主处理器800。图形处理器812还可以通过总线806耦合到帧缓冲区814。帧缓冲区814可以通过总线807耦合到显示屏818，而显示屏818又通过总线808耦合到常规组件，如键盘或鼠标820。

此处所描述的图形和/或视频处理技术可以在各种硬件架构中实现。例如，图形和/或视频功能可以集成在芯片组中。另选地，可以使用分立的图形和/或视频处理器。作为另一实施例，图形和/或视频功能可以由包括多核处理器在内的通用处理器来实现。在又一实施例中，这些功能可以在消费电子设备中实现。

本发明的各实施例可作为例如计算机程序产品来提供，该计算机程序产品可包括其上存储有机器可执行指令的一个或多个机器可读机制，该指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器执行根据本发明的实施例的操作。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(压缩盘-只读存储器)、以及磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其它类型的介质/机器可读介质。

各附图和以上描述给出了本发明的各示例。尽管被描绘为多个不同的功能项，但本领域技术人员可以理解，这些元件中的一个或多个可被很好地组合成单个功能元件。或者，某些元件可被分成多个功能元件。来自一个实施例的元件可被添加到另一个实施例。例如，此处所描述的各过程的次序可被改变并且不限于此处所描述的方式。而且，任何流程图的动作都不必以所示次序来实现；也不一定需要执行所有动作。同样，不依赖于其它动作的那些动作可以与其它动作并行执行。然而，本发明的范围绝不由这些具体示例来限定。诸如结构、尺寸和材料使用方面的区别等众多变型，无论是否是在本说明书中显式地给出的，都是可能的。本发明的范围至少与以下权利要求书中所给出的一样宽泛。

Claims (24)

1.一种方法，包括：

使用第一参数编码视频区域；

使用第二参数编码所述视频区域；以及

从所述第一和第二参数中选择与最低速率失真成本相关联的参数。

2.如权利要求1所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码都不使用自适应维纳滤波。

3.如权利要求1所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码都包括自适应维纳滤波。

4.如权利要求3所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码包括使用至少两个滤波器大小中的系数，所述滤波器大小具有m乘n的维数，其中m和n是正整数。

5.如权利要求3所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码包括使用从多个量化步长中选择的量化步长。

6.如权利要求3所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码包括使用从全局和局部滤波器表中选择的至少一个滤波器表。

7.如权利要求3所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码包括使用2-D不可分滤波器、1-D可分滤波器、非对称滤波器和对称滤波器中的一个。

8.如权利要求3所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码包括使用从包括以下各项的组中选择的预测模式：无预测、时间预测、空间预测、和时间-空间组合预测。

9.如权利要求3所述的方法，其特征在于，使用第一参数的编码和使用第二参数的编码包括使用熵编码模式，其中所述熵编码模式是从包括以下各项的组中选择的：Exp-Golomb编码模式、定长编码模式、大小-值编码模式、和任何其它可用的编码模式。

10.如权利要求1所述的方法，其特征在于，还包括：

存储用所述第一和第二参数编码的所述视频区域；以及

传送所选择的参数和根据所选择的参数编码的视频区域。

11.如权利要求1所述的方法，其特征在于，所述视频区域是从包括以下各项的组中选择的：序列级、图像组级、图像、片级、一个或多个宏块、块级、和像素。

12.如权利要求1所述的方法，其特征在于，所述视频区域包括具有相似特征的像素的集合，所述特征包括像素值和梯度。

13.一种装置，包括：

使用各个参数对视频区域滤波的自适应维纳滤波器；以及

确定与根据所述参数滤波的所述视频区域相关联的速率失真成本的速率失真成本计算器，其中所述速率失真成本计算器确定与最低速率失真成本相关联的参数。

14.如权利要求13所述的装置，其特征在于：

所述速率失真成本计算器确定在不将自适应维纳滤波器应用于所述视频区域时的速率失真成本；以及

响应于最低速率失真成本与不使用所述自适应维纳滤波器相关联，所述速率失真成本计算器选择不对所述视频区域进行自适应维纳滤波。

15.如权利要求13所述的装置，其特征在于，所述参数包括各个系数，并且所述装置还包括确定所述系数的系数确定器。

16.如权利要求13所述的装置，其特征在于，所述参数包括量化级，并且所述装置还包括选择所述量化级的量化器。

17.如权利要求13所述的装置，其特征在于，所述参数包括全局或局部区域，并且所述装置还包括选择在其中应用滤波器系数的区域的滤波器选择逻辑。

18.如权利要求13所述的装置，其特征在于，所述参数包括从包含2-D不可分滤波器、1-D可分滤波器、非对称滤波器和对称滤波器的组中选择的滤波器类型，并且所述装置还包括选择要应用的滤波器类型的滤波器类型选择逻辑。

19.如权利要求13所述的装置，其特征在于，所述参数包括从包含无预测、时间预测、空间预测、和时间-空间组合预测的组中选择的编码类型，并且所述装置还包括选择编码类型的滤波器系数预测逻辑。

20.如权利要求13所述的装置，其特征在于，所述参数包括从包含Exp-Golomb编码模式、定长编码模式、和大小-值编码模式的组中选择的熵编码模式，并且所述装置还包括选择要应用的熵编码模式的熵编码器逻辑。

21.如权利要求13所述的装置，其特征在于，所述视频区域是从包括以下各项的组中选择的：序列级、图像组级、图像、片级、一个或多个宏块、块级、和像素。

22.一种系统，包括：

处理器；

图形子系统，包括：

使用各个参数对视频区域进行滤波的自适应维纳滤波器；以及

确定与根据所述参数滤波的所述视频区域相关联的速率失真成本的速率失真成本计算器，其中所述速率失真成本计算器确定与最低速率失真成本相关联的参数；

存储器设备；以及

显示器。

23.如权利要求22所述的系统，其特征在于：

所述速率失真成本计算器确定在不将自适应维纳滤波器应用于所述视频区域时的速率失真成本；以及

响应于最低速率失真成本与不使用所述自适应维纳滤波器相关联，所述速率失真成本计算器选择不对所述视频区域进行自适应维纳滤波。

24.如权利要求22所述的系统，其特征在于，所述存储器设备存储与最低速率失真成本相关联的视频区域。

Images