CN102667757B - 用于媒体编码的4x4变换 - Google Patents

Abstract

本发明大体来说是描述提供用于媒体编码的4×4变换的技术。描述遵守这些技术的许多不同的4×4变换。作为一个实例，一种设备包括4×4离散余弦变换DCT硬件单元。所述DCT硬件单元实施具有奇数部分的正交4×4DCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得所述经缩放因子等于所述第一内部因子(C)的平方加所述第二内部因子(S)的平方的总和的平方根。所述4×4DCT硬件单元将所述4×4DCT实施方案应用于媒体数据以将所述媒体数据从空间域变换到频域。作为另一实例，一种设备实施非正交4×4DCT以改善编码增益。

Description

用于媒体编码的4X4变换

本申请案主张2009年6月5日申请的第61/184,656号美国临时申请案及2009年6月24日申请的第61/219,887号美国临时申请案的权利。

本专利申请案涉及以下共同待决的美国专利申请案：

具有代理人案号092164U2，与本案同时申请，已转让给本受让人且在此以引用的方式明确地并入本文中的“用于媒体编码的4X4变换(4X4TRANSFORMFORMEDIACODING)”。

技术领域

本发明涉及数据压缩，且更特定来说，涉及包含变换的数据压缩。

背景技术

数据压缩广泛用于多种应用中以减少对数据存储空间、发射带宽或两者的消耗。数据压缩的实例应用包括可见或可听媒体数据编码，例如，数字视频、图像、语音及音频编码。数字视频编码(例如)用于广泛范围的装置中，其包括数字电视、数字直接广播系统、无线通信装置、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、蜂窝式或卫星无线电电话等等。数字视频装置实施例如MPEG-2、MPEG-4或H.264/MPEG-4先进视频编码(AVC)等视频压缩技术以更有效地发射及接收数字视频。

大体来说，视频压缩技术执行空间预测、运动估计及运动补偿以减少或移除视频数据中所固有的冗余。特定来说，帧内编码依赖于空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间编码依赖于时间预测来减少或移除邻近帧内的视频中的时间冗余。对于帧间编码，视频编码器执行运动估计以跟踪在两个或两个以上邻近帧之间的匹配的视频块的移动。运动估计产生运动向量，其指示视频块相对于一个或一个以上参考帧中的对应视频块的位移。运动补偿使用运动向量以从参考帧产生预测视频块。在运动补偿之后，通过从原始视频块减去预测视频块而形成残余视频块。

视频编码器接着应用变换，继之以量化及无损耗统计编码过程，以进一步减小通过视频编码过程产生的残余块的位速率。在一些情况下，所应用的变换包含离散余弦变换(DCT)。通常，将DCT应用于大小为二的幂的视频块，例如，4像素高乘4像素宽的视频块(其通常被称为“4×4视频块”)。这些DCT因此可被称为4×4DCT，因为这些DCT被应用于4×4视频块以产生DCT系数的4×4矩阵。由将4×4DCT应用于残余块所产生的DCT系数的4×4矩阵接着经历量化及无损耗统计编码过程以产生位流。统计编码过程(也被称为“熵编码”过程)的实例包括上下文自适应性可变长度编码(CAVLC)或上下文自适应性二进制算术编码(CABAC)。视频解码器接收经编码的位流且执行无损耗解码以解压缩用于块中的每一者的残余信息。通过使用残余信息及运动信息，视频解码器重建构经编码的视频。

发明内容

大体来说，本发明是针对用于使用可相对于常规4×4DCT提供增加的编码增益的4×4离散余弦变换(DCT)的近似的一个或一个以上实施方案来编码例如媒体数据等数据的技术。根据本发明的技术所应用的4×4DCT的实施方案涉及在经缩放因子与内部因子之间的各种关系。术语“经缩放因子”指代经由因式分解移除的在4×4DCT的实施方案外部的因子。术语“内部因子”指代在因式分解之后保留的在4×4DCT的实施方案内部的因子。4×4DCT的一个实例实施方案为正交的，其意味着表示4×4DCT的系数矩阵在乘以此矩阵的转置时等于单位矩阵。4×4DCT的另一实例实施方案为接近正交的(或近似正交的)。通过遵守以下详细描述的各种关系，所述技术促进在两种情况下选择导致正交与接近正交4×4DCT实施方案的矩阵系数，所述实施方案在应用于数据时可相对于常规4×4DCT促进增加的编码增益。

在一个方面中，一种设备包含4×4离散余弦变换(DCT)硬件单元，其实施具有奇数部分的正交4×4DCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根，其中4×4DCT硬件单元将4×4DCT实施方案应用于媒体数据以将媒体数据从空间域变换到频域。

在另一方面中，一种方法包含通过4×4DCT硬件单元将正交4×4离散余弦变换(DCT)实施方案应用于媒体数据以将媒体数据从空间域变换到频域，其中正交4×4DCT实施方案包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。

在另一方面中，一种设备包含用于将正交4×4离散余弦变换(DCT)实施方案应用于媒体数据以将媒体数据从空间域变换到频域的装置，其中正交4×4DCT实施方案包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。

在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执行时引起处理器通过4×4DCT硬件单元将正交4×4离散余弦变换(DCT)实施方案应用于媒体数据以将媒体数据从空间域变换到频域，其中正交4×4DCT实施方案包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。

在另一方面中，一种设备包含4×4反离散余弦变换(IDCT)硬件单元，其实施具有奇数部分的正交4×4DCT的IDCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根，其中4×4IDCT硬件单元将4×4IDCT实施方案应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域。

在另一方面中，一种方法包含通过4×4IDCT硬件单元将正交4×4DCT的4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域，其中正交4×4DCT包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。

在另一方面中，一种设备包含用于将正交4×4DCT的4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域的装置，其中正交4×4DCT包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。

在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执行时引起处理器通过4×4IDCT硬件单元将正交4×4DCT的4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域，其中正交4×4DCT包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。

在另一方面中，一种设备包含4×4离散余弦变换(DCT)硬件单元，其中DCT模块实施具有奇数部分的非正交4×4DCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一变量及第二变量(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子，且其中4×4DCT硬件单元将4×4DCT实施方案应用于媒体数据以将媒体数据从空间域变换到频域。

在另一方面中，一种方法包含通过4×4DCT硬件单元将非正交4×4离散余弦变换(DCT)应用于媒体数据以将媒体数据从空间域变换到频域，其中非正交4×4DCT包括奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一变量及第二变量(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

在另一方面中，一种设备包含用于通过4×4DCT硬件单元将非正交4×4离散余弦变换(DCT)应用于媒体数据以将媒体数据从空间域变换到频域的装置，其中非正交4×4DCT包括奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一变量及第二变量(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

在另一方面中，非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执行时引起处理器通过4×4DCT硬件单元将非正交4×4离散余弦变换(DCT)应用于媒体数据以将媒体数据从空间域变换到频域，其中非正交4×4DCT包括奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一变量及第二变量(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

在另一方面中，一种设备包含4×4反离散余弦变换(IDCT)硬件单元，其中DCT硬件单元实施具有奇数部分的非正交4×4DCT的反DCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子，且其中4×4IDCT硬件单元将4×4IDCT实施方案应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域。

在另一方面中，一种方法包含通过4×4IDCT硬件单元将4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域，其中4×4IDCT包含具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

在另一方面中，一种设备包含用于通过4×4IDCT硬件单元将4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域的装置，其中4×4IDCT包含具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执行时引起处理器通过4×4IDCT硬件单元将4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域，其中4×4IDCT包含具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在非正交4×4DCT的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

在另一方面中，一种设备包含4×4离散余弦变换(DCT)硬件单元，其实施具有奇数部分的非正交4×4DCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根，且其中4×4DCT硬件单元将4×4DCT实施方案应用于媒体数据以将媒体数据从空间域变换到频域。

在另一方面中，一种方法包含通过4×4DCT硬件单元将非正交4×4离散余弦变换(DCT)应用于媒体数据以将媒体数据从空间域变换到频域。非正交4×4DCT包括奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根。

在另一方面中，一种设备包含用于通过4×4DCT硬件单元将非正交4×4离散余弦变换(DCT)应用于媒体数据以将媒体数据从空间域变换到频域的装置，其中非正交4×4DCT包括奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根。

在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执行时引起处理器通过4×4DCT硬件单元将非正交4×4离散余弦变换(DCT)应用于媒体数据以将媒体数据从空间域变换到频域。非正交4×4DCT包括奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根。

在另一方面中，一种设备包含4×4反离散余弦变换(IDCT)硬件单元，其中4×4IDCT硬件单元实施具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根，且其中4×4IDCT硬件单元将4×4IDCT实施方案应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域。

在另一方面中，一种方法包含通过4×4IDCT硬件单元将4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域。IDCT包含具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根。

在另一方面中，一种设备包含用于通过4×4IDCT硬件单元将4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域的装置。IDCT包含具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根。

在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执行时引起处理器通过4×4IDCT硬件单元将4×4反离散余弦变换(IDCT)应用于代表媒体数据的DCT系数以将媒体数据从频域变换到空间域。IDCT包含具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根。

在随附图式及以下描述中陈述技术的一个或一个以上方面的细节。本发明中所描述的技术的其它特征、目标及优点从描述及图式且从权利要求书将为显而易见的。

附图说明

图1为说明视频编码及解码系统的框图。

图2为更详细说明图1的视频编码器的框图。

图3为更详细说明图1的视频解码器的框图。

图4A到图4C为各自说明根据本发明的技术所建构的经缩放4×4DCT-II的实施方案的图。

图5为说明编码装置在应用根据本发明的技术所建构的4×4DCT实施方案时的示范性操作的流程图。

图6为说明编码装置在应用根据本发明的技术所建构的4×4DCT-III实施方案时的实例操作的流程图。

图7A到图7C为说明根据本发明的技术所建构的三种不同4×4DCT-II实施方案中的每一者的相对于位速率的峰值信噪比的曲线的图。

具体实施方式

大体来说，本发明是针对用于使用表示为根据各种关系所选择的系数的4×4矩阵的一个或一个以上4×4离散余弦变换(DCT)来编码数据的技术。可应用所述技术以压缩多种数据，其包括可见或可听媒体数据，例如，数字视频、图像、语音及/或音频数据，且借此将表示此数据的这些电信号变换为压缩信号以用于电信号的更有效处理、发射或归档。通过遵守根据本发明的技术所定义的各种关系，可为系数矩阵选择系数以使得4×4DCT的正交及接近正交实施方案在应用于数据时可促进增加的编码增益。

依据离散数据单元表示以上所表示的大小，即，4×4。为说明起见，通常依据视频块描述视频数据(尤其在关于视频压缩时)。视频块通常指代视频帧的任何大小的部分，其中视频帧指代一系列图片或图像中的一图片或图像。每一视频块通常包含多个离散像素数据，其指示例如红色、蓝色及绿色的色彩分量(所谓的“色度”分量)或亮度分量(所谓的“亮度”分量)。每一像素数据集合包含在视频块中的单一1×1点，且可被当作关于视频块的离散数据单元。因此，4×4视频块(例如)包含四行的像素数据，其中每一行中具有四个离散的像素数据集合。可将n位值指派到每一像素以规定色彩或亮度值。

通常依据DCT能够处理的数据(不管是音频、语音、图像还是视频数据)块的大小来描述DCT。举例来说，如果DCT可处理4×4数据块，则DCT可被称为4×4DCT。此外，DCT可经表示为特定类型。八个不同类型的DCT中的最常用类型的DCT为类型II的DCT，其可经表示为“DCT-II”。通常，当泛指DCT时，此用语指代类型II的DCT或DCT-II。DCT-II的反操作被称为类型III的DCT，其可类似地表示为“DCT-III”，或由于通常将DCT理解为指代DCT-II，因此表示为“IDCT”其中“IDCT”中的“I”表示反操作。以下对DCT的提及符合此记法，其中对DCT的泛指指代DCT-II，除非另外规定。然而，为了避免混淆，包括DCT-II的DCT在下文主要用所指示的对应类型(II、III等)来指代。

本发明中所描述的技术涉及编码器及/或解码器两者，其使用4×4DCT-II的一个或一个以上实施方案以促进数据的压缩及/或解压缩。此外，经由应用这些4×4DCT-II实施方案所完成的压缩及解压缩允许表示数据的电信号的物理变换，使得可使用物理计算硬件、物理传输媒体(例如，铜、光纤、无线或其它媒体)及/或存储硬件(例如，磁盘或光盘或磁带，或多种固态媒体中的任一者)更有效地处理、传输及/或存储信号。可仅在硬件中配置实施方案或可在硬件与软件的组合中配置实施方案。

4×4DCT-II的实施方案可为正交或接近正交的。术语“正交”大体上指代矩阵的性质，其中矩阵在乘以矩阵的转置时等于单位矩阵。术语“接近正交”指代其中此正交性质被放松而使得不必需严格正交性的情况。在此方面，“接近正交”暗示近似正交或松散正交。然而，接近正交矩阵不符合正交的技术定义，且从纯粹技术角度来说，这些接近正交矩阵可被当作非正交的。

为了说明本发明中所描述的4×4DCT-II的正交实施方案，考虑包括4×4DCT模块的设备。4×4DCT模块实施根据本发明中所描述的技术建构的正交4×4DCT-II。此正交4×4DCT-II实施方案包括奇数部分及偶数部分。4×4DCT-II的所谓的“奇数部分”指代4×4DCT-II实施方案的输出奇数编号系数的部分。4×4DCT-II的所谓的“偶数部分”指代4×4DCT-II实施方案的输出偶数编号系数的部分。

根据本发明的技术，奇数部分应用与经缩放因子(ξ)有关的第一内部因子C及第二内部因子S以使得所述经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。术语“内部因子”指代在因式分解之后保留的在4×4DCT的实施方案内部的因子。术语“经缩放因子”指代经由因式分解移除的在4×4DCT的实施方案外部的因子。

内部因子通常由于需要在实施方案复杂性方面可为代价大的乘法而增加实施方案复杂性。举例来说，与较简单的加法运算相比，乘法可需要三倍或三倍以上的计算操作(例如，时钟循环)来完成。可实施特定乘法器以更有效地(例如，在较少时钟循环中)执行乘法，但这些乘法器实施方案通常消耗显著更多的芯片或硅表面积且也可汲取大量电力。因此通常避免乘以因子的乘法，尤其是在功率敏感装置中，例如，大部分移动装置，其包括蜂窝式电话(所谓的“智能型”蜂窝式电话)、个人数字助理(PDA)、膝上型计算机(所谓的“迷你笔记型计算机”)及其类似物。因式分解为可借以从4×4DCT-II实施方案移除一个或一个以上内部因子且用外部因子加以替换的过程。接着可通常以最小的花费或最小的复杂性增加将外部因子并入于(例如)关于视频编码器的随后量化操作中。

无论如何，以上所提到的第一内部因子C及第二内部因子S与经缩放因子(ξ)之间的以上关系提供了未用于4×4DCT-II的先前实施方案中的内部因子的特定值。举例来说，分别用于内部因子C及S的值2及5不过度增加实施方案复杂性，且与涉及C及S的1及2的值的已知4×4DCT实施方案相比改善了编码增益。视频编码器接着将具有内部因子2及5的4×4DCT-II实施方案应用于媒体数据以便将媒体数据从空间域变换到频域。通过应用此正交4×4DCT-II实施方案，在与包括1及2的内部因子的标准DCT-II实施方案相比时，所述技术促进了编码增益(其为表示压缩效率的术语)。

就DCT-II实施方案来说，正交性通常为所要的，因为其为可逆的。作为一个实例，此可逆性质允许视频编码器应用正交4×4DCT实施方案以从视频数据的残余块产生DCT系数。视频解码器可接着应用4×4反DCT-II(IDCT)实施方案以便在数据极小损耗(如果存在)的情况下从DCT-II系数重建构视频数据的残余块。考虑到视频编码的主要目标为数据的保存，所以例如H.264视频编码标准等各种编码标准均采用4×4DCT的正交实施方案。

虽然正交性通常在理论上为所要的，但视频、音频或通用编码管线实际上涉及会引入所谓的“噪声”的许多步骤，所述噪声在大多方面实际上防止准确地重建构由正交4×4DCT-II实施方案提供的值。考虑到整数算术实施方案，接近正交变换与严格正交整数变换相比可改善编码效率，同时也减小实施方案复杂性。实际上，放松正交性质会将噪声引入到系统中，但可改善编码增益，同时也减小实施方案复杂性。

为了说明本发明中所描述的4×4DCT-II的接近正交实施方案，考虑设备的4×4DCT模块实施根据本发明中所描述的技术建构的此接近正交4×4DCT-II。此接近正交4×4DCT-II实施方案也包括奇数部分及偶数部分。在此情况下奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}}.$

在此方程式中，变量ω及ψ表示原始(无理)内部变换因子，例如，(ω)可为三乘常数pi(π)除以八的余弦，且(ψ)可为三乘常数pi(π)除以八的正弦。变量(C)及(S)表示替换(ω)及(ψ)的整数(或二元有理)内部变换因子。

方程式(2)指示经缩放因子(ξ)等于第一内部因子(C)加第二内部因子(S)的总和除以(ω)加(ψ)。此方程式可识别类似于关于正交实施方案所定义的以上关系的C及S的特定内部因子值，但导致不同的外部因子。然而，由于以上所提到的原因，不同外部因子通常不增加实施方案复杂性，而是通常提供原始变换因子的更准确近似。其也可提供比常规4×4DCT-II实施方案且甚至在一些情况下比以上所述的正交4×4DCT-II实施方案改善的编码增益。因此，控制单元将此接近正交4×4DCT-II应用于媒体数据以便将媒体数据从空间域变换到频域，结果可能得到改善的编码增益。

图1为说明视频编码及解码系统10的框图。如图1中所示，系统10包括源硬件装置12，其将经编码的视频经由通信信道16发射到接收硬件装置14。源装置12可包括视频源18、视频编码器20及发射器22。目的地装置14可包括接收器24、视频解码器26及视频显示装置28。

在图1的实例中，通信信道16可包含任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线，或无线及有线媒体的任何组合。信道16可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的一部分。通信信道16通常表示用于将视频数据从源装置12发射到接收装置14的任何适当的通信媒体或不同通信媒体的集合。

源装置12产生用于发射到目的地装置14的视频。然而，在一些状况下，装置12、14可以大体上对称方式操作。举例来说，装置12、14中的每一者可包括视频编码及解码组件。因此，系统10可支持在视频装置12、14之间的单向或双向视频发射(例如)以用于视频串流、视频广播或视频电话。对于其它数据压缩及编码应用，装置12、14可经配置以发送且接收或交换其它类型的数据，例如，图像、语音或音频数据，或视频、图像、语音及音频数据中的两者或两者以上的组合。因此，为实现说明的目的提供视频应用的以下论述，且不应认为其限制如本文中广泛描述的本发明的各种方面。

视频源18可包括例如一个或一个以上摄影机等视频俘获装置、含有先前俘获的视频的视频档案，或来自视频内容提供者的实况视频馈入。作为另一替代例，视频源18可产生基于计算机图形的数据作为源视频，或实况视频及计算机产生的视频的组合。在一些状况下，如果视频源18为相机，则源装置12及接收装置14可形成所谓的相机电话或视频电话。因此，在一些方面中，源装置12、接收装置14或两者可形成无线通信装置手持机，例如，移动电话。在每一状况下，经俘获、预先俘获或计算机产生的视频可由视频编码器20编码以用于从视频源装置12经由发射器22、信道16及接收器24发射到视频接收装置14的视频解码器26。显示装置28可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器或有机发光二极管(OLED)显示器。

视频编码器20及视频解码器26可经配置以支持可缩放视频编码，以实现空间、时间及/或信噪比(SNR)可缩放性。在一些方面中，视频编码器20及视频解码器22可经配置以支持精细粒度SNR可缩放性(FGS)编码。编码器20及解码器26可通过支持基层及一个或一个以上可缩放增强层的编码、发射及解码来支持各种程度的可缩放性。对于可缩放视频编码，基层载运具有最小质量等级的视频数据。一个或一个以上增强层载运额外位流以支持更高的空间、时间及/或SNR等级。

视频编码器20及视频解码器26可根据例如MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4先进视频编码(AVC)等视频压缩标准操作。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器26可分别与音频编码器及音频解码器整合，且包括适当MUX-DEMUX单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，则MUX-DEMUX单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

在一些方面中，对于视频广播，可应用本发明中所描述的技术以增强H.264视频编码以用于(例如)经由无线视频广播服务器或无线通信装置手持机使用仅前向链路(FLO)空中接口规范(作为技术标准TIA-1099公开的“用于陆地移动多媒体多播的仅前向链路空中接口规范(ForwardLinkOnlyAirInterfaceSpecificationforTerrestrialMobileMultimediaMulticast)”(“FLO规范”))在陆地移动多媒体多播(TM3)系统中递送实时视频服务。FLO规范包括定义适合于FLO空中接口的位流语法及语义以及解码过程的实例。或者，可根据例如DVB-H(手持型数字视频广播)、ISDB-T(陆地整合服务数字广播)或DMB(数字媒体广播)等其它标准来广播视频。因此，源装置12可为移动无线终端、视频串流服务器或视频广播服务器。然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系统。在广播的状况下，源装置12可将若干信道的视频数据广播到多个接收装置，其中的每一者可类似于图1的接收装置14。

视频编码器20及视频解码器26各自可实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。因此，视频编码器20及视频解码器26中的每一者可至少部分地实施为集成电路(IC)芯片或装置，且包括于一个或一个以上编码器或解码器中，其中的任一者可整合为相应移动装置、订户装置、广播装置、服务器等等中的组合编码器/解码器(CODEC)的一部分。另外，源装置12及接收装置14各自可包括(适用时)用于发射及接收经编码视频的适当调制、解调、频率转换、滤波及放大器组件，其包括足以支持无线通信的射频(RF)无线组件及天线。然而，为实现易于说明的目的，图1中未展示这些组件。

视频序列包括一系列视频帧。视频编码器20对个别视频帧内的像素的块操作以便编码视频数据。视频块可具有固定或变化大小，且可根据规定的编码标准而大小不同。每一视频帧包括一系列片段。每一片段可包括一系列宏块，宏块可经布置为子块。例如，ITU-TH.264标准支持各种二元块大小下的帧内预测，例如，对于亮度分量的16乘16、8乘8、4乘4及对于色度分量的8×8，以及各种块大小下的帧间预测，例如，对于亮度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4及对于色度分量的对应缩放的大小。

较小视频块通常可提供较好分辨率，且可用于视频帧的包括更高细节等级的位置。大体来说，通常可将宏块(MB)及各种子块视为表示视频块。另外，可将片段视为表示一系列视频块，例如，MB及/或子块。每一片段可为可独立解码的单元。在预测之后，可对二元或非二元大小的残余块执行变换，且可在使用帧内_16×16预测模式的情况下将额外变换应用于色度分量或亮度分量的4×4块的DCT系数。

图1的系统10的视频编码器20及/或视频解码器26可经配置以分别包括4×4DCT-II及其反操作(例如，4×4DCT-III)的实施方案，其中4×4DCT-II遵守本发明中所描述的用于选择4×4大小DCT的DCT-II矩阵系数的技术的各种关系中的一者。虽然ITU-TH.264标准支持各种块大小下的帧内预测，例如，对于亮度分量的16乘16、8乘8、4乘4及对于色度分量的8×8，但为了改善编码效率而对此标准的修订当前在进行中。一个修订标准可被称为ITU-TH.265或简单地称为H.265(有时被称为下一代视频编码或NGVC)。如下文关于图7A到图7C所描述，遵守根据本发明的技术所陈述的各种关系中的一者的类型II的4×4DCT(“DCT-II”)可改善如依据峰值信噪比(PSNR)所测量的编码效率。因此，ITU-TH.265及其它演进中的标准或规范可考虑这些DCT-II以便改善编码效率。

根据本发明中所描述的技术，可以遵守可与常规实施方案相比促进改善的编码增益的各种关系中的一者的方式产生4×4DCT-II的实施方案。第一关系是针对4×4DCT-II的正交实施方案而定义且以下关于方程式(1)加以陈述：

$\mathrm{\ξ}=\sqrt{C^2+S^2},---\left(1\right)$

其中C及S表示4×4DCT-II实施方案的“奇数”部分中的第一内部因子及第二内部因子，且(ξ)表示应用于4×4DCT-II实施方案的“奇数”部分的经缩放因子。4×4DCT-II的所谓的“奇数部分”指代4×4DCT-II实施方案的输出奇数编号系数的部分。4×4DCT-II的所谓的“偶数”部分指代4×4DCT-II实施方案的输出偶数编号系数的部分。术语“内部因子”指代在因式分解之后保留的在4×4DCT的实施方案内部的因子。术语“经缩放因子”指代经由因式分解移除的在4×4DCT的实施方案外部的因子。

内部因子通常由于需要在实施方案复杂性方面可为代价大的乘法而增加实施方案复杂性。举例来说，与较简单的加法运算相比，乘法可需要三倍或三倍以上的计算操作(例如，时钟循环)来完成。可实施特定乘法器以更有效地(例如，在较少时钟循环中)执行乘法，但这些乘法器实施方案通常消耗显著更多的芯片或硅表面积且也可汲取大量电力。因此通常避免乘以因子的乘法，特别在功率敏感装置中，例如，大部分移动装置，其包括蜂窝式电话(所谓的“智能型”蜂窝式电话)、个人数字助理(PDA)、膝上型计算机(所谓的“迷你笔记型计算机”)及其类似物。因式分解为可借以从4×4DCT-II实施方案移除一个或一个以上内部因子且用外部因子加以替换的过程。接着可通常以最小的花费或最小的复杂性增加将外部因子并入于(例如)关于视频编码器的随后量化操作中。

无论如何，以上关于方程式(1)所提到的第一内部因子C及第二内部因子S与经缩放因子(ξ)之间的以上关系提供了未用于4×4DCT-II的先前实施方案中的内部因子的特定值。举例来说，分别用于内部因子C及S的值2及5不过度增加实施方案复杂性，且与涉及C及S的1及2的值的已知4×4DCT实施方案相比，改善了编码增益。视频编码器接着将具有内部因子2及5的4×4DCT-II实施方案应用于媒体数据以便将媒体数据从空间域变换到频域。通过应用此正交4×4DCT-II实施方案，在与包括1及2的内部因子的标准DCT-II实施方案相比时所述技术促进了编码增益(其为表示压缩效率的术语)。

就DCT-II实施方案来说，正交性通常为所要的，因为其为可逆的。作为一个实例，此可逆性质允许视频编码器应用正交4×4DCT实施方案以从视频数据的残余块产生DCT系数。视频解码器可接着应用4×4反DCT-II(IDCT)实施方案以便在数据损耗极小(如果存在)的情况下从DCT-II系数重建构视频数据的残余块。例如H.264视频编码标准等若干编码标准采用4×4DCT的正交实施方案。

虽然正交性通常在理论上为所要的，但视频、音频或通用编码管线实际上涉及会引入所谓的“噪声”的许多额外步骤(例如缩放或量化)，所述噪声在大多方面实际上防止准确重建构由正交4×4DCT-II实施方案提供的值。结果，放松正交性质以实现接近正交(就技术上来说，其为非正交)可为可能的。考虑到整数算术实施方案，这些接近正交变换与严格正交整数变换相比可改善编码效率，同时也减小实施方案复杂性。大体来说，放松正交性质将噪声引入到系统中，但可改善编码增益，同时也减小实施方案复杂性。

为了说明4×4DCT-II的接近正交实施方案，作为一个实例，考虑包括控制单元的设备。控制单元实施根据本发明中所描述的技术的接近正交4×4DCT-II。此接近正交4×4DCT-II实施方案也包括奇数部分及偶数部分。在此种情况下奇数部分应用按以下方程式(2)与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}}.---\left(2\right)$

在方程式(2)中，变量ω及ψ表示原始(无理)内部变换因子，例如，(ω)可为三乘常数pi(π)除以八的余弦，且(ψ)可为三乘常数pi(π)除以八的正弦。变量(C)及(S)表示替换(ω)及(ψ)的整数(或二元有理)内部变换因子。

方程式(2)指示经缩放因子(ξ)等于第一内部因子(C)加第二内部因子(S)的总和除以(ω)加(ψ)。此方程式可识别类似于以上关于正交实施方案所定义的关系的C及S的特定内部因子值，但导致不同的外部因子。然而，由于以上所提到的原因，不同外部因子通常不增加实施方案复杂性，而是通常提供原始变换因子的较准确近似。其也可与常规4×4DCT-II实施方案相比且甚至在一些情况下与以上所述的正交4×4DCT-II实施方案相比提供改善的编码增益。因此，控制单元将此接近正交4×4DCT-II应用于媒体数据以将媒体数据从空间域变换到频域，结果为具有潜在改善的编码增益。

根据本发明中所描述的技术建构的以上所得到4×4DCT-II实施方案表示与直接4×4DCT-II实施方案相对比的经缩放4×4DCT-II实施方案。所述实施方案为“经缩放的”，因为其已经历因式分解以移除内部因子且因此输出需要应用额外外部因子以正确计算4×4DCT的经缩放系数。所谓的“直接”DCT-II实施方案输出不需要任何另外运算(例如乘以外部因子的乘法)以正确计算4×4DCT的系数。

存在能够产生经缩放4×4DCT-II实施方案的许多不同因式分解。一个替代因式分解产生不同的经缩放4×4DCT-II实施方案，可根据本发明的技术从所述经缩放4×4DCT-II实施方案导出另一关系以产生接近正交实施方案，所述接近正交实施方案与通常由遵照H.264的视频编码器使用的常规DCT-II相比改善了编码增益。

为了关于用以产生经缩放4×4DCT-II的替代因式分解说明接近正交实施方案，作为一个实例，考虑包括控制单元的设备。控制单元根据本发明中所描述的技术实施接近正交4×4DCT-II。类似于以上所述的实施方案，此接近正交4×4DCT-II实施方案包括奇数部分及偶数部分。在此种情况下奇数部分应用按以下方程式(3)与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B)：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}}.---\left(3\right)$

方程式(3)指示经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除以一加一除以二的平方根。此方程式可分别识别内部因子A及B的特定值7及5。使用替代因式分解且用以上所提到的内部因子建构的此所得的接近正交4×4DCT-II实施方案与常规H.2644×4DCT-II实施方案相比可更准确地表示直接4×4DCT-II的无理内部因子，且借此与常规4×4DCT-II实施方案相比提供改善的编码增益。因此，控制单元将此接近正交4×4DCT-II应用于媒体数据以将媒体数据从空间域变换到频域，结果为具有潜在改善的编码增益。

图2为更详细说明图1的视频编码器20的框图。视频编码器20可至少部分地形成为一个或一个以上集成电路装置，其可共同地被称为集成电路装置。在一些方面中，视频编码器20可形成无线通信装置手持机或广播服务器的一部分。视频编码器20可执行视频帧内的块的帧内及帧间编码。帧内编码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间编码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。对于帧间编码，视频编码器20执行运动估计以跟踪在邻近帧之间匹配的视频块的移动。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块30。在图2的实例中，视频编码器20包括运动估计单元32、参考帧存储器34、运动补偿单元36、块变换单元38、量化单元40、反量化单元42、反变换单元44及熵编码单元46。可应用回路内或回路后解块滤波器(未图示)以对块滤波以移除成块假影。视频编码器20还包括求和器48及求和器50。图2说明用于视频块的帧间编码的视频编码器20的时间预测组件。尽管为易于说明的目的图2中未展示，但视频编码器20也可包括用于一些视频块的帧内编码的空间预测组件。

运动估计单元32比较视频块30与一个或一个以上邻近视频帧中的块以产生一个或一个以上运动向量。可从参考帧存储器34检索一个或一个以上邻近帧，所述参考帧存储器34可包含任何类型的存储器或数据存储装置以存储从先前编码块重建构的视频块。可针对可变大小的块，例如，16×16、16×8、8×16、8×8或更小的块大小执行运动估计。运动估计单元32(例如)基于速率失真模型而识别邻近帧中的最紧密匹配当前视频块30的一个或一个以上块，且确定在邻近帧中的块与当前视频块之间的位移。在此基础上，运动估计单元32产生一个或一个以上运动向量(MV)，其指示在当前视频块30与来自用于编码当前视频块30的参考帧的一个或一个以上匹配块之间的位移的量值及轨迹。一个或一个以上匹配块将用作预测性(或预测)块以供帧间编码待编码块。

运动向量可具有二分之一或四分之一像素精确度或甚至更精细的精确度，从而允许视频编码器20以比整数像素位置更高的精确度跟踪运动且获得更好的预测块。当使用具有分数像素值的运动向量时，在运动补偿单元36中进行内插运算。运动估计单元32使用例如速率失真模型等某些准则识别视频块的最佳块分割及一个或一个以上运动向量。举例来说，在双向预测的状况下可存在一个以上的运动向量。使用所得的块分割及运动向量，运动补偿单元36形成预测视频块。

视频编码器20通过在求和器48处从原始的当前视频块30减去由运动补偿单元36产生的预测视频块来形成残余视频块。块变换单元38应用产生残余变换块系数的变换。如图2中所示，块变换单元38包括4×4DCT-II单元52，其实施根据本发明中所描述的技术建构的4×4DCT-II。4×4DCT-II单元52表示硬件模块，所述硬件模块在一些情况下执行软件(例如执行软件代码或指令的数字信号处理器或DSP)，其实施具有由以上所识别的三种关系中的一者定义的内部因子的4×4DCT-II。块变换单元38将经缩放4×4DCT-II单元52应用于残余块以产生残余变换系数的4×4块。4×4DCT-II单元52通常将残余块从表示为残余像素数据的空间域变换到表示为DCT系数的频域。变换系数可包含DCT系数，其包括至少一个DC系数及一个或一个以上AC系数。

量化单元40量化(例如，舍入)残余变换块系数以进一步减小位速率。如上所提及，量化单元40通过并入有在因式分解期间所移除的内部因子来考虑经缩放4×4DCT-II单元52的经缩放性质。即，量化单元40并入有以下关于图4A到图4C的实施方案70A-70C所示的外部因子。由于量化通常涉及乘法，因此将这些因子并入到量化单元40中可不增加量化单元40的实施方案复杂性。在此方面，从经缩放4×4DCT-II单元52移除因子在不增加量化单元40的实施方案复杂性的情况下减小DCT-II单元52的实施方案复杂性，从而导致关于视频编码器20的实施方案复杂性的净减小。

熵编码单元46熵编码量化系数以更进一步减小位速率。熵编码单元46执行统计无损耗编码，在一些情况下被称为熵编码。熵编码单元46模型化量化DCT系数的概率分布且基于模型化的概率分布来选择码簿(例如，CAVLC或CABAC)。使用此码簿，熵编码单元46以压缩量化DCT系数的方式选择用于每一量化DCT系数的码。为说明起见，熵编码单元46可选择用于频繁出现的量化DCT系数的短码字(依据位)及用于较不频繁出现的量化DCT系数的较长码字(依据位)。只要短码字使用比量化DCT系数更少的位，则平均来说熵编码单元46压缩量化DCT系数。熵编码单元46输出熵编码系数以作为发送到视频解码器26的位流。大体来说，视频解码器26执行反操作以从位流解码且重建构经编码视频，如将参看图3的实例描述。

重建构单元42及反变换单元44分别重建构量化系数及应用反变换以重建构残余块。求和单元50将重建构的残余块加到由运动补偿单元36产生的运动补偿预测块以产生重建构的视频块以存储于参考帧存储器34中。重建构的视频块由运动估计单元32及运动补偿单元36用于编码随后视频帧中的块。

图3为更详细说明图1的视频解码器26的实例的框图。视频解码器26可至少部分地形成为一个或一个以上集成电路装置，其可共同地被称为集成电路装置。在一些方面中，视频解码器26可形成无线通信装置手持机的一部分。视频解码器26可执行对视频帧内的块的帧内及帧间解码。如图3中所示，视频解码器26接收已由视频编码器20编码的经编码视频位流。在图3的实例中，视频解码器26包括熵解码单元54、运动补偿单元56、重建构单元58、反变换单元60及参考帧存储器62。熵解码单元64可存取存储于存储器64中的一个或一个以上数据结构以获得可用于编码的数据。视频解码器26也可包括回路内解块滤波器(未图示)，其对求和器66的输出进行滤波。视频解码器26还包括求和器66。图3说明用于视频块的帧间解码的视频解码器26的时间预测组件。尽管图3中未展示，但视频解码器26也可包括用于一些视频块的帧内解码的空间预测组件。

熵解码单元54接收经编码的视频位流且从位流中解码经量化残余系数及经量化参数，以及其它信息，例如，宏块编码模式及运动信息(其可包括运动向量及块分割)。运动补偿单元56接收运动向量及块分割及来自参考帧存储器62的一个或一个以上重建构的参考帧以产生预测视频块。

重建构单元58反量化(即，解量化)经量化块系数。反变换单元60将反变换(例如，反DCT)应用于系数以产生残余块。更特定来说，反变换单元60包括经缩放4×4DCT-III单元68，反变换单元60将其应用于系数以产生残余块。作为图2中所示的经缩放4×4DCT-II单元52的反操作的经缩放4×4DCT-III单元68可将系数从频域变换到空间域以产生残余块。类似于以上的量化单元40，重建构单元58通过在实施方案复杂性极小增加(如果有的话)的情况下将在因式分解期间所移除的外部因子并入到重建构过程中来考虑4×4DCT-III单元68的经缩放性质。从经缩放4×4DCT-III单元68移除因子可减小实施方案复杂性，借此导致视频解码器26的复杂性的净减小。

接着通过求和器66将预测视频块与残余块求和以形成经解码的块。可应用解块滤波器(未图示)以对经解码的块进行滤波以移除成块假影。经滤波的块接着置于参考帧存储器62中，所述参考帧存储器62提供用于随后视频帧的解码的参考帧且还产生经解码的视频以驱动显示装置28(图1)。

图4A到图4C为各自说明根据本发明的技术所建构的经缩放4×4DCT-II的实施方案的图。图4A为说明根据本发明的技术所建构的经缩放正交4×4DCT-II实施方案70A的图。图4B为说明根据本发明的技术所建构的经缩放接近正交4×4DCT-II实施方案70B的图。图4C为说明根据本发明的技术所建构的经缩放接近正交4×4DCT-II替代实施方案70C的图。图2的实例中所示的4×4DCT单元52可并入有一个或一个以上这些实施方案70A-70C。

首先参看图4A的实例，4×4DCT-II实施方案70A包括蝶形单元72、偶数部分74A及奇数部分74B。蝶形单元92可表示硬件或硬件与软件的组合，其用于将输入x₀，…，x₃路由或以其它方式转发到适当偶数部分74A及奇数部分74B(“部分74”)。蝶形单元92通常组合例如2x2DCT-II实施方案的较小DCT的结果，其在此种状况下可分别由偶数部分及奇数部分74表示。偶数部分74A为4×4DCT-II实施方案70A的输出偶数DCT系数X₀及X₂的2x2部分。值得注意地，这些偶数系数X₀及X₂乘以为二分之一(1/2)的外部因子，所述外部因子可以且通常由量化单元40应用。

奇数部分74B为4×4DCT-II实施方案70A的输出奇数DCT系数X₁及X₃的2x2部分。奇数部分74B包括表示为C及S的两个内部因子，所述两个内部因子C及S按照根据本发明的技术定义的以上所提到方程式(1)而与应用于奇数系数X₁及X₃的外部因子有关。将一除以二的平方根(1/√2)的额外外部因子乘以一除以以上方程式(1)中所提到的关系以导致关于奇数系数X₁及X₃所示的外部因子。

方程式(1)中所提到的关系可通过首先考虑正交性质而导出，所述性质由以下方程式(4)数学地陈述：

C^TC＝I。(4)

变量C在此种情况下指代任何矩阵，而C^T表示矩阵C的转置。变量I表示单位矩阵。因此，如果矩阵的转置乘矩阵本身等于单位矩阵，则矩阵展现出正交性质。

假定由于以上所提到的原因在媒体编码实施方案中优选的经缩放矩阵，矩阵C可被分成表示为C′的整数经缩放变换及缩放因子或外部因子的对角矩阵D，如以下方程式(5)中所提到：

C＝C′D。(5)

以来自方程式(5)的C′D代入方程式(4)中的C导致以下方程式(6)：

(C′D)^T(C′D)＝DC′^TC′D＝I，(6)

其可简化为以下方程式(7)中所示的数学方程式：

C′C＝D^-2。(7)

方程式(7)提供用于选择缩放因子以使得所得的整数变换保持正交的机制。

举例来说，在4×4DCT-II实施方案的状况下，此DCT-II通常仅应用表示三乘常数pi除以八的余弦及三乘常数pi除以八的正弦的因子的近似。假定这些两个因子将由作为矩阵C′的系数的整数C及S替换且使用以上正交性条件，以上方程式(1)表示标准化因子，以使得设计4×4DCT-II的正交近似的任务可限于找到成对的整数(C、S)，以使得满足以下方程式(8)及(9)：

$\frac{C}{\sqrt{C^2+S^2}}\≈\cos \left(\frac{3\mathrm{\π}}{8}\right),$ 及(8)

$\frac{S}{\sqrt{C^2+S^2}}\≈\sin \left(\frac{3\mathrm{\π}}{8}\right).---\left(9\right)$

在这些假定下，导致展示为4×4DCT-II实施方案70A的整数经缩放变换。

以下表1说明与H.264视频编码标准中所采用的4×4DCT-II实施方案相比较的经选择用于整数C及S的各种值及所得的近似误差。

表1

值得注意地，当将变量C及S分别设定到2及5时，所得的实施方案70A的复杂性增加，但在三乘常数pi除以八的余弦及三乘常数pi除以八的正弦的近似中存在少得多的误差，所述情况促进编码增益。与基础H.264实施方案相比，复杂性仅涉及额外加法及移位，但不涉及任何在运算意义上代价大的乘法。因此，通过实施方案70A并入有分别用于变量C及S的值2及5，在实施方案复杂性增加最少的情况下潜在地提供最佳编码增益，本发明中所描述的技术仅以复杂性的微小增加促进增加的编码增益。

虽然以上关于类型II的DCT加以描述，但图4A的实例中所示的实施方案70A也可表示类型III的DCT或反DCT实施方案。由实施方案70A形成反DCT涉及颠倒输入及输出以使得输入由图4A右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入接着首先由偶数部分及奇数部分74且接着由蝶形72处理。为易于说明的目的，鉴于此IDCT实施方案可经描述为实施方案70A的镜像，未在单独的图中展示与实施方案70A相反的此IDCT实施方案。

图4B为说明根据本发明的技术所建构的经缩放接近正交4×4DCT-II实施方案70B的图。4×4DCT-II实施方案70B包括类似于图4A的蝶形单元72的蝶形单元76，及偶数部分78A及奇数部分78B(“部分78”)。偶数部分78A类似于偶数部分74A。奇数部分78B也类似于奇数部分74B，不同在于正交性条件已放松，从而导致在内部因子C、S与经缩放因子ξ之间的不同关系，即，以上关于方程式(2)所表示的关系。

为了根据由方程式(2)所表示的关系导出图4B的实例实施方案70B，首先考虑虽然正交性通常在理论上确保4×4DCT-II的直接反实施方案，但实际上大部分缩放因子(在整数变换之后)变为无理数，其难以使用整数乘法器精确地实施。此外，量化通常在4×4DCT变换的应用之后，且此量化添加噪声，其可防碍反正交DCT-II实施方案的直接应用。此外，考虑整数算术实施方案，这些接近正交变换与严格正交整数变换相比可改善编码效率，同时也减小实施方案复杂性。因此，放松在直接实施方案与反实施方案之间的此正交性失配的程度实际上可改善编码增益。

为了特征化失配的程度，根据以下方程式(10)定义距单位矩阵的距离的范数：

‖C^TC-I‖。(10)

使用与以上关于方程式(4)的记法相同的记法，方程式(10)简单地指示距单位矩阵的距离的范数可定义为矩阵的转置乘矩阵减去单位矩阵。假定C^TC保持对角的，则可根据以下方程式(11)计算平均绝对距离：

${\mathrm{\δ}}_N=\frac{1}{N}\mathrm{tr}\left(\right|C^{T}C-I\left|\right),---\left(11\right)$

其中平均绝对距离由变量δ_N表示且N等于矩阵的大小。

通过放松正交性性质，编码增益可改善，但关于平均绝对差的对编码增益的分析过于取决于正经历压缩的图像的特定模型或统计数据。因此，可经由分析与找到在匹配DCT-II的基本函数方面潜在最佳的整数变换有关的不同量度来确定放松正交性性质的程度。关于此形式的评估的更多信息可在由Y·A·雷兹尼克(Y.A.Reznik)、A·T·海因茨(A.T.Hinds)及J·L·米歇尔(J.L.Mitchell)创作的题为“借助共同因子来改善定点算法的精度(ImprovedPrecisionofFixed-PointAlgorithmsbyMeansofCommonFactors)”(会刊ICIP2008，加利福尼亚圣地亚哥(SanDiego，CA))的文章中找到，所述文章的全部内容就如同在本文中完全陈述一样以引用的方式并入本文中。

根据此并入的参考文献，用于产生最佳匹配设计的一种技术被称为“基于公因子的近似”。使用此技术，可如下导出以下方程式(12)：

$\mathrm{\ξ}=\frac{C+S}{\cos \left(\frac{3\mathrm{\π}}{8}\right)+\sin \left(\frac{3\mathrm{\π}}{8}\right)},---\left(12\right)$

使得可如下导出以下方程式(13)及(14)：

$C/\mathrm{\ξ}\≈\cos \left(\frac{3\mathrm{\π}}{8}\right),$ 及(13)

$S/\mathrm{\ξ}\≈\sin \left(\frac{3\mathrm{\π}}{8}\right).---\left(14\right)$

方程式(12)确保对于经缩放因子ξ，C及S的对应近似的误差具有相同的量值但相反的正负号。在这些假定下，导致展示为4×4DCT-II实施方案70B的整数缩放变换。

以下表2说明经选择用于整数C及S的各种值及所得的近似误差。

表2

更详细地考虑表2，当分别将变量C及S设定到2及5时，近似误差减小。上文在标题“近似误差”下所示的第三误差量度(C²+S²/ξ²-1)基本上是上文关于方程式(11)所论述的正交性失配量度δ_N的子集，其中此失配量度描述沿C^TC-I的对角线出现在奇数位置的值。值得注意地，对DCT-II基本函数的更精确整数近似也大体上更接近于是正交的。虽然此种整数近似大体上更接近于是正交的，但C及S分别设定到值1及2的DCT-II实施方案70B在所列出的那些实施方案中可能提供在编码增益方面的最多回报，如下文关于图7B所示。

虽然上文关于类型II的DCT加以描述，但图4B的实例中所示的实施方案70B也可表示类型III的DCT或反DCT实施方案。由实施方案70B形成反DCT涉及颠倒输入及输出，以使得输入由图4B右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入接着首先由偶数部分及奇数部分78且接着由蝶形76处理。为易于说明的目的，考虑到此IDCT实施方案可被描述为实施方案70B的镜像，未在单独图中展示与实施方案70B相反的此IDCT实施方案。

图4C为说明由替代因式分解引起的根据本发明的技术建构的另一示范性经缩放接近正交4×4DCT-II实施方案70C的图。4×4DCT-II实施方案70C包括类似于图4A的蝶形单元72及图4B的蝶形单元76的蝶形单元80，及偶数部分82A及奇数部分82B(“部分82”)。偶数部分82A类似于偶数部分78A。奇数部分82B与奇数部分78B类似，因为正交性条件已放松，但作为替代因式分解的结果，导致在内部因子A、B与经缩放因子ξ之间的不同关系，即，上文关于方程式(3)所表示的关系。关于替代因式分解的更多信息可在2009年4月在MPEG第88次会议(夏威夷毛伊岛(Maui，HI))上提交的MPEG输入文档M16438的由Y·A·雷兹尼克(Y.A.Reznik)及R·C·契伍库拉(R.C.Chivukula)撰写的题为“用于高分辨率/高性能视频编码的变换的设计(OnDesignofTransformsforHigh-Resolution/High-PerformanceVideoCoding)”的文章中找到，所述文章的全部内容就如同在本文中完全陈述一样以引用的方式并入本文中。

值得注意地，将不同缩放因子应用于奇数系数X₁及X₃，且在4×4DCT-II实施方案70C中仅存在一个要近似的无理因子。为了保持正交，内部因子B通常必须设定到一除以二的平方根且A必须设定到一。因此，从这些值改变内部因子A、B的值会导致非正交实施方案。为了评估这些内部因子的各种值，使用被称为公因子近似技术的以上技术，其在上文关于图4B提到。使用此技术，确定以下方程式(15)以使得可为内部因子A、B选择两个整数值以导出参数ξ：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},---\left(15\right)$

以使得满足以下方程式(16)及(17)：

A/ξ≈1，及(16)

$B/\mathrm{\ξ}\≈1/\sqrt{2}.---\left(17\right)$

以上方程式(15)确保对应近似的误差在量值方面变得平衡但正负号相反。在这些假定下，导致展示为4×4DCT-II实施方案70C的整数缩放变换。

以下表3说明为整数C及S选择的各种值及所得的近似误差。

表3

更详细地考虑表3，当将变量A及B分别设定到7及5时，近似误差减小。A及B分别设定到值7及5的4×4DCT-II实施方案70C在所列出的那些实施方案中可能提供在编码增益方面(与复杂性增加(表3中未展示)相比较)的最多回报，如下文关于图7C所示。

虽然上文关于类型II的DCT加以描述，但图4C的实例中所示的实施方案70C也可表示类型III的DCT或反DCT实施方案。由实施方案70C形成反DCT涉及颠倒输入及输出，以使得输入由图4C右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入接着首先由偶数部分及奇数部分82且接着由蝶形80处理。为易于说明的目的，考虑到此IDCT实施方案可被描述为实施方案70C的镜像，未在单独图中展示与实施方案70C相反的此IDCT实施方案。

图5为说明例如图2的视频编码器20的编码装置在应用根据本发明的技术所建构的4×4DCT实施方案时的示范性操作的流程图。最初，视频编码器20接收待编码的视频帧内的当前视频块30(90)。运动估计单元32执行运动估计以比较视频块30与一个或一个以上邻近视频帧中的块以产生一个或一个以上运动向量(92)。可从参考帧存储器34检索一个或一个以上邻近帧。可针对可变大小的块，例如，16×16、16×8、8×16、8×8、4×4或更小的块大小执行运动估计。运动估计单元32(例如)基于速率失真模型来识别邻近帧中的最紧密匹配当前视频块30的一个或一个以上块，且确定邻近帧中的块与当前视频块之间的位移。在此基础上，运动估计单元32产生一个或一个以上运动向量(MV)，其指示当前视频块30与来自用于编码当前视频块30的参考帧的一个或一个以上匹配块之间的位移的量值及轨迹。一个或一个以上匹配块将用作预测性(或预测)块用于帧间编码待编码块。

运动向量可具有二分之一或四分之一像素精确度或甚至更精细的精确度，从而允许视频编码器20以比整数像素位置更高的精确度跟踪运动且获得更好的预测块。当使用具有分数像素值的运动向量时，在运动补偿单元36中进行内插运算。运动估计单元32使用例如速率失真模型等某些准则来识别视频块的最佳块分割及一个或一个以上运动向量。举例来说，在双向预测的状况下可存在一个以上的运动向量。使用所得的块分割及运动向量，运动补偿单元36形成预测视频块(94)。

视频编码器20通过在求和器48处从原始的当前视频块30减去由运动补偿单元36产生的预测视频块来形成残余视频块(96)。块变换单元38应用产生残余变换块系数的变换。块变换单元38包括根据本发明中描述的技术产生的4×4DCT-II单元52。块变换单元38将经缩放4×4DCT-II单元52应用于残余块以产生残余变换系数的4×4块。4×4DCT-II单元52通常将残余块从表示为残余像素数据的空间域变换到表示为DCT系数的频域(98)。变换系数可包含DCT系数，其包括至少一个DC系数及一个或一个以上AC系数。

量化单元40量化(例如，舍入)残余变换块系数以进一步减小位速率(100)。如上文所提及，量化单元40通过并入有在因式分解期间所移除的内部因子来考虑经缩放4×4DCT-II单元52的经缩放性质。即，量化单元40并入有以上关于图4A到图4C的实施方案70A-70C所提到的外部因子。由于量化通常涉及乘法，因此将这些因子并入到量化单元40中不会增加量化单元40的实施方案复杂性。在此方面，从经缩放4×4DCT-II单元52移除因子在不增加量化单元40的实施方案复杂性的情况下减小DCT-II单元52的实施方案复杂性，从而导致关于视频编码器20的实施方案复杂性的净减小。

熵编码单元46熵编码经量化的系数以更进一步减小位速率。熵编码单元46执行统计无损耗编码(在一些情况下被称为熵编码)以产生经编码的位流(102)。熵编码单元46模型化经量化DCT系数的概率分布且基于模型化概率分布来选择码簿(例如，CAVLC或CABAC)。透过使用此码簿，熵编码单元46以压缩经量化DCT系数的方式选择用于每一经量化DCT系数的码。熵编码单元46输出熵编码系数以作为存储到存储器或存储装置及/或发送到视频解码器26的经编码位流(104)。

重建构单元42及反变换单元44分别重建构经量化系数及应用反变换以重建构残余块。求和单元50将重建构的残余块加到由运动补偿单元36产生的经运动补偿的预测块以产生重建构的视频块以用于存储于参考帧存储器34中。重建构的视频块被运动估计单元32及运动补偿单元36用于编码随后视频帧中的块。

图6为说明例如图3的视频解码器26的编码装置在应用根据本发明的技术建构的4×4DCT-III实施方案时的实例操作的流程图。视频解码器26接收已由视频编码器20编码的经编码视频位流。特定来说，熵解码单元54接收经编码的视频位流且从位流解码经量化的残余系数及经量化的参数，以及其它信息，例如，宏块编码模式及运动信息，其可包括运动向量及块分割(106、108)。运动补偿单元56接收运动向量及块分割及来自参考帧存储器62的一个或一个以上重建构的参考帧以产生预测视频块(110)。

重建构单元58反量化(即，解量化)经量化的块系数(112)。反变换单元60将反变换(例如，反DCT)应用于系数以产生残余块。更特定来说，反变换单元60包括经缩放4×4DCT-III单元68，反变换单元60将其应用于系数以产生残余块(114)。作为图2中所示的经缩放4×4DCT-II单元52的反操作的经缩放4×4DCT-III单元68可将系数从频域变换到空间域以产生残余块。类似于以上的量化单元40，重建构单元58通过在实施方案复杂性极小增加(如果存在)的情况下将在因式分解期间所移除的外部因子并入到重建构过程中来考虑4×4DCT-III单元68的经缩放性质。从经缩放4×4DCT-III单元68移除因子可减小实施方案复杂性，借此导致视频解码器26的复杂性的净减小。

接着通过求和器66将预测视频块与残余块求和以形成经解码的块(116)。可应用解块滤波器(未图示)以对经解码的块进行滤波以移除成块假影。经滤波的块接着被置于参考帧存储器62中，所述参考帧存储器62提供用于解码随后视频帧的参考帧且还产生经解码的视频以驱动例如图1的显示装置28的显示装置(118)。

图7A到图7C为说明根据本发明的技术所建构的三种不同4×4DCT-II实施方案(例如图4A到图4C的实施方案70A-70C)中的每一者的相对于位速率的峰值信噪比的曲线120A-120C的图。图7A为说明根据本发明的技术所建构的正交经缩放4×4DCT-II实施方案(例如图4A的实施方案70A)的相对于位速率的峰值信噪比(PSNR)的曲线120A的图。根据曲线120A的图解，实线表示由H.264视频编码标准并入有的标准4×4DCT-II实施方案。点线表示能够执行无理乘法及加法的理论最佳DCT实施方案。长划线表示内部因子C及S分别设定到2及5的正交4×4DCT-II实施方案70A。短划线表示内部因子C及S分别设定到3及7的正交4×4DCT-II实施方案70A。点划线表示内部因子C及S分别设定到5及12的正交4×4DCT-II实施方案70A。值得注意地，内部因子C及S设定到2及5的正交4×4DCT-II实施方案70A比H.264实施方案更准确地近似理论最佳DCT-II实施方案。此外，内部因子C及S设定到3及7或5及12的正交4×4DCT-II实施方案70A与内部因子C及S设定到2及5的正交4×4DCT-II实施方案70A相比并不提供PSNR方面的显著增益，尽管这些实施方案涉及更复杂的实施方案。

图7B为说明根据本发明的技术建构的正交经缩放4×4DCT-II实施方案(例如图4B的实施方案70B)的相对于位速率的峰值信噪比(PSNR)的曲线120B的图。根据曲线120B的图解，实线表示由H.264视频编码标准并入有的标准正交4×4DCT-II实施方案。点线表示能够执行无理乘法及加法的理论最佳DCT实施方案。短划线表示内部因子C及S分别设定到1及2的接近正交4×4DCT-II实施方案70B。长划线表示内部因子C及S分别设定到2及5的接近正交4×4DCT-II实施方案70B。点划线表示内部因子C及S分别设定到5及12的接近正交4×4DCT-II实施方案70B。值得注意地，内部因子C及S设定到2及5的接近正交4×4DCT-II实施方案70B在PSNR方面并不比H.264实施方案好很多。然而，内部因子C及S设定到1及2的接近正交4×4DCT-II实施方案70B提供甚至比理论DCT实施方案还要好的PSNR，而内部因子C及S设定到5及12的接近正交4×4DCT-II实施方案70B最准确地表示理论DCT实施方案。

图7C为说明从替代因式分解所导出且根据本发明的技术所建构的接近正交经缩放4×4DCT-II实施方案(例如图4C的实施方案70C)的相对于位速率的峰值信噪比(PSNR)的曲线120C的图。根据曲线120C的图解，实线表示由H.264视频编码标准并入有的标准正交4×4DCT-II实施方案。点线表示能够执行无理乘法及加法的理论最佳DCT实施方案。长划线表示内部因子B及A分别设定到2及3的接近正交4×4DCT-II实施方案70C。短划线表示内部因子B及A分别设定到5及7的接近正交4×4DCT-II实施方案70C。点划线表示内部因子B及A分别设定到29及41的接近正交4×4DCT-II实施方案70C。值得注意地，内部因子B及A设定到2及3的接近正交4×4DCT-II实施方案70C在PSNR方面比H.264实施方案更差。然而，内部因子B及A设定到5及7的接近正交4×4DCT-II实施方案70C提供比H.264实施方案好的PSNR，且准确地表示理论DCT实施方案而不需要内部因子C及S设定到29及41的接近正交4×4DCT-II实施方案70C的复杂性。

本发明的技术可在广泛多种装置或设备中实施，其包括例如移动电话等无线通信装置手持机、集成电路(IC)或一组IC(即，芯片组)。已描述任何组件、模块或单元以强调功能方面且不一定需要通过不同硬件单元实现。本文中所描述的技术也可在硬件、软件、固件或其任何组合中实施。描述为模块、单元或组件的任何特征可在集成逻辑装置中共同实施，或作为离散但可交互操作的逻辑装置单独实施。在一些状况下，各种特征可实施为集成电路装置，例如，集成电路芯片或芯片组。

如果在软件中实施，则技术可至少部分地通过包含指令的计算机可读媒体实现，所述指令在处理器中执行时执行以上所述的方法中的一者或一者以上。计算机可读媒体可包含作为物理结构的计算机可读存储媒体且可形成计算机程序产品的一部分，计算机程序产品可包括包装材料。计算机可读存储媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及其类似物。在此意义上，计算机可读存储媒体可在一些方面被认为是非暂时性计算机可读存储媒体。

代码或指令可由一个或一个以上处理器，例如，一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路来执行。因此，术语“处理器”如本文中所使用可指代以上结构或适合于实施本文中所描述技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用软件模块或硬件模块内，或并入于组合的视频编解码器中。又，可在一个或一个以上电路或逻辑元件中充分地实施所述技术。

本发明还预期多种集成电路装置中的任一者，其包括实施本发明中所描述技术中的一者或一者以上的电路。此电路可经提供于单一集成电路芯片中或提供于所谓的芯片组中的多个可交互操作的集成电路芯片中。这些集成电路装置可用于多种应用中，其中一些可包括在例如移动电话手持机等无线通信装置中的使用。

已描述技术的各种方面。这些及其它方面在以下权利要求书的范围内。

Claims (54)

1.一种用于视频编码的设备，其包含：

4×4反离散余弦变换IDCT硬件单元，其实施具有奇数部分的正交4×4DCT-II的IDCT，所述奇数部分应用与经缩放因子ξ有关的第一内部因子C及第二内部因子S以使得所述经缩放因子等于所述第一内部因子C的平方加所述第二内部因子S的平方的总和的平方根，其中所述第一内部因子C及所述第二内部因子S是整数，

其中所述4×4IDCT硬件单元将所述4×4IDCT实施方案应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域。

2.根据权利要求1所述的设备，

其中所述内部因子C等于一，且

其中所述内部因子S等于二。

3.根据权利要求1所述的设备，

其中所述内部因子C等于二，且

其中所述内部因子S等于五。

4.根据权利要求1所述的设备，

其中所述内部因子C等于三，且

其中所述内部因子S等于七。

5.根据权利要求1所述的设备，

其中所述内部因子C等于五，且

其中所述内部因子S等于十二。

6.根据权利要求1所述的设备，

其中所述内部因子C等于十七，且

其中所述内部因子S等于四十一。

7.根据权利要求1所述的设备，进一步包含重建构单元，所述重建构单元使用所述经缩放因子ξ来确定所述DCT系数。

8.根据权利要求1所述的设备，其中所述4×4IDCT硬件单元包含处理器，所述处理器执行软件以实施所述正交4×4DCT-II的所述IDCT。

9.一种用于视频编码的方法，其包含：

通过4×4反离散余弦变换IDCT硬件单元将正交4×4DCT的4×4IDCT-II应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域，

其中所述正交4×4DCT包括奇数部分，所述奇数部分应用与经缩放因子ξ有关的第一内部因子C及第二内部因子S以使得所述经缩放因子等于所述第一内部因子C的平方加所述第二内部因子S的平方的总和的平方根，其中所述第一内部因子C及所述第二内部因子S是整数。

10.根据权利要求9所述的方法，

其中所述内部因子C等于一，且

其中所述内部因子S等于二。

11.根据权利要求9所述的方法，

其中所述内部因子C等于二，且

其中所述内部因子S等于五。

12.根据权利要求9所述的方法，

其中所述内部因子C等于三，且

其中所述内部因子S等于七。

13.根据权利要求9所述的方法，

其中所述内部因子C等于五，且

其中所述内部因子S等于十二。

14.根据权利要求9所述的方法，

其中所述内部因子C等于十七，且

其中所述内部因子S等于四十一。

15.根据权利要求9所述的方法，进一步包含使用所述经缩放因子ξ来确定所述DCT系数。

16.一种用于视频编码的设备，其包含：

用于将正交4×4DCT-II的4×4反离散余弦变换IDCT应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域的装置，

其中所述正交4×4DCT-II包括奇数部分，所述奇数部分应用与经缩放因子ξ有关的第一内部因子C及第二内部因子S以使得所述经缩放因子等于所述第一内部因子C的平方加所述第二内部因子S的平方的总和的平方根，其中所述第一内部因子C及所述第二内部因子S是整数。

17.根据权利要求16所述的设备，

其中所述内部因子C等于一，且

其中所述内部因子S等于二。

18.根据权利要求16所述的设备，

其中所述内部因子C等于二，且

其中所述内部因子S等于五。

19.根据权利要求16所述的设备，

其中所述内部因子C等于三，且

其中所述内部因子S等于七。

20.根据权利要求16所述的设备，

其中所述内部因子C等于五，且

其中所述内部因子S等于十二。

21.根据权利要求16所述的设备，

其中所述内部因子C等于十七，且

其中所述内部因子S等于四十一。

22.根据权利要求16所述的设备，进一步包含用于使用所述经缩放因子ξ来确定所述DCT系数的装置。

23.一种用于视频编码的设备，其包含：

4×4反离散余弦变换IDCT硬件单元，其中所述4×4IDCT硬件单元实施具有奇数部分的非正交4×4DCT-II的反DCT，所述奇数部分应用按以下方程式与经缩放因子ξ有关的第一内部因子C及第二内部因子S：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中所述第一内部因子C及所述第二内部因子S是整数，

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在所述非正交4×4DCT-II的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子，且

其中所述4×4IDCT硬件单元将所述4×4IDCT实施方案应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域。

24.根据权利要求23所述的设备，

其中所述内部因子C等于一，且

其中所述内部因子S等于二。

25.根据权利要求23所述的设备，

其中所述内部因子C等于二，且

其中所述内部因子S等于五。

26.根据权利要求23所述的设备，

其中所述内部因子C等于五，且

其中所述内部因子S等于十二。

27.根据权利要求23所述的设备，进一步包含重建构单元，所述重建构单元使用所述经缩放因子ξ来确定所述DCT系数。

28.根据权利要求23所述的设备，其中所述4×4IDCT硬件单元包含处理器，所述处理器执行软件以实施所述非正交4×4DCT-II的所述IDCT。

29.一种用于视频编码的方法，其包含：

通过4×4反离散余弦变换IDCT硬件单元将4×4IDCT应用于代表视频数据的DCT-II系数以将所述视频数据从频域变换到空间域，

其中所述4×4IDCT-II包含具有奇数部分的非正交4×4DCT的IDCT，所述奇数部分应用按以下方程式与经缩放因子ξ有关的第一内部因子C及第二内部因子S：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中所述第一内部因子C及所述第二内部因子S是整数，

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在所述非正交4×4DCT-II的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

30.根据权利要求29所述的方法，

其中所述内部因子C等于一，且

其中所述内部因子S等于二。

31.根据权利要求29所述的方法，

其中所述内部因子C等于二，且

其中所述内部因子S等于五。

32.根据权利要求29所述的方法，

其中所述内部因子C等于五，且

其中所述内部因子S等于十二。

33.根据权利要求29所述的方法，进一步包含使用所述经缩放因子ξ来确定所述DCT系数。

34.一种用于视频编码的设备，其包含：

用于通过4×4反离散余弦变换IDCT硬件单元将4×4IDCT应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域的装置，

其中所述4×4IDCT包含具有奇数部分的非正交4×4DCT-II的IDCT，所述奇数部分应用按以下方程式与经缩放因子ξ有关的第一内部因子C及第二内部因子S：

$\mathrm{\ξ}=\frac{C+S}{\mathrm{\ω}+\mathrm{\ψ}},$

其中所述第一内部因子C及所述第二内部因子S是整数，

其中变量ω及ψ表示无理内部变换因子且变量C及S表示在所述非正交4×4DCT-II的整数实施方案中代替变量ω及ψ使用的二元有理内部变换因子。

35.根据权利要求34所述的设备，

其中所述内部因子C等于一，且

其中所述内部因子S等于二。

36.根据权利要求34所述的设备，

其中所述内部因子C等于二，且

其中所述内部因子S等于五。

37.根据权利要求34所述的设备，

其中所述内部因子C等于五，且

其中所述内部因子S等于十二。

38.根据权利要求34所述的设备，进一步包含用于使用所述经缩放因子ξ来确定所述DCT系数的装置。

39.一种用于视频编码的设备，其包含：

4×4反离散余弦变换IDCT硬件单元，其中所述4×4IDCT硬件单元实施具有奇数部分的非正交4×4DCT-II的IDCT，所述奇数部分应用按以下方程式与经缩放因子ξ有关的第一内部因子A及第二内部因子B：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中所述第一内部因子A及所述第二内部因子B是整数，

其中所述经缩放因子ξ等于所述第一内部因子A加所述第二内部因子B的总和除以一加一除以二的平方根，且

其中所述4×4IDCT硬件单元将所述4×4IDCT实施方案应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域。

40.根据权利要求39所述的设备，

其中所述内部因子A等于三，且

其中所述内部因子B等于二。

41.根据权利要求39所述的设备，

其中所述内部因子A等于七，且

其中所述内部因子B等于五。

42.根据权利要求39所述的设备，

其中所述内部因子A等于二十九，且

其中所述内部因子B等于四十一。

43.根据权利要求39所述的设备，进一步包含重建构单元，所述重建构单元使用所述经缩放因子ξ来确定所述DCT系数。

44.根据权利要求39所述的设备，其中所述4×4IDCT硬件单元包含处理器，所述处理器执行软件以实施所述非正交4×4DCT-II的所述IDCT。

45.一种用于视频编码的方法，其包含：

通过4×4反离散余弦变换IDCT硬件单元将4×4IDCT应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域，

其中所述IDCT包含具有奇数部分的非正交4×4DCT-II的IDCT，所述奇数部分应用按以下方程式与经缩放因子ξ有关的第一内部因子A及第二内部因子B：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中所述第一内部因子A及所述第二内部因子B是整数，

其中所述经缩放因子ξ等于所述第一内部因子A加所述第二内部因子B的总和除以一加一除以二的平方根。

46.根据权利要求45所述的方法，

其中所述内部因子A等于三，且

其中所述内部因子B等于二。

47.根据权利要求45所述的方法，

其中所述内部因子A等于七，且

其中所述内部因子B等于五。

48.根据权利要求45所述的方法，

其中所述内部因子A等于二十九，且

其中所述内部因子B等于四十一。

49.根据权利要求45所述的方法，进一步包含使用所述经缩放因子ξ来确定所述DCT系数。

50.一种用于视频编码的设备，其包含：

用于通过4×4反离散余弦变换IDCT硬件单元将4×4IDCT应用于代表视频数据的DCT系数以将所述视频数据从频域变换到空间域的装置，

其中所述IDCT包含具有奇数部分的非正交4×4DCT-II的IDCT，所述奇数部分应用按以下方程式与经缩放因子ξ有关的第一内部因子A及第二内部因子B：

$\mathrm{\ξ}=\frac{A+B}{1+1/\sqrt{2}},$

其中所述第一内部因子A及所述第二内部因子B是整数，

其中所述经缩放因子ξ等于所述第一内部因子A加所述第二内部因子B的总和除以一加一除以二的平方根。

51.根据权利要求50所述的设备，

其中所述内部因子A等于三，且

其中所述内部因子B等于二。

52.根据权利要求50所述的设备，

其中所述内部因子A等于七，且

其中所述内部因子B等于五。

53.根据权利要求50所述的设备，

其中所述内部因子A等于二十九，且

其中所述内部因子B等于四十一。

54.根据权利要求50所述的设备，进一步包含用于使用所述经缩放因子ξ来确定所述DCT系数的装置。