CN105430403A - 用于帧内译码的逐像素加权 - Google Patents

Abstract

本发明涉及用于帧内译码的逐像素加权。本发明提供用于改进帧内译码中的预测准确度的技术。预测模式可独立于沿着一方向的其它像素而指定沿着同一方向的像素。在一实施例中，编码器选择用以最佳地表示图像块的预测模式。在替代实施例中，解码器通过根据由所述预测模式指定的权数矩阵而加权相邻像素来重构所述图像块中的每一像素。

Description

用于帧内译码的逐像素加权

分案申请的相关信息

本申请是国际申请号为PCT/US2008/060537，申请日为2008年4月16日，优先权日为2007年4月17日，发明名称为“用于帧内译码的逐像素加权”的PCT申请进入中国国家阶段后申请号为200880012084.3的中国发明专利申请的分案申请。

优先权的主张

本专利申请案是基于2007年4月17日申请的第60/912,364号美国专利申请案且主张所述美国专利申请案的优先权，所述美国专利申请案转让给本发明的受让人且其内容在此以引用的方式明确地并入本文中。

技术领域

本发明涉及数字视频处理，且更明确地说，涉及用于帧内视频编码及解码的技术。

背景技术

在视频编码中，可将视频序列的帧分割成矩形区或块。可以帧内模式(I模式)或帧间模式(P模式)来编码视频块。

图1展示用于I模式的现有技术视频编码器的图。在图1中，空间预测器102使用来自同一帧中的相邻块的像素而根据视频块100形成经预测块103。用于预测的相邻块可由预测模式101指定。加法器104计算预测误差106，即图像块100与经预测块103之间的差异。变换模块108将预测误差106投射到基底或变换函数集合上。在典型的实施方案中，变换函数可从离散余弦变换(DCT)、卡亨南-洛维(Karhunen-Loeve)变换(KLT)或任何其它函数导出。

变换模块108输出对应于指派给所述变换函数中的每一者的权数的变换系数110的集合。举例来说，可计算对应于变换函数集合{f₀，f₁，f₂，...，f_N}的系数集合{c₀，c₁，c₂，...，c_N}。随后由量化器112对变换系数110进行量化以产生经量化的变换系数114。可将经量化系数114及预测模式101传输到解码器。

图1A描绘用于I模式的视频解码器。在图1A中，经量化系数1000由编码器提供到解码器，且供应到逆变换模块1004。逆变换模块1004基于系数1000及固定变换函数集合(例如，{f₀，f₁，f₂，...，f_N})而重构预测误差1003。将预测模式1002供应到逆空间预测模块1006，所述逆空间预测模块1006基于已经被解码的相邻块的像素值而产生经预测块1007。将经预测块1007与预测误差1003组合以产生经重构块1010。经重构块1010与图1中的原始块100之间的差异被称为重构误差。

本文中参考由ITU电信标准化部门在2005年3月公布的ITU-T建议H.264(下文中称作H.264-2005)的章节8.3.1来描述图1中的空间预测器102的实例。在H.264-2005中，译码器提供被标记为0到8的用于预测4×4块的9个预测模式，包括DC预测(模式2)及8个定向模式，如图2所示。每一预测模式指定用于编码每一像素的相邻像素集合，如图3所说明。在图3中，像素a到p待编码，且相邻像素A到L及X用于预测所述像素a到p。

为了描述空间预测，可如下指定术语。设s表示含有来自相邻块的像素值的向量(例如，图3中的像素A到X的值形成1×12向量s)，且sA表示向量s的对应于像素A的元素，等等。设p表示含有用于待预测的块的像素值的向量(例如，图3中的像素a到p的值形成1×16向量p)，且p_a表示向量p的对应于像素a的元素，等等。进一步设w^d表示当指定预测模式d时待与向量s相乘以获得向量p的权数矩阵。可将w^d表达如下(等式1)：

$w^d=\left[\begin{array}{ccccc}{w^d}_{a,A}& {w^d}_{a,B}& .& .& {w^d}_{a,X}\\ {w^d}_{b,A}& & & & \\ .& & .& & \\ .& & & .& \\ {w^d}_{p,A}& & & & {w^d}_{p,X}\end{array}\right]$

接着可将经预测像素p的向量表达如下(等式2)：

p＝w^d·s

$\left[\begin{array}{c}{p}_a\\ p_b\\ .\\ .\\ p_p\end{array}\right]=\left[\begin{array}{ccccc}{w^d}_{a,A}& {w^d}_{a,B}& .& .& {w^d}_{a,X}\\ {w^d}_{b,A}& & & & \\ .& & .& & \\ .& & & .& \\ {w^d}_{p,A}& & & & {w^d}_{p,X}\end{array}\right]\left[\begin{array}{c}{s}_A\\ s_B\\ .\\ .\\ s_X\end{array}\right]$

根据H.264-2005，如果(例如)选择模式0，则通过将像素a、e、i及m设定为等于像素A来预测所述像素a、e、i及m，且通过将像素b、f、j及n设定为等于像素B来预测所述像素b、f、j及n，等等。模式0中的每一像素集合对应于沿着单一垂直方向的像素，如图2及图3所示。可将用于模式0的经预测像素与相邻像素的关系表示如下(等式3)：

w⁰ _a，A＝w⁰ _e，A＝w⁰ _i，A＝w⁰ _m，A＝1；

w⁰ _b，B＝w⁰ _f，B＝w⁰ _j，B＝w⁰ _n，B＝1；

w⁰ _c，C＝w⁰ _g，C＝w⁰ _k，C＝w⁰ _o，C＝1；

w⁰ _d，D＝w⁰ _h，D＝w⁰ _l，D＝w⁰ _p，B＝1；

且所有其它w⁰＝0。

另一方面，如果选择模式1，则通过将像素a、b、c及d设定为等于像素I来预测所述像素a、b、c及d，且通过将像素e、f、g及h设定为等于像素J来预测所述像素e、f、g及h，等等。在此情况下，每一像素集合对应于沿着单一水平方向的像素，也如图2及图3所示。可将用于模式1的关系表示如下(等式4)：

w¹ _a，I＝w¹ _b，I＝w¹ _c，I＝w¹ _d，I＝1；

w¹ _e，J＝w¹ _f，J＝w¹ _g，J＝w¹ _h，J＝1；

w¹ _i，K＝w¹ _j，K＝w¹ _k，K＝w¹ _l，K＝1；

w¹ _m，L＝w¹ _n，L＝w¹ _o，L＝w¹ _p，L＝1；

且所有其它w¹＝0。

请注意，H.264-2005中所给出的模式均指定将沿着单一方向(例如，模式0中的垂直方向及模式1中的水平方向)的像素设定为彼此相等且等于单一相邻像素。虽然这对于实施及指定来说为简单明了的，但在一些情况下，可能有利的是将沿着单一方向的像素设定为彼此不同的值及/或一个以上相邻像素的组合。

发明内容

本发明的一方面提供一种用于编码图像块的方法，所述图像块包含像素值集合，所述方法包含选择用于基于相邻像素而预测所述图像块中的像素的预测模式，所述预测模式将图像块中的至少一个像素的经预测值指定为至少两个相邻像素的组合。

本发明的另一方面提供一种用于预测图像块的方法，所述图像块包含像素值集合，所述方法包含接收用于基于相邻像素而预测所述图像块中的像素的预测模式，以及基于相邻像素及预测模式而产生经预测块，所述产生包含组合至少两个相邻像素以预测所述图像块中的至少一个像素。

本发明的又一方面提供一种用于编码图像块的设备，所述图像块包含像素值集合，所述设备包含用于选择用于基于相邻像素而预测所述图像块中的像素的预测模式的空间预测器，所述预测模式将所述图像块中的至少一个像素的经预测值指定为至少两个相邻像素的组合。

本发明的再一方面提供一种用于预测图像块的设备，所述图像块包含像素值集合，所述设备包含逆空间预测块，所述块接收用于基于相邻像素而预测所述图像块中的像素的预测模式，所述块组合至少两个相邻像素以预测所述图像块中的至少一个像素。

本发明的又一方面提供一种用于预测图像块的计算机程序产品，所述图像块包含像素值集合，所述产品包含计算机可读媒体，所述计算机可读媒体包含用于致使计算机接收用于基于相邻像素而预测所述图像块中的像素的预测模式的代码，以及用于致使计算机基于相邻像素及预测模式而产生经预测块的代码，所述代码致使计算机组合至少两个相邻像素以预测所述图像块中的至少一个像素。

附图说明

图1展示用于I模式的现有技术视频编码器的图。

图1A描绘用于I模式的视频解码器。

图2展示H.264-2005中所描述的预测模式。

图3说明使用若干预测模式的像素预测。

图4A到图4D展示用于像素a、e、i及m的矩阵w0的元素的图示表示。

具体实施方式

本文中所揭示的是用以将沿着单一方向的像素设定为彼此不同的值及/或一个以上相邻像素的组合的技术。

在一个方面中，对于一预测模式，可独立于沿着同一方向的其它像素而指定沿着单一方向的每一像素。举例来说，对于模式0，可如下修改矩阵w⁰的元素(等式5)：

w⁰ _a，A＝1；

w⁰ _e，A＝0.9；

w⁰ _i，A＝0.8；

w⁰ _m，A＝0.7；

且如根据等式1来保留w⁰的其它元素。如等式5所示，基于相邻像素A而预测像素a、e、i及m中的每一者，但每一像素与其它像素相比具有不同权数。

请注意，将矩阵w^d的规格提供到编码器与解码器两者，使得解码器具有对用于每一预测模式的w^d的先验认识。因此，除了图1及图1A的实施例中所示的信令以外，不需要编码器与解码器之间的额外信令。还请注意，提供等式5以仅说明独立于其它像素而指定每一像素，且其不希望将本发明限于针对矩阵w⁰所展示的任何特定值。

接收预测模式d且具有对矩阵w^d的先验认识的解码器可解码经编码块，如图1A所示。

结合或替代上文所描述的方面，另一方面提供：对于一预测模式，可将沿着单一方向的每一像素指定为两个或两个以上相邻像素的组合。举例来说，对于模式0，可将用于模式0的矩阵w⁰的元素(等式6)修改如下：

w⁰ _a，A＝0.5；

w⁰ _a，B＝0.5；

而w⁰的其它元素从等式3未改变。接着可将对应于图3中的像素a的经预测值(p_a)表达如下(等式7)：

$p_a=\[\begin{array}{cccc}{w^0}_{a,A}& {w^0}_{a,B}& \mathrm{...}& {w^0}_{a,X}\end{array}\]\left[\begin{array}{c}{s}_A\\ s_B\\ .\\ .\\ s_X\end{array}\right]=0.5s_A+0.5s_B$

请注意，提供用于等式6中的w⁰的值仅作为说明，且不应将其解释为将本发明限定于所提供的值。

在一实施例中，可组合以上两个方面。举例来说，可指派权数，使得随着距起始像素的距离增加，逐渐较少地加权待沿着同一方向编码的像素以支持一个或一个以上起始编码像素。类似地，随着距起始像素的距离增加，可将逐渐较多的权数指派给环绕待编码的像素的编码像素。

为了说明此实施例，图4A到图4D展示用于像素a、e、i及m的矩阵w0的元素的图示表示。图4A展示用于像素a的矩阵w⁰的元素(p_a)的图示表示。在图4A中，将相邻像素A视为起始编码像素。如图所示，对于像素a，仅权数w⁰ _a，A被指派为1的非零权数。图4B展示用于像素e的权数指派。如图所示，像素e被指派不同于像素a的权数集合，即w⁰ _a，A＝0.9且w⁰ _a，J＝0.1。图4C展示用于像素i的权数指派。对于像素i，w⁰ _a，A＝0.8，w⁰ _a，J＝0.05，w⁰ _a，K＝0.1，且w⁰ _a，L＝0.05。图4D展示用于像素m的权数指派。对于像素m，w⁰ _a，A＝0.5，w⁰ _a，K＝0.2，且w⁰ _a，L＝0.3。

请注意，图4A到图4D中的权数指派既定仅用作说明，且不打算将本发明的范围限定于所展示的权数的任何特定值。

在一实施例中，可将用于编码单一像素的所有权数的总和设定为1，如图4A到图4D所示。

基于本文中所描述的教示，应容易明白，本文中所揭示的一方面可独立于任何其它方面来实施，且可以各种方式来组合这些方面中的两者或两者以上。本文中所描述的技术可以硬件、软件、固件或其任何组合来实施。如果以硬件来实施，则可使用数字硬件、模拟硬件或其组合来实现所述技术。如果以软件来实施，则可至少部分地通过包括上面存储有一个或一个以上指令或代码的计算机可读媒体的计算机程序产品来实现所述技术。

以实例而非限制的方式，此类计算机可读媒体可包含RAM(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、ROM、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构的形式来携载或存储所要程序代码且可由计算机存取的任何其它有形媒体。

与计算机程序产品的计算机可读媒体相关联的指令或代码可由计算机执行，例如由一个或一个以上处理器(例如一个或一个以上数字信号处理器(DSP)、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路)执行。

已描述了许多方面及实例。然而，对这些实例的各种修改是可能的，且本文中所呈现的原理同样可应用于其它方面。这些及其它方面属于所附权利要求书的范围内。

Claims (20)

1.一种用于编码图像块的方法，所述图像块包含像素值集合，所述方法包含：

选择用于基于所述图像块的相邻像素而预测所述图像块中的像素的预测模式，所述预测模式将所述图像块中的至少一个像素的经预测值指定为至少三个相邻像素的组合，所述预测模式进一步指定待用于预测的单一方向，待用于预测的所述单一方向为竖直的或水平的，沿着用于预测所述图像块的所述单一方向的每一像素为至少一个相邻像素的函数，且沿着所述单一方向的所述像素中的至少两者为所述至少一个相邻像素的不同函数，且所述至少三个相邻像素包括与所述图像块相邻的左块及上块当中的每一个中的像素。

2.根据权利要求1所述的方法，至少三个相邻像素的所述组合包含第一权数乘以所述至少三个相邻像素中的第一者与第二权数乘以所述至少三个相邻像素中的第二者的总和。

3.根据权利要求2所述的方法，所述预测模式进一步通过针对所述图像块中的每一像素指定待指派给每一相邻像素的权数来指定用于编码所述图像块中的每一像素的权数矩阵。

4.根据权利要求1所述的方法，沿着所述单一方向的所述像素中的所述至少两者为至少三个相邻像素的不同函数。

5.一种用于预测图像块的方法，所述图像块包含像素值集合，所述方法包含：

接收用于基于所述图像块的相邻像素而预测所述图像块中的像素的预测模式，所述预测模式指定待用于预测的单一方向，待用于预测的所述单一方向为竖直的或水平的，沿着用于预测所述图像块的所述单一方向的每一像素为至少一个相邻像素的函数，且沿着所述单一方向的所述像素中的至少两者为所述至少一个相邻像素的不同函数；以及

基于所述相邻像素及所述预测模式而产生经预测块，所述产生包含组合至少三个相邻像素以预测所述图像块中的至少一个像素，

其中所述至少三个相邻像素包括与所述图像块相邻的左块及上块当中的每一个中的像素。

6.根据权利要求5所述的方法，所述组合至少三个相邻像素包含将第一权数乘以所述至少三个相邻像素中的第一者与第二权数乘以所述至少三个相邻像素中的第二者相加。

7.根据权利要求6所述的方法，所述产生包含针对所述图像块中的每一像素，根据权数矩阵而加权每一相邻像素。

8.根据权利要求5所述的方法，沿着所述单一方向的所述像素中的所述至少两者为至少三个相邻像素的不同函数。

9.一种用于编码图像块的设备，所述图像块包含像素值集合，所述设备包含：

空间预测器，其用于选择用于基于所述图像块的相邻像素而预测所述图像块中的像素的预测模式，所述预测模式将所述图像块中的至少一个像素的经预测值指定为至少三个相邻像素的组合，所述预测模式进一步指定待用于预测的单一方向，待用于预测的所述单一方向为竖直的或水平的，沿着用于预测所述图像块的所述单一方向的每一像素为至少一个相邻像素的函数，且沿着所述单一方向的所述像素中的至少两者为所述至少一个相邻像素的不同函数，其中所述至少三个相邻像素包括与所述图像块相邻的左块及上块当中的每一个中的像素。

10.根据权利要求9所述的设备，至少三个相邻像素的所述组合包含第一权数乘以所述至少三个相邻像素中的第一者与第二权数乘以所述至少三个相邻像素中的第二者的总和。

11.根据权利要求10所述的设备，所述预测模式进一步通过针对所述图像块中的每一像素指定待指派给每一相邻像素的权数来指定用于编码所述图像块中的每一像素的权数矩阵。

12.根据权利要求9所述的设备，沿着所述单一方向的所述像素中的所述至少两者为至少三个相邻像素的不同函数。

13.根据权利要求9所述的设备，其中所述设备包括手持机。

14.根据权利要求9所述的设备，其中所述设备包括集成电路。

15.一种用于预测图像块的设备，所述图像块包含像素值集合，所述设备包含：

逆空间预测器，所述预测器接收用于基于所述图像块的相邻像素而预测所述图像块中的像素的预测模式，所述预测器组合至少三个相邻像素以预测所述图像块中的至少一个像素，所述预测模式指定待用于预测的单一方向，待用于预测的所述单一方向为竖直的或水平的，沿着用于预测所述图像块的所述单一方向的每一像素为至少一个相邻像素的函数，且沿着所述单一方向的所述像素中的至少两者为所述至少一个相邻像素的不同函数，其中所述至少三个相邻像素包括与所述图像块相邻的左块及上块当中的每一个中的像素。

16.根据权利要求15所述的设备，所述组合至少三个相邻像素包含将第一权数乘以所述至少三个相邻像素中的第一者与第二权数乘以所述至少三个相邻像素中的第二者相加。

17.根据权利要求16所述的设备，逆空间预测器通过根据权数矩阵加权每一相邻像素来预测每一像素。

18.根据权利要求15所述的设备，沿着所述单一方向的所述像素中的所述至少两者为至少三个相邻像素的不同函数。

19.根据权利要求15所述的设备，其中所述设备包括手持机。

20.根据权利要求15所述的设备，其中所述设备包括集成电路。