CN103283232B

CN103283232B - 用于形成预测值的方法和装置

Info

Publication number: CN103283232B
Application number: CN201280005290.8A
Authority: CN
Inventors: P.阿蒙
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2011-01-14
Filing date: 2012-01-05
Publication date: 2016-04-13
Anticipated expiration: 2032-01-05
Also published as: JP2014507857A; JP5746370B2; DE102011006036B4; KR20140005232A; EP2617197A1; DE102011006036A1; CN103283232A; US20130301718A1; US9225985B2; WO2012095350A1

Abstract

本发明涉及用于形成预测值的方法和装置。在此情况下，借助于非直线的轨迹局部地描述预测方向，其中预测方向可以在形成预测值的范围中使用。本发明具有更精确的预测确定的优点。本发明的应用领域是图像或图像序列压缩。

Description

用于形成预测值的方法和装置

技术领域

本发明涉及用于形成预测值的方法和装置。

背景技术

在图像和视频编码时、例如在压缩视频的图像时，图像序列的几个图像在没有参考的情况下被编码到其他图像的至少图像部分上。这例如在图像序列开始时是必要的，因为在此还不存在之前编码的图像内容。另外，这在图像的组GOP（GOP－GroupOfPictures）的情况下是必要的，所述图像应当为彼此可独立编码的。

不动用过去已编码的图像的图像内容的图像或视频编码被称为帧内编码。甚至在可能动用这样的图像内容的图像中也可能有利的是，如果在之前编码的图像的参考图像中不能找到良好的时间预测器则执行帧内编码。这例如在场景变换或展示图像中的新图像内容时出现。

但是在帧内编码的情况下可能动用当前要编码图像的已经编码的图像内容以用于预测。因此，想要对经编码或经压缩的图像序列进行解码的解码器可能已经动用经编码的图像内容，并且因此避免由于有误的解码造成的漂移。

在标准ITUH.264/AVC（ITU－InternationalTelecommunicationsUnion（国际电信联盟），AVC－AdvancedVideoCoding（高级视频编码））中，定义了不同的帧内预测方向。图1示例性地示出了这一点，其中数字0至1和3至8表示可预先给定的预测方向。

图2示出了具有5x5像点的图像区。为了确定相应像点的位置，在图2中引入了坐标系，其在水平方向上具有值0、1、2、3、4并且在垂直方向上具有值a、b、c、d、e。因此，右下角的像点具有位置e4。此外，图2示出了阴影图像区域以及非阴影图像区域。阴影图像区域仅仅包括重建的像点、即已经被编码和解码并因此以重建形式可用于帧内编码的像点，如像点a0至a4、b0、c0、d0和e0。

而在此被构造成4x4块的非阴影区域描述了预测图像区域，例如帧内预测模式4、即诊断预测方向（参见图1）将应用于该预测图像区域。在图2中，预测未通过箭头示出。因此，例如针对像点b1执行基于重建的图像值a0的预测值PRW、即。像点的图像值W也如预测值那样描述亮度的幅度值和/或相应像点的颜色值。然后，预测值经历例如用于确定差值RES（.）的减法以对像点b的进一步编码，这如下所示：

因此，可以为非阴影区域内的所有图像值确定相应的预测值。

在预测之后的步骤中，相应的差值被量化和编码。经编码的图像值得出经编码的图像数据流。在对经编码的图像值进行解码、逆量化以及与预测值相加以后，得出重建的图像值。

如从图1和图2中可以得知的那样，所有预测都遵循直线轨迹，在图2中例如从经重建的像点a0以直线方式直至预测像点e4。不遵循该直线预测规则的要预测的图像区域的纹理信息仅仅被不充分地预测，并且在重建以后得出小的压缩率或差的图像质量。

在最近出现的文献[1]、[2]中，描述了名为“基于线的帧间预测（Line-basedinterprediction）”的两种类似的编码模式。在此情况下，可以为要预测的像点使用相邻像点的加权平均。

发明内容

本发明的任务是，说明使得能够改善预测的方法和装置。

该任务通过独立权利要求来解决。

本发明的改进方案可以自从属权利要求中得知。

本发明涉及一种用于根据图像的至少一个经重建的像点的第二图像值为所述图像的第一像点的第一图像值形成预测值的方法，所述方法具有如下步骤：

形成至少一个轨迹，所述轨迹具有第三图像值，其中沿着相应的轨迹有一图像值对应于相应的第三图像值，并且相应的轨迹具有非直线的形状；

将第二图像值分配给相应的第三图像值；

确定所述轨迹中的至少一个轨迹作为辅助轨迹：所述至少一个轨迹与第一图像值的位置具有间隔，其中所述间隔与所述位置具有最短距离；

基于辅助轨迹的第三图像值生成预测值。

本发明所具有的优点是，由于通过相应轨迹运行的非直线的预测方向，可以执行更精确的预测。由此，在经编码的数据流的位率保持不变的情况下得出改善的图像质量，或者在图像质量保持不变的情况下得出经编码的视频数据流的位率或存储空间的减小。该改善的原因在于，通过更精确的预测使得能够更精确地估计要编码的第一图像值的预测值，并且因此针对差分编码存在更小的要补偿的差值。

轨迹的局部位置可以要么固定地预先给定、例如通过选择可能的轨迹位置或形状，要么可以基于已编码和重建的图像值或像点而得出。因此，要编码的第一图像值的周围环境可以被分析，并且由此确定针对要形成的轨迹的位置或形状的计算规则。

另外，可以为了分配第二图像值选择如下的第二图像值：所述第二图像值使第二图像值与分配给第三图像值的轨迹之间的间隔最小化。可替代于此地，可以通过在对第一图像值进行编码和解码以后得出的经重建的图像值生成第三图像值。另外，可以在执行预测值的形成以后改变第三像点，其中为了形成另一第一图像值的预测值，然后利用通过在编码和解码之后重建第一图像值生成的第二图像值。通过该方法的扩展方案实现：作为相应轨迹的第三图像值使用经重建的像点的第二图像值，所述经重建的像点展示出良好地确定预测值的良好前景。因此，例如通过所述最小化实现，将如下的第二图像值分配给第三图像值：所述第二图像值由于其局部位置而与第三图像值最相似。为了编码和解码例如可以使用公知的或标准化的图像或视频压缩方法，例如ITUH.263、H.264或MPEG2（ITU－InternationalTelecommunicationsUnion（国际电信联盟），MPEG－MotionPictureExpertGroup（动态图像专家组））。

在该方法的一个扩展方案中，在所述间隔等于0的情况下，仅仅考虑用于生成第一图像值的轨迹。在此情况下，所考虑的辅助轨迹的第三图像值被分配给第一图像值。该扩展方案导致：在轨迹停止在第一像点值上的情况下，使得能够良好地确定预测值。此外，通过该扩展方案使得能够复杂度低地实现该方法。

在上一扩展方案的可替代的实施方式中，将至少两个辅助轨迹确定为，使得相应辅助轨迹与第一图像值的位置之间的间隔具有最短距离。在这种情况下，预测值通过所述至少两个辅助轨迹的第三图像值形成。在该实施方式中，预测值通过所述至少两个辅助轨迹的第三图像值形成，使得考虑到在所有可用辅助轨迹的集合中具有最短距离的辅助轨迹。因此，首先使用如下辅助轨迹：所述辅助轨迹考虑到最短距离并且还考虑到与所述位置具有次最短距离的另外的辅助轨迹。

在该实施方式的一个改进方案中，预测值通过对所述至少两个辅助轨迹的第三图像值进行加权平均形成。由此实现，预测值可以关于第一图像值尽可能精确地被估计。此外，加权平均可以将所述间隔分别作为倒数考虑。这是有利的，因为更接近第一图像值的辅助轨迹的第三值与另一辅助轨迹的位于更远处的第三值相比被更多地考虑。一般而言，也可以使用两个以上辅助轨迹。在此情况下，考虑加权平均、被选为两个以上的辅助轨迹（例如根据这些辅助轨迹的间隔或这些辅助轨迹的间隔的倒数）。

此外，可以这样形成新轨迹，使得该新轨迹被布置为穿过第一图像值的位置，给该新轨迹的第三图像值分配预测值或第一图像值或第一图像值的经重建的图像值。

通过使用新辅助轨迹实现了：使得能够在为图像内的另外的像点形成预测值时更精确地估计相应的第一图像值。因为除了考虑到所形成的轨迹以外还可以通过一个或多个新辅助轨迹实现对预测值的细化的估计。应当注意，新轨迹的第三图像值可以通过预测值本身、第一图像值或者第一图像值的经重建的图像值来形成。

该扩展方案可以通过如下方式来补充：在两个辅助轨迹之间将新轨迹布置为使得在新轨迹上的任意点处，该任意点与两个辅助轨迹之间的最短间隔的比例等于所述两个辅助轨迹与第一图像值之间的间隔的比例。该扩展方案描述了新轨迹的可能的位置以及由此可能的形状。在此情况下有利的是，新辅助轨迹的新位置可以以简单方式来确定。

本发明还涉及一种用于根据图像的至少一个经重建的像点的第二图像值为所述图像的第一像点的第一图像值形成预测值的装置，所述装置具有如下单元：

第一单元，其用于形成至少一个轨迹，所述轨迹分别具有第三图像值，其中沿着相应的轨迹有一图像值对应于相应的第三图像值，并且相应的轨迹具有非直线的形状；

第二单元，其用于将第二图像值分配给相应的第三图像值；

第三单元，其用于确定所述轨迹中的至少一个轨迹作为辅助轨迹：所述至少一个轨迹与第一图像值的位置具有间隔，其中所述间隔与所述位置具有最短距离；

第四单元，其用于基于辅助轨迹的第三图像值生成预测值。

借助于该装置可以实现和实施该方法。优点类似于对应的方法。

另外，该装置可以具有至少一个另外的单元，其中利用该另外的单元可以实施前述改进方案或可替代实施方式的各个方法步骤。优点类似于对所示实施方式的描述。

附图说明

图1示出了根据标准ITUH.264（现有技术）的可能的预测方向的图示；

图2示出了用于预测经重建的像点的图像值的处理方式的一般性描述；

图3示出了具有多个轨迹的根据本发明方法的实施例；

图4示出了基于两个现有轨迹来形成新轨迹的实施例；

图5示出了形成用于预测值确定的非线性轨迹的实施例；

图6示出了关于用于预测值确定的自适应非线性轨迹的实施例；

图7示出了用于确定预测值的装置。

具体实施方式

图1和2已经在序言中详细阐述了，使得在此放弃进一步的描述。

根据图3来详细阐述本发明的第一实施例。

图3示出了具有352x288像点的图像。在此，像点被组织成例如大小为4x4像点的图像块BB。所述像点分别具有图像值，所述图像值分别表示例如以8位分辨率形式的颜色值和/或亮度值的图像值。图像块BB内的每个方块表示像点、例如第一像点BP1和所属的第一图像值W1。针对本发明假设：图像值具有用方块表示的像点内的位置、例如方块的对角线的交叉点。

另外，图3示出了具有经重建的像点BR1、BR2和所属的第二像点值W21、W22的阴影区域。经重建的像点在较早的时刻被编码并且以其经解码的形式、即经重建的形式可用于形成预测值。

在第一步骤中，形成至少两个轨迹T0、T1、T2、T3、T4。所述轨迹在第一实施例中被表示成四分之一圆，并且因此不是直线。沿着相应的轨迹，图像值对应于相应的第三图像值W31、W32。在本实施例中，相应的轨迹以第二图像值开始，该第二图像值恰好对应于相应轨迹的第三图像值。

在第二步骤中，从可用轨迹T0、T1、T2、T3、T4的集合中确定两个辅助轨迹HT1、HT2，使得要确定的辅助轨迹HT1、HT2与第一图像值W1的位置P1之间的相应间隔A1、A2最小，也就是说，分别具有最短距离。在本实施例中，轨迹T1和T2与第一像点最相邻，使得HT1＝T1并且HT2＝T2。

图3示出了轨迹T2距位置T1的相应距离A2以及轨迹T1与位置P1之间的轨迹T1的A1。由于这是最短距离，因此相应轨迹的间隔与位置P1成角度90°。

在下一步骤中，按下列方式在考虑所属的间隔A1、A2的情况下通过对两个辅助轨迹HT1＝T1、HT2＝T2的第三图像值W31、W32进行加权平均来形成预测值PRW：

该处理方式被称为双线性插值。

借助于图4，描述了本发明的扩展方案。图4示出了来自图3的具有辅助轨迹HT1和HT2以及第一图像值W1和位置P1的片段。首先，如在图3中所阐述的，预测值被形成。预测值PRW对应于轨迹T1、T2的第三图像值W31、W32的加权平均。在另一步骤中，现在生成现有轨迹T1和T2之间的新轨迹T5（下面称为T5）。新轨迹T5至少穿过位置P1处的第一图像值W1。此外，新轨迹T5可以在辅助轨迹HT1、HT2之间行进得使得在新轨迹上的任意点处，该任意点与两个辅助轨迹之间的最短间隔的比例等于第一图像值中的间隔A1、A2的比例。新轨迹T5的第三图像值W35等于对于第一图像值的预测值PRW。

在可替代于此的实施方式中，也可以为新轨迹T5的第三图像值W35确定经重建的图像值WR。为此，可以首先从第一图像值W1和预测值PRW中形成差值为：

。

在下一步骤中，将差值量化编码（例如利用霍夫曼编码）、解码和逆量化。多个差值可以可选地附加地在量化以前被变换并且在逆量化以后被反变换。最后，得出经重建的差值RES′（BP1），其不同于差值RES（BP1）。经重建的图像值WR然后被形成为：

。

该经重建的图像值被称为新轨迹T5的第三图像值W35，并且被用于接下来形成另外的预测值，例如为BPX，参见位置3。

根据图5阐述另一实施例。在此情况下，示出了5个轨迹T0、T1、T2、T3、T4，其中所述轨迹中的每个都具有非线性形式。这些轨迹分别以第二图像值W22之一开始，并且因此作为第三图像值W32具有第二图像值W22。

在该示例中，第一像点BP1位于位置c3。在图5中，轨迹被构建为使得其正好处于相应图像值的位置上。在此情况下，现在确定辅助轨迹HT2，其中间隔A2为0。当然，也可以存在混合形式，其中位置中的一个或多个未位于轨迹或辅助轨迹上。

在当前的情况下，选择轨迹T2作为辅助轨迹HT2，因为辅助轨迹HT2与第一图像值的位置之间的间隔A2为0。因此，预测值PRW等于轨迹T2的第三图像值W32，其中该第三图像值W32等于经重建的像点BR2的第二图像值W22。

在第三实施例中，阐述具有直线和非直线轨迹的经典预测构成的组合。在迄今为止的示例中，借助于轨迹介绍了部分预先给定的预测模式。下面描述自适应帧内预测。在此情况下，分步地执行预测，其中在进行预测以后可以自适应地为下面的预测匹配预测方向。

与图3至5中的迄今为止的图示不同，现在通过表示连续连接的多个箭头形成轨迹。在第一步骤中，第一行第一图像值（参见坐标系中在位置b1、b2、b3、b4处的所属像点）通过经重建的像点PR1、PR2、PR3、PR4的直接处于其上的第二图像值W21、W22、W23、W24来预测。

在第二步骤中，通过从左上方向右下方引导的预测方向来预测第二行第一图像值，参见坐标系中的位置c1、c2、c3、c4处的第一像点。这例如对应于图1中的预测方向4。该预测方向在第二步骤中也对具有位置d1和e1处的第一像点的第一图像值执行。

在第三和第四步骤中，进行向下定向的预测，在图6中用数字3和4来表示。

轨迹T1从a1、b1、c2、d2引导到e2。与此类似地，形成轨迹T2和T3。

如开头根据图2已经阐述的那样，在图6中的预测情况下，将经重建的像点的第二图像值例如用于为经重建的像点BR1的第二图像值W21的位置e2处的第一图像值生成预测值。因此，在此情况下仅仅根据图6中的阴影图像点使用经重建的像点。

类似于前面的实施例，可以在为第一图像值确定预测值以后，确定所属的经重建的图像值WR并且将其用于接下来的预测步骤。例如，为位置b1处的第一图像值确定预测值。在生成编码和解码的所属差值以后，为位置b1处的经重建的像点生成第二图像值。该第二图像值于是被用于为位置c2处的第一图像值、而不是位置a1的经重建的像点的第二图像值确定预测值。该处理方式也可以类似地应用于沿着相应轨迹的其他要编码的第一像点。该处理方式也可以用于其他实施方式。

所示出的实施方式可以根据特定装置来实现和实施，参见图7。装置VOR具有单元E1、E2、E3、E4、EW，所述单元实现和实施所述实施方式的各个步骤。在此，这些单元可以以软件、硬件和或软件和硬件的组合来实现和实施。在此，所述单元可以在处理器上运行，其中该方法的各个步骤可以存储在存储器中并且加载到处理器中。此外，在存储器中可以存放图像值（如第一、第二和第三图像值）和关于图像的另外的信息以及用于对图像值进行编码和解码的进一步的方法步骤。

参考文献

[1]H.Yang,J.Fu,S.Lin,J.Song,D.Wang,M.Yang,J.Zhou,H.Yu,C.Lai,Y.Lin,L.Liu,J.Zheng.X.Zheng,“DescriptionofvideocodingtechnologyproposalbyHuaweiTechnologies&HisiliconTechnologies”,ISO/IECJTC1/SC29/WG11(MPEG)和ITU-TSG16Q.6(VCEG)，文献JCTVC－A111，德累斯顿，德国，2010年4月。

[2]F.Wu,X.Sun,J.Xu,Y.Zhou,W.Ding,X.Peng,Z.Xiong,“DescriptionofvideocodingtechnologyproposalbyMicrosoft”,ISO/IECJTC1/SC29/WG11(MPEG)和ITU－TSG16Q.6(VCEG),文献JCTVC-A118，德累斯顿，德国，2010年四月。

Claims

1.一种用于根据图像(B)的至少一个经重建的像点(BR1,BR2)的第二图像值(W21,W22)为所述图像(B)的第一像点（BP1）的第一图像值(W1)形成预测值(PRW)的方法，所述方法具有如下步骤：

形成至少一个轨迹(T1,T2,T3)，所述轨迹(T1,T2,T3)具有第三图像值(W31,W32,W33)，其中沿着相应的轨迹(T1,T2,T3)有一图像值对应于相应的第三图像值(W31,W32,W33)，并且相应的轨迹(T1,T2,T3)具有非直线的形状；

将第二图像值(W21,W22)分配给相应的第三图像值(W31,W32)；

确定所述轨迹中的至少一个轨迹（T2）作为辅助轨迹(HT2)，所述至少一个轨迹与第一图像值(W1)的位置(P1)具有间隔(A2)，其中所述间隔(A2)与所述位置(P1)具有最短距离；

基于辅助轨迹(HT2)的第三图像值(W32)生成预测值(PRW)。

2.根据权利要求1所述的方法，其中

为了分配第二图像值(W21)选择如下这样的第二图像值(W21)：所述第二图像值(W21)使第二图像值(W21)与分配给第三图像值(W31)的轨迹(T1)之间的间隔最小化，或者所述第二图像值（W21）对应于第一像点的经重建的像点。

3.根据权利要求1或2所述的方法，其中

在所述间隔(A2)等于0的情况下，仅仅考虑用于生成第一图像值(W1)的轨迹(T1,T2,T3);

辅助轨迹(HT2)的第三图像值(W32)被分配给第一图像值(W1)。

4.根据权利要求1或2所述的方法，其中

将至少两个辅助轨迹(HT1,HT2)确定为，使得辅助轨迹(HT1,HT2)与位置(P1)之间的相应间隔（A1，A2）具有最短距离;

预测值(PRW)通过所述至少两个辅助轨迹(HT1,HT2)的第三图像值(W31,W32)形成。

5.根据权利要求4所述的方法，其中

预测值(PRW)通过对所述至少两个辅助轨迹(HT1,HT2)的第三图像值(W31,W32)进行加权平均形成。

6.根据权利要求5所述的方法，其中

所述加权平均将间隔（A1，A2）分别作为倒数考虑。

7.根据权利要求3所述的方法，其中这样形成新轨迹(T5)，使得

－新轨迹(T5)被布置为穿过第一图像值(W1)的位置(P1);

－给新轨迹(T5)的第三图像值(W35)分配预测值(PRW)或第一图像值(W1)或第一图像值(W1)的经重建的图像值(BR5)。

8.根据权利要求7所述的方法，其中

将新轨迹（T5）这样布置在两个辅助轨迹(HT1,HT2)之间，使得在新轨迹(T5)上的任意点处，所述任意点与两个辅助轨迹(HT1,HT2)之间的最短间隔的比例等于两个辅助轨迹(HT1,HT2)与第一图像值(W1)的间隔(A1,A2)的比例。

9.一种用于根据图像(B)的至少一个经重建的像点(BR1,BR2)的第二图像值(W21,W22)为所述图像(B)的第一像点（BP1）的第一图像值(W1)形成预测值(PRW)的装置（VOR），所述装置具有如下单元：

第一单元(E1)，其用于形成至少一个轨迹(T1,T2,T3)，所述轨迹(T1,T2,T3)分别具有第三图像值(W31,W32,W33)，其中沿着相应的轨迹(T1,T2,T3)有一图像值对应于相应的第三图像值(W31,W32,W33)，并且相应的轨迹(T1,T2,T3)具有非直线的形状；

第二单元(E2)，其用于将第二图像值(W21,W22)分配给相应的第三图像值(W31,W32)；

第三单元（E3），其用于确定所述轨迹中的至少一个轨迹（T2）作为辅助轨迹(HT2)，所述至少一个轨迹与第一图像值(W1)的位置(P1)具有间隔(A2)，其中所述间隔(A2)与所述位置(P1)具有最短距离；

第四单元（E4），其用于基于辅助轨迹(HT2)的第三图像值(W32)生成预测值(PRW)。

10.根据权利要求9所述的装置，所述装置具有至少一个另外的单元(EW)，其中利用所述另外的单元（EW）能够实施权利要求2至8之一的各个方法步骤。