CN102550028B - 用于对来自数字化图像序列的符号编码的方法 - Google Patents

Abstract

本发明涉及一种用于对来自数字化图像（I）序列的符号编码的方法，其中图像（I）被划分成图像区域（MB）并且相应图像区域（MB）的符号（S）借助于熵编码被编码，所述熵编码基于一个或多个概率模型，其中所述一个或多个概率模型考虑在图像区域（MB）中出现的符号（S）的频率。在根据本发明的方法中，图像区域（MB）在编码循环（CC，CC1，CC2，…CC5）中这样被处理，使得在编码循环（CC，CC1，CC2，…CC5）中在多个并行的编码分支（1，2，3）中进行熵编码，其中在相应的编码分支（1，2，3）中基于概率模型组对图像区域（MB）编码，其中频率在对图像区域编码时基于在图像区域（MB）中出现的符号（S）针对该概率模型组被适配。在每个编码分支（1，2，3）中用于编码的该概率模型组基于共同的、对于所有编码分支（1，2，3）有效的概率模型组，该共同的、对于所有编码分支有效的概率模型组考虑在所有编码分支（1，2，3）的图像区域（MB）中的符号（S）的频率。共同的概率模型组以预先确定的时间间隔基于在至少一个时间在前的编码循环（CC，CC1，CC2，…CC5）中适配的概率被更新。

Description

用于对来自数字化图像序列的符号编码的方法

技术领域

本发明涉及一种用于对来自数字化图像序列的符号编码的方法以及一种相应的解码方法。此外，本发明涉及一种用于执行该编码方法及解码方法的编码设备和解码设备。

背景技术

视频编码方法一般以两个处理过程来执行。首先，图像在视频流中以适当的方式借助于预测和变换被去相关。去相关步骤的结果是变换系数、运动矢量、其他编码信息等形式的符号。之后经常还接着对所产生的符号进行量化，由此提高压缩效率。在第二处理过程中，对所生成的符号进行无损耗的熵编码，其中在所生成的符号中的仍存在的冗余、也即所述符号的出现概率及其统计学上的彼此相关性被充分利用，以便从符号中产生具有数据流的尽可能短的总长度的尽可能短的代码字。

从现有技术中已知用于熵编码的不同方法。在VLC编码（VLC=Variable Length Coding，可变长度编码）情况下，每个所生成的符号被双射地映射到代码字上。在符号和相应的代码字之间的关系在此通过代码表、例如查找表来表示。

熵编码的另一常用的方法是算术编码。与符号被变换成代码字的VLC编码不同，在算术编码情况下从多个符号中生成单个代码字。在算术编码情况下，符号基于其频率优选地被映射到二进制数，使得获得相继的符号的二进制表示。

通常，熵编码方法基于以下原理：从出现的符号的频率中推导出一个或多个概率模型，基于所述概率模型产生短代码字，也即对于具有高频率的符号或符号序列，利用熵编码来生成比对于具有低频率的符号或符号序列更短的代码字。一般，熵编码方法基于上下文，也即区分符号的不同类型，所述符号的不同类型表示不同的信息。对于符号的不同类型，出现的符号的频率分开地在自己的上下文中并且从而基于自己的概率模型来处理。上下文在视频编码方法中必要时也可以与其他准则有关，例如图像区域的编码可以与图像中相邻的图像区域的编码决策有关。另外，熵编码方法经常自适应地被设计，也即概率模型基于出现的符号的变化频率在编码时相应地被匹配。

为了提高熵编码方法的编码速度，从现有技术中已知不同的方法。在视频编码标准H.264/AVC中，视频流的图像被分成所谓的切片，其中每个切片是图像的一部分，该部分可以完全与其他部分无关地被编码。也就是说，最初符号的生成以及基于熵编码对代码字的随后的生成均不具有在不同切片之间的相关性。因此，概率模型或上下文不越过切片被匹配。这导致更差的压缩效率。

从现有技术中另外已知将视频图像划分成所谓的熵切片（Entropy-Slice）（参见印刷品[2]）。与上述传统的切片不同，熵切片允许符号之间的相关性，例如内部预测。只有基于熵编码产生代码字是在各个熵切片之间无关的。通过使用熵切片，与传统的切片相比，压缩效率得以提高。尽管如此，还存在缺点，即对于不同的熵切片的符号使用不同的统计，这又减小了熵编码的效率。

在文献[1]中，描述了所谓的有序熵切片的概念，所述有序熵切片改善了上述熵切片的特性。在此，对于熵编码允许越过熵切片来形成上下文。因此考虑在熵切片之间的统计相关性并且由此改善编码效率。此外，图像中的各个宏块在编码时不逐行地被读入，而是以之字形（zickzack-förmig）来读入。这在图1A至1C中加以说明。这些图示出根据印刷品[1]读入宏块的不同变型，其中各个宏块作为相继的矩形被再现并且出于清晰性原因仅部分地用附图标记MB表示。图1A示出按行读入宏块，如通过垂直线L1所表明的。在考虑上下文的情况下——在该上下文中为了对宏块编码左侧、左上、右侧和右上的相邻的宏块必须是可用的，在该变型的情况下存在以下问题：不能并行地处理宏块的多个行。与此不同，在以之字形处理宏块时基于根据图1B的线L2能够实现每两行的并行处理，因为如果读入了第一行对的五个宏块，则已经可以开始在第三行中对后续熵切片的第一宏块进行编码。图1C示出以之字形读入宏块的另一变型，其中现在能够根据线L3实现每有序熵切片三个行的处理。

熵切片的另一变型是所谓的交错熵切片，所述交错熵切片在印刷品[4]中得以描述。在此，切片不是连续的行，而是各个切片的行是相互嵌套的。这再次在图2A和2B中加以说明。图2A在此示出将图像I划分成两个传统的熵切片SL1和SL2，其中图像的上面的一半构成具有宏块MB1的连续的切片SL1，并且下面的图像部分SL2构成具有相应的宏块MB2（阴影线所示）的相连的切片SL2。与该传统的切片不同，在图2B中示出交错熵切片的例子。在此，相应的切片SL1’或SL2’通过彼此偏移一行的宏块行构成。切片SL1’在图2B中用全平面的宏块MB1’表明并且通过第一、第三、第五等行构成。与此相对，切片SL2’通过阴影线的宏块MB2’表明并且通过第二、第四、第六等行构成。交错熵切片能够实现越过熵切片的上下文形成。但是对于为熵编码所使用的概率模型不生成共同的统计。

为了改善视频编码方法中的压缩效率，另外在印刷品[4]中描述了句法元素分割。在此，对于不同群的句法元素（例如模式信息、运动矢量、变化系数）产生多个代码字。因为各个群具有不同的上下文，所以也分开地执行上下文形成。因为不同群的相对频率是不同的，所以在使用并行的编码分支的情况下对于各个编码分支不均衡在编码时的计算负荷。

在文献[3]中描述了算术编码的特殊变型，其中在编码时并行地处理两个二进制符合。通过这种方式可以在一个编码循环中编码四个状态而不是两个状态。但是，在编码的该方式情况下上下文形成是复杂的并且每编码循环需要多个操作。

发明内容

本发明的任务是，这样改善数字化图像序列中的符号的熵编码，使得在编码效率同时高的情况下能够实现对多个图像区域的并行处理。

该任务通过根据权利要求1的编码方法和根据权利要求14的解码方法和根据权利要求16的编码设备和根据权利要求18的解码设备来解决。本发明的扩展在从属权利要求中予以定义。

在用于对来自数字化图像序列的符号编码的本发明方法中，图像被划分成图像区域，并且相应图像区域的符号借助于熵编码被编码，其中熵编码基于一个或多个概率模型。表述“图像区域”在这里和在下面可以广义地来解释并且可以涉及任意形式的图像片段。但是在优选的变型中，图像区域是图像块，例如从视频编码中已知的宏块。所述概率模型在此考虑在图像区域中出现的符号的频率。因此通过概率模型经由相应的出现频率而对相应符号的概率进行建模，其中如果使用具有不同统计的不同类型的符号，则可以使用多个概率模型。

根据本发明，在编码循环中这样处理图像区域，使得在一个编码循环中在多个并行的编码分支中进行熵编码。在此可以将并行的编码分支理解为同时或时间上重叠地执行图像区域的熵编码的编码分支。由此通过使用并行工作的熵编码器对于每个编码分支实现快速的熵编码。根据本发明，在此在相应的编码分支中基于概率模型组对图像区域编码，其中概率模型组可以包括一个或多个概率模型。在此在相应的编码分支中对图像区域编码的情况下，对于该概率模型组基于在图像区域中出现的符号来适配频率。

本发明方法的特点在于，在每个编码分支中用于编码的该概率模型组基于共同的、对于所有编码分支有效的概率模型组，其中所述共同的组考虑所有编码分支的图像区域中的符号的频率。该共同的概率模型组在此以预先确定的时间间隔基于在至少一个时间在前的编码循环中适配的频率来更新。“时间在前的编码循环”在此可以被理解为在更新所述共同的概率模型组之前（紧接着或也已经过去较长时间）经历的编码循环。

本发明方法具有优点，即一方面通过使用并行的编码分支实现符号的快速编码并且另一方面通过考虑所有编码分支的统计在共同的概率模型组中确保高编码效率。

所述共同的概率模型组的更新可以根据本发明通过不同的方式进行。在一种变型中，所述共同的概率模型组的更新至少有时顺序地这样执行，使得在时间上相继的更新时考虑不同编码分支的适配的频率。可替代地或附加地，也可以在预先给定的同步时刻至少有时进行所述共同的概率模型组的更新，在所述同步时刻，所述共同的概率模型组基于至少一个在前编码循环的所有编码分支的适配频率被更新。

在本发明的一种变型中，所述共同的概率模型组可以基于在时间上直接在前的编码循环中适配的频率被更新。为了避免编码分支相互阻止，另外存在以下可能性，即所述共同的概率模型组的更新基于在时间上不直接在前的编码循环中适配的频率进行。通过这种方式，更新被延迟一个或多个编码循环。

在本发明方法的另一变型中，在相应的编码分支中对图像区域编码之后，将适配的频率中间存储在中间的、分配给该相应的编码分支的概率模型组中，其中一个或多个中间存储的中间的概率模型组结合共同的概率模型组被用于相应编码分支中的熵编码，直至对共同的概率模型组更新为止。通过临时中间存储适配的频率可以以简单的方式实现根据本发明的编码的不同变型。

在本发明方法中，基于任意的、从现有技术中已知的熵编码方法对相应的图像区域进行熵编码。尤其是可以使用已经在开头所提及的VLC编码和/或算术编码。例如，可以使用从视频编码标准H.264/AVC已知的CAVLC编码（CAVLC=Context-based Adaptive Variable Length Coding，基于上下文的自适应可变长度编码）或CABAC编码（CABAC=Context-based Adaptive Binary Arithmetic Coding，基于上下文的自适应二进制算术编码）。

在本发明方法中可以通过不同的方式来将图像区域布置在编码分支中。尤其是可以这样设计编码分支，使得编码循环通过根据图像中的图像区域的以行或列方式的走向相继的图像区域构成。同样可能的是，这样设计编码分支，使得编码循环通过根据图像中的图像区域的之字形走向相继的图像区域构成。通过最后所述的变型，尤其是也可以在考虑相邻图像区域的上下文的情况下实现编码。

本发明方法也可以以适当的方式与已知的编码方法组合，在所述已知的编码方法中，图像被划分成图像片段，所述图像片段分开地被熵编码。图像片段在此可以至少有时在不考虑图像片段之间的相关性的情况下和/或至少有时在考虑图像片段之间的相关性的情况下被编码。在不考虑相关性的情况下编码的实施形式是基于切片的开头所提及的分割。在考虑相关性的情况下编码的变型是基于熵切片对图像的开头所提及的分割。

用于熵编码的本发明方法可以与任意的、从现有技术中已知的视频编码方法组合。尤其是可以基于标准H.264从数字化图像序列中生成符号。优选地，通过从现有技术中充分已知的变换（例如DCT变换）和同样从现有技术中已知的对图像区域的量化从数字化图像序列中产生符号。

除了上述编码方法之外，本发明此外包括一种解码方法，利用所述解码方法对根据本发明编码的来自数字化图像序列的符号进行解码。在此，类似于编码方法，所编码的图像区域在解码循环中这样被处理，使得在解码循环中在多个并行的解码分支中进行熵解码，其中在相应的解码分支中基于概率模型组对所编码的图像区域解码，其中频率在对所编码的图像区域解码时基于在所解码的图像区域中出现的符号对于该概率模型组被适配。

在每个解码分支中用于解码的概率模型组在此基于共同的、对于所有解码分支有效的概率模型组，该概率模型组考虑所有解码分支的所解码图像区域中的符号的频率。该共同的概率模型组以预先确定的时间间隔基于在至少一个时间在前的解码循环中适配的频率被更新。

本发明此外涉及一种用于对数字化图像序列编码和解码的方法，其中来自数字化图像序列的符号利用上述编码方法被编码并且接着例如在经由传输线段被传输之后利用上述本发明解码方法被解码。

本发明此外涉及一种用于对来自数字化图像序列的符号编码的设备，其中图像被划分成图像区域并且相应图像区域的符号可以通过所述设备借助于熵编码被编码，所述熵编码基于一个或多个概率模型，其中所述一个或多个概率模型考虑在图像区域中出现的符号的频率，其中所述设备包括处理单元，所述处理单元包含：

-用于将图像区域分成编码循环使得在编码循环中在多个并行的编码分支中进行熵编码的装置；

-多个编码装置，其中每个编码法装置这样用于相应编码分支的熵编码，使得图像区域在相应的编码分支中基于概率模型组被编码，其中每个编码装置包括：

-用于在对图像区域编码时基于在图像区域中出现的符号针对所述概率模型组适配频率 的适配装置，

-用于这样处理共同的概率模型使得在相应的编码分支中用于编码的概率模型组基于共同的对于所有编码分支有效的概率模型组的装置，所述共同的概率模型组考虑所有编码分支的图像区域中的符号的频率；

-用于以预先确定的时间间隔基于在至少一个时间在前的编码循环中适配的频率来更新该共同的概率模型组的装置。

本发明编码设备因此适用于基于本发明方法对来自数字化图像序列的符号进行编码，其中尤其是可以利用编码设备的相应的其他装置实现本发明方法的上述实施形式中的一个或多个。

除了编码设备之外，本发明还包括一种用于对来自数字化图像序列的符号解码的相应的解码设备，其中图像被划分成图像区域并且相应图像区域的符号借助于熵编码基于本发明编码方法被编码，其中熵编码基于一个或多个概率模型，其中所述一个或多个概率模型考虑在所解码的图像区域中出现的符号的频率。所述设备在此包括处理单元，所述处理单元包含：

-用于将所编码的图像区域分成解码循环使得在解码循环中在多个并行的编码分支中进行熵解码的装置；

-多个解码装置，其中每个解码装置这样用于相应解码分支的熵解码，使得所编码的图像区域在相应的解码分支中基于概率模型组被解码，其中每个解码装置包括：

-用于在对所编码的图像区域解码时基于在所解码的图像区域中出现的符号针对所述概率模型组适配频率的适配装置，

-用于这样处理共同的概率模型使得在相应的解码分支中用于解码的概率模型组基于共同的对所有解码分支有效的概率模型组的装置，所述共同的概率模型组考虑所有解码分支的所解码的图像区域中的符号的频率；

-用于以预先确定的时间间隔基于在至少一个时间在前的解码循环中适配的频率来更新共同的概率模型组的装置。

除了上述编码设备和上述解码设备之外，本发明还包括编解码器或者用于对来自数字化图像序列的符号编码和解码的系统，其中所述编解码器包含本发明编码设备以及本发明解码设备。

附图说明

下面根据附图详细化地描述本发明的实施例。

图1A至1C以及图2A和2B示出不同的从现有技术中已知的编码技术；

图3示出用于视频编码和视频解码的方法的原理表示，其中可以使用本发明的熵编码或熵解码；

图4A和4B示出基于本发明方法对宏块进行并行处理的两个变型；

图5至图8示出在共同的概率模型的不同更新情况下本发明编码方法的不同的变型；

图9示出符号的解码，所述符号利用根据图5的方法的变型被编码；和

图10示出本发明编码和解码系统的实施形式的示意性表示。

具体实施方式

根据图1A至1C以及图2A和2B的从现有技术中已知的编码的变型已经在上面广泛地阐述，从而放弃对这些图的再次描述。

本发明的熵编码或熵解码方法的下面描述的实施形式的特点在于，多个图像区域并行地在不同的编码分支中被处理，但是其中各个编码分支访问共同的概率模型，所述共同的概率模型考虑所有编码分支的符号的频率分布。该概率模型以有规则的间隔基于要编码或解码的符号的变化的频率被更新。符号在此在视频编码方法的范围中被产生，其中这样的方法示意性地在图3中示出。

图3的左边部分示出相应的编码器COD并且图3的右边部分示出用于解码所使用的解码器DEC。根据图3，对来自数字化图像I的视频流进行编码，其中由在输入信号I和先前图像的经运动补偿的重构之间的差得出的预测误差信号被压缩。对在图3中在加法器A中作为所读入图像与所预测图像的差所确定的预测误差进行变换T、尤其是DCT变换（DCT=Discrete Cosine Transformation，离散余弦变换）。由此获得的变换系数接着以适当的方式在量化器Q中被量化。通过这种方式对于相应的图像区域以宏块的形式获得相应的符号S，该符号S代表来自图像区域的所编码的图像信息，尤其是以变换系数和用于预测的运动矢量以及其他编码参数的形式。在编码范围中所确定的运动矢量在此用MV表示，并且在解码时也需要该运动矢量，如通过图3中的垂直虚线所表明的。为了进一步提高编码效率，再次在熵编码器EC中无损耗地对符号S进行熵编码，其中根据本发明使用熵编码的特殊变型。

如由图2得出的，在编码的范围中也对量化的符号S进行逆量化IQ和逆变换IT。由此生成的信号最终到达图像存储器SP中，该图像存储器SP的输出首先经由加法器A’反馈到输入端上，其中输出另外经由加法器A以负的方式到达变换T的输入端。图像存储器SP在此控制运动估计器ME，该运动估计器在其方面在输入侧被施加有视频输入数据并且已经在上面提及的运动矢量MV被提供用于驱动编码器COD中的图像存储器SP。如已经阐明的，所述运动矢量也被传输给解码器DEC，其中运动矢量为此也被熵编码，这从图1不能看出。通过熵编码器产生的代码字S’最后被传输给解码器DEC并且在那里首先进行适当的根据本发明的熵解码。由此，在编码器侧生成的符号S 再次被重构，接着对所述符号进行逆量化IQ和逆变换IT。如此确定的所解码的视频数据接着与在解码器DEC侧上的相应的图像存储器SP的数据相加并且是解码器的输出。该和信号此外被输送给解码器侧的图像存储器SP，该图像存储器SP的输出被输送回到加法器A’’的输入端上。

下面，基于相应视频图像中的相应宏块的符号描述根据本发明的熵编码和熵解码的实施形式。在这里所阐述的变型中，三个解码分支在相应的解码循环中被编码，其中在编码循环的每个编码分支中，宏块被熵编码。各个编码分支因此是不同的宏块群，这些宏块群按照实施形式是图像的不同组成部分。

图4A示出将宏块MB分群成三个编码分支的第一变型。第一编码分支的宏块在此用附图标记1指定，第二编码分支的宏块用附图标记2指定并且第三编码分支的宏块用附图标记3指定。这些附图标记也被用于表示相应的编码分支。编码循环CC在图4A的实施形式中由三个相继的宏块1、2和3构成。图像为了编码因此逐行地被读入，如通过图4A中的线L所表明的。根据图4A的分群在此适用于熵编码，其中不使用相邻宏块的信息来对上下文建模。

与此不同地，图4B示出编码分支的构造的另一变型，其中基于相邻宏块的信息能够实现上下文建模。编码分支在此通过图像I的相应的相邻的行构成，其中在图4B中第一行构成第一编码分支1，第二行构成第二编码分支2并且第三行构成第三编码分支3。重叠地进行各个编码分支的处理，其中在一个编码分支中的编码相对于下一行的编码分支时间偏移两个宏块，这通过线L’表明。图4B在此示出以下情形，在该情形时一些宏块已经被编码，其中这些宏块通过括号中的相应的附图标记表明。编码又在并行的分支中进行，其中在编码循环中现在来自相应编码分支的彼此偏移两个宏块的宏块被处理。相继的编码分支因此根据图像中的宏块的之字形走向来构成。对应于图4A的编码循环CC在图4B中例如通过图像I的第一行中的第五宏块1、图像I的第二行中的第三宏块2以及图像I的第三行中的第一宏块3构成。

如已经提及的，利用在图4B中所示的实施形式可以基于相邻的宏块实现上下文的建模。尽管如此，该实施形式也可以在无上下文建模的情况下在用于编码的方法时使用。除了在图4A和4B中所示的将宏块分群成并行处理的编码分支之外，必要时也可以设想其他分群。在本发明范围中决定性的仅仅是，所有编码分支在执行熵编码时访问共同的概率模型组，如下面还要更详细阐明的。

图5至图8示出在共同的概率模型组的不同类型的更新情况下根据本发明的熵编码的不同变型。在不限制一般性的情况下，在此根据图4A基于对宏块的按行处理构成各个编码分支。在宏块的熵编码的范围中，在此基于概率模型组考虑符号的频率，其中组可以包含一个或多个概率模型。每个概率模型在此考虑一个上下文（也即一种相应类型的符号和/或已经编码的块的编码决策）。例如，可以使用不同的概率模型用于要不同地编码的信息，例如用于变换系数、运动矢量以及编码模式信息。

在单个编码分支中的宏块的熵编码基于常用的熵编码方法执行，例如基于开头提及的VLC编码或算术编码。尤其是，可以使用从现有技术中已知的编码方法CABAC或CAVLC。在单个编码分支中的熵编码从而基于已知的方法进行，但是在这种熵编码时以适当的方式使用共同的概率模型组，其中考虑所有并行的编码分支的符号的频率。

在所有下面描述的图5至8中通过相应的箭头表明，正在被编码的宏块动用哪个概率模型组。在此，在各个宏块的熵编码范围中，相应的用于熵编码的该类模型组被适配并且被存储在中间概率模型组中，其中中间概率模型组在方法的过程中在更新已经在上面提及的共同的概率模型组之后再次被丢弃。下面，将中间概率模型组称为阴影组。

图5示出根据本发明的熵编码的变型，其中共同的概率模型组顺序地通过各个编码分支的所适配的频率而被调整。箭头的起源在此在图5中以及也在所有其他图6至9中表明，对于相应的箭头尖端所处于的该（正在被编码的）宏块访问哪个概率模型组。在图5的实施形式中，首先在编码循环CC1中对编码分支1至3的每一个的宏块的符号编码。在此，对于每个所述分支使用无关的自适应熵编码器。因为在每个编码分支中涉及所编码的第一宏块，所以在编码时对于所有编码分支使用相同的初始标准统计（也即概率模型）。在每个编码分支的编码范围中，最初的概率模型组在每个编码分支中基于符号的相应的频率被调整，使得对于每个编码分支而言概率模型的第一阴影组被生成。概率模型的所述阴影组在此必须仅包含相应的符号类型的经修改的概率模型。未修改的概率模型不必被存储。最初的标准统计是共同的概率模型组的第一版本，该第一版本于是在编码的过程中被更新。

在图5的实施形式中，在第一编码循环CC1中对宏块1编码之后已经在后续的编码循环CC2中对宏块1进行编码，而不必等待在编码循环CC1中对宏块2和3的编码结束。在此，在第二编码循环CC2中对宏块1的编码范围中生成概率模型的第二阴影组，该第二阴影组存储相对于概率模型的第一阴影组的变化。编码决策基于最初的共同的概率模型组以及概率模型的第一和第二阴影组来作出。

在第一编码循环CC1中对宏块2和3的编码结束之后，用概率模型的第一阴影组更新共同的概率模型组，该第一阴影组在编码循环CC1中对宏块1进行编码时被生成。概率模型的该第一阴影组然后可以被丢弃。最后在第二编码循环CC2中对宏块2进行编码，其中现在动用更新的共同的概率模型组。在此，在对宏块进行编码时再次考虑概率模型的以前产生的第一阴影组，该第一阴影组在第一编码循环CC1中对相应的宏块2进行编码时被生成。类似于第二编码分支CC2中的宏块1，在第二编码循环CC2中对宏块2进行编码时现在生成概率模型的另外的第二阴影组，其中在编码循环CC2中对宏块2的编码基于更新的共同的概率模型组以及概率模型的第一和第二阴影组。

一旦在第二编码循环CC2中对宏块1进行了编码，可以用来自在第一编码循环CC1中的宏块2的编码的概率模型的第一阴影组更新共同的概率模型组。类似地，在编码循环CC2中对宏块2进行编码之后用来自第一编码循环CC1中的宏块3的编码的概率模型的第一阴影组更新共同的概率模型组。该方法通过这种方式继续，直至所有宏块被编码为止。

如从图5的实施例的上述描述中得出的，只有当共同的概率模型组用来自编码循环CC1中的宏块1的编码的概率模型的第一阴影组更新时，才能够开始在编码循环CC2中对宏块2编码。但是，只有当在第一编码循环CC1中完成地对宏块3编码时才能够执行该更新，因为否则在编码分支3中使用错误的统计。

因此在上述方法的扩展中，除了对于确定的编码分支特定的概率模型的阴影组之外，也在考虑概率模型的一个或多个已经编码的阴影组的情况下对于共同的概率模型组生成中间概率模型组。通过这种方式可以在新编码循环的编码分支中基于相应的中间的概率模型组执行编码，即使当在前的编码循环的编码分支中仍进行编码时也是如此。一旦在前的编码循环的编码分支中的编码结束并且共同的概率模型组被更新，则相应的临时概率模型组不再被需要。相应生成的临时的概率模型组在此不必完整地被生成，而是仅计算如下概率模型组就足够了，在所述概率模型组中符号的频率已变化。

共同的概率模型组的顺序更新的上述变型可以以适当的方式也作为延迟的更新来构造，其中共同的概率模型组不用在前的循环的概率模型的相应的阴影组更新，而是用还进一步在过去的循环的概率模型的相应的阴影组更新。本发明的这样的变型在图6中示出。在此情况下认识到，对于第一和第二编码循环CC1和CC2首先使用初始的标准概率模型组并且从第三编码循环起才用来自第一编码循环CC1的概率模型的在编码过程中所产生的阴影组来相应地更新共同的概率模型组。同样，在第四编码循环CC4中用来自第二编码循环CC2的概率模型的阴影组更新共同的概率模型组并且在第五编码循环CC5中用来自第三编码循环CC3中的概率模型的阴影组更新共同的概率模型组。图6的变型的优点在于，在一般情况下编码分支相互不阻止。另外，如果更新被延迟一个编码循环，也仅需要概率模型的两个阴影组，如这在图6中所表明的。如果延迟多于一个编码循环，则需要概率模型的附加的阴影组。更新的延迟越大，在编码分支的速度方面的偏差越能够更多地被容忍，而编码分支不相互阻止。但是由于统计的延迟的更新，编码效率稍微变差。

图7示出共同的概率模型组的更新的第三变型。在该变型中，在每个编码循环中结束了各个编码之后在固定的同步时刻用概率模型的所有对每个编码分支生成的阴影组更新共同的概率模型组。通过这种方式避免每编码分支产生概率模型的多个阴影组。但是，编码循环的编码速度通过最慢的编码分支确定。同步时刻在此不必在每个编码循环结束之后被设置。更确切地说也存在以下可能性，即在预先确定数量的编码循环之后执行更新。该变型具有优点，即共同的概率模型组不必再如此经常地被更新并且在编码分支的速度方面的较大偏差被容忍。图8示出编码分支的更新的这样的变型，其中更新总是在两个编码循环之后才进行。在图8中尤其是认识到，对于编码循环CC1和CC2分别使用相同的共同的概率模型组，其中在考虑第一编码循环CC1的阴影组的情况下在编码循环CC3开始时执行该共同的概率模型组的更新。

对用在前面所述的方法编码的符号的解码与编码类似地来进行。也就是说，解码在并行的解码分支中被执行，其中共同的概率模型组又基于所解码的符号的频率被更新。下面，示例性地基于所编码的符号来描述解码过程，所述符号用根据图5的编码过程产生。该解码过程在图9中被再现，其中又通过相应的箭头表明，正在被解码的宏块访问哪个概率模型组。解码在相应的解码循环DC1、DC2、DC3等中进行，在所述解码循环内现在并行地实施相应的解码分支1’、2’和3’，利用这些解码分支对相应编码的宏块解码。解码分支1’、2’和3’中的每一个因此在分开的解码过程中被解码。在此，首先在第一解码循环DC1中用适当的初始标准概率模型组对宏块解码。在解码时得出的对所解码的符号的频率的更新又被存储在概率模型的单独的阴影组中。

在第一解码循环DC1中对宏块1’解码之后，在使用概率模型的第二阴影组的情况下在第二解码循环DC2中进行宏块1’的解码。如果在第一解码循环DC1中对于宏块2’和3’的熵解码结束，则与在编码时类似地用解码循环DC1中的宏块1’的概率模型的第一阴影组更新共同的概率模型组。

最后，进行第二编码循环DC2的宏块2’的解码，其中为此现在使用更新的共同的概率模型组。可替代地，如果由共同的概率模型组和解码循环DC1中的宏块1’的概率模型的第一阴影组生成临时的概率模型组，则在解码循环DC2中的宏块2’的熵解码也可以在执行更新之前开始。如果共同的概率模型组用第一解码循环DC1中的宏块2’的概率模型的第一阴影组更新，则解码分支3’通过类似的方式开始解码。可替代地，如果在第一解码循环DC1中宏块1’和2’的解码结束，则可以使用临时的概率模型组用于在第二解码循环DC2中对宏块3’解码。在相应的更新情况下基于用于所有其他编码循环的上述步骤继续编码，直至所有宏块被解码为止。

在实施上述方法时必须用信号通知给解码器的主参数一方面是并行编码分支的数量N，其中该数量在图3或图8的例子中为N=3。对于N=1的情况，该方法对应于传统的熵编码，如例如在标准H.264/AVC中所使用的。作为另外的参数，可以传输共同的概率模型组的更新的延迟D。该参数在图5和图7的实施形式中是D=0编码循环。对于图6和图8的实施形式，适用的是D=1。同样，作为参数也可以传递：是否在预先确定的同步时刻执行同步化的更新。在图7和图8的实施形式中，用信号通知同步化的更新，而在图5和图6的实施形式中用信号通知：不执行同步化的更新。

本发明方法的在前面所述的变型可以与上下文建模的适当的方法组合，例如上述熵切片、有序熵切片或交错熵切片。同样，可以将本发明方法与根据印刷品[3]和[4]的上述句法元素分割或多个二进制符号的并行处理组合。

如果在各个编码分支中的熵编码暂停，则一般必须执行共同的概率模型组的更新。但是必要时也存在的可能性是，共同的概率模型组中的各个概率模型以原子的（atomar）方式被更新。在这种情况下，各个编码分支能够在无中断的情况下继续其编码。以原子方式的更新在此意味着，在更新概率模型时由编码分支对该模型的读访问被中断并且在更新概率模型之后，相应的概率模型从编码分支的概率模型的阴影组中被删除。

本发明方法的在前面所述的实施形式基于各个宏块的编码被描述。但是该方法也可以被应用于要编码的图像序列内的任意其他图像区域并且不被限制于宏块。

本发明方法具有一系列优点。尤其是实现高的压缩效率，因为使用共同的对于所有编码分支有效的概率模型组，该概率模型组以规则的间隔用编码分支的所适配的统计来更新。因此，共同的概率模型组中的统计比在使用分开的无关的概率模型组时更好地近似于实际的概率。通过并行地编码或解码多个编码或解码分支，另外以小的延迟实现快速的编码和解码。此外，本发明方法也可以以适当的方式与用于基于上下文地自适应地熵编码的其他并行处理方法组合。

图10以示意性表示示出由本发明编码设备和本发明解码设备组成的系统的具体构型。编码设备用于对数字化图像序列进行熵编码，并且类似于图3用EC表示。解码设备用于对利用设备EC熵编码的数字化图像序列进行解码，并且类似于图3用ED表示。不仅设备EC而且设备ED均包含多个组件，这些组件可以被设计为各个硬件组件、例如设计为计算机中的硬件组件。以相同的方式，设备ED也包含多个组件，这些组件可以被设计为硬件组件，例如设计为计算机中的硬件组件。

除了在图10中所示的组件之外，设备EC必要时作为附加的组件可以包含以变换单元T、量化器Q、逆量化器IQ、逆变换单元IT、图像存储器SP、运动估计器ME以及相应的加法器A和A’形式的在图3中所示的组件。所有这些组件又可以被实现为各个硬件组件。

设备EC在图10的构型中包含用于将所处理的图像的图像区域分成编码循环的装置100。在此，在编码循环中在多个并行的编码分支中执行熵编码。为了在相应的编码分支中执行编码，设备EC例如包含三个编码装置101、102和103，其中每个编码装置均被设置用于在相应的编码分支中编码。如果利用该设备应该能够编码多于三个的编码分支，则设置相应较大数量的编码装置。每个编码装置基于概率模型组执行熵编码。

编码装置101作为子组件包含适配装置101a以及用于处理共同的概率模型的装置101b。类似地，编码装置102和103也包含相应的适配装置102a或103a和相应的用于处理共同的概率模型的装置102b或103b。相应编码分支中的适配装置在此用于在对图像区域编码时基于在图像区域中出现的符号对于该概率模型组适配频率。在每个编码分支中设置的用于处理共同的概率模型的装置这样执行处理，使得在相应的编码分支中用于编码的概率模型组基于共同的对所有编码分支有效的概率模型组，该概率模型组考虑所有编码分支的图像区域中的符号的频率。在设备EC中另外设置用于以预先确定的时间间隔基于在至少一个时间在前的编码循环中适配的频率更新共同的概率模型组的装置104。

根据图10的编码设备EC提供所编码的数字化图像序列，该数字化图像序列可以经由任意的传输线段被传输给解码设备ED。经由传输线段的传输在此在图10中通过箭头P表明。解码设备ED接收所编码的图像流并且执行相应的熵解码，其中该设备为此具有多个组件。特别地，设备ED包含用于这样将所编码的数字化图像序列的所编码的图像区域分成解码循环使得在解码循环中在多个并行的解码分支中进行熵解码的装置。对于每个解码分支，在此设置相应的解码装置201或202或203，其中在多于三个编码分支的情况下，相应的其他解码装置集成在设备ED中。每个解码装置基于概率模型组执行熵解码。

解码装置201包括用于在对所编码的图像区域解码时基于在所解码的图像区域中出现的符号对于该概率模型组适配频率的适配装置201a。此外，这样设置用于处理共同的概率模型的装置201b，使得在相应的解码分支中用于解码的概率模型组基于共同的对于所有解码分支有效的概率模型组，该概率模型组考虑所有解码分支的所解码的图像区域中的符号的频率。类似于解码装置201，解码装置202或203也包括相应的用于适配频率的适配装置202a或203a和相应的用于处理共同的概率模型的装置202b或203b。图10的解码设备ED另外作为其他组件包含用于以预先确定的时间间隔基于在至少一个时间在前的解码循环中适配的频率更新共同的概率模型组的装置204。

利用解码设备ED获得所解码的数字化图像序列。解码设备在此必要时还可以包含以逆量化器IQ和逆变换单元IT以及存储器SP和加法器A’’形式的在图3中所示的附加组件。这些附加的组件在此可以被设计为各个硬件组件、例如设计为计算机的硬件组件。

文献目录

[1] X. Guo, “Ordered Entropy Slices for Parallel CABAC”, ITU-T SG 16/Q. 6, Doc. VCEG-AK25, Yokohama, 日本，2009年4月

[2] A. Segall和J. Zhao, “Entropy slices for parallel entropy decoding”, ITU-T SG 16/Q. 6, Doc. COM16-C405, 日内瓦，瑞士，2008年4月

[3] V. Sze和M. Budagavi, “Parallel CABAC”, ITU-T SG 16/Q. 6, Doc. COM16-C334, 日内瓦，瑞士，2008年4月

[4] V. Sze, M. Budagavi, A. P. Chandrakasan, “Massively Parallel CABAC”, ITU-T ITU-T SG 16/Q. 6, Doc. VCEG-AL21, 伦敦，英国/日内瓦，瑞士，2009年7月。

Claims (20)

1.用于对来自数字化图像（I）序列的符号编码的方法，其中图像（I）被划分成图像区域（MB）并且相应图像区域（MB）的符号（S）借助于熵编码被编码，所述熵编码基于一个或多个概率模型，其中所述一个或多个概率模型考虑在图像区域（MB）中出现的符号（S）的频率，其中

-图像区域（MB）在编码循环（CC，CC1，CC2，…，CC5）中被处理为，使得在编码循环（CC，CC1，CC2，…CC5）中在多个并行的编码分支（1，2，3）中进行熵编码，其中在相应的编码分支（1，2，3）中基于概率模型组对图像区域（MB）编码，其中所述频率在对图像区域编码时基于在图像区域（MB）中出现的符号（S）针对该概率模型组被适配；

-在每个编码分支（1，2，3）中用于编码的概率模型组通过访问共同的、对于所有编码分支（1，2，3）有效的概率模型组而被确定，该共同的、对于所有编码分支有效的概率模型组考虑在所有编码分支（1，2，3）的图像区域（MB）中的符号（S）的频率；

-所述共同的概率模型组以预先确定的时间间隔基于在至少一个时间在前的编码循环（CC，CC1，CC2，…，CC5）中适配的概率被更新。

2.根据权利要求1所述的方法，其中这样顺序地进行共同的概率模型组的更新，使得在时间相继的更新时考虑不同编码分支（1，2，3）的所适配的频率。

3.根据权利要求1所述的方法，其中在预先给定的同步时刻（T1，T2，T3）进行共同的概率模型组的更新，在所述同步时刻，共同的概率模型组基于至少一个在前的编码循环（CC，CC1，CC2，…，CC5）的所有编码分支（1，2，3）的所适配的频率被更新。

4.根据权利要求1所述的方法，其中至少有时基于在时间上直接在前的编码循环（CC，CC1，CC2，…，CC5）中所适配的频率进行共同的概率模型组的更新。

5.根据权利要求1所述的方法，其中至少有时基于在时间上不直接在前的编码循环（CC，CC1，CC2，…，CC5）中所适配的频率进行共同的概率模型组的更新。

6.根据前述权利要求1-5之一所述的方法，其中在相应的编码分支（1，2，3）中对图像区域（MB）编码之后将适配的频率存储在中间的分配给该相应的编码分支（1，2，3）的概率模型组中，其中一个或多个中间存储的中间的概率模型组结合共同的概率模型组被用于在相应的编码分支（1，2，3）中熵编码，直至对共同的概率模型组更新为止。

7.根据前述权利要求1-5之一所述的方法，其中相应的图像区域（MB）的熵编码是VLC编码和/或算术编码。

8.根据权利要求7所述的方法，其中相应的图像区域（MB）的熵编码是CAVLC和/或CABAC编码。

9.根据前述权利要求1-5之一所述的方法，其中编码分支（1，2，3）被设计为，使得编码循环（CC，CC1，CC2，…，CC5）由图像区域（MB）构成，所述图像区域按照图像（I）中的图像区域（MB）的以行或列方式的走向相继。

10.根据前述权利要求1-5之一所述的方法，其中编码分支（1，2，3）被设计为，使得编码循环（CC，CC1，CC2，…，CC5）由图像区域（MB）构成，所述图像区域按照图像（I）中的图像区域（MB）的之字形走向相继。

11.根据前述权利要求1-5之一所述的方法，其中图像（I）被划分成图像片段，所述图像片段分开地被熵编码。

12.根据权利要求11所述的方法，其中所述图像片段至少有时在不考虑图像片段之间的相关性情况下和/或至少有时在考虑图像片段之间的相关性的情况下被编码。

13.根据前述权利要求1-5之一所述的方法，其中来自数字化图像序列的符号（S）通过图像区域（MB）的变换和量化来生成。

14.根据前述权利要求1-5之一所述的方法，其中来自数字化图像序列的符号基于标准H.264来生成。

15.用于对来自数字化图像（I）序列的用根据前述权利要求之一所述的方法编码的符号（S’）解码的方法，其中图像（I）被划分成图像区域（MB）并且相应的图像区域（MB）的符号（S）借助于熵编码根据前述权利要求之一被编码，其中熵编码基于一个或多个概率模型，其中所述一个或多个概率模型考虑在图像区域（MB）中出现的符号（S）的频率，其中

-所编码的图像区域（MB’）在解码循环（DC1，DC2，DC3）中被处理为，使得在解码循环（DC1，DC2，DC3）中在多个并行的解码分支（1’，2’，3’）中进行熵解码，其中在相应的解码分支（1’，2’，3’）中基于概率模型组对所编码的图像区域（MB’）解码，其中频率在对所编码的图像区域（MB’）解码时基于在所解码的图像区域（MB’）中出现的符号（S）针对该概率模型组被适配；

-在每个解码分支（1’，2’，3’）中用于解码的概率模型组通过访问共同的、对于所有解码分支有效的概率模型组而被确定，该共同的、对于所有解码分支有效的概率模型组考虑在所有解码分支（1’，2’，3’）的所解码的图像区域中的符号（S）的频率；

-共同的概率模型组以预先确定的时间间隔基于在至少一个时间在前的解码循环（DC1，DC2，DC3）中适配的频率被更新。

16.用于对数字化图像序列编码和解码的方法，其中

-来自数字化图像序列的符号（S）用根据权利要求1至14之一的方法被编码；

-所编码的符号（S’）利用按照权利要求15的方法被解码。

17.用于对来自数字化图像序列的符号编码的设备，其中图像（I）被划分成图像区域（MB）并且相应图像区域（MB）的符号（S）能够通过所述设备借助于熵编码被编码，所述熵编码基于一个或多个概率模型，其中所述一个或多个概率模型考虑在图像区域（MB）中出现的符号（S）的频率，其中所述设备包括处理单元（EC），所述处理单元包含：

-用于这样将图像区域（MB）分成编码循环（CC，CC1，CC2，…,CC5）使得在编码循环（CC，CC1，CC2，…,CC5）中在多个并行的编码分支（1，2，3）中进行熵编码的装置（100）；

-多个编码装置，其中每个编码装置（101，102，103）均用于这样对相应的编码分支（1，2，3）进行熵编码，使得在相应的编码分支（1，2，3）中基于概率模型组对图像区域（MB）编码，其中每个编码装置（101，102，103）包括：

-用于在对图像区域编码时基于在图像区域（MB）中出现的符号（S）针对该概率模型组适配频率的适配装置（101a，102a，103a），

-用于这样处理共同的概率模型使得在相应的编码分支（1，2，3）中用于编码的概率模型组通过访问共同的、对于所有编码分支（1，2，3）有效的概率模型组而被确定的装置（101b，102b，103b），所述共同的、对于所有编码分支有效的概率模型组考虑所有编码分支（1，2，3）的图像区域（MB）中的符号（S）的频率；

-用于以预先确定的时间间隔基于在至少一个时间在前的编码循环（CC，CC1，CC2，…,CC5）中所适配的频率更新共同的概率模型组的装置（104）。

18.根据权利要求17所述的设备，其中所述设备（COD）包括一个或多个用于执行根据权利要求2至14之一所述的方法的其他装置。

19.用于对来自数字化图像（I）序列的所编码的符号（S’）解码的设备，其中图像（I）被划分成图像区域（MB）并且相应的图像区域（MB）的符号（S）借助于熵编码根据权利要求1至14之一被编码，其中熵解码（ED）基于一个或多个概率模型，其中所述一个或多个概率模型考虑在所解码的图像区域（MB）中出现的符号（S）的频率，其中所述设备包括处理单元（ED），所述处理单元包含：

-用于这样将所编码的图像区域（MB’）分成解码循环（DC1，DC2，DC3）使得在解码循环（DC1，DC2，DC3）中在多个并行的解码分支（1’，2’，3’）中进行熵解码的装置（200）；

-多个解码装置，其中每个解码装置（201，202，203）这样用于对相应的解码分支（1’，2’，3’）进行熵解码，使得在相应的解码分支（1’，2’，3’）中基于概率模型组对所编码的图像区域（MB’）解码，其中每个解码装置（201，202，203）包括：

-用于在对所编码的图像区域（MB’）解码时基于在所解码的图像区域（MB’）中出现的符号（S）针对该概率模型组适配频率的适配装置（201a，202a，203a），

-用于这样处理共同的概率模型使得在相应的解码分支（1’，2’，3’）中用于解码的概率模型组通过访问共同的、对于所有解码分支有效的概率模型组而被确定的装置（201b，202b，203b），该共同的、对于所有解码分支有效的概率模型组考虑在所有解码分支（1’，2’，3’）的所解码的图像区域（MB’）中的符号（S）的频率；

-用于以预先确定的时间间隔基于在至少一个时间在前的解码循环（DC1，DC2，DC3）中适配的频率更新共同的概率模型组的装置（204）。

20.用于对来自数字化图像（I）序列的符号（S）编码和解码的编解码器，包括根据权利要求17或18的编码设备（COD）和根据权利要求19的解码设备（DEC）。