CN101527853B - 视频编码器中参考图像的隐含加权 - Google Patents

Abstract

公开了一种视频解码器(200)、编码器(500)和处理有两个预测图像块的参考图像索引的图像块的视频信号数据相应的方法，其利用参考图像的隐含加权增强视频压缩，其中解码器(200)包括隐含参考图像加权因子单元(280)，确定相应于各参考图像索引的加权因子；编码器(500)包括隐含参考图像分配器(572)，分配相应于各参考图像索引的加权因子；解码方法包括随相应于图像块的数据接收参考图像索引，响应图像块和由参考图像索引指示的参考图像的相对位置，确定隐含加权因子，检索各索引的参考图像，运动补偿检索的参考图像，用相应的加权因子乘以运动补偿的参考图像，形成加权的运动补偿的参考图像。

Description

视频编码器中参考图像的隐含加权 

本申请是申请日为2003年9月10日的中国专利申请03823575.7(视频编码器中参考图像的隐含加权)的分案申请。 

有关申请的交叉参考 

本申请要求2002年10月1日申请的美国临时申请序列号60/415,443的优先权，合并在此作为参考。 

技术领域

本发明涉及视频多媒体数字信号编解码器领域。 

背景技术

通常视频数据以比特流的形式处理和传输。典型的视频压缩编码器和解码器(CODEC)由形成要编码的图像的参考图像的预测，并编码当前图像和预测之间的差获得更多的压缩效率。越接近与当前图像相关的预测，需要越少的比特压缩此图像，因此增加了处理的效率。因此，要求形成最可能的参考图像的预测。 

在一些视频序列中，特别是具有衰减的图像，被编码或解码的当前图像比参考图像本身具有更强的由加权因子定标的参考图像的相关。没有施加到参考图像的加权因子的视频多媒体数字信号编解码器非常无效的编码此衰减的序列。遗憾地，加权因子的传输要求在比特流中发送附加的比特。 

在许多视频压缩标准中，包括运动图象专家组(“MPEG”)-1，MPEG-2和MPEG-4，前面参考图像的运动补偿版本用作为当前图像的预测，只是编码当前图像与预测之间的差。当使用单个图像预测(“P”图像)时，在形成运动补偿的预测时，不定标参考图像。 

当使用双向图像预测(“B”图像)时，从两个不同的图像形成中间预测，然后，两个中间预测一起平均，各使用相等的(1/2，1/2)加权因子形成单个平均预测。在这些MPEG标准中，对B图像，两个参考图像总是来自正方向和反方向。 

发明内容

由视频编码器编码图像块和许多参考图像索引的视频信号数据，解决了当前技术的这些和其它的困难和缺点。编码器包括参考图像加权因子分配器函数，响应在图像块和由许多参考图像索引指示的第一和第二参考图像之间的相对位置。使用参考图像加权因子分配器计算相应于特定参考图像索引的参考图像的隐含加权因子。 

本发明提供了一种编码图像块的视频信号数据的方法，包括：接收完全不压缩的图像块数据；响应图像块和由第一和第二参考图像索引指示的第一和第二参考图像之间内相对位置，根据图像块的片段头字段中的图像次序计数，计算图像块的隐含加权因子；计算图像块和各第一和第二参考图像的运动矢量；运动补偿与各自运动矢量一致的各第一和第二参考图像；用计算的隐含加权因子乘以各运动补偿的参考图像，形成加权的运动补偿的参考图像；组合各加权的运动补偿的参考图像为组合的加权的运动补偿的参考图像；从完全不压缩的图像块减去组合的加权的运动补偿的参考图像；随同第一和第二参考图像相应的索引一起，编码表示在完全不压缩的图像块和组合的加权的运动补偿的参考图像之间的差的信号。 

根据优选实施例，计算隐含加权因子包括至少以下方法之一：对在显示次序上安排一个在图像块前、一个在后的两个参考图像的部分之间内插；从在显示次序上安排都在图像块前或都在后的两个参考图像的部分外推。 

根据优选实施例，图像块和多个参考图像的相对位置相当于各个图像的相对显示时间。 

根据优选实施例，计算运动矢量包括：在预先确定的相对于图像块的偏移范围中在每个位移的搜索区域中测试；计算在具有运动补偿的参考图像的图像块中各象元的绝对差和均方误差之和之中的至少一个；选择与最 小的绝对差和均方误差之和的偏移量为运动矢量。 

附图说明

根据下面的例图，本发明在视频编码器和解码器中使用参考图像的隐含加权因子。 

图1显示根据本发明原理的视频解码器的框图； 

图2显示根据本发明原理的有隐含参考图像加权的视频解码器的框图； 

图3显示根据本发明原理的解码处理的流程图； 

图4显示根据本发明原理的视频编码器的的框图； 

图5显示根据本发明原理的有隐含参考图像加权的视频编码器的框图； 

图6显示根据本发明原理的编码处理的流程图。 

具体实施方式

本发明包括在视频压缩编码器和解码器中参考图像的隐含加权的方法和设备。例如，在有图像衰减的视频序列中，被编码的当前图像或图像块比参考图像本身具有更强的由加权因子定标的参考图像的相关。没有施加到参考图像的加权因子的视频多媒体数字信号编码器和解码器非常无效的编码此衰减的序列。当加权因子用于编码时，视频编码器需要确定加权因子和运动矢量。 

在联合视频小组(“JVT”)视频压缩标准中，每个P图像能使用多个 参考图像形成图像的预测，但每个单独的运动块或宏块的8×8区域只使用单个的用于预测的参考图像。除编码和传输运动矢量外，对各运动块或8×8区域传输参考图像索引，索引指出使用哪个参考图像。有限的可能参考图像组存储在编码器和解码器中，传输能允许数量的参考图像。 

对双向预测图像(也称“B”图像)，对各运动块或8×8区域形成两个预测器，其中每个来自分离的参考图像，两个预测器一起平均，形成单个平均的预测器。对双向预测编码的运动块，参考图像可以都来自正方向，都来自反方向，或来自正方向和反方向。保存可用于预测的可用的参考图像的两个列表。两个参考图像可称为list 0和list 1预测器，或ref 0和ref1参考图像。编码和传输各参考图像的索引，对list 0和list 1参考图像分别为ref_idx_10和ref_idx_11。已经向联合视频小组(“JVT”)建议的双向预测或B图像，允许在两个预测之间自适应的加权，即： 

Pred＝P1*Pred1+P0*Pred0+D    (公式1) 

其中P1和P0是加权因子。Pred 0和Pred1分别是list 0和list 1的参考图像预测，D是偏移值。 

已提出至少两种确定和使用加权因子的方法，隐含方法和明示方法。使用隐含方法，由用于参考图像的方向确定加权因子。在此方法中，如果ref_fwd索引小于或等于ref_bwd索引，使用(1/2，1/2)加权因子，否则，使用(2，-1)加权因子。在隐含方法中，(2，-1)加权因子常常用于在直接模式中编码的宏块。 

使用明示方法时，为每个片断传输任意数量的加权因子。那么对使用双向预测的各运动块或宏块的8×8区域传输加权因子索引。解码器使用接收的加权因子索引，从传输的集合中选择合适的加权因子，以便解码运动块或8×8区域时使用。 

已提出明确的传输与每一片段或每个图像的各参考图像索引相关的加权因子。在此情况中，要求对每个片断或每个图像传输小量的但不可忽略数量的比特。 

下面的描述只说明本发明的原理。那么本领域的技术人员意识到能设计实现本发明的原理，并包括在它的精神和范围中的各种装置，虽然这里不明显的描述和显示这些装置。此外，这里列举的所有的例子和有条件的 语言主要清楚地仅作为教学的目的，帮助读者理解本发明的原理和本发明对进一步的技术提出的概念，并解释为这些特殊列举的例子和条件是没有限制的。 

此外，这里列举的所有陈述，范围和本发明的实施例，和它的特殊的例子旨在包含它的结构和功能的设备。此外，这些设备包括当前已知的设备和在将来研发的设备，即，不管其结构，任何实现同样功能的研发的部件。 

那么，例如，本领域的技术人员意识到这里的框图表示说明具体化本发明原理的电路的概念化观念。同样的，任何流程图，流程图表，状态转变图表，伪代码，和可以完全在计算机可读介质中表现的并由计算机或处理器执行的表现的各种处理，无论此计算机或处理器是否是明确地显示。 

通过使用专用硬件和能执行合适软件相关的软件的硬件，能提供显示在图中的各种元件的功能。当功能由处理器提供时，功能可由单个专用处理器，由单个共享处理器，或由许多单独的用处理器提供，其中一些可共享。 

此外，不解释明确使用的术语“处理器”和“控制器”专有地涉及能执行软件的硬件，可以隐含地，无限制的，包括数字信号处理器”DSP”硬件，存储软件的只读存储器(ROMs)，随机存储器(RAMs)和非易失性存储器。也包括其它硬件，常规的和/或定制。同样的，显示在图中的任何转换器只是概念性的。可通过运行程序逻辑，通过专用逻辑，通过程序控制和专用逻辑的交互作用，或甚至手动，执行它们的功能，由实施者可选择的特殊的技术作为从上下文更明确的理解。 

在这里的权利要求中表示为实现特定功能的装置的任何元件打算包含实现功能的任何方式，包括，例如，a)实现此功能的电路元件的组合或b)任何形式的软件，因此包括，固件，微码或其它，与执行此软件的适当的电路组合实现功能。由此权利要求定义的本发明存在于以下的事实，组合由各种列举的装置提供的功能，并以权利要求需要的方式集合。那么申请者把能提供这些功能的任何装置看作这里显示的设备。 

在本发明的实施例中，隐含加权因子作用于使用多参考图像的视频压缩编码器和解码器的参考图像预测。当块是双预测编码的并使用如这里描 述的新的隐含模式时，使用当前图像与参考图像的距离，基于内插法/外推法公式确定相对加权因子。 

如在图1中所显示的，通常由参考数字100表示视频解码器。视频解码器100包括与逆量化器120连接作信号通信的可变长解码器(“VLD”)110。逆量化器120与逆变换器130连接作信号通信，逆变换器130与加法器的第一输入端或和结点140连接作信号通信，其中和结点140的输出提供视频解码器100的输出。和结点140的输出与参考图像存储器150连接作信号通信。参考图像存储器150与运动补偿器160连接作信号通信，运动补偿器160与和结点140的第二输入端连接作信号通信。 

见图2，通常由参考数字200表示有隐含参考图像加权的视频解码器。视频解码器200包括与逆量化器220连接作信号通信的VLD210。逆量化器220与逆变换器230连接作信号通信。逆变换器230与和结点240的第一输入端连接作信号通信，其中和结点240的输出提供视频解码器200的输出。和结点240的输出与参考图像存储器250连接作信号通信。参考图像存储器250与运动补偿器260连接作信号通信，运动补偿器260与乘法器270的第一输入连接作信号通信。 

VLD210还与参考图像加权因子查找表280连接作信号通信，提供对查找表280的隐含双方向系数索引。查找表280的输出用于提供加权因子，并连接到乘法器270的第二输入端作信号通信。乘法器270的输出与和结点240的第二输入端连接作信号通信。 

现在见图3，通常由参考数字300表示有隐含参考图像加权的图像块的解码视频信号数据的示范处理。处理包括对输入块312通过控制的启动块310。输入块312接收压缩数据的图像块，通过对输入块313的控制。输入块313接收相当于第一特定参考图像的第一参考图像索引，通过对输入块314的控制。输入块314接收相当于第二特定参考图像的第二参考图像索引。输入块314通过对功能块315的控制，功能块315确定图像块和第一和第二参考图像之间的相对位置。功能块315通过对功能块316的控制，功能块316基于当前图像块与第一和第二参考图像的相对位置计算相当于各接收的参考图像索引的隐含加权因子，并通过对功能块317的控制。 

功能块317对当前图像块的两个参考图像索引中的每一个，启动要执 行的程序循环，并通过对功能块318的控制。功能块318检索相当于当前循环参考图像索引的参考图像，并通过对功能块320的控制。同时，功能块320运动补偿检索的参考图像，并通过对功能块322的控制。功能块322用相应的隐含加权因子乘运动补偿的参考图像，并通过对功能块323的控制。功能块323重复功能块317的循环，在完成两次循环后，通过对功能块324的控制。依次，功能块324形成组合的加权的运动补偿的参考图像，并通过对功能块326的控制。那么，使用在功能块315中确定的相对位置确定加权因子。 

如在图4中所示的，通常由参考数字400表示标准的视频编码器。编码器400的输入与和结点410的非反向输入连接作信号通信。和结点410的输出与块变换器420连接作信号通信。块变换器420与量化器430连接作信号通信。量化器430的输出与可变长编码器(“VLC”)440连接作信号通信，其中VLC440的输出是编码器400的外部可用的输出。 

量化器430的输出还与逆量化器450连接作信号通信。逆量化器450与逆变换器460连接作信号通信，同时，逆变换器460与参考图像存储器470连接作信号通信。参考图像存储器470的第一输出与运动估计480的第一输入连接作信号通信。编码器400的输入还与运动估计480的第二输入连接作信号通信。运动估计480的输出与运动补偿490的第一输入连接作信号通信。参考图像存储器470的第二输出与运动补偿490的第二输入连接作信号通信。运动补偿490的输出与和结点410的反向输入连接作信号通信。 

见图5，通常由参考数字500表示有隐含参考图像加权的视频编码器。编码器500的输入与和结点510的非反向输入连接作信号通信。和结点510的输出与块变换器520连接作信号通信。块变换器520与量化器530连接作信号通信。量化器530的输出与VLC540连接作信号通信，其中VLC540的输出是编码器500的外部的可利用的输出。 

量化器530的输出还与逆量化器550连接作信号通信。逆量化器550与逆块变换器560连接作信号通信，同时，逆块变换器560与参考图像存储器570连接作信号通信。参考图像存储器570的第一输出与参考图像加权因子分配器572的第一输入连接作信号通信。编码器500的输入还与参 考图像加权因子分配器572的第二输入连接作信号通信。参考图像加权因子分配器572的输出与运动估计580的第一输入连接作信号通信，参考图像加权因子分配器572指示加权因子。参考图像存储器570的第二输出与运动估计580的第二输入连接作信号通信。 

编码器500的输入还与运动估计580的第三输入连接作信号通信。运动估计580的输出与运动补偿590的第一输入连接作信号通信，运动估计580表示运动矢量。参考图像存储器570的第三输出与运动补偿590的第二输入连接作信号通信。表示运动补偿的参考图像的运动补偿590的输出与乘法器592的第一输入连接作信号通信。表示加权因子的参考图像加权因子分配器572的输出与乘法器592的第二输入连接作信号通信。乘法器592的输出与和结点510的反向输入连接作信号通信。 

现在看图6，通常由参考数字600表示有隐含参考图像加权的图像块的编码视频信号数据的示范处理。处理包括对输入块612通过控制的启动块610。输入块612接收完全不压缩的图像块数据，通过对功能块614的控制。功能块614从相对于图像块位置的任一或两个方向选择接收的图像块的第一和第二参考图像，并通过对功能块616的控制。功能块616确定图像块和第一和第二参考图像之间的相对位置，并通过对功能块618的控制。功能块618基于相对位置计算图像块的各特定参考图像的隐含加权因子。功能块618通过对功能块620的控制。功能块620对当前图像块的两个参考图像索引中的每一个，启动程序循环，并通过对功能块622的控制。功能块622计算图像块和特定参考图像的运动矢量，并通过对功能块624的控制。功能块624运动补偿与运动矢量一致的特定参考图像，并通过对功能块626的控制。依次，功能块626用隐含加权因子乘以运动补偿的参考图像，形成加权的运动补偿的参考图像，并通过对功能块628的控制。功能块628重复功能块620的循环，在完成两次循环后，通过对功能块630的控制。 

功能块630形成组合的加权的运动补偿的参考图像，并通过对功能块632的控制。功能块632从完全不压缩的图像块减去组合的加权的运动补偿的参考图像，并通过对功能块634控制。依次，功能块634随同特定参考图像相应的索引一起编码完全不压缩的图像块和组合的加权的运动补 偿的参考图像之间之差的信号，并通过对功能块636的控制。那么，在两个预测情况中可以形成当前图像前，后或周围的两个预测器。 

在运算中，隐含加权因子施加于使用多参考图像的视频压缩编码器和解码器的参考图像预测。当块是双预测编码的并使用新的隐含模式时，基于内插法/外推法公式，使用从参考图像到当前图像的距离确定相对加权因子。 

对本发明的优选实施例，确定隐含双预测的新定义。使用基于编码的图像和它的参考图像之间距离的内插法或外推法公式。对内插法或外推法使用同样的公式。如果在显示次序上两个参考图像是一个在当前编码的图像前一个在后，公式成为内插法公式，如果在显示次序上两个参考图像是都在当前编码的图像前或都在后，公式成为外推法公式。 

当前图像是在时间T要显示的，参考图像P₀是在时间T₀要显示的，参考图像是P₁在时间T₁要显示的。在隐含模式中，对双预测编码的宏块，预测定义为 

Pred＝P₀*(T₁-T)/(T₁-T₀)+P₁*(T-T₀)/(T₁-T₀)(公式2) 

相对的显示时间值，T₁、T₁和T₀存在于相关的图像的头文件。在隐含模式中，WP加权因子的确定是基于图像次序计数(”POC”)而不是显示时间。POC存在于或从片段头中导出。那么，本领域技术人员可以理解可使用POC代替显示时间。本实施例说明，当解码参考图像时，也可实现存储来自参考图像的此相对位置信息。存储T₁和T₀的显示时间，同时解码图像P₁和P₀。 

当图像解码时，存储它们的POCs或显示时间或位置信息。当加权因子要计算时，访问存储的位置数据，使用参考图像索引指出使用哪个存储的位置数据。存储此信息，用于直接模式运动矢量定标。对直接模式也使用(T₁-T)/(T₁-T₀)和(T-T₀)/(T₁-T₀)的计算，可保存和重新使用计算的结果排除重新计算的要求。可以对各编码的图像实现这些除法计算，每次对T，T₀和T₁各值，由常数因子X定标此结果，允许更有效的移位运算计算各象元的Pred值而不是除法运算。例如，如果X是256，每次对各图像计算Z₀和Z₁如下： 

Z₀＝(256*(T₁-T))/(T₁-T₀)(公式3) 

Z₁＝(256*(T-T₀))/(T₁-T₀)(公式4) 

那么，每次对各象元计算的Pred为： 

Pred＝(P₀*Z₀+P₁*Z₁+128)＞＞8(公式5) 

可以在此计算后将Pred值减小到所要求的范围，典型的为0到255。也可以减小Z₀和Z₁值。对色度系数能居中在约128的情况下，可使用下面有代表性的公式： 

Pred＝(P₀-128)*(T₁-T)/(T₁-T₀)+(P₁-128))*(T-T₀))/(T₁-T₀)+128(公式6) 

在直接模式中，参考图像0和参考图像1的参考索引不是明显性传输而是导出的。在此情况中，基于T₀和T₁的导出值计算加权因子。当在比特流中的参考图像索引可得到时，可以使用它找到T₀和T₁。 

对线性衰减的双预测编码的宏块，提出的加权是理想的。在此情况中，因为不需要传送与各参考图像关联的加权因子的比特，可以获得比特率的降低。 

对以下情况，当P₁是两个参考图像在当前图像前和P₀是一个参考图像在当前图像前时，公式默认为： 

Pred＝2*P₀-P₁(公式7) 

基于这里公开的原理，本领域的技术人员可以发现本发明的这些和其它的特征和优点。可以理解本发明的原理可以用各种形式的硬件，软件，固件，特殊用途的处理器或它们的组合实现。 

更适宜的，硬件和软件的组合实现本发明。此外，软件最好是内嵌在程序存储器单元中的应用程序。应用程序可以装入到包括任何合适结构的机器上，并由此机器执行。更适宜的，机器在有硬件，如一个或多个中央处理器(“CPU”)，随机存储器(“RAM”)，输入/输出接口(“I/O”)的计算机平台上实现。计算机平台也可包括操作系统和微指令代码。这里描述的各种处理和功能可以是CPU执行的部分的微指令代码或部分的应用程序，或它们的任何组合。此外，各种其他的外围设备可连接到计算机平台，如附加的数据存储器和打印设备。 

应进一步理解，因为在附图中描述的一些构成系统部件和方法优选的在软件中实现，根据本发明编程的方式，在系统部件或处理功能块之间的 实际连接可以是不同的。给出了在这里公开的本发明的原理，本领域的技术人员能考虑本发明的这些和同样的实施设备或配置。 

虽然这里参考附图描述例证性的实施例，应理解本发明不限于那些精确的实施例，本领域的技术人员不离开本发明的范围或精神，可以实现各种改变和修改。所有这些改变和修改都包括在所附权利要求中阐明的本发明的范围或精神中。 

Claims (4)

1.一种编码图像块的视频信号数据的方法(600)，方法包括：

接收(612)完全不压缩的图像块数据；

响应图像块和由第一和第二参考图像索引指示的第一和第二参考图像之间内相对位置，根据图像块的片段头字段中的图像次序计数，计算(614，616，618)图像块的隐含加权因子；

计算(622)图像块和各第一和第二参考图像的运动矢量；

运动补偿(624)与各自运动矢量一致的各第一和第二参考图像；

用计算的隐含加权因子乘以(626)各运动补偿的参考图像，形成加权的运动补偿的参考图像；

组合(630)各加权的运动补偿的参考图像为组合的加权的运动补偿的参考图像；

从完全不压缩的图像块减去(632)组合的加权的运动补偿的参考图像；

随同第一和第二参考图像相应的索引一起，编码(634)表示在完全不压缩的图像块和组合的加权的运动补偿的参考图像之间的差的信号。

2.根据权利要求1所述的方法，其特征在于计算隐含加权因子包括至少以下方法之一：

对在显示次序上安排一个在图像块前、一个在后的两个参考图像的部分之间内插；

从在显示次序上安排都在图像块前或都在后的两个参考图像的部分外推。

3.根据权利要求1所述的方法，其特征在于图像块和多个参考图像的相对位置相当于各个图像的相对显示时间。

4.根据权利要求1所述的方法，其特征在于计算运动矢量包括：

在预先确定的相对于图像块的偏移范围中在每个位移的搜索区域中测试；

计算在具有运动补偿的参考图像的图像块中各象元的绝对差和均方误差之和之中的至少一个；

选择与最小的绝对差和均方误差之和的偏移量为运动矢量。

Images