CN101379829A - 用于运动补偿预测的自适应加权选择的方法和设备 - Google Patents

Abstract

本发明提供了一种用于运动补偿预测的自适应加权选择的方法和设备。该设备包括编码器(100)。该编码器通过获取一组加权参数来编码图像；基于选择条件在该组加权参数中选择至少一个加权参数；以及在用于编码图像的参考图像上应用该选择的至少一个加权参数。

Description

用于运动补偿预测的自适应加权选择的方法和设备

相关申请的交叉引用

本申请要求了于2006年2月2日申请的序列号为60/764,493的美国临时专利申请的优先权，该临时申请的内容并入此处作为参考。

技术领域

本发明的原理一般涉及视频编码，尤其涉及用于运动补偿预测的自适应加权选择的方法和设备。

背景技术

通过形成要被编码的图像的参考图像预测以及仅仅对当前图像和参考图像预测的差别进行编码，视频压缩编码器和/或解码器很大程度上提升了压缩效率。参考图像预测与当前图像越密切相关，用于压缩图像的比特数就越少。参考图像预测可以通过先前有效的图像或图像块中使用空间抽样或者时间抽样来生成。通过考虑比特流中可能有效的运动参数，以及选择性考虑显式编码或从比特流中隐式获得的加权参数/偏移参数来执行时间预测。在某些转换中，例如淡化(fade)和交叉淡化(cross fade)，加权参数和偏移参数十分有用，并且和传统运动补偿方法相比，能够相当可观地提高性能。

恰当地选择加权能够大大影响使用加权预测的系统的视频压缩效率。国际标准化组织/国际电工委员会(ISO/IEC)的运动图像专家组-4(Moving Picture Experts Group-4，MPEG-4)部分10的高级视频编码(advanced video coding，AVC)标准/国际电信联盟电信部门(ITU-T)的H.264建议(在下文中使用“MPEG-4 AVC标准”)提供了带有显式模式和隐式模式两种模式的加权预测工具。在显式模式中，编码器可选择和恰当地指派在编码和解码中使用的加权参数和偏移参数。

MPEG-4 AVC标准没有建议或要求用任何特定的方法来选择这些加权参数和偏移参数。另一方面，隐式模式基于图像之间的“时间”距离计算加权参数。为了确定这些距离，每一个图像/条带(slice)关联一个计数域(counter field)，该计数域也被称作图像序列号(picture order count，POC)，该POC也被用于显示目的。隐式模式只对B条带(B slice)有效。对于B条带，两种模式的重要区别是，在显式模式下，单向预测和双向预测(bi prediction)应用相同的加权参数；在隐式模式下，仅双向预测应用加权参数。

现已提出有多种方法可用于加权估计，这些方法可能考虑统计方法，如线性回归方法，基于当前图像的平均像素值除以参考图像的平均像素值的比率来估计加权参数，直方图方法(histogrammethod)，和存在使用置换区别(displaced difference)的交叉淡化时的加权参数估计。上述任何一种方法都通过考虑当前源图像和运动预测非加权参考图像来细化加权参数。重复这一过程一直到收敛或者满足结束的条件/判据为止。

在M PEG-4 AVC标准中，多参考图像能被用于帧间预测(interprediction)，参考图像索引被编码用于指示使用了多参考图像中的哪一个。P条带(P slice)仅仅使用单向预测，并且在列表0(list0)中管理允许的参考图像。B条带考虑列表0(list 0)和列表1(list1)两个参考图像列表。B条带能够通过考虑list 0或list 1使用单向预测来执行预测，或者考虑list 0和list 1使用双向预测。当使用双向预测时，对list0和list1两个预测子(predictor)进行平均来形成最终的预测子。与前面标准不同，B图像可以被存储，以及当编码其它图像时作为参考图像而被使用。

M PEG-4 AVC标准使用树形结构的分级宏块划分。帧间编码16×16像素宏块(macroblock)能分解成大小为16×16，16×8，8×16或8×8的宏块划分(macroblock partition)。8×8的宏块划分也被称作子宏块(sub macroblock)，并且也能够被分解成大小为8×4，4×8和4×4的子宏块划分。每一个宏块划分可以独立地选择和编码参考图像索引，预测类型(list 0，list 1，bipred)和运动矢量。每一个子宏块划分能独立地选择和编码运动矢量，但是子宏块的参考图像索引和预测类型用于所有的子宏块划分。

MPEG-4 AVC标准在视频编码层(video coding layer，VCL)不使用时间参考，但是使用图像序列号(POC)来指示编码图像间的相对距离。有很多种方法用于编码每一个条带的图像序列号，包括条带头的delta_pic_order_cnt域的编码。POC用于直接模式的运动矢量的缩放，以及用于在加权预测(weighted prediction，WP)隐式模式中获取加权因子。

MPEG-4 AVC标准的主档次(main profile)和扩展档次(extended profile)支持加权预测。对于P条带和SP条带，使用序列参数集(sequence parameter set)的weighted_pred_flag域来指示加权预测的使用；对于B条带，则使用weighted_bipred_idc域来指示。有两种WP模式，即P条带、SP条带和B条带支持的显式模式，和仅仅B条带支持的隐式模式。

在WP中，使用的加权因子是基于当前的宏块或者宏块划分的参考图像索引(或双向预测时的索引)。例如，对于跳过的宏块或者直接模式宏块，参考图像索引被编码到比特流中或者可能被获得。显式模式把这些参数编码到条带头中。隐式模式中，这些参数被获得。在帧间预测过程中，加权因子和偏移参数值仅允许16位算术运算。

P条带或SP条带的weighted_pred_flag为1，或者B条带的weighted_bipred_idc为1表明为显式模式。在显式模式中，WP参数被编码到条带头中。对于用于P条带和B条带的list 0的每一个允许的参考图像，可以编码用于每一个颜色分量的乘法加权因子和加法偏移。list 0使用num_ref_idx_I0_active_minus1指示允许的参考图像的数量，list 1使用num_ref_idx_I1_active_minus1来指示用于B条带的允许的参考图像的数量。

luma_log2_weight_denom域和chroma_log2_weight_denom域能够用于调整加权因子的动态范围和精确度。luma_log2_weight_denom域和chroma_log2_weight_denom域分别是以亮度加权因子和色度加权因子为分母的以2为底的对数。Log加权分母的值越大，允许的加权因子越精细，但是需要额外的用于编码加权因子的比特，以及限制了有效缩放的范围。对于list 0的每一个允许的参考图像索引和对于list 1的B条带，将标志进行编码以表明参考图像索引的亮度和色度分量的加权参数是否出现在条带头中。如果一个给出的参考图像索引和颜色分量的加权参数不在条带头中，那么则使用默认的加权因子和偏移，即加权因子等于值为1的缩放因子，偏移为0。乘法加权因子被编码为luma_weight_I0，Iuma_weight_I1，chroma_weight_I0，和chroma_weight_I1。加法偏移被编码为Iuma_offset_I0，luma_offset_I1，chroma_offset_I0，和chroma_offset_I1。

对于均匀地应用于整个图像的淡化，单一的加权因子和偏移能充分有效地编码图像内所有从相同参考图像预测的宏块。但是，例如，对于没有均匀地应用于照明改变(lighting change)或照相闪光(camera flash)的淡化，能够使用内存管理控制操作(memorymanagement control operation，MMCO)命令和/或参考列表图像重排序(reference list picture reordering，RLPR)来关联超过1个参考图像索引到一个特定的参考图像存储器。这样，即使从相同的参考图像存储器预测，同一图像的不同宏块也允许使用不同的加权因子。

对于双向预测，组合使用用于单向预测的相同的加权参数。基于使用的预测类型，为每一个宏块或每一个宏块划分的像素形成最终的帧间预测。对于list 0的单向预测，指示经加权的预测子的SampleP计算方式如下：

SampleP＝Clip1(((SampleP0·W₀+2^LWD-1)>>LWD)+O₀)，对于list 1的单向预测，

SampleP＝Clip1(((SampleP1·W₁+2^LWD-1)>>LWD)+O₁)，对于双向预测，

SampleP＝Clip1(((SampleP0·W₀+SampleP1·W₁+2^LWD)

                  >>(LWD+1))+(O₀+O₁+1)>>1)

其中，Clip1()是用于把值剪除(clip)到[0，255]范围的操作，W₀和O₀是list0参考图像的加权因子和偏移。W₁和O₁是list1参考图像的加权因子和偏移。LWD是对数加权分母凑整因子(log weightdenominator rounding factor)。SampleP0和SampleP1是list 0和list1的初始的预测子。

MPEG-4 AVC标准不包括在编码器中确定合适的显式WP参数。

联合视频组(Joint video team，JVT)JM参考软件包括选择加权和总是赋予偏移0值的方法。在JM软件的方法中，编码图像时计算当前图像的所有像素的Y，U和V颜色分量的平均值M_i，其中，i为颜色分量索引。此外，计算每一个允许的参考图像的每一个像素的Y，U和V颜色分量的平均值/MR_ij，其中，j是参考图像索引。基于当前图像的平均值和参考图像的平均值的比值，通过对数加权分母的左移进行缩放，获得用于每一个参考图像的每一个颜色分量的估计的乘法加权因子W_ij，如下式所示：

W_ij＝(int)(M_i＊(1<<LWD)//MR_ij)+0.5)

加权因子确定之后，使用加权因子来执行参考图像的缩放，并存储缩放的参考图像。缩放的参考图像四舍五入为8比特的精确度，从而可以在使用8比特像素运算的运动估计和模式确定过程中使用。

如果使用前面所描述的隐式WP，那么就不在条带头中显式地传输加权因子，代替的是，基于当前图像和参考图像的相关距离来获得加权因子。隐式模式仅用在B条带中双向预测编码的宏块和宏块划分，这也包括那些使用直接模式的宏块或宏块划分。对于双向预测，这里使用相同的公式，除了偏移值O₀和O₁都为0，以及使用如下的公式来获得加权因子W₀和W₁：

X＝(16384+(TD_D>>1))/TD_D

Z＝clip3(-1024，1023，(TD_B·X+32)>>6)

W₁＝Z>>2

W₀＝64-W₁

下面是不可除的，16位安全操作的执行，

W₁＝(64＊TD_D)/TD_B，

其中，TD_B为list1参考图像和list0参考图像间的时间差值，其值的范围为[-128，127]。TD_B为当前图像和list 0参考图像的差值，其值的范围为[-128，127]。在这种情况下，由于单向预测使用原来的参考图像，不需要为运动估计存储额外的图像。

前面提出了用于估计显式WP参数的一些方法，例如，考虑统计方法的方法。这些统计方法如线性回归方法，直方图方法，存在使用置换区别的交叉淡化时的加权参数估计方法等等。考虑运动的方法也被提出来。例如，迭代的方法，在该方法中，先计算初步的加权的集合，然后基于当前源图像和加权参考图像估计运动矢量，最后，通过考虑当前源图像和运动预测非加权参考图像使用上面任何一种的方法来细化加权参数。重复这一过程一直到它收敛或者满足停止条件。

不幸的是，所有上述现有技术的方法主要致力于找出最佳的显式加权方法，而没有考虑应该使用何种加权方法(显式或者隐式)。这个问题能够通过使用不同的已知的转换检测技术来部分解决。这些方法考虑各种相关性度量来赋予特点给序列内的转换，这些转换也用于确定是否应该使用加权预测。然而，考虑到存在两种不同的WP方法，并且每一种方法都能提供不同的好处，因此需要能够在两种模式中进行有效地选择。

简单来说，用于list 0预测的加权预测为：

SampleP＝SampleP0·w₀+o₀，

用于list1预测的加权预测为：

SampleP＝SampleP0·w₀+O₁，

以及用于双向预测的为：

SampleP＝(SampleP0·w₀+SampleP1·w₁+o₀+O₁)/2，

其中，wi是加权因子，oi是加权偏移。

发明内容

本发明的原理提出用于运动补偿预测的自适应加权选择的方法和设备，致力于解决现有技术的这些和其它的不足和缺点。

本发明的原理的一个方面提出一种设备。该设备包括编码器。该编码器通过获取一组加权参数来编码图像；基于选择条件在该组加权参数中选择至少一个加权参数；以及在用于编码图像的参考图像上应用该选择的至少一个加权参数。

本发明的原理的另一个方面提出一种视频编码方法。该方法包括通过获取一组加权参数来编码图像；基于选择条件在该组加权参数中选择至少一个加权参数；以及在用于编码图像的参考图像上应用该选择的至少一个加权参数。

结合附图阅读下面示例性实施例的具体描述，能够了解本发明原理的这些和其它的方面，特征和优点。

附图说明

根据下面示例性的附图，本发明的原理可以被更好的理解，其中:

图1示出根据本发明的原理的实施例，使用应用本发明原理的加权预测的示例性的视频编码器；

图2示出根据本发明的原理的实施例，用于选择单向预测的最佳加权预测方法的示例性方法；和

图3示出根据本发明的原理的实施例，用于选择单向预测和双向预测的最佳加权预测方法的示例性方法。

具体实施方式

本发明的原理致力于用于运动补偿预测的自适应加权选择的方法和设备。

本发明的说明书阐明了本发明的原理。因此能够意识到，本领域的技术人员能够设计不同的包含本发明原理的装置，虽然这些装置在这里没有显式地说明或者示出，但是这些装置属于本发明的发明精神和保护范围之中。

这里叙述的所有例子和条件语言用于教学目的，以便辅助读者了解发明者对现有技术发展做出贡献的本发明的原理和概念，应当理解，本发明不局限于这些具体叙述的例子和条件。

此外，这里叙述本发明原理的原理，方面和具体实施例以及具体的例子的所有陈述包含对应的结构和功能的等同物。另外，这些等同物既包括目前已知的等同物，也包括未来研发出的等同物，即，开发出来的执行相同功能的任何结构的元件。

因此，例如，本领域技术人员应该意识到，本发明的方块图示出了包含本发明原理的示意性电路的概念图。同样地，应该意识到，所有的流程图、作业图、状态转移图和伪码等等描述了各种处理过程。不管计算机或者处理器是否被显式地示出，这些处理过程可能实质上记录在计算机可读介质上，并且被计算机或处理器执行。

在图中示出的不同元件的功能可以通过使用专用硬件提供，也可以使用与适当软件相关能够执行相关软件的硬件来提供。当通过处理器来提供的时候，这些功能可以通过一个专用处理器，或一个共享处理器，或者一些有着共享的单个处理器来提供。此外，术语“处理器”或者“控制器”不应该仅仅解释为能够执行软件的硬件，它们能隐式地包括且不限于，数字信号处理器(digital signal processor，DSP)硬件，用于存储软件的只读存储器(read only memory，ROM)，随机存取存储器(random access memory，RAM)和非易失性存储器。

也可能包括其它传统的和/或自定义的硬件。同样地，图中示出的任何开关仅仅是概念性的。可能通过程序电路，通过专用电路，通过程序控制和专用电路的交互，或者甚至手动控制来实现这些开关的功能，具体实现的技术人员可根据对实际情况上下文的具体理解来选择具体的技术。

在权利要求中，任何表述为用于执行某特定功能的元件包含执行该功能的所有方式，包括，例如，a)执行该功能的电路元件的组合；或b)结合适当的电路用于执行该功能的包括固件和微码等等形式的软件，该软件在电路上执行。权利要求中定义的本发明的基本原理包含着如下事实，本发明的权利要求主张的范围也包括本发明叙述的不同的手段提供的功能的各种可能的组合。因此认为，任何能够提供相应功能的手段都是这里示出的手段的等同物。

说明书中本发明原理的一个实施例或实施例是指，结合着实施例描述的特定的特征，结构和特性等等被包括在至少一个本发明原理的实施例中。因此，在具体实施方式的不同地方出现的“在一个实施例中”或“在实施例中”不一定是指的同一个实施例。

在图1中，使用参考符号100来标记一个带有加权估计的示例性的视频编码器。

视频编码器的输入包括组合器105的同相输入，模式确定和运动补偿(mode decision & motion compensation，MD&MC)175的第一输入，运动估计器(motion estimator，ME)165的第一输入和运动估计器170的第一输入。组合器105的输出以信号通信方式连接到变换器110的输入。变换器110的输出以信号通信方式连接到量化器115的输入。量化器115的输出以信号通信方式连接到变长编码器(variable length coder，VLC)120的输入。VLC 120的输出为视频编码器100的输出。

量化器115的输出也以信号通信方式连接到反量化器125的输入。反量化器125的输出以信号通信方式连接到反变换器(inversetransformer)130的输入。反变换器130的输出以信号通信方式连接到组合器180的第一同相输入。组合器180的输出以信号通信方式连接到环路滤波器135的输入。环路滤波器135的输出以信号通信方式连接到图像参考存储器140的输入。图像参考存储器140的输出以信号通信方式连接到list0参考缓冲器145的输入以及list1参考缓冲器150的输入。List0参考缓冲器145的第一输出以信号通信方式连接到乘法器155的第一输入。List1参考缓冲器150的第一输出以信号通信方式连接到乘法器160的第一输入。List0参考缓冲器145的第二输出和list1参考缓冲器150的第二输出以信号通信方式连接到MD&MC 175的第二输入。乘法器155的输出以信号通信方式连接到运动估计器165的第二输入。乘法器160的输出以信号通信方式连接到运动估计器170的第二输入。MD&MC 175的第一输出以信号通信方式连接到组合器105的倒相输入。MD&MC 175的第二输出以信号通信方式连接到组合器180的第二同相输入。

本发明原理提供了一种方法和设备，用于确定最适合编码当前图像的加权方法。进一步地，根据本发明的基本原理的实施例，通过考虑多种加权估计方法能够提高显式加权参数的确定。根据本发明原理的实施例，最开始使用不同的方法估计不同的加权因子。然后，通过考虑如相关(correlation)或畸变(distortion)计算这样的简单的标准或者方法来评估这些可能包括一般的，隐式的和多个显式的加权参数。以及，根据该标准选择用于编码当前图像或条带的最合适的加权参数和加权方法。

有利地，由于显式模式和隐式模式能分别提供不同的好处，本发明原理的实施例允许有效地在显式模式和隐式模式之间进行选择。例如，隐式模式可以在仅仅存在局部亮度变换(local brightnesstransformation)的情况下或者在线性淡化(linear fade)的过程中提供良好的性能。而显式模式对交叉淡化过程更为有用。进一步地，考虑到单向预测不使用加权，以及双向预测允许有效地挖掘在时间上与参考图像可能存在的高的相关性，隐式模式可以提高非淡化帧(non-fading frame)的编码效率。应当注意，存在有一些现有技术的方法，用于图像序列内转换的最初估计。如果需要，这些方法也能够帮助确定用于加权预测的加权方法。并且，如前面所述，加权预测(weighted prediction，WP)，尤其是隐式WP，在非淡化的时候也是非常有用和有益的。进一步地，虽然已知有不同的算法用于估计显式加权参数，但是我们认为不同的计算方法对于转换的一些类型能更有益或者更精确。因此，根据本发明的原理，提供的不同的实施例不仅能够改善加权参数选择，而且能够很好地确定将要使用的WP方法。虽然可能使用的一种方法是使用所有可能的WP组合(加权方法和加权等等)编码图像，然后根据预定的标准(即，使用J＝D+λ＊R的率畸变优化(Rate Distortion Optimal)的判定，其中，D是畸变，λ是拉格朗日参数，以及R是用于编码当前图像的比特)选择最好的一个，但是这些方法计算代价昂贵，并且对于实时的实现尤其不实用。

一般而言，这里所说的“图像”是指根据图像结构确定的场图像或者帧图像。最初需要根据使用的条带类型或者预测方法来计算一组图像相关性度量。尤其是，对于单个帧间预测(P条带)，我们可以考虑用于计算该图像相关性度量的三种可能的情况。对用于运动补偿的list0中的所有有效的参考图像执行这一过程。对于参考图像i，我们可以考虑如下的情况：

情况1：

$\begin{array}{cc}{w}_{0,i}=\frac{\mathrm{mean}\left(F_{\mathrm{cur}}\right)}{\mathrm{mean}\left(F_{\mathrm{ref},i}\right)},& o_{0,i}=0\end{array}$

其中，w_0，i是用于该参考图像的加权参数，o_0，i是对应的偏移，F_cur对应当前的图像，F_ref，i是索引为i的参考图像。Mean函数用于计算在F_cur中的所有像素的平均值。计算也能够基于直流图像(DCimage)，如果如要进一步减少复杂度，则基于子抽样图像(sub-sampled image)。基于这些加权参数，计算与当前图像相比较的畸变度量，在这里，该畸变度量使用sum_diff_wf_0，i表示。后面会对畸变度量做进一步描述。显然地，该情况用于乘法转换。

情况2：

w_0，i＝1，o_0，i＝mean(F_cur)-mean(F_ref，i)

与情况1类似，基于这些加权参数，也计算与当前图像相比较的畸变度量，在这里，该畸变度量使用sum_diff_wo_0，i表示。该情况用于加法转换。

情况3：

当加权参数w_0，i＝1和o_0，i＝0时，则不对预测抽样执行加权操作。与当前图像相比较的畸变度量则不是sum_diff_nowp_0，i。

对于双向预测(B条带)，应该考虑其它的一些情况和子情况。与单向预测加权的主要区别是，在考虑对两个参考加权的联合效果和隐式加权的有效性的同时，要计算list0和list1参考的加权参数。更具体地，我们先考虑如下的子情况。在这些子情况中，用于list x中的参考图像i的加权参数计算方法如下:

子情况1：

$\begin{array}{cc}{w}_{x,i}=\frac{\mathrm{mean}\left(F_{\mathrm{cur}}\right)}{\mathrm{mean}\left(F_{\mathrm{ref},x,i}\right)},& o_{x,i}=0\end{array}$

其中，w_x，i是用于该参考的加权参数，o_x，i是对应的偏移。基于这些加权参数，计算与当前图像相比较的畸变度量。在这里，该畸变度量使用sum_diff_wf_x，i表示。后面会对畸变度量做进一步描述。该情况用于乘法转换。

子情况2：

w_x，i＝1，o_x，i＝mean(F_cur)-mean(F_ref，x，i)

与情况1类似，使用这些加权参数计算用于与当前图像相比较的每一个参考图像的畸变度量。在这里，该畸变度量使用sum_diff_wo_x，i来表示。该情况用于加法转换。

子情况3：

当加权参数w_x，i＝1和o_x，i＝0时，则不对预测抽样执行加权操作。与当前图像相比较的畸变度量则不是sum_diff_nowp_x，i。

对于这些子情况，在不同时考虑其它参考图像的影响下，用于每一个列表的每一个参考图像的加权参数选择类似于单向预测的情况。从这个确定中选择出的加权参数然后在考虑共同加权优化(jointweight optimization)的第二步中被使用。

特别地，对于双向预测，我们现在需要考虑如下情况：

情况1：

从子情形1到子情形3预先选择用于两个列表的w_x，i和o_x，i。

情形2：

情形2通过计算w₀和w₁来考虑联合相关(joint correlation)，计算方法如下：

$w_0=\frac{2\mathrm{\&beta;}}{\mathrm{\&beta;}+1}$ 和 $w_1=\frac{2}{\mathrm{\&beta;}+1},$

其中，

$\mathrm{\&beta;}=\frac{\mathrm{\&Sigma;}(\mathrm{Fref}\_11[x,y]-\mathrm{Fcur}[x,y])}{\mathrm{\&Sigma;}(\mathrm{Fcur}[x,y]-\mathrm{Fref}\_10[x,y])}$

如果β≤0，那么则使用基于距离的加权估计方法(隐式加权)。加权偏移设置为0。

情形3：

隐式地计算加权。

情形4：

不考虑加权。

在生成上面所述的一组加权预测候选后，对WP参数执行初步选择。更具体地，上述的任何一种可能的加权候选(没有加权，隐式加权和显式加权方法)产生用于单向预测的一个因子/偏移对(factor/offset coupie)和用于双向预测的两个因子/偏移对。

对于单向预测以及对于双向预测的子情况，使用基于直方图差(difference of histogram)的畸变。

wF_ref＝w*F_ref[x，y]+o

$\mathrm{distortion}=\underset{i=0}{\overset{\mathrm{nb}\_\mathrm{bins}-1}{\mathrm{\&Sigma;}}}|{\mathrm{YHisto}}_{F_{\mathrm{cur}}}\left[i\right]-{\mathrm{YHisto}}_{{\mathrm{wF}}_{\mathrm{ref}}}\left[i\right]|$

因为上面的畸变在存在运动的情况下鲁棒性强，所以选择该畸变用于我们的计算。为了降低复杂度，该计算基于直流图像(DCimage)或者子抽样图像(例如，水平和垂直方向分别为N和/或M的因子)。

直方图畸变能够用于确定在单向预测方面哪个方法最好。但是，应该认识到，本发明的基本原理不仅仅限于使用直方图畸变。根据本发明原理的指导能够得知，在维持本发明原理的范围的同时，本发明也可应用其它的畸变度量。例如，其它的畸变度量包括但不限于，绝对差。选择也能够基于当前转换的成功的检测。由于考虑到有时不适合使用WP，因此在加权畸变时考虑对该畸变使用不同的优先级。更具体地，下面的伪码能够描述用于单向预测的自适应选择(下面图2的方法200也能描述该自适应选择)：

      //先比较加权(仅仅使用偏移的方法对比仅仅使用加权的方法)

      //然后在不加权和加权之中做选择

      if(sum_diff_wf<＝sum_diff_wo)

      {

        min_sum_diff＝sum_diff_wf；

        min_log_weight_denom＝log_weight_denom；

        min_weight_factor＝weight_factor；

        min_weight_offset＝0；

      }

      else

      {

        min_sum_diff＝sum_diff_wo；

        min_log_weight_denom＝default_log_weight_denom；

        min_weight_factor＝default_weight；

        min_weight_offset＝weight_offset；

      }

      double delta_wp＝0.05；

      if(the sequence is a fade)

        cond            ＝          sum_diff_nowp        <

(int)((0.75+delta_wp＊ref_ind)＊(double)min_sum_diff+0.5)；

      else

      cond            ＝       (int)(0.9＊(double)sum_diff_nowp)    <

min_sum_diff；

      if(cond)

      {

       min_sum_diff＝sum_diff_nowp；

       min_log_weight_denom＝default_log_weight_denom；

       min_weight_factor＝default_weight；

       min_weight_offset＝0；

   }

   else

   {

       log_weight_denom＝min_log_weight_denom；

       weight_factor＝min_weight_factor；

       weight_offset＝min_weight_offset；

   }

同样地，对于双向预测，为每一个可能的预测对计算畸变，该畸变计算方法如下：

对于单向预测：

distortion＝∑|DC_Fcurr[x，y]-(w_x，iDC_{Fref_lx}[x，y]+o_x，i)|；

以及

对于双向预测：

基于这个新的畸变，我们可以确定将要使用的加权预测方法，确定方法如下：

  If the sequence is not a fade or cross-fade，

  {

         For single prediction，

               No weighting(w＝1，o＝0)

         For bi-prediction，

               If(distortion _imp≤a＊distortion _nowp)

                     Implicit weighting

               Else

                     No weighting

  }

Else

{

      For single prediction，

If(distortion _exp2≤b＊min(distortion _nowp，distortion _exp1))

      Explicit weighting method 2

             Else if(distortion _exp1≤distortion _nowp)

Explicit weighting method 1

Else

      No weighting

      For bi-prediction，

   If (distortion _case2<c＊min(distortion _NoW，distortion _Imp，

distortion _case1))

      Explicit weighting method case2

   Else if(distortion _case1≤d＊min(distortion _NoW，distortion

_Imp))

      Explicit weighting method case 1

   Else if(distortion _Imp≤e＊distortion _NoW)

      Implicit weighting

   Else

      No weighting

}

在前面的伪码中，a、b、c、d和e是根据每一个加权方法被指定的优先级的加权系数。更具体地，在本发明的一个用于测试的实施例中，虽然其它的值也能够使用，但是我们使用a＝0.75，b＝c＝0.8，d＝e＝0.95。例如，如果不使用转换检测算法，可以修改这些值以提供比正常优先级更高的优先级，或者甚至是不严重影响性能的隐式模式。下面将参考图3来描述该方法。

在基于联合参考图像的运动估计，最终模式确定和编码过程中考虑方法2的加权。可以使用其它三种方法中最好的一种来执行基于正常参考图像的运动估计。

我们也可以使用先前开发的加权预测估计方法(例如，直方图方法和迭代法等等)中的任意一种对其它加权预测候选进行估计。从而，增加了能够用于该目的的潜在的情况的数量。

在图2中，一般使用参考符号200标记用于选择最好的用于单向预测的加权预测方法的示例性方法。该方法200包括开始块205，开始块205把控制权传递给功能块210。功能块210计算加权，sum_diff_wo，sum_diff_wf，和sum_diff_nowp，并把控制权传递给确定块215。确定块215判定sum_diff_wo是否小于sum_diff_wf。如果小于，那么把控制权传递给功能块220。否则，把控制权传递给功能块225。功能块220把best_mode设置为偏移，把best_sum设置为sum_diff_wo，然后把控制权传递给确定块230。

功能块225把best_mode设置为加权，把best_sum设置为sum_diff_wf，然后把控制权传递给确定块230。

确定块230判定best_sum是否小于Ts＊sum_diff_nowp。如果小于，那么把控制权传递给结束块240，否则，把控制权传递给功能块235。

功能块235把best_mode设置为nowp，把best_sum设置为sum_diff_nowp，然后把控制权传递给结束块240。

在图3中，一般使用参考符号300标记用于选择单向预测和双向预测的最好的加权预测方法的示例性方法。

方法300包括开始块305。开始块305把控制权传递给功能块310。功能块310计算加权和畸变，然后把控制权传递给确定块315。确定块315判定场景转换是否是淡入或交叉淡入。如果是淡入或交叉淡入，则把控制权传递给功能块325。否则，则把控制权传递给确定块320。

确定块325判定是否要使用双向预测。如果使用了双向预测，那么把控制权传递给功能块335。否则，把控制权传递给确定块340。

确定块335判定是否是dist_case2<c＊min(dist_nowp，dist_imp，dist_case1)。如果是，那么把控制权传递给功能块360。否则，把控制权传递给确定块350。

功能块360把best_mode设置为exp_mode2，然后把控制权传递给结束块380。

确定块350判定是否是dist_case1<d＊min(dist_nowp，dist_imp)。如果是，那么把控制权传递给功能块365。否则，把控制权传递给确定块355。

功能块365把best_mode设置为exp_mode1，然后把控制权传递给结束块380。

确定块355判定是否是distimp<e＊distnowp。如果是，那么把控制权传递给功能块375。否则，把控制权传递给功能块370。

功能块375把best_mode设置为隐式，然后把控制权传递给结束块380。

功能块370把best_mode设置为nowp，然后把控制权传递给结束块380。

确定块320判定是否要使用双向预测。如果要使用，则把控制权传递给确定块330。否则，把控制权传递给功能块370。

确定块330判定是否是dist_imp<a＊dist_nowp。如果是，那么把控制权传递给功能块375。否则，把控制权传递给功能块370。确定块340判定是否是dist_exp2<b＊min(dist_nowp，dist_exp1)。如果是，那么把控制权传递给功能块360。否则，把控制权传递给确定块345。确定块345判定是否是dist_exp1<dist_nowp。如果是，则把控制权传递给功能块365。否则，把控制权传递给功能块370。下面描述本发明带来的一些优点/特征，其中部分的优点/特征在前面已经被提及。例如，一个优点/特征是一个包括编码器的设备。该编码器通过获取一组加权参数来编码图像，然后基于选择条件在该组加权参数中选择至少一个加权参数，最后在用于编码图像的参考图像上应用该选择的至少一个加权参数。另一个优点/特征是一个包括如上所述编码器的设备，其中，基于使用该加权参数组中的每一个加权参数获得图像完全编码以及使用率畸变优化(rate distortion optimization)，该编码器从该加权参数组中选择至少一个加权参数。另一个优点/特征是一个包括如上所述的使用率畸变优化的编码器的设备，其中，使用拉格朗日乘法器(Lagrangian multiplier)执行率畸变优化。

此外，另一个优点/特征是包括如上所述的编码器的设备，其中，编码器基于畸变度量的计算选择至少一个加权参数。进一步地，另一个优点/特征是包括如上所述的基于畸变度量的计算选择至少一个加权参数的编码器的设备，其中，计算图像和加权参考图像的绝对图像差异作为畸变度量。另一个优点/特征是包括如上所述的基于畸变度量的计算选择至少一个加权参数的编码器的设备，其中，计算图像的直方图和加权参考图像的差异作为畸变度量。此外，另一个优点/特征是包括如上所述的基于畸变度量的计算选择至少一个加权参数的编码器的设备，其中，编码器使用直方图方法，图像平均法(picture mean average)，线性回归法(linear regression)，置换差异法(displaced difference)和迭代法(iterative method)中的至少一种方法估计用于图像的显式加权参数。

另一个优点/特征是包括如上所述的编码器的设备，其中，编码器基于畸变特性选择最优的加权方法来编码图像，最优的加权方法从非加权预测方法，显式加权预测方法和隐式加权预测方法中选择，每一种方法都包括在加权参数组中。进一步地，另一个优点/方法是包括如上所述的选择最优加权方法的编码器的设备，其中，畸变特性为基于list0和list1参考图像进行计算的双向预测畸变。另一个优点/特征是包括如上所述的选择最优加权方法的编码器的设备，其中，编码器使用至少一个转换检测方法选择最优加权方法来编码图像。

相关技术领域的技术人员基于本发明的教导能确定本发明原理的这些和其它特征以及有益效果。本发明原理的教导可以以硬件、软件、固件、特殊用途处理器或者它们的不同形式的结合来实现。

最好地，使用硬件和软件的组合来实现本发明原理的教导。此外，软件可以实现为存在于程序存储单元上的应用程序。应用程序可以被上载到具有合适的体系结构的机器上，以及被该机器执行。更好地，在计算机平台上实现该机器，该计算机平台包括硬件，例如一个或一个以上中央处理单元(central processing unit，CPU)，一个随机存取存储器(random access memory，RAM)，和输入/输出(input/output，I/O)接口。计算机平台也可以包括操作系统和微指令码。这里描述的不同的处理过程和功能可以是CPU能够执行的微指令码的一部分，或应用程序的一部分，或它们的任何组合。另外，计算机平台可以连接其它不同的外设单元，例如，附加的数据存储单元和打印单元。

进一步认识到，由于附图中示出的一些系统组件和方法较好地使用软件来实现，系统组件或者处理功能块的实际连接可能随着本发明原理的编程方式的不同而不同。相关技术领域的一个普通技术人员能够基于这里给出了教导获得本发明原理的这些和类似的实现或配置。虽然这里结合着附图描述了说明性的实施例，但是本发明的原理不限于那些描述出来的实施例，并且相关技术领域的普通技术人员可能在不背离本发明原理的范围或思想的前提下做出各种改变和修改。从属权利要求阐述的本发明的原理的范围包括了这些改变和修改。

Claims (20)

1.一种设备，包括：编码器(100)，所述编码器通过获取一组加权参数来编码图像，基于选择条件在所述加权参数组中选择至少一个加权参数，以及在用于编码图像的参考图像上应用所述的选择的至少一个加权参数。

2.如权利要求1所述的设备，其中，基于使用所述加权参数组中的每一个加权参数获得图像完全编码以及使用率畸变优化，所述编码器(100)从所述加权参数组中选择所述的至少一个加权参数。

3.如权利要求2所述的设备，其中，使用拉格朗日乘法器执行率畸变优化。

4.如权利要求1所述的设备，其中，所述编码器(100)基于畸变度量的计算选择所述的至少一个加权参数。

5.如权利要求4所述的设备，其中，计算所述图像和加权参考图像间的绝对图像差异作为所述的畸变度量。

6.如权利要求4所述的设备，其中，计算所述图像的直方图和加权参考图像的直方图之间的差异作为所述的畸变度量。

7.如权利要求4所述的设备，其中，所述编码器(100)使用直方图方法、图像平均法、线性回归法、置换差异法和迭代法中的至少一种方法估计用于所述图像的显式加权参数。

8.如权利要求1所述的设备，其中，所述编码器(100)基于畸变特性选择最优的加权方法来编码图像，所述最优的加权方法从非加权预测方法、显式加权预测方法和隐式加权预测方法中选择，并且每一种方法都包含在所述加权参数组中。

9.如权利要求8所述的设备，其中，畸变特性为基于list0和list1参考图像进行计算的双向预测畸变。

10.如权利要求8所述的设备，其中，所述编码器(100)使用至少一种转换检测方法选择所述最优的加权方法来编码图像。

11.一种视频编码方法，包括：

通过获取一组加权参数来编码图像；

基于选择条件在所述加权参数组中选择至少一个加权参数；和

在用于编码图像的参考图像上应用所述的选择的至少一个加权参数(200，300)。

12.如权利要求11所述的方法，其中，基于使用所述加权参数组中的每一个加权参数获得图像完全编码以及使用率畸变优化，所述编码图像步骤从所述加权参数组中选择至少一个加权参数(200，300)。

13.如权利要求12所述的方法，其中，使用拉格朗日乘法器执行率畸变优化。

14.如权利要求11所述的方法，其中，所述编码器基于畸变度量的计算选择所述的至少一个加权参数(200，300)。

15.如权利要求14所述的方法，其中，计算所述图像和加权参考图像的绝对图像差异作为所述的畸变度量(210，310)。

16.如权利要求14所述的方法，其中，计算所述图像的直方图和加权参考图像的直方图之间的差异作为所述的畸变度量(210，310)。

17.如权利要求14所述的方法，其中，所述编码图像步骤使用直方图方法、图像平均法、线性回归法、置换差异法和迭代法中的至少一种方法估计用于图像的显式加权参数(210，310)。

18.如权利要求11所述的方法，其中，所述编码图像步骤基于畸变特性选择最优的加权方法来编码图像，所述最优的加权方法从非加权预测方法、显式加权预测方法和隐式加权预测方法中选择，并且每一种方法都包含在所述加权参数组中(220，225，235，375，370，365，360)。

19.如权利要求18所述的方法，其中，畸变特性为基于list0和list1参考图像进行计算的双向预测畸变(310)。

20.如权利要求18所述的方法，其中，所述编码图像步骤使用至少一个转换检测方法选择所述最优的加权方法来编码图像(315)。

Images