CN101836457B - 活动图像可分级编码方法及解码方法及其装置 - Google Patents

Abstract

一种活动图像可分级编码方法，计算包括比例系数和偏置系数的权重系数，其中，该比例系数表示上位层的编码对象图像区域和被参照图像区域之间的明亮度变化，将该权重系数应用于成为探索对象的被参照图像区域的图像信号进行运算而进行运动的推定，由此计算运动矢量，将该权重系数应用于该运动矢量所指的被参照图像区域的解码信号进行运算而进行运动补偿，由此生成预测信号。基于在紧下层中与编码对象图像区域在空间的相同位置存在的紧下图像区域的编码信息，决定所述权重系数的数据结构，在紧下图像区域在紧下层中进行帧间预测的情况下，识别紧下图像区域作为运动预测的预测参照目的地的紧下层被参照图像区域，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与该紧下层被参照图像区域在空间的相同位置存在，将运算的结果看作紧下图像区域的直流成分，计算所述权重系数。

Description

活动图像可分级编码方法及解码方法及其装置

技术领域

本发明涉及对明亮度随时间变化的活动图像可分级地进行编码的活动图像可分级编码方法及其装置、对通过该活动图像可分级编码而被编码的编码数据进行解码的活动图像可分级解码方法及其装置、用于实现该活动图像可分级编码方法的活动图像可分级编码程序和记录了该程序的计算机能够读取的记录介质、以及用于实现该活动图像可分级解码方法的活动图像可分级解码程序和记录了该程序的计算机能够读取的记录介质。 

本申请基于2007年10月25日申请的日本专利特愿2007-277224号要求优先权，并在这里引用其内容。 

背景技术

在通常的活动图像编码方式中，通过基于帧间的像素值差分最小化的块匹配进行运动预测，谋求编码性能的提高。可是，在如淡化(fade)那样的明亮度随时间变化的图像中，与明亮度变化的量相应地，运动预测的预测残差扩大，编码性能降低。 

因此，在非专利文献1所示的H.264/AVC中，进行适应地对运动预测的参照图像乘以权重系数的加权运动预测。通过该加权运动预测，构成对时间上的明亮度变化进行校正后的预测参照信号，使编码性能提高。 

在H.264/AVC中，具备以下2种加权运动预测的方法：对在明亮度的校正中使用的权重系数进行编码并传输的Explicit模式，和不传输权重系数而在编码器和解码器根据参照帧的信息间接地生成相同权重系数的Implicit模式。在表1中表示P条带(slice)和B条带的加权运动预测的种类和预测方法。 

[表1] 

表1：H.264/AVC中的加权运动预测的种类及其方法 

在该表1中，z是加权运动预测信号，r₀、r₁是加权运动预测参照信号，w₀、w₁、d₀、d₁是权重系数。加权运动预测的切换和权重系数传输模式的选择以条带单位执行。 

图20是说明H.264/AVC的加权运动预测(Implicit模式)的图。Implicit模式仅在B条带的双预测的情况下使用。假定跨越编码对象帧和2枚被参照帧的明亮度变化是线性的，对应于从被参照帧起的距离来计算比例系数w₀、w₁。将偏置系数d作为0。 

再有，在图20中表示有利用对应于从参照帧起的距离的内分来计算比例系数的例子，但在外分的情况下也能够同样地进行。 

现在，在非专利文献2所示的作为ISO和ITU-T的联合团体的JVT进行研究的H.264/AVC的可分级扩展方式JSVC中，也采用了与上述所示的H.264/AVC相同的加权运动预测。此外，在非专利文献3中表示的JSVC的参照编码器JSVM中，也进行表1所示的加权运动预测。 

此外，作为检测活动图像的全局的亮度变化，进行亮度补偿的技术，已知有专利文献1记载的技术。在该专利文献1所述的技术中，通过使用画面整体的全局的亮度变化量、和表示是否按小区域的每1个进行亮度变化补偿的判定的标志(flag)，应对明亮度变化在画面内不一样的情况。 

非专利文献1：ITU-T：″Advanced video coding for generic audiovisualservices″，ITU-T Rec.H.264，pp.129-132，May，2003. 

非专利文献2：T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz andM.Wien：″Joint Draft 8 of SVC Amendment″，ISO/IEC JTC1/SC29/WG11and ITU-T SG16 Q.6，JVT-U201，pp.166-170，October，2006. 

非专利文献3：J.Reichel，H.Schwarz and M.Wien：″Joint ScalableVideo Model JSVM-8″，ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6， JVT-U202，October，2006. 

专利文献1：日本专利申请特开平10-32824号公报 

本发明要解决的课题 

H.264/AVC的加权运动预测以条带单位执行。因此，在条带内的一部分中产生明亮度变化的情况下、或条带内的明亮度变化不一样的情况下，加权运动预测的预测性能降低。由移动物体的影子等而产生的明亮度的变化等，相当于上述情况。由于JSVC也继承了H.264/AVC的加权运动预测，所以面临与上述相同的问题。 

假设，当要以比条带细小的宏块等单位计算权重系数，执行加权运动预测时，在Explicit模式中权重系数所要的码量变得非常大。在这样的情况下，优选以Implicit模式计算权重系数。可是，如上所述，H.264/AVC的加权运动预测的Implicit模式的实施，仅限于进行双预测的B条带。 

此外，该在加权运动预测的Implicit模式下计算的权重系数，是基于跨越编码对象帧和2枚被参照帧的明亮度变化是线性的这一假定的权重系数，因此在跨越该3帧的明亮度的时间变化是非线性的情况下，不能够计算出适合的权重系数，预测性能降低。明亮度非线性地进行变化的淡化图像、或包含闪光的图像等相当于上述情况。 

在JSVC的加权运动预测中，因为直接实施H.264/AVC的加权运动预测，因此面临与上述相同的问题。 

此外，在上述专利文献1记载的技术中，因为需要按小区域的每1个对标志的信息进行传输，所以存在编码性能降低的问题，在该小区域的亮度变化量大、并且与全局亮度变化量乖离的情况下，由于不能够补偿该小区域的亮度变化，所以在该方面也存在编码性能降低的问题。 

发明内容

本发明正是鉴于上述情况而完成的，其目的在于确立一种可分级编码器和解码器的设计方法，其中，在由具有最低的空间分辨率的基本层、和1个以上的具有比其高的空间分辨率的增强层构成的空间可分级编码中，生成加权运动预测的权重系数，不传输权重系数的信息而在编码器和解码器使用相同的权重系数进行加权运动预测，其中，所述加权运动 预测的权重系数基于运动预测的被参照帧的解码信号、和编码对象帧的紧下层的解码信号之间的时间上的明亮度变化的信息。 

用于解决课题的方案 

[1]本发明的活动图像可分级编码装置的结构 

为了实现上述目的，本发明的活动图像可分级编码装置在采用如下结构，即计算包括比例系数和偏置系数的权重系数，其中，该比例系数表示上位层的编码对象图像区域和被参照图像区域之间的明亮度变化，将该权重系数应用于成为探索对象的被参照图像区域的图像信号进行运算而进行运动的推定，由此计算运动矢量，将该权重系数应用于该运动矢量所指的被参照图像区域的解码信号进行运算而进行运动补偿，由此生成预测信号，这时，该活动图像可分级编码装置具备：(i)基于在紧下层中与编码对象图像区域在空间的相同位置存在的紧下图像区域的编码信息，决定所述权重系数的数据结构的单元；(ii)在紧下图像区域在紧下层中进行帧间预测的情况下，识别紧下图像区域作为运动预测的预测参照目的地的紧下层被参照图像区域，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与该紧下层被参照图像区域在空间的相同位置存在，将运算的结果看作紧下图像区域的直流成分，计算所述权重系数的单元。 

在这里，在决定单元中，在被参照图像区域是1个的情况下，在使用比例系数校正的权重系数计算方法的情况下，作为比例系数，决定使用被参照图像区域的直流成分和上述紧下图像区域的直流成分的比，作为偏置系数，决定使用零，由此，决定权重系数的数据结构。 

此外，在决定单元中，在被参照图像区域是1个的情况下，在使用偏置系数校正的权重系数计算方法的情况下，作为偏置系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的差，作为比例系数，决定使用1，由此决定权重系数的数据结构。 

此外，在决定单元中，在被参照图像区域是2个的情况下，作为比例系数，决定使用对应于编码对象图像区域和各被参照图像区域之间的帧间距离计算出的值，作为偏置系数，决定使用以如下方式计算的值，即，从上述紧下图像区域的直流成分，减去将该比例系数对2个被参照 图像区域的直流成分相乘后的值，由此决定权重系数的数据构造。 

在采用该结构时，在计算单元中，在也考虑在紧下图像区域中产生的运动预测的预测残差信号而谋求精度的提高的情况下，也可以对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与紧下层被参照图像区域在空间的相同位置存在，进一步对该运算的结果加上在紧下图像区域中产生的运动预测的预测残差信号的直流成分，将相加的结果看作紧下图像区域的直流成分。 

此外，在采用该结构时，在计算单元中，在紧下图像区域以更细小的小区域单位进行运动预测的情况下，也可以按该小区域的每1个计算所述被看作直流成分的直流成分，基于该计算出的直流成分和各小区域的面积，计算所述被看作直流成分的直流成分。 

通过以上各处理单元工作而实现的本发明的活动图像可分级编码方法也能够以计算机程序实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时通过被安装并在CPU等的控制单元上工作，从而实现本发明。 

[2]本发明的活动图像可分级解码装置的结构 

为了实现上述目的，本发明的活动图像解码装置采用如下结构，计算包括比例系数和偏置系数的权重系数，其中，该比例系数表示上位层的解码对象图像区域、和解码后的运动矢量所指的被参照图像区域之间的明亮度变化，将该权重系数应用于解码后的运动矢量所指的被参照图像区域的解码信号进行运算而进行运动补偿，由此生成预测信号，这时，该活动图像可分级解码装置具备：(i)基于在紧下层中与编码对象图像区域在空间的相同位置存在的紧下图像区域的编码信息，决定所述权重系数的数据结构的单元；(ii)在紧下图像区域在紧下层中进行帧间预测的情况下，识别紧下图像区域作为运动预测的预测参照目的地的紧下层被参照图像区域，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与该紧下层被参照图像区域在空间的相同位置存在，将运算的结果看作紧下图像区域的直流成分，计算所述权重系数的单元。 

在这里，在决定单元中，在被参照图像区域是1个的情况下，在使 用比例系数校正的权重系数计算方法的情况下，作为比例系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的比，作为偏置系数，决定使用零，由此决定权重系数的数据结构。 

此外，在决定单元中，在被参照图像区域是1个的情况下，在使用偏置系数校正的权重系数计算方法的情况下，作为偏置系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的差，作为比例系数，决定使用1，由此决定权重系数的数据结构。 

此外，在决定单元中，在被参照图像区域是2个的情况下，作为比例系数，决定使用对应于编码对象图像区域和各被参照图像区域之间的帧间距离计算出的值，作为偏置系数，决定使用以如下方式计算的值，即，从所述紧下图像区域的直流成分，减去将该比例系数对2个被参照图像区域的直流成分相乘后的值，由此决定权重系数的数据结构。 

在采用该结构时，在计算单元中，在也考虑在紧下图像区域中产生的运动预测的预测残差信号而谋求精度的提高的情况下，也可以对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与紧下层被参照图像区域在空间的相同位置存在，进一步对该运算的结果加上在紧下图像区域中产生的运动预测的预测残差信号的直流成分，将相加的结果看作紧下图像区域的直流成分。 

此外，在采用该结构时，在计算单元中，在紧下图像区域以更细小的小区域单位进行运动预测的情况下，也可以按该小区域的每1个计算所述被看作直流成分的直流成分，基于该计算出的直流成分和各小区域的面积，计算所述被看作直流成分的直流成分。 

通过以上各处理单元工作而实现的本发明的活动图像可分级编码方法也能够以计算机程序实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时通过被安装并在CPU等的控制单元上工作，从而实现本发明。 

本发明的效果 

根据本发明，即使在由于移动物体的影子等导致图像内的一部分的明亮度进行变化的情况下，也能够在节约解码处理所需要的存储器和计算时间的同时，通过不传输权重系数的Implicit模式执行高精度的加权 运动预测。 

而且，根据本发明，即使在只能采用现有的Explicit模式的P条带和B条带的L0/L1预测等单方向预测的情况下，也能够在节约解码处理所需要的存储器和计算时间的同时，通过不传输权重系数的Implicit模式执行高精度的加权运动预测。 

而且，根据本发明，即使在包含闪光的图像或非线性变化的淡化图像那样的编码/解码处理对象帧和多个预测参照帧之间的明亮度变化是非线性的图像中，也能够在节约解码处理中所需要的存储器和计算时间的同时，通过不传输权重系数的Implicit模式执行高精度的加权运动预测。 

通过以上的加权运动预测的性能提高，根据本发明能够期待编码效率的提高。 

附图说明

图1A是说明帧间的明亮度变化的图。 

图1B是表示预测性能劣化的例子的图。 

图1C是说明本发明的概念的图。 

图2是校正对象帧和被校正帧的说明图。 

图3是日本专利特愿2007-174161的发明中的权重系数的计算方法的说明图。 

图4A是日本专利特愿2007-174161的发明中的权重系数的计算方法的说明图。 

图4B同样地是日本专利特愿2007-174161的发明中的权重系数的计算方法的说明图。 

图4C同样地是日本专利特愿2007-174161的发明中的权重系数的计算方法的说明图。 

图5是说明本发明的概念的图。 

图6同样地是说明本发明的概念的图。 

图7是用于验证本发明的有效性而进行的实验的实验结果的说明图。 

图8是本发明的编码处理的实施例的流程图。 

图9是本发明的解码处理的实施例的流程图。 

图10是本发明的加权运动推定处理的实施例的流程图。 

图11是本发明的加权运动补偿处理的实施例的流程图。 

图12是本发明的权重系数计算处理的实施例的流程图。 

图13是本发明的紧下块直流成分推定处理的实施例的流程图。 

图14是本发明的编码装置的实施例的结构图。 

图15是本发明的解码装置的实施例的结构图。 

图16是本发明的加权运动推定部的实施例的结构图。 

图17是本发明的加权运动补偿部的实施例的结构图。 

图18是本发明的权重系数计算部的实施例的结构图。 

图19是本发明的紧下块直流成分推定部的实施例的结构图。 

图20是H.264/AVC的加权运动预测的说明图。 

附图标记说明 

101预测方法判定部 

102帧内预测部 

103未加权运动预测部 

104层间预测部 

105加权运动推定部 

106加权运动补偿部 

107预测残差信号生成部 

108预测残差信号编码部 

109解码部 

110相关增强层解码信号存储部 

111紧下层编码信息存储部 

201预测模式解码部 

202预测模式存储部 

203预测方法判定部 

204帧内预测部 

205未加权运动预测部 

206层间预测部 

207运动矢量信息解码部 

208运动矢量信息存储部 

209加权运动补偿部 

210紧下层编码信息存储部 

211残差信号解码部 

212残差信号存储部 

213解码信号生成部 

214相关增强层解码信号存储部 

具体实施方式

首先，对本发明的概要进行说明。 

在这里的说明中，为了说明的方便，将与图像区域相当的部分记载为块，将与图像区域的直流成分相当的值记载为平均值   ，从而进行说明。 

Implicit模式是通过间接地对在加权运动预测中需要的权重系数进行计算，从而不传输多余的编码信息的方式。因此，只要计算出的权重系数能够充分地反映明亮度的变化，就是非常有效的方法，但是当它们乖离时，预测性能下降。 

在非线性的淡化图像或闪光图像中，帧间的明亮度的变化如图1A所示那样变为非线性的。 

在这样的情况下，当对预测参照信号进行仅根据权重系数的线性预测时，如图1B所示那样预测性能劣化。 

因此，在双预测中的加权运动预测中，设置偏置系数d，在上述的JSVC的Implicit模式中，将该偏置系数d设置为零，因此乖离量直接作为预测残差而表示。 

另一方面，当将M×N尺寸的编码对象块的坐标(m，n)中的原信号表示为s^mn，将双预测中的2个被参照块的坐标(m，n)中的解码信号表示为y₀ ^mn，y₁ ^mn，将权重系数(w₀，w₁，d)分配到编码对象块时，利用权重系数(w₀，w₁，d)计算出的加权预测信号与原信号的误差e变为： 

e^mn＝s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d) 

因此，编码对象块中的预测误差e^mn的总能量E变为： 

E＝∑_m∑_n(s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d))²

当假设以与图20相同的方式赋予W₀、W₁时，使该总能量E最小化的偏置系数d通过求解 

从而求取： 

d＝<s>-w₀<y₀>-w₁<y₁> 

<s>：编码对象块的原信号的平均值 

<y₀>：被参照块的解码信号的平均值 

<y₁>：被参照块的解码信号的平均值 

可是，在解码器中不能参照原信号。因此，在本发明中，着眼于层间的平均值的保存性，如图1C所示那样，代替原信号的平均值<s>，使用紧下(immediately-lower)层中的与编码对象块在空间的相同位置存在的块(紧下块)的解码信号的平均值<x>，以如下方式求取偏置系数d。 

d≈<x>-w₀<y₀>-w₁<y₁> 

然而，为了求取紧下层中的与编码对象块在空间的相同位置存在的紧下块的解码信号的平均值<x>，需要对紧下层的解码信号全部进行解码，需要大容量的存储器，并且需要较长的计算时间。 

因此，在本发明中，在双预测的加权运动预测中，在按照： 

d≈<x>-w₀<y₀>-w₁<y₁>这一计算式求取偏置量时，识别紧下块作为运动预测的预测参照目的地的紧下层被参照块，将紧下块在加权运动预测时利用的权重系数，应用于与该紧下层被参照块在空间的相同位置存在的上位层的块的解码信号的平均值进行运算，将运算后的值看作紧下块的解码信号的平均值，由此求取<x>。 

关于紧下块作为运动预测的预测参照目的地的紧下层被参照块，即使不对紧下层的全部信号进行解码也能通过解码运动矢量等的一部分的信息而特别指定，因此根据本发明，不会发生“需要大容量的存储器，并且需要较长的计算时间”的问题。 

此外，关于权重系数w₀、w₁，对应于编码对象块和各被参照块之间的帧间预测距离来进行计算，由此在解码侧也能求取，进而，关于偏置系数d，由于能够利用解码信号进行计算，所以在解码侧也能够求取，由此，根据本发明，不需要向解码侧传输权重系数。 

因此，根据本发明，在双预测的加权运动预测中，能够在实现Implicit模式的同时，在帧间的明亮度非线性地变化的情况下，也能够以较少的存储器容量、并且短时间地执行高精度的加权运动预测。 

再有，本发明的技术思想也能够应用于单方向预测中的加权运动预测。 

即，在单方向预测中的加权运动预测中，成为 

(i)作为比例系数使用被参照块的解码信号的平均值和编码对象块的原信号的平均值的比，并且作为偏置系数使用零，或者， 

(ii)作为偏置系数使用被参照块的解码信号的平均值和编码对象块的解码信号的平均值的差，并且作为比例系数使用1。 

可是，在解码器中不能参照原信号。因此，在本发明中，着眼于层间的平均值的保存性，代替编码对象块的原信号的平均值，而使用紧下块的解码信号的平均值，求取上述的比或差。 

然而，为了求取紧下块的解码信号的平均值，需要对紧下层的解码信号全部进行解码，需要大容量的存储器，并且需要较长的计算时间。 

因此，在本发明中，在单方向预测中的加权运动预测中，识别紧下块作为运动预测的预测参照目的地的紧下层被参照块，将紧下块在加权运动预测时利用的权重系数，应用于与该紧下层被参照块在空间的相同位置存在的上位层的块的解码信号的平均值进行运算，将运算后的值看作紧下块的解码信号的平均值，由此求取上述比或差。 

关于紧下块作为运动预测的预测参照目的地的紧下层被参照块，即使不对紧下层的解码信号全部进行解码也能够通过对运动矢量等的一部分的信息进行解码而特别指定，因此根据本发明，也不会发生“需要大容量的存储器，并且需要较长的计算时间”的问题。 

此外，关于权重系数，由于能够利用解码信号进行计算，所以在解码侧也能够求取，由此，根据本发明，不需要向解码侧传输权重系数。 

因此，根据本发明，在单方向预测的加权运动预测中，能够在实现Implicit模式的同时，在帧间的明亮度非线性地变化的情况下，也能够以较少的存储器容量、并且短时间地执行高精度的加权运动预测。 

下面，按照实施方式对本发明进行详细地说明。 

如上述那样，H.264/AVC的加权运动预测以条带单位执行。因此，在条带内的一部分中产生明亮度变化的情况下、或条带内的明亮度变化不一样的情况下，加权运动预测的预测性能降低。由移动物体的影子等而产生的明亮度的变化等相当于上述情况。由于JSVC也继承了H.264/AVC的加权运动预测，所以面临与上述相同的问题。 

假设，当以比条带细小的宏块等单位计算权重系数，执行加权运动预测时，在Explicit模式中权重系数所要的码量变得非常大。在这样的情况下，优选以Implicit模式计算权重系数。可是，如上所述，H.264/AVC 的加权运动预测的Implicit模式的实施，仅限于进行双预测的B条带。 

此外，该在加权运动预测的Implicit模式下计算的权重系数，是基于跨越编码对象帧和2枚被参照帧的明亮度变化是线性的这一假定的权重系数，因此在跨越该3帧的明亮度的时间变化是非线性的情况下，不能够计算出适合的权重系数，预测性能降低。明亮度非线性地进行变化的淡化图像、或包含闪光的图像等相当于上述情况。在JSVC的加权运动预测中，因为直接实施H.264/AVC的加权运动预测，因此面临与上述相同的问题。 

鉴于这样的情况，本发明者在先前申请的日本专利特愿2007-174161(平成19年7月2日申请)中，申请了能够解决这些问题的新的发明。 

在该日本专利特愿2007-174161申请的发明中，利用编码对象帧的紧下层的解码信号来计算权重系数。 

接着，针对在日本专利特愿2007-174161申请的发明中导出的权重系数的计算方法进行说明。 

在日本专利特愿2007-174161中申请的发明中，通过以下过程，对在可分级编码的加权运动推定和加权运动补偿中使用的权重系数进行计算。 

在现有的Implicit模式中，封闭在1个层内，根据与从被参照帧起的距离对应的内插或外插来推定时间上的明亮度变化，计算权重系数。 

在本发明(日本专利特愿2007-174161)中，在该时间上的明亮度变化的推定中，通过使用编码/解码对象的层的紧下层的解码信号的信息，使该推定精度提高。 

在对过程进行说明时，整理在说明中使用的记号。 

将相关增强层的编码/解码处理对象帧(以下，称为校正对象帧)作为f，将P条带或B条带的L0预测的加权运动推定/补偿被参照帧(以下，称为被校正帧)作为f₀，将B条带的L1预测的被校正帧作为f₁。此外，将与校正对象帧f相同时刻的紧下层的帧作为g。 

此外，将代入帧f的编码/解码处理对象块(以下，称为校正对象块)的坐标(i，j)的预测信号值作为z(i，j)，此外，将帧f₀的加权运动推定/补偿被参照块(以下，称为被校正块)的坐标(i，j)的解码信号值作为y₀(i，j)。此外，将帧g的与帧f的校正对象块位于空间的相同位置的块的坐标(i，j) 的解码信号值作为x(i，j)。 

在图2中对以上进行图示。图2是表示相关增强层和紧下层的分辨率比在纵横均为2∶1的情况下的图。再有，在分辨率比为2∶1以外的情况下也能够进行同样的处理。 

此外，将帧f₀的被校正块的直流成分值作为Y₀，此外，将帧g中的与帧f的校正对象块位于空间的相同位置的块的直流成分值作为X。在图2的情况下，它们以下述方式计算。 

[数式1] 

$Y_0=\frac{1}{n^2}\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{y}_0(i,j)$ ....(1)式 

$X=\frac{1}{{\left(\frac{n}{2}\right)}^2}\underset{i=0}{\overset{\frac{n}{2}-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{\frac{n}{2}-1}{\mathrm{\&Sigma;}}}x(i,j)$ ....(2)式 

<P条带和L0/L1预测B条带中的权重系数的计算方法> 

在P条带和进行L0/L1预测的B条带那样的单一帧的预测的情况下，预测信号值z(i，j)以下述方式计算。 

·在P条带或L0预测B条带的情况下， 

z(i，j)＝w₀·y₀(i，j)+d₀

·在L1预测B条带的情况下， 

z(i，j)＝w₁·y₁(i，j)+d₁    ....(3)式 

在本发明(日本专利特愿2007-174161)中，列举2个该权重系数w₀和d₀、或w₁和d₁的计算方法。 

在以下所述的计算方法的说明中，以P条带或L0预测B条带的情况作为例子。在L1预测B条带的情况下，将与帧f₀和g₀相关的要素变更为与帧f₁和g₁相关的要素即可。 

2个计算方法基于以下的假定。由于帧f和帧g是同时刻的信息，所以预想为信号的明亮度相近。因此，利用已知的帧g的明亮度信息，根据被校正帧f₀间接地预测校正对象帧f的明亮度变化。 

[方法1-1]单一帧预测中的使用了直流成分的比例系数校正 

在本方法中，按以下方式计算权重系数。 

w₀＝X/Y₀     ....(4)式 

d₀＝0         ....(5)式 

[方法1-2]单一帧预测中的使用了直流成分的偏置系数校正 

在本方法中，按以下方式计算权重系数。 

w₀＝1         ....(6)式 

d₀＝X-Y₀      ....(7)式 

<双预测B条带中的权重系数的计算方法> 

在进行双预测的B条带中，预测信号值z(i，j)以如下方式计算。 

z(i，j)＝w₀·y₀(i，j)+w₁·y₁(i，j)+d   ..(8)式 

在本发明(日本专利特愿2007-174161)中，以下述方式计算该权重系数w₀、w₁、d。 

再有，该计算方法基于以下的假定。由于帧f和帧g是同时刻的信息，所以预想为信号的明亮度相近。因此，利用已知的帧g的明亮度信息，根据被校正帧f₀和f₁间接地预测校正对象帧f的明亮度变化。 

[方法2-1]双预测中的使用了直流成分块的权重系数校正 

在本方法中，按以下方式计算权重系数。 

w₀＝1-w₁            ....(9)式 

w₁＝t_b/t_d           ....(10)式 

d＝X-w₀·Y₀-w₁·Y₁  ....(11)式 

在这里，t_b表示从被校正帧f₀到校正对象帧的帧间距离，t_d表示从被校正帧f₀到被校正帧f₁的帧间距离。 

针对以上说明的在日本专利特愿2007-174161中申请的发明中导出的权重系数的计算方法进行总结，如下所述。 

如图3所示，将相关层(relevant layer)l的时刻t的帧的相关块作为B，将该被参照块分别作为B₀、B₁。B₀、B₁分别属于相关层l中的时刻t-T₀的帧，和相关层l中的时刻t+T₁的帧。 

在这里，单方向预测的情况下的被参照帧仅为时刻t-T₀的帧。 

此外，将紧下层l-1中的与相关块B位于空间的相同位置中的时刻 t的帧的块作为B_a。以后，将该B_a称为紧下块。 

在这里，将被参照块B₀内的解码信号的直流成分作为R(l，t-T₀，B₀)，将被参照块B₁内的解码信号的直流成分作为R(l，t+T₁，B₁)，将紧下块B_a内的解码信号的直流成分作为R(l-1，t，B_a)。 

各块的直流成分是对于块内的像素集合应用2维FFT或二维DCT等而生成的。 

这时，在日本专利特愿2007-174161申请的发明中，以下述方式决定权重系数(w₀，d₀)，或(w₀，w₁，d)。 

(单方向预测的情况) 

^*比例系数校正：根据上述的(4)(5)式的校正方法 

w₀＝R(l-1，t，B_a)/R(l，t-T₀，B₀) 

d₀＝0                       ....(12)式 

或， 

^*偏置系数校正：根据上述的(6)(7)式的校正方法 

w₀＝1 

d₀＝R(l-1，t，B_a)-R(l，t-T₀，B₀)   ...(13)式 

(双预测的情况) 

^*根据上述的(9)式～(11)式的校正方法 

w₀＝1-w₁

w₁＝T₀/(T₀+T₁) 

d＝R(l-1，t，B_a)-w₀·R(l，t-T₀，B₀) 

                -w₁·R(l，t+T₁，B₁)..(14)式 

由此，能够以单方向预测实现不传输权重系数的信息的Implicit模式的加权运动预测。在单方向预测的权重系数计算方法中，有(12)式举出的比例系数校正方法、和(13)式举出的偏置系数校正方法的2种。 

进而，H.264/AVC的双预测的Implicit模式的预测性能，也如(14)式那样被改善。 

再有，本发明者针对与该(14)式相关的发明，在「早瀬和也，坂東幸浩，高村誠之，上倉一人，八島由幸：“空間スケ一ラブル符号化におけるレイヤ間相関を利用した重み付き予測方式，”FIT2007、第6回情報科学技術フオ一ラム，pp.253-256，Sep.2007.」中进行了发 表。 

针对按照(12)式求取权重系数(w₀，d₀)的单方向预测的比例系数校正简单地进行说明，如图4A所示，权重系数w₀是：在以层l的时刻t-T₀的解码信号的直流成分α和层l的时刻t的原信号的直流成分β的比来进行求取时，将其中的层l的时刻t的原信号的直流成分β置换为层l-1的时刻t的解码信号的直流成分β’，由此求取的系数是权重系数w₀。 

在这里，针对该权重系数w₀能够通过解码信号进行计算，因此其特征在于不需要向解码侧进行传输。 

此外，针对按照(13)式求取权重系数(w₀，d₀)的单方向预测的偏置系数校正简单地进行说明，如图4B所示，偏置系数d₀是：在以层l的时刻t的原信号的直流成分β和层l的时刻t-T₀的解码信号的直流成分α的差分来进行求取时，将其中的层l的时刻t的原信号的直流成分β置换为层l-1的时刻t的解码信号的直流成分β’，由此求取的系数是偏置系数d₀。 

在这里，针对该偏置系数d₀能够通过解码信号进行计算，因此其特征在于不需要向解码侧进行传输。 

此外，针对按照(14)式求取权重系数(w₀，d₀)的双预测的偏置系数校正简单地进行说明，如图4C所示，如果将层l的时刻t-T₀的解码信号的直流成分表示为α，将层l的时刻t的原信号的直流成分表示为β，将层l的时刻t+T₁的解码信号的直流成分表示为γ的话，偏置系数d是：在以“d＝β-w₀·α-w₁·γ”进行求取时，将其中的层l的时刻t的原信号的直流成分β置换为层l-1的时刻t的解码信号的直流成分β’，由此求取的系数是偏置系数d。 

在这里，针对该偏置系数d能够通过解码信号进行计算，因此其特征在于不需要向解码侧进行传输。 

另一方面，在JSVC那样的形成多层的编码处理的解码的种类中，有在下位层中需要反运动补偿的multi-loop decoding，和在下位层中不需要反运动补偿的single-loop decoding。通常，需要解码处理是简便的。因此，高负荷的反运动补偿是应该极力避免的处理，所以需要single-loop decoding。 

在这里，在本说明书中所说的反运动补偿，指的是到识别运动矢量所指的块的解码信号为止的处理。 

然而，在日本专利特愿2007-174161申请的发明中，如(2)式所示，在创建全部的紧下层的解码信号之后，计算紧下块B_a内的解码信号的直流成分R(l-1，t，B_a)。因此，解码处理变为multi-loop decoding，还存在改善的余地。 

本发明鉴于以上情况，其目的在于确立一种新可分级编码器和解码器的设计方法，在由基本层和1个以上的增强层构成的空间可分级编码中，仅根据运动预测的被参照帧的解码信号和关于紧下层中的运动补偿的编码信息，对编码对象帧的紧下层的解码信号的直流成分进行推定，根据计算出的编码对象帧的紧下层的解码信号的直流成分与运动预测的被参照帧的解码信号的直流成分之间的关系，生成加权运动预测的权重系数，由此不传输权重系数的信息就能在编码器和解码器进行使用了相同权重系数的加权运动预测。 

本发明的加权运动预测的过程如下所述。 

加权运动预测由加权运动推定和加权运动补偿这两个步骤构成。 

加权运动推定指的是一边对处理对象帧和运动预测参照帧之间的明亮度变化进行校正，一边探索两帧间的运动，将通过探索而检测出的运动信息作为运动矢量进行输出的处理。 

加权运动补偿指的是读入运动矢量信息，对该运动矢量所指的信号值进行明亮度变化的校正，将校正后的信号值作为处理对象帧中的预测信号进行输出的处理。 

在编码处理中，通过加权运动推定来检测出运动矢量，读入该运动矢量，执行加权运动补偿。 

另一方面，在解码处理中，对编码信息进行解码并读入运动矢量，执行加权运动补偿。 

权重系数的计算能够以任意的图像区域单位进行。作为例子，能够举出帧单位、条带单位、宏块单位、将宏块进一步细分的小块单位等。 

在本发明中关于相关层由于不需要权重系数的传输，所以加权运动预测所要的开销(overhead)，在任何图像区域单位中都不变。因此，越利用小图像区域单位进行权重系数的计算，加权运动预测的预测性能越提高。 

在这里，将利用宏块单位进行权重系数的计算的情况作为例子进行说明。在宏块单位以外，也能通过同样的处理进行加权运动预测。 

此外，不依赖于成为对象的信号，是亮度信号还是色差信号都能同样地进行处理。 

[加权运动推定] 

在加权运动推定中，按照编码对象帧的宏块的每1个，探索在推定被参照帧内匹配的宏块。 

在该探索时，每当对象宏块被变更，对表示两帧的相关块间的明亮度变化的权重系数进行计算，将以该权重系数对探索对象宏块的解码信号进行校正后的信号作为用于匹配判定的比较信号而充分利用。 

然后，被判定为匹配的宏块成为运动矢量的参照目的地，成为运动补偿的被参照宏块。 

作为匹配的判定单元的1个例子，可以举出非专利文献1示出的利用码量和编码失真间的拉格朗日成本最小化的判定单元。 

[加权运动补偿] 

在加权运动补偿中，首先，按编码/解码对象宏块的每1个，读入该宏块具有的运动矢量信息。 

接着，对表示该运动矢量所指的被参照宏块、和编码/解码对象宏块之间的明亮度变化的权重系数进行计算。 

然后，将以该权重系数对被参照宏块的解码信号进行校正后的信号，作为编码/解码对象宏块中的预测信号进行有效利用。 

[权重系数的计算处理] 

典型地，通过以下过程，对在可分级编码的加权运动推定和加权运动补偿中使用的权重系数进行计算。 

权重系数的计算式与在日本专利特愿2007-174161申请的发明相同，对于相关块而言，在单方向预测的情况下通过上述的式(12)或式(13)计算权重系数，在双预测的情况下通过上述的式(14)计算权重系数。 

但是，各式中包含的求取紧下块的解码信号直流成分R(l-1，t，B_a)的方法在本发明和在日本专利特愿2007-174161申请的发明之间不同 

即，在日本专利特愿2007-174161申请的发明中，对紧下层全部进 行解码并通过正交变换而获得直流成分，相对于此，在本发明中，使紧下层的解码为部分解码(不是进行到对图像信号进行解码的阶段的解码，而是对一部分编码信息进行解码的阶段的解码)，通过根据该部分解码信息和相关层的参照帧的解码信号间接地进行推定，从而获得直流成分。 

通过仅进行部分解码，从而不需要进行反运动补偿，能够削减解码时间。 

为了具体过程的说明，对在说明中使用的记号进行整理。 

如图5所示，将相关层l的时刻t的帧的相关块作为B。此外，将紧下层l-1中的相关块B的紧下块作为B_a。 

此外，将紧下块B_a的运动预测的被参照块分别作为B_b0、B_b1。假定B_b0、B_b1分别属于相关层l中的时刻t-T₀的帧，和相关层l中的时刻t+T₁的帧。 

紧下层l-1的被参照块B_b0、B_b1的位置，通过对紧下块B_a具有的参照帧索引和运动矢量的编码信息进行解码来获得。 

此外，将与该紧下层l-1的被参照块B_b0、B_b1在空间的相同位置存在的相关层l中的块，分别作为B_c0、B_c1。以后，将该B_c0、B_c1称为紧上(immediately-upper)块。 

在这里，将块B_a、B_b0、B_b1、B_c0、B_c1内的解码信号的直流成分分别作为R(l-1，t，B_a)、R(l-1，t-T₀，B_b0)、R(l-1，t+T₁，B_b1)、R(l，t-T₀，B_c0)、R(l，t+T₁，B_c1)。 

此外，将紧下块B_a中包含的预测残差信号的直流成分作为E(l-1，t，B_a)。预测残差信号的直流成分E(l-1，t，B_a)通过对紧下块B_a具有的预测残差信号的直流成分的编码信息进行解码而获得。 

此外，在紧下层中进行加权运动预测的情况下，将紧下块B_a与被参照块B_b0之间的权重系数作为(w₀′，d₀′)，将紧下块B_a与被参照块B_b1之间的权重系数作为(w₁′，d₁′)。 

这些权重系数(w₀′，d₀′)、(w₁′，d₁′)是通过对紧下块B_a具有的权重系数的编码信息进行解码而获得。 

再有，在本发明中，不需要针对相关层l对权重系数进行编码，但在其紧下层l-1中是否需要对权重系数进行编码，还依赖于在其下是否还存在层。 

在这里，为了说明的方便，假设权重系数(w₀′，d₀′)、(w₁′，d₁′)是通过对紧下块B_a具有的权重系数的编码信息进行解码而获得的。 

接着，针对紧下块B_a的预测方式，分为帧内预测(intra prediction)的情况，帧间预测(interframe prediction)的单方向预测的情况，帧间预测的双预测的情况，以及帧间预测的在块内混合存在单方向预测区域和双预测区域的情况这4种，对求取紧下块B_a的解码信号直流成分R(l-1，t，B_a)的方法的差异进行说明。 

(1)紧下块B_a是帧内预测的情况 

在紧下块B_a进行帧内预测，并且该预测是利用Constrained IntraPrediction的情况下，紧下块B_a内的解码信号不进行反运动补偿而能够全部重建(reconstructed)。 

在这里，Constrained Intra Prediction指的是，在非专利文献1中举出的H.264和非专利文献2中举出的JSVC中使用的、赋予了如下制约的帧内预测方式的一种，该制约为在邻接块中不存在帧内预测模式时，相关块不能采用帧内预测模式。 

根据该方式，由于采用的帧内预测模式的块能够封闭在相关帧内对块内的解码信号进行重建，所以不需要反运动补偿。 

因此，在紧下块B_a是帧内预测，并且该预测为Constrained IntraPrediction的情况下，单纯地对紧下块B_a内的解码信号全部进行重建，根据该各信号计算直流成分即可。如果在不是Constrained IntraPrediction的帧内预测的情况下，不执行本发明。 

(2)紧下块B_a是帧内预测、并且是单方向预测的情况 

在紧下块B_a是单方向预测的情况下，能够以下述方式推定紧下块B_a的解码信号直流成分R(l-1，t，B_a)。 

R(l-1，t，B_a)≈w₀’·R(l-1，t-T₀，B_b0) 

               +d₀’+E(l-1，t，B_a)    ..(15)式 

可是，R(l-1，t-T₀，B_b0)的信息在不对紧下层的解码信号全部进行重建的情况下不能够获得。 

因此，假定： 

R(l-1，t-T₀，B_b0)≈R(l，t-T₀，B_c0)  ....(16)式，相关层内的块B_b0的紧上块B_c0的解码信号直流成分R(l，t-T₀，B_c0)被代替使用。 

如果相关层和紧下层的解码信号直流成分中包含的量化失真不大的话，该式(16)的假定通常成立。 

如果层l的帧t-T₀是相关层t的被参照帧的话，为了进行运动预测而在缓冲器中保持块B_c0的解码信号。 

因此，通过在紧下块B_a的解码信号直流成分的计算中使用通过式(16)推定的值，在紧下层中不进行反运动补偿而能够计算权重系数。 

由此，在本发明中，以下式的方式推定R(l-1，t，B_a)。 

R(l-1，t，B_a)≈w₀’·R(l，t-T₀，B_c0) 

               +d₀’+E(l-1，t，B_a)    ..(17)式 

在这里，可能存在紧下块B_a内由多个小块构成，包含多个运动矢量的情况。例如，在相关块B是16×16尺寸的情况下，紧下块B_a是8×8尺寸。在JSVC中，作为能够采用的块尺寸准备有4×4、4×8、8×4、8×8、8×16、16×8、16×16的7种。 

由此，在紧下块B_a为8×8尺寸的情况下，最大包含4个小块。 

在包含多个小块的情况下，对应于各小块的面积对各小块内的解码信号直流成分值进行加权，将其总和作为紧下块B_a的解码信号直流成分R(l-1，t，B_a)。 

在以下记述以多个小块构成的情况下的具体的计算过程。 

如图6所示，假定相关块B是16×16尺寸，紧下块B_a中包含2个4×4尺寸的小块、和1个4×8尺寸的小块。在这里，将各小块作为B_a ⁰、B_a ¹(分别是4×4尺寸)、B_a ²(4×8尺寸)。 

此外，将小块B_a ⁰、B_a ¹、B_a ²的运动预测的被参照块分别作为B_b0 ⁰、B_b0 ¹、B_b0 ²，将与各被参照块在空间的相同位置存在的相关层中的紧上块作为B_c0 ⁰、B_c0 ¹、B_c0 ²。 

此外，将分配到小块B_a ⁰、B_a ¹、B_a ²的权重系数分别作为(w₀ ⁰′，d₀ ⁰′)、(w₀ ¹′，d₀ ¹′)、(w₀ ²′，d₀ ²′)。 

这时，块B_a的解码信号直流成分R(l-1，t，B_a)以如下方式计算。 

R(l-1，t，B_a)＝(1/4)·〔w₀ ⁰’·R(l，t-T₀，B_c0 ⁰) 

                       +d₀ ⁰’+E(l-1，t，B_a ⁰)〕 

              +(1/4)·〔w₀ ¹’·R(l，t-T₀，B_c0 ¹) 

                       +d₀ ¹’+E(l-1，t，B_a ¹)〕 

              +(1/2)·〔w₀ ²’·R(l，t-T₀，B_c0 ²) 

                       +d₀ ²’+E(l-1，t，B_a ²)〕 

                                            ....(18)式 

(3)紧下块B_a是帧内预测、并且是双预测的情况 

在紧下块B_a是双预测的情况下，能够以下述方式推定紧下块B_a的解码信号直流成分R(l-1，t，B_a)。 

R(l-1，t，B_a)≈w₀’·R(l-1，t-T₀，B_b0) 

              +w₁’·R(l-1，t+T₁，B_b1) 

             +(1/2)·(d₀’+d₁’)+E(l-1，t，B_a) 

                                      ....(19)式 

可是，与单方向预测的情况同样地，R(l-1，t-T₀，B_b0)和R(l-1，t+T₁，B_b1)的信息在不对紧下层的解码信号全部进行解码的情况下不能够获得。 

因此，假定： 

R(l-1，t-T₀，B_b0)≈R(l，t-T₀，B_c0) 

R(l-1，t+T₁，B_b1)≈R(l，t+T₁，B_c1)   ....(20)式，相关层内的块B_b0、B_b1的紧上块B_c0、B_c1的解码信号直流成分R(l，t-T₀，B_c0)和R(l，t+T₁，B_c1)被代替使用。 

如果相关层和紧下层的解码信号直流成分中包含的量化失真不大的话，该式(20)的假定通常成立。 

由此，在本发明中，以下式的方式推定R(l-1，t，B_a)。 

R(l-1，t，B_a)≈w₀’·R(l，t-T₀，B_c0) 

              +w₁’·R(l，t+T₁，B_c1) 

           +(1/2)·(d₀’+d₁’)+E(l-1，t，B_a) 

                                    ....(21)式 

在这里，与单方向预测的情况同样地，可能存在块B_a内由多个小块构成，包含多个运动矢量的情况。 

这时，与单方向预测的情况同样地，对应于各小块的面积对各小块内的直流成分值进行加权，将其总和作为紧下块B_a的解码信号直流成分R(l-1，t，B_a)。 

例如，假定相关块B是16×16尺寸，紧下块B_a中包含2个4×4尺寸的小块、和1个4×8尺寸的小块。在这里，将各小块作为B_a ⁰、B_a ¹、B_a ²。 

此外，将小块B_a ⁰、B_a ¹、B_a ²的双预测的被参照块分别作为B_b0 ⁰、B_b0 ¹、B_b0 ²、B_b1 ⁰、B_b1 ¹、B_b1 ²，将与该各被参照块在空间的相同位置存在的相关层中的紧上块作为B_c0 ⁰、B_c0 ¹、B_c0 ²、B_c1 ⁰、B_c1 ¹、B_c1 ²。 

此外，将分配到小块B_a ⁰、B_a ¹、B_a ²的权重系数分别作为(w₀ ⁰′，d₀ ⁰′)、(w₁ ⁰′，d₁ ⁰′)、(w₀ ¹′，d₀ ¹′)、(w₁ ¹′，d₁ ¹′)、(w₀ ²′，d₀ ²′)、(w₁ ²′，d₁ ²′)。 

这时，块B_a的解码信号直流成分R(l-1，t，B_a)以如下方式计算。 

[数式2] 

$R(l-1,t,B_a)$

$=\frac{1}{4}(w_0^{0^{\&prime;}}\&CenterDot;R(l,t-T_0,B_{c0}^0)+w_1^{0^{\&prime;}}\&CenterDot;R(l,t+T_1,B_{c1}^0)+\frac{1}{2}(d_0^{0^{\&prime;}}+d_1^{0^{\&prime;}})+E(l-1,t,B_a^0))$

$+\frac{1}{4}(w_0^{1^{\&prime;}}\&CenterDot;R(l,t-T_0,B_{c0}^1)+w_1^{1^{\&prime;}}\&CenterDot;R(l,t+T_1,B_{c1}^1)+\frac{1}{2}(d_0^{1^{\&prime;}}+d_1^{1^{\&prime;}})+E(l-1,t,B_a^1))$

$+\frac{1}{2}(w_0^{2^{\&prime;}}\&CenterDot;R(l,t-T_0,B_{c0}^2)+w_1^{2^{\&prime;}}\&CenterDot;R(l,t+T_1,B_{c1}^2)+\frac{1}{2}(d_0^{2^{\&prime;}}+d_1^{2^{\&prime;}})+E(l-1,t,B_a^2))$

                     ....(22)式 

(4)在紧下块B_a中单方向预测和双预测混合存在的情况 

块B_a内的多个小块(例：4×4)，能够分别独立地采用单方向预测或双预测。这时，以与(2)和(3)同样的过程，对应于各小块的面积对直流成分值进行加权，将其总和作为块B_a的解码信号直流成分R(l-1，t，B_a)。 

以下，与(2)和(3)同样地，假定相关块B是16×16尺寸，紧下块B_a中包含2个4×4尺寸的小块(B_a ⁰、B_a ¹)、和1个4×8尺寸的小块(B_a ²)。 

在这里，B_a ⁰和B_a ²是单方向预测，B_a ¹是双预测。而且，将小块B_a ⁰、B_a ²的单方向预测的被参照块分别作为B_b0 ⁰、B_b0 ²，将小块B_a ¹的双预测的被参照块分别作为B_b0 ¹、B_b1 ¹。 

将与该各被参照块在空间的相同位置存在的相关层中的紧上块作为B_c0 ⁰、B_c0 ²、B_c0 ¹、B_c1 ¹。 

此外，将分配到小块B_a ⁰、B_a ¹、B_a ²的权重系数分别作为(w₀ ⁰′，d₀ ⁰′)、 (w₀ ¹′，d₀ ¹′)、(w₁ ¹′，d₁ ¹′)、(w₀ ²′，d₀ ²′)。 

这时，块B_a的解码信号直流成分R(l-1，t，B_a)以如下方式计算。 

[数式3] 

$R(l-1,t,B_a)$

$=\frac{1}{4}(w_0^{0^{\&prime;}}\&CenterDot;R(l,t-T_0,B_{c0}^0)+d_0^{0^{\&prime;}}+E(l-1,t,B_a^0))$

$+\frac{1}{4}(w_0^{1^{\&prime;}}\&CenterDot;R(l,t-T_0,B_{c0}^1)+w_1^{1^{\&prime;}}\&CenterDot;R(l,t+T_1,B_{c1}^1)+\frac{1}{2}(d_0^{1^{\&prime;}}+d_1^{1^{\&prime;}})+E(l-1,t,B_a^1))$

$+\frac{1}{2}(w_0^{2^{\&prime;}}\&CenterDot;R(l,t-T_0,B_{c0}^2)+d_0^{2^{\&prime;}}+E(l-1,t,B_a^2))$

                        ....(23)式 

如上所述，本发明在紧下块B_a是帧内预测、并且该预测不利用Constrained Intra Prediction的情况下不实施。此外，在预测参照块B_b0、B_b1的紧上块B_c0、B_c1的解码信号没有储存在用于运动预测的缓冲器的情况下，也不实施。 

在不实施本发明的情况下，使用其它的预测方式进行编码。例如，JSVS的加权运动补偿、未加权的通常的运动预测、帧内预测等。 

此外，在紧下层进行帧间预测的情况下，如果紧下层中的加权运动预测是非常高性能的话，紧下块B_a的预测残差信号的直流成分E(l-1，t，B_a)大致变为零。 

在这样的情况下，不需要考虑该预测残差信号的直流成分。由于不进行考虑就能够省略预测残差信号的直流成分的解码，所以能够进一步节省在解码中使用的存储器和计算量。因此，在重视存储器和计算量的削减的情况下，不进行预测残差信号的直流成分的加法也可。 

接着，在JSVC的参照解码器JSVM8.0中实施本发明，针对如下实验进行说明，该实验验证：单方向预测中的进行根据本发明的比例系数校正的WP(Weighted Prediction，加权预测)、和进行偏置系数校正的WP的编码性能。 

在该实验中，基本层使用JSVM的WP进行编码，在增强层中应用本发明的WP。性能验证根据在增强层中应用JSVM的WP的情况下，和应用本发明的WP的情况下的率失真特性进行评价 

使用JSVC标准图像的City，Soccer，Foreman的3个视频图像，在各视频图像的先头33帧中混合白的线性淡化。 

将淡化的种类是淡入/淡出(fade in/fade out)的2种作为实验对象， 将该淡化混合部分的33帧作为编码对象帧。 

在基本层输入30fps的QCIF(176×144像素的图像尺寸)图像，在增强层中输入30fps的CIF(352×288像素的图像尺寸)图像，图像类型是IPPP形式。 

量化参数尝试21，24，27，30的4种，在基本层和增强层中使用相同的值。 

运动探索仅为整数精度，进行全检索。 

在表2中，表示相对于JSVM的WP的、通过应用本发明引起的码量的削减结果。最大实现6.38％的码量削减。可知在整体上，在淡出视频图像中削减效果大。 

[表2] 

表2：从JSVM WP的码量削减率[％] 

在这里，针对各方法的每1个，求取实现了最大削减率的City的淡出视频图像中的PSNR(Peak Signal to Noise Ratio，峰值信噪比)和比特率，对其进行比较(“Y PSNR”表示亮度信号的PSNR)。 

通过该该图，可知本发明的方法能够不依赖于速率而实现码量的削减。 

当比较比例系数校正和偏置系数校正时，在淡入视频图像在几乎看不到两者的差异(省略图示)，但在淡出视频图像中可知偏置系数校正的效果大。 

在上述性能验证中，在淡出视频图像中利用偏置系数校正的WP平均实现4.39％的码量削减率。 

本实验表示单方向预测中的编码特性，但在双预测中能够预计同样的性能提高。 

实施例 

接着，按照实施例对本发明详细地进行说明。 

[处理的流程] 

[编码处理的实施例] 

参照图8对本发明的编码处理的实施例进行说明。 

进行说明的实施例是对1个宏块进行的编码处理。通过对所有的宏块实施该处理，构成整体的编码信息。 

步骤S101：进行相关增强层的相关宏块是否是加权运动预测的对象宏块的判定处理，在为真的情况下进行步骤S103的处理，在为假的情况下进行步骤S102的处理。 

步骤S102：按照在步骤S101的处理中输出的相关宏块的预测模式信息进行预测信号的生成。 

在这里的预测方式中，可以举出帧内预测、未加权的通常的运动预测、以及层间预测。作为各方式的预测方法的1个例子，可以举出非专利文献3举出的JSVM的预测方法。 

步骤S103：对于相关宏块，读入相关宏块的原信号、(被参照帧内的)探索对象宏块的解码信号和紧下层的编码信息，进行加权运动推定，输出运动矢量信息。本处理的详细在图10中表示(后述)。 

步骤S104：读入在步骤S103的处理中输出的运动矢量信息、和紧下层的编码信息，进行加权运动补偿，输出加权运动预测信号。本处理的详细在图11中表示(后述)。 

步骤S105：读入通过步骤S102或步骤S104的处理输出的预测信号，生成与相关宏块的原信号的差分信号，进行该差分信号的编码。 

作为该差分信号的编码处理的1个例子，可以举出非专利文献3中举出的JSVM的编码处理。 

[解码处理的实施例] 

参照图9对本发明的解码处理的实施例进行说明。 

进行说明的实施例是对1个宏块的解码处理。通过对所有的宏块实施该处理，构成整体的解码信号。 

步骤S201：读入与相关增强层的相关宏块的预测模式相关的编码信息，进行解码处理，输出预测模式信息。 

步骤S202：进行相关增强层的相关宏块是否是加权运动预测的对象宏块的判定处理，在为真的情况下进行步骤S204的处理，在为假的情 况下进行步骤S203的处理。 

步骤S203：按照在步骤S201的处理中输出的相关宏块的预测模式信息进行预测信号的生成。在这里的预测方式中，可以举出帧内预测、未加权的通常的运动预测、以及层间预测。 

步骤S204：读入与相关宏块的运动矢量相关的编码信息，进行解码处理，输出运动矢量信息。 

步骤S205：读入在步骤S204的处理中输出的运动矢量信息、和紧下层的编码信息，进行加权运动补偿，输出加权运动预测信号。本处理的详细在图11中表示(后述)。 

步骤S206：读入通过步骤S203或步骤S205的处理输出的预测信号，与解码后的预测残差信号相加，构成解码信号，进行输出。 

[步骤S103的处理的详细] 

参照图10，对本发明的加权运动推定处理(步骤S103的处理)的实施例进行说明。 

步骤S301：读入紧下层的编码信息和现在的探索对象宏块的解码信号，计算对探索对象宏块施加的权重系数，进行输出。本处理的详细在图12中表示(后述)。 

步骤S302：读入通过步骤S301的处理输出的权重系数信息，通过该权重系数对现在的探索对象宏块的解码信号进行加权，输出该被加权后的信号值。 

步骤S303：对通过步骤S302的处理输出的信号值和相关宏块的原信号之间的、通过码量和编码失真量构成的编码成本进行计算，进行输出。 

作为该编码成本的1个例子，可以举出非专利文献3中举出的JSVM中的、码量和利用平方误差的编码失真间的拉格朗日成本。 

步骤S304：进行针对应该探索的所有宏块是否进行了探索的判定处理，在为真的情况下进行步骤S306的处理，在为假的情况下进行步骤S305的处理。 

步骤S305：将处理对象转移至下1个的探索对象宏块。 

步骤S306：读入通过步骤S303的处理输出的编码成本的信息，在探索了的宏块中选定编码成本成为最小的宏块，将该宏块与相关宏块的 坐标位置的差分作为运动矢量进行输出。 

[步骤S104、步骤S205的处理的详细] 

参照图11，对本发明的加权运动补偿处理(步骤S104、步骤S205的处理)的实施例进行说明。 

步骤S401：读入相关宏块的运动矢量信息，进行输出。该运动矢量信息在编码处理中的加权运动补偿的情况下从加权运动推定的输出读入，在解码处理的加权运动补偿的情况下从运动矢量的解码处理的输出读入。 

步骤S402：读入紧下层的编码信息、和通过步骤S401的处理输出的运动矢量信息，计算对运动矢量所指的被参照宏块施加的权重系数，进行输出。本处理的详细在图12中表示(后述)。 

步骤S403：读入通过步骤S402的处理输出的权重系数信息，通过该权重系数对被参照宏块的解码信号进行加权，输出该被加权后的信号值。 

[步骤S301、步骤S402的处理的详细] 

参照图12，对本发明的权重系数计算处理(步骤S301、步骤S402的处理)的实施例进行说明。 

步骤S501：读入紧下层的编码信息，进行相关宏块的紧下块的预测模式是否是帧内预测的判定处理，在为真的情况下进行步骤S504的处理，在为假的情况下进行步骤S502的处理。 

步骤S502：进行紧下块在运动预测中参照的被参照块的紧上块的解码信号是否为了运动预测而储存在缓冲器中的判定处理，在为真的情况下进行步骤S503的处理，在为假的情况下进行步骤S512的处理。 

步骤S503：读入紧下层的编码信息和相关层的被参照帧的解码信号，推定紧下块的直流成分的值，进行输出。本处理的详细在图13中表示(后述)。 

步骤S504：读入紧下层的编码信息，进行相关宏块的紧下块的帧内预测是否是Constrained Intra Prediction的判定处理，在为真的情况下进行步骤S505的处理，在为假的情况下进行步骤S512的处理。 

步骤S505：读入紧下层的编码信息，进行紧下块的解码处理，对块 内的全部信号进行重建，输出到缓冲器。 

步骤S506：从缓冲器读入紧下块内的解码信号，对紧下块的解码信号的直流成分进行计算，输出到寄存器。 

步骤S507：读入相关宏块的预测模式信息，进行预测模式是否是单方向预测的判定处理，在为真的情况下进行步骤S508的处理，在为假的情况下进行步骤S511的处理。 

步骤S508：进行通过外部指定的权重系数计算方法是否是比例系数校正型的判定处理，在为真的情况下进行步骤S509的处理，在为假的情况下进行步骤S510的处理。 

在这里，比例系数校正型指的是按照上述的式(12)实施的权重系数的计算方法。 

通常，比例系数校正型主要在白淡入视频图像和黑淡出视频图像中发挥效果，相对于此，作为按照上述的式(13)而实施的权重系数的计算方法的偏置系数校正型，主要在白淡出视频图像和黑淡入视频图像中发挥效果。 

因此，优选来自外部的权重系数计算方法的指定信息按照淡化类型的判定结果来决定。 

步骤S509：读入通过步骤S503的处理推定的紧下块的直流成分、或通过步骤S506的处理计算出的紧下块的直流成分的任何1个的值，将该直流成分值和被参照块的直流成分值的比定为比例系数，将偏置系数定为0，进行输出。本处理按照上述的式(12)。 

步骤S510：读入通过步骤S503的处理推定的紧下块的直流成分、或通过步骤S506的处理计算出的紧下块的直流成分的任何1个的值，将该直流成分值和被参照块的直流成分值的差定为偏置系数，将比例系数定为1，进行输出。本处理按照上述的式(13)。 

步骤S511：读入被参照块和相关块的帧间距离的信息，将其比定为比例系数，读入通过步骤S503的处理推定的紧下块的直流成分、或通过步骤S506的处理计算出的紧下块的直流成分的任何1个的值，将该直流成分值、和将上述比例系数应用于2个被参照块的直流成分值进行运算后的值的差定为偏置系数，进行输出。本处理按照上述的式(14)。 

步骤S512：实施不参照紧下块的推定直流成分的权重系数计算方法。 

作为例子，考虑非专利文献3中举出的JSVM中的利用Implicit模式或Explicit模式的权重系数的计算方法。 

[步骤S503的处理的详细] 

参照图13，对本发明的紧下块直流成分的推定处理(步骤S503的处理)的实施例进行说明。 

步骤S601：读入与相关紧下块的小块的分割信息相关的编码信息，对其进行解码，识别相关紧下块的小块的分割构造。 

步骤S602：读入与相关小块的参照帧索引相关的编码信息，对其进行解码，写入寄存器。 

步骤S603：读入与相关小块的运动矢量相关的编码信息，对其进行解码，写入寄存器。 

步骤S604：读入与相关小块的权重系数相关的编码信息，对其进行解码，写入寄存器。 

步骤S605：读入与相关小块的预测残差信号的直流成分相关的编码信息，对其进行解码，写入寄存器。 

步骤S606：从寄存器读入通过步骤S602的处理和步骤S603的处理输出的参照帧索引和运动矢量的信息，识别相关小块的运动预测的被参照块的位置。 

步骤S607：读入在步骤S606的处理中识别的被参照块的紧上块的解码信号，计算该解码信号的直流成分，将该直流成分值写入寄存器。 

步骤S608：从寄存器读入在步骤S607的处理中计算出的直流成分值，使用通过步骤S604的处理计算出的权重系数对其进行加权，将其值写入寄存器。 

步骤S609：从寄存器读入在步骤S608的处理中计算出的被加权后的直流成分值，对其加上通过步骤S605的处理计算出的预测残差信号的直流成分值，将该值看作相关小块的直流成分的推定值，写入寄存器。 

步骤S610：对全部的小块进行是否结束了直流成分的推定处理的判定处理，在为真的情况下进行步骤S611的处理，在为假的情况下进行步骤S612的处理。 

步骤S611：读入在步骤S609的处理中计算出的各小块的推定直流成分值，对应于相关紧下块中的各小块的面积比对各小块的推定直流成 分值进行加权，将其加权和看作相关紧下块的直流成分的推定值，进行输出。 

步骤S612：将处理对象转移至下1个的直流成分的推定对象小块。 

[处理装置] 

[编码装置的实施例] 

参照图14对根据本发明的编码装置的实施例进行说明。图14是针对1个宏块进行编码的装置的图。 

预测方法判定部101：读入对应宏块的预测方式的指定信息，按照该指定信息转移到各预测部的处理。 

如果指定的预测方式是帧内预测的话转移到帧内预测部102的处理，如果是不加权的通常的运动预测的话转移到未加权运动预测部103的处理，如果是层间预测的话转移到层间预测部104的处理，如果是加权运动预测的话转移到加权运动推定部105的处理。 

帧内预测部102：读入编码对象帧的、成为对象的原信号和解码信号，执行帧内预测而创建预测信号，将该预测信号向预测残差信号生成部107输出。 

作为帧内预测的方法的1个例子，可以举出非专利文献3所示的JSVM的帧内预测。 

未加权运动预测部103：读入成为编码对象帧的对象的原信号和成为被参照帧的对象的解码信号，执行不加权的通常的运动预测并创建预测信号，将该预测信号向预测残差信号生成部107输出。 

作为未加权通常的运动预测方法的1个例子，可以举出非专利文献3所示的JSVM的未加权的通常的运动预测。 

层间预测部104：读入编码对象帧的、成为对象的原信号和紧下层的编码信息，执行层间预测并创建预测信号，将该预测信号向预测残差信号生成部107输出。 

作为层间预测的方法的1个例子，可以举出非专利文献3所示的JSVM的层间预测。 

加权运动推定部105：读入编码对象帧的、成为对象的原信号、从相关增强层解码信号存储部110输出的被参照帧的解码信号、以及从紧下层编码信息存储部111输出的紧下层的编码信息，执行加权运动推定， 生成运动矢量，将该运动矢量信息向加权运动补偿部106输出。在图16中表示加权运动推定部105的详细结构(后述)。 

加权运动补偿部106：读入从相关增强层解码信号存储部110输出的被参照帧的解码信号、以及从紧下层编码信息存储部111输出的紧下层的编码信息，执行加权运动补偿，生成预测信号，将该预测信号向预测残差信号生成部107输出。在图17中表示加权运动补偿部106的详细结构(后述)。 

预测残差信号生成部107：读入编码对象帧的成为对象的原信号、以及从帧内预测部102或未加权运动预测部103或层间预测部104或加权运动补偿部106输出的预测信号，生成原信号与预测信号的差分信号，向预测残差信号编码部108输出。 

预测残差信号编码部108：读入从预测残差信号生成部107输出的预测残差信号，进行编码处理，作为编码信息进行输出。 

此外，为了将该编码信息向解码部109输入，同时向缓冲器输出。 

作为该预测残差信号的编码处理的1个例子，可以举出非专利文献3所示的JSVM的应用正交变换、量化、可变长度编码的一系列的处理。 

解码部109：从相关缓冲器读入编码信息，进行解码处理，将得到的解码信号向相关增强层解码信号存储部110输出。 

在该解码处理中应用本发明的解码处理。作为解码部109而发挥功能的解码装置的详细结构在图15中表示(后述)。 

紧下层编码信息存储部111：读入紧下层的编码信息，向缓冲器输出。 

[解码装置的实施例] 

参照图15对本发明的解码装置的实施例进行说明。图15是针对相关增强层中的1个宏块进行解码的装置的图。 

预测模式解码部201：读入与相关宏块的预测模式相关的编码信息，进行其解码处理，向预测模式存储部202输出预测模式信息。 

预测方法判定部203：从预测模式存储部202读入预测模式信息，按照该指定信息转移到各预测部的处理。 

如果指定的预测方式是帧内预测的话转移到帧内预测部204的处理，如果是不加权的通常的运动预测的话转移到未加权运动预测部205 的处理，如果是层间预测的话转移到层间预测部206的处理，如果是加权运动预测的话转移到运动矢量信息解码部207的处理。 

帧内预测部204：读入编码对象帧的、成为对象的原信号和解码信号，执行帧内预测并创建预测信号，将该预测信号向解码信号生成部213输出。 

未加权运动预测部205：读入成为编码对象帧的对象的原信号和成为被参照帧的对象的解码信号，执行不加权的通常的运动预测并创建预测信号，将该预测信号向解码信号生成部213输出。 

层间预测部206：读入编码对象帧的、成为对象的原信号和紧下层的编码信息，执行层间预测并创建预测信号，将该预测信号向解码信号生成部213输出。 

运动矢量信息解码部207：读入与相关宏块的运动矢量相关的编码信息，进行其解码处理，向运动矢量信息存储部208输出运动矢量信息。 

加权运动补偿部209：读入从相关增强层解码信号存储部214输出的被参照帧的解码信号、以及从紧下层解码信号存储部210输出的紧下层的编码信息，执行加权运动补偿，生成预测信号，将该预测信号向解码信号生成部213输出。在图17中表示加权运动补偿部209的详细结构(后述)。 

紧下层编码信息存储部210：读入紧下层的编码信息，向缓冲器输出。 

残差信号解码部211：读入与相关宏块的残差信号相关的编码信息，进行其解码处理，向残差信号存储部212输出残差信号。 

解码信号生成部213：读入从帧内预测部204或未加权运动预测部205或层间预测部206或加权运动补偿部209输出的预测信号，将其与从残差信号存储部212读入的残差信号进行合成，生成解码信号，进行输出。 

此外，同时也将该解码信号写入相关增强层解码信号存储部214。 

[加权运动推定部105的结构的详细] 

参照图16，对本发明的加权运动推定部105的实施例进行说明。图16是针对相关增强层的1个宏块进行加权运动推定的装置的图。 

探索对象块设置部301：读入相关增强层的被参照帧的解码信号， 识别成为运动推定的探索对象的宏块，将该宏块的解码信号向权重系数计算部302输出。 

权重系数计算部302：读入从探索对象块设置部301输出的探索对象宏块的解码信号、和紧下层的编码信息，计算对探索对象宏块施加的权重系数，向权重系数存储部303输出。 

加权运动推定信号生成部304：从权重系数存储部303读入权重系数，通过权重系数对相关探索对象宏块的解码信号进行加权，将该被加权后的信号向加权运动推定信号存储部305输出。 

编码成本计算部306：从缓冲器读入相关宏块的原信号，从加权运动推定信号存储部305读入加权运动推定信号，计算与相关宏块的原信号之间的、由码量和编码失真量构成的编码成本，将该编码成本向编码成本存储部307输出，转移到探索完成判定部308的处理。 

作为该编码成本的1个例子，可以举出非专利文献3中举出的JSVM中的、码量和利用平方误差的编码失真之间的拉格朗日成本。 

探索完成判定部308：进行如下判定处理，即，是否针对指定的全部探索范围内的候补进行了相关宏块的在被参照帧内的加权运动推定的探索，在为真的情况下转移到被参照块决定部309的处理，在为假的情况下转移到探索对象块设置部301的处理。 

被参照块决定部309：从编码成本存储部307读入针对全部探索对象宏块的编码成本数据组，将编码成本最小的探索对象宏块决定为被参照块，将该被参照块和相关宏块的坐标位置的差分作为运动矢量信息进行输出。 

[加权运动补偿部106、209的结构的详细] 

参照图17，对本发明的加权运动补偿部106、209的实施例进行说明。图17是针对相关增强层的1个宏块进行加权运动补偿的装置的图。 

被参照块信号设置部401：读入被参照帧的解码信号和运动矢量信息，识别被参照宏块，将该宏块的解码信号向权重系数计算部402输出。 

该运动矢量信息在编码装置内设置有本加权运动补偿部的情况下(即，加权运动补偿部106的情况下)通过加权运动推定部105赋予，在解码装置内设置有本加权运动补偿部的情况下(即，加权运动补偿部209的情况下)通过运动矢量信息解码部207赋予。 

权重系数计算部402：读入从被参照块信号设置部401输出的被参照宏块的解码信号、和紧下层的编码信息，计算对被参照宏块施加的权重系数，向权重系数存储部403输出。 

加权运动预测信号生成部404：从权重系数存储部403读入权重系数，通过权重系数对被参照块的解码信号进行加权，将该被加权后的信号向加权运动预测信号存储部405输出。 

[权重系数计算部302、402的结构的详细] 

参照图18对上述权重系数计算部302、402的实施例进行说明。图18是针对相关增强层中的1个宏块计算权重系数的装置的图。 

紧下块预测模式判定部501：读入紧下层的编码信息，进行相关宏块的紧下块的预测模式的判定处理，(i)在同预测模式是帧内预测，并且该预测是Constrained Intra Prediction的情况下，转移到紧下块内信号解码部505的处理，(ii)在同预测模式是帧内预测，并且该预测不是Constrained Intra Prediction的情况下，转移到紧下块推定直流成分非参照权重系数计算部512的处理，(iii)在同预测模式是帧间预测的情况下，转移到紧下块预测参照目的地紧上解码信号缓冲判定部502的处理。 

紧下块预测参照目的地紧上解码信号缓冲判定部502：进行紧下块参照的预测参照块的紧上块的解码信号是否被缓冲的判定处理，在是真的情况下转移到紧下块直流成分推定部503的处理，在是假的情况下转移到紧下块推定直流成分非参照权重系数计算部512的处理。 

紧下块直流成分推定部503：读入紧下层的编码信息和相关层的被参照帧的解码信号，推定紧下块的直流成分的值，向紧下块推定直流成分存储部504输出。紧下块直流成分推定部503的详细结构在图19中表示(后述)。 

紧下块内信号解码部505：读入紧下层的编码信息，对紧下块内的解码信号全部进行重建，将该解码信号向紧下块直流成分计算部506输出。 

紧下块直流成分计算部506：从紧下块内信号解码部505读入紧下块内的解码信号，计算紧下块内的解码信号的直流成分，转移到相关宏块预测模式判定部507。 

相关宏块预测模式判定部507：读入相关宏块的预测模式信息，进 行预测模式是否为单方向预测的判定处理，在是真的情况下转移到权重系数计算方法判定部508的处理，在为假的情况下转移到双预测权重系数计算部509的处理。 

权重系数计算方法判定部508：进行通过外部指定的权重系数计算方法是否是比例系数校正型的判定处理，在为真的情况下转移到单方向预测比例系数校正型权重系数计算部510的处理，在为假的情况下进行单方向预测偏置系数校正型权重系数计算部511的处理。 

在这里，比例系数校正型指的是按照上述的式(12)实施的权重系数的计算方法。 

通常，比例系数校正型主要在白淡入视频图像和黑淡出视频图像中发挥效果，相对于此，作为按照上述的式(13)而实施的权重系数的计算方法的偏置系数校正型，主要在白淡出视频图像和黑淡入视频图像中发挥效果。 

因此，优选来自外部的权重系数计算方法的指定信息按照淡化类型的判定结果来决定。 

双预测权重系数计算部509：读入被参照块和相关块的帧间距离的信息，将其比定为比例系数，从紧下块推定直流成分存储部504或紧下块直流成分计算部506读入紧下块的直流成分的值，将该直流成分值、和将上述的比例系数应用于2个被参照块的直流成分值进行运算后的值的差定为偏置系数，进行输出。本处理按照上述的式(14)。 

单方向预测比例系数校正型权重系数计算部510：从紧下块推定直流成分存储部504或紧下块直流成分计算部506读入紧下块的直流成分的值，将该直流成分值和被参照块的直流成分值的比定为比例系数，将偏置系数定为0，进行输出。本处理按照上述的式(12)。 

单方向预测偏置系数校正型权重系数计算部511：从紧下块推定直流成分存储部504或紧下块直流成分计算部506读入紧下块的直流成分的值，将该直流成分值和被参照块的直流成分值的差定为偏置系数，将比例系数定为1，进行输出。本处理按照上述的式(13)。 

紧下块推定直流成分非参照权重系数计算部512：进行不使用紧下块的直流成分的权重系数的计算方法，进行输出。 

作为本处理的例子，能够应用非专利文献3中举出的JSVM中的利用Explicit模式或Implicit模式的权重系数的计算方法。 

[紧下块直流成分推定部503结构的详细] 

参照图19对本发明的紧下块直流成分推定部503的实施例进行说明。图19是针对相关增强层中的1个宏块进行紧下块直流成分的推定的装置的图。 

小块分割信息解码部601：读入与相关紧下块的小块的分割信息相关的编码信息，对其进行解码，将被解码的小块的分割信息向小块分割信息存储部602输出。 

参照帧索引(index)信息解码部603：读入与相关宏块的参照帧索引相关的编码信息，对其进行解码，将解码后的参照帧索引信息向参照帧索引信息存储部604输出。 

运动矢量信息解码部605：读入与相关小块的运动矢量相关的编码信息，对其进行解码，将解码后的运动矢量信息向运动矢量信息存储部606输出。 

权重系数信息解码部607：读入与相关小块的权重系数相关的编码信息，对其进行解码，将解码后的权重系数信息向权重系数信息存储部608输出。 

预测残差信号直流成分信息解码部609：读入与相关小块的预测残差信号的直流成分相关的编码信息，对其进行解码，将解码后的预测残差信号的直流成分信息向预测残差信号直流成分信息存储部610输出。 

相关小块预测参照位置识别部611：从参照帧索引信息存储部604和运动矢量信息存储部606，分别读入解码后的参照帧索引和运动矢量的信息，识别相关小块的运动预测的被参照块的位置。 

紧上块解码信号直流成分计算部612：读入在相关小块预测参照位置识别部611中识别的被参照块的紧上块的解码信号，计算该解码信号的直流成分，向紧上块解码信号直流成分存储部613输出。 

权重系数运算部614：从紧上块解码信号直流成分存储部613读入被参照块的紧上块的解码信号的直流成分，或，从权重系数信息存储部608读入被分配到相关小块的权重系数，使用权重系数对紧上块的解码信号的直流成分进行加权，将加权后的直流成分向预测残差信号直流成分加法部615输出。 

预测残差信号直流成分加法部615：读入从权重系数运算部614输 出的、被加权后的紧上块的解码信号的直流成分的值，或从预测残差信号直流成分信息存储部610读入被解码后的预测残差信号的直流成分，对两者相加，将其值向相关小块推定直流成分存储部616输出。 

小块直流成分推定处理判定部617：进行是否对全部的小块完成了直流成分的推定处理的判定处理，在为真的情况下转移到相关紧下块推定直流成分计算部618，在为假的情况下转移到推定对象小块更新部619。 

相关紧下块推定直流成分计算部618：从相关小块推定直流成分存储部616读入各小块的推定直流成分，对应于相关紧下块中的各小块的面积比对各小块的推定直流成分值进行加权，将其加权和看作相关紧下块的直流成分的推定值，进行输出。 

推定对象小块更新部619：将处理对象转移到下1个直流成分的推定对象小块。 

产业上的利用可能性 

本发明能够应用于活动图像可分级编码，根据本发明，能够不传输权重系数而执行高精度的加权运动预测。 

Claims (24)

1.一种活动图像可分级编码方法，在活动图像可分级编码中使用，计算表示上位层的编码对象图像区域和被参照图像区域之间的明亮度变化的包括比例系数和偏置系数的权重系数，所述权重系数在该编码对象图像区域的加权运动预测时被利用，将该权重系数应用于成为探索对象的被参照图像区域的图像信号进行运算而进行运动的推定，由此计算运动矢量，将该权重系数应用于该运动矢量所指的被参照图像区域的解码信号进行运算而进行运动补偿，由此生成预测信号，该活动图像可分级编码方法的特征在于，具有：

基于在紧下层中与编码对象图像区域在空间的相同位置存在的紧下图像区域的编码信息，决定所述权重系数的数据结构的步骤；以及

在紧下图像区域在紧下层中进行帧间预测的情况下，识别紧下图像区域作为运动预测的预测参照目的地的紧下层被参照图像区域，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与该紧下层被参照图像区域在空间的相同位置存在，将运算的结果看作紧下图像区域的直流成分，计算所述在编码对象图像区域的加权运动预测时利用的权重系数的步骤。

2.根据权利要求1所述的活动图像可分级编码方法，其特征在于，

在所述决定权重系数的数据结构的步骤中，在被参照图像区域是1个的情况下，作为比例系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的比，作为偏置系数，决定使用零。

3.根据权利要求1所述的活动图像可分级编码方法，其特征在于，

在所述决定权重系数的数据结构的步骤中，在被参照图像区域是1个的情况下，作为偏置系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的差，作为比例系数，决定使用1。

4.根据权利要求1所述的活动图像可分级编码方法，其特征在于，

在所述决定权重系数的数据结构的步骤中，在被参照图像区域是2个的情况下，作为比例系数，决定使用对应于编码对象图像区域和各被参照图像区域之间的帧间距离计算出的值，作为偏置系数，决定使用以如下方式计算的值，即，从所述紧下图像区域的直流成分，分别减去对2个被参照图像区域的直流成分乘以分别对应的比例系数后的值。

5.根据权利要求1所述的活动图像可分级编码方法，其特征在于，

在所述计算权重系数的步骤中，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与紧下层被参照图像区域在空间的相同位置存在，进一步对该运算的结果加上在紧下图像区域中产生的运动预测的预测残差信号的直流成分，将相加的结果看作紧下图像区域的直流成分。

6.根据权利要求1所述的活动图像可分级编码方法，其特征在于，

在所述计算权重系数的步骤中，在紧下图像区域以更细小的小区域单位进行运动预测的情况下，按每个该小区域计算所述被看作紧下图像区域的直流成分的直流成分，基于按各小区域计算出的直流成分和各小区域的面积，计算所述被看作紧下图像区域的直流成分的直流成分。

7.一种活动图像可分级解码方法，在活动图像可分级解码中使用，计算表示上位层的解码对象图像区域和解码后的运动矢量所指的被参照图像区域之间的明亮度变化的包括比例系数和偏置系数的权重系数，所述权重系数在该解码对象图像区域的加权运动预测时被利用，将该权重系数应用于解码后的运动矢量所指的被参照图像区域的解码信号进行运算而进行运动补偿，由此生成预测信号，该活动图像可分级解码方法的特征在于，具有：

基于在紧下层中与解码对象图像区域在空间的相同位置存在的紧下图像区域的编码信息，决定所述权重系数的数据结构的步骤；以及

在紧下图像区域在紧下层中进行帧间预测的情况下，识别紧下图像区域作为运动预测的预测参照目的地的紧下层被参照图像区域，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与该紧下层被参照图像区域在空间的相同位置存在，将运算的结果看作紧下图像区域的直流成分，计算所述在解码对象图像区域的加权运动预测时利用的权重系数的步骤。

8.根据权利要求7所述的活动图像可分级解码方法，其特征在于，

在所述决定权重系数的数据结构的步骤中，在被参照图像区域是1个的情况下，作为比例系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的比，作为偏置系数，决定使用零。

9.根据权利要求7所述的活动图像可分级解码方法，其特征在于，

在所述决定权重系数的数据结构的步骤中，在被参照图像区域是1个的情况下，作为偏置系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的差，作为比例系数，决定使用1。

10.根据权利要求7所述的活动图像可分级解码方法，其特征在于，

在所述决定权重系数的数据结构的步骤中，在被参照图像区域是2个的情况下，作为比例系数，决定使用对应于解码对象图像区域和各被参照图像区域之间的帧间距离计算出的值，作为偏置系数，决定使用以如下方式计算的值，即，从所述紧下图像区域的直流成分，分别减去对2个被参照图像区域的直流成分乘以分别对应的比例系数后的值。

11.根据权利要求7所述的活动图像可分级解码方法，其特征在于，

在所述计算权重系数的步骤中，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与紧下层被参照图像区域在空间的相同位置存在，进一步对该运算的结果加上在紧下图像区域中产生的运动预测的预测残差信号的直流成分，将相加的结果看作紧下图像区域的直流成分。

12.根据权利要求7所述的活动图像可分级解码方法，其特征在于，

在所述计算权重系数的步骤中，在紧下图像区域以更细小的小区域单位进行运动预测的情况下，按每个该小区域计算所述被看作紧下图像区域的直流成分的直流成分，基于按各小区域计算出的直流成分和各小区域的面积，计算所述被看作紧下图像区域的直流成分的直流成分。

13.一种活动图像可分级编码装置，在活动图像可分级编码中使用，计算表示上位层的编码对象图像区域和被参照图像区域之间的明亮度变化的包括比例系数和偏置系数的权重系数，所述权重系数在该编码对象图像区域的加权运动预测时被利用，将该权重系数应用于成为探索对象的被参照图像区域的图像信号进行运算而进行运动的推定，由此计算运动矢量，将该权重系数应用于该运动矢量所指的被参照图像区域的解码信号进行运算而进行运动补偿，由此生成预测信号，该活动图像可分级编码装置的特征在于，具有：

基于在紧下层中与编码对象图像区域在空间的相同位置存在的紧下图像区域的编码信息，决定所述权重系数的数据结构的单元；以及

在紧下图像区域在紧下层中进行帧间预测的情况下，识别紧下图像区域作为运动预测的预测参照目的地的紧下层被参照图像区域，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与该紧下层被参照图像区域在空间的相同位置存在，将运算的结果看作紧下图像区域的直流成分，计算所述在编码对象图像区域的加权运动预测时利用的权重系数的单元。

14.根据权利要求13所述的活动图像可分级编码装置，其特征在于，

在所述决定权重系数的数据结构的单元中，在被参照图像区域是1个的情况下，作为比例系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的比，作为偏置系数，决定使用零。

15.根据权利要求13所述的活动图像可分级编码装置，其特征在于，

在所述决定权重系数的数据结构的单元中，在被参照图像区域是1个的情况下，作为偏置系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的差，作为比例系数，决定使用1。

16.根据权利要求13所述的活动图像可分级编码装置，其特征在于，

在所述决定权重系数的数据结构的单元中，在被参照图像区域是2个的情况下，作为比例系数，决定使用对应于编码对象图像区域和各被参照图像区域之间的帧间距离计算出的值，作为偏置系数，决定使用以如下方式计算的值，即，从所述紧下图像区域的直流成分，分别减去对2个被参照图像区域的直流成分乘以分别对应的比例系数后的值。

17.根据权利要求13所述的活动图像可分级编码装置，其特征在于，

在所述计算权重系数的单元中，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与紧下层被参照图像区域在空间的相同位置存在，进一步对该运算的结果加上在紧下图像区域中产生的运动预测的预测残差信号的直流成分，将相加的结果看作紧下图像区域的直流成分。

18.根据权利要求13所述的活动图像可分级编码装置，其特征在于，

在所述计算权重系数的单元中，在紧下图像区域以更细小的小区域单位进行运动预测的情况下，按每个该小区域计算所述被看作紧下图像区域的直流成分的直流成分，基于按各小区域计算出的直流成分和各小区域的面积，计算所述被看作紧下图像区域的直流成分的直流成分。

19.一种活动图像可分级解码装置，在活动图像可分级解码中使用，计算表示上位层的解码对象图像区域和解码后的运动矢量所指的被参照图像区域之间的明亮度变化的包括比例系数和偏置系数的权重系数，所述权重系数在该解码对象图像区域的加权运动预测时被利用，将该权重系数应用于解码后的运动矢量所指的被参照图像区域的解码信号进行运算而进行运动补偿，由此生成预测信号，该活动图像可分级解码装置的特征在于，具有：

基于在紧下层中与解码对象图像区域在空间的相同位置存在的紧下图像区域的编码信息，决定所述权重系数的数据结构的单元；以及

在紧下图像区域在紧下层中进行帧间预测的情况下，识别紧下图像区域作为运动预测的预测参照目的地的紧下层被参照图像区域，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与该紧下层被参照图像区域在空间的相同位置存在，将运算的结果看作紧下图像区域的直流成分，计算所述在解码对象图像区域的加权运动预测时利用的权重系数的单元。

20.根据权利要求19所述的活动图像可分级解码装置，其特征在于，

在所述决定权重系数的数据结构的单元中，在被参照图像区域是1个的情况下，作为比例系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的比，作为偏置系数，决定使用零。

21.根据权利要求19所述的活动图像可分级解码装置，其特征在于，

在所述决定权重系数的数据结构的单元中，在被参照图像区域是1个的情况下，作为偏置系数，决定使用被参照图像区域的直流成分和所述紧下图像区域的直流成分的差，作为比例系数，决定使用1。

22.根据权利要求19所述的活动图像可分级解码装置，其特征在于，

在所述决定权重系数的数据结构的单元中，在被参照图像区域是2个的情况下，作为比例系数，决定使用对应于解码对象图像区域和各被参照图像区域之间的帧间距离计算出的值，作为偏置系数，决定使用以如下方式计算的值，即，从所述紧下图像区域的直流成分，分别减去对2个被参照图像区域的直流成分乘以分别对应的比例系数后的值。

23.根据权利要求19所述的活动图像可分级解码装置，其特征在于，

在所述计算权重系数的单元中，对上位层的图像区域的直流成分，应用紧下图像区域在加权运动预测时利用的权重系数进行运算，其中，该上位层的图像区域与紧下层被参照图像区域在空间的相同位置存在，进一步对该运算的结果加上在紧下图像区域中产生的运动预测的预测残差信号的直流成分，将相加的结果看作紧下图像区域的直流成分。

24.根据权利要求19所述的活动图像可分级解码装置，其特征在于，

在所述计算权重系数的单元中，在紧下图像区域以更细小的小区域单位进行运动预测的情况下，按每个该小区域计算所述被看作紧下图像区域的直流成分的直流成分，基于按各小区域计算出的直流成分和各小区域的面积，计算所述被看作紧下图像区域的直流成分的直流成分。

Images