CN101690237B - 活动图像可分级编码方法及解码方法、其装置 - Google Patents

Abstract

一种活动图像可分级编码方法，根据低空间分辨率的紧下层信号，使用内插处理对高空间分辨率的上位层信号进行预测并编码。在按规定单位的图像区域的每一个，对上位层的编码对象图像区域和被参照图像区域间的运动进行推定的探索处理时，计算基于紧下层的与编码对象图像区域在空间的相同位置存在的图像区域、和被参照图像区域间的亮度变化的第一权重系数，将通过第一权重系数对被参照图像区域的解码信号进行校正后的信号作为运动推定的推定信号进行运动的推定，计算运动矢量。计算基于该运动矢量所指的被参照图像区域、和紧下层的与编码对象图像区域在空间的相同位置存在的图像区域之间的亮度的变化的第二权重系数，将以第二权重系数对该被参照图像区域的解码信号进行校正后的信号作为运动补偿中的补偿信号，作为编码对象图像区域的预测信号。

Description

活动图像可分级编码方法及解码方法、其装置

技术领域

本发明涉及活动图像可分级编码(scalable video coding)方法及解码方法和其装置、程序以及记录有这些程序的记录介质。 

本申请基于2007年7月2日申请的日本专利申请特愿2007-174161号要求优先权，并在这里引用其内容。 

背景技术

在通常的活动图像编码方式中，通过基于帧间的像素值差分最小化的块匹配进行运动预测，谋求编码性能的提高。可是，在如渐变(fade)那样的光亮度随时间变化的图像中，依照光亮度变化的量而运动预测的预测残差扩大，编码性能降低。 

因此，在非专利文献1所示的H.264/AVC中，进行对运动预测的参照图像适应地乘以权重系数的加权运动预测。通过该加权运动预测，构成校正了时间的亮度变化的预测参照信号，使编码性能提高。 

在H.264/AVC的加权运动预测中，预备了以下2种系数传输模式，即对权重系数进行编码并传输的显式(Explicit)模式，和在编码器和解码器根据参照帧的信息间接地生成相同的权重系数的隐式(Implicit)模式。在表1中表示P条带(slice)和B条带的加权运动预测的种类和预测方法。 

[表1] 

表1：H.264/AVC中的加权运动预测的种类及其方法 

在该表1中，z指的是加权运动预测信号，y、y₀、y₁指的是加权运动预测参照信号，w、w₀、w₁、d、d₀、d₁指的是权重系数。加权运动预测的切换和系数传输模式的选择以条带单位执行。 

图1是说明H.264/AVC的加权运动预测(隐式模式)的图。隐式模式仅在B条带的双预测的情况下使用，在编码器和解码器中，以图1的方式进行而生成权重系数。t_b、t_d是帧间距离。 

假定涉及编码对象帧和2枚被参照帧的亮度变化是线性，对应于从参照图像起的距离计算比例系数w₀、w₁。将偏置系数d作为0。 

w₀＝1-w₁

w₁＝t_b/t_d

d＝0 

图1是利用对应于从参照图像起的距离的内分计算比例系数的例子，但在外分的情况下也能够同样地进行。如果是亮度线性地变化的图像的话，由于即使在隐式模式中也能够计算出适合的权重系数，所以能够节约系数信息所需要的码量。 

现在，在非专利文献2所示的在作为ISO和ITU-T的联合团体的JVT进行研究的H.264/AVC的可分级扩展方式JSVC中，也引入了与上述所示的H.264/AVC相同的加权运动预测。 

在非专利文献3表示的JSVC的参照编码器JSVM(程序)中，也进行表1所示的加权运动预测。 

此外，作为检测活动图像的全局的光亮度变化、进行光亮度补偿的技术，已知有专利文献1记载的技术。在该专利文献1所述的技术中，通过使用画面整体的全局光亮度变化量、和表示按小区域的每一个是否进行光亮度变化补偿的判定的标志，从而应对亮度变化在画面内不一样的情况。 

非专利文献1：ITU-T：“Advanced video coding for generic audiovis ual services”，ITU-T Rec，H.264，pp.129-132，2003. 

非专利文献2：T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz and M.Wien：“Joint Draft 9 of SVC Amendment”，ISO/IEC JTC1/SC29/WG11and ITU-T SG16 Q.6，JVT-V201，pp.166-170，2006. 

非专利文献3：J.Reichel，H.Schwarz and M.Wien：“Joint Scalable Video Model JSVM-8.0”，ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6，JVT-U202，2006. 

专利文献1：日本专利申请特开平10-32824号公报 

本发明要解决的课题 

如上所述，H.264/AVC的加权运动预测以条带单位执行。因此，在条带内的一部分中产生亮度变化的情况下、或条袋内的亮度变化不一样的情况下，H.264/AVC的加权运动预测的预测性能降低。例如，由于移动物体的影子等产生的亮度变化等相当于上述情况，预测性能降低。 

假设，当以比条带细小的宏块等单位计算权重系数，执行加权运动预测时，在显式模式中权重系数所要的码量变得非常大。在这样的情况下，优选以隐式模式计算权重系数。可是，如上所述，H.264/AVC的加权运动预测的隐式模式的使用，仅限于进行双预测的B条带。 

此外，该在加权运动预测的隐式模式下计算的权重系数，基于涉及编码对象帧和2枚被参照帧的亮度变化是线性的假定，因此在涉及3帧的亮度的时间变化是非线性的情况下，不能够计算出适合的权重系数，预测性能降低。亮度非线性地进行变化的渐变图像、或包含闪光的闪光图像那样的暂时进行变化的图像等相当于上述情况。JSVC的加权运动预测因为直接使用H.264/AVC的加权运动预测，因此面对与上述相同的问题。 

此外，在上述专利文献1记载的技术中，因为需要按小区域的每一个对标志的信息进行传输，所以存在编码性能降低的问题，即使在相关小区域的光亮度变化量大、并且与全局光亮度变化量乖离的情况下，由于不能够补偿相关小区域的光亮度变化，所以也存在编码性能降低的问题。 

发明内容

本发明正是鉴于上述情况而完成的，其目的在于确立一种可分级编码器和解码器的设计方法，其中，在由具有最低的空间分辨率的基本层、和一个以上的具有比其高的空间分辨率的增强层构成的空间可分级编码中，基于运动预测的被参照帧的解码信号、和编码对象帧的紧下层的解码时间之间的时间的亮度变化的信息，生成加权运动预测 的权重系数，不传输权重系数的信息而在编码器和解码器使用相同的权重系数进行加权运动预测。 

用于解决课题的方法 

本发明的加权运动预测过程如下所示。 

加权运动预测由加权运动推定和加权运动补偿这两个步骤构成。 

加权运动推定指的是一边对处理对象帧和运动预测参照帧之间的亮度变化进行校正，一边探索两帧间的运动，将通过探索检测出的运动信息作为运动矢量进行输出的处理。 

加权运动补偿指的是读入运动矢量信息，对该运动矢量所指处的信号值进行亮度变化的校正，将校正后的信号值作为处理对象帧的预测信号进行输出的处理。 

在编码处理中，通过加权运动推定检测出运动矢量，读入该运动矢量，执行加权运动补偿。 

另一方面，在解码处理中，对编码数据进行解码并读入运动矢量，执行加权运动补偿。 

权重系数的计算能够以任意的图像区域单位来进行。作为例子，能够举出帧单位、条带单位、宏块单位等。 

由于不需要系数的传输，所以加权运动预测所要的开销，在任何图像区域单位中都不变。因此，越以小图像区域单位进行权重系数的计算，越提高加权运动预测的预测性能。 

在这里，将以宏块单位进行权重系数的计算的情况作为例子进行说明。在宏块单位以外的单位，也能通过同样的处理进行加权运动预测。此外，不依赖于成为对象的信号，是光亮度信号还是色差信号都能同样地进行处理。 

发明的效果 

通过本发明，由于能够以任意的局部区域单位进行权重系数的计算，所以即使在由于移动物体的影子等而图像内的一部分的亮度进行变化的情况下，通过不传输权重系数的隐式模式，能够执行精度高的加权运动预测。 

此外，即使在以前仅有显式模式的P条带和B条带的L0/L1预测 的情况下，也能够通过隐式模式执行加权运动预测。 

此外，通过进行考虑了紧下层的亮度信息的校正，即使在包含闪光的图像或非线性变化的渐变图像那样的、编码/解码处理对象帧和多个预测参照帧之间的亮度变化是非线性的图像中，也能够以隐式模式执行精度高的加权运动预测。通过以上的加权运动预测的性能提高，可预期编码效率的提高。 

附图说明

图1是说明H.264/AVC的加权运动预测(隐式模式)的图。 

图2是说明本发明的加权运动预测的图。 

图3是表示本发明的一个实施方式的编码处理的流程的图。 

图4是表示本发明的一个实施方式的解码处理的流程的图。 

图5是表示编码处理中的加权运动推定处理的流程的图。 

图6是表示编码和解码处理中的加权运动补偿处理的流程的图。 

图7是表示编码和解码处理中的权重系数计算处理的流程的图。 

图8是表示步骤S43(图7)的详细处理的流程的图。 

图9是表示步骤S44(图7)的详细处理的流程的图。 

图10是表示步骤S46(图7)的详细处理的流程的图。 

图11是表示步骤S48(图7)的详细处理的流程的图。 

图12是表示步骤S49(图7)的详细处理的流程的图。 

图13是表示本发明的一个实施方式的编码装置的结构例的图。 

图14是表示本发明的一个实施方式的解码装置的结构例的图。 

图15是表示加权运动推定部的装置结构例的图。 

图16是表示加权运动补偿部的装置结构例的图。 

图17是表示权重系数计算部的装置结构例的图。 

图18是表示双预测平方误差最小化规范权重系数校正处理部的装置结构例的图。 

图19是表示双预测直流成分规范权重系数校正处理部的装置结构例的图。 

图20是表示单一帧预测均方误差最小化规范权重系数校正处理部的装置结构例的图。 

图21是表示单一帧预测直流成分规范比例系数校正处理部的装置 结构例的图。 

图22是表示单一帧预测直流成分规范偏置校正处理部的装置结构例的图。 

图23是表示渐变图像的BD-bit的变化(实验例)的图。 

图24是表示渐变图像的平均光亮度值和平均偏置系数的变化(实验例)的图。 

图25是表示闪光图像的BD-bit的变化(实验例)的图。 

图26是表示闪光图像的平均光亮度值和平均偏置系数的变化(实验例)的图。 

附图标记说明 

101预测方法判定部 

102画面内预测部 

103无权重运动预测部 

104层间预测部 

105加权运动推定部 

106加权运动补偿部 

107预测残差信号生成部 

108预测残差信号编码部 

109解码部 

110相关增强层解码信号存储部 

111紧下层解码信号存储部 

201预测模式解码部 

202预测模式存储部 

203预测方法判定部 

204画面内预测部 

205无权重运动预测部 

206层间预测部 

207运动矢量信息解码部 

208运动矢量信息存储部 

209加权运动补偿部 

210紧下层解码信号存储部 

211残差信号解码部 

212残差信号存储部 

213解码信号生成部 

214相关增强层解码信号存储部 

具体实施方式

以下，针对本发明的典型处理进行说明。 

[加权运动推定] 

在加权运动推定中，按编码对象帧的规定单位的图像区域、例如宏块的每一个，在推定被参照帧内探索匹配的宏块。 

在该探索时，每当探索对象宏块被变更时，对表示两帧的相关块间的亮度变化的权重系数进行计算，将以该权重系数对探索对象宏块的解码信号进行校正后的信号作为用于匹配判定的比较信号而充分利用。 

然后，被判定为匹配的宏块被运动矢量参照，成为运动补偿的被参照宏块。 

作为匹配的判定单元的一个例子，可以举出非专利文献1示出的利用码量和编码失真间的拉格朗日代价最小化的判定单元。 

[加权运动补偿] 

在加权运动补偿中，首先，按编码/解码对象宏块的每一个，读入该宏块具有的运动矢量信息。 

接着，对表示该运动矢量所指的被参照宏块、和编码/解码对象宏块之间的亮度变化的权重系数进行计算。 

然后，将以该权重系数对被参照宏块的解码信号进行校正后的信号，作为编码/解码对象宏块中的预测信号进行有效利用。 

[权重系数的计算处理] 

典型地，通过以下过程，对在可分级编码的加权运动推定和加权运动补偿中使用的权重系数进行计算。 

在现有的隐式模式中，封闭在一个层内，通过对应于从被参照帧起的距离的内插或外插来推定时间的亮度变化，从而计算权重系数。 

在本发明中，在该时间的亮度变化的推定中，通过使用编码/解码对象的层的紧下层的宏块解码信号的信息，使该推定精度提高。 

在说明过程时，对在说明中使用的记号进行整理。将相关增强层 的编码/解码处理对象帧(以下，称为校正对象帧)作为f，将P条带或B条带的L0预测的加权运动推定/补偿被参照帧(以下，称为被校正帧)作为f₀，将B条带的L1预测的被校正帧作为f₁。 

此外，将与校正对象帧f相同时刻的紧下层的帧作为g，将与被校正帧f₀相同时刻的紧下层的帧作为g₀，将与被校正帧f₁相同时刻的紧下层的帧作为g₁。 

此外，将代入帧f的编码/解码处理对象块(以下，称为校正对象块)的坐标(i，j)的预测信号值作为z(i，j)，此外，将帧f₀的加权运动推定/补偿被参照块(以下，称为被校正块)的坐标(i，j)的解码信号值作为y₀(i，j)。 

此外，将帧g中的与帧f的校正对象块位于空间上相同位置的块的坐标(i，j)的解码信号值作为x(i，j)，将使用规定的上采样滤波器以相关增强层的分辨率对该x(i，j)进行上采样后的信号值作为x’(i，j)。 

同样地，将帧g₀中的与帧f₀的被校正块位于空间上同位置的块的坐标(i，j)的解码信号值作为x₀(i，j)，将使用规定的上采样滤波器以相关增强层的分辨率对该x₀(i，j)进行上采样后的信号值作为x₀’(i，j)。 

y₁(i，j)，x₁(i，j)，x₁’(i，j)的赋予方式与y₀(i，j)、x₀(i，j)、x₀′(i，j)一致。 

在图2中对以上进行图示。图2是表示相关增强层和紧下层的分辨率比在纵横均为2∶1的情况下的图。在分辨率比为2∶1以外的情况下也能够进行同样的处理。 

此外，将帧f₀中的被校正块的直流成分值作为Y₀，此外，将帧g中的与帧f的校正对象块位于空间上相同位置的块的直流成分值作为X。在图2的情况下，它们以下述方式计算。 

[数1] 

$Y_0=\frac{1}{n^2}\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}{y}_0(i,j)---\left(1\right)$

$X=\frac{1}{{\left(\frac{n}{2}\right)}^2}\underset{i=0}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}x(i,j)---\left(2\right)$

X₀、X₀′、X₁、X₁′、Y₁的赋予方式与X和Y₀一致。 

<P条带和L0/L1预测B条带中的权重系数的计算方法> 

在P条带和进行L0/L1预测的B条带那样的单一帧的预测的情况下，预测信号值z(i，j)以下述方式计算。 

·在P条带或L0预测B条带的情况下 

z(i、j)＝w₀·y₀(i、j)+d₀

·在L1预测B条带的情况下 

z(i、j)＝w₁·y₁(i、j)+d₁    …(3) 

在这里，列举3个该权重系数w₀和d₀、或w₁和d₁的计算方法。 

在以下所述的计算方法的说明中，以P条带或L0预测B条带的情况作为例子。在L1预测B条带的情况下，将与帧f₀和g₀相关的要素变更为与帧f₁和g₁相关的要素即可。 

3个计算方法基于以下的假定。由于帧f和帧g是相同时刻的信息，所以预想信号的亮度相近。因此，利用已知的帧g的亮度信息，根据被校正帧f₀间接地预测校正对象帧f的亮度变化。 

[方法1-1]单一帧预测中的使用了直流成分的比例系数校正 

在本方法中，按以下方式计算权重系数。 

w₀＝X/Y₀    (4) 

d₀＝O       (5) 

该数式(4)的X也可以置换为上采样信号的直流成分值X’。进而，也可以置换为对该X或X’使用被校正帧f₀和其紧下层的帧g₀的直流成分的关系性进行校正后的成分。 

作为校正的例子，可以考虑对X或X’乘以被校正帧f₀的直流成分的比Y₀/X₀后的成分，或对X或X’加上被校正帧f₀的直流成分的差Y₀-X₀后的成分。 

[方法1-2]单一帧预测中的使用了直流成分的偏置系数校正 

在本方法中，按以下方式计算权重系数。 

w₀＝1       (6) 

d₀＝X-Y₀    (7) 

与方法1-1同样，该数式(7)的X也可以置换为上采样信号的直流成分值X’。进而，也可以置换为对该X或X’使用被校正帧f₀和其紧下层的帧g₀的直流成分的关系性进行校正后的成分。校正方法的例子 与方法1-1所述的例子同样。 

[方法1-3]单一帧预测中的使用了最小二乘法的权重系数校正 

在本方法中，按以下方式计算权重系数。再有，在以下数式中赋予了代字号的w₀、d₀分别是用于求取w₀、d₀的变量。 

[数2] 

$\mathrm{\&epsiv;}=\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{(\widetilde{w_0}\&CenterDot;y_0(i,j)+\widetilde{d_0}-x^{\&prime;}(i,j))}^2---\left(8\right)$

$(w_0,d_0)=\arg \underset{\widetilde{w_0},\widetilde{d_0}}{\min }\mathrm{\&epsiv;}---\left(9\right)$

该数式(8)的x′(i，j)，也可以置换为对x′(i，j)使用被校正帧f₀和其紧下层的帧g₀的解码信号的关系性进行校正后的成分。作为校正的例子，可以考虑对x′(i，j)乘以被校正帧f₀的解码信号的比 

y₀(i、j)/x₀′(i、j)

后的成分，或对x′(i，j)加上被校正帧f₀的解码信号的差 

y₀(i、j)-x₀′(i、j)

后的成分。 

赋予ε的最小值的权重系数(w₀，d₀)作为下面的联立一次方程式的解进行求取。 

[数3] 

$\frac{\&PartialD;\mathrm{\&epsiv;}}{\&PartialD;\widetilde{w_0}}=2\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{y}_0(i,j)(\widetilde{w_0}\&CenterDot;y_0(i,j)+\widetilde{d_0}-x^{\&prime;}(i,j))=0---\left(10\right)$

$\frac{\&PartialD;\mathrm{\&epsiv;}}{\&PartialD;\widetilde{d_0}}=2\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}(\widetilde{w_0}\&CenterDot;y_0(i,j)+\widetilde{d_0}-x^{\&prime;}(i,j))=0---\left(11\right)$

<双预测B条带中的权重系数的计算方法> 

在进行双预测的B条带中，预测信号值z(i，j)以如下方式计算。 

z(i、j)＝w₀·y₀(i、j)+w₁·y₁(i、j)+d    (12) 

在这里，列举2个该权重系数w₀、w₁、d的计算方法。 

2个计算方法基于以下的假定。由于帧f和帧g是同时刻的信息，所以预想信号的亮度相近。因此，利用已知的帧g的亮度信息，根据被校正帧f₀和f₁间接地预测校正对象帧f的亮度变化。 

[方法2-1]双预测中的使用了直流成分块的权重系数校正 

在本方法中，按以下方式计算权重系数。 

w₀＝1-w₁              (13) 

w₁＝t_b/t_d             (14) 

d＝X-w₀·Y₀-w₁·Y₁    (15) 

t_b表示从被校正帧f₀到校正对象帧f的帧间距离，t_d表示从被校正帧f₀到被校正帧f₁的帧间距离。 

该数式(15)的X也可以置换为上采样信号的直流成分值X’。进而，也可以置换为对该X或X’使用被校正帧f₀和其紧下层的帧g₀的直流成分、或被校正帧f₁和其紧下层的帧g₁的直流成分进行校正后的成分。校正方法的例子与方法1-1所述的例子同样。 

[方法2-2]双预测中的使用了最小二乘法的权重系数校正 

在本方法中，按以下方式计算权重系数。 

[数4] 

$\mathrm{\&epsiv;}=\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{(\widetilde{w_0}\&CenterDot;y_0(i,j)+\widetilde{w_1}\&CenterDot;y_1(i,j)+\tilde{d}-x^{\&prime;}(i,j))}^2---\left(16\right)$

$(w_0,w_1,d)=\arg \underset{\widetilde{w_0},\widetilde{w_1},\tilde{d}}{\min }\mathrm{\&epsiv;}---\left(17\right)$

该数式(16)的x′(i、j)，也可以置换为对x′(i、j)使用被校正帧f₀和其紧下层的帧g₀的解码信号、或被校正帧f₁和其紧下层的帧g₁的解码信号进行校正后的成分。校正方法的例子与方法1-3所述的例子同样。 

赋予ε的最小值的权重系数(w₀，w₁，d)作为下面的联立一次方程式的解进行求取。 

[数5] 

$\frac{\&PartialD;\mathrm{\&epsiv;}}{\&PartialD;\widetilde{w_0}}=2\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{y}_0(i,j)(\widetilde{w_0}\&CenterDot;y_0(i,j)+\widetilde{w_1}\&CenterDot;y_1(i,j)+\tilde{d}-x^{\&prime;}(i,j))=0---\left(18\right)$

$\frac{\&PartialD;\mathrm{\&epsiv;}}{\&PartialD;\widetilde{w_1}}=2\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{y}_1(i,j)(\widetilde{w_0}\&CenterDot;y_0(i,j)+\widetilde{w_1}\&CenterDot;y_1(i,j)+\tilde{d}-x^{\&prime;}(i,j))=0---\left(19\right)$

$\frac{\&PartialD;\mathrm{\&epsiv;}}{\&PartialD;\tilde{d}}=2\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}(\widetilde{w_0}\&CenterDot;y_0(i,j)+\widetilde{w_1}\&CenterDot;y_1(i,j)+\tilde{d}-x^{\&prime;}(i,j))=0---\left(20\right)$

在现有的H.264/AVC的加权运动预测中，以条带单位对权重系数进行切换，相对于此，在本发明中，能够以任意的矩形区域单位进行权重系数的计算，加权预测的精度提高。 

此外，在现有技术中，在进行单方向预测的块的情况下需要权重系数信息的传输，相对于此，在本发明中，即使在进行单方向预测的块中，也不传输权重系数的信息，能够执行精度高的加权预测。 

此外，在现有技术中，为了在对象视频图像的亮度是非线性地变化的情况下进行精度高的加权预测，即使是双预测也需要传输权重系数信息，相对于此，在本发明中，对象视频图像的时间的亮度变化在任何变化的方式下，也不传输权重系数信息，能够实现精度高的加权预测。 

特别是在上述[方法1-1]中，在预测参照块的解码信号和相关块的原信号的信号值的比在块内是一样的情况下，能够计算出高精度的权重系数，是优选的。 

此外，在上述[方法1-2]中，在预测参照块的解码信号和相关块的原信号的信号值的差分在块内是一样的情况下，能够计算出特别高精度的权重系数，是优选的。 

此外，在上述[方法1-1]、[方法1-2]、[方法2-1]中，在相关块的原信号中包含的所有空间频率成分，与紧下层的空间上对应的块的内插信号中包含的空间频率成分类似时，能够计算出高精度的权重系数。 

在上述[方法1-3]、[方法2-2]中，在相关块的原信号中包含的直流成分、仅与紧下层的空间上对应的块的内插信号中包含的直流成分类似时，能够计算出高精度的权重系数。 

[处理的流程] 

参照图3对本发明的编码处理的实施方式进行说明。进行说明的实施方式是对1个宏块的编码处理。通过对所有的宏块实施该处理，构成视频图像的编码数据。 

步骤S1：进行相关增强层的相关宏块是否是加权运动预测的对象宏块的判定处理，在为真的情况下进行步骤S3的处理，在为假的情况下进行步骤S2的处理。 

该判定处理例如按照预先决定的设定条件进行，但在本实施方式中使用何种条件是任意的。 

步骤S2：按照在步骤S1的处理中输出的相关宏块的预测模式信息进行预测信号的生成。在这里的预测方式中，可以举出画面内预测、无权重的通常的运动预测、以及层间预测。作为各方式的预测方法的 一个例子，可以举出非专利文献3所示的JSVM的预测方法。 

步骤S3：在相关宏块是加权运动预测的对象的情况下，对于相关宏块，读入相关宏块的原信号、其紧下层的宏块解码信号、以及(被参照帧中的)探索对象宏块的解码信号，进行加权运动推定，输出运动矢量信息。本处理的详细在图5中表示(后述)。 

步骤S4：读入在步骤S3的处理中输出的运动矢量信息、和紧下层的宏决解码信号，进行加权运动补偿，输出加权运动预测信号。本处理的详细在图6中表示(后述)。 

步骤S5：读入通过步骤S2或步骤S4的处理输出的预测信号，生成与相关宏块的原信号的差分信号，进行相关差分信号的编码。作为该差分信号的编码处理的一个例子，可以举出非专利文献3所示的JSVM的编码处理。 

参照图4对本发明的解码处理的实施方式进行说明。进行说明的实施方式是对1个宏块的解码处理。通过对所有的宏块实施该处理，构成视频图像的解码信号。 

步骤S11：读入与相关增强层的相关宏块的预测模式相关的编码数据，进行解码处理，输出预测模式信息。 

步骤S12：进行相关增强层的相关宏块是否是加权运动预测的对象宏块的判定处理，在为真的情况下进行步骤S14的处理，在为假的情况下进行步骤S13的处理。 

步骤S13：按照在步骤S11的处理中输出的相关宏块的预测模式信息进行预测信号的生成。在这里的预测方式中，可以举出画面内预测、无权重的通常的运动预测、以及层间预测。 

步骤S14：在相关宏块是加权运动预测的对象宏块的情况下，读入与相关宏块的运动矢量相关的编码数据，进行解码处理，输出运动矢量信息。 

步骤S15：读入在步骤S14的处理中输出的运动矢量信息、和紧下层的宏块解码信号，进行加权运动补偿，输出加权运动预测信号。本处理的详细在图6中表示(后述)。 

步骤S16：读入通过步骤S13或步骤S15的处理输出的预测信号，与解码后的预测残差信号相加，构成解码信号，进行输出。 

参照图5，对本发明的加权运动推定(步骤S3)的实施方式进行 说明。 

步骤S21：读入紧下层的宏块的解码信号和(被参照帧中的)现在的探索对象宏块的解码信号，计算两宏块之间的权重系数，进行输出。本处理的详细在图7中表示(后述)。 

步骤S22：读入通过步骤S21的处理输出的权重系数信息，通过该权重系数对现在的探索对象宏块的解码信号进行校正，输出其信号值。 

步骤S23：对通过步骤S22的处理输出的信号值和相关宏块的原信号之间的、通过码量和编码失真量得到的编码成本进行计算，进行输出。 

步骤S24：进行针对应该探索的所有宏块是否进行了探索的判定处理，在为真的情况下进行步骤S26的处理，在为假的情况下进行步骤S25的处理。 

步骤S25：将处理对象转移至接下来的探索对象宏块，反复步骤S21以后的处理。 

步骤S26：读入通过步骤S23的处理输出的编码成本的信息，在探索了的宏块中选定编码成本成为最小的宏块，将选择的宏块与相关宏块的坐标位置的差分作为运动矢量进行输出。 

参照图6，对本发明的加权运动补偿(步骤S4、步骤S15)的实施方式进行说明。 

步骤S31：读入相关宏块的运动矢量信息，进行输出。该运动矢量信息在编码处理中的加权运动补偿的情况下从加权运动推定部的输出被读入，在解码处理的加权运动补偿的情况下从运动矢量的解码处理部的输出被读入。 

步骤S32：读入紧下层的宏块的解码信号、和通过步骤S31的处理输出的运动矢量信息，计算运动矢量所指的被参照宏块和相关宏块间的权重系数，进行输出。 

本处理的详细在图7中表示(后述)。 

再有，在编码处理的情况下，对在图5所示的加权推定处理中计算的权重系数与运动矢量信息一起存储，输出该权重系数也可。 

步骤S33：读入通过步骤S32的处理输出的权重系数信息，通过该权重系数对被参照宏块的解码信号进行校正，输出其信号值。 

参照图7，对本发明的加权系数计算处理(步骤S21、步骤S32) 的实施方式进行说明。 

步骤S41：进行是否被判定为相关宏块所属的条带是B条带、且进行双预测的判定处理，在为真的情况下进行步骤S42的处理，在为假的情况下进行步骤S45的处理。 

步骤S42：进行判定通过外部指定的相关宏块的权重系数计算方法，是否是双预测B条带的均方误差最小化规范的权重系数校正方法的判定处理，在为真的情况下进行步骤S43的处理，在为假的情况下进行步骤S44的处理。 

作为权重系数计算方法的指定信息从外部赋予的一个例子，可以考虑作为编码处理的设定条件首先进行规定，在图像参数组内进行确保的方法，或通过多通道(multi-pass)处理按条带的每一个选择最优的方法。 

步骤S43：计算使由2个被校正宏块的解码信号构成的解码信号、和紧下层的宏块的解码信号的均方误差最小化的权重系数，进行输出。本处理的详细在图8中表示(后述)。 

步骤S44：根据2个被校正帧和相关帧的帧间距离计算比例系数，根据2个被校正宏块的解码信号和紧下层的宏块的解码信号的直流成分计算偏置系数，对其进行输出。本处理的详细在图9中表示(后述)。 

步骤S45：进行由外部指定的相关宏块的权重系数计算方法是否是P条带或LO/L1预测B条带的均方误差最小化规范的权重系数校正方法的判定处理，在为真的情况下进行步骤S46的处理，在为假的情况下进行步骤S47的处理。 

作为权重系数计算方法的指定信息从外部赋予的一个例子，与步骤S42的处理同样地，可以考虑作为编码处理的设定条件首先进行规定，在图像参数组内进行确保的方法，或通过多通道处理按条带的每一个选择最优的方法。 

步骤S46：计算使由被校正宏块的解码信号构成的校正信号、和紧下层的宏块的解码信号的均方误差最小化的权重系数，进行输出。本处理的详细在图10中表示(后述)。 

步骤S47：进行由外部指定的相关宏块的权重系数计算方法是否是P条带或L0/L1预测B条带的直流成分规范的比例系数校正方法的判定处理，在为真的情况下进行步骤S48的处理，在为假的情况下进行 步骤S49的处理。 

作为权重系数计算方法的指定信息从外部赋予的一个例子，与步骤S42和步骤S45的处理同样地，可以考虑作为编码处理的设定条件首先进行规定，在图像参数组内进行确保的方法，或通过多通道处理按条带的每一个选择最优的方法。 

步骤S48：计算被校正宏块的解码信号和紧下层的宏块的解码信号的直流成分的比，将其作为比例系数进行输出。本处理的详细在图11中表示(后述)。 

步骤S49：计算被校正宏块的解码信号和紧下层的宏块的解码信号的直流成分的差，将其作为偏置系数进行输出。本处理的详细在图12中表示(后述)。 

参照图8对图7所示的步骤S43的处理的实施方式进行说明。 

步骤S51：读入紧下层的宏块的解码信号和2个被校正宏块的解码信号，写入缓冲器。 

步骤S52：从缓冲器读入紧下层的宏块的解码信号和2个被校正宏块的解码信号，建立赋予由2个被校正宏块的解码信号构成的校正信号和紧下层的宏块的解码信号的最小均方误差的联立方程式，写入寄存器。 

步骤S53：从寄存器读入在步骤S52的处理中计算的联立方程式，求取该联立方程式的解，计算比例系数和偏置系数，进行输出。作为联立方程式的解的求取方法的一个例子，考虑Gauss消去法。本处理按照上述数式(16)和数式(17)。 

参照图9对图7所示的步骤S44的处理的实施方式进行说明。 

步骤S61：读入紧下层的宏块的解码信号和2个被校正宏块的解码信号，写入缓冲器。 

步骤S62：从缓冲器读入紧下层的宏块的解码信号和2个被校正宏块的解码信号，计算紧下层的宏块的解码信号和2个被校正宏块的解码信号的直流成分，写入寄存器。 

步骤S63：从寄存器读入在步骤S62的处理中计算的直流成分的值，根据参照帧间距离计算比例系数，按照上述的数式(13)到数式(15)计算偏置系数，进行输出。 

参照图10对图7所示的步骤S46的处理的实施方式进行说明。 

步骤S71：读入紧下层的宏块的解码信号和被校正宏块的解码信号，写入缓冲器。 

步骤S72：从缓冲器读入紧下层的宏块的解码信号和被校正宏块的解码信号，建立赋予由被校正宏块的解码信号构成的校正信号和紧下层的宏块的解码信号的最小均方误差的联立方程式，写入寄存器。 

步骤S73：从寄存器读入在步骤S72的处理中计算的联立方程式，求取该联立方程式的解，计算比例系数和偏置系数，进行输出。作为联立方程式的解的求取方法的一个例子，考虑Gauss消去法。本处理按照上述数式(8)和数式(9)。 

参照图11对图7所示的步骤S48的处理的实施方式进行说明。 

步骤S81：读入紧下层的宏块的解码信号和被校正宏块的解码信号，写入缓冲器。 

步骤S82：从缓冲器读入紧下层的宏块的解码信号和被校正宏块的解码信号，计算紧下层的宏块的解码信号和被校正宏块的解码信号的直流成分，写入寄存器。 

步骤S83：从寄存器读入在步骤S82的处理中计算的直流成分的值，将两直流成分的比作为比例系数进行计算，偏置系数设定为零，进行输出。本处理按照上述数式(4)和数式(5)。 

参照图12对图7所示的步骤S49的处理的实施方式进行说明。 

步骤S91：读入紧下层的宏块的解码信号和被校正宏块的解码信号，写入缓冲器。 

步骤S92：从缓冲器读入紧下层的宏块的解码信号和被校正宏块的解码信号，计算紧下层的宏块的解码信号和被校正宏块的解码信号的直流成分，写入寄存器。 

步骤S93：从寄存器读入在步骤S92的处理中计算的直流成分的值，将两直流成分的差作为偏置系数进行计算，比率系数设定为1，进行输出。本处理按照上述数式(6)和数式(7)。 

[处理装置] 

在图13表示本发明的编码装置的结构例。图13是针对1个宏块的编码装置图。 

预测方法判定部101：读入相关宏块的预测方式的指定信息，按照该指定信息，在画面内预测的情况下转移至画面内预测部102，在无权 重的通常的运动预测的情况下转移至无权重运动探测部103，在层间预测的情况下转移至层间预测部104，在加权运动预测的情况下转移至加权运动推定部105。 

画面内预测部102：读入编码对象帧的原信号和解码信号，执行画面内预测并制作预测信号，将该预测信号向预测残差信号生成部107输出。作为画面内预测的方法的一个例子，可以举出非专利文献3所示的JSVM的画面内预测。 

无权重运动预测部103：读入编码对象帧的原信号和被参照帧的解码信号，执行不加权的通常的运动预测并制作预测信号，将该预测信号向预测残差信号生成部107输出。作为无权重运动预测方法的一个例子，可以举出非专利文献3所示的JSVM的无权重运动预测。 

层间预测部104：读入编码对象帧的原信号和紧下层的解码信号，执行层间预测并制作预测信号，将该预测信号向预测残差信号生成部107输出。作为层间预测的方法的一个例子，可以举出非专利文献3所示的JSVM的层间预测。 

加权运动推定部105：读入编码对象帧的原信号、从相关(当該)增强层解码信号存储部110输出的被参照帧的解码信号、以及从紧下层解码信号存储部111输出的紧下层的解码信号，执行加权运动推定，生成运动矢量，将该运动矢量信息向加权运动补偿部106输出。本部分的详细结构在图15中表示(后述)。 

加权运动补偿部106：读入从相关增强层解码信号存储部110输出的被参照帧的解码信号、以及从紧下层解码信号存储部111输出的紧下层的解码信号，执行加权运动补偿，生成预测信号，将该预测信号向预测残差信号生成部107输出。本部分的详细结构在图16中表示(后述)。 

预测残差信号生成部107：读入编码对象帧的原信号、以及从画面内预测部102或无权重运动预测部103或层间预测部104或加权运动补偿部106输出的预测信号，生成其差分信号，向预测残差信号编码部108输出。 

预测残差信号编码部108：读入从预测残差信号生成部107输出的预测残差信号，进行编码处理，作为编码数据进行输出。此外，为了同时将该编码数据向解码部109输入，进行缓冲。作为该预测残差信 号的编码处理的一个例子，可以举出非专利文献3所示的JSVM的正交变换、量化、可变长度编码的一系列的处理的应用。 

解码部109：从上述缓冲器读入编码数据，进行解码处理，将得到的解码信号向相关增强层解码信号存储部110输出。在该解码处理中应用本发明的解码处理。进行解码处理的解码装置的详细在图14中表示(后述)。 

紧下层解码信号存储部111：读入通过紧下层的编码信息的解码处理得到的解码信号，向缓冲器输出。 

在图14表示本发明的解码装置。图14是针对相关增强层的一个宏块的解码装置图。 

预测模式解码部201：读入与相关宏块的预测模式相关的编码数据，进行其解码处理，向预测模式存储部202输出预测模式信息。 

预测方法判定部203：从预测模式存储部202读入预测模式信息，按照该指定信息，作为连接目的地，在画面内预测的情况下选择画面内预测部204，在无权重的通常的运动预测的情况下选择无权重运动预测部205，在层间预测的情况下选择层间预测部206，在加权运动预测的情况下选择运动矢量信息解码部207。 

画面内预测部204，读入编码对象帧的原信号和解码信号，执行画面内预测并制作预测信号，将该预测信号向解码信号生成部213输出。 

无权重运动预测部205：读入编码对象帧的原信号和被参照帧的解码信号，执行不加权的通常的运动预测并制作预测信号，将该预测信号向解码信号生成部213输出。 

层间预测部206：读入编码对象帧的原信号和紧下层的解码信号，执行层间预测并制作预测信号，将该预测信号向解码信号生成部213输出。 

运动矢量信息解码部207：读入与相关宏块的运动矢量相关的编码数据，进行其解码处理，向运动矢量信息存储部208输出运动矢量信息。 

加权运动补偿部209：读入从相关增强层解码信号存储部214输出的被参照帧的解码信号、以及从紧下层解码信号存储部210输出的紧下层的解码信号，执行加权运动补偿，生成预测信号，将该预测信号向解码信号生成部213输出。本部分的详细结构在图16中表示(后述)。 

紧下层解码信号存储部210：读入通过紧下层的编码信息的解码处理得到的解码信号，向缓冲器写入。 

残差信号解码部211：读入与相关宏块的残差信号相关的编码数据，进行其解码处理，向残差信号存储部212输出残差信号。 

解码信号生成部213：读入从画面内预测部204或无权重运动预测部205或层间预测部206或加权运动补偿部209输出的预测信号，将其与从残差信号存储部212读入的残差信号进行合成，生成解码信号，向外部输出。此外，同时也将解码信号写入相关增强层解码信号存储部214。 

在图15表示图13所示的加权运动推定部105的装置结构例。图15是针对相关增强层的一个宏块的加权运动推定装置图。 

探索对象块设置部301：读入作为相关增强层解码信号的、被参照帧的解码信号，决定成为运动推定的探索对象的宏块，将该宏块的解码信号向权重系数计算部302输出。 

权重系数计算部302：读入从探索对象块设置部301输出的探索对象宏块的解码信号、和紧下层的块的解码信号，计算表示两块间的亮度变化的权重系数，向权重系数存储部303输出。 

加权运动推定信号生成部304：从权重系数存储部303读入权重系数，通过权重系数对该探索对象块的解码信号进行校正，将该校正信号向加权运动推定信号存储部305输出。 

编码成本计算部306：从加权运动推定信号存储部305读入加权运动推定信号，进行相对于相关宏块的原信号的编码成本的计算，将该编码成本向编码成本存储部307输出。 

探索完成判定部308：进行如下判定处理，即是否针对指定的全部探索范围内进行了相关宏块的被参照帧内的加权运动推定的探索的判定处理，在为真的情况下将被参照块决定部309作为连接目的地进行选择，在为假的情况下选择探索对象块设置部301。 

被参照块决定部309，从编码成本存储部307读入针对全部探索对象宏块的编码成本数据组，将编码成本最小的探索对象宏块决定为被参照块，将该被参照块和相关宏块的坐标位置的差分作为运动矢量信息进行输出。 

图16中表示图13所示的加权运动补偿部106和图14所示的加权 运动补偿部209的装置结构例。图16是针对相关增强层的一个宏块的加权运动补偿装置图。 

被参照块信号设置部401：读入作为相关增强层解码信号的被参照帧的解码信号、和运动矢量信息，决定被参照宏块，将该宏块的信号向权重系数计算部402输出。 

该运动矢量信息，在本加权运动补偿部设置在编码装置内的情况下从加权运动推定部105(图13)赋予，在设置在解码装置内的情况下从存储解码后的运动矢量信息的运动矢量信息存储部208(图14)赋予。 

权重系数计算部402：读入从被参照块信号设置部401输出的被参照宏块的解码信号、和紧下层的块的解码信号，计算表示两块间的亮度变化的权重系数，向权重系数存储部403输出。再有，在编码处理的加权运动补偿的情况下，将在图13所示的加权推定处理部105计算的权重系数、与运动矢量信息一起存储，将该权重系数向权重系数存储部403输出也可。 

加权运动预测信号生成部404：从权重系数存储部403读入权重系数，通过权重系数对被参照块的解码信号进行校正，将该校正信号向加权运动预测信号存储部405输出。 

图17表示图15所示的权重系数计算部302和图16所示权重系数计算部402的装置结构例。图17是针对相关增强层的一个宏块的权重系数计算装置图。 

权重系数计算方法判定部501：按照通过外部指定的相关宏块的权重系数计算方法，与执行相关计算处理的处理部连接。 

作为权重系数计算方法的指定信息从外部赋予的一个例子，可以考虑作为编码处理的设定条件首先进行规定，在图像参数组内进行确保的方法，或通过多通道处理按条带的每一个选择最优的方法。 

双预测均方误差最小化规范权重系数校正处理部502：读入2个被校正宏块的解码信号和校正对象宏块的紧下层的解码信号，使用最小二乘法计算权重系数，进行输出。在图18中表示本部分的详细的装置图。本处理按照上述数式(16)和数式(17)。 

双预测直流成分规范权重系数校正处理部503：读入2个被校正宏块的解码信号和校正对象宏块的紧下层的解码信号，使用它们的直流 成分的值计算权重系数，进行输出。在图19中表示本部分的详细的装置图。本处理按照上述数式(13)～数式(15)。 

单一帧预测均方误差最小化规范权重系数处理部504：读入1个被校正宏块的解码信号和校正对象宏块的紧下层的解码信号，对使由被校正宏块的解码信号构成的校正信号、和校正对象宏块的紧下层的解码信号的均方误差成为最小的权重系数进行计算、输出。本处理按照上述数式(8)和数式(9)。 

单一帧预测直流成分规范比例系数校正处理部505：读入1个被校正宏块的解码信号和校正对象宏块的紧下层的解码信号，计算各块的直流成分，将两直流成分的比作为比例系数进行计算并输出。本处理按照上述数式(4)和数式(5)。 

单一帧预测直流成分规范偏置校正处理部506：读入1个被校正宏块的解码信号和校正对象宏块的紧下层的解码信号，计算各块的直流成分，将两直流成分的差作为偏置系数进行计算并输出。本处理按照上述数式(6)和数式(7)。 

图18表示图17所示的双预测均方误差最小化规范权重系数校正处理部502的装置结构例。以下，参照图18说明双预测均方误差最小化规范权重系数校正处理部502进行的处理 

联立方程式建立部601：从缓冲器读入紧下层的宏块的解码信号和2个被校正宏块的解码信号，建立赋予由2个被校正宏块的解码信号(被参照解码信号)构成的校正信号和紧下层的宏块的解码信号的最小均方误差的联立方程式，向联立方程式求解部602输出。 

联立方程式求解部602：输入从联立方程式建立部601输出的联立方程式，求取该联立方程式的解，计算比例系数和偏置系数，进行输出。作为联立方程式的解的求取方法的一个例子，考虑Gauss消去法。本处理按照上述数式(16)和数式(17)。 

图19表示图17所示的双预测直流成分规范权重系数校正处理部503的装置结构例。以下，参照图19说明双预测直流成分规范权重系数校正处理部503进行的处理 

紧下层解码信号直流成分计算部701：从缓冲器读入紧下层的宏块的解码信号，计算其直流成分，写入寄存器。 

被参照解码信号1直流成分计算部702：从缓冲器读入1个被校正 宏块的解码信号，计算其直流成分，写入寄存器。 

被参照解码信号2直流成分计算部702：从缓冲器读入与在被参照解码信号1直流成分计算部702处理的被校正宏块不同的另一方的被校正宏块的解码信号，计算其直流成分，写入寄存器。 

比例系数计算部704：读入参照帧号码，计算比例系数，向比例系数存储部705输出。 

偏置系数计算部706：从寄存器输入各直流成分，从比例系数存储部705输入比例系数，计算偏置系数，向偏置系数存储部707输出。偏置系数的计算方法按照上述数式(13)～数式(15)。 

图20表示图17所示的单一帧预测均方误差最小化规范权重系数处理部504的装置结构例。以下，参照图20说明单一帧预测均方误差最小化规范权重系数处理部504进行的处理 

联立方程式建立部801：从缓冲器读入紧下层的宏块的解码信号和被校正宏块的解码信号，建立赋予由被校正宏块的解码信号构成的校正信号和紧下层的宏块的解码信号的最小均方误差的联立方程式，向联立方程式求解部802输出。 

联立方程式求解部802：读入从联立方程式建立部801输出的联立方程式，求取该联立方程式的解，计算比例系数和偏置系数，进行输出。作为联立方程式的解的求取方法的一个例子，考虑Gauss消去法。本处理按照上述数式(8)和数式(9)。 

图21表示图17所示的单一帧预测直流成分规范比例系数校正处理部505的装置结构例。以下，参照图21说明单一帧预测直流成分规范比例系数校正处理部505进行的处理。 

紧下层解码信号直流成分计算部901：从缓冲器读入紧下层的宏块的解码信号，计算其直流成分，写入寄存器。 

被参照解码信号直流成分计算部902：从缓冲器读入被校正宏块的解码信号，计算其直流成分，写入寄存器。 

比例系数计算部903：从寄存器读入2个直流成分的值，将两直流成分的比作为比例系数进行计算、输出。本处理按照上述数式(4)和数式(5)。 

图22表示图17所示的单一帧预测直流成分规范偏置校正处理部506的装置结构例。以下，参照图22说明单一帧预测直流成分规范偏 置校正处理部506进行的处理 

紧下层解码信号直流成分计算部1001：从缓冲器读入紧下层的宏块的解码信号，计算其直流成分，写入寄存器。 

被参照解码信号直流成分计算部1002：从缓冲器读入被校正宏块的解码信号，计算其直流成分，写入寄存器。 

偏置系数计算部1003：从寄存器读入2个直流成分的值，将两直流成分的差作为偏置系数进行计算、输出。本处理按照上述数式(6)和数式(7)。 

以上说明的活动图像可分级编码和解码的处理，不仅能够通过硬件或固件实现，也能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质上进行提供，或通过网络进行提供。 

[实验] 

为了验证本发明的效果，对JSVC参照软件JSVM8.0(参照非专利文献3)使用本发明的方法，进行本方法和JSVM的隐式模式的比较。其中，两方法均在解码器进行了多回路解码(multi-loop decoding)。此外，两方法均将运动推定限定为整数精度进行实施。根据以上条件，对渐变图像和闪光图像验证了效果。 

在以下，在双预测B条带的权重系数的计算方法中，表示作为[方法2-1]说明了的双预测中的使用直流成分块的权重系数校正的实验例，但在使用本发明的其它方法的情况下，也能同样地得到良好的结果。 

<对渐变图像的验证结果> 

表2表示实验条件。 

[表2] 

表2：针对渐变图像的实验条件 

序列	City，Foreman，Soccer
		帧数量	33帧(混入有白色淡入)
分辨率	(BL)QCIF(EL)CIF
		帧速率	30 fps
GOP	16(Hierarchical B)
		QP	21，24，27，30
WP	(P条带)off(B条带)on

使用在3种JSVC标准图像中赋予了33枚白的淡入的图像(渐变 (混合)图像)。白的淡入混合图像以下式方式制作。

g(t)＝(1-f(t))a(t)利(t)b(t) 

在这里，g(t)是渐变混合图像，a(t)是白的单一色图像，b(t)是原图像，f(t)是混合系数的计算函数。 

在本实验中，在f(t)中，预备了以f(t)＝t/T进行变化的线性渐变，和以f(t)＝(t/T)²进行变化的二次(quadratic)渐变这两种。T表示渐变区间。编码对象作为渐变部分的33枚，1帧对应于1条带。 

表3表示实验结果。 

[表3] 

表3：针对渐变图像的B图像的编码性能 

作为性能评价的指标，使用下述文献所示的Bjontegaard Delta(文献：G.Bjontegaard：“Calculation of average PNSR differences between RD-curves”，ITU-T SG16 Q.6，VCEG，VCEG-M33，pp.1-4，2001)。这是计算2个RD曲线间的码量和PSNR(Peak Signal to Noise Ratio，峰值信号噪声比)的差分值的一个方法。 

在表3中，将B图像中的来自JSVM的(本发明的方法的情况下的)码量增加率作为BD-bit，将PSNR增加量作为BD-snr。在线性渐变的图像中，实现了平均0.59％的码量削减，0.019dB的SN比改善，在二次渐变的图像中，实现了平均4.92％的码量削减，0.166dB的SN比改善。 

在图23中，表示赋予了二次渐变的JSVC标准图像“City”中的B图像的BD-bit的时间的变化。 

此外，在图24中，表示“City”的渐变混合图像的平均光亮度值(Ave.of Lum.)和将其混合图像以QP(量化参数)24进行编码时的平均偏置系数(Ave.of Offset)的时间的变化。 

由于采用阶层的B图像结构，所以越是时间水平低的B帧，与参 照图像的光亮度变化越从线性乖离，本方法的效果变高。 

从图23的结果也能够确认在时间水平低的B帧中，实现了超过10％的大的码量削减。 

此外，根据图24，在这样的情况下，偏置系数的值也计算出非零的值，证明了偏置系数能够良好地校正光亮度变化。 

<对闪光图像的验证结果> 

作为闪光图像使用JSVC标准图像的Crew，进行300枚的编码。GOP(group of pictures，图像组)为8。其它实验条件以表2记载的条件进行。 

图25中表示闪光图像的B图像的BD-bit的时间的变化，图26中表示原图像的平均光亮度值和以QP24进行编码时的平均偏置系数的时间的变化。 

在图26中，平均光亮度值急剧变化的帧，是包含闪光的帧(以下，称为闪光帧)。此外，本发明的不应用隐式模式的帧的偏置系数为零。 

观察图25，可知相对于闪光帧及其附近，实现了大约10％左右(最大36.2％)的码量削减。序列的B图像整体的BD-bit是-1.14％，BD-snr是0.043dB。 

当核对光亮度信号和偏置系数时，可知与BD-bit的推移同样地，在闪光帧及其附近，计算出非零的偏置系数。 

对闪光帧分配光亮度的增加量的正的偏置系数。其附近是预测参照闪光帧的帧，光亮度高的闪光帧的参照带来的从线性预测的乖离，通过负的偏置系数进行校正。 

可知计算出的偏置系数对闪光图像也良好地校正了光亮度变化。 

产业上的利用可能性 

根据本发明，由于能够以任意的局部区域单位进行权重系数的计算，所以即使在由于移动物体的影子等而图像内的一部分的亮度变化的情况下，通过不传输权重系数的隐式模式，能够执行精度高的加权运动预测。 

此外，即使在以前仅为显式模式的P条带和B条带的L0/L1预测的情况下，也能够通过隐式模式执行加权运动预测。 

此外，通过进行考虑了紧下层的明亮度信息的校正，即使在包含 闪光的图像或非线性变化的渐变图像那样的、编码/解码处理对象帧和多个预测参照帧之间的明亮度变化是非线性的图像中，也能够以隐式模式执行精度高的加权运动预测。通过以上的加权运动预测的性能提高，可预期编码效率的提高。 

Claims (32)

1.一种活动图像可分级编码方法，根据低空间分辨率的紧下层信号，使用内插处理对高空间分辨率的上位层信号进行预测并编码，该活动图像可分级编码方法具有：

在按规定单位的图像区域的每一个，对上位层的编码对象图像区域和被参照图像区域间的运动进行推定的探索处理时，计算第一权重系数的步骤，其中，该第一权重系数基于紧下层的与编码对象图像区域在空间的相同位置存在的图像区域、和被参照图像区域间的亮度变化；

将通过所述第一权重系数对所述被参照图像区域的解码信号进行校正后的信号作为运动推定中的推定信号进行运动的推定，计算运动矢量的步骤；

读入计算出的运动矢量，计算第二权重系数的步骤，其中，该第二权重系数基于该运动矢量所指的被参照图像区域、和紧下层的与编码对象图像区域在空间的相同位置存在的图像区域之间的亮度的变化；以及

将以所述第二权重系数对所述运动矢量所指的被参照图像区域的解码信号进行校正后的信号作为运动补偿中的补偿信号，作为所述编码对象图像区域的预测信号的步骤。

2.根据权利要求1所述的活动图像可分级编码方法，其中，

在计算所述第一、第二权重系数的步骤中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分的比看作比例系数，将偏置系数作为零，由此计算所述第一、第二权重系数。

3.根据权利要求1所述的活动图像可分级编码方法，其中，

在计算所述第一、第二权重系数的步骤中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分的差分看作偏置系数，将比例系数作为1，由此计算所述第一、第二权重系数。

4.根据权利要求1所述的活动图像可分级编码方法，其中，

在计算所述第一、第二权重系数的步骤中，在所述被参照图像区域是一个的情况下，计算所述第一、第二权重系数，以使均方误差成为最小，其中，所述均方误差是对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正被参照图像区域的解码信号时的校正信号的均方误差。

5.根据权利要求1所述的活动图像可分级编码方法，其中，

在计算所述第一、第二权重系数的步骤中，在所述被参照图像区域是二个的情况下，对应于编码对象图像区域和各被参照图像区域的帧间距离计算比例系数，从紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分，将二个被参照图像区域的直流成分乘以比例系数后的值减去，由此计算偏置系数，作为所述第一、第二权重系数。

6.根据权利要求1所述的活动图像可分级编码方法，其中，

在计算所述第一、第二权重系数的步骤中，在所述被参照图像区域是二个的情况下，设定所述第一、第二权重系数，以使均方误差成为最小，其中，所述均方误差是对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正二个被参照图像区域的解码信号时的校正信号的均方误差。

7.根据权利要求2和3任一项所述的活动图像可分级编码方法，其中，

代替所述紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分，利用如下任一成分，进行所述第一、第二权重系数的计算：

对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分；

使用被参照图像区域、和其紧下层的图像区域的直流成分的关系性，对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用被参照图像区域、和对其紧下层的图像区域进行上采样后图像区域的直流成分的关系性，对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用被参照图像区域、和其紧下层的图像区域的直流成分的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分校正后的成分；以及

使用被参照图像区域、和对其紧下层的图像区域进行上采样后的图像区域的直流成分的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分校正后的成分。

8.根据权利要求5所述的活动图像可分级编码方法，其中，

代替所述紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分，利用如下任一成分，进行所述第一、第二权重系数的计算：

对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分；

使用任一个被参照图像区域、和其紧下层的图像区域的直流成分的关系性，对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用任一个被参照图像区域、和对其紧下层的图像区域进行上采样后图像区域的直流成分的关系性，对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用任一个被参照图像区域、和其紧下层的图像区域的直流成分的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分校正后的成分；以及

使用任一个被参照图像区域、和对其紧下层的图像区域进行上采样后的图像区域的直流成分的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分校正后的成分。

9.根据权利要求4所述的活动图像可分级编码方法，其中，

代替对所述紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号，利用如下任一信号，进行所述第一、第二权重系数的计算：

使用被参照图像区域、和其紧下层的图像区域的解码信号的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号；以及

使用被参照图像区域、和对其紧下层的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号。

10.根据权利要求6所述的活动图像可分级编码方法，其中，

代替对所述紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号，利用如下任一信号，进行所述第一、第二权重系数的计算：

使用任一个被参照图像区域、和其紧下层的图像区域的解码信号的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号；以及

使用任一个被参照图像区域、和对其紧下层的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号的关系性，将对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号。

11.一种活动图像可分级解码方法，根据低空间分辨率的紧下层信号，使用内插处理对高空间分辨率的上位层信号进行预测并解码，该活动图像可分级解码方法具有：

按规定单位的图像区域的每一个对编码数据进行解码，读入解码后的运动矢量，计算权重系数的步骤，其中，该权重系数基于在上位层的解码对象图像区域的紧下层的空间的相同位置存在的图像区域、和所述运动矢量所指的被参照图像区域间的亮度变化；以及

将以所述权重系数对所述运动矢量所指的被参照图像区域的解码信号进行校正后的信号作为运动补偿的补偿信号，作为所述解码对象图像区域的预测信号的步骤。

12.根据权利要求11所述的活动图像可分级解码方法，其中，

在计算所述权重系数的步骤中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分的比看作比例系数，将偏置系数作为零，由此计算所述权重系数。

13.根据权利要求11所述的活动图像可分级解码方法，其中，

在计算所述权重系数的步骤中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分的差分看作偏置系数，将比例系数作为1，由此计算所述权重系数。

14.根据权利要求11所述的活动图像可分级解码方法，其中，

在计算所述权重系数的步骤中，在所述被参照图像区域是一个的情况下，计算所述权重系数，以使均方误差成为最小，其中，所述均方误差是对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正被参照图像区域的解码信号时的校正信号的均方误差。

15.根据权利要求11所述的活动图像可分级解码方法，其中，

在计算所述权重系数的步骤中，在所述被参照图像区域是二个的情况下，对应于解码对象图像区域和各被参照图像区域的帧间距离计算比例系数，从在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分，将二个被参照图像区域的直流成分乘以比例系数后的值减去，由此计算偏置系数，作为所述权重系数。

16.根据权利要求11所述的活动图像可分级解码方法，其中，

在计算所述权重系数的步骤中，在所述被参照图像区域是二个的情况下，计算所述权重系数，以使均方误差成为最小，其中，所述均方误差是对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正二个被参照图像区域的解码信号时的校正信号的均方误差。

17.根据权利要求12和13的任一项所述的活动图像可分级解码方法，其中，

代替在所述解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分，利用如下任一成分，进行所述权重系数的计算：

对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分；

使用被参照图像区域、和其紧下层的图像区域的直流成分的关系性，对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用被参照图像区域、和对其紧下层的图像区域进行上采样后的图像区域的直流成分的关系性，对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用被参照图像区域、和其紧下层的图像区域的直流成分的关系性，将对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分校正后的成分；以及

使用被参照图像区域、和对其紧下层的图像区域进行上采样后的图像区域的直流成分的关系性，将对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域进行上采样后的图像区域的成分校正后的成分。

18.根据权利要求15所述的活动图像可分级解码方法，其中，

代替在所述解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分，利用如下任一成分，进行所述权重系数的计算：

对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分；

使用任一个被参照图像区域及其紧下层的图像区域的直流成分的关系性，对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用任一个被参照图像区域、和对其紧下层的图像区域进行上采样后的图像区域的直流成分的关系性，对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分进行校正后的成分；

使用任一个被参照图像区域、和其紧下层的图像区域的直流成分的关系性，将对在解码对象图像的紧下层的空间的相同位置存在的图像区域进行上采样后的图像区域的直流成分校正后的成分；以及

使用任一个被参照图像区域、和对其紧下层的图像区域进行上采样后的图像区域的直流成分的关系性，将对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域进行上采样后的图像区域的成分校正后的成分。

19.根据权利要求14所述的活动图像可分级解码方法，其中，

代替对在所述解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号，利用如下任一信号，进行所述权重系数的计算：

使用被参照图像区域及其紧下层的图像区域的解码信号的关系性，将对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号；以及

使用被参照图像区域、和对其紧下层的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号的关系性，将对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号。

20.根据权利要求16所述的活动图像可分级解码方法，其中，

代替对在所述解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号，利用如下任一信号，进行所述权重系数的计算：

使用任一个被参照图像区域及其紧下层的图像区域的解码信号的关系性，将对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号；以及

使用任一个被参照图像区域、和对其紧下层的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号的关系性，对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号校正后的信号。

21.一种活动图像可分级编码装置，根据低空间分辨率的紧下层信号，使用内插处理对高空间分辨率的上位层信号进行预测并编码，该活动图像可分级编码装置具有：

在按规定单位的图像区域的每一个，对上位层的编码对象图像区域和被参照图像区域间的运动进行推定的探索处理时，计算第一权重系数的单元，其中，该第一权重系数基于紧下层的与编码对象图像区域在空间的相同位置存在的图像区域、和被参照图像区域间的亮度变化；

将通过所述第一权重系数对所述被参照图像区域的解码信号进行校正后的信号作为运动推定中的推定信号进行运动的推定，计算运动矢量的单元；

读入计算出的运动矢量，计算第二权重系数的单元，其中，该第二权重系数基于该运动矢量所指的被参照图像区域、和紧下层的与编码对象图像区域在空间的相同位置存在的图像区域之间的亮度的变化；以及

将以所述第二权重系数对所述运动矢量所指的被参照图像区域的解码信号进行校正后的信号作为运动补偿中的补偿信号，作为所述编码对象图像区域的预测信号的单元。

22.根据权利要求21所述的活动图像可分级编码装置，其中，

在计算所述第一、第二权重系数的单元中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分的比看作比例系数，将偏置系数作为零，由此计算所述第一、第二权重系数。

23.根据权利要求21所述的活动图像可分级编码装置，其中，

在计算所述第一、第二权重系数的单元中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分的差分看作偏置系数，将比例系数作为1，由此计算所述第一、第二权重系数。

24.根据权利要求21所述的活动图像可分级编码装置，其中，

在计算所述第一、第二权重系数的单元中，在所述被参照图像区域是一个的情况下，计算所述第一、第二权重系数，以使均方误差成为最小，其中，所述均方误差是将紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正被参照图像区域的解码信号时的校正信号的均方误差。

25.根据权利要求21所述的活动图像可分级编码装置，其中，

在计算所述第一、第二权重系数的单元中，在所述被参照图像区域是二个的情况下，对应于编码对象图像区域和各被参照图像区域的帧间距离计算比例系数，从紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的直流成分，将二个被参照图像区域的直流成分乘以比例系数后的值减去，由此计算偏置系数，作为所述第一、第二权重系数。

26.根据权利要求21所述的活动图像可分级编码装置，其中，

在计算所述第一、第二权重系数的单元中，在所述被参照图像区域是二个的情况下，设定所述第一、第二权重系数，以使均方误差成为最小，其中，所述均方误差是对紧下层的与编码对象图像区域在空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正二个被参照图像区域的解码信号时的校正信号的均方误差。

27.一种活动图像可分级解码装置，根据低空间分辨率的紧下层信号，使用内插处理对高空间分辨率的上位层信号进行预测并解码，该活动图像可分级解码装置具有：

按规定单位的图像区域的每一个对编码数据进行解码，读入解码后的运动矢量，计算权重系数的单元，其中，该权重系数基于在上位层的解码对象图像区域的紧下层的空间的相同位置存在的图像区域、和所述运动矢量所指的被参照图像区域间的亮度变化；以及

将以所述权重系数对所述运动矢量所指的被参照图像区域的解码信号进行校正后的信号作为运动补偿的补偿信号，作为所述解码对象图像区域的预测信号的单元。

28.根据权利要求27所述的活动图像可分级解码装置，其中，

在计算所述权重系数的单元中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分的比看作比例系数，将偏置系数作为零，由此计算所述权重系数。

29.根据权利要求27所述的活动图像可分级解码装置，其中，

在计算所述权重系数的单元中，在所述被参照图像区域是一个的情况下，将被参照图像区域的直流成分、和在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分的差分看作偏置系数，将比例系数作为1，由此计算所述权重系数。

30.根据权利要求27所述的活动图像可分级解码装置，其中，

在计算所述权重系数的单元中，在所述被参照图像区域是一个的情况下，计算所述权重系数，以使均方误差成为最小，其中，所述均方误差是对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正被参照图像区域的解码信号时的校正信号的均方误差。

31.根据权利要求27所述的活动图像可分级解码装置，其中，

在计算所述权重系数的单元中，在所述被参照图像区域是二个的情况下，对应于解码对象图像区域和各被参照图像区域的帧间距离计算比例系数，从在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的直流成分，将二个被参照图像区域的直流成分乘以比例系数后的值减去，由此计算偏置系数，作为所述权重系数。

32.根据权利要求27所述的活动图像可分级解码装置，其中，

在计算所述权重系数的单元中，在所述被参照图像区域是二个的情况下，计算所述权重系数，以使均方误差成为最小，其中，所述均方误差是对在解码对象图像区域的紧下层的空间的相同位置存在的图像区域的解码信号以相关层的空间分辨率进行上采样后的信号、和通过权重系数校正二个被参照图像区域的解码信号时的校正信号的均方误差。

Images