CN107071410A - 预测图像生成装置 - Google Patents

预测图像生成装置 Download PDF

Info

Publication number
CN107071410A
CN107071410A CN201611048718.3A CN201611048718A CN107071410A CN 107071410 A CN107071410 A CN 107071410A CN 201611048718 A CN201611048718 A CN 201611048718A CN 107071410 A CN107071410 A CN 107071410A
Authority
CN
China
Prior art keywords
weight coefficient
image
motion
vector
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611048718.3A
Other languages
English (en)
Inventor
猪饲知宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN107071410A publication Critical patent/CN107071410A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

动图像解码装置(1)具备的帧间预测图像生成部(16)包含：加权系数计算部(16b)，其在设解码图像P1与解码图像P2之间的帧间距离为td，设解码图像P1与解码图像P之间的距离为tb的情况下，按照0＜|w2‑0.5|＜|tb/td‑0.5|的方式来设定加权系数w2的值。

Description

预测图像生成装置
本申请是申请日为2011年04月28日、申请号为201180033380.3、发明名称为“预测图像生成装置、动图像解码装置、以及动图像编码装置”的发明专利申请的分案申请。
技术领域
本发明涉及一种根据各解码图像来生成移动补偿图像，并对生成的各移动补偿图像的加权平均值附加补偿值(offset)，从而生成预测图像的预测图像生成装置。还涉及具备此类预测图像生成装置的动图像解码装置及动图像编码装置。
背景技术
为了高效地传送或存储动图像，人们广泛使用对动图像进行编码的动图像编码装置、及对动图像进行解码的动图像解码装置。具代表性的动图像解码方式例如有H.264/MPEG-4.AVC(非专利文献1)、及KTA(Key Technical Areas)软件中采用的编码格式等。KTA是VCEG(Video Coding Expert Group)用来共同开发的编解码器。
这些编码格式是以阶层构造来管理构成动图像的各图片的。该阶层构造包括：分割图片而得的像条、分割像条而得的宏块、分割宏块而得的像块。
动图像编码装置是以像块为单位来编码动图像的，具体为：(1)针对每一像块，对从原图像中减去预测图像后而得的预测残差，进行DCT变换(Discrete Cosine Transform：离散余弦变换)；(2)对获得的DCT系数进行量化；(3)对经量化了的DCT系数进行可变长编码。并不是对原图像进行DCT变换、量化、编码，而是对预测残差进行DCT变换、量化、编码。这样，通常便能实现编码量的削减。
动图像编码装置还对经量化了的DCT系数进行逆量化/逆DCT变换，从而获得局部解码图像，并根据该局部解码图像来生成上述预测图像。预测图像的生成方法有画面间预测(帧间预测)和画面内预测(帧内预测)。动图像编码装置针对每一宏块，选择要对其采用哪种预测方法。
帧内预测时，针对每个像区(partition)，根据与该像区同属同一图片的已完成编码/解码的其他像区(以下称“参照像区”)内的局部解码图像，通过外推法来生成各个像区的预测图像。而帧间预测时，针对每个像区，根据与该像区所属的图片不同的已完成编码/解码的其他图像(以下称“参照图像”)，通过移动补偿预测来生成各个像区的预测图像。在此，像区是分割宏块而得的预测单位。
此外，关于H.264/MPEG-4.AVC格式下的帧间预测，可以通过加权预测来获得要从编码对象图像中减掉的预测图像。在加权预测中，根据参照图像(局部解码图像)P1及P2而分别生成移动补偿图像mc1及mc2，接着求mc1与mc2的加权平均值w1×mc1+w2×mc2，并对该加权平均值附加补偿值。加权预测有明模式(Explicit模式)和暗模式(Implicit模式)，动图像编码装置可以逐个针对每一像区，选择要采用哪种模式。
明模式时，由动图像编码装置对加权系数w1及w2进行编码，由动图像解码装置对加权系数w1及w2进行解码。而暗模式时，动图像编码装置和动图像解码装置均根据预测对象图像(若是动图像编码装置，则指编码对象图像；若是动图像解码装置，则指解码对象图像)P与参照图像(若是动图像编码装置，则指局部解码图像；若是动图像解码装置，则指解码图像)P1、P2之间的帧间距离，来设定加权系数w1及w2。具体方法如下：设参照图像P1与参照图像P2间的帧间距离为td，设参照图像P1与预测对象图像P间的距离为tb，并将加权系数w2的值定为tb/td，将加权系数w1的值定为1-w2，加权系数w2用于与根据参照图像P2生成的移动补偿图像mc2相乘，加权系数w1用于与根据参照图像P1生成的移动补偿图像mc1相乘。
若实施暗模式的加权预测，也就是若将加权系数w1及w2的值定为w1＝1-w2、w2＝tb/td，那么与不实施加权预测的方案相比，也就是与将加权系数w1及w2的值定为w1＝w2＝0.5的方案相比，能生成高精度(与编码对象图像间的差较小)的预测图像。由此，与不进行加权预测的方案相比，能够削减编码量。
[现有技术文献]
非专利文献1：“Recommendation ITU-T H.264”，TelecommunicationStandardization Sector of ITU，03/2009
发明内容
[本发明所要解决的课题]
然而本发明的发明人发现：使用现有的暗模式加权预测时，有些序列(sequence)的编码量反而会增大。具体为，本发明的发明人针对广泛用于评价编码性能的23种序列，就施以了暗模式加权预测后的编码量削减率作了评价，结果发现被称为“BQTerrace”、“mobile”、“Raven”的3种序列的编码量反而会增大。
图20表示的是实施了暗模式加权预测后的编码量削减率的评价结果。在此，“实施了暗模式加权预测后的编码量削减率”是指：设不实施加权预测(即，将加权系数w1及w2的值定为w1＝w2＝0.5)时的编码量为A，设实施了暗模式加权预测(即，将加权系数w1及w2的值定为w1＝1-w2、w2＝tb/td)后的编码量为B，然后以百分率来表达(A-B)/A这一比值。在此，A及B是经过了标准化的编码量，该标准化使SN比(PSNR)在不实施加权预测的方案与实施暗模式加权预测的方案之间得到了一致。
暗模式加权预测中，有减弱编码噪音(量化噪音)消除效果的这一副作用。通常，移动补偿图像mc1和mc2中含有相等的编码噪音，因此只要将加权系数w1及w2定为相同的值，并取加权平均值w1×mc1+w2×mc2，就能使两者的编码噪音相互抵消。然而，若将加权系数w1及w2的值定为w1＝1-w2、w2＝tb/td，编码噪音就无法充分相互抵消而会残留在预测图像中。因此，经暗模式加权预测后的编码量是否能得到削减，取决于以下两者间的大小关系：(1)预测精度的提高所带来的编码量减少度；(2)编码噪音的残留所致的编码量增加度。
暗模式加权预测的加权系数最适合(预测精度最高)用来就图像减弱(fade)及图像淡化(dissolve)等中发生的平稳性时间变化进行补偿。因此，若时间变化较平稳，那么预测精度的提高所带来的编码减少量就会超越编码噪音的残留所致的编码增加量，从而全体上的编码量可得到减少。而若时间变化不平稳，那么预测精度的提高所带来的编码减少量就会低于编码噪音的残留所致的编码增加量，从而全体上的编码量可能会增加。可见上述3种序列的编码增加量就是因以上的机制而导致的。
本发明是鉴于上述课题而研发的，目的在于提供一种预测图像生成装置以及预测图像生方法，以针对时间变化不平稳的序列，降低其编码量发生增加的可能性，实现高效且稳定的编码。在该预测图像生成装置以及预测图像生方法中，对根据各参照图像而生成的移动补偿图像的加权平均值加算补偿(offset)值，以生成预测图像。
[用以解决课题的技术方案]
本发明的预测图像生成装置具备：移动补偿图像生成单元，其将解码图像P1及P2分别作为参照图像来生成与解码图像P对应的移动补偿图像mc1及mc2；加权系数设定单元，其设定要分别与上述移动补偿图像生成单元生成的移动补偿图像mc1及mc2相乘的加权系数w1及w2的值；预测图像生成单元，其使用上述加权系数设定单元设定的加权系数w1及w2，来计算上述移动补偿图像生成单元生成的移动补偿图像mc1及mc2的加权平均值w1×mc1+w2×mc2，并向该加权平均值加算补偿值，由此生成与解码图像P对应的预测图像Pred。
另外，本发明的预测图像生成方法包含：移动补偿图像生成步骤，将解码图像P1及P2分别作为参照图像来生成与解码图像P对应的移动补偿图像mc1及mc2；加权系数设定步骤，设定要分别与上述移动补偿图像生成步骤中生成的移动补偿图像mc1及mc2相乘的加权系数w1及w2的值；预测图像生成步骤，使用上述加权系数设定步骤中设定的加权系数w1及w2，来计算上述移动补偿图像生成步骤中生成的移动补偿图像mc1及mc2的加权平均值w1×mc1+w2×mc2，并向该加权平均值加算补偿值，由此生成与解码图像P对应的预测图像Pred。
为解决上述的课题，本发明的预测图像生成装置的特征在于：在设解码图像P1与解码图像P2之间的帧间距离为td，设解码图像P1与解码图像P之间的距离为tb的情况下，上述加权系数设定单元按照0＜|w2-0.5|＜|tb/td-0.5|的方式来设定加权系数w2的值。
另外，为解决上述的课题，本发明的预测图像生成方法的特征在于：在上述加权系数设定步骤中，设解码图像P1与解码图像P2之间的帧间距离为td，设解码图像P1与解码图像P之间的距离为tb，并按照0＜|w2-0.5|＜|tb/td-0.5|的方式来设定加权系数w2的值。
由于在上述方案中是按照0＜|w2-0.5|＜|tb/td-0.5|的方式来设定加权系数w2的，因此：(1)与不考虑帧间距离而将加权系数w2的值定为0.5的方案相比，能生成高精度的预测图像；(2)与仅考虑帧间距离来将加权系数w2的值定为tb/td的方案相比，能生成编码噪音低的预测图像。因此，上述方案的效果在于能降低以下情况的发生可能性，该情况为：在对从编码对象图像中减去预测图像后而得的预测残差进行编码时，预测处理中的编码量发生增加。
最终与移动补偿图像mc2相乘的加权系数w2只要满足0＜|w2-0.5|＜|tb/td-0.5|这一条件即可。例如，对于使用整数系数W1及W2来算出加权平均值W1×mc1+W2×mc2，并通过向该加权平均值加算补偿值来获得像素值，然后用该像素值除以常数C来获得预测图像的像素值的这类方案而言，加权系数w2＝W2/C只要满足0＜|w2-0.5|＜|tb/td-0.5|这一条件即可。
在此，上述补偿值也可以设为0。即，实质上不加算补偿值的方案也包含在本发明的范畴内。
[发明效果]
本发明的效果在于能降低以下情况的发生可能性，该情况为：在对从编码对象图像中减去预测图像后而得的预测残差进行编码时，预测处理中的编码量发生增加。
附图说明
图1是第1实施方式的动图像解码装置的结构框图。
图2是被图1所示动图像解码装置所解码的编码数据的结构图，(a)表示编码数据的图像层结构；(b)表示图像层中的像条层的结构；(c)表示像条层中的宏块层的结构；(d)表示宏块层中的要被施以帧间预测的像区的像区层结构；(e)表示宏块层中的要被施以帧内预测的像区的像区层结构。
图3是图1所示动图像解码装置的帧间预测图像生成部的结构框图。
图4是参照帧与预测对象帧之间的位置关系例的示意图。
图5的图表所表达的是帧间距离的比为0.2时及0.8时的、与每种像区尺寸一一对应的加权系数。
图6是参照帧和预测对象帧之间的位置关系、与时间t的关系例的示意图。
图7是第1实施方式的动图像编码装置的结构框图。
图8是图7所示动图像编码装置的帧间预测图像生成部的结构框图。
图9是，图7的动图像编码装置所编码出的编码数据中的、每种序列的编码量削减率的图表。
图10是第2实施方式的动图像解码装置的结构框图。
图11是图10所示动图像解码装置的帧间预测图像生成部的结构框图。
图12表示的是移动向量mv1以及移动向量mv2的一个例子，其中移动向量mv1被用在以参照图像L0为参考的移动补偿处理中，移动向量mv2被用在以参照图像L1为参考的移动补偿处理中。
图13是第2实施方式的动图像编码装置的结构框图。
图14是图13所示动图像编码装置的帧间预测图像生成部的结构框图。
图15是第3实施方式的动图像解码装置的结构框图。
图16是图15所示动图像解码装置的帧间预测图像生成部的结构框图。
图17表示的是移动向量mv1以及移动向量mv2的一个例子，其中移动向量mv1被用在以参照图像L0为参考的移动补偿处理中，移动向量mv2被用在以参照图像L1为参考的移动补偿处理中。
图18是第3实施方式的动图像编码装置的结构框图。
图19是图18所示动图像解码装置的帧间预测图像生成部的结构框图。
图20是以H.264/MPEG-4.AVC规格下的暗模式来编码的编码数据中的、每种序列的编码量削减率的图表。
[附图标记说明]
1 动图像解码装置
16 帧间预测图像生成部(预测图像生成装置)
16a 参照值计算部
16b 加权系数计算部(加权系数设定单元)
16c 移动补偿部(移动补偿图像生成单元)
16d 预测图像生成部(预测图像生成单元)
2 动图像编码装置
26 帧间预测图像生成部(预测图像生成装置)
26a 参照值计算部
26b 加权系数计算部(加权系数设定单元)
26c 移动补偿部(移动补偿图像生成单元)
26d 预测图像生成部(预测图像生成单元)
27 移动向量检测部
具体实施方式
〔实施方式1〕
(编码数据的结构)
在说明本实施方式的动图像编码装置2以及动图像解码装置1之前，先说明一下由动图像编码装置2生成，且被动图像解码装置1解码的编码数据的数据结构。由动图像编码装置2生成，且被动图像解码装置1解码的编码数据具有阶层构造。该阶层构造中包括：序列层、图像组(Group Of Pictures)层、图像层、像条层、以及宏块层。
图2表示了图像层以下的阶层的编码数据结构。图2的(a)～(f)分别表示了图像层P的构造、像条层S的构造、宏块层MB的构造、宏块头MBH的构造、帧间预测像区的预测参数PP的构造、以及帧内预测像区的预测参数PP的构造。
图像层P是动图像解码装置1为了解码出相应的图像而要参照的数据集合。如图2的(a)所示，图像层P包含图像头PH以及像条层S1～SNs(Ns是包含在图像层P中的像条层的总数)。
图像头PH中含有：动图像解码装置1为了定出相应图像的解码方法而要参照的编码参数群。例如，关于动图像编码装置2进行编码时所用的可变长度编码模式，表达该可变长度编码模式的编码模式信息(entoropy_codig_mode_flag)便是图像头PH中所含的一例编码参数。
图像层P中所含的各像条层S是动图像解码装置1为了解码出相应的像条而要参照的数据集合。如图2的(b)所示，像条层S包含像条头SH以及宏块层MB1～MBNm(Nm是包含在像条层S中的宏块层的总数)。
像条头SH包含：动图像解码装置1为了定出相应像条的解码方法，而要参照的编码参数群。作为像条头SH所含的编码参数的例子，有：(1)像条类型指定信息(slice_type)，其用以指定像条类型；(2)POC(Picture Order Count)指定信息(pic_order_cnt_lbs、delta_pic_order_cnt等)，其用以指定含相应像条的图像的显示序位(POC)；(3)加权系数指定信息(pred_weight_table)，其用以指定动图像编码装置2在编码时所用过的加权系数。
在此，关于像条类型指定信息所能够指定的像条类型，例如有以下类型等：(1)在编码时仅被施以帧内预测的I型像条；(2)在编码时被施以单向预测或帧内预测的P型像条；(3)在编码时被施以单向预测、或双向预测、或帧内预测的B型像条。
像条层S中所含的各宏块层MB，是动图像解码装置1为了对相应的宏块进行解码而要参照的数据群。如图2的(c)所示，宏块层MB包含跳过标识SKIP、宏块头MBH、预测参数PP1～PPNP、以及量化预测误差QD1～QDNb。在此，Np代表相应宏块内所含的像区(预测单位)的总数，Nb代表相应宏块内所含的像块(变换单位)的总数。当跳过标识SKIP的值为1时，也就是当相应宏块是跳过宏块时，该宏块层中的宏块头MBH、预测参数PP1～PPNP、以及量化预测误差QD1～QDNb则省略。
宏块头MBH包含：动图像解码装置1为了定出相应宏块的解码方法，而要参照的编码参数群。具体如图2的(d)所示，包含：宏块类型指定信息MBT(mb_type)，其用以指定相应宏块的宏块类型；CBP(coded_block_pattern)，其用以指定编码像块的模式；量化参数差分Δqp(mb_qp_delta)，其用以表达量化步幅(step)的大小。宏块类型指定信息MBT包含预测单位指定信息PT以及变换单位指定信息TT。
预测单位指定信息PT用以指定：将相应宏块分割成像区(预测单位)时的分割模式、以及动图像编码装置2在生成各像区的预测图像时所用过的预测方法(L0单向预测、L1单向预测、双向预测等)。像区是16×16像素、8×8像素、或4×4像素的正方形区域，或是16×8像素、8×16像素、8×4像素、或4×8像素的长方形区域。另一方面，变换单位指定信息TT用以指定将相应宏块分割成像块(变换单位)时的分割模式。该像块是16×16像素、8×8像素、或4×4像素的正方形区域。
在此，虽然例举了将16×16像素的正方形区域定为宏块时的像区，但并不限定于此。例如，对于64×64像素的宏块而言，像区也允许是64×64像素或32×32像素的正方形区域，或是64×32像素、32×64像素、32×16像素、或16×32像素的长方形区域。
量化参数差分Δqp是指，相应宏块的量化参数qp与该宏块的前一已编码宏块的量化参数qp’之间的差分qp-qp’。
宏块层MB所含的各量化预测残差QDn，是由动图像编码装置2对相应宏块施以下述处理1～3后而生成的编码数据。处理1：对从编码对象图像中减去预测图像后而得的预测残差，进行DCT变换(Discrete Cosine Transform：离散余弦变换)。处理2：对处理1中获得的DCT系数进行量化。处理3：对经处理2而得以量化的DCT系数，进行可变长编码。上述量化参数qp表达的是，动图像编码装置2在对DCT系数进行量化时所用过的量化步幅QP的大小(QP＝2pq/6)。
关于宏块层MB所含预测参数PP当中的、涉及帧间预测像区的预测参数PP，如图2的(e)所示那样包含参照图像索引RI、推定移动向量索引PMVI、移动向量残差MVD。其中，所述帧间预测像区的预测图像是经帧间预测而生成的。
移动向量残差MVD，是由动图像编码装置2执行下述处理4～6而生成的编码数据。处理4：选出已编码/已解码的局部解码图像，然后参照所选出的已编码/已解码的局部解码图像(以下也称“参照图像“)，导出与相应像区相对应的移动向量mv。处理5：选出推定方法，然后运用选出的推定方法，导出要分配给相应像区的、移动向量mv的推定值(以下也称“推定移动向量”)pmv。处理6：从处理4所导出的移动向量mv中减去处理5所导出的推定移动向量pmv，从而获得移动向量残差MVD，然后对该移动向量残差MVD进行编码。
上述参照图像索引RI用以指定处理4中被选出的已编码/已解码的局部解码图像(参照图像)。上述推定移动向量索引PMVI用以指定处理5中被选出的推定方法。关于处理5中所能选用的推定方法，例如可以例举以下方法等。方法(1)：在编码过程中/解码过程中的局部解码图像内，把分配给与相应像区邻接的像区(以下也称“邻接像区”)的移动向量的中值，作为推定移动向量pmv。方法(2)：在已编码/已解码的局部解码图像内，把分配给与相应像区呈相同占位的像区(通常被称为“搭配像区”)的移动向量，作为推定移动向量pmv。
另外，关于要被施以单向预测的像区，其所涉及的预测参数PP如图2的(e)所示那样包含：1个参照图像索引RI、1个推定移动向量索引PMVI、1个移动向量残差MVD。而关于要被施以双向预测(加权预测)的像区，其所涉及的预测参数PP包含：RI1及RI2这2个参照图像索引、PMVI1及PMVI2这2个推定移动向量索引、MVD1及MVD2这2个移动向量残差。
关于宏块层MB所含预测参数PP当中的、涉及帧内预测像区的预测参数PP，其如图2的(f)所示那样包含预测模式标识PMF以及预测模式码PMC，其中，所述帧内预测像区的预测图像是经帧内预测来生成的。若相应像区的预测模式与根据邻接像区推定出的预测模式相一致，预测模式标识PMF的取值则为1，若不一致，该取值则为0。预测模式码PMC是被编码了的预测模式指定信息，其用于指定相应像区的预测模式。若预测模式标识PMF的值为1，则省略预测模式码PMC。
(动图像解码装置1)
以下，根据图1～图6来说明本实施方式的动图像解码装置1。动图像解码装置1的一部分结构中包含H.264/MPEG-4.AVC的技术、以及KTA软件中采用的技术。
图1是动图像解码装置1的结构框图。如图1所示，动图像解码装置1具备可变长码解码部13、移动向量复原部14、缓存15、帧间预测图像生成部16、帧内预测图像生成部17、预测方式决定部18、逆量化·逆变换部19、加算器20。动图像解码装置1通过对编码数据#1进行解码，来生成动图像#2。
可变长码解码部13从编码数据#1中解码出各像区所涉及的预测参数PP。即，对于帧间预测像区，从编码数据#1中解码出参照图像索引RI、推定移动向量索引PMVI、以及移动向量残差MVD，并将它们提供给移动向量复元部14。而对于帧内预测像区，从编码数据#1中解码出预测模式指定信息，并将其提供给帧内预测图像生成部17。另外，可变长码解码部13从编码数据中解码出宏块类型指定信息MBT，并将其提供给预测方式决定部18(省略图示)。可变长码解码部13还从编码数据#1中解码出各像块所涉及的量化预测残差QD、以及与包含该像块的宏块相关的量化参数差分Δqp，并将它们提供给逆量化·逆变换部19。
移动向量复元部14根据各帧间预测像区所涉及的移动向量残差MVD、以及与其他像区相关的已复原移动向量mv’，复原出与该帧间预测像区相关的移动向量mv。具体如下：(1)依照推定移动向量索引PMVI所指定的推定方法，根据已被复原的移动向量mv’，导出推定移动向量pmv；(2)将导出的推定移动向量pmv与移动向量残差MVD相加，从而获得移动向量mv。在此，可以从缓存15中读取出与其他像区相关的已复原移动向量mv’。移动向量复原部14将复原出的移动向量mv、以及与mv对应的参照图像索引RI，一同提供给帧间预测图像生成部16。在此，关于要被施以双向预测(加权预测)的帧间预测像区，移动向量复原部14是将复原出的mv1及mv2这2个移动向量、以及与mv1及mv2相对应的RI1及RI2这2个参照图像索引，一同提供给帧间预测图像生成部16的。
帧间预测图像生成部16用以生成各帧间预测像区的移动补偿图像mc。具体为，利用移动向量复原部14提供的移动向量mv，根据移动向量复原部14提供的参照图像索引RI所指定的解码图像P’，生成移动补偿图像mc。在此，解码图像P’是完成了解码的已解码图像。构成解码图像P’的各像素的像素值可以由帧间预测图像生成部16从缓存15中读取出。帧间预测图像生成部16生成的移动补偿图像mc作为帧间预测图像Pred_Inter，而被提供给预测方式决定部18。另外，对于要被施以双向预测(加权预测)的帧间预测像区，进行的是以下步骤：(1)利用移动向量mv1，且根据参照图像索引RI1所指定的解码图像P1，生成移动补偿图像mc1；(2)利用移动向量mv2，且根据参照图像索引RI2所指定的解码图像P2，生成移动补偿图像mc2；(3)对移动补偿图像mc1与移动补偿图像mc2的加权平均值附加补偿值，从而生成帧间预测图像Pred_Inter。关于此时要与mc1及mc2这2个移动补偿图像相乘的加权系数w1及w2的设定方法等，将在后文中通过附图来说明。
帧内预测图像生成部17用以生成各帧内预测像区的预测图像Pred_Intra。具体为，使用可变长码解码部13提供的预测模式指定信息所指定的预测模式，根据解码图像P来生成出预测图像Pred_Intra。在此，解码图像P是解码尚未全部完成即解码过程中的解码图像。在构成解码图像P的像素当中，属于已解码像块的各像素的像素值可以由帧内预测图像生成部17从缓存15中读取出。帧内预测图像生成部17生成的帧内预测图像Pred_Intra被提供给预测方式决定部18。
预测方式决定部18根据宏块类型指定信息MBT，判断各像区是应施以帧间预测的帧间预测像区，还是应施以帧内预测的帧内预测像区。若是前者，则将帧间预测图像生成部16生成的帧间预测图像Pred_Inter作为预测图像Pred，而提供给加算器20。若是后者，则将帧内预测图像生成部17生成的帧内预测图像Pred_Intra作为预测图像Pred，而提供给加算器20。
逆量化·逆变换部19进行以下处理：(1)对量化预测残差QD进行逆量化；(2)对经逆量化而得的DCT系数进行逆DCT变换(Discrete Cosine Transform)；(3)将经逆DCT变换而得的预测残差D提供给加算器20。另外，在对量化预测残差QD进行逆量化时，逆量化·逆变换部19根据可变长码解码部13提供的量化参数差分Δqp，来导出量化步幅QP。通过将量化参数差分Δqp加算到前一已完成逆量化/逆DCT变换的宏块所涉及的量化参数qp’上，便能导出量化参数qp。而量化步幅QP可根据量化步幅qp，按照QP＝2pq/6来导出。
加算器20对预测方式决定部18提供的预测图像Pred、和逆量化·逆变换部19提供的预测残差D进行相加，由此生成出解码图像P。加算器20生成的解码图像P在被输出到外部的同时，还与可变长码解码部13从编码数据中解码出的POC指定信息一起，以相互对应的方式被存入缓存15。
(帧间预测图像生成部16)
以下，根据图3来说明帧间预测图像生成部16的结构。图3是帧间预测图像生成部16的结构框图。如图3所示，帧间预测图像生成部16具备参照值计算部16a、加权系数计算部16b、移动补偿部16c、以及预测图像生成部16d。在此，帧间预测图像生成部16既能进行单向预测，又能进行双向预测。以下说明其进行双向预测(加权预测)时的技术方案。
参照值计算部16a从缓存15中读取出与参照图像索引RI1及RI2指定的解码图像P1及P2(以下称“参照图像L0及L1”)相对应的POC指定信息，从而特定出参照图像L0及L1的显示序位POC_L0及POC_L1。接着，根据参照图像L0及L1的显示序位POC_L0及POC_L1、以及解码过程中的解码图像P的显示序位POC_cur，算出帧间距离td及tb，并将它们提供给加权系数计算部16b。帧间距离td是：含参照图像L0的帧、与含参照图像L1的帧之间的帧间距离。帧间距离tb是：含参照图像L0的帧、与含解码过程中的解码图像P的帧之间的帧间距离。帧间距离td及tb的具体算法将后述。
加权系数计算部16b根据参照值计算部16a算出的帧间距离td及tb，算出加权系数w1及w2，并将它们提供给预测图像生成部16d。加权系数w1及w2的算法将后述。
移动补偿部16c从缓存15中读出参照图像索引RI1及RI2所指定的参照图像L0(解码图像P1)及L1(解码图像P2)。接着，分别根据参照图像L1及L0，且分别用移动向量mv1及mv2来进行移动补偿处理，从而生成移动补偿图像mc1及mc2，并将移动补偿图像mc1及mc2提供给预测图像生成部16d。移动补偿图像mc1及mc2的生成方法将后述。
预测图像生成部16d使用加权系数计算部16b算出的加权系数w1及w2、移动补偿部16c生成的移动补偿图像mc1及mc2，生成出帧间预测图像Pred_Inter，并将其输出。
(帧间预测图像Pred_Inter的生成)
以下，通过图4来说明帧间预测图像生成部16所进行的帧间预测图像Pred_Inter的生成处理。
参照值计算部16a使用参照图像L0的显示序位POC_L0、以及解码过程中的解码图像P的显示序位POC_cur，依照下式(1)来算出帧间距离tb。
tb＝POC_cur-POC_L0 (1)
同样地，参照值计算部16a使用参照图像L0的显示序位POC_L0、以及参照图像L1的显示序位POC_L1，依照下式(2)来算出帧间距离td。
td＝POC_L1-POC_L0 (2)
但帧间距离tb及帧间距离td也可以按照下式(3)及(4)来算出。
tb＝abs(POC_cur-POC_L0) (3)
td＝abs(POC_cur-POC_L1)+abs(POC_cur-POC_L0) (4)
其中，“abs(……)”指给括号内的值取绝对值。即，式(1)及式(2)所表达的帧间距离tb和帧间距离td均能取负值，但式(3)及式(4)所表达的帧间距离tb和帧间距离td均仅取正值。
在此，虽然是使用显示序位POC来计算tb、td，但采用显示时刻、显示时间段等这类能供计算/推定帧间距离(时间差)的其他信息时，也能实现同样的处理。例如，可以设显示时刻为T，并将POC_cur、POC_L0、POC_L1分别替换成T_cur(解码过程中的解码图像P的显示时刻)、T_L0(参照图像L0的显示时刻)、T_L1(参照图像L1的显示时刻)，这样便能算出tb、td。并不限于使用POC，使用其同类信息时，也能适用于后述的方案。
加权系数计算部16b根据参照值计算部16a算出的帧间距离tb及帧间距离td，算出加权预测时所要用的加权系数w1及w2。关于加权系数w1及w2的具体计算处理例，将通过后述“具体例1-1”～“具体例1-5”来说明。
移动补偿部16c根据参照图像L0，且使用移动向量mv1进行移动补偿处理，从而生成移动补偿图像mc1。同样地，移动补偿部16c根据参照图像L1，且使用移动向量mv2进行移动补偿处理，从而生成移动补偿图像mc2。
即，根据式(5)、式(6)来生成移动补偿图像mc1的各像素值mc1(x，y)、以及移动补偿图像mc2的各像素值mc2(x，y)。
mc1(x，y)＝L0(x+mv1x，y+mv1y) (5)
mc2(x，y)＝L1(x+mv2x，y+mv2y) (6)
其中，(x，y)表示移动补偿图像mc1及移动补偿图像mc2中对象像素的坐标。(mv1x，mv1y)表示移动向量mv1的x成分及y成分，(mv2x，mv2y)表示移动向量mv2的x成分及y成分。另外，L0(x，y)表示参照图像L0中坐标(x，y)上的像素值，L1(x，y)表示参照图像L1中坐标(x，y)上的像素值。
在把要与移动补偿图像mc1的各像素值相乘的加权系数设为w1，把要与移动补偿图像mc2的各像素值相乘的加权系数设为w2的情况下，预测图像生成部16d运用式(7)来生成帧间预测图像Pred_Inter的各像素的像素值pred(x，y)。
pred(x，y)＝w1×mc1(x，y)+w2×mc2(x，y)+o (7)
其中，o代表补偿值，(x，y)代表对象像素的坐标。另外，加权系数w1及w2代表满足w1+w2＝1的加权系数。
(加权系数的计算处理的具体例)
以下说明加权系数计算部16b对加权系数w1及w2进行的计算处理的具体例。
加权系数计算部16b进行以下例举的“具体例1-1”～“具体例1-5”中任一方的计算处理，以算出要与式(7)中各移动补偿图像的各像素值相乘的加权系数w1及w2。无论哪个具体例，加权系数w1与w2间的比值均比(1-tb/td)∶(tb/td)接近1∶1。即，0＜|w2-0.5|＜|tb/td-0.5|。
(具体例1-1)
以下说明加权系数计算部16b对加权系数w1及w2进行的计算处理的第1例。
在本例中，加权系数计算部16b参照帧间距离而求得的加权系数w1与w2间的比值若与1∶1相差甚远，则加权系数w1及w2取为预先给定的值，若该比值接近1∶1，则采用帧间距离的比值。
加权系数计算部16b，使用参照值计算部16a按照式(1)及式(2)、或式(3)及式(4)所算出的帧间距离tb及帧间距离td，依照式(8)及式(9)来计算加权系数w1及w2。
w2＝clip3(th1，th2，tb/td) (8)
w1＝1-w2 (9)
其中，clip3(变量(argument)1，变量2，变量3)是具有如下意义的函数：若变量3的值小于变量1(变量1＞变量3)，则取变量1；若变量3的值大于变量2(变量2＜变量3)，则取变量2；若变量3的值在变量1以上变量2以下(变量1≤变量3≤变量2)，则取变量3。即，clip3(变量1，变量2，变量3)表达的是用两个不同阈值(变量1及变量2)来限定值范围的剪切(clip)处理。
因此，当tb/td的值小于th1时，加权系数w2则取th1；当tb/td的值大于th2时，加权系数w2则取th2；当tb/td的值在th1以上th2以下时，加权系数w2则取tb/td的值。
th1及th2是剪切处理中的下限阈值及上限阈值。th1及th2的设定值是预先定好的可使编码效率达到最佳的值。在本例中，虽然设th1＝0.33，th2＝0.67，但只要满足th1＜0.5＜th2，则无特别限定。
根据本发明的发明者的见解，当帧间距离的比值tb/td接近0.5时，也就是当参照图像L0与预测对象图像(解码过程中的解码图像)间的间距、和参照图像L1与预测对象图像间的间距之比接近1∶1时，预测图像中发生的噪音有进而降低的倾向。另一方面，例如若画面中显示的客体(objcet)进行的是匀速运动，那么当把帧间距离的比值用作加权系数时，预测精度就有提高的倾向。但即使是将帧间距离的比值用作加权系数，若帧间距离的比值与0.5相差甚远，那么预测图像中发生的噪音就会增大，导致出现编码效率下降的问题。
加权系数计算部16b在进行本例的动作时，将帧间距离的比值用作加权系数来提高预测精度；而当帧间距离的比与0.5相差甚远时，则进行上述的剪切处理，从而能抑制噪音的增大。
因此，在具备了与进行本例动作的加权系数计算部16b相同的单元的动图像编码装置2中，与后述图9所示的虽将帧间距离的比值用作加权系数但不进行剪切处理的方案相比，能够生成编码效率高的编码数据。
另外，在具备了进行本例动作的加权系数计算部16b的动图像解码装置1中，能够对如此生成的高编码效率的编码数据，恰当地进行解码。
加权系数也可以通过整数来表达。此时，式(8)及式(9)可以与预先给定的整数相乘，由此来算出加权系数w1及w2。另外，可以用预先给定的整数来除式(7)，由此来算出帧间预测图像的各像素值。
也就是说，加权系数w1及w2能通过以下式(8’)及式(9’)来算出。
w2a＝(64×tb+td/2)/td
w2＝clip3(th×64，th2×64，w2a) (8’)
w1＝64-w2 (9’)
其中，w2a是为了计算w2而使用的临时变量。
式(8’)及式(9’)是通过对式(8)及式(9)乘以64而得的，但与式(8)及式(9)相乘的值并不限定于此，该值是随位深度而变更的值。
在本例中，由于取th1＝0.33，th2＝0.67，因此式(8’)表达为w2＝clip3(21，43，tb/td)。此时，与预先给定的整数相乘后而得的值若是小数，则令小数点后一位四舍五入而转换成整数表达方式，因此剪切处理的变量1及变量2的值为整数。
另外，帧间预测图像可以用经式(8’)及式(9’)而算出的加权系数w1及w2，通过以下式(7’)来生成。
pred(x，y)＝(w1×mc1(x，y)+w2×mc2(x，y)+o)/64 (7’)
(具体例1-2)
以下说明加权系数计算部16b对加权系数w1及w2进行的计算处理的第2例。
在本例中，首先，进行使帧间距离的比值tb/td接近于0.5的处理，然后使用经该处理后的值(参照帧间距离的比而算出的值)来计算加权系数w2。
具体为，加权系数计算部16b使用参照值计算部16a算出的帧间距离tb及帧间距离td，通过式(10)及式(11)来计算加权系数w2。
w2b＝{(tb/td-0.5)×r+0.5} (10)
w2＝clip3(th1，th2，w2b) (11)
其中，w2b是为计算w2而用的临时变量。根据式(10)，明显可知w2b取的是比赋予值tb/td接近于0.5的值。另外，式(10)中的r是常数，其规定w2b的取值以何种程度比赋予值tb/td接近于0.5。另外，与具体例1-1同样，th1及th2是剪切处理中所用的阈值。r、th1、及th2的具体值是为了使编码效率达到最佳而预先设定好的。在本例中，虽然设r＝3/4，th1＝0.33，th2＝0.67，但只要满足0＜r＜1且th1＜0.5＜th2，则无特别限定。
加权系数计算部16b使用经式(10)及式(11)而算出的加权系数w2，依照式(9)来计算加权系数w1。
像这样，加权系数计算部16b利用取值比赋予值tb/td接近于0.5的w2b，通过施以剪切处理来算出w2。
加权系数计算部16b在进行本例的动作时，即使tb/td的值低于阈值th1，或即使tb/td的值大于阈值th2，也能求得在阈值th1以上阈值th2以下的加权系数w2。例如，若设r＝3/4，th1＝0.33，th2＝0.67，tb/td＝0.3，那么根据式(10)算出的w2b的值则为w2b＝0.35，其是大于阈值th1的值。因此，经剪切处理后的值w2也为w2＝0.35。
使帧间距离的比值tb/td接近于0.5的处理并不限于利用式(10)，也可以采用其他式子。例如可以采用3次函数等高次函数、S型函数(sigmoid function)、逻辑函数等。此外，也可根据tb/td而从表(table)中抽取接近于0.5的值，由此导出w2。
像这样，相比于具体例1-1，本例能求取比给予值tb/td接近0.5的加权系数w2，因此能发挥进一步降低预测图像中产生的噪音的效果。
另外，通过预先实施使帧间距离的比值tb/td接近于0.5的处理，变量w2b的取值落入剪切处理的下限阈值以上且上限阈值以下的这一范围内的可能性便得到提高，从而能算出更有效反映帧间距离的比值的加权系数w2，所以能进一步降低预测误差。由于加权系数w2经该处理后接近于0.5，因此加权系数w1也成为接近于0.5的值。即，加权系数w1与加权系数w2的比值接近1∶1，因此能进而有效地抑制噪音所致的编码效率下降。
(具体例1-3)
以下说明加权系数计算部16b对加权系数w1及w2进行的计算处理的第3例。
在本例中，根据像区尺寸来设定剪切处理的下限阈值及上限阈值，由此计算加权系数w1及w2。在此，像区尺寸是指预测对象像区(要被生成预测图像的像区)的像区尺寸。加权系数计算部16b能通过参照可变长码解码部13解码出的宏块类型指定信息MBT，来特定出预测对象像区的像区尺寸。
加权系数计算部16b使用参照值计算部16b算出的帧间距离tb及帧间距离td，依照式(12)来计算加权系数w2。
w2＝clip3(th1’，th2’，tb/td) (12)
其中，th1’及th2’是剪切处理中所用的、随像区尺寸而变化的下限阈值及上限阈值。例如，若像区尺寸是16×16像素以上，则将(th1’，th2’)设定为(0.30，0.70)；若像区尺寸是16×8或8×16像素，则将(th1’，th2’)设定为(0.35，0.65)；若像区尺寸是8×8像素，则将(th1’，th2’)设定为(0.40，0.60)；若像区尺寸是8×4或4×8像素，则将(th1’，th2’)设定为(0.45，0.55)；若像区尺寸是4×4像素，则将(th1’，th2’)设定为(0.50，050)。
即，剪切处理中所用的上限阈值与下限阈值间的差，与像区尺寸呈正相关。
加权系数计算部16b使用算出的加权系数w2，依照式(9)算出加权系数w1。
根据本发明的发明者的见解，随像区尺寸的不同，其最佳的加权系数也有不同的倾向。在此，所谓最佳加权系数是指在动图像解码装置1中根据最小二乘法导出的、使原图像与解码图像间误差的平方值达到最小的加权系数。
具体为，若像区尺寸较大，则使加权系数w1与加权系数w2间的比值接近于帧间距离的比值，这样，预测图像中发生的预测误差就有降低的倾向。另一方面，若像区尺寸较小，则使加权系数w1与加权系数w2间的比值接近于1∶1，这样，预测图像中发生的噪音就有降低的倾向。
在使用本例中生成的加权系数w1及w2的情况下，若像区尺寸较大，加权系数w1与w2间的比值则接近于帧间距离的比值，因此预测图像中发生的预测误差可得到进一步降低。若像区尺寸较小，加权系数w1与w2间的比值则接近于1∶1，因此能降低噪音。如此，能生成误差小的预测图像，从而能提高编码效率。
在本例中，剪切处理所用的与像区尺寸相对应的下限阈值th1’及上限阈值th2’并不限于是上述的值，它们也能设定成供生成误差较低的预测图像的最佳值。像区尺寸较大时，也可以采用不实施剪切的方法。
(具体例1-4)
以下说明加权系数计算部16b对加权系数w1及w2进行的计算处理的第4例。
在本例中，采用持公共分母的有理数系数，将与像区尺寸相对应的加权系数w1及w2近拟成上述最佳加权系数。
加权系数计算部16b使用参照值计算部16a算出的帧间距离tb及帧间距离td，依照式(13)来计算加权系数w2。在此，若假定r1＝r2，则式(13)可变形成(tb/td-0.5)×r1+0.5，也就是变成与式(10)相同的形式。
w2＝(tb/td)×r1+0.5×r2 (13)
其中，r1及r2是用以近拟成最佳加权系数的、持公共分母的有理数系数。图5表示了每种像区尺寸所对应的、以最小二乘法而定的最佳加权系数。根据图5所示的图表，例如可按照以下方法来设定各像区尺寸所对应的系数r1及r2。
即，若像区尺寸为16×16像素以上，则将(r1，r2)设定成(14/16，2/16)；若像区尺寸为16×8或8×16像素，则将(r1，r2)设定成(10/16，6/16)；若像区尺寸为8×8像素，则将(r1，r2)设定成(6/16，10/16)；若像区尺寸为8×4或4×8像素，则将(r1，r2)设定成(4/16，12/16)；若像区尺寸为4×4像素，则将(r1，r2)设定成(2/16，14/16)。
在此，虽然示出了公共分母为16的例子，但毫无疑问，也可将其他自然数用作公共分母。
(具体例1-5)
以下说明加权系数计算部16b对加权系数w1及w2进行的计算处理的第5例。
本例中，通过对误差进行模型化来求取最佳加权系数。在此，用orig来代表解码图像的像素值，并设orig＝s。另外，预测图像的像素值pred表达如下：pred＝w1×mc1+(1-w1)×mc2。其中，mc1及mc2代表移动补偿图像的像素值。
本例中，设想误差是由发生的噪音所导致的。用噪音所致的误差n1及n2，将移动补偿图像的像素值mc1及mc2表达如下：mc1＝s+n1、mc2＝s+n2。
于是，通过以下的式子来算出使误差E达到最小的最佳加权系数。在此，假设误差不受时间的影响，且设n1×n2＝0。
E＝|orig-pred|2
＝|s-w1×mc1-(1-w1)×mc2|2
＝|s-(w1+1-w1)×s+w1×n1+(1-w1)×n2|2
＝|w1×n1+(1-w1)×n2|2
＝w12×n12+(1-w1)2×n22+2×w1×n1×(1-w1)×n2
在此，设n12＝N1，n22＝N2，n1×n2＝0，则
＝N1×w12+N2×(1-w1)2
＝(N1+N2)×w12-2×N2×w1+N2
就w1，对误差E进行微分，则有
上式中令(dE/dw1)＝0，由此得出下式(14)来表达使误差E达到最小的w1。
通过式(14)可知，若误差是由发生的噪音所导致，且该误差不受时间的影响，那么mc1中发生的误差N1越大，加权系数w1就越小。在此，若设mc1中发生的误差与mc2中发生的误差相等，也就是若假设N1＝N2，则加权系数w1＝0.5。另外，通过式(9)，可得出加权系数w2＝0.5。即，加权系数w1与w2的比值为1∶1。
由此，若误差是由发生的噪音所导致，且该误差不受时间的影响，那么加权系数间比值为1∶1的加权系数w1及w2就可以说是最佳加权系数。
此外，另假设稳态时间变化会导致发生误差，并用下式来表达预测图像的像素值pred：pred＝w1×mc1+(1-w1)×mc2。其中，mc1及mc2代表移动补偿图像的像素值。使用固定时间带内发生的误差nc，将时间变化所致的误差n1及n2表达如下：n1＝nc×t1，n2＝nc×t2。其中，t1及t2代表的是与预测对象图像(解码过程中的解码图像)间的时间差。图6表示了参照帧和预测对象帧间的位置关系、与时间t的关系例。在图6中，当以预测对象图像为始点(t＝0)时，t1代表预测对象图像之前的时间(t1＜0)，t2代表预测对象图像之后的时间(t2＞0)。
于是，通过下式来计算使误差E达到最小的最佳加权系数。
E＝|orig-pred|2
＝|s-w1×mc1-(1-w1)×mc2|2
＝|s-(w1+1-w1)×s+w1×n1+(1-w1)×n2|2
＝|w1×n1+(1-w1)×n2|2
在此，设n1＝nc×t1，n2＝nc×t2，nc2＝NC，则
＝|w1×nc×t1+(1-w1)×nc·t2|2
＝NC|w1×t1+(1-w1)×t2|2
＝NC|w1×(t1-t2)+t2|2
就w1，对误差E进行微分，则有
上式中令(dE/dw1)＝0，由此得出下式(15)来表达使误差E达到最小的w1。
将上式(15)代入式(9)，则能用下式(16)来表达加权系数w2。
另外，在图6中，t1-t2相当于td，t1相当于tb，因此加权系数w2可表达成：w2＝tb/td。由此，当误差是随稳态时间变化而发生的误差时，则以帧间距离的比值来表达加权系数w1及w2，因此可以说上述加权系数是最佳加权系数。
在此，就匀速运动的显示图像而言，H.264/MPEG-4.AVC的implicit_mode下所用的加权系数是通过参照帧与预测帧间的帧间距离的比值来表达的。
也就是说，当误差是随稳态时间变化而发生的误差时，用式(15)及式(16)求得的最佳加权系数w1及w2的值可以说是等于以H.264/MPEG-4.AVC的implicit_mode来求取的加权系数w1及w2的值。
另外，若误差由不受时间变化影响的成分、以及受稳态时间变化影响的成分所构成，则此时的最佳加权系数的估算方法如下。
首先，设orig＝s，pred＝w1×mc1+(1-w1)×mc2，并使用噪音及时间变化所导致的误差n1及n2，将移动补偿图像的像素值mc1及mc2表达如下：mc1＝s+n1，mc2＝s+n2。在此，使用固定时间带内发生的误差nc、以及与预测对象图像之间的时间差t1及t2、还有噪音所导致的误差nd1、nd2，将n1及n2表达如下：n1＝nc×t1+nd1，n2＝nc×t2+nd2。
于是，通过下式来计算使误差E达到最小的最佳加权系数。
E＝|orig-pred|2
＝|s-w1×mc1-(1-w1)×mc2|2
＝|s-(w1+1-w1)×s+w1×n1+(1-w1)×n2|2
＝|w1×n1+(1-w1)×n2|2
在此，设n1＝nc×t1+nd1，n2＝nc×t2+nd2，则
＝|w1×(nc×t1+nd1)+(1-w1)×(nc×t2+nd2)|2
在此，又设nc2＝NC，nd12＝ND1，nd22＝ND2，nc×(1-w1)×nd1＝0，则
＝w12(NC×t12+ND1)+(1-w1)2×(NC×t22+ND2)+2w1×(1-w1)×NC×t1×t2
就w1，对误差E进行微分，则有
其中，k1及k2各自取为k1＝ND1/NC，k2＝ND2/NC。
上式中令(dE/dw1)＝0，由此得出下式(17)来表达使误差E达到最小的w1。
将上式(17)代入式(9)，则能用下式(18)来表达加权系数w2。
当不存在噪音所致的误差(k1＝k2＝0)时，用式(17)及式(18)求得的加权系数w1及w2的值，就等于以H.264/MPEG-4.AVC的implicit_mode求取的加权系数w1及w2的值。另一方面，当不存在时间变化(t1＝t2＝0)时，可知加权系数w1与w2间的比值等于噪音所致误差的比值。
由此，通过使用经式(17)及式(18)而算出的加权系数w1及w2，能降低噪音所致的误差，还能生成误差较低的预测图像。
另外，通过模型来算出的加权系数，比暗模式(Implicit模式)下求出的加权系数w2＝tb/td接近于0.5。
通过上述的方法，能够生成编码效率优越的编码数据。因此，根据如此生成的编码数据，能生成出误差少的解码图像。
另外，若误差包含受非稳态时间变化影响的成分，则此时的最佳加权系数的估算方法如下。
首先，设orig＝s，pred＝w1×mc1+(1-w1)×mc2，并用噪音以及时间变化所导致的误差n1及n2，将移动补偿图像的像素值mc1及mc2表达如下：mc1＝s+n1，mc2＝s+n2。在此，用不受时间影响的成分nc1及nc2、还有与预测对象图像间的时间差t1及t2，将n1及n2表达如下：n1＝nc1×t1，n2＝nc2×t2。
此时，误差E可表达如下。
E＝|orig-pred|2
＝|w1×n1+(1-w1)×n2|2
在此，将n1＝nc1×t1、n2＝nc2×t2代入上式，则有
E＝|w1×nc1×t1+(1-w1)×nc2×t2|2
＝w12×NC1×t12+(1-w1)2×NC2×t22
其中，NC1及NC2各自取为NC1＝nc12、NC2＝nc22。
就w1，对误差E进行微分，则得到下式。
dE/dw1＝2×w1×NC1×t12-2×(1-w1)×NC2×t22
＝2×(NC1×t12+NC2×t22)×w1-2×NC2×t22
上式中令(dE/dw1)＝0，由此得出下式(17’)来表达使误差E达到最小的w1。
w1＝(NC2×t22)/(NC1×t12+NC2×t22) (17’)
通过式(9)，则可用下式(18’)来表达加权系数w2。
w2＝(NC1×t12)/(NC1×t12+NC2×t22) (18’)
若nc1与nc2几乎相等，也就是若NC1与NC2几乎相等，则w1及w2可以表达成下式(17”)及(18”)。
w1＝t22/(t12+t22) (17”)
w2＝t12/(t12+t22) (18”)
像这样，加权系数计算部16b也可通过式(17’)、式(18’)、式(17”)、以及式(18”)来计算加权系数w1及w2。
动图像解码装置1可以是根据预先给定的1种方法来进行加权预测的装置。也可以是能根据预先给定的多种方法来进行加权预测的装置，即，不仅根据自这些方法中选出的方法来进行加权预测，还对选出的方法进行明性的编码。动图像解码装置1是后者的装置时，其能以可选择的方式从上述各加权方法中选用1种。例如，可以将上述各加权方法中的任意方法、以及H.264/MPEG-4.AVC中规定的明模式(Explicit模式)作为选择候补。或，也可将包含上述使加权系数接近于0.5的处理的模式、以及不包含该处理的模式作为选择候补。
(动图像编码装置2)
以下，根据图7～图9来说明本实施方式的动图像编码装置2的结构。动图像编码装置2的一部分结构中包含H.264/MPEG-4.AVC的技术、以及KTA软件中采用的技术。
图7是动图像编码装置2的结构框图。如图7所示，动图像编码装置2具备变换·量化部21、可变长码编码部22、逆量化·逆变换部23、缓存24、帧内预测图像生成部25、帧间预测图像生成部26、移动向量检测部27、预测方式控制部28、移动向量冗余性消除部29、加算器31、以及减算器32。动图像编码装置2对动图像#10进行编码，从而生成编码数据#1。
变换·量化部21进行以下处理：(1)对每一像块，均从编码对象图像中减去预测图像Pred而获得预测残差D，并对该预测残差D进行DCT变换(Discrete Cosine Transform)；(2)对经DCT变换而得的DCT系数进行量化；(3)将经量化而得的量化预测残差QD提供给可变长码编码部22以及逆量化·逆变换部23。另外，变换·量化部21还进行以下处理：(1)对每一宏块，均选择量化时所要用的量化步幅QP；(2)将表达所选择的量化步幅QP的大小的量化参数差分Δqp，提供给可变长码编码部22；(3)将选择的量化步幅QP提供给逆量化·逆变换部23。在此，量化参数差分Δqp是指：针对要被施以DCT变换/量化的宏块，从该宏块所涉及的量化参数qp(QP＝2pq/6)的值中，减去前一已完成DCT变换/量化的宏块所涉及的量化参数qp’后，而获得的差分值。
可变长码编码部22对变换·量化部21提供的量化预测残差QD和Δqp、以及后述预测方式控制部28提供的量化参数PP进行可变长编码，由此生成编码数据。
逆量化·逆变换部23进行以下处理：(1)对量化预测残差QD进行逆量化；(2)对经逆量化而得的DCT系数进行逆DCT变换(Discrete Cosine Transform)；(3)将经逆DCT变换而得的预测残差D提供给加算器31。对量化预测残差QD进行逆量化时，要使用变换·量化部21提供的量化步幅QP。在此，从逆量化·逆变换部23输出的预测残差D实际上相当于输入给变换·量化部21的预测残差D与量化误差的和，但为了便于理解而用共通的称呼。
帧内预测图像生成部25生成各像区的预测图像Pred_Intra。具体进行以下处理：(1)选择用以进行帧内预测的预测模式；(2)使用选择的预测模式，根据局部解码图像P来生成预测图像Pred_Intra。解码图像P是解码尚未全部完成，即解码过程中的局部解码图像。在构成局部解码图像P的像素之中，属于已解码像块的各像素的像素值可以由帧内预测图像生成部25从缓存24中读取出。帧内预测图像生成部25将生成的帧内预测图像Pred_Intra，连同用以指定所选择的预测模式的预测模式指定信息，一起提供给预测方式控制部28。
移动向量检测部27检测各像区所涉及的移动向量mv。具体为：(1)将解码图像P’选用为参照图像；(2)在选出的解码图像P’中搜索最近似于对象像区的区域，由此检测对象像区所涉及的移动向量mv。在此，解码图像P’是完成解码后的已解码图像。构成解码图像P’的各像素的像素值，可以由移动向量检测部27从缓存24中读取出。移动向量检测部27将检测出的移动向量mv、以及指定被用作参照图像的解码图像P’的参照图像索引RI，一同提供给帧间预测图像生成部26以及移动向量冗余性消除部29。至于要被施以双向预测(加权预测)的像区，则是将解码图像P1及P2这2个图像选用为参照图像，然后将解码图像P1及P2各自所涉及的移动向量mv1及mv2、参照图像索引RI1及RI2，提供给帧间预测图像生成部26以及移动向量冗余性消除部29。
帧间预测图像生成部26生成各帧间预测像区的移动补偿图像mc。具体为，使用移动向量检测部27提供的移动向量mv，根据移动向量检测部27提供的参照图像索引RI所指定的解码图像P’，生成出移动补偿图像mc。与移动向量检测部27同样，帧间预测图像生成部26也能从缓存24中读出构成解码图像P’的各像素的像素值。帧间预测图像生成部26将生成的移动补偿图像mc(帧内预测图像Pred_Intra)，连同移动向量检测部27提供的参照图像索引RI，一起提供给预测方式控制部28。另外，对于要被施以双向预测(加权预测)的像区，则进行的是以下步骤：(1)使用移动向量mv1，且根据参照图像索引RI1所指定的解码图像P1，生成移动补偿图像mc1；(2)使用移动向量mv2，且根据参照图像索引RI2所指定的解码图像P2，生成移动补偿图像mc2；(3)对移动补偿图像mc1与移动补偿图像mc2的加权平均值附加补偿值，从而生成帧间预测图像Pred_Inter。
预测方式控制部28将帧内预测图像Pred_Intra、帧间预测图像Pred_Inter，与编码对象图像进行比较，从而选择是进行帧内预测，还是进行帧间预测。预测方式控制部28若选择了帧内预测，便将帧内预测图像Pred_Intra作为预测图像Pred而提供给加算器31以及减算器32，且将帧内预测图像生成部25提供的预测模式指定信息作为预测参数PP而提供给可变长码编码部22。另一方面，预测方式控制部28若选择了帧间预测，便将帧间预测图像Pred_Inter作为预测图像Pred而提供给加算器31以及减算器32，且将帧间预测图像生成部26提供的参照图像索引RI、以及移动向量冗余性消除部29(后述)提供的推定移动向量索引PMVI和移动向量残差MVD，作为预测参数PP而提供给可变长码编码部。
减算器32从预测方式控制部28选择的预测图像Pred中减去编码对象图像，从而生成预测残差D。经减算器32而生成的预测残差D如上述那样，被变换·量化部21施以DCT变换/量化。另一方面，加算器31使预测方式控制部28选择的预测图像Pred与逆量化·逆变换部23生成的预测残差D相加，从而生成局部解码图像P。经加算器31而生成的局部解码图像P被存入缓存24，以用作供帧间预测的参照图像。
移动向量冗余性消除部29用以消除移动向量检测部27检测出的移动向量mv的冗余性。具体为：(1)选出供推定移动向量mv的推定方法；(2)根据选出的推定方法，导出推定移动向量pmv；(3)从移动向量mv中减去推定移动向量pmv，从而生成出移动向量残差MVD。移动向量冗余性消除部29将生成的移动向量残差MVD，连同表达所被选出的推定方法的推定移动向量索引PMVI，一起提供给预测方式控制部28。
(帧间预测图像生成部26)
图8是帧间预测图像生成部26的结构框图。如图8所示，帧间预测图像生成部26具备参照值计算部26a、加权系数计算部26b、移动补偿部26c、以及预测图像生成部26d。
动图像编码装置2的帧间预测图像生成部26所具备的参照值计算部26a、加权系数计算部26b、移动补偿部26c、以及预测图像生成部26d，各自与动图像解码装置1的帧间预测图像生成部16所具备的参照值计算部16a、加权系数计算部16b、移动补偿部16c、以及预测图像生成部16d具有同等的功能。
但在动图像解码装置1中，参照图像索引RI1及RI2、移动向量mv1及mv2是由移动向量复原部14来提供的。而在动图像编码装置2中，参照图像索引RI1及RI2、移动向量mv1及mv2是由移动向量检测部27来提供的。另外，在动图像解码装置1中，POC指定信息、参照图像L0及L1是从缓存15中读取的。而在动图像编码装置2中，POC指定信息、参照图像L0及L1是从缓存24中读取的。
(加权系数的计算处理的具体例)
以下说明加权系数计算部26b对加权系数w1及w2进行的计算处理的具体例。加权系数计算部26b进行以下例举的“具体例1-1”’～“具体例1-5”’中任一方的计算处理。
(具体例1-1’)
以下说明加权系数计算部26b对加权系数w1及w2进行的计算处理的第1例。与动图像解码装置1中加权系数计算部16b进行的加权系数w1及w2的计算处理之“具体例1-1”同样，本例中使用式(8)及式(9)来计算加权系数w1及w2。
用如此算出的加权系数w1及w2来生成帧间预测图像Pred_Inter，并用该帧间预测图像Pred_Inter来编码。经编码而得的编码数据#1中的、每种序列的编码量削减率表示在图9中。
图9中的图表表达了以下内容：(1)用本例的加权系数来生成的编码数据#1中的、每种序列的编码量削减率；(2)用H.264/MPEG-4.AVC格式下的implcit_mode来生成的编码数据中的、每种序列的编码量削减率。
如图9所示，在用本例的加权系数来生成的编码数据#1中，几乎所有的序列的编码量均得到了削减。
因此，通过在动图像编码装置2中采用本例的方案，便能削减编码数据#1的编码量。
(具体例1-2’)
以下说明加权系数计算部26b对加权系数w1及w2进行的计算处理的第2例。与动图像解码装置1中加权系数计算部16b进行的加权系数w1及w2的计算处理之“具体例1-2”同样，本例中使用式(10)、式(11)、以及式(9)来计算加权系数w1及w2。
在用如此算出的加权系数w1及w2来生成的帧间预测图像Pred_Inter中，噪音所致的误差得到了降低。因此动图像编码装置2能生成编码量更少的编码数据#1。
(具体例1-3’)
以下说明加权系数计算部26b对加权系数w1及w2进行的计算处理的第3例。与动图像解码装置1中加权系数计算部16b进行的加权系数w1及w2的计算处理之“具体例1-3”同样，本例中使用式(12)及式(9)来计算加权系数w1及w2。
对于用如此算出的加权系数w1及w2来生成的帧间预测图像Pred_Inter而言，若像区尺寸较大，则预测误差可得到降低，若像区尺寸较小，则噪音所致的误差可得到降低。
因此，通过在动图像编码装置2中采用经本例算出的加权系数w1及w2，便能生成编码量更少的编码数据#1。
(具体例1-4’)
以下说明加权系数计算部26b对加权系数w1及w2进行的计算处理的第4例。与动图像解码装置1中加权系数计算部16b进行的加权系数w1及w2的计算处理之“具体例1-4”同样，本例中使用式(13)及式(9)来计算加权系数w1及w2。
对于用如此算出的加权系数w1及w2来生成的帧间预测图像Pred_Inter而言，若像区尺寸较大，则预测误差可得到降低，若像区尺寸较小，则噪音所致的误差可得到降低。
因此，通过在动图像编码装置2中采用经本例算出的加权系数w1及w2，便能生成编码量更少的编码数据#1。
(具体例1-5’)
以下说明加权系数计算部26b对加权系数w1及w2进行的计算处理的第5例。与动图像解码装置1中加权系数计算部16b进行的加权系数w1及w2的计算处理之“具体例1-5”同样，本例中使用式(17)及式(18)来计算加权系数w1及w2。
通过使用经(17)及式(18)算出的加权系数w1及w2，能降低噪音所致的误差，还能生成预测误差少的预测图像。另外，通过运用上述的方法，能生成编码效率良好的编码数据。
〔实施方式2〕
(动图像解码装置3)
以下根据图10～图12来说明本实施方式的动图像解码装置3的结构。图10是动图像解码装置3的结构框图。在图10中，对于与图1所示各功能块相同的各功能块，赋予其同一附图标记，并省略其说明。
如图10所示，动图像解码装置3具备可变长码解码部13、移动向量复原部14、缓存15、帧间预测图像生成部16’、帧内预测图像生成部17、预测方式决定部18、逆量化·逆变换部19、加算器20。
动图像解码装置3(本实施方式)相比于动图像解码装置1(实施方式1)的区别在于：并不具备帧间预测图像生成部16，而是具备了帧间预测图像生成部16’。帧间预测图像生成部16是根据缓存15内存储的POC指定信息来设定供进行加权预测的加权系数w1及w2的，而帧间预测图像生成部16’是根据移动向量复原部14复原出的移动向量mv来设定供进行加权预测的加权系数w1’及w2’的。以下对该帧间预测图像生成部16’进行更具体的说明。
(帧间预测图像生成部16’)
以下根据图11来说明帧间预测图像生成部16’的结构。图11是帧间预测图像生成部16’的结构框图。如图11所示，帧间预测图像生成部16’具备参照值计算部16a’、加权系数计算部16b’、移动补偿部16c、以及预测图像生成部16d。在此，帧间预测图像生成部16’既能进行单向预测，又能进行双向预测。以下说明其进行双向预测(加权预测)时的技术方案。
参照值计算部16a’从缓存15中读取出各自与参照图像索引RI1及RI2对应的移动向量mv1及mv2。然后，计算移动向量mv1的大小ml1、以及移动向量mv2的大小ml2(以下，将移动向量mv1的大小ml1称为“移动向量长度ml1”，将移动向量mv2的大小ml2称为“移动向量长度ml2”)。算出的移动向量长度ml1及移动向量长度ml2被提供给加权系数计算部16b’。移动向量长度ml1及移动向量长度ml2的具体算法将后述。
加权系数计算部16b’根据参照值计算部16a’算出的移动向量长度ml1及ml2，算出加权系数w1’及w2’，并将它们提供给预测图像生成部16d。加权系数w1’及w2’的具体算法将后述。
移动补偿部16c从缓存15中读出参照图像索引RI1及RI2所指定的参照图像L0(解码图像P1)及L1(解码图像P2)。接着，分别根据参照图像L1及L0，且分别用移动向量mv1及mv2来进行移动补偿处理，从而生成出移动补偿图像mc1及mc2，并将移动补偿图像mc1及mc2提供给预测图像生成部16d。移动补偿部16c生成移动补偿图像mc1及mc2的方法已在前说明过，因此在此省略其说明。
预测图像生成部16d使用加权系数计算部16b’算出的加权系数w1’及w2’、以及移动补偿部16c生成的移动补偿图像mc1及mc2，生成帧间预测图像Pred_Inter，并将其输出。
(帧间预测图像Pred_Inter的生成)
以下通过图12来说明帧间预测图像生成部16’所进行的帧间预测图像Pred_Inter的生成处理。图12表示了移动向量mv1和移动向量mv2的一个例子，其中，移动向量mv1被用在以参照图像L0为参考的移动补偿处理中，移动向量mv2被用在以参照图像L1为参考的移动补偿处理中。
参照值计算部16a’根据下式(19)，计算移动向量mv1的大小即移动向量长度ml1。
其中，abs(……)的意思是指给括号内的向量取绝对值。mv1x及mv1y各自代表移动向量mv1的x成分及y成分。
参照值计算部16a’还根据下式(20)，计算移动向量mv2的大小即移动向量长度ml2。
其中，mv2x及mv2y各自代表移动向量mv2的x成分及v成分。另外，也可以采用上述式(19)、(20)以外的算法来计算移动向量长度。例如可以利用x成分绝对值与y成分绝对值的和来计算移动向量长度。
加权系数计算部16b’使用参照值计算部16a’算出的移动向量长度ml1及ml2，计算供进行加权预测的加权系数w1’及w2’。关于加权系数w1’及w2’的具体计算处理例，将通过以下“具体例2-1”～“具体例2-3”来说明。
在把要与移动补偿图像mc1的各像素值相乘的加权系数设为w1’，把要与移动补偿图像mc2的各像素值相乘的加权系数设为w2’的情况下，预测图像生成部16d运用式(7’)来生成帧间预测图像Pred_Inter的各像素的像素值pred(x，y)。
Pred(x，y)＝w1’×mc1(x，y)+w2’×mc2(x，y)+o (7’)
其中，o代表补偿值，(x，y)代表对象像素的坐标。另外，加权系数w1’及w2’是加权系数计算部16b’算出的、满足w1’+w2’＝1的加权系数。
(加权系数的计算处理的具体例)
以下说明加权系数计算部16b’对加权系数w1’及w2’进行的计算处理的具体例。
加权系数计算部16b’进行以下例举的“具体例2-1”～“具体例2-3”中任一方的计算处理，以算出要与式(7’)中各移动补偿图像的各像素值相乘的加权系数w1’及w2’。无论哪个具体例，关于在用以获得移动补偿图像mc1及mc2的移动补偿处理中所用到的移动向量mv1及mv2，当mv1的大小ml1、与mv2的大小ml2的相互关系为ml1＜ml2时，则加权系数w1’及w2’的取值关系均为|w1’|≥|w2’|。
(具体例2-1)
以下说明加权系数计算部16b’对加权系数w1’及w2’进行的计算处理的第1例。
在本例中，根据移动向量长度所求得的加权系数w1’与w2’的比值若与1∶1相差甚远，则加权系数w1’及w2’取为预先给定的值，若该比值接近1∶1，则取移动向量长度的比值。
加权系数计算部16b’使用参照值计算部16a’算出的ml1及ml2，依照式(21)及式(22)来计算加权系数w1’及w2’。
w2’＝clip3(th1，th2，ml1/(ml1+ml2)) (21)
w1’＝1-w2’ (22)
其中，th1及th2是剪切处理中的下限阈值及上限阈值。可以将th1及th2的值设定成能够供算出最佳加权系数w1’及w2’的值，而该最佳加权系数w1’及w2’能实现高编码效率。在本例中，虽然设th1＝0.33，th2＝0.67，但只要满足th1＜0.5＜th2，则无特别限定。
加权系数计算部16b’通过进行本例的动作，能将移动向量长度的比值用作加权系数来提高预测精度，且能在移动向量长度的比值与0.5相差甚远时，通过进行上述剪切处理来抑制噪音的增加。
因此，在具备有与进行本例动作的加权系数计算部16b’相同的单元的动图像编码装置中，能生成编码效率高的编码数据。
另外，在具备有进行本例动作的加权系数计算部16b’的动图像解码装置3中，能够恰当地对上述生成的高编码效率的编码数据进行解码。
(具体例2-2)
以下说明加权系数计算部16b’对加权系数w1’及w2’进行的计算处理的第2例。
本例中，通过对移动向量长度m11和移动向量长度ml2进行比较，来设定加权系数w2’的值。
加权系数计算部16b’使用参照值计算部16a’算出的移动向量长度ml1及ml2来设定加权系数w2’。
具体方法如下：(1)若移动向量长度ml1小于从移动向量长度ml2中减去阈值k后的值(ml1＜ml2-k)，则令w2’＝th1’；(2)若移动向量长度ml1大于等于从移动向量长度ml2中减去阈值k后的值，且小于等于对移动向量长度ml2加上阈值k后的值((ml1＞＝ml2-k)&&(ml1＜＝ml2+k))，则令w2’＝0.5，其中，“A&&B”这种表达方式是指“A与B”的意思；(3)若移动向量长度ml1大于对移动向量长度ml2加上阈值k后的值(ml1＞ml2+k)，则令w2’＝th2’。
在此，阈值k是随像区尺寸的不同而变化的值。例如，若像区尺寸为16×16像素，则阈值k＝8。
另外，可以将th1’及th2’设定成能够供算出最佳加权系数w1’及w2’的值，而该最佳加权系数w1’及w2’能实现高编码效率。例如可以设th1’＝0.33，th2’＝0.67。但只要满足th1’＜0.5＜th2’，则无特别限定。
此外，加权系数计算部16’还使用经上述(1)至(3)中任一方法所定的加权系数w2’，通过式(22)来计算加权系数w1’。
由此，加权系数w1’与加权系数w2’的比值便可接近1∶1，因此能进而降低噪音所致的误差。
(具体例2-3)
以下说明加权系数计算部16b’对加权系数w1’及w2’进行的计算处理的第3例。
本例中，仅在帧间距离的比为1∶1时，根据移动向量长度来计算加权系数。在本例的运用方案中，可以在帧间预测图像生成部16’中追加实施方式1的动图像解码装置1所具备的参照值计算部16a，并将该参照值计算部16a算出的帧间距离tb及td提供给加权系数计算部16b’。
加权系数计算部16b’根据参照值计算部16a’算出的移动向量长度ml1、移动向量长度ml2、以及帧间距离tb、帧间距离td，来计算加权系数w2’。
具体为，加权系数计算部16b’判断2个参照帧各自与预测对象帧的2个距离的比值是否为1∶1，也就是判断tb/td是否等于0.5。若参照帧与预测对象帧间的距离的比值为1∶1，也就是若tb/td＝0.5，则根据下式(23)来计算加权系数w2’。
w2’＝ml1/(ml1+ml2) (23)
另外，若tb/td≠0.5，则加权系数计算部16’令加权系数w2’＝tb/td。此外，加权系数w2’也可较好地采用实施方式1中计算的值。
加权系数计算部16’还使用算出的加权系数w2’，通过式(22)来计算加权系数w1’。
由此，能够在帧间距离的比值为1∶1时，对移动向量长度较大的参照图像乘以较小的加权系数，从而降低有可能发生在低相关性参照图像中的噪音所导致的误差。
在以上的说明中，参照值计算部16a’不仅将移动向量长度ml1及移动向量长度ml2输出给加权系数计算部16b’，还将与动图像解码装置1的参照值计算部16a相同的单元所算出的帧间距离tb及帧间距离td，输出给加权系数计算部16b’。但本例并不限定于此。例如，可以由参照值计算部16a’来判断tb/td是否等于0.5，然后将表达判断结果的判断信息输出给加权系数计算部16b’。当参照值计算部16a’具备上述技术方案时，加权系数计算部16b’可以对上述判断信息进行参照，若tb/td＝0.5，则根据式(23)来计算加权系数w2’。
(动图像编码装置4)
以下根据图13～图14来说明本实施方式的动图像编码装置4的结构。图13是动图像编码装置4的结构框图。在图13中，对于与图7所示各功能块相同的各功能块，赋予其同一附图标记，并省略其说明。
如图13所示，动图像编码装置4具备变换·量化部21、可变长码编码部22、逆量化·逆变换部23、缓存24、帧内预测图像生成部25、帧间预测图像生成部26’、移动向量检测部27、预测方式控制部28、移动向量冗余性消除部29、加算器31、以及减算器32。动图像编码装置4对动图像#30进行编码，从而生成编码数据#3。
动图像编码装置4(本实施方式)相比于动图像编码装置2(实施方式1)的区别在于：并不具备帧间预测图像生成部26，而是具备了帧间预测图像生成部26’。帧间预测图像生成部26是根据缓存24内存储的POC指定信息来设定供进行加权预测的加权系数w1及w2的，而帧间预测图像生成部26’是根据移动向量检测部27检测出的移动向量mv来设定供进行加权预测的加权系数w1’及w2’的。以下，对于该帧间预测图像生成部26’进行更具体的说明。
(帧间预测图像生成部26’)
图14是帧间预测图像生成部26’的结构框图。如图14所示，帧间预测图像生成部26’具备参照值计算部26a’、加权系数计算部26b’、移动补偿部26c、以及预测图像生成部26d。
动图像编码装置4的帧间预测图像生成部26’所具备的参照值计算部26a’、加权系数计算部26b’、移动补偿部26c、以及预测图像生成部26d，各自与动图像解码装置3的帧间预测图像生成部16’所具备的参照值计算部16a’、加权系数计算部16b’、移动补偿部16c、以及预测图像生成部16d具有同等的功能。
但在动图像解码装置3中，参照图像索引RI1及RI2、移动向量mv1及mv2是由移动向量复原部14来提供的。而在动图像编码装置4中，参照图像索引RI1及RI2、移动向量mv1及mv2是由移动向量检测部27来提供的。另外，在动图像解码装置3中，参照图像L0及L1是从缓存15中读取的。而在动图像编码装置4中，参照图像L0及L1是从缓存24中读取的。
(加权系数的计算处理的具体例)
以下说明加权系数计算部26b’对加权系数w1’及w2’进行的计算处理的具体例。加权系数计算部26b’进行以下例举的“具体例2-1’”～“具体例2-3’”中任一方的计算处理。
(具体例2-1’)
以下说明加权系数计算部26b’对加权系数w1’及w2’进行的计算处理的第1例。与动图像解码装置3中加权系数计算部16b’进行的加权系数w1’及w2’的计算处理之“具体例2-1”同样，本例中使用式(21)及式(22)来计算加权系数w1’及w2’。
在用如此算出的加权系数w1’及w2’来生成的帧间预测图像Pred_Inter中，噪音所致的误差得到了降低。因此动图像编码装置4能生成编码量更少的编码数据#3。
因此，通过在动图像编码装置4中采用本例的方案，能削减编码数据#3的编码量。
(具体例2-2’)
以下说明加权系数计算部26b’对加权系数w1’及w2’进行的计算处理的第2例。与动图像解码装置3中加权系数计算部16b’进行的加权系数w1’及w2’的计算处理之“具体例2-2”同样，本例中的加权系数w2’的取值为：根据移动向量长度ml1及ml2，用“具体例2-2”所述(1)至(3)中任一方法而定的值。
此外，与“具体例2-2”同样，使用该加权系数w2’，通过式(22)来计算加权系数w1’。
在用如此算出的加权系数w1’及w2’来生成的帧间预测图像Pred_Inter中，噪音所致的误差得到了降低。因此动图像编码装置4能生成编码量更少的编码数据#3。
(具体例2-3’)
以下说明加权系数计算部26b’对加权系数w1’及w2’进行的计算处理的第3例。在本例中，选以下任意一方式来设定加权系数w2’：(一)与动图像解码装置3中加权系数计算部16b’进行的加权系数w1’及w2’的计算处理之“具体例2-3”同样，通过式(23)来设定加权系数w2’；(二)令w2’＝0.5。
此外，与“具体例2-3”同样，用该加权系数w2’，通过式(22)来计算加权系数w1’。
通过采用如此算出的加权系数w1’及w2’，便能在帧间距离的比值为1∶1时，对移动向量长度较大的参照图像乘以较小的加权系数，从而能降低有可能发生在低相关性参照图像中的噪音所带来的误差。因此动图像编码装置4能生成编码量更少的编码数据#3。
〔实施方式3〕
(动图像解码装置5)
以下根据图15～图17来说明本实施方式的动图像解码装置5的结构。图15是动图像解码装置5的结构框图。在图15中，对于与图1所示各功能块相同的各功能块，赋予其同一附图标记，并省略其说明。
如图15所示，动图像解码装置5具备可变长码解码部13、移动向量复原部14、缓存15、帧间预测图像生成部16”、帧内预测图像生成部17、预测方式决定部18、逆量化·逆变换部19、加算器20。
动图像解码装置5(本实施方式)相比于动图像解码装置1(实施方式1)的第1个区别在于：逆量化·逆变换部19使量化参数qp与解码过程中的解码图像P构成对应关系，然后将具备该对应关系的量化参数qp存入缓存15。另外，动图像解码装置5(本实施方式)相比于动图像解码装置1(实施方式1)的第2个区别在于：并不具备帧间预测图像生成部16，而是具备了帧间预测图像生成部16”。帧间预测图像生成部16是根据缓存15内存储的POC指定信息来设定供进行加权预测的加权系数w1及w2的，而帧间预测图像生成部16”是根据逆量化·逆变换部19存入缓存15的量化参数qp’，来设定供进行加权预测的加权系数w1”及w2”的。以下，对该帧间预测图像生成部16”进行具体的说明。
(帧间预测图像生成部16”)
以下根据图16来说明帧间预测图像生成部16”的结构。图16是帧间预测图像生成部16”的结构框图。如图16所示，帧间预测图像生成部16”具备参照值计算部16a”、加权系数计算部16b”、移动补偿部16c、以及预测图像生成部16d。在此，帧间预测图像生成部16”既能进行单向预测，又能进行双向预测。以下说明其进行双向预测(加权预测)时的技术方案。
参照值计算部16a”从缓存15中，读出与参照图像索引RI1及RI2所指定的解码图像P1及P2(以下称参照图像L0及L1)相对应的量化参数qp1及qp2。然后，根据读出的量化参数qp1及qp2，分别算出在解码参照图像L0及L1时所用过的量化步幅QP1及QP2。量化步幅QP1及QP2的具体算法将后述。
加权系数计算部16b”根据参照值计算部16a”算出的量化步幅QP1及QP2，算出加权系数w1”及w2”，并将它们提供给预测图像生成部16d。加权系数w1”及w2”的具体算法将后述。
移动补偿部16c从缓存15中读出参照图像索引RI1及RI2所指定的参照图像L0(解码图像P1)及L1(解码图像P2)。接着，分别根据参照图像L1及L0，且分别用移动向量mv1及mv2来进行移动补偿处理，从而生成出移动补偿图像mc1及mc2，并将移动补偿图像mc1及mc2提供给预测图像生成部16d。移动补偿部16c生成移动补偿图像mc1及mc2的方法已在前说明过，因此在此省略其说明。
预测图像生成部16d使用加权系数计算部16b算出的加权系数w1及w2、移动补偿部16c生成的移动补偿图像mc1及mc2，生成出帧间预测图像Pred_Inter，并将其输出。
(帧间预测图像Pred_Inter的生成)
以下通过图17来说明帧间预测图像生成部16”所进行的帧间预测图像Pred_Inter的生成处理。图17表示了移动向量mv1和移动向量mv2的一个例子，其中，移动向量mv1被用在以参照图像L0为参考的移动补偿处理中，移动向量mv2被用在以参照图像L1为参考的移动补偿处理中。
参照值计算部16a”根据下式(24)，计算量化步幅QP1。
QP1＝2qp1/6 (24)
其中，qp1/6表示qp1除以6而得的商。
参照值计算部16a”还根据下式(25)，计算量化步幅QP1。
QP2＝2qp2/6 (25)
其中，qp2/6表示qp2除以6而得的商。
加权系数计算部16b”使用参照值计算部16a”算出的量化步幅QP1及QP2，计算加权系数w1”及w2”。关于加权系数w1”及w2”的具体计算处理例，将通过以下“具体例3-1”～“具体例3-3”来说明。
预测图像生成部16d运用式(7”)来生成帧间预测图像Pred_Inter的各像素的像素值pred(x，y)。
Pred(x，y)＝w1”×mc1(x，y)+w2”×mc2(x，y)+o (7”)
其中，o代表补偿值，(x，y)代表对象像素的坐标。另外，加权系数w1”及w2”是加权系数计算部16b”算出的、满足w1”+w2”＝1的加权系数。
(加权系数的计算处理的具体例)
以下说明加权系数计算部16b”对加权系数w1”及w2”进行的计算处理的具体例。
加权系数计算部16b”进行以下例举的“具体例3-1”～“具体例3-3”中任一方的计算处理，以算出要与式(7)中各移动补偿图像的各像素值相乘的加权系数w1”及w2”。无论在哪个具体例中，在用以获得参照图像L0(解码图像P1)及L1(解码图像P2)的各逆量化处理中所用过的量化步幅QP1与QP2的相互关系若为QP1＜QP2，则上述加权系数w1”及w2”的取值关系均为|w1”|≥|w2”|。
(具体例3-1)
以下说明加权系数计算部16b”对加权系数w1”及w2”进行的计算处理的第1例。
在本例中，参照量化步幅而求得的加权系数w1”与w2”间的比值若与1∶1相差甚远，则加权系数w1”及w2”取为预先给定的值，若该比值接近1∶1，则取量化步幅的比。
加权系数计算部16b”使用参照值计算部16a”算出的量化步幅QP1及QP2，依照式(26)及式(27)来计算加权系数w1”及w2”。
w2”＝clip3(th1，th2，QP1/(QP1+QP2)) (26)
w1”＝1-w2” (27)
其中，th1及th2是剪切处理中的下限阈值及上限阈值。可以将th1及th2的值设定成能够供算出最佳加权系数w1”及w2”的值，而该最佳加权系数w1”及w2”能实现高编码效率。在本例中，设th1＝0.33，th2＝0.67，但只要满足th1＜0.5＜th2，则无特别限定。
加权系数计算部16b”在进行本例的动作时，能将量化步幅的比用作加权系数来提高预测精度，并且，当量化步幅的比与0.5相差甚远时，能进行上述剪切处理来抑制噪音的增加。
(具体例3-2)
以下说明加权系数计算部16b”对加权系数w1”及w2”进行的计算处理的第2例。
在本例中，作为量化步幅QP1，并不采用以式(24)算出的值，而是采用量化参数qp1。即，令QP1＝qp1。关于量化参数QP2，也同样令QP2＝qp2。
加权系数计算部16b”使用量化步幅QP1及QP2，计算加权系数w2”。
具体方法如下：(1)若量化步幅QP1小于从量化步幅QP2中减去TH后的值(QP1＜QP2-TH)，则令w2＝th1’；(2)若量化步幅QP1大于等于从量化步幅QP2中减去TH后的值，且小于等于对量化参数QP2加上TH后的值((QP1＞＝QP2-TH)&&(QP1＜＝QP2+TH))，则令w2”＝0.5；(3)若量化参数QP1大于对量化参数QP2加上TH后的值(QP1＞QP2+6)，则令w2”＝th2’。其中TH是预先给定的阈值，在此，TH＝6。
具体为：(1)若量化步幅QP1小于从量化步幅QP2中减去6后的值(|QP1|＜|QP2|-6)，则令w2”＝th1’；(2)若量化步幅QP1大于等于从量化步幅QP2中减去6后的值，且小于等于对量化参数QP2加上6后的值((|QP1|＞＝|QP2|-6)&&(|QP1|＜＝QP2|+6))，则令w2”＝0.5；(3)若量化参数QP1大于对量化参数QP2加上6后的值(|QP1|＞|QP2|+6)，则令w2”＝th2’。
另外，可以将th1’及th2’设定成能够供算出最佳加权系数w1”及w2”的值，而该最佳加权系数w1”及w2”能实现高编码效率。例如可以设th1’＝0.33，th2’＝0.67。但只要满足th1’＜0.5＜th2’，则无特别限定。
此外，加权系数计算部16”还使用经上述方法(1)至(3)中任一方法而定的加权系数w2”，通过式(27)来计算加权系数w1。
(具体例3-3)
以下说明加权系数计算部16b”对加权系数w1”及w2”进行的计算处理的第3例。
在本例中，仅当帧间距离的比为1∶1时，才根据量化步幅来计算加权系数。在本例的运用方案中，可以在帧间预测图像生成部16’中追加实施方式1的动图像解码装置1所具备的参照值计算部16a，且将该参照值计算部16a算出的帧间距离tb及td提供给加权系数计算部16b’。
加权系数计算部16b”根据参照值计算部16a”算出的量化步幅QP1、量化步幅QP2、以及帧间距离tb、帧间距离td，计算加权系数w2”。
具体为，加权系数计算部16b”判断2个参照帧各自与预测对象帧间的2个距离的比值是否为1∶1，也就是判断tb/td是否等于0.5。若2个参照帧各自与预测对象帧间的2个距离的比值为1∶1，也就是若tb/td＝0.5，则根据以下式(28)来计算加权系数w2”。
w2”＝QP1/(QP1+QP2) (28)
另外，若tb/td≠0.5，则加权系数计算部16’令加权系数w2”＝tb/td。此外，加权系数w2”也可较好地采用实施方式1中计算的值。
此外，加权系数计算部16”还使用算出的加权系数w2”，通过式(27)来计算加权系数w1。
由此，能够在帧间距离的比值为1∶1时，对量化步幅较大的参照图像乘以较小的加权系数，从而降低有可能发生在低相关性参照图像中的噪音所带来的误差。
(动图像编码装置6)
以下根据图18～图19来说明本实施方式的动图像编码装置6的结构。图18是动图像编码装置6的结构框图。在图18中，对于与图7所示各功能块相同的各功能块，赋予其同一附图标记，并省略其说明。
如图18所示，动图像编码装置6具备变换·量化部21、可变长码编码部22、逆量化·逆变换部23、缓存24、帧内预测图像生成部25、帧间预测图像生成部26”、移动向量检测部27、预测方式控制部28、移动向量冗余性消除部29、加算器31、以及减算器32。
动图像编码装置6(本实施方式)相比于动图像编码装置2(实施方式1)的第1个区别在于：变换·量化部21使量化参数qp与解码过程中的解码图像P构成对应关系，然后将具备该对应关系的量化参数qp存入缓存24。另外，动图像编码装置6(本实施方式)相比于动图像编码装置2(实施方式1)的第2个区别在于：并不具备帧间预测图像生成部26，而是具备了帧间预测图像生成部26”。帧间预测图像生成部26是根据缓存24内存储的POC指定信息来设定供进行加权预测的加权系数w1及w2的，而帧间预测图像生成部26”是根据变换·量化部21存入缓存24的量化参数qp’，来设定供进行加权预测的加权系数w1”及w2”的。以下，对该帧间预测图像生成部26”进行具体的说明。
(帧间预测图像生成部26”)
图19是帧间预测图像生成部26”的结构框图。如图19所示，帧间预测图像生成部26”具备参照值计算部26a”、加权系数计算部26b”、移动补偿部26c、以及预测图像生成部26d。
动图像编码装置6的帧间预测图像生成部26”所具备的参照值计算部26a”、加权系数计算部26b”、移动补偿部26c、以及预测图像生成部26d，各自与动图像解码装置5的帧间预测图像生成部16”所具备的参照值计算部16a”、加权系数计算部16b”、移动补偿部16c、以及预测图像生成部16d具有同等的功能。
但在动图像解码装置5中，参照图像索引RI及R2、移动向量mv1及mv2是由移动向量复原部14来提供的。而在动图像编码装置6中，参照图像索引RI1及RI2、移动向量mv1及mv2是由移动向量检测部27来提供的。另外，在动图像解码装置5中，量化参数qp1及qp2、参照图像L0及L1是从缓存15中读取的。而在动图像编码装置4中，量化参数qp1及qp2、参照图像L0及L1是从缓存24中读取的。
(加权系数的计算处理的具体例)
以下说明加权系数计算部26b”对加权系数w1”及w2”进行的计算处理的具体例。加权系数计算部26b”进行以下例举的“具体例3-1”’～“具体例3-3”’中任一方的计算处理。
(具体例3-1’)
以下说明加权系数计算部26b”对加权系数w1”及w2”进行的计算处理的第1例。与动图像解码装置3中加权系数计算部16b’进行的加权系数w1”及w2”的计算处理之“具体例3-1”同样，本例中使用式(26)及式(27)来计算加权系数w1”及w2”。
在用如此算出的加权系数w1”及w2”来生成的帧间预测图像Pred_Inter中，编码噪音所致的误差得到了降低。因此动图像编码装置6能生成编码量更少的编码数据#5。
因此，通过在动图像编码装置6中采用本例的方案，能削减编码数据#5的编码量。
(具体例3-2’)
以下说明加权系数计算部26b”对加权系数w1”及w2”进行的计算处理的第2例。与动图像解码装置5中加权系数计算部16b”进行的加权系数w1”及w2”的计算处理之“具体例3-2”同样，本例中的加权系数w2的取值为：根据量化步幅QP1及QP2，按照“具体例3-2”所述(1)至(3)中任一方法而定的值。
此外，与“具体例3-2”同样，使用该加权系数w2”，通过式(27)来计算加权系数w1”。
在用如此算出的加权系数w1”及w2”来生成的帧间预测图像Pred_Inter中，编码噪音所致的误差得到了降低。因此动图像编码装置6能生成编码量更少的编码数据#5。
(具体例3-3’)
以下说明加权系数计算部26b”对加权系数w1”及w2”进行的计算处理的第3例。在本例中，选以下任意一方式来设定加权系数w2”：(1)与动图像解码装置5中加权系数计算部16b”进行的加权系数w1”及w2”的计算处理之“具体例3-3”同样，通过式(28)来设定加权系数w2”；(2)令w2”＝0.5。
此外，与“具体例3-3”同样，用该加权系数w2”，通过式(27)来计算加权系数w1”。
通过采用如此算出的加权系数w1”及w2”，便能在量化步幅的比值为1∶1时，对量化步幅较大的参照图像乘以较小的加权系数，从而能降低帧间预测图像Pred_Inter中因编码噪音导致的误差。因此动图像编码装置6能生成编码量更少的编码数据#5。
(附记事项)
最后，上述动图像解码装置1、3、5以及动图像编码装置2、4、6的各功能块，尤其是形成在集成电路(IC芯片)内的逻辑电路，可由硬件方式来构成，也可利用CPU(CentralProcessing Unit：中央处理器)而以软件方式来实现。
上述各装置以软件方式来实现时，则具备以下等部件：对用以实现各功能的程序命令予以执行的CPU；存储上述程序的ROM(read only memory：只读存储器)；展开上述程序的RAM(random access memory：随机存取存储器)；存储上述程序及各种数据的存储器等存储装置(记录介质)。另外，本发明的目的还能通过以下方案来实现：向上述各装置提供记录介质，其中该记录介质中以计算机能够读取的方式记录有上述各装置的控制程序的程序代码(可执行程序、中间码程序、源程序)，该控制程序是用于实现以上所述功能的软件；并且，由上述各装置的计算机(或CPU、MPU)读出并执行该记录介质中记录的程序代码。
关于上述记录介质，例如可以是磁带、盒式带等带类；也可以是包括软盘(注册商标)、硬盘等磁盘以及CD-ROM、MO、MD、DVD、CD-R等光盘在内的盘类；也可以是IC卡(包括存储卡)、光卡等卡类；或是掩模型ROM、EPROM、EEPROM、闪存ROM等半导体存储器类；或是PLD(Programmable Logic Device：可编程逻辑器件)、FPGA(Field Programmable GateArray：现场可编程门阵列)等逻辑电路类。
另外，上述各装置也能够连接通信网络，上述程序代码也能够借助于通信网络来提供。该通信网络只要能传送程序代码，则无特别限定。例如可以利用互联网(internet)、内联网(intranet)、外联网(extranet)、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话回线网络、移动通信网络、卫星通信网络等。另外，用以构成该通信网络的传输介质也没有特别的限定，其只要是能传送程序代码的介质即可。例如可以利用IEEE1394、USB、电力线、电缆电视回线、电话线、ADSL(Asyummetric DigitalSubscriber Line：非对称数字订户线)回线等有线通信技术，也可以利用诸如IrDA或遥控用的红外线、Bluetooth(注册商标)、IEEE802.11无线通信、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通信)、DLNA(Digital Living NetworkAlliance：数字生活网络联盟)、便携式电话网络、卫星回线、地面数字广播网络等无线通信技术。
(附记事项2)
如上所述，本发明的预测图像生成装置具备：移动补偿图像生成单元，其将解码图像P1及P2分别作为参照图像来生成与解码图像P对应的移动补偿图像mc1及mc2；加权系数设定单元，其设定要分别与上述移动补偿图像生成单元生成的移动补偿图像mc1及mc2相乘的加权系数w1及w2的值；预测图像生成单元，其使用上述加权系数设定单元设定的加权系数w1及w2，来计算上述移动补偿图像生成单元生成的移动补偿图像mc1及mc2的加权平均值w1×mc1+w2×mc2，并向该加权平均值加算补偿值，由此生成与解码图像P对应的预测图像Pred。
另外，本发明的预测图像生成方法包含：移动补偿图像生成步骤，将解码图像P1及P2分别作为参照图像来生成与解码图像P对应的移动补偿图像mc1及mc2；加权系数设定步骤，设定要分别与上述移动补偿图像生成步骤中生成的移动补偿图像mc1及mc2相乘的加权系数w1及w2的值；预测图像生成步骤，使用上述加权系数设定步骤中设定的加权系数w1及w2，来计算上述移动补偿图像生成步骤中生成的移动补偿图像mc1及mc2的加权平均值w1×mc1+w2×mc2，并向该加权平均值加算补偿值，由此生成与解码图像P对应的预测图像Pred。
为解决上述的课题，本发明的预测图像生成装置的特征在于：在设解码图像P1与解码图像P2之间的帧间距离为td，设解码图像P1与解码图像P之间的距离为tb的情况下，上述加权系数设定单元按照0＜|w2-0.5|＜|tb/td-0.5|的方式来设定加权系数w2的值。
另外，为解决上述的课题，本发明的预测图像生成方法的特征在于：在上述加权系数设定步骤中，设解码图像P1与解码图像P2之间的帧间距离为td，设解码图像P1与解码图像P之间的距离为tb，并按照0＜|w2-0.5|＜|tb/td-0.5|的方式来设定加权系数w2的值。
由于在上述方案中是按照0＜|w2-0.5|＜|tb/td-0.5|的方式来设定加权系数w2的，因此：(1)与不考虑帧间距离而将加权系数w2的值定为0.5的方案相比，能生成高精度的预测图像；(2)与仅考虑帧间距离来将加权系数w2的值定为tb/td的方案相比，能生成编码噪音低的预测图像。因此，上述方案的效果在于能降低以下情况的发生可能性，该情况为：在对从编码对象图像中减去预测图像后而得的预测残差进行编码时，预测处理中的编码量发生增加。
最终与移动补偿图像mc2相乘的加权系数w2只要满足0＜|w2-0.5|＜|tb/td-0.5|这一条件即可。例如，对于使用整数系数W1及W2来算出加权平均值W1×mc1+W2×mc2，并通过向该加权平均值加算补偿值来获得像素值，然后用该像素值除以常数C来获得预测图像的像素值的这类方案而言，加权系数w2＝W2/C只要满足0＜|w2-0.5|＜|tb/td-0.5|这一条件即可。
在此，上述补偿值也可以设为0。即，实质上不加算补偿值的方案也包含在本发明的范畴内。
另外，上述加权系数设定单元也可以使用阈值Th1及Th2(Th1＜0.5＜Th2)来将加权系数w2的值设定成clip3(Th1，Th2，tb/td)；还可以使用系数α(0＜α＜1)来将加权系数w2的值设定成(tb/td-0.5)α+0.5，或使用系数α(0＜α＜1)、阈值Th1及Th2(Th1＜0.5＜Th2)来将加权系数w2的值设定成clip3(Th1，Th2，(tb/td-0.5)α+0.5)。上述各方案均能通过使加权系数w2的值接近0.5，来减少预测图像中包含的编码噪音。
作为优选，上述加权系数设定单元根据要被生成预测图像Pred的像区的尺寸，来设定上述系数α。另外，作为优选，上述加权系数设定单元根据要被生成预测图像Pred的像区的尺寸，来设定上述阈值Th1及Th2。
根据本发明的发明者的见解，随要被生成预测图像Pred的像区的尺寸不同，其最佳的加权系数也有不同的倾向。在此，所谓最佳加权系数是指，根据最小二乘法导出的、使编码对象图像与解码图像之间误差的平方值得以达到最小的加权系数。因此，通过上述方案，能使加权系数w1及w2的值接近最佳加权系数。
为解决上述的课题，本发明的预测图像生成装置的特征在于：当移动向量mv1的大小|mv1|、与移动向量mv2的大小|mv2|之间的关系为|mv1|＜|mv2|时，上述加权系数设定单元按照|w1|≥|w2|的方式来设定加权系数w1及w2的值，其中，上述移动向量mv1及mv2是在用以获得移动补偿图像mc1及mc2的移动补偿处理中所被用到的移动向量。
另外，为解决上述的课题，本发明的预测图像生成方法的特征在于：在上述加权系数设定步骤中，当移动向量mv1的大小|mv1|、与移动向量mv2的大小|mv2|之间的关系为|mv1|＜|mv2|时，按照|w1|≥|w2|的方式来设定加权系数w1及w2的值，其中，上述移动向量mv1及mv2是在用以获得移动补偿图像mc1及mc2的移动补偿处理中所被用到的移动向量。
移动向量mv1的大小|mv1|、与移动向量mv2的大小|mv2|之间的关系为|mv1|＜|mv2|时，则意味着移动补偿图像mc2与编码对象图像之间的差大于移动补偿图像mc1与编码对象图像之间的差。因此，相比于按照|w1|＜|w2|的方式来设定加权系数w1及w2的值的方案，按照|w1|≥|w2|的方式来设定加权系数w1及w2的值的方案能提高预测精度。因此，上述方案的效果在于能降低以下情况的发生可能性，该情况为：在对从编码对象图像中减去预测图像后而得的预测残差进行编码时，预测处理中的编码量发生增加。
上述加权系数设定单元也可以将加权系数w2的值设定成|mv1|/(|mv1|+|mv2|)，或使用阈值Th1及Th2(Th1＜0.5＜Th2)来将加权系数w2的值设定成clip3(Th1，Th2，|mv1|/(|mv1|+|mv2|))。上述加权系数设定单元还可以进行以下处理：(1)当|mv1|＜|mv2|-k时，将加权系数w2的值设定成小于0.5的值；(2)当|mv2|-k≤|mv1|≤|mv2|+k时，将加权系数w2的值设定成0.5；(3)当|mv2|+k＜|mv1|时，将加权系数w2的值设定成大于0.5的值，其中k为正的常数。另外，上述加权系数设定单元也可以仅在解码图像P1与解码图像P之间的帧间距离等于解码图像P2与解码图像P之间的帧间距离时，根据移动向量mv1的大小|mv1|、以及移动向量mv2的大小|mv2|来设定加权系数w1及w2的值。上述各方案均能提高预测精度。
为解决上述的课题，本发明的预测图像生成装置的特征在于：当量化步幅QP1与QP2的关系为QP1＜QP2时，上述加权系数设定单元按照|w1|≥|w2|的方式来设定所述加权系数w1及w2的值，其中，上述量化步幅QP1及QP2是在用以获得解码图像P1及P2的逆量化处理中所分别被用到的量化步幅。
另外，为解决上述的课题，本发明的预测图像生成方法的特征在于：在上述加权系数设定步骤中，当量化步幅QP1与QP2的关系为QP1＜QP2时，按照|w1|≥|w2|的方式来设定所述加权系数w1及w2的值，其中，上述量化步幅QP1及QP2是在用以获得解码图像P1及P2的逆量化处理中所分别被用到的量化步幅。
量化步幅QP1与QP2的关系为QP1＜QP2时，则意味着移动补偿图像mc2中所含的编码噪音(量化噪音)大于移动补偿图像mc1中所含的编码噪音(量化噪音)。因此，相比于按照|w1|＜|w2|的方式来设定加权系数w1及w2的值的方案，按照|w1|≥|w2|的方式来设定加权系数w1及w2的值的方案能减小预测图像中所含的编码噪音。因此，上述方案的效果在于能降低以下情况的发生可能性，该情况为：在对从编码对象图像中减去预测图像后而得的预测残差进行编码时，预测处理中的编码量发生增加。
此外，上述加权系数设定单元也可以将加权系数w2的值设定成QP1/(QP1+QP2)，或使用阈值Th1及Th2(Th1＜0.5＜Th2)来将加权系数w2的值设定成clip3(Th1，Th2，QP1/(QP1+QP2))。上述加权系数设定单元还可以进行以下处理：(1)当QP1＜QP2-k时，将加权系数w2的值设定成小于0.5的值；(2)当QP2-k≤QP1≤QP2+k时，将加权系数w2的值设定成0.5；(3)当QP2+k＜QP1时，将加权系数w2的值设定成大于0.5的值，其中k为正的常数。另外，也可仅在解码图像P1与解码图像P之间的帧间距离等于解码图像P2与解码图像P之间的帧间距离时，根据量化步幅QP1及QP2来设定加权系数w1及w2的值。上述各方案均能减小预测图像中所含的量化噪音。
另外，具备上述预测图像生成装置的动图像解码装置及动图像编码装置也包含在本发明的范畴内。
本发明并不限于上述各实施方式，可以根据权利要求所示的范围进行各种变更，适当地组合不同实施方式中分别揭示的技术方案而得到的实施方式也包含在本发明的技术范围内。
[产业上的利用可能性]
本发明能较好地用作预测图像生成装置来生成供进行动图像预测编码的预测图像。另外，本发明还能较好地用在具备了此类预测图像生成装置的动图像解码装置及动图像编码装置中。

Claims (6)

1.一种预测图像生成装置，其特征在于，
具备：
移动补偿图像生成单元，其将解码图像P1及P2分别作为参照图像来生成与解码图像P对应的移动补偿图像mc1及mc2；
加权系数设定单元，其设定要分别与所述移动补偿图像生成单元生成的移动补偿图像mc1及mc2相乘的加权系数w1及w2的值；和
预测图像生成单元，其使用所述加权系数设定单元设定的加权系数w1及w2、移动补偿图像mc1及mc2，来生成与解码图像P对应的预测图像Pred，
当第1移动向量mv1的大小|mv1|、与第2移动向量mv2的大小|mv2|之间的关系为|mv1|＜|mv2|时，按照|w1|≥|w2|的方式来设定加权系数w1及w2的值，其中，所述第1移动向量mv1及第2移动向量mv2是在用以获得移动补偿图像mc1及mc2的移动补偿处理中所被用到的移动向量。
2.根据权利要求1所述的预测图像生成装置，其特征在于，
利用所述第1移动向量mv1的绝对值相对于所述第1移动向量mv1及所述第2移动向量mv2的绝对值之和的比率，来求出所述加权系数。
3.根据权利要求2所述的预测图像生成装置，其特征在于，
将所述第1移动向量mv1的绝对值相对于所述第1移动向量mv1及所述第2移动向量mv2的绝对值之和的比率剪切在给定的范围，来求出所述加权系数。
4.根据权利要求1所述的预测图像生成装置，其特征在于，
在所述第1移动向量mv1的绝对值与所述第2移动向量mv2的绝对值的差在给定的范围以下的情况下，将所述第1移动向量mv1的绝对值相对于所述第1移动向量mv1及所述第2移动向量mv2的绝对值之和的比率剪切在给定的范围，来求出所述加权系数。
5.根据权利要求1至4的任一项所述的预测图像生成装置，其特征在于，
在所述解码图像P1与所述解码图像P之间的帧间距离、所述解码图像P2与所述解码图像P之间的帧间距离为1∶1的情况下，求出所述加权系数。
6.根据权利要求1至4的任一项所述的预测图像生成装置，其特征在于，
对于所述解码图像P1与所述解码图像P2之间的帧间距离td、所述解码图像P2与所述解码图像P之间的帧间距离tb，在2×tb与td相等的情况下，求出所述加权系数。
CN201611048718.3A 2010-05-13 2011-04-28 预测图像生成装置 Pending CN107071410A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010111476 2010-05-13
JP2010-111476 2010-05-13
CN201180033380.3A CN102972027B (zh) 2010-05-13 2011-04-28 预测图像生成装置、动图像解码装置、动图像编码装置以及预测图像生成方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180033380.3A Division CN102972027B (zh) 2010-05-13 2011-04-28 预测图像生成装置、动图像解码装置、动图像编码装置以及预测图像生成方法

Publications (1)

Publication Number Publication Date
CN107071410A true CN107071410A (zh) 2017-08-18

Family

ID=44914333

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201611048718.3A Pending CN107071410A (zh) 2010-05-13 2011-04-28 预测图像生成装置
CN201611042219.3A Pending CN107071409A (zh) 2010-05-13 2011-04-28 预测图像生成装置
CN201180033380.3A Expired - Fee Related CN102972027B (zh) 2010-05-13 2011-04-28 预测图像生成装置、动图像解码装置、动图像编码装置以及预测图像生成方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201611042219.3A Pending CN107071409A (zh) 2010-05-13 2011-04-28 预测图像生成装置
CN201180033380.3A Expired - Fee Related CN102972027B (zh) 2010-05-13 2011-04-28 预测图像生成装置、动图像解码装置、动图像编码装置以及预测图像生成方法

Country Status (5)

Country Link
US (1) US10034012B2 (zh)
JP (1) JP5784596B2 (zh)
CN (3) CN107071410A (zh)
CA (1) CA2799144C (zh)
WO (1) WO2011142277A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9888817B2 (en) 2014-12-17 2018-02-13 Omachron Intellectual Property Inc. Surface cleaning apparatus
WO2012117744A1 (en) 2011-03-03 2012-09-07 Panasonic Corporation Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
CA2929400A1 (en) * 2013-11-05 2015-05-14 Arris Enterprises, Inc. Simplified processing of weighted prediction syntax and semantics using a bit depth variable for high precision data
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10412410B2 (en) * 2017-08-14 2019-09-10 Google Llc Compound motion-compensated prediction
US11006799B2 (en) 2018-08-13 2021-05-18 Omachron Intellectual Property Inc. Cyclonic air treatment member and surface cleaning apparatus including the same
US11192122B2 (en) 2018-08-13 2021-12-07 Omachron Intellectual Property Inc. Cyclonic air treatment member and surface cleaning apparatus including the same
US11013384B2 (en) 2018-08-13 2021-05-25 Omachron Intellectual Property Inc. Cyclonic air treatment member and surface cleaning apparatus including the same
EP3855748A4 (en) * 2018-09-21 2022-06-01 Sharp Kabushiki Kaisha PICTURE DECODING APPARATUS AND PICTURE CODING APPARATUS

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756368A (zh) * 2001-09-14 2006-04-05 夏普株式会社 基于边界强度的自适应过滤
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
CN101355703A (zh) * 2007-07-23 2009-01-28 索尼株式会社 图像处理设备、图像处理方法和程序
WO2009041215A1 (ja) * 2007-09-25 2009-04-02 Sharp Kabushiki Kaisha 動画像符号化装置及び動画像復号装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
CN1292201A (zh) * 1998-11-04 2001-04-18 三菱电机株式会社 图象解码装置和图象编码装置
KR20060111735A (ko) * 2002-01-18 2006-10-27 가부시끼가이샤 도시바 동화상 복호화방법 및 장치
JP4485157B2 (ja) * 2002-08-08 2010-06-16 パナソニック株式会社 画像復号化方法および画像復号化装置
EP2903278B1 (en) 2002-08-08 2017-06-28 Godo Kaisha IP Bridge 1 Moving picture decoding method
CA2473767C (en) 2002-11-20 2012-10-23 Matsushita Electric Industrial Co., Ltd. Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
JP4178088B2 (ja) * 2002-11-20 2008-11-12 松下電器産業株式会社 動画像復号化方法及び装置並びにデータ記憶媒体
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
JP2006101321A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
EP1646243B1 (en) 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
JP2006101322A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
US7663701B2 (en) * 2005-04-11 2010-02-16 Ati Technologies, Inc. Systems, methods, and apparatus for noise reduction
JP2007081518A (ja) * 2005-09-12 2007-03-29 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
US8160149B2 (en) * 2007-04-03 2012-04-17 Gary Demos Flowfield motion compensation for video compression
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
JP5325638B2 (ja) * 2008-11-26 2013-10-23 日立コンシューマエレクトロニクス株式会社 画像復号化方法
US9161058B2 (en) * 2010-03-27 2015-10-13 Texas Instruments Incorporated Method and system for detecting global brightness change for weighted prediction in video encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756368A (zh) * 2001-09-14 2006-04-05 夏普株式会社 基于边界强度的自适应过滤
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
CN101355703A (zh) * 2007-07-23 2009-01-28 索尼株式会社 图像处理设备、图像处理方法和程序
WO2009041215A1 (ja) * 2007-09-25 2009-04-02 Sharp Kabushiki Kaisha 動画像符号化装置及び動画像復号装置

Also Published As

Publication number Publication date
CA2799144A1 (en) 2011-11-17
JP5784596B2 (ja) 2015-09-24
CN102972027B (zh) 2016-12-21
US10034012B2 (en) 2018-07-24
US20130058417A1 (en) 2013-03-07
CN107071409A (zh) 2017-08-18
CA2799144C (en) 2016-03-15
WO2011142277A1 (ja) 2011-11-17
CN102972027A (zh) 2013-03-13
JPWO2011142277A1 (ja) 2013-07-22

Similar Documents

Publication Publication Date Title
CN107071410A (zh) 预测图像生成装置
CN101390401B (zh) 借助伪影评价的提高的图像/视频质量
CN103918262B (zh) 基于结构相似度的码率失真优化感知视频编码方法和系统
TWI548265B (zh) Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, and animation decoding program
CN101595736B (zh) 失真度估算
KR101103187B1 (ko) 복잡도 인식 인코딩
CN104811713B (zh) 使用平面表达的增强帧内预测编码
CN105072448B (zh) 对图像进行解码的方法
CN105915901B (zh) 动图像解码装置以及动图像解码方法
CN104041048B (zh) 利用跳过模式进行视频编码和解码的方法和设备
CN103647972B (zh) 运动图像解码方法和运动图像编码方法
CN104967857B (zh) 对图像进行编码/解码的方法和设备
CN101511017B (zh) 基于网格的立体视频空间可分级编码器及其编码方法
CN101911705A (zh) 运动图像编码装置及运动图像解码装置
CN106131559B (zh) 动态图像的预测编码装置和方法、预测解码装置和方法
CN101091393A (zh) 运动图像编码方法以及利用其的装置、计算机程序
JP2007529175A5 (zh)
CN103168469B (zh) 用于图像和视频编码的错误恢复率失真优化
CN106170979A (zh) 恒定质量视频编码
JP2014099905A (ja) ビデオ圧縮方法
TWI289998B (en) Scalable encoding method and apparatus, scalable decoding method and apparatus, and computer readable storage medium therefor
CN107155112A (zh) 一种多假设预测的压缩感知视频处理方法
CN101411200A (zh) 视频编码
RU2719334C1 (ru) Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
CN102655591B (zh) 运动图像编码装置、运动图像解码装置以及运动图像编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1238462

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1238462

Country of ref document: HK