CN103238332A - 运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置以及运动图像编解码装置 - Google Patents

Abstract

本发明涉及的运动图像解码方法，包括：帧内预测步骤(S403)，通过对对象块进行帧内预测，从而计算所述对象块的预测样本值；以及重构样本计算步骤(S404)，通过将所述对象块的残差数据和所述预测样本值相加，从而计算所述对象块的重构样本，在所述帧内预测步骤中，判定位于所述对象块的正上方以及正左方的一方的多个参考样本各自的有效性，在所述多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，利用该有效的参考样本进行所述帧内预测，将被帧内预测的参考样本判定为有效的参考样本，将被帧间预测的参考样本判定为无效的参考样本。

Description

运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置以及运动图像编解码装置

技术领域

本发明涉及运动图像编码方法、运动图像解码方法、运动图像编码装置，运动图像解码装置以及运动图像编解码装置，尤其涉及利用了画面内预测的运动图像编码方法以及运动图像解码方法。

背景技术

在H.263、MPEG－4AVC／H.264、以及下一代的HEVC(High－Efficiency Video Coding：高效视频编码)等的最先进的运动图像编码方式中，利用画面内预测以及画面间预测。在画面内预测(以下，称为帧内预测)中，根据相同的图片内的已经编码的样本，预测编码对象单位的样本值。另一方面，在画面间预测(以下，称为帧间预测)中，根据已经编码的其他的图片的样本，预测图片内的编码对象单位的样本值。

在此，在运动图像的解码处理中，由于发送时的损失或执行不匹配的解码等的各种各样的原因，会有发生错误的情况。在利用帧间预测的情况下，该错误也传播到后续的图片，该错误随着时间经过而积蓄。并且，帧内预测易于受到参考样本的质量的影响。因此，在帧内预测中，若利用具有错误的样本值，以作为参考样本，则画质大大降低。

用于解决因包含错误的帧内预测而引起的这样的质量降低的现有技术包括，H.264中利用的限制帧内预测方式。该方式是指，仅将被帧内预测的样本使用于帧内预测的参考样本，在参考样本没有被帧内预测的情况下，禁止使用特定的帧内预测方法(参照非专利文献1)。

(现有技术文献)

(非专利文献)

非专利文献1：ISO／IEC14496－10“MPEG－4Part10AdvancedVideo Coding”

发明概要

发明要解决的问题

在此，在下一代的HEVC运动图像编码方式中，利用多个尺寸的可变长编码单位。在该方式中，利用帧内预测或帧间预测是，针对各个编码单位能够分别设定的。据此，HEVC，能够提高编码效率。

然而，现有技术中的限制帧内预测方式，没有设想使用这样的可变长编码单位的情况，在使用这样的可变长编码单位的情况下，会有编码效率不足的情况。

发明内容

于是，本发明的目的在于，提供能够提高编码效率的运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置以及运动图像编解码装置。

用于解决问题的手段

为了实现所述目的，本发明的实施方案之一涉及的运动图像解码方法，包括：分析步骤，通过分析编码运动图像比特流，从而获得两种以上的尺寸的多个块之中的对象块的残差数据；帧内预测步骤，通过对所述对象块进行帧内预测，从而计算所述对象块的预测样本值；以及重构样本计算步骤，通过将所述残差数据和所述预测样本值相加，从而计算所述对象块的重构样本，在所述帧内预测步骤中，判定位于所述对象块的正上方以及正左方的一方的多个参考样本各自的有效性，在所述多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，利用该有效的参考样本进行所述帧内预测，将被帧内预测的参考样本判定为有效的参考样本，将被帧间预测的参考样本判定为无效的参考样本。

据此，本发明的实施方案之一涉及的运动图像解码方法，在位于对象块的正上方以及正左方的一方的多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，能够利用该有效的参考样本进行帧内预测。据此，该运动图像解码方法，能够利用更多的有效的参考样本，因此，能够提高编码效率。

并且，也可以是，在所述分析步骤中，进一步，通过分析所述编码运动图像比特流，从而获得帧内预测方法，所述帧内预测步骤还包括：参考样本计算步骤，利用一个以上的所述有效的参考样本，计算插补样本，该插补样本是无效的参考样本的位置的参考样本；以及预测样本计算步骤，根据所述帧内预测方法，利用所述有效的参考样本以及所述插补样本，计算所述对象块的所述预测样本。

据此，本发明的实施方案之一涉及的运动图像解码方法，利用有效的参考样本，能够生成无效的参考样本位置的样本。据此，该运动图像解码方法，能够利用更多的有效的参考样本，因此，能够提高编码效率。

并且，也可以是，所述参考样本计算步骤包括：样本选择步骤，选择一个所述有效的参考样本，以作为选择样本；以及将所述选择样本的值设为所述插补样本的值的步骤。

并且，也可以是，所述样本选择步骤，将所有的参考样本位置之中的、以从左下参考样本位置开始至右上参考样本位置结束的方向上进行搜索而找到的最初的有效的参考样本的位置，识别为开始参考样本位置的步骤；判定在与所述搜索相同的样本顺序上，所述无效的参考样本的位置是位于所述开始参考样本位置之前还是之后的步骤；在所述无效的参考样本的位置位于所述开始样本位置之前的情况下，选择所述开始参考样本位置的样本，以作为所述选择样本的步骤；以及在所述无效的参考样本的位置位于所述开始样本位置之后的情况下，按照与所述搜索相同的样本顺序，选择所述无效的参考样本位置之前且与该无效的参考样本位置最近的有效的参考样本，以作为所述选择样本。

并且，也可以是，所述参考样本计算步骤包括：选择多个所述有效的参考样本，以作为多个选择样本的步骤；将所述多个选择样本的值和预先规定的定标系数相乘，从而计算多个标度值的步骤；计算作为所述多个定标值的总和的第一总和值的步骤；计算作为所述第一总和值与预先规定的偏移值之和的第二总和值的步骤；以及以预先规定的位移步进值，对所述第二总和值进行下移，从而计算所述插补样本的值的步骤。

并且，所述帧内预测也可以是帧内DC预测。

据此，本发明的实施方案之一涉及的运动图像解码方法，在帧内DC预测中，能够利用更多的有效的参考样本，因此，能够提高编码效率。

并且，也可以是，所述帧内预测步骤包括：选择一个以上的所述有效的参考样本，以作为选择样本的步骤；确定所述选择样本的数量的步骤；利用查找表，根据所述选择样本的数量，选择定标系数、偏移值、以及位移步进值的步骤；计算作为所述选择样本的值的总和的第一总和值的步骤；将所述第一总和值和选择出的所述定标系数相乘，从而计算标度值的步骤；计算作为选择出的所述偏移值、与所述标度值之和的第二总和值的步骤；以及以选择出的所述位移步进值，对所述第二总和值进行下移，从而生成所述对象块的所有的预测样本值的步骤。

并且，也可以是，在所述帧内预测步骤中，还包括将预先规定的值，设为所述对象块的所有的预测样本值的情况。

并且，也可以是，在所述分析步骤中，进一步，获得在所述编码运动图像比特流的头部内被编码的选择信息，所述选择信息示出，(1)作为所述帧内预测的限制帧内预测方式、以及(2)不判断所述多个参考样本的有效性而利用所有的参考样本进行帧内预测的非限制帧内预测方式的一方，在所述帧内预测步骤中，利用所述选择信息所示的所述限制帧内预测方式以及所述非限制帧内预测方式的某一方进行帧内预测。

据此，本发明的实施方案之一涉及的运动图像解码方法，根据选择信息，能够把握利用了限制帧内预测方式和非限制帧内预测方式的哪一方。

并且，在所述帧内预测步骤中也可以，将对象图片之外的参考样本判定为无效的参考样本。

并且，在所述帧内预测步骤中，也可以将没有包含在与所述对象块相同的图片分割单位中的参考样本判定为无效的参考样本。

并且，所述图片分割单位也可以是片。

并且，所述图片分割单位也可以是轻量片。

并且，所述图片分割单位也可以是瓦片。

并且，所述图片分割单位也可以是WPP(Wavefront ParallelProcessing unit：波前并行处理单位)。

并且，本发明的实施方案之一涉及的运动图像编码方法，包括：分割步骤，将原图像分割为两种以上的尺寸的多个块；帧内预测步骤，通过对所述多个块之中的对象块进行帧内预测，从而计算预测样本值；残差数据计算步骤，计算作为所述对象块的原图像与所述预测样本值的差分的残差数据；以及编码步骤，通过对所述残差数据进行编码，从而生成编码运动图像比特流，在所述帧内预测步骤中，判定位于所述对象块的正上方以及正左方的一方的多个参考样本各自的有效性，在所述多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，利用该有效的参考样本进行所述帧内预测，将被帧内预测的参考样本判定为有效的参考样本，将被帧间预测的参考样本判定为无效的参考样本。

据此，本发明的实施方案之一涉及的运动图像编码方法，在位于对象块的正上方以及正左方的一方的多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，能够利用该有效的参考样本进行帧内预测。据此，该运动图像解码方法，能够利用更多的有效的参考样本，因此，能够提高编码效率。

而且，本发明，除了可以作为运动图像编码方法以及运动图像解码方法来实现以外，还可以将运动图像编码方法或运动图像解码方法中包含的特征步骤作为单元的运动图像编码装置或运动图像解码装置来实现。并且，本发明，也可以作为包含这样的运动图像编码装置以及运动图像解码装置的运动图像编解码装置来实现。

并且，本发明，也可以作为使计算机执行运动图像编码方法或运动图像解码方法中包含的特征步骤的程序来实现。而且，当然也可以通过CD-ROM等存记录介质以及互联网等传输介质来分发这样的程序。

进而，本发明，可以作为实现这样的运动图像编码装置或运动图像解码装置的功能的一部分或全部的半导体集成电路(LSI)来实现，也可以作为具备这样的运动图像编码装置或运动图像解码装置的各种装置或系统来实现。

发明效果

以上，本发明能够提供能够提高编码效率的运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置以及运动图像编解码装置。

附图说明

图1是示出块尺寸相同时的基于相邻参考样本的帧内预测的例子的图。

图2是示出块尺寸不同时的基于相邻参考样本的帧内预测的例子的图。

图3是示出本发明的实施例1的运动图像编码处理的流程图。

图4A是示出本发明的实施例1的压缩运动图像流中的示出非限制帧内预测方式或限制帧内预测方式的选择结果的信号的位置的例子的图。

图4B是示出本发明的实施例1的压缩运动图像流中的示出非限制帧内预测方式或限制帧内预测方式的选择结果的信号的位置的例子的图。

图4C是示出本发明的实施例1的压缩运动图像流中的示出非限制帧内预测方式或限制帧内预测方式的选择结果的信号的位置的例子的图。

图4D是示出本发明的实施例1的压缩运动图像流中的示出非限制帧内预测方式或限制帧内预测方式的选择结果的信号的位置的例子的图。

图5是示出本发明的实施例1的利用了限制帧内预测方式的运动图像编码处理的流程图。

图6是示出本发明的实施例1的利用了限制帧内预测方式的运动图像编码处理的流程图。

图7是示出本发明的实施例1的运动图像解码处理的流程图。

图8是示出本发明的实施例1的利用了限制帧内预测方式的运动图像解码处理的流程图。

图9是示出本发明的实施例1的利用了限制帧内预测方式的运动图像解码处理的流程图。

图10是示出本发明的实施例1的运动图像编码装置的一个例子的方框图。

图11是示出本发明的实施例1的利用了限制帧内预测方式的第一编码部的一个例子的方框图。

图12是示出本发明的实施例1的运动图像解码装置的一个例子的方框图。

图13是示出本发明的实施例1的利用了限制帧内预测方式的第一解码部的一个例子的方框图。

图14是示出本发明的实施例2的运动图像编码处理的流程图。

图15A是示出本发明的实施例2的压缩运动图像流中的示出非选择性帧内DC预测方式或选择性帧内DC预测方式的选择结果的信号的位置的例子的图。

图15B是示出本发明的实施例2的压缩运动图像流中的示出非选择性帧内DC预测方式或选择性帧内DC预测方式的选择结果的信号的位置的例子的图。

图15C是示出本发明的实施例2的压缩运动图像流中的示出非选择性帧内DC预测方式或选择性帧内DC预测方式的选择结果的信号的位置的例子的图。

图15D是示出本发明的实施例2的压缩运动图像流中的示出非选择性帧内DC预测方式或选择性帧内DC预测方式的选择结果的信号的位置的例子的图。

图16是示出本发明的实施例2的利用了选择性帧内DC预测方式的运动图像编码处理的流程图。

图17是示出本发明的实施例2的运动图像解码处理的流程图。

图18是示出本发明的实施例2的利用了选择性帧内DC预测方式的运动图像解码处理的流程图。

图19是示出本发明的实施例2的运动图像编码装置的一个例子的方框图。

图20是示出本发明的实施例2的利用了选择性帧内DC预测方式的第一编码部的一个例子的方框图。

图21是示出本发明的实施例2的运动图像解码装置的一个例子的方框图。

图22是示出本发明的实施例2的利用了选择性帧内DC预测方式的第一解码部的一个例子的方框图。

图23是实现内容分发服务的内容提供系统的整体结构图。

图24是数字广播用系统的整体结构图。

图25是示出电视机的结构例的方框图。

图26是示出对作为光盘的记录介质进行信息的读写的信息再生／记录部的结构例的方框图。

图27是示出作为光盘的记录介质的构造例的图。

图28A是示出移动电话的一个例子的图。

图28B是示出移动电话的结构例的方框图。

图29是示出多路复用数据的结构的图。

图30是示出各个流在多路复用数据中如何被多路复用的模式图。

图31是更详细示出PES数据包串中如何存储视频流的图。

图32是示出多路复用数据中的TS数据包和源数据包的构造的图。

图33是示出PMT的数据结构的图。

图34是示出多路复用数据信息的内部结构的图。

图35是示出流属性信息的内部结构的图。

图36是示出识别影像数据的步骤的图。

图37是示出各个实施例的实现运动图像编码方法以及运动图像解码方法的集成电路的结构例的方框图。

图38是示出切换驱动频率的结构的图。

图39是示出识别影像数据、切换驱动频率的步骤的图。

图40是示出影像数据的标准与驱动频率对应的查找表的一个例子的图。

图41A是示出共享信号处理部的模块的结构的一个例子的图。

图41B是示出共享信号处理部的模块的结构的另一个例子的图。

具体实施方式

首先，说明利用多个尺寸的可变长编码单位进行基于限制帧内预测方式的处理时的问题点。

图1示出，可变长编码单位相同时的、对8×8的编码对象块的基于限制帧内预测方式的处理的一个例子。在该图中，在被帧间预测的块中划斜线。也就是说，上部以及右上的相邻块利用帧间预测而被编码，左以及左上的相邻块利用帧内预测而被编码。以小四角形示出，用于执行帧内预测的参考样本。

在对该例子利用限制帧内预测方式的情况下，能够使用对8×8的帧内预测可以考虑的共计9种帧内预测方法之中的(H.264标准中被称为帧内预测模式)3种帧内预测方法，即能够使用Intra_8x8_Horizontal、Intra_8x8_DC、以及Intra_8x8_Horizontal_Up，不能使用其他的5个方向的帧内预测方法。

并且，在下一代的HEVC运动图像编码方式中，利用4×4、8×8、16×16、32×32、以及64×64的二维编码对象块等的多个可变长编码单位。在该方式中，利用帧内预测或帧间预测是，针对各个编码单位能够分别设定的。据此，HEVC的编码效率提高。并且，文献中记载有，如此灵活分割编码单位是，与以往的技术相比更有效的。

在此，在限制帧内预测方式适用于利用了被帧内预测以及被帧间预测的参考样本混在一起的可变长编码单位的运动图像编码方式的情况下，具有编码效率不足的问题。

图2是示出利用不同的尺寸的可变长编码单位时的基于限制帧内预测方式的处理的一个例子的图。在该例子中，编码对象块是16×16块。并且，右上相邻块A以及B被帧内预测，上部相邻块C被帧间预测，上部相邻块D以及E被帧内预测，左上相邻块F被帧间预测，左相邻块G被帧内预测，左下相邻块J被帧内预测，左下相邻块H以及I被帧间预测。

也就是说，如图1示出，在块尺寸为一定的情况下，在对象块的一个方向(左下，左，上或右上)上相邻的块必定是一个。另一方面，如图2示出，在块尺寸可变的情况下，会有在对象块的一个方向上相邻的块为多个的情况。进而，会发生对该多个块利用了的预测类型不同的情况。如此，在一个方向上相邻的块的至少一个被帧间预测的情况下，根据限制帧内预测方式，不能使用利用了该一方向的参考样本的帧内预测方法。据此，即使存在被帧内预测的有效的参考样本，也会发生不能使用该有效的参考样本的情况。

具体而言，HEVC的多个方向上的帧内预测，与利用了一个以上的相邻的参考样本(在该图中，以小四角形示出)的各种各样的帧内预测方法的选择对应。在此，在利用作为现有技术的H.264的限制帧内预测方式的情况下，块C被帧间预测，因此，对于利用上部以及右上的参考样本进行的帧内预测方法，除了一个方法以外都不可使用。

并且，帧内DC预测方法是，通过H.264的限制帧内预测方式而能够使用的，但是，对于上部相邻块中包含的参考样本，由于被帧内预测的参考样本和被帧间预测的参考样本混在一起，因此不使用全部。也就是说，利用左相邻块中包含的参考样本，计算帧内DC预测样本值。因此，根据用于解决因包含错误的帧内预测而引起的质量降低的现有技术，在被帧内预测以及被帧间预测的参考样本混在一起的情况下，不能得到最适当的编码效率。

对此，在本实施例中，提出进行抗性帧内(constrained－intra)预测的新的方法。在本实施例中，在进行帧内预测时能够最大限度地利用可靠性高的参考样本。并且，在下一代的HEVC运动图像编码方式等的最新的运动图像编码方式中，利用多个方向的帧内预测方式和可变长编码单位的组合。在本实施例中，说明如上所述的运动图像编码方式中，进行容错性提高了的帧内预测的手段。

本实施例涉及的运动图像编码方法，一方面得到容错性的效果，一方面将运算的复杂性保持为相同的程度，并且，能够以最适当的效率进行抗性帧内预测。据此，该运动图像编码方法能够提高编码效率。

以下，利用附图详细说明本发明的实施例。而且，以下说明的实施例，都示出本发明的优选的一个具体例。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。本发明，仅由权利要求书限定。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立请求要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的要素。

在本发明的实施例中，说明使用仅利用被帧内预测的样本来进行画面内预测的限制帧内预测的运动图像编码方法以及运动图像解码方法。

而且，在本说明书整体中，能够利用的样本位置这用语，意味着物理存在图像样本的情况。在本发明中可以考虑的实施例之一中，在图像样本位于图片的边缘之外的情况下，该样本被判定为不可利用，若不是，则该样本被判定为能够利用。

并且，在本发明中可以考虑的其他的实施例中，在图像样本位于图片的边缘之外、或位于与对象的图片分割单位不同的图片分割单位的情况下，该图像样本被判定为不可利用，若不是，则该样本被判定为能够利用。对象的图片分割单位这用语，意味着包含编码或解码的处理对象的块或样本的图片分割单位。

并且，例如，图片分割单位是片。而且，该图片分割单位也可以是，HEVC的、熵片(entropy slice)或轻量片(lightweight slice)、瓦片(tile)、或WPP(Wavefront Parallel Processing unit：波前并行处理单位)。

熵片或轻量片是指，与以往的片相比削减了要更新的信息的片。具体而言，对于以往的片，需要按每个片更新称为片头的头信息的全部。另一方面，对于轻量片，重视消除与前一个处理完毕的块结果的依赖关系，削减了要更新的信息。

瓦片是指，示出表示编码顺序的对象的区域的单位。根据该单位内预先决定的处理顺序(例如光栅扫描)，按每个编码单位(LCU)进行处理。

WPP是指，示出变更编码顺序的依赖关系的情况的对象的单位。例如，能够将以往依赖于前一个处理完毕的块结果的处理，变更为仅利用右上的处理完毕的块的处理结果的方法。据此能够实现并行处理。

(实施例1)

在本发明的实施例1中，说明利用参考样本值进行帧内预测处理的限制帧内预测方式。根据该方式，首先判定各个参考样本位置的有效性。而且，利用该有效的参考样本位置的参考样本值，计算作为无效的参考样本位置的参考样本值的插补样本值。然后，利用有效的参考样本值以及插补样本值进行帧内预测处理。在本发明的实施例之一中，对于参考样本，在没有被帧内预测的情况下，被判定为无效，若不是，则被判定为有效。并且，在本发明的实施例之一中，对于参考样本，在没有被帧内预测、或不能利用的情况下，被判定为无效，若不是，则参考样本被判定为有效。

而且，以下，将有效的参考样本也记载为有效样本，将其值也记载为有效样本值，将其位置也记载为有效样本位置。同样，将无效的参考样本也记载为无效样本，将其值也记载为无效样本值，将其位置也记载为无效样本位置。

与限制帧内预测方式相比，在指示最初不判定能够利用的参考样本位置的有效性而利用能够利用的参考样本位置的参考样本值的现有技术的帧内预测方式的情况下，在本说明书中，利用非限制帧内预测方式这用语。也就是说，非限制帧内预测方式是指，与参考样本是否有效(是否被帧内预测)、是否无效(是否被非帧内预测)无关，而利用所有的能够利用的参考样本位置的参考样本值进行帧内预测的方式。

图3示出说明本发明的实施例1涉及的运动图像编码处理的流程图。

首先，在步骤S101中，对于帧内预测方式，选择限制帧内预测方式以及非限制帧内预测方式的某一方。

接着，在步骤S102中，将对象的原图像分割为一个以上的编码块。编码块的一个例子是，包含32×32的原图像样本的二维的块。并且，在该步骤S102中，将原图像分割为两种以上的尺寸的多个编码块。

接着，在步骤S103中，通过对得到的编码块进行编码，从而生成编码运动图像比特流。并且，在步骤S103中，在利用帧内预测类型将对象块编码的情况下，利用步骤S101中选择出的帧内预测方式。

接着，在步骤S104中，将步骤S101中选择出的限制帧内预测方式以及非限制帧内预测方式的某一方的选择结果，编码到编码运动图像流的头部内。

图4A至图4D是示出通过所述运动图像编码方法而生成的编码运动图像比特流900中的选择信息950被配置的位置的图。该选择信息950是示出，利用了作为帧内预测方式的限制帧内预测方式以及非限制帧内预测方式的哪一方的信息。

如图4A至图4D示出，编码运动图像比特流900包含，序列头901、以及图片单位的多个数据902。图片单位的各个数据902包含，图片头911、以及图片数据912。进而，图片数据912包含，片单位的多个数据913。并且，片单位的各个数据913包含，片头921、以及片数据922。

例如，如图4A示出，选择信息950被包含在序列头901中。如图4B示出，选择信息950也可以被包含在图片头911中。如图4C示出，选择信息950也可以被包含在片头921中。例如，该选择信息950是，有选择地示出表示非限制帧内预测方式的值“0”、和表示限制帧内预测方式的值“1”的二进制标志。

并且，在图4D示出的例子中，选择信息950被示出为，序列头901中包含的特性(profile)参数951以及等级参数952的一方或双方。具体而言，利用特性参数951以及等级参数952的一方或双方、以及查找表，能够唯一地决定选择信息950。

如此，在本实施例涉及的运动图像编码方法中，将示出利用了作为帧内预测方式的限制帧内预测方式以及非限制帧内预测方式的哪一方的选择信息950，编码到编码运动图像比特流900的头部内。据此，解码装置，能够利用该头部内的选择信息950，确定利用了的帧内预测方式。

以下，对于利用限制帧内预测方式的各个块的编码处理，利用图5以及图6的流程图进行说明。

首先，在步骤S201中，选择用于对象块的预测类型。可以考虑的预测类型包括，帧内预测类型以及非帧内预测类型。非帧内预测类型的一个例子是，运动补偿后的画面间预测类型(帧间预测类型)。而且，在步骤S202中，对于用于对象块的预测类型，判定选择了帧内预测类型以及非帧内预测类型的哪一方。

在选择了帧内预测类型的情况下(S202的“是”)，进行到步骤S203。在步骤S203中，对分割后的多个块之中的对象块进行帧内预测，从而计算预测样本值。具体而言，判定能够利用的参考样本是有效(被帧内预测)还是无效(被非帧内预测)，进行帧内预测来计算预测样本值。更具体地说，判定至少位于对象块的正上方以及正左方的一方的多个参考样本各自的有效性，即使在该多个参考样本包含有效样本和无效样本这双方的情况下，也利用该有效样本进行帧内预测。而且，在后面详细说明该处理。

而且，在步骤S204中，利用得到的预测样本值计算帧内残差数据。具体而言，计算作为对象块的原图像和预测样本值的差分的残差数据。

另一方面，在步骤S202中，在判定为选择了非帧内预测类型的情况下(S202的“否”)，进行到步骤S206。在步骤S206中，通过进行非帧内预测，从而计算非帧内残差数据和预测信息。

在步骤S204或步骤S206之后，在步骤S205中，通过对残差数据和预测信息进行编码，从而生成编码运动图像比特流。在此，预测信息包含，示出被选择的预测类型的信号。在利用了帧内预测类型的情况下，预测信息还包含示出选择出的帧内预测方法的信号(选择信息950)。并且，在利用了运动补偿后的帧间预测等的非帧内预测类型的情况下，预测信息还可以包含，运动矢量、参考图片指标、以及示出运动矢量分辨率的信号。

以下，利用图6，详细说明所述步骤S203的处理。图5示出的步骤S203包含，图6示出的步骤S203A至S203D。

在步骤S203A中，判定参考样本位置的有效性。也就是说，判定各个参考样本是被帧内预测(有效)还是被非帧内预测(无效)。

接着，在步骤S203B中，利用一个以上的有效样本值，计算作为无效样本位置的参考样本值的插补样本值。

以下，详细说明计算该插补样本值的处理。

在本发明的实施例之一中，通过以下的处理计算插补样本值。首先，选择一个以上的有效样本值，将选择出的有效样本值各自和规定的定标系数相乘，从而计算定标值。接着，求出作为通过计算而得到的多个定标值的总和的第一总和值，将求出的第一总和值与规定的偏移值相加，从而计算第二总和值。进而，以规定的位移步进值，对如上得到的第二总和值进行下移，从而求出插补样本值。

在此，对于规定的定标系数、偏移值以及位移步进值，也可以根据有效样本以及无效样本的数量以及位置等的系数，利用查找表来求出。

以下，以图2示出的情况为例子，示出插补样本值的运算的一个例子。图2示出的无效样本位置(12，－1)、(13，－1)、(14，－1)以及(15，－1)的参考样本值是，将有效样本位置(11，－1)以及(16，－1)的参考样本值平均化来计算的。也就是说，也可以计算夹着无效样本位置、且与该无效样本位置最近的两个有效样本位置的有效样本值的平均值，以作为对该无效样本位置的插补样本值。

并且，将规定的定标系数设定为1，将偏移值设定为1，且将移步进值设定为1，根据以下的(式1)示出的运算能够进行两个参考样本值的平均化。

r(12，－1)＝r(13，－1)＝r(14，－1)＝r(15，－1)＝(r(11，－1)＋r(16，－1)＋1)＞＞1(式1)

并且，对于其他的方法，选择有效样本值之一，计算选择出的有效样本值，以作为插补样本值。例如，图2示出的，能够复制有效样本位置(11，－1)的有效样本值，以作为无效样本位置(12，－1)，(13，－1)，(14，－1)以及(15，－1)的参考样本值。也就是说，能够计算与无效样本位置最近的位置的有效样本值，以作为对该无效样本位置的插补样本值。

具体而言，例如，通过以下的处理来能够选择成为复制源的有效样本。

首先，将所有的参考样本位置之中的、以从左下参考样本位置开始至右上参考样本位置结束的方向上进行搜索而找到的、最初的有效样本位置，识别为开始参考样本位置。接着，判定在与所述搜索相同的样本顺序上，无效样本位置是位于开始参考样本位置之前还是之后。

在无效样本位置位于开始参考样本位置之前的情况下，选择开始参考样本位置的样本，以作为复制源的有效样本。另一方面，在无效样本位置位于开始参考样本位置之后的情况下，按照与所述搜索相同的样本顺序，选择该无效样本位置之前且与该无效样本位置最近的有效样本，以作为复制源的有效样本。

进而，对于其他的方法，也可以单纯地赋予规定的值，以作为插补样本值。例如，该规定的值是128。

再次，参照图6进行说明。

在步骤S203B中计算插补样本值之后，在步骤S203C中，利用有效样本值以及插补样本值，从多个帧内预测方法中选择一个帧内预测方法。帧内预测方法的例子包括，垂直方向以及水平方向等的各种帧内预测方向。

接着，在步骤S203D中，利用有效样本样本值以及插补样本值，根据步骤S203C中选择出的帧内预测方法，计算预测样本值。按照选择出的帧内预测方法，可以利用不同的参考样本位置，也可以利用不同的运算处理。

并且，在本发明的实施例之一中，计算预测样本值的步骤S203D可以包含，对参考样本值进行预滤波的步骤、以及利用预滤波后的参考样本值计算预测样本值的步骤。在此，预滤波是指，对相邻的多个参考样本值进行滤波的处理。

以上，本发明的实施例1涉及的运动图像编码方法，在至少位于对象块的正上方以及正左方的一方的多个参考样本包含有效样本和无效样本这双方的情况下，能够利用该有效样本进行限制帧内预测。据此，该运动图像编码方法，由于能够利用更多的有效样本，因此能够提高编码效率。

如此，本实施例涉及的运动图像编码方法，一方面得到容错性的效果，一方面将运算的复杂性保持为相同的程度，并且，能够以最适当的效率进行抗性帧内预测。据此，该运动图像编码方法能够提高编码效率。

以下，说明对通过所述运动图像编码方法而生成的编码运动图像比特流进行解码的运动图像解码方法。

图7是示出本发明的实施例1的运动图像解码处理的流程图。

首先，在步骤S301中，通过分析编码运动图像比特流的头部，从而获得限制帧内预测方式或非限制帧内预测方式的选择结果。

接着，在步骤S302中，对图像中的编码块进行解码。此时，被帧内预测的编码块，利用步骤S301中获得的选择结果示出的帧内预测方式而被解码。

以下，对于利用了限制帧内预测方式的各个块的解码处理，利用图9示出的流程图进行详细说明。

首先，在步骤S401中，通过分析编码运动图像比特流，从而获得处理对象的编码块(以下，对象块)的预测类型(帧内预测或非帧内预测)。

接着，在步骤S402中，判定在步骤S401中获得的预测类型示出帧内预测类型以及非帧内预测类型的哪一方。

在利用了帧内预测类型的情况下(S402的“是”)，进行到步骤S403。

在步骤S403中，对对象块进行帧内预测，从而计算对象块的预测样本值。具体而言，判定能够利用的参考样本位置是有效(被帧内预测)还是无效(被非帧内预测)，利用被帧内预测的参考样本位置，进行帧内预测来计算预测样本值。更具体地说，判定至少位于对象块的正上方以及正左方的一方的多个参考样本各自的有效性，即使在该多个参考样本包含有效样本和无效样本这双方的情况下，也利用该有效样本进行帧内预测。而且，在后面详细说明该处理。

而且，在步骤S404中，利用计算出的预测样本值以及帧内残差数据，计算重构后的帧内样本值。

另一方面，在步骤S402中判定为利用了非帧内预测类型的情况下(S402的“否”)，进行到步骤S405。在步骤S405中，通过进行非帧内预测，从而计算重构样本值。

以下，利用图9，详细说明所述步骤S403以及S405的处理。图8示出的步骤S403包含，图9示出的步骤S403A至S403D。图8示出的步骤S405包含，图9示出的步骤S405A以及S405B。

在步骤S403A中，通过分析编码运动图像比特流，从而获得对象块的帧内残差数据以及帧内预测方法。

接着，在步骤S403B中，判定根据步骤S403A中获得的帧内预测方法进行帧内预测处理所需要的参考样本位置的有效性。

接着，在步骤S403C中，利用有效样本值，计算无效样本位置的参考样本值(插补样本值)。

接着，在步骤S403D中，利用有效样本值位置以及插补样本值，计算预测样本值。

并且，在步骤S402中判定为利用非帧内预测类型的情况下(S402的“否”)，进行到步骤S405A。在步骤S405A中，通过分析编码后的运动图像比特流，从而获得非帧内残差数据和预测信息。而且，在步骤S405B中，利用分析后的非帧内残差数据和预测信息，计算非帧内重构样本值。

以上，本发明的实施例1涉及的运动图像解码方法，能够根据通过所述的运动图像编码方法而生成的运动图像编码比特流，生成重构数据。

以下，说明利用了所述运动图像编码方法以及运动图像解码方法的运动图像编码装置以及运动图像解码装置。

首先，说明利用了所述运动图像编码方法的运动图像编码装置。

图10是示出本发明的实施例1涉及的运动图像编码装置100的一个例子的方框图。该运动图像编码装置100具备，分割部101、选择部102、开关部103、第一编码部104、第二编码部105、头部编码部106、门部107、以及比特流生成部108。

分割部101，获得原图像D101，将该原图像D101分割为可变长编码块D103。

第一选择部601，选择限制帧内预测方式以及非限制帧内预测方式的某一方，输出示出该选择结果的选择信息D102。

开关部103，使用该选择信息D102，将可变长编码块D103，发送到第一编码部104或第二编码部105。具体而言，开关部103，在选择信息D102示出选择了限制帧内预测方式的情况下，将可变长编码块D103作为可变长编码块D104输出到第一编码部104。并且，开关部103，在选择信息D102示出选择了非限制帧内预测方式的情况下，将可变长编码块D103作为可变长编码块D105输出到第二编码部105。

第一编码部104，利用限制帧内预测或非帧内预测对可变长编码块D104进行编码，从而生成编码比特流D106。

第二编码部105，利用非限制帧内预测或非帧内预测对可变长编码块D105进行编码，从而生成编码比特流D107。

门部107，根据由第一编码部104生成的编码比特流D106、以及由第二编码部105生成的编码比特流D107之中的哪一方的数据存在，将存在的数据作为编码比特流D108，引导到比特流生成部108。

头部编码部106，通过对选择信息D102进行编码，从而生成编码比特流D109。

比特流生成部108，通过混合编码比特流D108和编码比特流D109，从而生成编码运动图像比特流D110。

图11是示出本发明的实施例1的运动图像编码装置100的利用了限制帧内预测方式的第一编码部104的一个例子的方框图。该第一编码部104具备，第一选择部201、开关部202、帧内预测部220、残差数据计算部207、门部208、编码部209、重构部210、存储器部211、以及非帧内预测部212。

第一选择部201，获得样本块D201(可变长编码块D104)，根据该样本块D201，选择帧内预测类型以及非帧内预测类型的一方，输出示出选择结果的预测类型D202。或者，第一选择部201也可以，获得与已经编码的样本相对而存储的编码信息D215，根据获得的编码信息D215，选择帧内预测类型以及非帧内预测类型的一方。编码信息D215是，例如，预测类型、量化参数、以及块的维度等。该预测类型D202，用于控制开关部103。

在选择了帧内预测类型的情况下，开关部202，将样本块D201作为样本块D203发送到有效性判定部203。

帧内预测部220，对分割后的多个块之中的对象块进行帧内预测，从而计算预测样本值。并且，帧内预测部220，判定至少位于对象块的正上方以及正左方的一方的多个参考样本各自的有效性，即使在多个参考样本包含有效样本和无效样本这双方的情况下，也利用该有效样本进行帧内预测。该帧内预测部220具备，有效性判定部203、参考样本计算部204、第二选择部205、以及预测样本计算部206。

有效性判定部203，利用样本块D203、以及与参考样本位置相对而存储的预测类型D214，判定参考样本位置的有效性。而且，有效性判定部203，将包含原来的样本块D203和参考样本位置的有效性的数据D204，输出到参考样本计算部204。

参考样本计算部204，利用数据D204、和有效样本值D213，计算作为无效样本位置的参考样本值的插补样本值。参考样本计算部204，将包含原来的样本块和插补样本值的数据D205，输出到第二选择部205。

第二选择部205，利用数据D205，从多个帧内预测方法中选择帧内预测方法D206。或者，第二选择部205也可以，利用与已经编码的样本相对而存储的编码信息D215，选择帧内预测方法D206。

预测样本计算部206，根据选择出的帧内预测方法D206，利用输入参考样本值(有效样本值以及插补样本值)，计算预测样本值。并且，预测样本计算部206，将包含原来的样本块、选择出的帧内预测方法、和计算出的预测样本值的数据D207，输出到残差数据计算部207。

残差数据计算部207，利用预测样本值和原来的样本块计算帧内残差数据，输出包含选择出的帧内预测方法和计算出的帧内残差数据的数据D208。

另一方面，在选择了非帧内预测类型的情况下，开关部202，将原来的样本块D201作为样本块D216发送到非帧内预测部212。

非帧内预测部212，利用原来的样本块D216、以及与以前编码后的样本相对而存储的编码信息D215进行非帧内预测，从而生成包含非帧内残差数据和非帧内预测信息的数据D217。

门部208，根据能够利用数据D208和数据D217之中的哪一方的数据，将能够利用的数据作为数据D209发送到编码部209。

编码部209，对数据D209中包含的残差数据进行处理，并且，对输入数据进行熵编码，从而生成编码运动图像比特流D210(编码比特流D106)。残差数据的处理的例子包括，变换处理以及比例缩放处理等。并且，编码部209，将包含预测信息和处理后的残差数据的数据D211输出到重构部210。在此，预测信息包含，选择出的预测类型，在帧内预测的情况下，包含其选择出的帧内预测方法。

重构部210，利用数据D211、和存储的编码信息D215计算重构样本值，将包含重构样本值和预测信息的数据D212存储到存储器部211。

接着，说明利用了所述运动图像解码方法的运动图像解码装置。

图12是示出本发明的实施例1涉及的运动图像解码装置300的一个例子的方框图。该运动图像解码装置300具备，分析部301、开关部302、第一解码部303、第二解码部304、门部305、以及图像生成部306。

分析部301，通过分析编码运动图像比特流D301的头部，从而获得示出限制帧内预测方式或非限制帧内预测方式的选择结果的选择信息D302。

开关部302，根据选择信息D302所示的、选择出的帧内预测方式，将编码运动图像比特流D301，发送到第一解码部303或第二解码部304。具体而言，开关部302，在选择信息D302示出限制帧内预测方式的情况下，将编码运动图像比特流D301作为比特流D303输出到第一解码部303。另一方面，开关部302，在选择信息D302示出非限制帧内预测方式的情况下，将编码运动图像比特流D301作为比特流D304输出到第二解码部304。

第一解码部303，利用限制帧内预测以及非帧内预测，对比特流D303进行解码，从而生成块单位的重构样本值D305。第二解码部304，利用非限制帧内预测以及非帧内预测，对比特流D304进行解码，从而生成块单位的重构样本值D306。

门部305，按照重构样本值D305以及D306的哪一方的信号存在，将存在的信号作为重构样本值D307发送到图像生成部306。

图像生成部306，将该块的重构样本值D307，写入到重构图像内的各个位置，从而生成重构图像D308。

图13是示出本发明的实施例1的利用了限制帧内预测方式的第一解码部303的一个例子的方框图。该第一解码部303具备，第一分析部401、开关部402、第二分析部403、帧内预测部420、重构样本计算部407、第一门部408、第二门部409、存储器部410、以及非帧内重构部411。

第一分析部401，通过分析编码运动图像比特流D401，从而获得示出帧内预测类型或非帧内预测类型的选择结果的选择信息D402。

在分析后的选择结果示出帧内预测类型的情况下，开关部402，将编码运动图像比特流D401作为比特流D403发送到第二分析部403。

第二分析部403，通过分析比特流D403，从而获得残差数据和帧内预测方法。而且，第二分析部403，输出包含分析后的残差数据和分析后的帧内预测方法的分析数据D404。

帧内预测部420，通过对对象块进行帧内预测，从而计算该对象块的预测样本值。并且，帧内预测部420，判定至少位于对象块的正上方以及正左方的一方的多个参考样本各自的有效性，即使在多个参考样本包含有效样本和无效样本这双方的情况下，也利用该有效样本进行帧内预测。该帧内预测部420具备，有效性判定部404、参考样本计算部405、以及预测样本计算部406。

有效性判定部404，将分析数据D404、以及与参考样本位置相对而存储的预测类型D416作为输入来获得，判定分析后的帧内预测方法所需要的各参考样本位置的有效性。有效性判定部404，将包含分析后的残差数据、分析后的帧内预测方法、以及参考样本位置的有效性的数据D405，输出到参考样本计算部405。

参考样本计算部405，利用该输入数据D405以及有效样本值D415，计算无效样本位置的参考样本值(插补样本值)。而且，参考样本计算部405，将包含分析后的残差数据、分析后的帧内预测方法、以及参考样本位置的有效性的数据D406，输出到预测样本计算部406。

预测样本计算部406，利用该数据D406，根据分析后的帧内预测方法计算预测样本值。而且，预测样本计算部406，将包含分析后的残差数据、分析后的帧内预测方法、以及预测样本值的数据D407，输出到重构样本计算部407。

重构样本计算部407，利用数据D407，计算与编码对象块对应的帧内重构样本值D408。并且，重构样本计算部407，输出包含帧内重构样本值、分析后的帧内预测类型、以及分析后的帧内预测方法的数据D410。

另一方面，在分析后的选择结果示出非帧内预测类型的情况下，开关部402，将编码运动图像比特流D401作为比特流D411发送到非帧内重构部411。

非帧内重构部411，利用比特流D411以及与已经编码的样本相对而存储的编码信息D417，根据分析后的非帧内预测类型计算重构样本值D412。并且，非帧内重构部411，输出包含非帧内重构样本值、和分析后的非帧内预测信息的数据D413。

第一门部408，将重构样本值D408以及D412之中的能够利用的数据作为输出块的重构样本D409来发送。同样，第二门部409，将数据D410以及数据D413之中的能够利用的数据作为数据D414存储到存储器部410。

(实施例2)

在本发明的实施例2中，说明利用作为所述限制帧内预测方式的选择性帧内DC预测方式的情况。

具体而言，在选择性帧内DC预测方式中，从相邻群集的多个参考样本位置中，仅利用被帧内预测的参考样本位置的参考样本值。也就是说，在该方式中，执行考虑到相邻群集是否包含非帧内预测参考样本的帧内DC预测处理。

在本说明书整体中，帧内DC预测方式是指，作为编码对象块中的所有的预测样本利用一个预测样本值的帧内图片预测方式。相邻群集的参考样本是指，相对于对象块，相邻的、被配置在相同的方向的样本组。相对于对象块存在四个相邻群集，将他们称为上部相邻群集、右上相邻群集、左相邻群集、以及左下相邻群集。在图2示出的例子中，属于块A以及B的参考样本(16，－1)至(31，－1)是右上相邻群集的参考样本。同样，属于块C、D、以及E的参考样本(0，－1)至(15，－1)是上部相邻群集的参考样本。属于块G的参考样本(－1，0)至(－1，15)是左相邻群集的参考样本。属于块J、H、以及I的参考样本(－1，16)至(－1，31)是左下相邻群集的参考样本。

并且，针对本发明的选择性帧内DC预测方式，将进行利用被帧内预测的参考样本值以及被非帧内预测的参考样本值这双方的帧内DC预测处理的现有技术的帧内DC预测方式，在本说明书中称为非选择性帧内DC预测方式。

图14是示出本发明的实施例2涉及的运动图像编码处理的流程图。

首先，在步骤S501中，对于帧内DC预测方式，选择非选择性帧内DC预测方式以及选择性帧内DC预测方式的一方。

接着，在步骤S502中，将对象的原图像分割为一个以上的编码对象块。编码对象块的一个例子是，包含32×32的原图像样本的二维块。

接着，在步骤S503中，对得到的编码对象块进行编码，从而生成编码运动图像比特流。并且，在步骤S503中，在利用帧内DC预测方法将对象块编码的情况下，利用在步骤S501中选择出的帧内DC预测方式。

最后，在步骤S504中，将在步骤S501中选择出的非选择性帧内DC预测方式以及选择性帧内DC预测方式的某一方的选择结果，编码到编码运动图像比特流的头部内。

图15A至图15D示出，由所述运动图像编码方法生成的编码运动图像比特流900中的选择信息960被配置的位置。该选择信息960是示出，利用了作为帧内DC预测方式的非选择性帧内DC预测方式以及选择性帧内DC预测方式的哪一方的信息。

而且，图15A至图15D示出的数据结构与图4A至图4D示出的结构同样。

例如，如图15A示出，选择信息960被包含在序列头901中。如图15B示出，选择信息960也可以被包含在图片头911中。如图15C示出，选择信息960也可以被包含在片头921中。例如，该选择信息960是，有选择地示出表示非选择性帧内DC预测方式的值“0”、和表示选择性帧内DC预测方式的值“1”的二进制标志。

并且，在图15D示出的例子中，选择信息960被示出为，序列头901中包含的特性参数961以及等级参数962的一方或双方。具体而言，利用特性参数961以及等级参数962的一方或双方、以及查找表，能够唯一地决定选择信息960。

如此，在本实施例涉及的运动图像编码方法中，将示出利用了作为帧内DC预测方式的选择性帧内DC预测方式以及非选择性帧内DC预测方式的哪一方的选择信息960，编码到编码运动图像比特流900的头部内。据此，解码装置，能够利用该头部内的选择信息960，确定利用了的帧内预测方式。

以下，对于利用了选择性帧内DC预测方式的各个块的编码处理，利用图16示出的流程图进行说明。

首先，在步骤S601中，选择用于对象块的预测方法。可以考虑的预测方法包括，帧内DC预测方法和非帧内DC预测方法。进而，非帧内DC预测方法包括，帧内DC以外的其他的帧内预测方法、以及各种各样的画面间预测方法。而且，在步骤S602中，判定选择了帧内DC预测方法或非帧内DC预测方法的哪一方。

在选择了帧内DC预测方式的情况下(S602的“是”)，进行到步骤S603。在步骤S603中，选择被帧内预测的几个参考样本位置。

接着，在步骤S604中，利用选择出的参考样本位置，计算帧内DC预测样本值。而且，在步骤S605中，利用帧内DC预测样本值计算残差数据。

在本发明的选择性帧内DC预测方式的实施例之一中，为了计算帧内DC预测样本值，选择所有的相邻群集的参考样本值之中的被帧内预测的参考样本值的全部。在图2的例子示出的例子中，利用(16，－1)至(31，－1)、(0，－1)至(11，－1)、以及(－1，0)至(－1，23)的52个参考样本的全部，计算帧内DC预测样本值。

而且，在选择性帧内DC预测方式的其他的实施例中，在从上部参考样本以及左参考样本中，选择被帧内预测的参考样本值之后，计算帧内DC预测样本值。在相同的图2的例子中，利用(0，－1)至(11，－1)、以及(－1，0)至(－1，15)的28个参考样本的全部，计算帧内DC预测样本。

在本发明的实施例之一中，通过以下的处理，计算预测样本值。

首先，将一个以上的有效样本作为选择样本来选择。接着，确定选择样本的数量。接着，利用查找表，根据选择样本的数量，选择定标系数、偏移值、以及位移步进值。接着，计算作为选择样本的值的总和的第一总和值。接着，将第一总和值和所述选择出的定标系数相乘，从而计算标度值。接着，计算作为所述选择出的偏移值与标度值之和的第二总和值。最后，以所述选择出的位移步进值，对第二总和值进行下移，从而生成对象块的所有的预测样本值。

并且，在选择性帧内DC预测方式的其他的实施例中，将一个参考样本位置的参考样本值，例如，将图2示出的(0，－1)那样的参考样本值，设为对象块的所有的帧内DC预测样本值。

并且，在选择性帧内DC预测方式的还其他的实施例中，将规定的一定值(例如，128)设为对象块的所有的帧内DC样本值。

另一方面，在步骤S602中判定为选择了非帧内DC预测方法的情况下(S602的“否”)，进行到步骤S607。在步骤S607中，通过进行非帧内DC预测处理，从而得到非帧内残差数据和预测信息。

最后，在步骤S606中，将步骤S605或S607中生成的残差数据和预测信息编码为编码运动图像比特流。在此，预测信息包含，示出选择出的预测方法的信号。

以上，本发明的实施例2涉及的运动图像编码方法，在至少位于对象块的正上方以及正左方的一方的多个参考样本包含有效样本和无效样本这双方的情况下，能够利用该有效样本来进行选择性帧内DC预测。据此，该运动图像编码方法，能够利用更多的有效样本，因此能够提高编码效率。

如此，本实施例涉及的运动图像编码方法，一方面得到容错性的效果，一方面将运算的复杂性保持为相同的程度，并且，能够以最适当的效率进行抗性帧内预测。据此，该运动图像编码方法能够提高编码效率。

以下，说明对通过所述运动图像编码方法而生成的编码运动图像比特流进行解码的运动图像解码方法。

图17是示出说明本发明的实施例2涉及的运动图像解码处理的流程图。

首先，在步骤S701中，通过分析编码运动图像比特流的头部，从而获得非选择性帧内DC预测方式以及选择性帧内DC预测方式的某一方的选择结果。接着，在步骤S702中，对图像中的编码块进行解码。此时，被帧内DC预测的编码块，利用步骤S701中获得的选择结果所示的帧内DC预测方式而被解码。

以下，对于利用了选择性帧内DC预测方式的各个块的解码处理，利用图18示出的流程图进行说明。

首先，在步骤S801中，通过分析编码运动图像比特流，从而获得编码对象块的预测方法。而且，在步骤S802中，判定分析后的预测方式示出帧内DC预测方法或非帧内DC预测方法的哪一方。

在利用了帧内DC预测方法的情况下(S802的“是”)，进行到步骤S803。在步骤S803中，通过分析编码运动图像比特流，从而获得对象编码块的帧内DC残差数据。接着，在步骤S804中，选择被帧内预测的几个参考样本位置。

接着，在步骤S805中，利用选择出的参考样本位置，计算帧内DC预测样本值。而且，在步骤S806中，利用帧内DC预测样本值、和分析后的残差数据计算重构样本值。

另一方面，在利用了非帧内DC预测方法的情况下(S802的“否”)，进行到步骤S807。在步骤S807中，通过分析编码运动图像比特流，从而获得非帧内DC残差数据以及预测信息。而且，在步骤S808中，利用分析后的非帧内DC残差数据以及预测信息，计算重构样本值。

以上，本发明的实施例2涉及的运动图像解码方法，能够根据通过所述的运动图像编码方法而生成的运动图像编码比特流，生成重构数据。

以下，说明利用了所述运动图像编码方法以及运动图像解码方法的运动图像编码装置以及运动图像解码装置。

首先，说明利用了所述运动图像编码方法的运动图像编码装置。

图19是示出本发明的实施例2涉及的运动图像编码装置500的一个例子的方框图。该运动图像编码装置500具备，分割部501、选择部502、开关部503、第一编码部504、第二编码部505、头部编码部506、门部507、以及比特流生成部508。

分割部501，获得原图像D501，将获得的原图像D501分割为可变长编码块D503。

选择部502，选择非选择性帧内DC预测方式以及选择性帧内DC预测方式的某一方，输出示出该选择结果的选择信息D502。

开关部503，使用该选择信息D502，将可变长编码块D503，发送到第一编码部504或第二编码部505。具体而言，开关部503，在选择信息D502示出选择了选择性帧内DC预测方式的情况下，将可变长编码块D503作为可变长编码块D504输出到第一编码部504。并且，开关部503，在选择信息D502示出选择了非选择性帧内DC预测方式的情况下，将可变长编码块D503作为可变长编码块D505输出到第二编码部505。

第一编码部504，利用选择性帧内DC预测或非帧内DC预测，对可变长编码块D504进行编码，从而生成编码比特流D506。

第二编码部505，利用非选择性帧内DC预测或非帧内DC预测，对可变长编码块D505进行编码，从而生成编码比特流D507。

门部507，根据由第一编码部504生成的编码比特流D506、以及由第二编码部505生成的编码比特流D507之中的哪一方的数据存在，将存在的数据作为编码比特流D508，引导到比特流生成部508。

头部编码部506，对选择信息D502进行编码，从而生成编码比特流D509。

比特流生成部508，混合编码比特流D509和编码比特流D508，从而生成编码运动图像比特流D510。

图20是示出本发明的实施例2涉及的运动图像编码装置500中的第一编码部504的一个例子的方框图。该第一编码部504具备，第一选择部601、开关部602、帧内DC预测部620、残差数据计算部607、门部608、编码部609、重构部610、存储器部611、以及非帧内DC预测部612。

第一选择部601，获得样本块D601(可变长编码块D504)，根据该样本块D601，选择帧内DC预测方法以及非帧内DC预测方法的一方，输出示出选择结果的预测类型D602。或者，第一选择部601也可以，获得与已经编码的样本相对而存储的编码信息D615，根据获得的编码信息D615，选择帧内DC预测方法以及非帧内DC预测方法的一方。编码信息D615是，例如，预测方法、量化参数、以及块的维度等。该预测类型D602，用于控制开关部602。

在选择了帧内DC预测方法的情况下，开关部602，将原来的样本块D601作为样本块D603发送到第二选择部605。

帧内DC预测部620，对分割后的多个块之中的对象块进行帧内DC预测，从而计算预测样本值。并且，帧内DC预测部620，判定至少位于对象块的正上方以及正左方的一方的多个参考样本各自的有效性，即使在多个参考样本包含有效样本和无效样本这双方的情况下，也利用该有效样本进行帧内DC预测。该帧内DC预测部620具备，第二选择部605和预测样本计算部606。

第二选择部605，利用与参考样本位置相对而存储的预测类型D614，选择被帧内预测的几个有效样本位置。预测类型D614是指，帧内预测类型以及非帧内预测类型的某一方的选择结果。而且，第二选择部605，将包含原来的样本块、和选择出的有效样本位置的数据D606，输出到预测样本计算部606。

预测样本计算部606，利用输入数据D606、和选择出的有效样本位置的有效样本值D613，计算帧内DC预测样本值。而且，预测样本计算部606，将包含原来的样本块和帧内DC预测样本值的数据D607，输出到残差数据计算部607。

残差数据计算部607，利用帧内DC预测样本值和原来的样本块计算包含帧内DC残差数据的数据D608。

另一方面，在选择了非帧内DC预测方法的情况下，开关部602，将原来的样本块D601作为样本块D616发送到非帧内DC预测部612。

非帧内DC预测部612，利用原来的样本块D616、以及与已经编码的样本相对而存储的编码信息D615，生成包含非帧内DC残差数据和非帧内DC预测信息的数据D617。

门部608，按照能够利用哪个数据，将数据D608以及数据D617之中的能够利用的数据作为数据D609，发送到编码部609。

编码部609，对数据D609中包含的残差数据进行处理，并且，对输入数据进行熵编码，从而生成编码运动图像比特流D610(编码比特流D506)。残差数据的处理的例子包括，变换处理以及比例缩放处理等。并且，编码部609，将包含预测信息和处理后的残差数据的数据D611输出到重构部610。在此，预测信息包含，对象块的预测类型。

重构部610，利用数据D611、和被存储的编码信息D615来计算重构样本值，将包含重构样本值和预测信息的数据D612存储到存储器部611。

接着，说明利用了所述运动图像解码方法的运动图像解码装置。

图21是示出本发明的实施例2涉及的运动图像解码装置700的一个例子的方框图。该运动图像解码装置700具备，分析部701、开关部702、第一解码部703、第二解码部704、门部705、以及图像生成部706。

分析部701，通过分析编码运动图像比特流D701的头部，从而获得示出非选择性帧内DC预测方式以及选择性帧内DC预测方式的某一方的选择结果的选择信息D702。

开关部702，根据选择出的帧内DC预测方式，将编码运动图像比特流D701，发送到第一解码部703或第二解码部704。具体而言，开关部702，在选择信息D702示出选择性帧内DC预测方式的情况下，将编码运动图像比特流D701作为比特流D703输出到第一解码部703。另一方面，开关部702，在选择信息D702示出非选择性帧内DC预测方式的情况下，将编码运动图像比特流D701作为比特流D704输出到第二解码部704。

第一解码部703，利用选择性帧内DC预测以及非帧内DC预测，对比特流D703进行解码，从而生成块单位的重构样本值D705。第二解码部704，利用非选择性帧内DC预测以及非帧内DC预测，对比特流D704进行解码，从而生成块单位的重构样本值D706。

门部705，按照重构样本值D705以及D706的哪一方的信号存在，将存在的信号作为重构样本值D707发送到图像生成部706。

图像生成部706，将该块的重构样本值D707，写入到重构图像内的各个位置，从而生成重构图像D708。

图22是示出本发明的实施例2的利用了选择性帧内DC预测方式的第一解码部703的一个例子的方框图。该第一解码部703具备，第一分析部801、开关部802、第二分析部803、帧内DC预测部820、重构样本计算部807、第一门部808、第二门部809、存储器部810、以及非帧内DC重构部811。

第一分析部801，通过分析编码运动图像比特流D801，从而获得示出帧内DC预测方法以及非帧内DC预测方法的某一方的选择结果的选择信息D802。

在分析后的选择结果示出帧内DC预测方法的情况下，开关部802，将编码运动图像比特流D801作为比特流D803发送到第二分析部803。

第二分析部803，通过分析比特流D803，从而获得对编码对象块的帧内DC残差数据D804。

帧内DC预测部820，对分割后的多个块之中的对象块进行帧内DC预测，从而计算预测样本值。并且，帧内DC预测部820，判定至少位于对象块的正上方以及正左方的一方的多个参考样本各自的有效性，即使在多个参考样本包含有效样本和无效样本这双方的情况下，也利用该有效样本进行帧内DC预测。该帧内DC预测部820具备，选择部804和预测样本计算部806。

选择部804，利用与参考样本位置相对而存储的预测类型D816，选择被帧内预测的几个有效样本位置。在此，预测类型D816是指，帧内预测类型或非帧内预测类型的某一方的选择结果。而且，选择部804，将包含分析后的残差数据D804和选择出的有效样本位置的数据D805，输出到预测样本计算部806。

预测样本计算部806，利用输入数据D805、和选择出的有效样本位置的有效样本值D815，计算帧内DC预测样本值。而且，预测样本计算部806，将包含分析后的残差数据、和帧内DC预测样本值的数据D807，输出到重构样本计算部807。

重构样本计算部807，利用数据D807，计算对编码对象块的帧内DC重构样本值D808。并且，重构样本计算部807，输出包含帧内重构样本值、和分析后的预测方法的数据D810。

另一方面，在分析后的选择结果示出非帧内DC预测方法的情况下，开关部802，将编码运动图像比特流D801作为比特流D811发送到非帧内DC重构部811。

非帧内DC重构部811，利用比特流D811、以及与已经编码的样本相对而存储的编码信息D817，根据分析后的非帧内DC预测方法，计算重构样本值D812。并且，非帧内DC重构部811，输出包含非帧内DC重构样本值和分析后的非帧内DC预测信息的数据D813。

第一门部808，将重构样本值D808或D812之中的能够利用的数据，作为输出块的重构样本D809来发送。同样，第二门部809，将数据D810或数据D813之中的能够利用的数据作为数据D814，存储到存储器部810。

以上，说明了本发明的实施例涉及的动图像编码方法、运动图像解码方法、运动图像编码装置以及运动图像解码装置，但是，本发明不仅限于该实施例。

例如，本发明也可以，作为包含所述运动图像解码装置以及所述运动图像编解码装置的运动图像编解码装置来实现。

并且，也可以将所述各个实施例涉及的、动图像编码方法、运动图像解码方法、运动图像编码装置以及运动图像解码装置、并且他们的变形例的功能之中的至少一部分组合。

并且，方框图的功能框的划分是一个例子，也可以将多个功能框作为一个功能框来实现、将一个功能框划分为多个、或者将一部分的功能转移到其他的功能框。并且，对具有类似的功能的多个功能框的功能，由单一的硬件或软件，进行并行或时分的处理。

并且，所述的步骤的执行顺序，是为了具体说明本发明而示出的例子，也可以是所述以外的顺序。并且，也可以所述步骤的一部分，与其他的步骤同时(并行)执行。

(实施例3)

通过将用于实现在上述的各个实施例所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质，从而可以将上述的各个实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

在此，对在上述各实施例所示的运动图像编码方法(图像编码方法)以及运动图像解码方法(图像解码方法)的应用实例以及利用这些应用实例的系统进行说明。该系统的特征是具有图像编解码装置，该图像编解码装置由利用图像编码方法的图像编码装置以及利用图像解码方法的图像解码装置组成。关于系统中的其他构成，可根据情况恰当地进行变更。

图23是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。

在该内容提供系统ex100中，计算机ex111、PDA（个人数字助理：personal digital assistant）ex112、摄像机ex113、移动电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106～ex110，与互联网ex101相连接。

然而，内容提供系统ex100并非局限于图23所示的构成，也可以对任意的要素进行组合接续。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，移动电话ex114可以以GSM(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High-SpeedPacket Access：高速分组接入)的移动电话，或PHS(PersonalHandy-phone System：个人手持式电话系统)等任一个来构成。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容（例如音乐实况的影像等）进行在上述的各实施例所说明的编码处理(即作为本发明的图像编码装置来发挥作用)，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、移动电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生(即作为本发明的图像解码装置来发挥作用)。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像以及／或者运动图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这样的编码处理以及解码处理，由一般的计算机ex111以及各个设备有的LSIex500处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及运动图像解码用的软件安装到能够计算机ex111等读取的某种记录介质（CD-ROM、软盘、硬盘等）中，并利用该软件来进行编码处理以及解码处理。而且，在移动电话ex114是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。在这种情况下的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户能够端接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

并且，不仅限于内容供给系统ex100的例子，如图24所示，在数字广播用系统ex200上也能够组装上述各个实施例所示的运动图像编码装置(图像编码装置)以及图像解码装置(图像解码装置)中的至少一个。具体而言，在广播电台ex201，影像数据上多路复用了音乐数据的多路复用数据通过电波来通信或被传输到卫星ex202。这个影像数据是根据所述各个实施例说明的运动图像编码方法被编码的数据（即根据本发明的图像编码装置被编码的数据）。接收了这些的广播卫星ex202发送用于广播的电波，这些电波由能够进行卫星广播接收的家庭的天线ex204来接收。接收的多路复用数据由电视机（接收机）ex300或机顶盒（STB）ex217等装置进行解码并再生（即作为本发明的图像解码装置发挥作用）。

并且，在阅读器／记录器ex218中也可以安装在上述的实施例中所示的运动图像解码装置或运动图像编码装置，该阅读器／记录器ex218对DVD、BD等记录介质ex215中所记录的多路复用数据进行读取或解码，或者将影像信号编码、还根据情况与的不同与音乐信号多路复用并写入到记录介质ex215中。在此情况下，被再生的影像信号被显示在监视器ex219，通过记录有多路复用数据的记录介质ex215，其他的装置以及系统能够再生影像信号。并且，也可以将图像解码装置安装到与有线电视用的电缆ex203或卫星／地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而是将运动图像解码装置组装到电视机内。

图25示出了利用了上述的各个实施例所说明的运动图像解码方法以及运动图像编码方法的电视机（接收机）ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据中多路复用了声音数据的多路复用数据；调制／解调部ex302，解调接收的多路复用数据，或者调制为要发送到外部的多路复用数据；以及多路复用／分离部ex303，将解调的多路复用数据分离为影像数据和声音数据，或者对由信号处理部ex306编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305（作为本发明的图像编码装置或图像解码装置发挥作用）；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户操作的输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器／记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性／易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制／解调部ex302解调的影像数据和声音数据，在多路复用／分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的各个实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被多路复用数据，而是从磁性／光盘、SD卡等记录介质ex215、ex216中读出多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的各个实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用／分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318、ex319、ex320、ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制／解调部ex302以及多路复用／分离部ex303之间等，作为回避系统的上溢和下溢的缓冲材料，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得广播等以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以不能进行这样的处理，而只能进行上述的接收、解码处理、外部输出的构成。

并且，在阅读器／记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300、阅读器／记录器ex218的某一个中进行，也可以是电视机ex300和阅读器／记录器ex218彼此分担进行。

作为一个例子，图26示出从光盘进行数据的读取或写入的情况下的信息再生／记录部ex400的构成。信息再生／记录部ex400具备，以下说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息光道，进行激光的光点的追踪处理。系统控制部ex407对信息再生／记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光学（near-field optical）来进行高密度的记录的构成。

图27是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽（槽）被形成为螺旋状，在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生／记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息，或者从各种角度记录不同的信息的层等，进行多维的记录／再生的构造的光盘。

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且，关于车辆导航系统ex211的构成可以考虑到在图25所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及移动电话ex114等。

图28A是示出了利用了在上述的实施例所说明的运动图像编码方法和运动图像解码方法的移动电话ex114的图。移动电话ex114具有：天线ex350，用于在与基站ex110之间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示器等。移动电话ex114还具有：具有操作键部ex366的主体部、声音输出部ex357，是用于输出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解码的数据；或者同样是保存数据的记录介质之间的接口的插槽部ex364。

进一步利用图28B对移动电话ex114的构成例进行说明。在移动电话ex114中，针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各个部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机接口部ex363、LCD（Liquid CrystalDisplay：液晶显示器）控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线ex370相互连接。

电源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态下，通过从电池组向各个部提供电力，从而启动移动电话ex114，使其成为能够工作的状态。

移动电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声音信号，并在调制/解调部ex352进行扩频（Spread Spectrum）处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，移动电话ex114在声音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为模拟声音信号之后，从声音输出部ex357输出。

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作被输入的电子邮件的文本数据经由操作输入控制部ex362被发送到主控制部ex360。主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送到基站ex110。在接收电子邮件的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。

在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355，将从摄像机部ex365提供的影像信号，按照所述各实施例表示的运动图像编码方法来进行压缩编码（即作为本发明的图像编码装置发挥作用），并将编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码的声音数据发送到多路复用/分离部ex353。

多路复用/分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制/解调部(调制/解调电路部)ex352进行扩频处理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。

在数据通信模式时，接收被链接在主页等的运动图像文件的数据的情况下，或者接收被添加了影像及／或声音的电子邮件的情况下，为了经由天线ex350解码被接收的多路复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355，并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与所述各实施例示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号（即作为本发明的图像解码装置发挥作用），通过LCD控制部ex359在显示部ex358显示例如被链接在主页的运动图像文件中包含的影像、静止图像。并且,声音信号处理部ex354解码声音信号，从声音输出部ex357输出声音。

并且，上述移动电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。进而，上述说明了在数字广播用系统ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不是多路复用数据。

这样，可以将所述各个实施例示出的运动图像编码方法或者运动图像解码方法用于上述的任一个的设备、系统，通过这样，能够得到所述各个实施例说明的效果。

而且，本发明不仅限于这些所述实施例，而可以在不脱离本发明的范围的情况下进行各种变形或修改。

(实施例4)

可以按照需要适宜地切换上述的各个实施例所示的运动图像编码方法或装置与依照MPEG-2、MPEG4-AVC、VC-1等不同的标准的运动图像编码方法或装置，来生成影像数据。

在这里，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的数据，所以产生不能选择恰当的解码方法这样的课题。

为了解决这个课题可以是在影像数据上多路复用了声音数据等的多路复用数据包含识别信息的构成，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的多路复用数据的具体构成。多路复用数据是MPEG-2传输流形式的数字流。

图29是示出多路复用数据的结构的图。如图29所示多路复用数据是，将视频流、音频流、演示图形流(PG)、以及交互式图形流中的一个以上多路复用而得到的。视频流示出电影的主影像及副影像，音频流(IG)示出电影的主声音部分以及与其主声音混合的副声音，演示图形流示出电影的字幕。在此，主影像示出画面中显示的通常的影像，副影像是主影像中以小的画面显示的影像。并且，交互式图形流示出，画面上配置GUI部件而制作的对话画面。视频流，由所述各个实施例中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等不同标准的运动图像编码方法或装置编码。音频流，由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

多路复用数据中包含的各个流由PID识别。例如，对用于电影的影像的视频流分配0x1011，对音频流分配0x1100至0x111F，对演示图形分配0x1200至0x121F，对交互式图形流分配0x1400至0x141F，对用于电影的副影像的视频流分配0x1B00至0x1B1F，对用于与主声音混合的副声音的音频流分配0x1A00至0x1A1F。

图30是示出多路复用数据如何被多路复用的模式图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238，分别变换为PES数据包串ex236及ex239、变换为TS数据包ex237及ex240。同样，将演示图形流ex241以及交互式图形ex244的数据，分别变换为PES数据包串ex242及ex245，还变换为TS数据包ex243及ex246。通过将这样的TS数据包多路复用为一条流，从而构成多路复用数据ex247。

在图31中，更详细示出PES数据包串中如何存储视频流。在图31中，第一段示出，视频流的视频帧串。第二段示出，PES数据包串。如图31的箭头线yy1、yy2、yy3、yy4示出，作为视频流中的多个VideoPresentation Unit的I图片、B图片、P图片，按每个图片而划分，存储到PES数据包的有效负载。各个PES数据包具有PES头，PES头中存储有，作为图片的显示时刻的PTS(Presentation Time－Stamp：表示时间戳)以及作为图片的解码时刻的DTS(Decoding Time－Stamp：解码时间戳)。

图32示出最终写入到多路复用数据中的TS数据包的形式。TS数据包是，由具有识别流的PID等的信息的4Byte的TS头、和存储数据的184Byte的TS有效负载构成的188Byte固定长度的数据包，上述PES数据包被划分后存储到TS有效负载中。在BD－ROM的情况下，在TS数据包中，赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据中。在TP_Extra_Header中记载ATS(Arrival_Time_Stamp)等的信息。ATS示出该TS数据包的向解码器的PID滤波器的传输开始时刻。在多路复用数据中，如图32下段示出排列源数据包，从多路复用数据的开头开始增量的号码被称为SPN(源数据包号码)。

并且，对于多路复用数据中包含的TS数据包，除了影像、声音、字幕等的各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program ClockReference：节目时钟参考)等。PAT示出多路复用数据中利用的PMT的PID是什么，PAT本身的PID被登记为0。PMT具有，多路复用数据中包含的影像、声音、字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符有，指示多路复用数据的复制的允许、不允许的复制控制信息等。PCR，为了得到作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)的同步，而具有与该PCR数据包被传输到解码器的ATS对应的STC时间的信息。

图33是详细说明PMT的数据构造的图。在PMT的开头，配置描述了该PMT中包含的数据的长度等的PMT头。在其后面，配置与多路复用数据有关的多个描述符。上述复制控制信息等，被记载为描述符。在描述符的后面，配置与多路复用数据中包含的各个流有关的多个流信息。流信息，由用于识别流的压缩编解码等的流类型、流的PID、记载有流的属性信息(帧率，宽高比等)的流描述符构成。按照多路复用数据中存在的流的数量，存在流描述符。

在记录到记录介质等的情况下，上述多路复用数据，与多路复用数据信息文件一起被记录。

多路复用数据信息文件是，如图34所示多路复用数据的管理信息，与多路复用数据一一对应，由多路复用数据信息、流属性信息以及项目图构成。

多路复用数据信息，如图34示出，由系统率(systemrate)、再生开始时刻、再生结束时刻构成。系统率示出，多路复用数据的、向后述的系统目标解码器的PID滤波器的最大传输率。多路复用数据中包含的ATS的间隔被设定为系统率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为多路复用数据的末端的视频帧的PTS与一个帧的再生间隔相加。

对于流属性信息，如图35示出，多路复用数据中包含的各个流的属性信息，按每个PID被登记。属性信息，按每个视频流、音频流、演示图形流、交互式图形流具有不同的信息。视频流属性信息具有，该视频流以哪种压缩编解码而被压缩、构成视频流的各个图片数据的分辩率为多少、宽高比为多少、帧率为多少等的信息。音频流属性信息具有，该音频流以哪种压缩编解码而被压缩、该音频流中包含的通道数是什么、与哪种语言对应、采样频率为多少等的信息。这样的信息，利用于播放器再生之前的解码器的初始化等。

在本实施例中，利用上述多路复用数据中的、PMT中包含的流类型。并且，在记录介质记录有多路复用数据的情况下，利用多路复用数据信息中包含的、视频流属性信息。具体而言，在所述各个实施例中示出的运动图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置用于设定示出由所述各个实施例中示出的运动图像编码方法或装置生成的影像数据的情况的固有的信息的步骤或单元。根据该结构，能够识别由所述各个实施例中示出的运动图像编码方法或装置生成的影像数据、和依据其他的标准的影像数据。

并且，图36示出本实施例的运动图像解码方法的步骤。在步骤exS100中，从多路复用数据获得PMT中包含的流类型、或多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101中，判断是否示出流类型、或视频流属性信息为由所述各个实施例中示出的运动图像编码方法或装置生成的多路复用数据。而且，在判断为流类型、或视频流属性信息由所述各个实施例中示出的运动图像编码方法或装置生成的情况下，在步骤exS102中，根据所述各个实施例中示出的运动图像解码方法进行解码。并且，在示出流类型、或视频流属性信息依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的情况下，在步骤exS103中，根据依据以往的标准的运动图像解码方法进行解码。

如此，通过对流类型、或视频流属性信息设定新的固定值，在进行解码时，能够判断是否由所述各个实施例中示出的运动图像解码方法或装置能够进行解码。因此，即使在依据不同的标准的多路复用数据输入的情况下，也能够选择适当的解码方法或装置，因此，不产生错误而能够进行解码。并且，能够将本实施例中示出的运动图像编码方法或装置、或者、运动图像解码方法或装置，用于所述的某个设备、系统。

(实施例5)

上述的各个实施例所示的运动图像编码方法以及装置、运动图像解码方法以及装置典型的可以以作为集成电路的LSI来实现。作为一个例子，图37示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如在进行编码处理的情况下，LSIex500根据具有CPUex502、存储控制器ex503、流控制器ex504以及驱动频率控制部ex512等的控制部ex501的控制，通过AV输入／输出ex509从麦克风ex117以及摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入输出ex506输出到外部。该被输出的多路复用数据被发送到基站ex107，或者被写入到记录介质ex215。并且，为在进行多路复用时能够同步进行，而可以将数据暂时蓄积到缓冲器ex508。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。缓冲器ex508也可以不限于一个，可以具备多个缓冲器。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

并且，所述中，控制部ex510具有，CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但是，控制部ex510的结构，不仅限于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。在信号处理部ex507的内部也设置CPU，从而能够更提高处理速度。并且，作为其他的例子，也可以是CPUex502具备，信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，成为控制部ex501具备，信号处理部ex507、或具有其一部分的CPUex502的结构。

而且，在此，被称为LSI，但是，根据集成度不同，会有被称为IC、系统LSI、超LSI、特大LSI的情况。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(FieldProgrammable Gate Array∶现场可编程门阵列)、以及可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

(实施例6)

在对由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据进行解码的情况下可以考虑为，与对依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据进行解码的情况相比，处理量会增加。因此，在LSIex500中，需要设定为比对依据以往的标准的影像数据进行解码时的CPUex502的驱动频率高的驱动频率。但是，若提高驱动频率，则产生消耗电力变高的问题。

为了解决该问题设想，电视机ex300、LSIex500等的运动图像解码装置被构成为，识别影像数据依据哪个标准，按照标准切换驱动频率。图38示出本实施例的结构ex800。驱动频率切换部ex803，在影像数据由上述的各个实施例所示的运动图像编码方法或装置生成的情况下，将驱动频率设定为高。而且，对执行上述的各个实施例所示的运动图像解码方法的解码处理部ex801，指示对影像数据进行解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据由上述的各个实施例所示的运动图像编码方法或装置生成的情况相比，将驱动频率设定为低。而且，对依据以往的标准的解码处理部ex802，指示对影像数据进行解码。

更具体地说，驱动频率切换部ex803，由图37的CPUex502和驱动频率控制部ex512构成。并且，执行上述的各个实施例所示的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802，相当于图37的信号处理部ex507。CPUex502，识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。并且，根据来自CPUex502的信号，信号处理部ex507，进行影像数据的解码。在此，对于影像数据的识别可以考虑，例如，利用实施例4记载的识别信息。对于识别信息，不仅限于实施例4记载的信息，能够识别影像数据依据哪个标准的信息即可。例如，在根据识别影像数据是用于电视机、还是用于盘等的外部信号，能够识别影像数据依据哪个标准的情况下，可以根据这样的外部信号进行识别。并且，对于CPUex502中的驱动频率的选择可以考虑，例如，根据如图40的将影像数据的标准、与驱动频率对应起来的查找表进行的情况。将查找表，存储到缓冲器ex508、以及LSI的内部存储器，CPUex502参照该查找表，从而能够选择驱动频率。

图39示出执行本实施例的方法的步骤。首先，在步骤exS200中，在信号处理部ex507，从多路复用数据获得识别信息。接着，步骤exS201中，在CPUex502，根据识别信息，识别影像数据是否由上述的各个实施例所示的编码方法或装置生成。在影像数据由上述的各个实施例所示的编码方法或装置生成的情况下，在步骤exS202中，将用于使驱动频率设定为高的信号，从CPUex502向驱动频率控制部ex512发送。而且，在驱动频率控制部ex512中，驱动频率被设定为高。另一方面，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，将用于使驱动频率设定为低的信号，从CPUex502向驱动频率控制部ex512发送。而且，在驱动频率控制部ex512中，与影像数据由上述的各个实施例所示的编码方法或装置生成的情况相比，驱动频率被设定为低。

进而，与驱动频率的切换联动，变更向LSIex500或包含LSIex500的装置提供的电压，从而能够更提高省电效果。例如，可以考虑为，在将驱动频率设定为低的情况下，据此，与将驱动频率设定为高的情况相比，将向LSIex500或包含LSIex500的装置提供的电压设定为低。

并且，对于驱动频率的设定方法，在解码时的处理量大的情况下，将驱动频率设定为高，在解码时的处理量小的情况下，将驱动频率设定为低即可，不仅限于上述的设定方法。例如，可以考虑为，在对依据MPEG4－AVC标准的影像数据进行解码的处理量，比对由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据进行解码的处理量大的情况下，使驱动频率的设定与上述的情况相反。

进而，驱动频率的设定方法，不仅限于使驱动频率变低的结构。例如，可以考虑为，在识别信息示出由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的情况下，将向LSIex500或包含LSIex500的装置提供的电压设定为高，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将向LSIex500或包含LSIex500的装置提供的电压设定为低。并且，作为其他的例子，可以考虑为，在识别信息示出由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于处理有富余，因此使CPUex502的驱动暂时停止。即使在识别信息示出由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的情况下，也可以考虑为，若处理有富余，则使CPUex502的驱动暂时停止。在此情况下，可以考虑为，与示出依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定为短。

如此，按照影像数据依据的标准，切换驱动频率，从而能够试图省电化。并且，在利用电池驱动LSIex500或包含LSIex500的装置的情况下，能够随着省电化，将电池的寿命变长。

(实施例7)

对于电视机、移动电话等的上述的设备、系统，会有输入依据不同标准的多个影像数据的情况。为了在如此输入依据不同标准的多个影像数据的情况下也能够进行解码，LSIex500的信号处理部ex507需要与多个标准对应。但是，若个别地利用与各个标准对应的LSIex500，则产生LSIex500的电路规模变大、并且成本增加的问题。

为了解决该问题，构成为共享用于执行上述的各个实施例所示的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部的一部分。图41A的ex900示出该结构例。例如，上述的各个实施例所示的运动图像解码方法、与依据MPEG4－AVC标准的运动图像解码方法是，在熵编码、逆量化、去块滤波、运动补偿等的处理中，处理内容的一部分是共同的。可以考虑构成为，对于共同的处理内容，共享与MPEG4－AVC标准对应的解码处理部ex902，对于不与MPEG4－AVC标准对应的本发明固有的其他的处理内容，利用专用的解码处理部ex901。特别是，本发明具有的特征是，帧内预测处理，因此可以考虑为，对于帧内预测处理，利用专用的解码处理部ex901，对于其他的熵编码、去块滤波、运动补偿的某个或所有的处理，共享解码处理部。关于解码处理部的共享化，可以构成为，对于共同的处理内容，共享用于执行上述的各个实施例所示的运动图像解码方法的解码处理部，对于MPEG4－AVC标准固有的其他的处理内容，利用专用的解码处理部。

并且，图41B的ex1000示出共享处理的一部分的例子。在该例子中构成为，利用与本发明固有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准固有的处理内容对应的专用的解码处理部ex1002、以及与本发明的运动图像解码方法和其他的以往标准的运动图像解码方法之间共同的处理内容对应的共享的解码处理部ex1003。在此，对于专用的解码处理部ex1001、ex1002，并不是专用于本发明、或者其他的以往标准固有的处理内容，而可以是能够执行其他的通用处理的处理部。并且，本实施例的结构，可以由LSIex500安装。

如此，对于本发明的运动图像解码方法与以往的标准的运动图像解码方法共同的处理内容，通过共享解码处理部，从而能够使LSI的电路规模变小、且降低成本。

工业实用性

本发明，具有能够充分提高编码效率的效果，例如能够利用于积蓄、传输、通信等各种各样的用途上。例如，本发明能够利用于电视机、数字录像机、汽车导航、移动电话、数字照相机、数字摄像机等的高分辨率的信息显示设备以及摄像设备，利用价值高。

符号说明

100、500运动图像编码装置

101、501分割部

102、502、804选择部

103、202、302、402、503、602、702、802开关部

104、504第一编码部

105、505第二编码部

106、506头部编码部

107、208、305、507、608、705门部

108、508比特流生成部

201、601第一选择部

203、404有效性判定部

204、405参考样本计算部

205、605第二选择部

206、406、606、806预测样本计算部

207、607残差数据计算部

209、609编码部

210、610重构部

211、410、611、810存储器部

212非帧内预测部

220、420帧内预测部

300、700运动图像解码装置

301、701分析部

303、703第一解码部

304、704第二解码部

306、706图像生成部

401、801第一分析部

403、803第二分析部

407、807重构样本计算部

408、808第一门部

409、809第二门部

411非帧内重构部

612非帧内DC预测部

620、820帧内DC预测部

811非帧内DC重构部

900编码运动图像比特流

901序列头

902、913数据

911图片头

912图片数据

921片头

922片数据

950、960选择信息

951、961特性参数

952、962等级参数

D101、D501原图像

D102、D302、D402、D502、D702、D802选择信息

D103、D104、D105、D503、D504、D505可变长编码块

D106、D107、D108、D109、D506、D507、D508、D509编码比特流

D110、D210、D301、D401、D510、D610、D701、D801编码运动图像比特流

D201、D203、D216、D601、D603、D616样本块

D202、D214、D416、D602、D614、D816预测类型

D204、D205、D207、D208、D209、D211、D212、D217、D405、D406、D407、D410、D413、D414、D606、D607、D608、D609、D611、D612、D617、D805、D807、D810、D813、D814数据

D206帧内预测方法

D213、D415、D613、D815有效样本值

D215、D417、D615、D817编码信息

D303、D304、D403、D411、D703、D704、D803、D811比特流

D305、D306、D307、D408、D412、D705、D706、D707、D808、D812重构样本值

D308、D708重构图像

D404分析数据

D409、D809重构样本

D804残差数据

Claims (19)

1.一种运动图像解码方法，包括：

分析步骤，通过分析编码运动图像比特流，从而获得两种以上的尺寸的多个块之中的对象块的残差数据；

帧内预测步骤，通过对所述对象块进行帧内预测，从而计算所述对象块的预测样本值；以及

重构样本计算步骤，通过将所述残差数据和所述预测样本值相加，从而计算所述对象块的重构样本，

在所述帧内预测步骤中，

判定位于所述对象块的正上方以及正左方的一方的多个参考样本各自的有效性，在所述多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，利用该有效的参考样本进行所述帧内预测，

将被帧内预测的参考样本判定为有效的参考样本，将被帧间预测的参考样本判定为无效的参考样本。

2.如权利要求1所述的运动图像解码方法，

在所述分析步骤中，进一步，通过分析所述编码运动图像比特流，从而获得帧内预测方法，

所述帧内预测步骤还包括：

参考样本计算步骤，利用一个以上的所述有效的参考样本，计算插补样本，该插补样本是无效的参考样本的位置的参考样本；以及

预测样本计算步骤，根据所述帧内预测方法，利用所述有效的参考样本以及所述插补样本，计算所述对象块的所述预测样本。

3.如权利要求2所述的运动图像解码方法，

所述参考样本计算步骤包括：

样本选择步骤，选择一个所述有效的参考样本，以作为选择样本；以及

将所述选择样本的值设为所述插补样本的值的步骤。

4.如权利要求3所述的运动图像解码方法，

所述样本选择步骤，

将所有的参考样本位置之中的、以从左下参考样本位置开始至右上参考样本位置结束的方向上进行搜索而找到的最初的有效的参考样本的位置，识别为开始参考样本位置的步骤；

判定在与所述搜索相同的样本顺序上，所述无效的参考样本的位置是位于所述开始参考样本位置之前还是之后的步骤；

在所述无效的参考样本的位置位于所述开始样本位置之前的情况下，选择所述开始参考样本位置的样本，以作为所述选择样本的步骤；以及

在所述无效的参考样本的位置位于所述开始样本位置之后的情况下，按照与所述搜索相同的样本顺序，选择所述无效的参考样本位置之前且与该无效的参考样本位置最近的有效的参考样本，以作为所述选择样本。

5.如权利要求2所述的运动图像解码方法，

所述参考样本计算步骤包括：

选择多个所述有效的参考样本，以作为多个选择样本的步骤；

将所述多个选择样本的值和预先规定的定标系数相乘，从而计算多个标度值的步骤；

计算作为所述多个定标值的总和的第一总和值的步骤；

计算作为所述第一总和值与预先规定的偏移值之和的第二总和值的步骤；以及

以预先规定的位移步进值，对所述第二总和值进行下移，从而计算所述插补样本的值的步骤。

6.如权利要求1所述的运动图像解码方法，

所述帧内预测是帧内DC预测。

7.如权利要求6所述的运动图像解码方法，

所述帧内预测步骤包括：

选择一个以上的所述有效的参考样本，以作为选择样本的步骤；

确定所述选择样本的数量的步骤；

利用查找表，根据所述选择样本的数量，选择定标系数、偏移值、以及位移步进值的步骤；

计算作为所述选择样本的值的总和的第一总和值的步骤；

将所述第一总和值和选择出的所述定标系数相乘，从而计算标度值的步骤；

计算作为选择出的所述偏移值、与所述标度值之和的第二总和值的步骤；以及

以选择出的所述位移步进值，对所述第二总和值进行下移，从而生成所述对象块的所有的预测样本值的步骤。

8.如权利要求6所述的运动图像解码方法，

在所述帧内预测步骤中，还包括将预先规定的值，设为所述对象块的所有的预测样本值的情况。

9.如权利要求1至8的任一项所述的运动图像解码方法，

在所述分析步骤中，进一步，获得在所述编码运动图像比特流的头部内被编码的选择信息，

所述选择信息示出，(1)作为所述帧内预测的限制帧内预测方式、以及(2)不判断所述多个参考样本的有效性而利用所有的参考样本进行帧内预测的非限制帧内预测方式的一方，

在所述帧内预测步骤中，利用所述选择信息所示的所述限制帧内预测方式以及所述非限制帧内预测方式的某一方进行帧内预测。

10.如权利要求1至9的任一项所述的运动图像解码方法，

在所述帧内预测步骤中，将对象图片之外的参考样本判定为无效的参考样本。

11.如权利要求1至9的任一项所述的运动图像解码方法，

在所述帧内预测步骤中，将没有包含在与所述对象块相同的图片分割单位中的参考样本判定为无效的参考样本。

12.如权利要求11所述的运动图像解码方法，

所述图片分割单位是片。

13.如权利要求11所述的运动图像解码方法，

所述图片分割单位是轻量片。

14.如权利要求11所述的运动图像解码方法，

所述图片分割单位是瓦片。

15.如权利要求11所述的运动图像解码方法，

所述图片分割单位是波前并行处理单位。

16.一种运动图像编码方法，包括：

分割步骤，将原图像分割为两种以上的尺寸的多个块；

帧内预测步骤，通过对所述多个块之中的对象块进行帧内预测，从而计算预测样本值；

残差数据计算步骤，计算作为所述对象块的原图像与所述预测样本值的差分的残差数据；以及

编码步骤，通过对所述残差数据进行编码，从而生成编码运动图像比特流，

在所述帧内预测步骤中，

判定位于所述对象块的正上方以及正左方的一方的多个参考样本各自的有效性，在所述多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，利用该有效的参考样本进行所述帧内预测，

将被帧内预测的参考样本判定为有效的参考样本，将被帧间预测的参考样本判定为无效的参考样本。

17.一种运动图像解码装置，具备：

分析部，通过分析编码运动图像比特流，从而获得两种以上的尺寸的多个块之中的对象块的残差数据；

帧内预测部，通过对所述对象块进行帧内预测，从而计算所述对象块的预测样本值；以及

重构样本计算部，通过将所述残差数据和所述预测样本值相加，从而计算所述对象块的重构样本，

所述帧内预测部，

判定位于所述对象块的正上方以及正左方的一方的多个参考样本各自的有效性，在所述多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，利用该有效的参考样本进行所述帧内预测，

将被帧内预测的参考样本判定为有效的参考样本，将被帧间预测的参考样本判定为无效的参考样本。

18.一种运动图像编码装置，具备：

分割部，将原图像分割为两种以上的尺寸的多个块；

帧内预测部，通过对所述多个块之中的对象块进行帧内预测，从而计算预测样本值；

残差数据计算部，计算作为所述对象块的原图像与所述预测样本值的差分的残差数据；以及

编码部，通过对所述残差数据进行编码，从而生成编码运动图像比特流，

所述帧内预测部，

判定位于所述对象块的正上方以及正左方的一方的多个参考样本各自的有效性，在所述多个参考样本包含有效的参考样本和无效的参考样本这双方的情况下，利用该有效的参考样本进行所述帧内预测，

将被帧内预测的参考样本判定为有效的参考样本，将被帧间预测的参考样本判定为无效的参考样本。

19.一种运动图像编解码装置，具备：

权利要求18所述的运动图像编码装置；以及

权利要求17所述的运动图像解码装置。

Images