CN103828371B - 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置 - Google Patents

Abstract

本发明提供能够提高解码效率的运动图像编码装置及运动图像解码装置。空间分层‑多视运动图像编码装置（100）具有：基础层编码部（103），对基础层进行编码；扩展层编码部（104），使用由基础层编码部（103）生成的基础层的重构建图像，对扩展层进行空间分层编码；扩展视的基础层编码部（107），使用由基础层编码部（103）生成的基础层的重构建图像，对扩展视的基础层进行多视编码；以及扩展视的扩展层编码部（108），使用由扩展层编码部（104）生成的扩展层的重构建图像，对扩展视的扩展层进行多视编码。

Description

运动图像编码方法、运动图像编码装置、及运动图像解码方法 以及运动图像解码装置

技术领域

本发明涉及运动图像编码方法及运动图像解码方法。

背景技术

被称为H.264的运动图像编码方式已经实现标准化。也使用该被称为H.264的运动图像编码方式进行空间分层图像编码和多视图像编码。

发明概要

发明要解决的问题

过去，在进行将空间分层图像编码和多视图像编码相结合的编码的情况下，存在解码处理的负荷提高、解码效率差的问题。

发明内容

因此，本发明提供一种能够提高解码效率的运动图像编码装置及运动图像解码装置。

用于解决问题的手段

本发明的一个方式的运动图像编码装置对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，对基础视和一个以上的扩展视进行多视图像编码，该运动图像编码装置具有：基础层编码部，对所述基础层进行编码；扩展层编码部，使用由所述基础层编码部生成的所述基础层的重构建图像，对所述扩展层进行空间分层编码；扩展视基础层编码部，使用由所述基础层编码部生成的所述基础层的重构建图像，对所述扩展视的基础层进行多视编码；以及扩展视扩展层编码部，使用由所述扩展层编码部生成的所述扩展层的重构建图像，对所述扩展视的扩展层进行多视编码。

另外，这些总括的或者具体的方式也可以以系统、方法、集成电路、计算机程序或者计算机可读的CD-ROM等记录介质来实现，还可以以系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。

发明效果

根据本发明，能够设定层间参照和视间参照的优先度，因而能够提高将空间分层图像编码和多视图像编码相结合进行编码的比特流的解码效率。

附图说明

图1是表示被称为H.264的运动图像编码方式的空间分层图像编码装置的结构的框图。

图2是表示空间分层图像编码装置的各层的编码部的输入图像的示例的图。

图3是表示被称为H.264的运动图像编码方式的多视图像编码装置的结构的框图。

图4是表示多视图像编码装置的各视的输入图像的示例的图。

图5是表示使用本发明的运动图像编码方法的空间分层-多视运动图像编码装置的一个实施方式的结构的框图。

图6A是表示模式1的输入图像的预测构造的图。

图6B是表示模式2的输入图像的预测构造的图。

图6C是表示模式3的输入图像的预测构造的图。

图7是表示空间分层-多视运动图像编码装置的处理流程的图。

图8A是表示实施方式1的层间预测的输入图像的预测构造的图。

图8B是表示实施方式1的层间预测的输入图像的预测构造的图。

图9A是表示输入图像的预测构造的一例的图。

图9B是表示输入图像的预测构造的一例的图。

图10是表示对SVC-MVC比特流进行解码的空间分层-多视运动图像解码装置的一个实施方式的结构的框图。

图11是表示空间分层-多视运动图像解码装置的处理流程的图。

图12是实现内容分发服务的内容供给系统的整体结构图。

图13是数字广播用系统的整体结构图。

图14是表示电视机的结构例的模块图。

图15是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图16是表示作为光盘的记录介质的构造例的图。

图17A是表示便携电话的一例的图。

图17B是表示便携电话的结构例的模块图。

图18是表示复用数据的结构的图。

图19是示意地表示各流在复用数据中怎样被复用的图。

图20是更详细地表示在PES包序列中视频流怎样被保存的图。

图21是表示复用数据的TS包和源包的构造的图。

图22是表示PMT的数据结构的图。

图23是表示复用数据信息的内部结构的图。

图24是表示流属性信息的内部结构的图。

图25是表示识别影像数据的步骤的图。

图26是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图27是表示切换驱动频率的结构的图。

图28是表示识别影像数据、切换驱动频率的步骤的图。

图29是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图30A是表示将信号处理部的模块共用的结构的一例的图。

图30B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（作为本发明的基础的认识）

关于在“背景技术”部分中记载的控制装置，本发明者发现会发生以下的问题。

图1是表示已经实现标准化的、被称为H.264的运动图像编码方式的空间分层图像编码装置的结构的框图。

空间分层图像编码装置500如图1所示具有输入图像控制部501、下采样部502、基础层编码部503、扩展层编码部504、放大解压缩部505、和分层复用部506。

输入图像控制部501向担负各层的编码处理的编码部发送输入图像信号。下采样部502进行输入图像信号的下采样，生成分辨率更小的输入图像。基础层编码部503是不进行空间分层编码的通常的图像编码装置，进行基础层的图像编码。放大解压缩部505将基础层的图像编码信息放大或者解压缩，生成在扩展层的图像编码处理中使用的预测信息，并输入扩展层编码部504。扩展层编码部504使用预测信息进行从输入图像控制部501输入的输入图像信号（扩展层）的图像编码。分层复用部506将各阶层即基础层和扩展层的编码信息进行复用，并输出被实施了空间分层编码的比特流。另外，在图1所示的空间分层图像编码装置中，作为示例设为基础层和扩展层这两个阶层，但是通过多级地结合扩展层编码部504，能够实现多个扩展层的空间分层图像编码。

图2表示空间分层图像编码装置的各层的编码部的输入图像的示例。输入图像由一个基础层和两个扩展层构成。基础层（Layer1）的输入图像是SD尺寸，作为扩展层的Layer2的输入图像是HD尺寸、Layer3的输入图像是4K2K尺寸。

将分辨率相对较小的层称为下位层，将分辨率较大的层称为上位层。即，基础层成为最下层的下位层。在空间分层图像编码处理中，在进行上位层的编码时，使用下位层的预测信息进行层间预测，由此提高编码效率。预测信息采用图片内结构预测、运动向量预测、帧间差分预测等的信息。另外，将在对上位层进行编码时使用下位层的预测信息的方式称为层间参照（预测）。在空间分层图像编码处理中，也采用在通常的图像编码处理中使用的时间方向的帧间预测（inter预测）。但是，基础层的帧间参照关系必须在所有层中一致。图2的虚线箭头表示层间预测和帧间预测。表示将箭头的前端的图像作为参照信息来由箭头的始点的图像参照。在基础层的帧间预测中参照两张前的帧，因而在扩展层中同样也参照两张前的帧。另外，以块单位来切换是否进行层间预测。

图3是表示已经实现标准化的、被称为H.264的运动图像编码方式的多视图像编码装置的结构的框图。

多视图像编码装置600如图3所示具有输入图像控制部601、基础视编码部602、扩展视编码部603、视复用部604。

输入图像控制部601根据需要从输入图像信号生成各视图像，并向对应的各视的编码部发送各视图像。另外，也可以不向输入图像控制部601输入各视的输入图像信号。基础视编码部602是不进行多视编码的通常的图像编码装置，进行基础视的图像编码。并且，基础视编码部602将在基础视编码部602的内部被实施编码及解码后的基础视的重构建视图像输入扩展视编码部603。扩展视编码部603使用重构建视图像进行从输入图像控制部601输入的扩展视图像的图像编码。视复用部604将各视即基础视和扩展视的编码信息进行复用，并输出被实施多视编码后的比特流。另外，在图3所示的多视图像编码装置中，作为示例设为基础视和扩展视这两种视，但是通过多级地结合扩展视编码部603，能够实现多个扩展视的多视图像编码。

图4表示多视图像编码装置的各视的输入图像的示例。输入图像由一个基础视和两个扩展视构成。基础视（View1）、扩展视（View2、View3）的图像分辨率相同。通常，各视是从稍微不同的视点在相同时刻拍摄的图像，且具有相关性。目前被用作立体图像（3D）的编码方法。

在多视图像编码处理中，在进行扩展视的编码时，使用其它视的重构建图像作为参照图像进行帧间预测，由此提高编码效率。另外，将在对扩展视进行编码时使用其它视的重构建图像这一方式称为视间参照（预测）。在多视图像编码处理中，其它视的重构建图像被用作在通常的图像编码处理中使用的时间方向的帧间预测（inter预测）的参照图像。但是，不能将在时间上与编码对象图像不同的其它视的重构建图像用作参照图像。

在采用视间预测的情况下选择要参照的视。图4的虚线箭头表示视间预测和帧间预测。在扩展视（View2）的视间预测中参照基础视（View1）。另一方面，在扩展视（View3）的视间预测中参照扩展视（View2）。另外，以块单位来切换是否进行视间预测。并且，如果时间不同，则视间的参照关系也可以不同。

在执行将上述的空间分层图像编码和多视图像编码相结合的编码处理的情况下，对于扩展视的扩展层进行层间参照和视间参照。只有在对基础视的扩展层和扩展视的下位层分别进行解码后，才能对扩展视的扩展层进行解码，因而解码处理的负荷提高，并且解码效率差。

以下参照附图说明实施方式。

另外，下面说明的实施方式都是表示总括的或者具体的示例的方式。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例，其主旨不是限定本发明。并且，关于下面的实施方式的构成要素中、没有在表示最上位概念的独立权利要求中记载的构成要素，是作为任意的构成要素进行说明。

（实施方式1）

图5是表示使用本发明的运动图像编码方法的空间分层-多视运动图像编码装置的一个实施方式的结构的框图。

空间分层-多视运动图像编码装置100如图5所示具有输入图像控制部101、第1下采样部102、基础层编码部103、扩展层编码部104、第1放大解压缩部105、第2下采样部106、扩展视的基础层编码部107、扩展视的扩展层编码部108、第2放大解压缩部109、优先度决定部110、分层-视复用部111。另外，第1下采样部102和第2下采样部106具有相同的功能，第1放大解压缩部105和第2放大解压缩部109具有相同的功能，都能够以共用的方式进行安装。

另外，在图5所示的空间分层-多视运动图像编码装置中，关于视是设为基础视和扩展视这两种视，但是通过多级地结合扩展视编码部（扩展视的基础层编码部107和扩展视的扩展层编码部108），能够实现多个扩展视的多视图像编码。同样，关于分层是设为基础层和扩展层这两个阶层，但是通过多级地结合扩展层编码部104和扩展视的扩展层编码部108，能够实现多个扩展层的空间分层图像编码。

输入图像控制部101按照每个视来分离输入图像信号，并发送给担负各视的编码处理的编码部。

第1下采样部102（第2下采样部106）进行输入图像信号的下采样，并生成分辨率更小的输入图像。

基础层编码部103是不进行空间分层编码的通常的图像编码装置，并进行基础视的基础层的图像编码。并且，将基础视的基础层的重构建图像输入扩展视的基础层编码部107。

第1放大解压缩部105将基础层的图像编码信息放大或者解压缩，生成在扩展层的图像编码中使用的预测信息，并输入扩展层编码部104。

扩展层编码部104使用预测信息进行从输入图像控制部101输入的输入图像信号（基础视的扩展层）的图像编码。并且，将基础视的扩展层的重构建图像输入优先度决定部110。

扩展视的基础层编码部107使用由基础层编码部103重构建的基础视的基础层的重构建图像，进行扩展视的基础层的图像编码。

第2放大解压缩部109将扩展视的基础层的图像编码信息放大或者解压缩，生成在扩展视的扩展层的图像编码中使用的预测信息，并输入优先度决定部110。

优先度决定部110决定层间参照和视间参照的优先度，将所决定的优先度的预测信息发送给扩展视的扩展层编码部108。

扩展视的扩展层编码部108使用从优先度决定部110发送的预测信息，进行从输入图像控制部101输入的输入图像（扩展视的扩展层）的图像编码。

分层-视复用部111将从各编码部即基础层编码部103、扩展层编码部104、扩展视的基础层编码部107、扩展视的扩展层编码部108发送的编码信息进行复用，输出被实施了空间分层图像编码及多视图像编码后的比特流（以后称为SVC-MVC比特流）。

下面说明由优先度决定部110决定的优先度。优先度有三种模式。模式1是视间参照优先。在这种情况下，层间参照被禁止，层间参照用的预测信息不发送给扩展视的扩展层编码部108。因此，对于扩展视的扩展层只进行视间参照。即，不向扩展视的扩展层编码部108输入由扩展视的基础层编码部107生成的扩展视的基础层的重构建图像。图6A是表示模式1的输入图像的预测构造的图。为了便于说明，假设分层为3阶层、视为2视（3D）。将左视设为基础层，将右视设为扩展视。基础视的基础层（Layer1（L））只能进行帧间预测。基础视的扩展层（Layer2（L）、Layer3（L））能够进行层间预测和帧间预测。扩展视的基础层（Layer1（R））能够进行视间预测或者帧间预测。并且，扩展视的扩展层（Layer2（R）、Layer3（R））能够进行视间预测或者帧间预测。模式2是层间参照优先。在这种情况下，视间参照被禁止，视间参照用的预测信息（参照视的重构建图像）不发送给扩展视的扩展层编码部108。因此，对于扩展视的扩展层只进行层间参照。图6B是表示模式2的输入图像的预测构造的图。扩展视的扩展层以外的预测构造与图6A相同。扩展视的扩展层（Layer2（R）、Layer3（R））能够进行层间预测和帧间预测。

模式3中视间参照和层间参照的优先度相同。在这种情况下，层间参照用的预测信息和视间参照用的预测信息（参照视的重构建图像）双方都发送给扩展视的扩展层编码部108。因此，对于扩展视的扩展层进行视间参照和层间参照。图6C是表示模式3的输入图像的预测构造的图。扩展视的扩展层以外的预测构造与图6A相同。扩展视的扩展层（Layer2（R）、Layer3（R））能够进行层间预测和帧间预测、或者层间预测或帧间预测。

通过将所决定的优先度（模式1～模式3中任意一种模式）包含在序列参数集（SPS）中，在解码器侧能够得知在扩展视的扩展层的预测处理中使用的参照方式。并且，通过将模式1设为默认设定，在利用模式1取得情况下，优先度决定部110也可以不将优先度包含在SPS中。

图7表示空间分层-多视运动图像编码装置的处理流程。

优先度决定部110决定优先度（步骤S101）。另外，优先度决定部110能够根据通信状况和编码器/解码器的运算资源等各种情况决定优先度。将所决定的优先度设定到序列参数集（SPS）中（步骤S102）。另外，当在序列的中途变更优先度的情况下，不限于SPS，也能够设定为图片参数集（PPS）等其它参数。在编码对象的输入图像是扩展视的扩展层的情况下（步骤S103：是），优先度决定部110根据所决定的优先度，向扩展视的扩展层编码部108发送预测信息（步骤S104）。在视间参照优先的情况下，视间参照用的预测信息（参照视的重构建图像）被发送给扩展视的扩展层编码部108。扩展视的扩展层编码部108进行视间预测或者帧间预测（步骤S105）。在层间参照优先的情况下，层间参照用的预测信息被发送给扩展视的扩展层编码部108。扩展视的扩展层编码部108进行层间预测和帧间预测（步骤S106）。在视间参照和层间参照的优先度相同的情况下，层间参照用的预测信息和视间参照用的预测信息（参照视的重构建图像）双方都被发送给扩展视的扩展层编码部108。扩展视的扩展层编码部108进行层间预测和帧间预测、或者层间预测或帧间预测（步骤S107）。

在编码对象的输入图像不是扩展视的扩展层的情况下（步骤S103：否），进行通常的预测编码（步骤S108）。即，对于基础视的基础层进行帧间预测编码，对于基础视的扩展层进行层间预测和帧间预测编码，对于扩展视的基础层进行视间预测或者帧间预测编码。

如果在解码器侧能够预先得知SVC-MVC比特流中、在扩展视的扩展层的预测处理中使用的参照方式，则解码效率提高。例如，当在解码器侧对扩展视的扩展层即Layer3（R）进行解码并显示的情况下，由于得知采用了图6A所示的模式1的预测构造，解码器不需对Layer1（R）、Layer2（R）的图像进行解码，仅对Layer1（L）、Layer2（L）、Layer3（L）的图像进行解码，即可对Layer3（R）的图像进行解码。同样，由于得知采用了图6B所示的模式2的预测构造，解码器不需对Layer2（L）、Layer3（L）的图像进行解码，仅对Layer1（L）、Layer1（R）、Layer2（R）的图像进行解码，即可对Layer3（R）的图像进行解码。

如上所述，根据本实施方式，通过决定层间参照和视间参照的优先度，在解码器侧的解码效率提高。

图8A及图8B是表示本实施方式的层间预测的输入图像的预测构造的图。图8A与图2所示的过去的空间分层编码处理中使用的预测构造相同。即，对于第1扩展层（Layer2），在层间预测处理中使用基础层（Layer1）的预测信息。并且，对于第2扩展层（Layer3），在层间预测处理中使用第1扩展层（Layer2）的预测信息。即，关于扩展层是参照其下一阶层的扩展层。将该预测构造称为顺序预测构造。与此相对，在图8B所示的预测构造中，对于第2扩展层（Layer3），在层间预测处理中使用基础层（Layer1）的预测信息，而非第1扩展层（Layer2）。即，对于所有的扩展层，在层间预测处理中使用基础层（Layer1）的预测信息。将该预测构造称为星形预测构造。如果采用星形预测构造，与采用顺序预测构造相比，具有所有阶层的总体的编码比特量增加的倾向。但是，由于在对基础层进行解码后能够马上开始上位层的解码处理，因而解码效率比较高。也可以是，将图8A及图8B所示的预测构造一般化，所有的扩展层参照下位层的任意的扩展层或者基础层，但是没有图示。在这种情况下，例如在扩展层是3层时，预测构造成为包括顺序预测构造和星形预测构造在内的6种构造。也可以使用一般化的预测构造取代顺序预测构造和星形预测构造。

通过将所决定的预测构造（顺序预测构造或星形预测构造等）包含在补充信息中（SEI：Supplemental Enhancement Information），向解码器侧发送SEI消息，在解码器侧能够得知在层间预测处理中使用的预测构造。并且，通过将顺序预测构造设为默认设定，在利用顺序预测构造的情况下，编码器也可以不发送层间预测的预测构造。

本实施方式的空间分层-多视运动图像编码装置的未图示的预测构造控制部，进行使基础视的层间参照的预测构造和扩展视的层间参照的预测构造一致的控制。具体地讲，将扩展视的层间参照的预测构造控制成与基础视的层间参照的预测构造一致。其结果是，如图6B或图6C所示，基础视的层间参照和扩展视的层间参照都是采用顺序预测构造。并且，当在基础视的层间参照中采用星形预测构造的情况下，在扩展视的层间参照中也采用星形预测构造。图9A表示在图6Ｃ所示的输入图像的预测构造中，将层间参照变更为星形预测构造的情况。预测构造控制部按照图9A所示，将扩展视的层间参照的预测构造控制成与基础视的层间参照的预测构造一致。

通过由未图示的预测构造控制部进行这种控制，解码器侧的SVC-MVC比特流的解码效率提高。例如，当在解码器侧对扩展视的扩展层即Layer3（R）进行解码并显示的情况下，如果采用图9A所示的预测构造，解码器不需对Layer2（L）、Layer2（R）的图像进行解码，仅对Layer1（L）、Layer3（L）、Layer1（R）的图像进行解码，即可对Layer3（R）的图像进行解码。图9B表示各视的层间参照的预测构造不一致的预测构造，以便对比解码效率。基础视的层间参照的预测构造采用星形预测构造，扩展视的层间参照的预测构造采用顺序预测构造。扩展视的层间参照的预测构造与基础视的层间参照的预测构造不一致。此时，当在解码器侧对扩展视的扩展层即Layer3（R）进行解码并显示的情况下，必须对Layer1（L）、Layer2（L）、Layer3（L）、Layer1（R）、Layer2（R）的所有图像进行解码，解码效率明显下降。

根据本实施方式，通过控制成使扩展视的层间参照的预测构造与基础视的层间参照的预测构造一致，在解码器侧的解码效率提高。

另外，本实施方式的运动图像编码装置及方法也可以不具备图5或者图7所示的所有构成要素及步骤。即，

也可以是，本实施方式的一种方式的运动图像编码装置对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，对基础视和一个以上的扩展视进行多视图像编码，该运动图像编码装置具有：基础层编码部，对所述基础层进行编码；扩展层编码部，使用由所述基础层编码部生成的所述基础层的重构建图像，对所述扩展层进行空间分层编码；扩展视基础层编码部，使用由所述基础层编码部生成的所述基础层的重构建图像，对所述扩展视的基础层进行多视编码；以及扩展视扩展层编码部，使用由所述扩展层编码部生成的所述扩展层的重构建图像，对所述扩展视的扩展层进行多视编码。

另外，也可以是，在本实施方式的一种方式的运动图像编码装置中，由所述扩展视基础层编码部生成的扩展视的基础层的重构建图像不被输入所述扩展视扩展层编码部。

另外，也可以是，本实施方式的一种方式的运动图像编码方法对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，对基础视和一个以上的扩展视进行多视图像编码，该运动图像编码方法包括以下步骤：对所述基础层进行编码，生成所述基础层的重构建图像；使用所述基础层的重构建图像，对所述扩展层进行空间分层编码，生成所述扩展层的重构建图像；使用所述基础层的重构建图像，对所述扩展视的基础层进行多视编码；使用所述扩展层的重构建图像，对所述扩展视的扩展层进行多视编码。

（实施方式2）

图10是表示对被实施了空间分层图像编码及多视图像编码的比特流（以后称为SVC-MVC比特流）进行解码的空间分层-多视运动图像解码装置的一个实施方式的结构的框图。

空间分层-多视运动图像解码装置200如图10所示具有逆复用部201、解码控制部202、逆视复用部203、第1逆分层复用部204、基础层解码部205、扩展层解码部206、第1放大解压缩部207、第2逆分层复用部208、扩展视的基础层解码部209、扩展视的扩展层解码部210、第2放大解压缩部211、以及切换器212、213、214。另外，第1逆分层复用部204和第2逆分层复用部208具有相同的功能，第1放大解压缩部207和第2放大解压缩部211具有相同的功能，都能够以共用的方式进行安装。

另外，在图10所示的空间分层-多视运动图像解码装置中，关于视是设为基础视和扩展视这两种视，但是通过多级地结合扩展视编码部（扩展视的基础层解码部209和扩展视的扩展层解码部210 ），能够实现多个扩展视的多视图像解码。同样，关于分层是设为基础层和扩展层这两个阶层，但是通过多级地结合扩展层解码部206和扩展视的扩展层解码部210，能够实现多个扩展层的空间分层图像解码。

逆复用部201在被输入SVC-MVC比特流后，将其分离为视频编码数据和附加信息。所谓附加信息例如指SPS和SEI等信息。另外，SEI也可以是与SVC-MVC比特流分开进行接收的结构。逆复用部201向逆视复用部203发送视频编码数据，向解码控制部202发送附加信息。

解码控制部202根据附加信息控制空间分层-多视运动图像解码装置内部的各单元。另外，关于解码控制部202在进行控制时使用的控制信号，除一部分之外没有图示。

逆视复用部203将被实施了多视编码的视频编码数据分离为每个视的编码数据（基础视编码数据和扩展视编码数据）。

第1逆分层复用部204（第2逆分层复用部208）从被实施了分层编码的视频编码数据中分离出各阶层的编码数据（基础层编码数据和扩展层编码数据），并分别发送给各阶层的解码部。另外，本实施方式的空间分层-多视运动图像解码装置构成为先是由逆视复用部203分离为每个视的编码数据，然后由逆分层复用部将各视的编码数据分离为各阶层的编码数据，但不限于此。即，先由逆分层复用部分离为各阶层的编码数据，然后由逆视复用部203将各阶层的编码数据分离为各视的编码数据，这对于本行业人员是显而易见的。

基础层解码部205是不进行空间分层图像编码的通常的图像解码装置，进行基础视的基础层的图像解码。

第1放大解压缩部207将基础层的图像解码信息放大或者解压缩，生成在扩展层的图像解码处理中使用的预测信息，并输入扩展层解码部206。

扩展层解码部206使用预测信息进行基础视的扩展层的图像解码。并且，将重构建的基础视的扩展层的图像输入扩展视的扩展层编码部。

扩展视的基础层解码部209使用由基础层解码部205重构建的基础视的基础层的图像，进行扩展视的基础层的图像解码。

第2放大解压缩部211将扩展视的基础层的图像解码信息放大或者解压缩，生成在扩展视的扩展层的图像解码处理中使用的预测信息，并输入扩展视的扩展层解码部210。

切换器（1）212插入在第1逆分层复用部204和扩展层解码部206之间，切换器（2）213插入在第2逆分层复用部208和扩展视的基础层解码部209之间，切换器（3）214插入在第2逆分层复用部208和扩展视的扩展层解码部210之间。切换器212、213、214通过解码控制部202来控制路径的接通/断开，在断开时不传输数据而将其废弃。

图11表示空间分层-多视运动图像解码装置的处理流程。

首先，设定目标解码图像（步骤S201）。所谓目标解码图像是指由空间分层-多视运动图像解码装置进行解码、并在未图示的显示装置显示的图像。使用图6A所示的图为例，在SVC-MVC比特流中包括Layer1（L）、Layer2（L）、Layer3（L）、Layer1（R）、Layer2（R）、Layer3（R）这6张被实施了编码的图像。但是，在解码器侧的显示装置中进行显示的通常只是被选择的图像。将从6张图像中选择的图像称为目标解码图像。另外，目标解码图像的选择可以按照用户的指示进行，也可以根据通信状况、解码器侧的运算资源、显示装置的分辨率来决定。

然后，解码控制部202判定所设定的目标解码图像是否是扩展视的扩展层的图像（Layer2（R）、Layer3（R））（步骤S202）。在目标解码图像是扩展视的扩展层的图像的情况下，解码控制部202从附加信息中取得预测构造信息（层间参照和视间参照的优先度信息）（步骤S203）。并且，根据预测构造信息进行切换器的控制（步骤S204）。在切换器被控制为断开时，不向解码部输入编码数据而将其废弃。另外，不被输入编码数据的编码部不进行动作。被输入编码数据的解码部进行所输入的编码数据的解码处理（步骤S206）。并且，只有对应于目标解码图像的解码部将被解码后的输出图像信号输出给未图示的显示装置。另外，在对某个时刻的编码数据进行解码处理后（步骤S205），解码控制部202在从附加信息中取得新的预测构造信息的情况下（步骤S203），返回步骤S204，反复步骤S205的处理。例如，当预测构造在序列的中途变化了的情况下，在作为附加信息之一的图片参数集（PPS）中包含新的预测构造信息。在以后的序列中，根据所取得的新的预测构造信息进行解码处理。

在目标解码图像不是扩展视的扩展层的图像的情况下，解码控制部202进行对应于目标解码图像的切换器的控制（步骤S206）。具体地讲，在目标图像是基础视的基础层（Layer1（L））时，将切换器（1）212～切换器（3）214全部控制为断开。并且，在目标图像是基础视的扩展层（Layer2（L）、Layer3（L））时，将切换器（2）213和切换器（3）214控制为断开。并且，在目标图像是扩展视的基础层（Layer1（R））时，将切换器（1）212和切换器（3）214控制为断开。

下面，说明步骤S204（基于预测构造信息的切换器的控制）的具体动作。输入图像的预测构造信息如在实施方式1中说明的那样是表示图6A～图6C所示的模式1～模式3的预测构造的信息。假设目标解码图像是扩展视的扩展层的图像即Layer3（R）。在图6A所示的预测构造中，解码控制部202将切换器（1）212设为接通。由此，基础视的扩展层解码部进行动作，Layer3（L）的编码数据被解码。另一方面，解码控制部202将切换器（2）213设为断开。由此，Layer1（R）的编码数据被废弃，扩展视的基础层解码部209不进行动作。另外，解码控制部202将切换器（3）214设为断开。由此，Layer2（R）的编码数据被废弃，扩展视的扩展层解码部210不进行动作。另外，解码控制部202将与对Layer3（R）的编码数据进行解码的未图示的扩展视的扩展层解码部连接的未图示的切换器控制为接通。由此，未图示的扩展视的扩展层解码部进行动作，根据被重构建的Layer3（L）对Layer3（R）的编码数据进行解码。然后，在图6B所示的预测构造中，解码控制部202将切换器（2）213和切换器（3）214控制为接通。由此，扩展视的基础层解码部209进行动作，根据被重构建的Layer1（L）对Layer1（R）的编码数据进行解码。并且，扩展视的扩展层解码部210进行动作，Layer3（R）的编码数据被解码。另一方面，解码控制部202将切换器（1）212控制为断开。由此，Layer2（L）和Layer3（L）的编码数据被废弃，基础视的扩展层解码部不进行动作。

如上所述，根据本实施方式，通过根据预测构造信息进行解码控制，省略了在目标解码图像的解码处理中不需要的图像的解码处理，解码效率提高。

另外，本实施方式的运动图像解码装置及方法也可以不具备图10或者图11所示的所有构成要素及步骤。即，

也可以是，本实施方式的一种方式的运动图像解码装置对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码装置具有：基础层解码部，对所述基础层进行解码；以及扩展层解码部，使用由所述基础层解码部生成的所述基础层的重构建图像，对所述扩展层进行空间分层解码。

另外，也可以是，本实施方式的一种方式的运动图像解码装置对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码装置具有：基础层解码部，对所述基础层进行解码；以及扩展视基础层解码部，使用由所述基础层解码部生成的所述基础层的重构建图像，对所述扩展视的基础层进行多视解码。

另外，也可以是，本实施方式的一种方式的运动图像解码装置对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码装置具有：基础层解码部，对所述基础层进行解码；扩展层解码部，使用由所述基础层解码部生成的所述基础层的重构建图像，对所述扩展层进行空间分层解码；以及扩展视解码部，使用由所述基础层解码部生成的所述基础层的重构建图像对所述扩展视的基础层进行多视解码，或者使用由所述扩展层解码部生成的所述扩展层的重构建图像，对所述扩展视的基础层或者所述扩展视的扩展层进行多视解码。

另外，也可以是，本实施方式的一种方式的运动图像解码方法对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码方法包括以下步骤：对所述基础层进行解码并生成所述基础层的重构建图像；使用所述基础层的重构建图像对所述扩展层进行空间分层解码。

另外，也可以是，本实施方式的一种方式的运动图像解码方法对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码方法包括以下步骤：对所述基础层进行解码并生成所述基础层的重构建图像；使用所述基础层的重构建图像，对所述扩展视的基础层进行多视解码。

另外，也可以是，本实施方式的一种方式的运动图像解码方法对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码方法包括以下步骤：对所述基础层进行解码并生成所述基础层的重构建图像；使用所述基础层的重构建图像对所述扩展层进行空间分层解码，并生成所述扩展层的重构建图像；使用所述基础层的重构建图像，对所述扩展视的基础层进行多视解码；使用所述扩展层的重构建图像，对所述扩展视的扩展层进行多视解码。

（实施方式3）

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图12是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（Personal Digital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图12那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division MultipleAccess）方式、W－CDMA（Wideband －Code Division Multiple Access）方式、或LTE（LongTerm Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图13所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图14是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图15中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图16中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图14所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图17A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图17B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（LiquidCrystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358 。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式4）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图18是表示复用数据的结构的图。如图18所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图19是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图20更详细地表示在PES包序列中怎样保存视频流。图20的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图20的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（Presentation Time-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图21表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图21下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program ClockReference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System Time Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图22是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图23所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图23所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图24所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图25中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

（实施方式5）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图26中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex501 具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501 的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable Gate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式6）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图27表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图26的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图26的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图29所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图28表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式7）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图30A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图30B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

本发明的运动图像编码装置及运动图像解码装置能够适用于所有的多媒体数据，能够提高解码效率，例如能够用作使用便携式电话、DVD装置及个人电脑等进行蓄积、传输、通信等的运动图像编码装置及运动图像解码装置。

标号说明

100空间分层-多视运动图像编码装置；101输入图像控制部；102第1下采样部；103基础层编码部；104扩展层编码部；105第1放大解压缩部；106第2下采样部；107扩展视的基础层编码部；108扩展视的扩展层编码部；109第2放大解压缩部；110优先度决定部；111分层-视复用部；200空间分层-多视运动图像解码装置；201逆复用部；202解码控制部；203逆视复用部；204第1逆分层复用部；205基础层解码部；206扩展层解码部；207第1放大解压缩部；208第2逆分层复用部；209扩展视的基础层解码部；210扩展视的扩展层解码部；211第2放大解压缩部；212、213、214切换器。

Claims (6)

1.一种运动图像编码装置，对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，对基础视和一个以上的扩展视进行多视图像编码，该运动图像编码装置具有：

基础层编码部，对所述基础视的基础层进行编码；

扩展层编码部，使用由所述基础层编码部生成的所述基础层的重构建图像，对所述基础视的扩展层进行空间分层编码；

扩展视基础层编码部，使用由所述基础层编码部生成的所述基础层的重构建图像，对所述扩展视的基础层进行多视编码；以及

扩展视扩展层编码部，使用由所述扩展层编码部生成的所述扩展层的重构建图像，对所述扩展视的扩展层进行多视编码，

在所述扩展视扩展层编码部的多视编码处理中，禁止层间参照，由所述扩展视基础层编码部生成的所述扩展视的基础层的重构建图像，不被输入所述扩展视扩展层编码部。

2.一种运动图像编码方法，对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，对基础视和一个以上的扩展视进行多视图像编码，该运动图像编码方法包括以下步骤：

对所述基础视的基础层进行编码，生成所述基础层的重构建图像；

使用所述基础层的重构建图像，对所述基础视的扩展层进行空间分层编码，生成所述扩展层的重构建图像；

使用所述基础层的重构建图像，对所述扩展视的基础层进行多视编码；以及

使用所述扩展层的重构建图像，对所述扩展视的扩展层进行多视编码，

在对所述扩展视的扩展层进行多视编码的步骤中，禁止层间参照，不使用在对所述扩展视的基础层进行多视编码的步骤中生成的所述扩展视的基础层的重构建图像，对所述扩展视的扩展层进行多视编码。

3.一种运动图像解码装置，对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码装置具有：

基础层解码部，对所述基础层进行解码；

扩展层解码部，使用由所述基础层解码部生成的所述基础层的重构建图像，对所述扩展层进行空间分层解码；以及

扩展视解码部，对所述扩展视的扩展层进行多视解码，

在所述扩展视解码部中，禁止层间参照，所述扩展视的基础层的重构建图像不被输入所述扩展视解码部。

4.根据权利要求3所述的运动图像解码装置，所述扩展视解码部使用由所述基础层解码部生成的所述基础层的重构建图像对所述扩展视的基础层进行多视解码，使用由所述扩展层解码部生成的所述扩展层的重构建图像，对所述扩展视的扩展层进行多视解码。

5.一种运动图像解码装置，对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码装置具有：

基础层解码部，对所述基础视的基础层进行解码；

扩展视基础层解码部，使用由所述基础层解码部生成的所述基础层的重构建图像，对所述扩展视的基础层进行多视解码；以及

扩展视解码部，对所述扩展视的扩展层进行多视解码，

在所述扩展视解码部中，禁止层间参照，由所述扩展视基础层解码部生成的所述扩展视的基础层的重构建图像不被输入所述扩展视解码部。

6.一种运动图像解码方法，对编码数据进行解码，该编码数据是通过对由基础层和一个以上的扩展层构成的输入图像进行空间分层编码，并将所述基础层和所述扩展层作为基础视，对一个以上的扩展视分别进行多视图像编码而得到的，该运动图像解码方法包括以下步骤：

对所述基础视的基础层进行解码并生成所述基础层的重构建图像；

使用所述基础层的重构建图像对所述基础视的扩展层进行空间分层解码，并生成所述扩展层的重构建图像；

使用所述基础层的重构建图像，对所述扩展视的基础层进行多视解码；

使用所述扩展层的重构建图像，对所述扩展视的扩展层进行多视解码，

在对所述扩展视的扩展层进行多视解码的步骤中，禁止层间参照，不使用所述扩展视的基础层的重构建图像，对所述扩展视的扩展层进行多视解码。