CN102771127B - 图像编码装置、图像解码装置、图像编码方法及图像解码方法 - Google Patents

Abstract

为了进一步减少将位深度比编码器的位深度大的图像编码时的数据量，有关本发明的图像编码装置（100A）具备：向下变换器（102A），通过对上述对象图像实施向下变换处理而生成基本层图像，上述向下变换处理使位深度减小第1值，以使该对象图像的位深度成为上述规定的大小；第1编码器（111A），将基本层图像编码并解码，由此生成重构图像；减法器（103A），对重构图像实施使位深度增大第2值的处理，基于被实施该处理后的重构图像和对象图像，生成用于提高基本层图像的画质的增强层图像；第2编码器（112A），将增强层图像编码；以及输出部（115），输出被编码的基本层图像和被编码的增强层图像。

Description

图像编码装置、图像解码装置、图像编码方法及图像解码方法

技术领域

本发明涉及图像编码装置及图像解码装置。特别涉及以位深度比规定的大小大的图像为对象的编码装置及解码装置。

背景技术

以往，显示器装置、摄像装置、图像编码装置及图像解码装置等的图像处理装置将图像以称作像素的单位进行处理。并且，像素具有如绿、红及蓝（RGB）那样的3个独立的副像素。显示器装置通过控制各副像素的强度，混合出像素的颜色。各副像素的强度中有各种等级。等级的多样性依赖于位深度。

位深度表示每一个像素的信息容量，更具体地讲，是每一个副像素的位数。例如，在位深度是8位的情况下，各副像素的强度用256（2的8次幂）等级表现。并且，在位深度是10位的情况下，各副像素的强度用1024（2的10次幂）等级表现。

此外，在位深度是8位的情况下，1个像素中的3个副像素的等级的组合的数量是256的3次幂（16,777,216）。并且，在位深度是10位的情况下，1个像素中的3个副像素的等级的组合的数量是1024的3次幂（1,073,741,824）。即，在位深度是10位的情况下，可再现的颜色的数量为位深度是8位的情况下的64倍。

近年来，面向专业用户的显示器装置能够以12位或16位的位深度显示图像。此外，面向消费者的显示器装置也有时能够以比8位大的位深度显示图像。

能够再现更多的颜色的显示器装置能够显示更平滑的颜色的迁移、以及更接近于实物的颜色。即，通过使位深度变得更大，能够实现更平滑的颜色的迁移、以及更接近于实物的颜色。因而，与将图像以8位的位深度显示相比，消费者更希望以更大的位深度显示。

另外，以8位的位深度显示的图像被称作8位图像。同样，以10位的位深度显示的图像被称作10位图像。即，以n位的位深度显示的图像一般被称作n位图像。

这里，为了输出位深度更大的图像，可以考虑使用多个能够大量地得到的8位视频处理器来输出位深度更大的图像。

现有技术文献

非专利文献

非专利文献1：ITU-T and ISO/IEC JTC1,“Advanced video coding forgeneric audio visual services,”ITU-T Recommendation H.264and ISO/IEC14496-10（MPEG-4AVC）,2010.

发明概要

发明要解决的问题

但是，在以往技术中，有通过编码而数据量增大的问题。

例如，在将1张10位图像用两个8位视频处理器分别处理的情况下，必须传送比本来想要传送的10位图像更多的数据。结果，在将图像向记录介质记录时需要的记录容量增加，或者在经由网络传送图像时需要的带宽增加。

发明内容

所以，本发明的目的是提供一种进一步减少利用在位深度上有限制的编码器对位深度比编码器的位深度大的图像进行了编码时的数据量的图像编码装置等。

用于解决问题的手段

为了解决上述问题，有关本发明的图像编码装置的一技术方案是一种图像编码装置，对表示每一个像素的信息容量的位深度比规定的大小大的对象图像进行编码，具备：向下变换器，对上述对象图像实施向下变换处理而生成基本层图像，上述向下变换处理使位深度减小第1值，以使该对象图像的位深度成为上述规定的大小；第1编码器，将上述基本层图像编码，并通过将编码后的上述基本层图像解码而生成重构图像；减法器，对上述重构图像实施使位深度增大第2值的移位量调整处理，基于被实施上述移位量调整处理后的重构图像和上述对象图像，生成增强层图像，该增强层图像是用来提高上述基本层图像的画质的图像，并且是具有与上述基本层图像相同的位深度的图像；第2编码器，将上述增强层图像编码；以及输出部，输出被编码后的上述基本层图像和被编码后的上述增强层图像。

据此，图像编码装置将对象图像具有的位深度中的第2值的位包含于作为与基本层图像不同的图像的增强层图像中。结果，在之后的解码时，能够使用增强层图像提高基本层图像的画质。即，图像编码装置能够通过第2值调整应作为要生成的增强层图像传送的位量。因而，通过将应作为增强层图像传送的位量利用第2值进行优化，图像编码装置能够进一步减少利用在位深度中有限制的编码器将位深度比编码器的位深度大的图像编码时的数据量。

具体而言，也可以是，上述减法器从使上述对象图像的位深度减小作为上述第1值与上述第2值之差的第3值而得到的图像所包含的多个像素的各像素值中，减去实施上述移位量调整处理后的重构图像所包含的对应的像素的像素值，根据表示减去结果的位信息中的、从低位起包含在上述规定的大小的范围中的位信息，生成上述增强层图像。

据此，图像编码装置具备的减法器通过使像素的位移位作为第1值～第3值表示的量，能够生成增强层图像。

此外，也可以是，上述减法器具有移位量决定部，该移位量决定部基于上述基本层图像、上述对象图像或上述重构图像所具有的特性，决定上述第2值；上述输出部还输出与由上述移位量决定部决定的上述第2值对应的值。

据此，图像编码装置能够根据作为编码对象的图像信号的特性，适当地决定第2值。结果，能够消除图像的向下变换时的画质与数据大小的平衡，能够在抑制画质的劣化的同时使数据大小变小。

具体而言，也可以是，上述对象图像或上述基本层图像的空间频率成分中的低频成分在视觉上越占主导地位，上述移位量决定部将上述第2值决定得越大。

据此，利用越是空间频率成分中的低频带成分在视觉上占主导地位的图像、则由向下变换引起的画质的劣化越容易醒目的认识，由此能够决定适当的第2值。

另外，也可以是，上述输出部还构成为多路复用器，该多路复用器将编码上述基本层图像而得到的基本层比特流和编码上述增强层图像而得到的增强层比特流进行多路复用，由此生成MVC（Multiview Video Coding）方式的比特流；上述第1编码器、上述第2编码器和上述多路复用器构成为MVC编码器；上述多路复用器对上述MVC方式的比特流附加与针对多个上述对象图像决定的上述第2值对应的值。

据此，能够利用已有的MVC编码器及MVC解码器、以及具有MVC构造的比特流实施图像编码装置。

另外，也可以是，上述向下变换器通过将包含在上述对象图像中的多个像素的各像素值的位下移上述第1值的量的上述向下变换处理，生成上述基本层图像；上述减法器将包含在上述重构图像中的多个像素的各像素值的位上移上述第2值的量，将包含在上述对象图像中的多个像素的各像素值的位下移上述第1值与上述第2值之差，根据下移后的上述对象图像中包含的多个像素的各像素值与对应于它的在上移后的上述重构图像中包含的多个像素的各像素值之差，生成上述增强层图像。

此外，也可以是，上述向下变换器进行将包含在上述对象图像中的多个像素的各像素值除以规定的除数以使该对象图像的位深度比上述第1值小的上述向下变换处理，，由此生成上述基本层图像；上述减法器对包含在上述重构图像中的多个像素的各像素值乘以规定的乘数，以使上述重构图像的位深度比上述第2值大，将包含在该对象图像中的多个像素的各像素值除以规定的除数，以使该对象图像的位深度减小上述第1值与上述第2值之差，根据除法后的上述对象图像中包含的多个像素的各像素值与对应于它的、在乘法后的上述重构图像中包含的多个像素的各像素值之差，生成上述增强层图像。

此外，也可以是，上述减法器将从使位深度减小上述第3值而得到的上述对象图像中包含的多个像素的各像素值减去在实施了上述移位量调整处理后的上述重构图像中包含的对应的像素的像素值而得到的值，加上用来使包含在上述增强层图像中的多个像素的各像素值成为正的值的规定的值。

据此，在位运算的结果为面向增强层的像素值计算为负值的情况下，也能够保证图像编码装置必定输出正的值作为像素值。

有关本发明的图像解码装置的一技术方案，是一种图像解码装置，从比特流解码出表示每一个像素的信息容量的位深度比规定的大小大第1值的对象图像，具备：第1解码器，从上述比特流解码出位深度是上述规定的大小的基本层图像；第2解码器，从上述比特流解码出位深度是上述规定的大小的增强层图像；以及加法器，基于从上述比特流取得的第2值，将上述基本层图像与上述增强层图像相加，由此生成上述对象图像。

据此，图像解码装置从比特流取得由图像编码装置决定的第2值，作为应作为增强层图像传送的位量。然后，图像解码装置能够使用按每个图像取得的第2值，使用增强层图像提高解码后的基本层图像的画质。

具体而言，也可以是，上述加法器对上述基本层图像实施使该图像的位深度增大上述第2值的向上变换处理，将实施了上述向上变换处理后的基本层图像与上述增强层图像，按每个彼此的图像中包含的对应的像素的像素值分别相加而合成，使合成得到的图像的位深度增大作为上述第1值与上述第2值之差的第3值，由此生成上述对象图像。

据此，图像解码装置具备的加法器能够对解码后的基本层图像及增强层图像实施与在编码时对各像素进行的位操作对应的位操作。

此外，也可以是，上述比特流是MVC（Multiview Video Coding）方式的比特流；还具备多路复用器，该多路复用器通过将解码出的上述基本层图像与解码出的上述增强层图像多路复用而生成图像序列；上述第1解码器、上述第2解码器和上述多路复用器构成为MVC解码器；上述加法器从上述MVC方式的比特流取得上述第2值。

据此，能够利用已有的MVC编码器及MVC解码器、以及具有MVC构造的比特流，实施图像解码装置。

另外，也可以是，上述加法器将包含在上述基本层图像中的多个像素的各像素值的位上移上述第2值，将包含在上述合成得到的图像中的多个像素的各像素值的位上移上述第3值，由此生成上述对象图像。

此外，也可以是，上述加法器对包含在上述基本层图像中的多个像素的各像素值乘以规定的乘数，以使该基本层图像的位深度增大上述第2值，并且对包含在上述合成得到的图像中的多个像素的各像素值乘以规定的乘数，以使该合成得到的图像的位深度增大上述第3值，由此生成上述对象图像。

此外，也可以是，上述加法器在将上述基本层图像与上述增强层图像合成之前，从包含在上述增强层图像中的多个像素的各像素值减去在编码时加上的规定的值。

另外，本发明不仅能够作为这样的图像编码装置及图像解码装置实现，还能够作为以包含在图像编码装置及图像解码装置中的特征性的单元为步骤的图像编码方法及图像解码方法实现、或作为使计算机执行这样的特征性的步骤的程序实现。并且，使这样的程序当然可以经由CD－ROM（Compact Disc Read Only Memory）等的记录介质及因特网等的传送介质流通。

进而，本发明能够作为实现这样的图像编码装置及图像解码装置的功能的一部分或全部的半导体集成电路（LSI）实现、或作为包括这样的图像编码装置及图像解码装置的影像系统实现。

发明效果

通过本发明，能够提供进一步减少利用在位深度中有限制的编码器将位深度比编码器的位深度大的图像编码时的数据量的图像编码装置。

附图说明

图1是表示有关本发明的关联技术的MVC编码器的结构图。

图2是表示有关本发明的关联技术的MVC解码器的结构图。

图3是表示有关本发明的关联技术的图像编码装置的结构图。

图4是表示有关本发明的关联技术的图像编码装置的具体的结构的图。

图5是表示有关本发明的关联技术的图像解码装置的结构图。

图6是表示有关本发明的关联技术的图像解码装置的具体的结构的图。

图7是表示有关本发明的关联技术的图像编码装置的处理的流程图。

图8是表示有关本发明的关联技术的图像解码装置的处理的流程图。

图9是表示有关本发明的实施方式1的图像编码装置的功能模块的图。

图10是表示减法器的功能模块的图。

图11是表示有关本发明的实施方式1的图像解码装置的功能模块的图。

图12是表示加法器的详细的功能模块的图。

图13是表示移位量决定部根据基本层图像的特性决定b的值的结果的一例的图。

图14是表示通过在比特流中包含b的值而从图像编码装置向图像解码装置传送b的值的方法的一例的图。

图15是表示有关本发明的实施方式2的图像编码装置的功能模块的图。

图16是表示有关本发明的实施方式2的图像解码装置的功能模块的图。

图17是实现内容分发服务的内容供给系统的整体结构图。

图18是数字广播用系统的整体结构图。

图19是表示电视机的结构例的模块图。

图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图21是表示作为光盘的记录介质的构造例的图。

图22A是表示便携电话的一例的图。

图22B是表示便携电话的结构例的模块图。

图23是表示多路复用数据的结构的图。

图24是示意地表示各流在多路复用数据中怎样被多路复用的图。

图25是更详细地表示在PES包序列中视频流怎样被保存的图。

图26是表示多路复用数据的TS包和源包的构造的图。

图27是表示PMT的数据结构的图。

图28是表示多路复用数据信息的内部结构的图。

图29是表示流属性信息的内部结构的图。

图30是表示识别影像数据的步骤的图。

图31是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图32是表示切换驱动频率的结构的图。

图33是表示识别影像数据、切换驱动频率的步骤的图。

图34是表示将影像数据的规格与驱动频率建立了对应的查找表的一例的图。

图35A是表示将信号处理部的模块共用的结构的一例的图。

图35B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

以下，使用附图对本发明的实施方式详细地说明。另外，以下说明的实施方式都是表示本发明的优选的一具体例的。在以下的实施方式中表示的数值、形状、构成单元、构成单元的配置位置及连接方式、步骤、步骤的顺序等是一例，并不限定本发明。本发明仅由权利要求书限定。由此，关于以下的实施方式的构成单元中的、在表示本发明的最上位概念的独立权利要求中没有记载的构成单元，不是解决本发明的问题而不可缺少，但作为构成更优选的形态的单元进行说明。

首先，为了使本发明的意义更加明确，参照图1～图8，对作为本发明的关联技术的国际公开第2011/037933号的专利文献中示出的图像编码装置及图像解码装置具体地说明。

图1是表示典型的MVC编码器的结构图。MVC编码器是用来基于多视点影像编码方法将多视点影像编码的编码器。

在MVC（多视视频编码：Multiview Video Coding）技术中，将1个视（view）作为基本视进行编码（参照非专利文献1）。这里，基本视也称作第1视。并且，将其他视作为非基本视编码。非基本视也称作依存视或第2视。

被编码的基本视的比特流能够独立地解码。例如，基本视用于表示3D影像的2D版本。另一方面，被编码的非基本视的比特流不能独立地解码。非基本视需要与基本视一起解码。

非基本视用于将基本视强化。例如，通过将与左眼的影像对应的基本视和与右眼的影像对应的非基本视组合，能够进行立体的3D影像的显示。

图1所示的MVC编码器101具备第1编码器111、第2编码器112及多路复用器113。

第1编码器111接受作为与基本视对应的图像的基本层图像D11。并且，第1编码器111通过将基本层图像D11编码，生成作为编码后的基本层图像D11的基本视比特流D14。此外，第1编码器111通过将编码后的基本层图像D11解码，生成重构图像D13。重构图像D13用于视间预测。

第2编码器112接受作为与非基本视对应的图像的非基本层图像D12。并且，第2编码器112通过将非基本层图像D12编码，生成作为被编码的非基本层图像D12的非基本视比特流D15。此时，第2编码器112也可以参照重构图像D13，利用视间预测将非基本层图像D12编码。由此，编码效率提高。

多路复用器113将基本视比特流D14和非基本视比特流D15多路复用，生成MVC比特流D16。典型地讲，多路复用器113以使表示基本视的部分与表示非基本视的部分交替的方式生成MVC比特流D16。

这样，MVC编码器101接受基本层图像D11和非基本层图像D12，将它们编码，生成MVC比特流D16。例如，MVC编码器101通过将3D图像中的作为左眼图像的基本层图像D11和作为右眼图像的非基本层图像D12编码，能够将被编码的3D图像作为MVC比特流D16输出。

另外，图1所示的MVC编码器101是一例。MVC编码器101也可以具备3个以上的编码器、将3个以上的视编码。此外，也可以1个编码器将多个视编码。此外，MVC编码器101也可以将基本视比特流D14和非基本视比特流D15不进行多路复用而分别各自输出。在此情况下，MVC编码器101也可以不具备多路复用器113。

图2是表示典型的MVC解码器的结构图。MVC解码器是用来将基于多视点影像编码方法编码而得到的多视点影像解码的解码器。图2所示的MVC解码器201具备第1解码器211、第2解码器212及多路复用器213。

第1解码器211接受基本视比特流D21。第1解码器211可以从图1所示的MVC比特流D16读取基本视的部分作为基本视比特流D21。并且，第1解码器211从基本视比特流D21解码出基本层图像D23。即，基本层图像D23为与重构图像D13相同的图像。

第2解码器212接受非基本视比特流D22。第2解码器212可以从图1所示的MVC比特流D16读取非基本视的部分作为非基本视比特流D22。并且，第2解码器212从非基本视比特流D22解码出非基本层图像D24。此时，第2解码器212也可以参照基本层图像D23，利用视间预测解码出非基本层图像D24。

多路复用器213将基本层图像D23和非基本层图像D24进行多路复用，生成图像序列D25。典型地，多路复用器213以使表示基本视的部分与表示非基本视的部分交替的方式生成图像序列D25。

这样，MVC解码器201接受基本视比特流D21和非基本视比特流D22，从它们解码出基本层图像D23和非基本层图像D24，生成图像序列D25。

例如，MVC解码器201从对应于左眼的基本视比特流D21、及对应于右眼的非基本视比特流D22，解码出作为左眼图像的基本层图像D23、及作为右眼图像的非基本层图像D24。并且，MVC解码器201能够将组合了它们的图像序列D25作为3D图像输出。

另外，图2所示的MVC解码器201与图1所示的MVC编码器101同样是一例。MVC解码器201也可以具备3个以上的解码器，解码3个以上的视。此外，也可以是1个解码器解码多个视。此外，MVC解码器201也可以不将基本层图像D23和非基本层图像D24进行多路复用，而分别各自输出。在此情况下，MVC解码器201也可以不具备多路复用器213。

此外，MVC解码器201也可以具备将图1所示的MVC比特流D16分离为基本视的部分和非基本视的部分的多路分离器。

图1所示的MVC编码器101及图2所示的MVC解码器201是典型的MVC编码器及MVC解码器。因此，MVC编码器101及MVC解码器201不能将超过8位的位深度的图像编码或解码。所以，有关本发明的关联技术的图像编码装置及图像解码装置具备追加的构成单元。

图3表示有关本发明的关联技术的图像编码装置的功能模块。图3所示的图像编码装置具备图1所示的MVC编码器101、向下变换器102及减法器103。

向下变换器102通过将作为编码的对象图像的10位图像D31向下变换，生成作为8位图像的基本层图像D32。

MVC编码器101将基本层图像D32作为基本层图像编码。并且，MVC编码器101通过将被编码的基本层图像D32解码，生成作为8位图像的重构图像D33。

减法器103根据10位图像D31的特性与重构图像D33的特性的差异，生成用来将基本层图像D32扩展为10位图像的增强层图像D34。这里使用的各图像的特性例如是表示像素值的大小的信息。

MVC编码器101进一步将增强层图像D34作为非基本层图像编码。并且，MVC编码器101将被编码的基本层图像D32及被编码的增强层图像D34作为MVC比特流D35输出。

图4是更具体地表示图3所示的图像编码装置的图。以下，使用图4具体地说明有关本发明的关联技术的图像编码装置。

向下变换器102通过将10位图像D31向下变换，生成作为8位图像的基本层图像D32。更具体地讲，向下变换器102通过式1所示的运算，将10位图像D31向下变换。

B（x，y）=（S（x，y）+2）>>2；（式1）

这里，（x，y）表示像素位置。B（x，y）表示基本层图像D32的像素值。S（x，y）表示10位图像D31的像素值。符号“>>”表示右移位运算。

即，首先，向下变换器102对10位图像D31的各像素值加2。接着，向下变换器102将各像素值向右移位2位。由此，各像素值的低位2位被四舍五入，生成8位的基本层图像D32。

MVC编码器101的第1编码器111通过将基本层图像D32作为基本层图像编码，生成基本层比特流D36。并且，第1编码器111通过将被编码的基本层图像D32解码，生成重构图像D33。

减法器103根据10位图像D31与重构图像D33之差，生成增强层图像D34。更具体地讲，减法器103通过式2所示的运算，求出10位图像D31与重构图像D33之差。

E（x，y）=S（x，y）－（Br（x，y）<<2）+128；（式2）

这里，（x，y）表示像素位置。E（x，y）表示增强层图像D34的像素值。S（x，y）表示10位图像D31的像素值。Br（x，y）表示重构图像D33的像素值。符号“<<”表示左移位运算。

即，首先，减法器103将重构图像D33的各像素值向左移位2位。由此，将重构图像D33的位深度变换为10位。接着，减法器103从10位图像D31的各像素值减去向左移位后的各像素值。并且，减法器103对减法的结果加上128。

这里，减法器103对减法的结果加上128，但并不限于128，也可以加上将由增强层图像D34的位深度表现的最大像素值的一半舍入为整数的值。此外，减法器103也可以对减法的结果加上用来使增强层图像D34的各像素值成为正的值的其他值。

进而，减法器103也可以将E（x，y）裁剪为8位图像的范围［0，255］。即，减法器103也可以将比0小的像素值变换为0，将比255大的像素值变换为255。

例如，有时在重构图像D33中包含量化畸变，但基于8位图像的像素值的范围［0，255］，可以设想量化畸变再大也在［－32，31］的范围内。并且，可以设想该量化畸变在通过左移位运算成为4倍的情况下，也在［－128，127］的范围内，由S（x，y）－（Br（x，y）<<2）表示的值的范围在［－128，127］的范围内。

因而，减法器103即使在对上述差加上128后，将E（x，y）裁剪为8位图像的范围［0，255］，其影响也限定于异常值。因此，减法器103通过将E（x，y）裁剪为8位图像的范围［0，255］，能够仅将致命性的错误除去或隐藏。

MVC编码器101的第2编码器112将由减法器103生成的增强层图像D34作为非基本层图像编码。由此，第2编码器112生成增强层比特流D37。此时，第2编码器112也可以参照重构图像D33，利用视间预测将增强层图像D34编码。

另外，在重构图像D33与增强层图像D34之间几乎没有相关关系的可能性高。但是，视间预测的利用不受限制，第2编码器112也可以利用视间预测将增强层图像D34编码。

并且，MVC编码器101的多路复用器113将基本层比特流D36及增强层比特流D37多路复用而生成MVC比特流D35。

图5是表示具有图2所示的MVC解码器201的图像解码装置的结构图。图5所示的图像解码装置具备MVC解码器201及加法器202。

MVC解码器201从基本层比特流D51解码出基本层图像。此外，MVC解码器201从增强层比特流D52解码出增强层图像。并且，MVC解码器201生成图像序列D53。

加法器202通过将包含在图像序列D53中的基本层图像D54、与包含在图像序列D53中的增强层图像D55合成，生成作为解码的对象图像的10位图像D56。

图6是更具体地表示图5所示的图像解码装置的图。以下，使用图6具体地说明有关本发明的关联技术的图像解码装置。

MVC解码器201的第1解码器211从基本层比特流D51解码出基本层图像D54。

MVC解码器201的第2解码器212从增强层比特流D52解码出增强层图像D55。此时，第2解码器212也可以参照基本层图像D54，利用视间预测解码出增强层图像D55。

MVC解码器201的多路复用器213根据基本层图像D54及增强层图像D55生成图像序列D53。

加法器202通过将包含在图像序列D53中的基本层图像D54、与包含在图像序列D53中的增强层图像D55合成，生成10位图像D56。更具体地讲，加法器202通过式3所示的运算，将基本层图像D54与增强层图像D55合成。

V（x，y）=（Br（x，y）<<2）+（E（x，y）－128）；（式3）

这里，（x，y）表示像素位置。V（x，y）表示10位图像D56的像素值。Br（x，y）表示基本层图像D54的像素值。E（x，y）表示增强层图像D55的像素值。符号“<<”表示左移位运算。

即，首先，加法器202将基本层图像D54的各像素值向左移位2位。由此，将基本层图像D54的位深度变换为10位。接着，加法器202从增强层图像D55的各像素值减去128。接着，加法器202对变换为10位的基本层图像D54的各像素值加上减去了128后的增强层图像D55的各像素值。

这里，加法器202从各像素值减去128，但并不限于128，也可以减去将由增强层图像D55的位深度表现的最大像素值的一半舍入为整数的值。此外，加法器202也可以从各像素值减去在编码时加上的值。

进而，加法器202将V（x，y）裁剪为作为10位图像容许的范围。例如，加法器202通过式4及式5所示的运算将V（x，y）裁剪。

V（x，y）=（V（x，y）>maxV10）?maxV10：V（x，y）；（式4）

V（x，y）=（V（x，y）<minV10）?minV10：V（x，y）；（式5）

这里，V=A?B：C；意味着在满足条件A的情况下使V的值为B，在其以外的情况下使V的值为C。此外，maxV10及minV10分别是作为10位图像容许的最大值及最小值。典型地，maxV10是1023，minV10是0。但是，对于maxV10及minV10也可以设定为其他的值。

加法器202通过执行上述处理而生成10位图像D56。

图7是表示图3所示的图像编码装置的处理的流程图。

首先，向下变换器102通过将10位图像D31向下变换，生成作为8位图像的基本层图像D32（S101）。

接着，MVC编码器101将基本层图像D32作为基本层图像编码（S102）。并且，MVC编码器101通过将被编码的基本层图像D32解码而生成重构图像D33。

接着，减法器103根据从10位图像D31减去重构图像D33而得到的差，生成增强层图像D34（S103）。

接着，MVC编码器101将增强层图像D34作为非基本层图像编码（S104）。并且，MVC编码器101将被编码的基本层图像D32及被编码的增强层图像D34作为MVC比特流D35输出。

图8是表示图5所示的图像解码装置的处理的流程图。

首先，MVC解码器201从基本层比特流D51解码出基本层图像（S201）。

接着，MVC解码器201从增强层比特流D52解码出增强层图像（S202）。并且，MVC解码器201生成图像序列D53。

接着，加法器202通过将包含在图像序列D53中的基本层图像D54与包含在图像序列D53中的增强层图像D55相加，生成10位图像D56（S203）。

如上所述，有关本发明的关联技术的图像编码装置通过将10位图像向下变换而生成8位图像。并且，图像编码装置将8位图像作为基本层图像编码。此外，图像编码装置将10位图像与8位图像的差值作为8位的非基本层图像编码。由此，10位图像被分割为作为8位图像的基本层图像和作为8位图像的非基本层图像而被编码。

此外，有关本发明的关联技术的图像解码装置解码出作为8位图像的基本层图像和作为8位图像的非基本层图像。并且，图像解码装置通过将被解码的基本层图像与非基本层图像合成，生成10位图像。

另外，在本发明的关联技术中，作为例子表示了8位图像及10位图像，但位深度并不限于8位或10位。即使位深度是与8位及10位不同的组合，图像编码装置及图像解码装置也能够将位深度比MVC编码器101及MVC解码器201能够编码或解码的位深度大的图像编码或解码。

但是，例如将10位图像分割为作为8位图像的基本层图像和作为8位图像的非基本层图像而编码的结果，根据本发明的关联技术，有应传送的数据量增加的问题。本发明解决该问题。

以下，对有关本发明的图像编码装置及图像解码装置详细地说明。

（实施方式1）

图9表示有关本发明的实施方式1的图像编码装置100的功能模块。

如图9所示，有关本实施方式的图像编码装置100具备MVC编码器101、向下变换器102A和减法器103A。另外，关于与图4相同的结构省略详细的说明。

图像编码装置100是将位深度比规定的大小大的对象图像进行编码的图像编码装置，该位深度表示每一个像素的信息容量。以下，假设输入到图像编码装置100中的对象图像是12位图像而进行说明。即，图9所示的D31A是12位图像。此外，假设规定的位深度为8位。

向下变换器102A通过对对象图像实施向下变换处理而生成基本层图像，该向下变换处理使位深度减小第1值，以使该对象图像的位深度成为规定的大小。具体而言，向下变换器102A将作为编码对象的图像的12位图像D31A的位深度向下变换4位量，由此生成作为8位图像的基本层图像D32A。

MVC编码器101通过将基本层图像D32A编码、并将编码后的基本层图像解码而生成重构图像D33A。MVC编码器101还将增强层图像D34A编码。进而，MVC编码器还作为将被编码的基本层图像、被编码的增强层图像、和其他附加信息进行输出的输出部发挥功能。

更详细地讲，再次参照图4，MVC编码器101具有将基本层图像D32A编码及解码的第1编码器、将增强层图像D34A编码的第2编码器、和多路复用器。多路复用器通过将编码基本层图像D32A而得到的基本层比特流、与编码增强层图像D34A而得到的增强层比特流多路复用，生成作为MVC（Multiview Video Coding）方式的比特流的MVC比特流D35A。多路复用器输出所生成的MVC比特流D35A。

此外，第1编码器、第2编码器、多路复用器构成为MVC编码器。

减法器103A对重构图像实施移位量调整处理，该移位量调整处理使位深度增大，以使该对象图像的位深度增大第2值（也称作b）。然后，基于被实施移位量调整处理后的重构图像和对象图像，生成增强层图像，该增强层图像是用来提高基本层图像的画质的图像，并且是具有与基本层图像相同的位深度的图像。另外，可以考虑将第2值例如设为0以上且小于第1值的值。

接着，参照图10，更详细地说明减法器103A进行的处理。

图10表示减法器103A的功能模块。减法器103A从使对象图像的位深度减小作为第1值与第2值之差的第3值后的图像所包含的多个像素的各像素值中减去被实施移位量调整处理后的重构图像所包含的对应的像素的像素值，根据表示减去的结果的位信息中的从低位起包含在规定的大小的范围中的位信息，生成增强层图像。

具体而言，如图10所示，减法器103A具有移位量决定部151、将位上移规定的值b位的位移位器152、将位下移4－b位的位移位器153、在两个输入间进行减法处理的运算器154、和进行事先设定的值的加法处理的运算器155。

另外，作为第2值的b是满足第1值－b=第3值的关系的常数。图像编码装置100基于对象图像、基本层图像或重构图像，例如按每个该图像决定b的大小。

另外，如上所述，由于减法器103A是生成增强层图像的构成要素，所以将减法器还称作生成部。

位移位器153将输入到减法器103A中的12位图像D31A的位深度下移作为第3值的4－b位。具体而言，将包含在12位图像D31A中的多个像素的各像素值向右移位4－b位。

此外，位移位器152将输入到减法器103A中的重构图像D33A的位深度上移b（即，第1值－第3值）位。具体而言，将包含在重构图像D33A中的多个像素的各像素值向左移位b位。

然后，运算器154按每个对应的像素，从位移位器153的输出减去位移位器152的输出。

这里，也可以是，运算器155对从使位深度减小第3值而得到的对象图像所包含的多个像素的各像素值中减去被实施移位量调整处理后的重构图像所包含的对应的像素的像素值而得到的值，加上用来使增强层图像所包含的多个像素的各像素值成为正的值的规定的值。在图10中，运算器155对运算器154的输出按每个像素加上128。该意义如在本发明的关联技术中说明。

最后，减法器103A从运算器155的输出中按每个像素提取低位8位，生成8位的增强层图像D34A。这是因为，在本实施方式中，将规定的位深度设为8位。

移位量决定部151基于对象图像、基本层图像或重构图像所具有的特性决定第2值。此外，与由移位量决定部151决定的第2值（即，b的值）对应的值例如通过MVC编码器101所具有的多路复用器被附加到MVC方式的比特流中而输出。

另外，所谓与第2值对应的值，除了第2值以外，还包括通过在图像解码装置200中实施与在图像编码装置100中对第2值实施的运算的逆运算而能够可逆地计算第2值的值。

一般而言，在将位深度向下变换（例如，将位舍去）的情况下，显示该图像时的伪像（Artifact）在图像内的比较不复杂的（即，空间频率成分中的低频成分在视觉上更占主导地位的）区域中更显著。在这些区域中，如条纹（banding）那样的眼睛可看到的伪像在向下变换后的图像中变得醒目。另一方面，在高密度且复杂的（即，空间频率成分中的高频成分在视觉上更站主导地位）区域中，由位深度的向下变换带来的伪像不易变得醒目。

移位量决定部151利用该特性决定b的值，以能够解决伪像的发生和编码的数据大小的权衡（tradeoff）。具体而言，移位量决定部151对于亮度变化较复杂的图像，将b的值决定得小。此外，对于亮度变化较单纯的图像，将b的值决定得大。

即，移位量决定部151将作为第2值的b决定为越是在基本层图像的空间频率成分中的低频成分在视觉上占主导地位的情况则越大。

结果，图像编码装置100A能够在视觉上不醒目的范围内减少包含在12位图像D31A中的信息量中的、应作为增强层图像D34A传送的信息量。

例如，参照图10，在设为b=4（即，使第3值为0）的情况下，增强层图像D34A包括12位图像D31A所包含的各像素的低位4位量的信息。另一方面，在设为b=0（即，使第3值为4）的情况下，增强层图像D34A不包括12位图像D31A所包含的信息。

另外，正确地讲，增强层图像D34A除了包含在12位图像D31A中的图像信息的一部分以外，还包含表示作为编码前的图像与编码后的图像之差的压缩畸变的信息。因而，在b=0的情况下，生成增强层图像D34A这作为向后述的图像解码装置传送表示压缩畸变的信息的手段也是有用的。

另外，在向下变换器102A及减法器103A通过调整图像的位深度分别生成基本层图像D32A及增强层图像D34A的方法中，可以使用任意的方法。

例如，如在图10的说明中叙述，向下变换器102A也可以通过将包含在对象图像中的多个像素的各像素值的位下移第1值的向下变换处理来生成基本层图像。同样，减法器103A也可以将包含在对象图像中的多个像素的各像素值的位下移第3值、将包含在重构图像中的多个像素的各像素值的位上移第2值。在此情况下，减法器103A也可以根据将位下移后的对象图像所包含的多个像素的各像素值与对应于它的、将位上移后的重构图像所包含的多个像素的各像素值之差，来生成增强层图像。

或者，向下变换器102A也可以通过将包含在该对象图像中的多个像素的各像素值除以规定的除数以使对象图像的位深度减小第1值的向下变换处理，来生成基本层图像。同样，减法器103A也可以通过将包含在该对象图像中的多个像素的各像素值除以规定的除数，以使对象图像的位深度减小第3值，并且对包含在该重构图像中的多个像素的各像素值乘以规定的乘数，以使重构图像的位深度增大第2值。在此情况下，减法器103A也可以根据除法后的对象图像所包含的多个像素的各像素值与对应于它的、乘法后的重构图像所包含的多个像素的各像素值之差，来生成增强层图像。

以上，对有关本发明的实施方式1的图像编码装置100进行了说明。

接着，参照图11及图12，对有关本发明的实施方式1的图像解码装置200进行说明。

图11表示有关本发明的实施方式1的图像解码装置200的功能模块。图像解码装置200是从比特流解码出表示每1个像素的信息容量的位深度比规定的大小大第1值的对象图像的图像解码装置。

如图11所示，图像解码装置200具备MVC解码器201和加法器202A。另外，关于与图6相同的结构省略详细的说明。

MVC解码器201从基本层比特流D51A解码出位深度是规定的大小的基本层图像D54A。此外，MVC解码器201从增强层比特流D52A解码出位深度为规定的大小的增强层图像D55A。另外，基本层比特流D51A及增强层比特流D52A例如是从MVC比特流D35A分别分离而得到的。此外，MVC解码器201也可以将基本层图像D54A和增强层图像D55A作为图像序列D53A输出。

更具体地讲，MVC解码器201具有从基本层比特流D51解码出基本层图像D54的第1解码器、从增强层比特流D52解码出增强层图像D55的第2解码器、和多路复用器。这里，多路复用器通过将基本层图像D54和增强层图像D55多路复用而生成图像序列D53。此外，第1解码器、第2解码器和多路复用器构成为MVC解码器。

加法器202A从比特流取得第2值，基于所取得的第2值将基本层图像D54A与增强层图像D55A相加，由此生成对象图像D56A。

例如，在加法器202A取得了MVC方式的比特流的情况下，加法器202A取得被附加在该MVC方式的比特流中的第2值。然后，基于第2值将基本层图像D54A与增强层图像D55A相加。

图12表示加法器202A的详细的功能模块。

加法器202A对基本层图像实施使该图像的位深度增大b的向上变换处理。换言之，加法器202A对基本层图像实施使该图像的位深度增大第2值的向上变换处理。然后，将被实施向上变换处理后的基本层图像与增强层图像，按每个包含在相互的图像中的对应的像素的像素值分别相加而合成。进而，通过使合成得到的图像的位深度增大第3值而生成对象图像。

具体而言，如图12所示，加法器202A具有移位量取得部251、将位上移规定的值b位的位移位器252、进行事先设定的值的减法处理的运算器253、在两输入间进行加法处理的加法器254、和将位上移4－b位的位移位器255。

位移位器252将输入到加法器202A中的8位的基本层图像D54A的位深度上移b位。具体而言，将包含在基本层图像D54A中的多个像素的各像素值向左移位b位。这对应于上述向上变换处理。

然后，加法器254将位移位器252的输出与运算器253的输出按每个对应的像素相加。

另外，加法器202A具有的运算器253在加法器254将基本层图像与增强层图像合成之前，从包含在增强层图像中的多个像素的各像素值减去在编码时加上的值（例如128）。

最后，位移位器255将由加法器254相加后的图像的位深度上移4－b（即，第3值）。具体而言，将包含在合成后的图像中的多个像素的各像素值向左移位4－b位。结果，生成12位的对象图像D56A。

移位量取得部251取得例如被附加在增强层比特流中的、与第2值对应的值。移位量取得部251能够根据所取得的与第2值对应的值取得第3值。例如，在作为与第2值对应的值而取得了第2值的情况下，移位量取得部251能够取得第1值－第2值而作为第3值。

此外，在加法器202A具有的位移位器252及位移位器255调整图像的位深度的方法中，可以使用任意的方法。

例如，如在图12的说明中叙述，加法器202A通过将包含在基本层图像中的多个像素的各像素值的位上移作为第2值的b，对该基本层图像实施向上变换处理。此外，将包含在由加法器254合成而得到的图像中的多个像素的各像素值的位上移第3值。

或者，加法器202A也可以通过对包含在该基本层图像中的多个像素的各像素值乘以规定的乘数，对该基本层图像实施向上变换处理，以使基本层图像的位深度增大第2值。此外，也可以对由加法器254合成而得到的图像所包含的多个像素的各像素值乘以规定的乘数，以使通过该合成而得到图像的位深度增大第3值。

另外，在上述说明中，设想从8位的基本层比特流和8位的增强层比特流生成12位的对象图像D56A而进行了说明。但是，各图像的位深度是例示，本发明并不限定于此。

接着，参照图13，对图像编码装置100具备的移位量决定部151的b值的决定方法的一例进行说明。

图13表示移位量决定部151根据基本层图像的特性决定作为第2值的b的结果的一例。

在图13中，按每个场景决定了b的值。另外，所谓场景（scene），是对图像编码装置100作为12位的源影像输入的连续的多个图像。这里，对场景1、场景2、场景3、及场景4分别设定了b=0、b=4、b=2、及b=0。另外，如后述，也可以按每个包含在1个场景中的更细小的单位来设定不同的b的值。

如图13所示，在场景1及场景4中，在基本层图像中看不到将位从12位舍入至8位带来的伪像。因而，移位量决定部151判断为对场景1及场景4不需要提高基本层图像的精度，将b的值决定为0。

此外，在场景3中，在基本层图像中可看到一些伪像。因而，移位量决定部151判断为在场景3中需要使用增强层图像提高基本层图像的精度，将b的值决定为2。

此外，在场景2中，在基本层图像中可看到严重的伪像。因而，移位量决定部151在场景3中判断为需要使用增强层图像最大限度提高基本层图像的精度，将b的值决定为4。

这样由移位量决定部151决定的b的值在图像编码装置100中被用于生成增强层图像。此外，为了解码而传送至图像解码装置200。

图14表示通过在比特流中包含b的值，从图像编码装置100向图像解码装置200传送b的值的方法的一例。这里，使用用来分发面向高位深度的视频应用的12位影像的MVC构造（例如，立体高规格（stereo high profile）文件）。

如图14所示，基本层比特流（以下，也称作BL流）被作为MVC构造的基本视的比特流来传送。此外，增强层比特流（以下，也称作EL流）被作为MVC构造的非基本视的比特流来传送。进而，EL流分割为多个单元（在图14中是单元1～单元U）。这里，向单元的分割方法可以使用任意的方法。例如，也可以以GOP（Group Of Pictures）为单位将EL流分割为单元。

这里，图像编码装置100通过对各单元的开头附加对于包含在该单元中的多个图像的比特流的位移位数（即，b的值）作为元数据，从而向图像解码装置200传送b的值。例如，在图14中，对单元2的开头（例如图片头）附加了包括与单元2所包含的9个图像的比特流（ELpic0流～ELpic8流）分别对应的b的值（b0～b8）的元数据。

另外，在元数据内，b的值也可以相互不同。此外，包含在元数据中的b的排列顺序可以如图14所示与包含在对应的EL单元中的图像的比特流的排列顺序一致，但并不限定于此。例如，即使是应用特有的顺序，只要是示出b的值与图像的比特流的对应关系的方式，则b也可以以任意的排列顺序附加。

更具体地讲，也可以是，图像编码装置100具备的MVC编码器101从移位量决定部151取得b的值，由MVC编码器101具有的多路复用器在增强层比特流中包含与b的值对应的值。

在此情况下，可以考虑图像解码装置200具有的移位量取得部251从增强层比特流取得b的值，在加法器202A中用于生成对象图像的处理。

如以上所述，根据有关本实施方式的图像编码装置100及图像解码装置200，能够使用根据视频序列中的图像的信号特性而改变的位移位数将增强层比特流高效率地发送。据此，能够使用能够大量获得的8位视频处理器进一步减少在分发高位深度视频时应传送的数据量。

（实施方式2）

有关实施方式1的图像编码装置100及图像解码装置200分别具备MVC编码器及MVC解码器。但是，本发明对于MVC方式的比特流以外的比特流也能够采用。

图15表示有关本发明的实施方式2的图像编码装置100A的功能模块。另外，对于与图9所示的图像编码装置100相同的构成单元省略详细的说明。

如图15所示，图像编码装置100A代替MVC编码器101而具备第1编码器111A、第2编码器112A、和输出部115。这里，第1编码器111A将基本层图像D32A编码及解码。此外，第2编码器112A将增强层图像D34A编码。

输出部115输出作为被编码的基本层图像D32A的基本层比特流、和作为被编码的强层图像D34A的增强层比特流。此时，输出部115也可以将基本层比特流和增强层比特流多路复用，作为MVC比特流D35A输出。进而，输出部115也可以将与移位量决定部151决定的b的值对应的值包含在基本层比特流或增强层比特流中而输出。

另外，将有关本实施方式的输出部115作为下述多路复用器构成的就是有关实施方式1的MVC编码器101具有的多路复用器，上述多路复用器将编码基本层图像而得到的基本层比特流和编码增强层图像而得到的增强层比特流作为MVC（Multiview Video Coding）方式的比特流多路复用并输出。

另一方面，图16表示有关本发明的实施方式2的图像解码装置200A的功能模块。另外，关于与图11所示的图像解码装置200相同的构成单元省略详细的说明。此外，图16所示的基本层比特流D51A及增强层比特流D52A是事先从多路复用的MVC比特流D35A分离出的比特流。

如图16所示，图像解码装置200A代替MVC解码器201而具备第1解码器211A和第2解码器212A。这里，第1解码器211A从基本层比特流D51A解码出基本层图像D54A。此外，第2解码器212A从增强层比特流D52解码出增强层图像D55。

这样，通过不具备MVC编码器101的图像编码装置100A及不具备MVC解码器201的图像解码装置200A也能够实施本发明。

以上，对有关本发明的实施方式1及2的图像编码装置进行了说明，但有关本发明的图像编码装置的实施方式并不限定于此。

例如，在图10中，设为减法器103A具备移位量决定部151而进行了说明，但减法器103A也可以不具备移位量决定部151。也可以是图像编码装置100具备的移位量决定部151以外的任意的构成单元决定b的值。或者，图像编码装置100也可以从处于图像编码装置100以外的外部装置取得事先设定的b的值。在此情况下也起到同样的发明效果。

此外，在图12中，设为加法器202A具备移位量取得部251而进行了说明，但加法器202A也可以不具备移位量取得部251。例如，也可以是图像解码装置200具备的移位量取得部251以外的任意的构成单元取得b的值。

此外，在上述实施方式中，说明了MVC编码器101或输出部115将b的值附加到增强层比特流中。但是，也可以是MVC编码器101或输出部115以外的、图像编码装置具备的构成单元将b的值附加到比特流中。此外，包含b的值的比特流并不限于增强层比特流。例如，也可以对基本层比特流附加b的值。

另外，在上述实施方式中，设要编码的对象图像为12位图像D31A进行了说明。但是，例如也可以将10位或8位等具有任意的位深度的对象图像通过图像编码装置编码。在此情况下，通过将作为编码对象的图像的位深度先移位到12位后向图像编码装置输入，不对图像编码装置加以变更就能够进行处理。由此，能够作为畸变更少的数据传送。

此外，在b=0的情况下，有关本发明的图像编码装置及图像解码装置也是有用的。这是因为，在b=0的情况下，也在增强层图像中包含压缩畸变的信息。因而，能够使用该压缩畸变的信息对基本层图像实施畸变更少的解码处理。

具体而言，有关本发明的图像编码装置在12位图像与8位图像之差的计算中使用被编码的基本层图像的重构图像。由此，图像编码装置在12位图像的编码中能够吸收8位图像的编码中的量化畸变。

此外，有关本发明的图像解码装置还可以通过仅解码出基本层图像而生成8位图像。由此，维持与仅能够显示8位图像的显示器装置的互换性。在此情况下，也可以使图像编码装置及图像解码装置构成为例如用户之后能够下载在因特网上的存储设备中保存的增强层图像那样的、包含分发服务的影像系统。由此，图像解码装置通过取得以记录介质的形式发布的基本层图像、和下载取得的增强层图像，能够事后将记录在记录介质中的影像作为更高品质的图像再现。

此外，在本发明的关联技术中表示的MVC编码器101及MVC解码器201不需要分别单独具有将12位图像编码或解码的能力。在MVC编码器101及MVC解码器201中没有这样的能力的情况下，有关本发明的图像编码装置及图像解码装置也能够将12位图像编码或解码。因而，能够抑制用来开发对较大的位深度的图像进行处理的图像编码装置或图像解码装置的费用及期间。

此外，在本发明的关联技术中表示的MVC编码器101及MVC解码器201当然也能够用于3D图像的编码或解码。

此外，在本发明的关联技术中表示的各计算式是一例，也可以使用其他计算式。例如，如上述那样，右移位运算与除以规定的除数是相同的。此外，左移位运算与乘以规定的乘数是相同的。

此外，向下变换器102A在向下变换时，将像素值的低位四舍五入、将像素值的低位舍去取整、或进位取整都可以。

（实施方式3）

通过将用来实现在上述各实施方式中示出的运动图像编码方法（图像编码方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够在独立的计算机系统中简单地实施上述各实施方式中表示的处理。存储介质只要是磁盘、光盘、光磁盘、IC卡、半导体存储器等能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图17是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区分割为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、以及基站ex106~ex110，与计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图17那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106~ex110将各设备直接连接在电话网ex104上。此外，各设备也可以经由近距离无线等直接相互连接。

照相机ex113是数字摄像机等的能够进行运动图像摄影的设备，照相机ex116是数字照相机等的能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM（注册商标）（Global System for MobileCommunications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（LongTerm Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（Personal Handyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对由用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的图像编码装置发挥功能），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有要求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，对接收到的数据进行解码处理并再现（即，作为本发明的图像解码装置发挥功能）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，用于将数据分散处理、记录及分发。

如以上这样，在内容供给系统ex100中，客户端能够接收被编码的数据并再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图18所示，在数字广播用系统ex200中，也能够装入上述各实施方式的至少运动图像编码装置（图像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将在影像数据中多路复用了音乐数据等的多路复用数据经由电波通信或向卫星ex202传送。该影像数据是通过在上述各实施方式中说明的运动图像编码方法编码的数据（即，是由本发明的图像编码装置编码的数据）。接受到它的广播卫星ex202发送广播用的电波，能够进行卫星广播的接收的家庭的天线ex204接收该电波。电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的多路复用数据解码并再现（即，作为本发明的图像解码装置发挥功能）。

此外，在将记录在DVD、BD等的记录介质ex215中的多路复用数据读取并解码、或者将影像信号编码、进而根据情况而与音乐信号多路复用并写入到记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，将再现的影像信号显示在监视器ex219上，能够通过记录有多路复用数据的记录介质ex215在其他装置及系统中将影像信号再现。此外，也可以在连接于有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置、将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒中、而在电视机内装入运动图像解码装置。

图19是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或输出在影像数据中多路复用有声音数据的多路复用数据的调谐器ex301、将接收到的多路复用数据解调或调制为向外部发送的多路复用数据的调制/解调部ex302、和将解调后的多路复用数据分离、或者将由信号处理部ex306编码的影像数据、声音数据多路复用的多路复用/分离部ex303。

此外，电视机ex300具备具有将声音数据、影像数据分别解码、或者将各自的信息编码的声音信号处理部ex304、影像信号处理部ex305（作为本发明的图像编码装置或图像解码装置发挥功能）的信号处理部ex306、和具有将解码后的声音信号输出的扬声器ex307、将解码后的影像信号显示的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有综合控制各部的控制部ex310、和对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外、还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收纳的非易失性/易失性的半导体存储元件电气地进行信息的记录的介质。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的多路复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调后的多路复用数据用多路复用/分离部ex303分离。进而，电视机ex300将分离后的声音数据用声音信号处理部ex304解码，将分离后的影像数据由影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以先将声音信号和影像信号储存到缓冲器ex318、ex319等中，以使这些信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出多路复用数据。接着，对电视机ex300将声音信号及影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用多路复用/分离部ex303多路复用并向外部输出。在多路复用时，可以先将声音信号和影像信号暂时储存到缓冲器ex320、ex321等中，以使这些信号同步。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用1个以上的缓冲器的结构。进而，在图示以外，也可以例如在调制/解调部ex302及多路复用/分离部ex303之间等也作为避免系统的溢出、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播及记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、多路复用及外部输出的结构进行了说明，但也可以是不能进行这些处理，而仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将多路复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300和读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图20中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测来自记录面的反射光得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用于记录到记录介质ex215中的信息及从记录介质ex215再现的信息临时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要进行新的信息的生成及追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行这些处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图21中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行被编码的声音数据、影像数据或多路复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用各种不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图19所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图22A是表示使用在上述实施方式中说明的运动图像解码方法及运动图像编码方法的便携电话ex114的图。便携电话ex114具备用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄像的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具备具有操作键部ex366的主体部、用来输出声音的作为扬声器等的声音输出部ex357、作为用来输入声音的麦克风等的声音输入部ex356、保存所摄影的影像、静止图像、录音的声音、或接收到的影像、静止图像、邮件等的编码的数据或解码的数据的存储器部ex367、或者作为与同样保存数据的记录介质的接口部的插槽部ex364。

进而，使用图22B对便携电话ex114的结构例进行说明。在便携电话ex114中，对于综合控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display）控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

如果通过用户的操作将结束通话及电源键设为开启状态，则电源电路部ex361通过从电池组对各部供给电力，将便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM、RAM等的主控制部ex360的控制，在声音通话模式时，将由声音输入部ex356接收的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行频谱扩展处理，用发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在声音通话模式时，将经由天线ex350接收到的接收数据放大而实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行频谱扩展处理，用声音信号处理部ex354变换为模拟声音信号后，将其从声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行频谱扩展处理，用发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据进行其大致相反的处理，向显示部ex358输出。

在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过在上述各实施方式中示出的运动图像编码方法压缩编码（即，作为本发明的图像编码装置发挥功能），将编码后的影像数据向多路复用/分离部ex353送出。此外，声音信号处理部ex354将在由照相机部ex365拍摄影像、静止图像等过程中由声音输入部ex356接收到的声音信号编码，将编码后的声音数据向多路复用/分离部ex353送出。

多路复用/分离部ex353将从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据用规定的方式多路复用，将其结果得到的多路复用数据用调制/解调部（调制/解调电路部）ex352进行频谱扩展处理，用发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接在主页等上的运动图像文件的数据的情况下，或者在接收到附带有影像及或声音的电子邮件的情况下，为了将经由天线ex350接收到的多路复用数据解码，多路复用/分离部ex353通过将多路复用数据分离而分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并且将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与在上述各实施方式中示出的运动图像编码方法对应的运动图像解码方法解码，从而将影像信号解码（即，作为本发明的图像解码装置发挥功能），经由LCD控制部ex359从显示部ex358显示例如链接在主页上的运动图像文件所包含的影像、静止图像。此外，声音信号处理部ex354将声音信号解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端这3种安装形式。进而，在数字广播用系统ex200中，假设将在影像数据中多路复用了音乐数据等的多路复用数据接收、发送而进行了说明，但也可以是除了声音数据以外还多路复用了与影像关联的字符数据等的数据，也可以不是多路复用数据而是影像数据自身。

这样，能够将在上述各实施方式中示出的运动图像编码方法或运动图像解码方法用在上述任何设备、系统中，由此，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式4）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的规格的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的规格的多个影像数据的情况下，在解码时，需要选择对应于各个规格的解码方法。但是，由于不能识别要解码的影像数据依据哪个规格，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中多路复用了声音数据等的多路复用数据采用包含表示影像数据依据哪个规格的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的多路复用数据的具体的结构。多路复用数据是MPEG－2传输流形式的数字流。

图23是表示多路复用数据的结构的图。如图23所示，多路复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行多路复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在多路复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图24是示意地表示多路复用数据怎样被多路复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。多路复用数据ex247通过将这些TS包多路复用到1条流中而构成。

图25更详细地表示在PES包序列中怎样保存视频流。图25的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图25的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图26表示最终写入在多路复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到多路复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在多路复用数据中，源包如图26下段所示排列，从多路复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在多路复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在多路复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有多路复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于多路复用数据的各种描述符。在描述符中，有指示许可/不许可多路复用数据的复制的复制控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System Time Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图27是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于多路复用数据的描述符。上述复制控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在多路复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在多路复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述多路复用数据与多路复用数据信息文件一起记录。

多路复用数据信息文件如图28所示，是多路复用数据的管理信息，与多路复用数据一对一地对应，由多路复用数据信息、流属性信息以及入口映射构成。

多路复用数据信息如图28所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示多路复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在多路复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是多路复用数据的开头的视频帧的PTS，再现结束时刻设定为对多路复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图29所示，按每个PID登记有关于包含在多路复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的析像度是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述多路复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有多路复用数据的情况下，使用包含在多路复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他规格的影像数据。

此外，在图30中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从多路复用数据中取得包含在PMT中的流类型、或包含在多路复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的多路复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的多路复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的多路复用数据的情况下，在步骤exS103中，通过依据以往的规格的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的规格的多路复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

（实施方式5）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图31中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据多路复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在多路复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级LSI、超大规模LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式6）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的规格的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个规格、并根据规格切换驱动频率的结构。图32表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的规格的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的规格的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图31的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的规格的解码处理部ex802对应于图31的信号处理部ex507。CPUex502识别影像数据依据哪个规格。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个规格的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个规格的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图34所示的将影像数据的规格与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图33表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从多路复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC规格的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的规格来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式7）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的规格的多个影像数据。这样，为了使得在被输入了依据不同的规格的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个规格。但是，如果单独使用对应于各个规格的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的解码处理部一部分共用的结构。图35A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC规格的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC规格的解码处理部ex902，关于不对应于MPEG4－AVC规格的本发明特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC规格所特有的处理内容，使用专用的解码处理部。

此外，用图35B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往规格所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的运动图像解码方法和其他的以往规格的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明、或者其他的以往规格所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的运动图像解码方法和以往的规格的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

工业实用性

有关本发明的图像编码装置及图像解码装置例如能够在电视机、数字视频记录器、汽车导航仪、便携电话、数字照相机、或数字摄像机等中使用。

符号说明

100、100A图像编码装置

101MVC编码器

102、102A向下变换器

103、103A减法器

111、111A第1编码器

112、112A第2编码器

113多路复用器

115输出部

151移位量决定部

152、153、252、255位移位器

154、155、253运算器

200、200A图像解码装置

201MVC解码器

202、202A加法器

211、211A第1解码器

212、212A第2解码器

213多路复用器

251移位量取得部

254加法器

D11、D23、D32、D32A、D54、D54A基本层图像

D12、D24非基本层图像

D13、D33、D33A重构图像

D14、D21基本视比特流

D15、D22非基本视比特流

D16、D35、D35AMVC比特流

D25、D53、D53A图像序列

D31、D5610位图像

D31A 12位图像

D34、D34A、D55、D55A增强层图像

D36、D51、D51A基本层比特流

D37、D52、D52A增强层比特流

D56A对象图像

Claims (17)

1.一种图像编码装置，将位深度比规定的大小大的对象图像编码，上述位深度表示每一个像素的信息容量，上述图像编码装置具备：

向下变换器，通过对上述对象图像实施向下变换处理而生成基本层图像，上述向下变换处理使位深度减小第1值，以使该对象图像的位深度成为上述规定的大小；

第1编码器，将上述基本层图像编码，并通过将编码后的上述基本层图像解码而生成重构图像；

减法器，对上述重构图像实施使位深度增大第2值的移位量调整处理，基于被实施上述移位量调整处理后的重构图像和上述对象图像，生成增强层图像，该增强层图像是用于提高上述基本层图像的画质的图像，并且是具有与上述基本层图像相同的位深度的图像；

第2编码器，将上述增强层图像编码；以及

输出部，输出被编码的上述基本层图像和被编码的上述增强层图像，

上述减法器具有移位量决定部，该移位量决定部基于上述基本层图像、上述对象图像、或上述重构图像所具有的特性，决定上述第2值；

上述输出部还输出与由上述移位量决定部决定的上述第2值对应的值。

2.如权利要求1所述的图像编码装置，

上述减法器从使上述对象图像的位深度减小作为上述第1值与上述第2值之差的第3值而得到的图像所包含的多个像素的各像素值中，减去被实施上述移位量调整处理后的重构图像所包含的对应的像素的像素值，并根据表示减去的结果的位信息中的、从低位起包含在上述规定的大小的范围中的位信息，生成上述增强层图像。

3.如权利要求1所述的图像编码装置，

上述移位量决定部决定上述第2值，以使得上述对象图像或上述基本层图像的空间频率成分中的低频成分在视觉上越占主导地位，则上述第2值越大。

4.如权利要求1所述的图像编码装置，

进而，上述输出部构成为多路复用器，该多路复用器通过将编码上述基本层图像而得到的基本层比特流和编码上述增强层图像而得到的增强层比特流进行多路复用，生成多视视频编码即MVC方式的比特流；

上述第1编码器、上述第2编码器和上述多路复用器构成为MVC编码器；

上述多路复用器对上述MVC方式的比特流附加与针对多个上述对象图像决定的上述第2值对应的值。

5.如权利要求1所述的图像编码装置，

上述向下变换器通过将上述对象图像所包含的多个像素的各像素值的位下移上述第1值的上述向下变换处理，生成上述基本层图像；

上述减法器进行如下处理：

将上述重构图像所包含的多个像素的各像素值的位上移上述第2值；

将上述对象图像所包含的多个像素的各像素值的位下移上述第1值与上述第2值之差；

根据下移后的上述对象图像所包含的多个像素的各像素值与相对应的上移后的上述重构图像所包含的多个像素的各像素值之差，生成上述增强层图像。

6.如权利要求1所述的图像编码装置，

上述向下变换器通过用上述对象图像所包含的多个像素的各像素值除以规定的除数以使该对象图像的位深度减小上述第1值的上述向下变换处理，生成上述基本层图像；

上述减法器进行如下处理：

对上述重构图像所包含的多个像素的各像素值乘以规定的乘数，以使该重构图像的位深度增大上述第2值；

用上述对象图像所包含的多个像素的各像素值除以规定的除数，以使该对象图像的位深度减小上述第1值与上述第2值之差；

根据除法后的上述对象图像所包含的多个像素的各像素值与相对应的乘法后的上述重构图像所包含的多个像素的各像素值之差，生成上述增强层图像。

7.如权利要求2所述的图像编码装置，

上述减法器对从使位深度减小上述第3值而得到的上述对象图像所包含的多个像素的各像素值中减去被实施上述移位量调整处理后的上述重构图像所包含的对应的像素的像素值而得到的值，加上用于使上述增强层图像所包含的多个像素的各像素值成为正的值的规定的值。

8.一种图像解码装置，从通过权利要求1所述的图像编码装置进行编码而得到的比特流解码出位深度比规定的大小大第1值的对象图像，上述位深度表示每一个像素的信息容量，上述图像解码装置具备：

第1解码器，从上述比特流解码出位深度为上述规定的大小的基本层图像；

第2解码器，从上述比特流解码出位深度为上述规定的大小的增强层图像；以及

加法器，从上述比特流取得上述第2值，并基于该第2值将上述基本层图像与上述增强层图像相加，由此生成上述对象图像。

9.如权利要求8所述的图像解码装置，

上述加法器对上述基本层图像实施使该图像的位深度增大上述第2值的向上变换处理，并通过将实施上述向上变换处理后的基本层图像与上述增强层图像按彼此的图像所包含的对应的像素的像素值分别相加而合成，使合成得到的图像的位深度增大作为上述第1值与上述第2值之差的第3值，由此生成上述对象图像。

10.如权利要求8所述的图像解码装置，

上述比特流是多视视频编码即MVC方式的比特流；

上述图像解码装置还具备多路复用器，该多路复用器通过将解码出的上述基本层图像与解码出的上述增强层图像进行多路复用而生成图像序列；

上述第1解码器、上述第2解码器和上述多路复用器构成为MVC解码器；

上述加法器从上述MVC方式的比特流取得上述第2值。

11.如权利要求9所述的图像解码装置，

上述加法器将上述基本层图像所包含的多个像素的各像素值的位上移上述第2值，将上述合成得到的图像所包含的多个像素的各像素值的位上移上述第3值，由此生成上述对象图像。

12.如权利要求9所述的图像解码装置，

上述加法器对上述基本层图像所包含的多个像素的各像素值乘以规定的乘数，以使该基本层图像的位深度增大上述第2值，对上述合成得到的图像所包含的多个像素的各像素值乘以规定的乘数，以使该合成得到的图像的位深度增大上述第3值，由此生成上述对象图像。

13.如权利要求8所述的图像解码装置，

上述加法器在将上述基本层图像与上述增强层图像合成之前，从上述增强层图像所包含的多个像素的各像素值中减去在编码时加上的规定的值。

14.一种图像编码方法，将位深度比规定的大小大的对象图像编码，上述位深度表示每一个像素的信息容量，上述图像编码方法包括：

向下变换步骤，通过对上述对象图像实施向下变换处理而生成基本层图像，上述向下变换处理使位深度减小第1值，以使该对象图像的位深度成为上述规定的大小；

第1编码步骤，将上述基本层图像编码，并通过将编码后的上述基本层图像解码而生成重构图像；

减法步骤，对上述重构图像实施使位深度增大第2值的移位量调整处理，基于被实施上述移位量调整处理后的重构图像和上述对象图像，生成增强层图像，该增强层图像是用于提高上述基本层图像的画质的图像，并且是具有与上述基本层图像相同的位深度的图像；

第2编码步骤，将上述增强层图像编码；以及

输出步骤，输出被编码的上述基本层图像和被编码的上述增强层图像，

上述减法步骤包括移位量决定步骤，该移位量决定步骤中基于上述基本层图像、上述对象图像、或上述重构图像所具有的特性，决定上述第2值；

上述输出步骤中还输出与由上述移位量决定步骤决定的上述第2值对应的值。

15.一种集成电路，将位深度比规定的大小大的对象图像编码，上述位深度表示每一个像素的信息容量，上述集成电路具备：

向下变换器，通过对上述对象图像实施向下变换处理而生成基本层图像，上述向下变换处理使位深度减小第1值，以使该对象图像的位深度成为上述规定的大小；

第1编码器，将上述基本层图像编码，并通过将编码后的上述基本层图像解码而生成重构图像；

减法器，对上述重构图像实施使位深度增大第2值的移位量调整处理，基于被实施上述移位量调整处理后的重构图像和上述对象图像，生成增强层图像，该增强层图像是用于提高上述基本层图像的画质的图像，并且是具有与上述基本层图像相同的位深度的图像；

第2编码器，将上述增强层图像编码；以及

输出部，输出被编码的上述基本层图像和被编码的上述增强层图像，

上述减法器具有移位量决定部，该移位量决定部基于上述基本层图像、上述对象图像、或上述重构图像所具有的特性，决定上述第2值；

上述输出部还输出与由上述移位量决定部决定的上述第2值对应的值。

16.一种图像解码方法，从通过权利要求14所述的图像编码方法进行编码而得到的比特流解码出位深度比规定的大小大第1值的对象图像，上述位深度表示每一个像素的信息容量，上述图像解码方法包括：

第1解码步骤，从上述比特流解码出位深度为上述规定的大小的基本层图像；

第2解码步骤，从上述比特流解码出位深度为上述规定的大小的增强层图像；以及

加法步骤，从上述比特流取得上述第2值，并基于该第2值将上述基本层图像与上述增强层图像相加，由此生成上述对象图像。

17.一种集成电路，从通过权利要求15所述的集成电路进行编码而得到的比特流解码出位深度比规定的大小大第1值的对象图像，上述位深度表示每一个像素的信息容量，进行解码的上述集成电路具备：

第1解码器，从上述比特流解码出位深度为上述规定的大小的基本层图像；

第2解码器，从上述比特流解码出位深度为上述规定的大小的增强层图像；以及

加法器，从上述比特流取得上述第2值，并基于该第2值将上述基本层图像与上述增强层图像相加，由此生成上述对象图像。