CN103688535B - 图像编码方法、图像解码方法、图像编码装置及图像解码装置 - Google Patents

Abstract

图像编码方法用来对从多个拍摄视点拍摄到的多视点图像进行编码，包含：生成步骤（S101），与在图像解码装置中使用的多个画面尺寸的各自相关联，生成下述视点识别信息，该视点识别信息用来确定在上述图像解码装置中使用于显示的作为多个视点的多个显示视点；编码步骤（S102），将上述视点识别信息编码。例如，上述视点识别信息也可以表示上述多个拍摄视点之中的一个拍摄视点。

Description

图像编码方法、图像解码方法、图像编码装置及图像解码装置

发明领域

本发明涉及图像编码方法及图像解码方法。

背景技术

在3D影像（立体视觉影像）应用中，典型的是，通过例如由依据视频编码标准H.264/MVC（Multi View Coding）的图像编码装置，拍摄包含2幅以上图像的多视点图像，并且进行编码，来生成编码数据。还有，在多视点图像中，也有时包含深度信息。然后，编码数据被发送给图像解码装置。图像解码装置将编码数据解码，显示通过解码所获得的多视点图像。

这里，例如图像编码装置采用相互分开预定距离所配置的2台摄影机，拍摄多视点图像（例如，参见非专利文献1）。

现有技术

非专利文献

非专利文献1 A. Norkin, I. GIrdzijauskas, Y. Zhao, Y. Luo, “Show-caseand syntax for SEI message on reference display information signaling”,JCT3V-A0163（MPEG number m26275）

发明内容

发明概要

发明要解决的课题

但是，就这种图像编码方法及图像解码方法而言，人们期望可以在不依赖于图像解码装置的状况下，将最佳的层次感（进深感）提供给视听者。

因此，本发明的目的为，提供一种可以不依赖于图像解码装置，而将最佳的层次感提供给视听者的图像编码方法或者图像解码方法。

本发明的一个方式所涉及的图像编码方法用来对从多个拍摄视点所拍 摄的多视点图像进行编码，其特征为，包含：生成步骤，与在图像解码装置中使用的多个画面尺寸的各自相关联，生成下述视点识别信息，该视点识别信息用来确定在上述图像解码装置中使用于显示的作为多个视点的多个显示视点；编码步骤，将上述视点识别信息编码。

还有，它们的全部或者具体的方式既可以由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以将系统、方法、集成电路、计算机程序及记录介质的任意加以组合，来实现。

发明效果

本发明可以提供图像编码方法及图像解码方法，能够在不依赖于图像解码装置的状况下，将最佳的层次感提供给视听者。

附图说明

图1是参考例所涉及的图像编码装置及图像解码装置的框图。

图2是参考例所涉及的图像编码装置及图像解码装置的框图。

图3是参考例所涉及的图像编码装置及图像解码装置的框图。

图4是表示参考例所涉及的SEI的句法结构一例的附图。

图5是实施方式1所涉及的图像编码装置及图像解码装置的框图。

图6A是实施方式1所涉及的图像编码処理的流程图。

图6B是实施方式1所涉及的图像解码処理的流程图。

图7是实施方式1所涉及的图像编码装置及图像解码装置的框图。

图8是实施方式1所涉及的图像编码装置及图像解码装置的框图。

图9是实施方式1所涉及的图像编码装置及图像解码装置的框图。

图10是实施方式1的另一例所涉及的图像编码装置及图像解码装置的框图。

图11是表示实施方式1所涉及的SEI的句法结构一例的附图。

图12是实现内容分发服务的内容供给系统的整体结构图。

图13是数字广播用系统的整体结构图。

图14是表示电视机的结构例的模块图。

图15是表示对作为光盘的记录介质进行信息的读写的信息再现/记录 部的结构例的模块图。

图16是表示作为光盘的记录介质的构造例的图。

图17A是表示便携电话的一例的图。

图17B是表示便携电话的结构例的模块图。

图18是表示复用数据的结构的图。

图19是示意地表示各流在复用数据中怎样被复用的图。

图20是更详细地表示在PES包序列中视频流怎样被保存的图。

图21是表示复用数据的TS包和源包的构造的图。

图22是表示PMT的数据结构的图。

图23是表示复用数据信息的内部结构的图。

图24是表示流属性信息的内部结构的图。

图25是表示识别影像数据的步骤的图。

图26是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图27是表示切换驱动频率的结构的图。

图28是表示识别影像数据、切换驱动频率的步骤的图。

图29是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图30A是表示将信号处理部的模块共用的结构的一例的图。

图30B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（作为本发明基础的知识）

本发明人发现，有关在“技术背景”的栏目中所记述的图像编码方法及图像解码方法，将产生下面的问题。

如同在非专利文献1中所说明的那样，在摄像机间的距离为一定的场合下，视听者感觉的层次感依赖于显示器的画面尺寸。

针对于此，根据非专利文献1，要给图像解码装置发送与拍摄时摄像机间的实际距离有关的SEI（Supplemental enhancement information）“depth_acquisition_info”，以便图像解码装置（显示装置）可以调节层次感。 再者，还根据SEI“3d_reference_displays_info”的不同，例如按视听条件的每个，发送能够以该视听条件实现最佳的层次感的最佳的摄像机间距离。这里，所谓的视听条件，具体而言是显示器的画面尺寸。

因此，图像解码装置可以通过根据实际的摄像机间距离和最佳的摄像机间距离之间的关系，显示与最佳的距离对应的图像，来调节层次感。

另外，要显示的各视点的图像也有时通过合成2个视点的图像来生成。

图1～图3是表示本实施方式的参考例所涉及的图像编码装置100及图像解码装置200的结构的附图。

图像编码装置100从多个视点拍摄被摄体（scene场景），将通过拍摄所获得的多视点图像编码，以此生成编码比特流。该图像编码装置100具备第1摄像机111、第2摄像机112、第1编码器121、第2编码器122、SEI生成部131和SEI编码器132。

第1摄像机111及第2摄像机112拍摄多视点图像。具体而言，第1摄像机111通过从第1视点，拍摄被摄体（scene场景），来生成第1图像151。第2摄像机112通过从第2视点，拍摄被摄体，来生成第2图像152。

第1编码器121通过将第1图像151编码，生成第1编码图像161。第2编码器122通过将第2图像152编码，生成第2编码图像162。

SEI生成部131生成与每个画面尺寸相关联的最佳距离171。也就是说，SEI生成部131生成与多个图像尺寸相关联的多个最佳距离171。各最佳距离171是可以在相关联的画面尺寸的显示器上显示多视点图像时给视听者提供最佳的层次感的摄像机间（视点间）的距离。

SEI编码器132通过将多个最佳距离171编码，生成编码最佳距离172。

这样，图像编码装置100就生成包含第1编码图像161、第2编码图像162及编码最佳距离172的编码比特流。然后，该编码比特流经由信道，播到图像解码装置200。

图像解码装置200将由图像编码装置100所生成的编码比特流解码，显示多视点图像。该图像解码装置200包括第1解码器211、第2解码器212、SEI解码器221及显示装置222。

第1解码器211通过将第1编码图像161解码，生成第1解码图像251。第2解码器212通过将第2编码图像162解码，生成第2解码图像252。

SEI解码器221通过将编码最佳距离172解码，生成多个最佳距离262。

显示装置222（显示器）采用第1解码图像251及第2解码图像252，来显示多视点图像（立体视觉图像）。具体而言，显示装置222取得多个最佳距离262之中，当前与自身的画面尺寸261相关联的最佳距离262。然后，显示装置222按照所取得的最佳距离262来显示多视点图像。

例如图1所示，显示装置222采用第1解码图像251及第2解码图像252，进行视点合成，以此生成与第1视点和第2视点之间的视点对应的合成图像。然后，显示装置222把所生成的合成图像和第1摄像机111的图像（第1解码图像251）作为多视点图像，进行显示。这里，合成图像和第1摄像机111的图像的视点间的距离等于最佳距离262。

还有，如图2所示，显示装置222也可以显示合成图像和第2摄像机112的图像（第2解码图像252）。另外，如图3所示，显示装置222也可以显示二幅合成图像。

另外，图4是表示SEI“3d_reference_displays_info”的句法的附图。图4所示的exponet_ref_baseline[i]及maintissa_ref_baseline[i]对应于最佳距离171（262）。还有，图4所示的各参数的意义例如记载在非专利文献1中。

这样，图像解码装置200就从编码比特流将为了编码多个视点的图像所使用的与摄像机间的实际距离有关的信息解码。另外，图像解码装置200还从编码比特流将表示1个以上视听条件的信息解码。这里，所谓的视听条件，例如是图像解码装置200具有的显示装置222的画面尺寸。图像解码装置200还从编码比特流将下述多个最佳距离262解码，该多个最佳距离262是表示各视听条件之最佳的摄像机间距离的信息。这里，所谓最佳的摄像机间距离，是因为要给视听者提供最佳的层次感，所以为了拍摄各视点的图像而应该使用过的摄像机间距离。

图像解码装置200使用实际的视听条件、解码后的最佳的摄像机间距离及实际的摄像机间距离，选择可以实现希望的层次感的、使用于显示的视点（view）。图像解码装置200也可以通过视点合成，生成要显示的图像，以便使用于显示的2个视点的距离达到最佳的摄像机间距离。

这样，图像编码装置100就给图像解码装置200，发送用来计算最佳的摄像机间距离的参数，以便图像解码装置200能够执行视点合成所需的视 点位置的计算。

另外，图像解码装置200还从SEI，掌握实际的摄像机间距离和最佳的摄像机间距离之间的关系，选择使用于显示的视点。也就是说，图像解码装置200决定2个视点的位置，以便2个视点间的距离达到最佳的摄像机间距离。

但是，图像解码装置200如果2个视点间的距离是最佳的摄像机距离，则可以任意设定2个视点。例如，图像解码装置200如图1～图3所示，可以任意选择使用于显示的2个视点。也就是说，由于选择哪个视点依赖于图像解码装置200，因而并不是对全部的视听者显示相同的内容。

这样，就上述技术而言，本发明人发现存在下述这样的问题，即产生按照图像解码装置，要显示的内容不同的情形。

本发明的一个方式所涉及的图像编码方法用来对从多个拍摄视点拍摄到的多视点图像进行编码，其特征为，包含：生成步骤，与在图像解码装置中使用的画面尺寸的各自相关联，生成下述视点识别信息，该视点识别信息用来确定在上述图像解码装置中使用于显示的作为多个视点的多个显示视点；编码步骤，将上述视点识别信息编码。

据此，该图像编码方法按照图像解码装置的画面尺寸，将确定图像解码装置应该选择的视点所用的视点识别信息发送给图像解码装置。因此，图像解码装置采用由与自身的画面尺寸相关联的视点识别信息确定的视点，来显示图像。这样，就在图像解码装置中唯一决定使用于显示的视点。因此，该图像编码方法就可以在不依赖于图像解码装置的状况下，将最佳的层次感提供给视听者。

例如，上述视点识别信息也可以表示上述多个拍摄视点之中的一个拍摄视点。

例如，上述视点识别信息也可以表示通过合成由上述多个拍摄视点之中的二个拍摄视点拍摄到的图像而生成的合成图像的视点。

例如，上述视点识别信息也可以是识别上述多个拍摄视点所用的识别符。

另外，本发明的一个方式所涉及的图像解码方法用来对通过编码从多个拍摄视点拍摄到的多视点图像所生成的比特流进行解码，其特征为，包 含：解码步骤，将下述视点识别信息解码，该视点识别信息包含于上述比特流中，与多个画面尺寸的各自相关联，用来确定多个视点；决定步骤，采用解码后的多个视点识别信息之中，当前与图像解码装置具有的显示装置的画面尺寸相关联的视点识别信息，来决定上述图像解码装置使用于显示的作为多个视点的多个显示视点。

据此，该图像解码方法采用由与图像解码装置的画面尺寸相关联的视点识别信息确定的视点，来显示图像。这样，就在图像解码装置中唯一决定使用于显示的视点。因而，该图像解码方法可以将不依赖于图像解码装置的最佳的层次感提供给视听者。

例如，上述视点识别信息表示上述多个拍摄视点之中的一个拍摄视点，在上述决定步骤中，将上述多个拍摄视点之中由上述视点识别信息所示的上述一个拍摄视点决定为上述多个显示视点的一个，也可以。

例如，上述视点识别信息也可以表示通过合成由上述多个拍摄视点之中的二个拍摄视点拍摄到的图像而生成的合成图像的视点。

例如，上述视点识别信息也可以是识别上述多个拍摄视点所用的识别符。

另外，本发明的一个方式所涉及的图像编码装置用来对从多个拍摄视点拍摄到的多视点图像进行编码，其特征为，具备：视点识别信息生成部，与在图像解码装置中使用的多个画面尺寸的各自相关联，生成下述视点识别信息，该视点识别信息用来确定在上述图像解码装置中使用于显示的作为多个视点的多个显示视点；视点识别信息编码部，将上述视点识别信息编码。

据此，该图像编码装置按照图像解码装置的画面尺寸，将确定图像解码装置应该选择的视点所用的视点识别信息发送给图像解码装置。因此，图像解码装置采用由与自身的画面尺寸相关联的视点识别信息确定的视点，来显示图像。这样，就在图像解码装置中唯一决定使用于显示的视点。因而，该图像编码装置可以在不依赖于图像解码装置的状况下，将最佳的层次感提供给视听者。

另外，本发明的一个方式所涉及的图像解码装置用来对通过编码从多个拍摄视点拍摄到的多视点图像所生成的比特流进行解码，其特征为，具 备：视点识别信息解码部，将下述视点识别信息解码，该视点识别信息包含于上述比特流中，与多个画面尺寸的各自相关联，用来确定多个视点；视点决定部，采用解码后的多个视点识别信息之中，当前与图像解码装置具有的显示装置的画面尺寸相关联的视点识别信息，来决定上述图像解码装置使用于显示的作为多个视点的多个显示视点。

据此，该图像解码装置采用由与自身的画面尺寸相关联的视点识别信息确定的视点，来显示图像。这样，就在图像解码装置中唯一决定使用于显示的视点。因而，该图像解码装置可以将不依赖于自身功能的最佳的层次感提供给视听者。

另外，本发明的一个方式所涉及的图像编码解码装置还可以具备上述图像编码装置和上述图像解码装置。

还有，它们的全部或者具体的方式既可以由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等的记录介质实现，也可以将系统、方法、集成电路、计算机程序及记录介质的任意加以组合，来实现。

下面，对于本发明的实施方式，一边参照附图一边进行说明。

还有，在下面说明的实施方式全都用来表示本发明的一个具体例。在下面的实施方式中所示的数值、形状、材料、结构要件、结构要件的配置位置及连接方式、步骤、步骤的顺序等是一例，并不是限定本发明的意思。另外，对于下面实施方式里的结构要件之中，未在表示最上位概念的独立权利要求中记述的结构要件，则作为任意的结构要件进行说明。

（实施方式1）

本实施方式将对于为了保证要显示的内容对全部的视听者都相同而可以定义在图像解码装置中使用于显示的视点的有效方法，进行说明。

具体而言，本实施方式所涉及的图像编码装置针对1个以上视听条件（具体而言是画面尺寸）的各自，选择与最佳的摄像机间距离对应的视点位置，将比特流内与该视点位置有关的信息编码。

图像解码装置从比特流将表示1个以上视听条件的信息解码。图像解码装置还从比特流，针对解码后的各视听条件将与视点位置有关的信息解码。该视点位置相当于因为要给视听者提供最佳的层次感，所以为了拍摄各视点的图像而应该使用过的最佳的摄像机间距离。也就是说，图像解码 装置不需要解码来自比特流的表示实际摄像机距离的信息。图像解码装置使用实际的视听条件及解码后的视点位置，来选择可以实现希望的层次感的多个视点。

图5是表示本实施方式所涉及的图像编码装置300及图像解码装置400的结构的框图。

图像编码装置300从多个视点（拍摄视点）拍摄被摄体（scene场景），将通过拍摄所获得的多视点图像（多视点影像）编码，以此生成编码比特流。该图像编码装置300具备第1摄像机311、第2摄像机312、第1编码器321、第2编码器322、SEI生成部331和SEI编码器332。

第1摄像机311及第2摄像机312拍摄多视点图像。具体而言，第1摄像机311通过从第1视点，拍摄被摄体（scene场景），来生成第1图像351。第2摄像机312通过从第2视点，拍摄被摄体，来生成第2图像352。第1图像351及第2图像352包含于多视点图像中。

第1编码器321通过将第1图像351编码，生成第1编码图像361。第2编码器322通过将第2图像352编码，生成第2编码图像362。

SEI生成部331是视点识别信息生成部，生成与每个画面尺寸相关联的视点位置371。也就是说，SEI生成部331生成与多个图像尺寸相关联的多个视点位置371。各视点位置371是可以在相关联的画面尺寸的显示器上显示多视点图像（立体视觉图像）时把最佳的层次感提供给视听者的二个视点（显示视点）的位置。

SEI编码器332是视点识别信息编码部，通过将多个视点位置371编码来生成编码视点位置372。

这样，图像编码装置300就生成包含第1编码图像361、第2编码图像362及编码视点位置372的编码比特流。然后，该编码比特流经由信道，传播到图像解码装置400。

图像解码装置400将由图像编码装置300所生成的编码比特流解码，显示多视点图像。该图像解码装置400包括第1解码器411、第2解码器412、SEI解码器421和显示装置422。

第1解码器411通过将第1编码图像361解码，生成第1解码图像451。第2解码器412通过将第2编码图像362解码，生成第2解码图像452。

SEI解码器421是视点识别信息解码部，通过将编码视点位置372解码来生成多个视点位置462。

显示装置422（显示器）采用第1解码图像451及第2解码图像452，来显示多视点图像（立体视觉图像）。具体而言，显示装置422取得多个视点位置462之中，当前与自身的画面尺寸461相关联的视点位置462。然后，显示装置422按照所取得的视点位置462，决定使用于显示的作为多个视点的多个显示视点，把来自所决定的显示视点的图像作为多视点图像，进行显示。该显示视点的决定由包含于显示装置422中的视点决定部进行。

例如图5所示，显示装置422通过采用第1解码图像451及第2解码图像452，进行视点合成，来生成与第1视点和第2视点之间的视点对应的合成图像。这里，通过视点合成所生成的二幅合成图像的视点位置对应于所取得的二个视点位置462。例如，二幅合成图像的视点位置和二个视点位置462相同。

然后，显示装置422把所生成的二幅合成图像作为多视点图像，进行显示。还有，二个视点位置462的至少一个也可以和第1摄像机的视点位置或者第2摄像机的视点位置相等。这种情况下，不进行视点合成，而是第1解码图像451或者第2解码图像452被使用于显示。

图6A是表示由图像编码装置300进行的图像编码処理概要的流程图。

如图6A所示，图像编码装置300与在图像解码装置中使用的多个画面尺寸的各自相关联，生成下述视点识别信息（S101），该视点识别信息用来确定在图像解码装置中使用于显示的作为多个视点的多个显示视点。这里，所谓的视点识别信息对应于上述的视点位置371。

接下来，图像编码装置300将上述视点识别信息编码（S102）。然后，包含编码后的视点识别信息的比特流被发送到图像解码装置400。

图6B是表示由图像解码装置400做出的图像解码処理概要的流程图。

如图6B所示，图像解码装置400将下述视点识别信息解码（S201），该视点识别信息包含于比特流中，与多个画面尺寸的各自相关联，用来确定多个视点。

接下来，图像解码装置400采用解码后的多个视点识别信息之中，当前与图像解码装置400具有的显示装置422的画面尺寸461相关联的视点 识别信息，决定图像解码装置400使用于显示的作为多个视点的多个显示视点（S202）。另外，图像解码装置400采用所决定的多个显示视点，来显示多视点图像。具体而言，图像解码装置400采用第1视点的第1解码图像451及第2视点的第2解码图像452，生成从多个显示视点观看到的多幅图像，显示所生成的多幅图像。

根据上面，在本实施方式中，在比特流中，直接包含视点（例如，立体显示所需的2个视点）的视点识别信息。这种情况下，图像解码装置40不需要知道最佳的摄像机间距离。也就是说，可以省略最佳的摄像机间距离。

再者，图像解码装置400不需要自动选择使用于显示的视点。因而，在不同的图像解码装置中，只要视听条件相同，则作为使用于显示的视点，选择同一视点。因而，即便在图像解码装置不同的情况下，仍可以保证相同的层次感。

也就是说，在本实施方式中，不是视点间的距离（视点间的相对位置），而是直接表示视点位置的信息被从图像编码装置300传送到图像解码装置400。

另外，图像编码装置300可以控制在图像解码装置400中哪个视点被使用于显示。从而，内容制作者例如可以按照最佳的画面质量或者令人满意的内容等的各种要求，给要显示的内容带来影响。因为多个视点是来自原场面略有不同的视点的影像。因而，其原因为，要显示的内容依赖于编码后的视点的选择而不同。

这样，本实施方式仅仅通过定义在图像解码装置中显示的视点，就不只是保证要显示的内容对于全部的视听者都相同，还可以在图像编码装置中选择视点，以便例如，主观的画面质量达到最大限度。

还有，在上面，虽然作为多视点图像，说明了使用立体图像的例子，但是多视点图像也可以包含3个以上视点的图像。另外，由图像编码装置300生成的多视点图像的视点数和由图像解码装置400显示的多视点图像的视点数也可以不同。

下面，说明视点识别信息（视点位置462等）的具体例。

图7是表示作为视点识别信息使用视点识别符时的图像编码装置300A 及图像解码装置400A的结构的框图。还有，对和图5相同的要件附上相同的符号，在下面主要说明不同点。

图7所示的图像编码装置300A除了图像编码装置300的结构之外，还具备第3摄像机313及第3编码器323。另外，SEI生成部331A及SEI编码器332A的功能和SEI生成部331及SEI编码器332不同。

第3摄像机313通过从第3视点，拍摄被摄体（scene场景），来生成第3图像353。也就是说，第1摄像机311、第2摄像机312及第3摄像机313生成包含第1图像351、第2图像352及第3图像353的多视点图像。另外，还对第1摄像机311、第2摄像机312及第3摄像机313，分配了用来唯一识别各摄像机的识别符（ID1、ID2及ID3）。

第3编码器323通过将第3图像353编码，生成第3编码图像363。

SEI生成部331A是视点识别信息生成部，生成与每个画面尺寸相关联的视点识别符373。也就是说，SEI生成部331A生成与多个图像尺寸相关联的多个视点识别符373。各视点识别符373是识别多个拍摄视点所用的识别符，例如，表示已经分配给摄像机的识别符（ID1、ID2及ID3）。换言之，该视点识别符373是识别第1图像351、第2图像352及第3图像353的识别符，并且是识别下述的第1解码图像451、第2解码图像452及第3解码图像453的识别符。

另外，该视点识别符373表示与下述二个视点（显示视点）对应的拍摄视点，该二个视点可以在相关联的画面尺寸的显示器上显示多视点图像（立体视觉图像）时把最佳的层次感提供给视听者。具体而言，该识别符是视点ID（view ID）或者视点次序索引（vieworder index）。

SEI编码器332A是视点识别信息编码部，通过将多个视点识别符373编码来生成编码视点识别符374。

这样，图像编码装置300A就生成包含第1编码图像361、第2编码图像362、第3编码图像363及编码视点识别符374的编码比特流。然后，该编码比特流经由信道，传播到图像解码装置400A。

图像解码装置400A将由图像编码装置300A所生成的编码比特流解码，显示多视点图像。该图像解码装置400A除了图像解码装置400的结构之外，还具备第3解码器413。另外，SEI解码器421A及显示装置422A 的功能和SEI解码器421及显示装置422不同。

第3解码器413通过将第3编码图像363解码，生成第3解码图像453。

SEI解码器421A是视点识别信息解码部，通过将编码视点识别符374解码来生成多个视点识别符463。

显示装置422A（显示器）采用第1解码图像451、第2解码图像452及第3解码图像453，显示多视点图像（立体视觉图像）。具体而言，显示装置422A取得多个视点识别符463之中，当前与自身的画面尺寸461相关联的视点识别符463。然后，显示装置422A按照所取得的视点识别符463，决定使用于显示的作为多个视点的多个显示视点，把来自所决定的显示视点的图像作为多视点图像，进行显示。该显示视点的决定由包含于显示装置422A中的视点决定部进行。

具体而言，显示装置422A将多个拍摄视点之中由视点识别信息所示的一个拍摄视点决定为多个显示视点的一个。也就是说，显示装置422A显示多幅解码图像（第1解码图像451、第2解码图像452及第3解码图像453）之中，与视点识别符463对应的多幅解码图像。例如图7所示，在由视点识别符463表示ID1及ID2的情况下，显示装置422A显示第1解码图像451及第2解码图像452。另外，如图8所示，在由视点识别符463表示ID1及ID3的情况下，显示装置422A显示第1解码图像451及第3解码图像453。另外，如图9所示，在由视点识别符463表示ID2及ID3的情况下，显示装置422A显示第2解码图像452及第3解码图像453。

如上，因为作为视点识别信息采用视点识别符，所以图像解码装置400A可以轻易地选择要显示的图像。

还有，视点识别信息也可以表示通过合成由多个拍摄视点之中的二个拍摄视点拍摄到的图像而生成的合成图像的视点。这种情况下，显示装置422A通过合成与多个拍摄视点之中的二个拍摄视点对应的解码图像，来生成由视点识别信息所示的视点的合成图像，显示所生成的合成图像。

例如，视点识别信息包含确定合成图像的视点位置所用的一个以上视点识别符和表示从该一个以上视点识别符到合成图像的视点位置的距离的信息。还有，在显示立体图像的情况下，针对一个显示视点，要定义一个视点识别符和上述距离。

另外，上述距离也可以由表示合成图像的视点位于第1视点和第2视点之间的哪里的分数（例如a），来表示。这种情况下，上述距离以“a×第1视点和第2视点之间的实际距离”来表达。

还有，在上面的说明中，虽然说明了由图像编码装置300A生成3个视点的图像，由图像解码装置400A显示2个视点的图像的例子，但是既可以由图像编码装置300A生成4个视点以上的图像，也可以由图像解码装置400A显示3个视点以上的图像。

下面，说明视点识别信息的另一具体例。

图10是表示作为视点识别信息使用视点坐标时的图像编码装置300B及图像解码装置400B的结构的框图。还有，对和图5相同的要件附上相同的符号，在下面主要说明不同点。

图10所示的图像编码装置300B相对于图像编码装置300的结构，SEI生成部331B及SEI编码器332B的功能和SEI生成部331及SEI编码器332不同。

SEI生成部331B是视点识别信息生成部，生成与每个画面尺寸相关联的视点坐标375。也就是说，SEI生成部331B生成与多个图像尺寸相关联的多个视点坐标375。各视点坐标375表示多个显示视点的坐标。换言之，视点坐标375表示显示装置422B中坐标系的坐标。另外，该视点坐标375表示可以在相关联的画面尺寸的显示器上显示多视点图像（立体视觉图像）时把最佳的层次感提供给视听者的二个视点（显示视点）的坐标。

SEI编码器332B是视点识别信息编码部，通过将多个视点坐标375编码来生成编码视点坐标376。

这样，图像编码装置300B就生成包含第1编码图像361、第2编码图像362及编码视点坐标376的编码比特流。然后，该编码比特流经由信道，传播到图像解码装置400B。

图像解码装置400B将由图像编码装置300B所生成的编码比特流解码，显示多视点图像。该图像解码装置400B相对于图像解码装置400的结构，SEI解码器421B及显示装置422B的功能和SEI解码器421及显示装置422不同。

SEI解码器421B是视点识别信息解码部，通过将编码视点坐标376解 码来生成多个视点坐标464。

显示装置422B（显示器）采用第1解码图像451及第2解码图像452，来显示多视点图像（立体视觉图像）。具体而言，显示装置422B取得多个视点坐标464之中，当前与自身的画面尺寸461相关联的视点坐标464。然后，显示装置422B按照所取得的视点坐标464，决定使用于显示的作为多个视点的多个显示视点，把来自所决定的显示视点的图像作为多视点图像，进行显示。该显示视点的决定由包含于显示装置422B中的视点决定部进行。

例如，显示装置422B通过采用第1解码图像451及第2解码图像452，进行视点合成，来生成与第1视点和第2视点之间的视点对应的合成图像。这里，通过视点合成所生成的二幅合成图像的视点位置对应于所取得的二个视点坐标464。例如，二幅合成图像的视点位置位于二个视点坐标464上。

然后，显示装置422B把所生成的二幅合成图像作为多视点图像，进行显示。还有，二个视点位置462的至少一个也可以和第1摄像机的视点位置或者第2摄像机的视点位置相等。这种情况下，不进行视点合成，而是第1解码图像451或者第2解码图像452被使用于显示。

下面，说明包含上述视点识别信息的SEI消息的句法结构。

图11是表示本实施方式所涉及的SEI“3d_reference_displays_info”的句法例的附图。

图11所示的句法元素preferred_left_view_id_flag表示图像解码装置使用于左眼用显示的视点之视点识别信息（preferred_left_view_id）是否包含在比特流中。

句法元素preferred_left_view_id是图像解码装置使用于左眼用显示的视点之视点识别信息，例如对应于上述视点识别符。

句法元素preferred_right_view_id_flag表示图像解码装置使用于右眼用显示的视点之视点识别信息（preferred_right_view_id）是否包含在比特流中。

句法元素preferred_right_view_id是图像解码装置使用于右眼用显示的视点之视点识别信息，例如对应于上述视点识别符。

另外，在左眼用及右眼用双方的视点识别信息已被编码的情况下，最 佳的摄像机间距离不需要包含于比特流中。

在只有左眼用及右眼用任一个的视点识别信息已被编码的情况下，图像解码装置采用该一个视点识别信息，决定使用于该一只眼睛用显示的第1视点。再者，这种情况下，最佳的摄像机间距离（exponet_ref_baseline及maintissa_ref_baseline）要在比特流内进行编码。然后，图像解码装置利用该摄像机间距离，识别与第1视点对应的第2视点（也包括合成视点）的位置。

具体而言，在左视点的识别符已经和最佳摄像机间距离一起进行了编码的情况下，第2（右）视点的位置被决定为左视点的位置的右侧。在右视点的识别符已经和最佳的摄像机间距离一起进行了编码的情况下，第2（左）视点的位置被决定为右视点的位置的左侧。

在左及右双方的视点之视点识别信息未编码的情况下，只将最佳的摄像机间距离编码。还有，此时图像编码装置及图像解码装置的动作和上述参考例的动作相同。

上面，对于实施方式所涉及的图像编码装置及图像解码装置进行了说明，但是本发明并不限定为此实施方式。

例如，视点识别信息也可以是被编码为SPS（序列参数集）的VUI（Video UsabilityInformation）的、表示动作点的动作点ID（operating point ID）。

另外，在上述实施方式所涉及的图像编码装置及图像解码装置中包含的各处理部典型的是，作为LSI来实现，该LSI是一种集成电路。它们既可以分别进行单芯片化，也可以进行单芯片化使之包含一部分或者全部。

另外，集成电路化并不限于LSI，也可以由专用电路或者通用处理机来实现。还可以利用能在LSI制造后进行编程的FPGA（Field Programmable Gate Array），或者能重新构成LSI内部的电路单元连接或者设定的可重构·处理机。

在上述各实施方式中，各结构要件也可以由专用的硬件来构成，或者通过执行与各结构要件相适的软件来实现。各结构要件还可以通过由CPU或者处理机等的程序执行部读出并执行硬件或者半导体存储器等的记录介质中所记录的软件程序，来实现。

换言之，图像编码装置及图像解码装置具备处理电路（processing circuitry）和与该处理电路电连接的（能够从该控制电路访问）存储装置（storage）。处理电路包括专用的硬件及程序执行部的至少一个。另外，存储装置在处理电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。处理电路利用存储装置，执行上述实施方式所涉及的图像编码方法或者图像解码方法。

再者，本发明既可以是上述软件程序，也可以是记录了上述程序的非瞬态的计算机可读取的记录介质。另外，上述程序不言而喻，可以经由因特网等的传输介质使之流通。

另外，在上面所使用的数字全都是为了具体说明本发明而示例的，本发明不限制为所示例的数字。

另外，框图中功能块的分割是一例，也可以将多个功能块作为一个功能块来实现，或把一个功能块分割为多个，或者把一部分功能转移到其他的功能块中。另外，也可以由单个的硬件或者软件并列或者分时处理具有类似功能的多个功能块的功能。

另外，执行上述图像编码方法或者图像解码方法中包含的步骤的顺序是为了具体说明本发明进行示例所用的，也可以是上面以外的顺序。另外，上述步骤的一部分也可以和其他步骤同时（并列）执行。

上面，对于本发明的一个或者多个方式所涉及的图像编码装置及图像解码装置，根据实施方式进行了说明，但是本发明并不限定为此实施方式。在不脱离本发明宗旨的范围内，将从业者联想到的各种变通施加于本实施方式中的方式，或者将不同的实施方式中的结构要件加以组合来构建的方式也都可以包含于本发明的一个或多个方式的范围内。

（实施方式2）

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系 统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图12是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（Personal Digital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图12那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division MultipleAccess）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（LongTerm Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明 的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图13所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的 复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图14是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行 信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图15中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图16中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数 据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图14所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图17A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图17B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（LiquidCrystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的 控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370 将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式3）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图18是表示复用数据的结构的图。如图18所示，复用数据通过将视 频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图19是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图20更详细地表示在PES包序列中怎样保存视频流。图20的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图20的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（Presentation Time-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图21表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成 192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图21下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program ClockReference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System Time Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图22是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图23所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图23所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图24所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图25中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方 法或装置用在上述任何设备、系统中。

（实施方式4）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图26中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的 CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable Gate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式5）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图27表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图26的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图26的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且， 基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图29所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图28表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动 图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式6）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图30A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补 偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在多视点图像控制方面具有特征，因此可以考虑例如对于多视点图像控制使用专用的解码处理部ex901，对于除此之外的熵解码、逆量化、解块/滤波、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图30B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

本发明可以适用于图像编码方法、图像解码方法、图像编码装置及图像解码装置。另外，本发明还能够在具有图像编码装置的电视机、数字视频记录器、汽车导航仪、便携电话、数字摄像机及数字视频摄像机等高分辨率的信息显示设备或者摄像设备中加以利用。

符号说明

100、300、300A、300B图像编码装置

111、311第1摄像机

112、312第2摄像机

121、321第1编码器

122、322第2编码器

131、331、331A、331B SEI生成部

132、332、332A、332B SEI编码器

151、351第1图像

152、352第2图像

161、361第1编码图像

162、362第2编码图像

171、262最佳距离

172编码最佳距离

200、400、400A、400B图像解码装置

211、411第1解码器

212、412第2解码器

221、421、421A、421B SEI解码器

222、422、422A、422B显示装置

251、451第1解码图像

252、452第2解码图像

261、461画面尺寸

313第3摄像机

323第3编码器

353第3图像

363第3编码图像

371、462视点位置

372编码视点位置

373、463视点识别符

374编码视点识别符

375、464视点坐标

376编码视点坐标

413第3解码器

453第3解码图像

Claims (10)

1.一种图像编码方法，用来对从多个拍摄视点拍摄到的多视点图像进行编码，其特征为，

上述图像编码方法包含：

生成步骤，与在图像解码装置中使用的多个画面尺寸的各自相关联，生成下述视点识别信息，该视点识别信息用来确定在上述图像解码装置中使用于显示的作为多个视点的多个显示视点；以及

编码步骤，将上述视点识别信息编码，

多个视点识别信息的每一个与在图像解码装置中使用的多个画面尺寸的每一个相关联。

2.如权利要求1所述的图像编码方法，其特征为，

上述视点识别信息表示上述多个拍摄视点之中的一个拍摄视点。

3.如权利要求1所述的图像编码方法，其特征为，

上述视点识别信息表示通过合成由上述多个拍摄视点之中的二个拍摄视点拍摄到的图像而生成的合成图像的视点。

4.如权利要求1或2所述的图像编码方法，其特征为，

上述视点识别信息是识别上述多个拍摄视点所用的识别符。

5.一种图像解码方法，对通过编码从多个拍摄视点拍摄到的多视点图像所生成的比特流进行解码，其特征为，

上述图像解码方法包含：

解码步骤，将下述视点识别信息解码，该视点识别信息包含于上述比特流中，与多个画面尺寸的各自相关联，用来确定多个视点；以及

决定步骤，使用解码后的多个视点识别信息之中、与图像解码装置具有的显示装置的画面尺寸相关联的视点识别信息，来决定上述图像解码装置使用于显示的作为多个视点的多个显示视点，

多个视点识别信息的每一个与在图像解码装置中使用的多个画面尺寸的每一个相关联。

6.如权利要求5所述的图像解码方法，其特征为，

上述视点识别信息表示上述多个拍摄视点之中的一个拍摄视点，

在上述决定步骤中，将上述多个拍摄视点之中由上述视点识别信息所示的上述一个拍摄视点决定为上述多个显示视点的一个。

7.如权利要求5所述的图像解码方法，其特征为，

上述视点识别信息表示通过合成由上述多个拍摄视点之中的二个拍摄视点拍摄到的图像而生成的合成图像的视点。

8.如权利要求5或6所述的图像解码方法，其特征为，

上述视点识别信息是用于识别上述多个拍摄视点的识别符。

9.一种图像编码装置，对从多个拍摄视点拍摄到的多视点图像进行编码，其特征为，

上述图像编码装置具备：

视点识别信息生成部，与在图像解码装置中使用的多个画面尺寸的各自相关联，生成下述视点识别信息，该视点识别信息用来确定在上述图像解码装置中使用于显示的作为多个视点的多个显示视点；以及

视点识别信息编码部，将上述视点识别信息编码，

多个视点识别信息的每一个与在图像解码装置中使用的多个画面尺寸的每一个相关联。

10.一种图像解码装置，对通过编码从多个拍摄视点拍摄到的多视点图像所生成的比特流进行解码，其特征为，

上述图像解码装置具备：

视点识别信息解码部，将下述视点识别信息解码，该视点识别信息包含于上述比特流中，与多个画面尺寸的各自相关联，用来确定多个视点；以及

视点决定部，采用解码后的多个视点识别信息之中，当前与图像解码装置具有的显示装置的画面尺寸相关联的视点识别信息，来决定上述图像解码装置使用于显示的作为多个视点的多个显示视点，

多个视点识别信息的每一个与在图像解码装置中使用的多个画面尺寸的每一个相关联。