CN103416069A - 发送设备、发送方法、接收设备以及接收方法 - Google Patents

Abstract

能够充分地执行在接收侧中要叠加并且显示在三维图像上的图形的深度控制。针对图像数据的每个画面获得的视差信息被插入到视频流中，然后该视频流被发送。能够以画面（帧）精度充分地执行在接收侧中要叠加并且显示在三维图像上的图形的深度控制。用于标识是否存在视差信息插入视频流的标识信息被插入容器的层中。由于这个标识信息，接收侧能够容易地识别是否存在视差信息插入视频流并且能够适当地执行图形的深度控制。

Description

发送设备、发送方法、接收设备以及接收方法

技术领域

本技术涉及发送设备、发送方法、接收设备以及接收方法。更具体地，该技术涉及用于对三维图像充分执行图形的叠加和显示的发送设备等。

背景技术

例如，在PTL 1中，已提出了通过利用电视广播波发送三维图像数据的发送方法。在这种情况下，发送了形成三维图像的左眼图像数据和右眼图像数据，并且在电视接收机中，执行利用双眼视差的三维图像显示。

图35例示了，在利用双眼视差的三维图像显示中，在屏幕上形成对象的左眼图像和右眼图像的显示位置与对象A的三维图像的重放位置之间的关系。例如，如图中所示，关于对象A，在屏幕上其左图像La进行显示同时向右侧移动并且在屏幕上其右图像Ra进行显示同时向左侧移动，左眼视线和右眼视线在屏幕表面的前面彼此交叉。因此，对象A的三维图像的重放位置在屏幕表面的前面。

另外，例如，如图中所示，关于对象B，其左图像Lb和右图像Rb在屏幕上的同一位置进行显示，左眼视线和右眼视线在屏幕表面上彼此交叉。因此，对象B的三维图像的重放位置在屏幕表面上。因此，例如，如图中所示，关于对象C，其左图像Lc进行显示同时向左侧移动并且其右图像Rc进行显示同时向右侧移动，左眼视线和右眼视线在屏幕表面的后面彼此交叉。因此，对象C的三维图像的重放位置在屏幕表面的后面。引用列表

专利文献

PTL1：日本未审查专利申请公报第2005-6114号

发明内容

技术问题

如上面所陈述的，在显示三维图像过程中，观看者利用双眼视差感知三维图像的透视。关于在电视接收机中在图像上叠加并显示的图形，还期望，不仅就两维空间而言，而且就三维深度而言，这种图形将与三维图像的显示一起进行渲染。当在图像上叠加并且显示诸如OSD（屏上显示）图形、应用图形等的图形时，期望将通过根据图像内的每个对象的透视执行像差调节来保持透视匹配。

本技术的目的是充分地执行在接收侧要叠加并且显示在三维图像上的图形的深度控制。

问题的解决方案

本技术的一个概念是发送设备，其包括：

图像数据获得单元，其获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其针对所获得的图像数据的每个画面获得相对于右眼图像数据的与左眼图像数据相关的视差信息和相对于左眼图像数据的与右眼图像数据相关的视差信息；

视差信息插入单元，其将获得的视差信息插入通过对获得的图像数据进行编码而获得的视频流中；

图像数据发送单元，其发送预定格式的容器，容器包含插入了视差信息的视频流；以及

标识信息插入单元，其将用于标识是否存在视差信息插入视频流的标识信息插入容器的层中。

在本技术中，通过图像数据获得单元获得形成三维图像的左眼图像数据和右眼图像数据。在这种情况下，图像数据例如是通过用摄像机摄取图像或者通过从存储介质读取图像而获得的数据。

针对获得的图像数据的每个画面，视差信息获得单元获得相对于右眼图像数据的与左眼图像数据相关的视差信息和相对于左眼图像数据的与右眼图像数据相关的视差信息。在这种情况下，视差信息例如是根据左眼图像数据和左眼图像数据产生的信息或者从存储介质读取的信息。

视差信息插入单元将获得的视差信息插入通过对获得的图像数据进行编码获得的视频流。例如，视差信息可以以画面为单位或者以GOP（画面组）为单位插入视频流。可替换地，可以通过利用其他单位，例如，以场景为单位，插入视差信息。

通过图像数据发送单元发送包含插入了视差信息的视频流的。预定格式的容器。例如，容器可以是在数字广播标准中定义的传输流（MPEG-2TS）。可替换地。例如，容器可以是在因特网分发中使用的MP4或其他形式的容器。

用于标识是否存在视差信息插入视频流的标识信息通过标识信息插入单元插入容器的层中。例如，容器可以是传输流，并且标识信息插入单元可将标识信息插入在节目映射表或事件信息表下。例如，标识信息插入单元可在节目映射表或事件信息表下插入的描述符中描述标识信息。

如上所述，在本技术中，针对图像数据的每个画面获得的视差信息插入视频流，然后发送该视频流。因此，能够以画面（帧）精度充分地执行在接收侧中要叠加并且显示在三维图像上的图形的深度控制。此外，在本技术中，指示是否存在视差信息插入视频流的标识信息插入容器的层中。由于这个标识信息，接收侧能够容易地识别是否存在视差信息插入视频流并且可适当地执行图形的深度控制。

注意，在本技术中，例如，视差信息获得单元可针对每个画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息。在这种情况下，视差信息获得单元可根据关于画面显示屏幕的分区信息对画面显示屏幕进行分区使得分区区域不会与编码块边界交叉，并且可针对每个画面获得与每个分区区域相关的视差信息。

此外，在这种情况下，例如，通过视差信息插入单元插入视频流的每个画面的视差信息可包括与画面显示屏幕相关的分区信息和与每个分区区域相关的视差信息。在这种情况下，能够根据图形的显示位置充分地执行在接收侧中在三维图像上叠加并显示的图形的深度控制。

此外，在本技术中，例如，图像数据发送单元可通过在容器中包括字幕流来发送容器，字幕流通过对具有对应于显示位置的视差信息的字幕数据进行编码来获得。在这种情况下，在接收侧中，根据附加于字幕数据的视差信息执行关于该字幕的深度控制。例如，即使不存在上述视差信息插入视频流，如果存在字幕数据，则附加于这个字幕数据的视差信息仍可用于执行图形的深度控制。

此外，本发明的另一概念是发送设备，其包括：

图像数据获得单元，其获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其针对获得的图像数据的每个画面获得相对于右眼图像数据的与左眼图像数据相关的视差信息和相对于左眼图像数据的与右眼图像数据相关的视差信息；

视差信息插入单元，其将获得的视差信息插入通过对获得的图像数据进行编码而获得的视频流中；以及

图像数据发送单元，其发送预定格式的容器，该容器包含插入了视差信息的视频流。

在这个发送设备中，视差信息获得单元针对每个画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息，并且通过视差信息插入单元插入视频流的每个画面的视差信息包括与画面显示屏幕相关的分区信息和与每个分区区域相关的视差信息。

在本技术中，通过图像数据获得单元获得形成三维图像的左眼图像数据和右眼图像数据。在这种情况下，图像数据例如是通过利用摄像机摄取图像或者通过从存储介质读取图像而获得的数据。

针对获得的图像数据的每个画面，通过视差信息获得单元获得相对于右眼图像数据的与左眼图像数据相关的视差信息和相对于左眼图像数据的与右眼图像数据相关的视差信息。在这种情况下，视差信息例如是根据左眼图像数据和右眼图像数据产生的信息或者从存储介质读取的信息。

在这个视差信息获得单元中，针对每个画面根据关于画面显示屏幕的分区信息获得关于每个分区区域的视差信息。在这种情况下，例如，视差信息获得单元可根据关于画面显示屏幕的分区信息对画面显示屏幕进行分区，使得分区区域不与编码块边界交叉，然后可针对每个画面获得与每个分区区域相关的视差信息。

获得的视差信息通过视差信息插入单元插入通过对获得的图像数据进行编码而获得的视频流。以这种方式，通过视差信息插入单元插入视频流的每个画面的视差信息包括与画面显示屏幕相关的分区信息和与每个分区区域相关的视差信息。

图像数据发送单元发送包含插入了视差信息的视频流的预定格式的容器。例如，容器可以是在数字广播标准中定义的传输流（MPEG-2 TS）。可替换地，例如，容器可以是在因特网分发中使用的MP4或其他形式的容器。

如上面所述，在本技术中，针对图像数据的每个画面获得的视差信息插入视频流，然后发送该视频流。因此，能够以画面（帧）精度充分地执行要在接收侧中在三维图像上叠加并显示的图形的深度控制。此外，在本技术中，插入视频流的每个画面的视差信息包括与画面显示屏幕相关的分区信息和与每个分区区域相关的视差信息。因此，能够按照图形的显示位置充分地执行要在接收侧中在三维图像上叠加并且显示的图形的深度控制。

注意，在本技术中，例如，图像数据发送单元通过在容器中包括字幕流来发送容器，该字幕流通过对具有对应于显示位置的视差信息的字幕数据进行编码来获得。在这种情况下，在接收侧中，根据附加于字幕数据的视差信息来执行关于字幕的深度控制。例如，即使不存在上述视差信息插入视频流，如果存在字幕数据，则附加于这个字幕数据的视差信息仍可用于执行图形的深度控制。

此外，本技术的又一概念是接收设备，其包括：

图像数据接收单元，其接收包含视频流的预定格式的容器，该视频流通过对形成三维图像的左眼图像数据和右眼图像数据进行编码来获得，相对于右眼图像数据的与左眼图像数据相关的视差信息和相对于左眼图像数据的与右眼图像数据相关的视差信息插入视频流，针对图像数据的每个画面按照画面显示屏幕的预定数量的分区区域中的每一个来获得视差信息；

信息获得单元，其从容器中所包含的视频流获得左眼图像数据和右眼图像数据，并且还获得与图像数据的每个画面的每个分区区域相关的视差信息；

图形数据产生单元，其产生用于在图像上显示图形的图形数据；以及

图像数据处理单元，其针对每个画面通过利用获得的图像数据、获得的视差信息以及产生的图形数据将与要叠加在左眼图像和右眼图像上的图形的显示位置对应的视差附加于图形，从而获得指示图形叠加在其上的左眼图像的数据和指示图形叠加在其上的右眼图像的数据。

在本技术中，通过图像数据接收单元接收包含视频流的预定格式的容器。这个视频流通过对形成三维图像的左眼图像数据和右眼图像数据进行编码来获得。此外，相对于右眼图像数据的与左眼图像数据相关的视差信息和相对于左眼图像数据的与右眼图像数据相关的视差信息插入视频流中。按照画面显示屏幕的预定数量的分区区域中的每一个来针对图像数据的每个画面获得视差信息。

通过信息获得单元从容器中所包含的视频流获得左眼图像数据和右眼图像数据，并且还获得与图像数据的每个画面的每个分区区域相关的视差信息。此外，通过图形数据产生单元产生用于在图像上显示图形的图形数据。这个图形例如是OSD图形、应用图形等，或者指示服务内容的EPG信息。

图像数据处理单元通过利用获得的图像数据、获得的视差信息以及产生的图形数据获得指示图形叠加在其上的左眼图像的数据和指示图形叠加在其上的右眼图像的数据。在这种情况下，针对每个画面，将与要叠加在左眼图像和右眼图像上的图形的显示位置对应的视差附加于图形，从而获得指示图形叠加在其上的左眼图像的数据和指示图形叠加在其上的右眼图像的数据。例如，在图像数据处理单元中，通过利用从与图形的显示位置对应的预定数量分区区域的视差信息项之中选择的视差信息项，例如，通过利用最佳视差信息，诸如，最小值，可将视差附加于这个图形。

如上所述，在本技术中，根据插入从发送侧发送的视频流的视差信息，执行要在三维图像上叠加并且显示的图形的深度控制。在这种情况下，针对图像数据的每个画面获得的视差信息插入视频流，因此，能够以画面（帧）精度充分地执行图形的深度控制。此外，在这种情况下，插入视频流的每个画面的视差信息包括与画面显示屏幕相关的分区信息和与每个分区区域相关的视差信息。因此，能够按照图形的显示位置充分地执行图形的深度控制。

注意，在本技术中，例如，用于标识是否存在视差信息插入视频流的标识信息可插入容器的层中。接收设备可进一步包括从容器获得标识信息的标识信息获得单元。当获得的标识信息指示存在视差信息的插入时，信息获得单元可从容器中所包含的视频流获得视差信息。例如，当获得的标识信息指示不存在视差信息的插入时，图像数据处理单元可利用所计算的视差信息。在这种情况下，可容易地识别是否存在视差信息插入视频流并且可适当地执行图形的深度控制。

此外，在本技术中，例如，当字幕与图形的显示一起显示时，图像数据处理单元将视差附加于图形使得图形将在字幕的前面显示。在这种情况下，图形能够以不阻挡字幕的显示的好的方式进行显示。

此外，在本技术中，接收设备可进一步包括：视差信息更新单元，其根据图像上的图形的叠加对通过信息获得单元获得的与图像数据的每个画面的每个分区区域有关的视差信息进行更新；以及视差信息发送单元，其向外部装置发送这个经更新的视差信息，图像数据处理单元所获得的图像数据发送至该外部装置。

发明的有益效果

根据本技术，可充分地执行在接收侧中要在三维图像上叠加并且显示的图形的深度控制。

附图说明

图1是例示作为实施例的图像发送/接收系统的配置的示例的框图。

图2是例示关于每个块（块）的视差信息（视差矢量）的示例的示图。

图3示出了例示用于以块为单位产生视差信息的方法的示例的示图。

图4示出了例示用于从关于单个块的视差信息的项获得关于预定分区区域的视差信息的减小尺寸处理（downsizing processing）的示例的示图。

图5是例示画面显示屏幕被分区使得分区区域不与编码块边界交叉的示图。

图6是示意性地示出与每个画面的单个分区区域相关的视差信息的项的转变的示例的示图。

图7示出了例示针对图像数据的每个画面获得的视差信息被插入视频流时的时刻的示图。

图8是例示在广播站中产生传输流的发送数据产生单元的配置的示例的框图。

图9是例示传输流的配置的示例的示图。

图10示出了例示AVC视频描述符的结构（语法）和主要定义内容（语义）的示例的示图。

图11示出了例示MVC扩展描述符的结构（语法）和主要定义内容（语义）的示例的示图。

图12示出了例示图形深度信息描述符（graphics_depth_info_descriptor）的结构（语法）和主要定义内容（语义）的示例的示图。

图13例示了当编码方法是AVC时位于GOP的头部的访问单元的示例和不位于GOP的头部的访问单元的示例。

图14示出了例示“depth_information_for_graphics SEI message”的结构（语法）的示例和“depth_information_for_graphics_data()”的结构（语法）的示例的示图。

图15是例示当以画面为单位插入每个画面的视差信息时“depth_information_for_graphics()”的结构（语法）的示例的示图。

图16是例示在“depth_information_for_graphics()”的结构（语法）的示例中主要信息的内容（语义）的示图。

图17示出了例示画面显示屏幕的分区的示例的示图。

图18是例示当多个画面一起被编码时每个画面的视差信息的“depth_information_for_graphics()”的结构（语法）的示例的示图。

图19是例示在“depth_information_for_graphics()”的结构（语法）的示例中主要信息的内容（语义）的示图。

图20示出了例示“user_data()”的结构（语法）的示例和“depth_information_for_graphics_data()”的结构（语法）的示例的示图。

图21示出了例示利用视差信息的图形的深度控制的概念的示图。

图22是指示当以画面为单位在视频流中插入视差信息时根据图像数据的画面时刻依次获得视差信息的项的示图。

图23是指示当以GOP为单位在视频流中插入视差信息时根据图像数据的GOP的头部的时刻来一起获得GOP内的单个画面的视差信息的项的示图。

图24是例示图像上的字幕和OSD图形的显示示例的示图。

图25是例示电视接收机的解码单元的配置的示例的框图。

图26是例示深度控制单元所执行的控制的框图。

图27是例示深度控制单元所执行的控制处理的过程的示例的流程图（1/2）。

图28是例示深度控制单元所执行的控制处理的过程的示例的流程图（2/2）。

图29是例示在电视接收机中图形的深度控制的示例的示图。

图30是例示在电视接收机中图形的深度控制的另一示例的示图。

图31是例示图像发送/接收系统的配置的另一示例的框图。

图32是例示机顶盒的配置的示例的框图。

图33是例示利用电视接收机的HDMI的系统的配置的示例的框图。

图34是例示电视接收机中图形的深度控制的示例的示图。

图35是例示在利用双眼视差的三维图像显示中在屏幕上形成对象的左图像和右图像的显示位置与对象的三维图像的重放位置之间的关系的示图。

具体实施方式

下面将描述用于执行发明的模式（下文中，称为“实施例”）。将按照下面的顺序给出描述。

1.实施例

2.变形例

<1.实施例>

[图像发送/接收系统]

图1例示了作为实施例的图像发送/接收系统10的配置的示例。这个图像发送/接收系统10包括广播站100和电视接收机200。

“广播站的描述”

广播站100通过广播波发送用作容器的传输流TS。这个传输流TS包含通过对形成三维图像的左眼图像数据和右眼图像数据编码获得的视频数据流。例如，左眼图像数据和右眼图像数据通过一个视频流发送。在这种情况下，例如，左眼图像数据和右眼图像数据进行交织处理使得它们可形成为并排模式（side-by-side mode）图像数据和上下模式（top-and-bottom mode）图像数据并且可包含在一个视频流中。

可选地，例如，左眼图像数据和右眼图像数据通过不同的视频流发送。在这种情况下，例如，左眼图像数据包含在MVC基准视图流（MVCbase-view stream）中，而右眼图像数据包含在MVC非基准视图流（MVCnonbase-view stream）中。

在视频流中插入相对于右眼图像数据与左眼图像数据相关并且相对于左眼图像数据与右眼图像数据相关的针对图像数据的每个画面获得的视差信息（视差数据）。每个画面的视差信息由与画面显示屏幕有关的分区信息和与每个分区区域（分区（Partition））有关的视差信息构成。如果对象的重放位置位于屏幕的前面，则获得为负值的这个视差信息（参见图35的DPa）。另一方面，如果对象的重放位置位于屏幕的后面，则获得为正值的这个视差信息（参见图35的DPc）。

通过对关于每个块（块）的视差信息执行减小尺寸处理来获得关于每个分区区域的视差信息。图2例示了关于每个块（块）的视差信息（视差矢量）的示例。

图3示例了用于以块为单位产生视差信息的方法的示例。在本示例中，从左眼视图（左视图）获得指示右眼视图（右视图）的视差信息。在这种情况下，例如，在左眼视图画面中设定诸如4*4、8*8或16*16块的像素块（视差检测块）。

如图中所示，如下地找到视差数据。左眼视图画面用作检测图像，而右眼视图画面用作参考图像。那么，对于左眼视图画面的每个块，执行右眼视图画面的块搜索，使得可使像素之间的绝对差值的总和最小。

更具体地，第N块的视差信息DPn通过执行块搜索使得可使在这第N块中的绝对差值的总和最小来找到，例如，如通过下面的等式（1）所指示的。在等式（1）中，Dj表示右眼视图图像中的像素值，Di表示左眼视图图像中的像素值。

DPn=min(Σabs(differ(Dj-Di)))    ...(1)

图4示例减小尺寸处理的示例。图4（a）例示了如上面所陈述的已找到的与每个块相关的视差信息。根据关于每个块的这个视差信息，找到关于每个组（块组）的视差信息，如图4（b）中所示。组对应于块的更高层，并且通过对多个相邻的块分组来获得。在图4（b）中所示的示例中，每个组由通过虚线框围绕的四个块组成。然后，例如，通过从与组内的所有块相关的视差信息的项之中选择指示最小值的视差信息的项来获得每个组的视差矢量。

然后，根据每个组的这个视差矢量，找到每个关于每个分区（分区）的视差信息，如图4（c）中所示。分区对应于组的更高层，并且通过对多个相邻的组分组来获得。在图4（c）中所示的示例中，每个分区由通过虚线框围绕的两个组组成。然后，例如，通过从与分区内的所有组相关的视差信息的项之中选择指示最小值的视差信息的项来获得关于每个分区的视差信息。

然后，根据关于每个分区的这个视差信息，找到位于最高层的关于整个画面（整个图像）的视差信息，如图4（d）中所示。在图4（d）中所示的示例中，整个画面包括通过虚线框围绕的四个分区。然后，例如，通过从与整个画面中所包括的所有分区相关的视差信息的项中选择指示最小值的视差信息的项来获得关于整个画面的视差信息。

如上面所陈述的，根据分区信息来分区画面显示屏幕，并且获得与每个分区区域相关的视差信息。在这种情况下，对画面显示屏幕进行分区，使得分区区域不与编码块边界交叉。图5例示了画面显示屏幕的分区的详细示例。在这个示例中，借助于示例示出了1920*1080像素格式。1920*1080像素格式在水平和垂直方向中的每一个方向上被分区成两个分区区域从而获得了四个分区区域，诸如分区A、分区B、分区C以及分区D。由于在发送侧，以16×16块为单位执行编码，添加由空白数据组成的8条线，对得到的1920-像素*1088-线图像数据执行编码。因此，关于垂直方向，根据1088线将图像数据分区成两个区域。

如上面所陈述的，在视频流中插入针对图像数据的每个画面（帧）获得的与每个分区区域（分区）相关的视差信息。图6示意性地例示了与单个分区区域相关的视差信息的项的转变的示例。在这个示例中，画面显示屏幕在水平方向和垂直方向中的每一个方向上被分区成四个分区区域，结果，存在16个分区区域，诸如分区0至分区15。在这个示例中，为了简化绘图，仅示出分别与分区0、分区3、分区9以及分区15相关的视差信息项D0、D3、D9以及D15的转变。视差信息项的值可随时间变化（D0、D3以及D9）或者可以固定不变（D15）。

通过利用一个单位，诸如以画面为单位或以GOP为单位，在视频流中插入针对图像数据的每个画面获得的视差信息。图7（a）例示了与画面编码同步地插入视差信息的示例，即，视差信息以画面为单位插入视频流的示例。在这个示例中，当发送图像数据时仅出现小的延迟，因此，这个示例适合于发送摄像机摄取的图像数据的现场广播。

图7（b）例示了与编码视频的I画面（帧内画面）或GOP（画面组）同步地插入视差信息的示例，即，视差信息以GOP为单位插入视频流的示例。在这个示例中，当发送图像数据时出现比图7（a）的示例中更大的延迟。然而，一次发送关于多个画面（帧）的视差信息，因此可减少在接收侧用于获得视差信息的处理次数。图7（c）例示了与视频场景同步地插入视差信息的示例，即，视差信息以场景为单位插入视频流的示例。图7（a）至图7（c）中所示的示例仅是示例，可通过利用其他单位插入视差信息。

然而，用于标识是否存在视差信息插入视频流的标识信息插入传输流TS的一个层。这个标识信息插入（例如）传输流TS中所包含的节目映射表（PMT：Program Map Table）或事件信息表（EIT：Event InformationTable）下面。由于这个标识信息，接收侧能够容易地识别是否存在视差信息插入视频流。稍后将给出这个标识信息的细节。

“发送数据产生单元的配置示例”

图8例示了在广播站100中产生上述传输流TS的发送数据产生单元110的配置的示例。这个发送数据产生单元110包括图像数据输出单元111L和111R、缩放器112L和112R、视频编码器113、多路复用器114以及视差数据产生单元115。这个发送数据产生单元110还包括字幕数据输出单元116、字幕编码器117、声音数据输出单元118以及音频编码器119。

图像数据输出单元111L和111R分别输出形成三维图像的左眼图像数据VL和右眼图像数据VR。图像数据输出单元111L和111R由（例如）摄取主题（subject）的图像并且输出图像数据的摄像机、从存储介质读取图像数据并且输出所读取的图像数据的图像数据读取器等构成。图像数据VL和图像数据VR均是（例如）具有1920*1080全高清尺寸的图像数据。

缩放器112L和112R根据需要在水平方向上或者在垂直方向上对图像数据VL和图像数据VR分别执行缩放处理。例如，如果为了通过一个视频流发送图像数据VL和图像数据VR而形成并排模式或上下模式图像数据，则缩放器112L和112R分别在水平方向上或在垂直方向上将图像数据LV和图像数据VR缩小1/2，然后输出经缩放的图像数据VL和经缩放的图像数据VR。可选地，例如，如果图像数据VL和图像数据VR通过不同的视频流发送，诸如通过MVC基准视图流和MVC非基准视图流，则缩放器112L和112R分别输出未执行缩放处理的照原样的图像数据VL和图像数据VR。

视频编码器113分别对从缩放器112L和112R输出的左眼图像数据和右眼图像数据执行例如MPEG4-AVC(MVC)、MPEG2video、HEVC等的编码，从而获得经编码的视频数据。这个视频编码器113还通过利用流格式化器（未示出）产生包含这个经编码的数据的视频流，流格式化器在后级中设置。在这种情况下，视频编码器113产生包含左眼图像数据的经编码的视频流和右眼图像数据的经编码的视频流的一个或两个视频流（视频基本流）。

视差数据产生单元115根据分别从图像数据输出单元111L和111R输出的左眼图像数据VL和右眼图像数据VR产生每个画面（帧）的视差信息。视差数据产生单元115针对每个画面如上面所陈述的获得关于每个块（块）的视差信息。注意，如果图像数据输出单元111L和111R由具有存储介质的图像数据读取器组成，则可考虑视差数据产生单元115的下列配置，即，视差数据产生单元可通过从存储介质读取关于每个块（块）的视差信息和图像数据来获得该视差信息。此外，视差数据产生单元115根据通过（例如）用户操作供给的关于画面显示屏幕的分区信息对关于每个块（块）的视差信息执行减小尺寸处理，从而产生关于每个分区区域（分区）的视差信息。

视频编码器113将视差数据产生单元115所产生的每个画面的视差信息插入视频流。在这种情况下，每个画面的视差信息由与画面显示屏幕相关的分区信息和与每个分区区域相关的视差信息组成。在这种情况下，例如，每个画面的视差信息以画面为单位或者以GOP为单位插入视频流（参见图7）。注意，如果通过不同的视频数据项来发送左眼图像数据和右眼图像数据，则视差信息可仅插入视频流中一个。

字幕数据输出单元116输出指示要叠加在图像上的字幕的数据。这个字幕数据输出单元116由（例如）个人计算机等组成。字幕编码器117产生包含从字幕数据输出单元116输出的字幕数据的字幕流（字幕基本流）。注意，字幕编码器117涉及视差数据产生单元115产生的关于每个块的视差信息并且将向字幕数据添加与字幕的显示位置对应的视差信息。即，字幕流中所包含的字幕数据具有与字幕的显示位置对应的视差信息。

声音数据输出单元118输出与图像数据对应的声音数据。这个声音数据输出单元118由（例如）麦克风或从存储介质读取声音数据并且输出所读取的声音数据的声音数据读取器组成。音频编码器119对从声音数据输出单元118输出的声音数据执行诸如MPEG-2 Audio、AAC等的编码，从而产生音频流（音频基本流）。

多路复用器114将由视频编码器113、字幕编码器117以及音频编码器119产生的基本流形成为PES数据包并且多路复用该PES包，从而产生传输流TS。在这种情况下，为了使接收侧能执行同步的重放，将PTS（显示时间戳）插入每个PES（打包的基本流）数据包的报头。

多路复用器114将上述的标识信息插入传输流TS的层中。这个标识信息是标识是否存在视差信息插入视频流的。这个标识信息插入（例如）传输流TS中所包含的节目映射表（PMT：Program Map Table）、事件信息表（EIT：Event Information Table）等下面。

将简要讨论图8中所示的发送数据产生单元110的操作。分别从图像数据输出单元111L和111R输出的形成三维图像的左眼图像数据VL和右眼图像数据VR分别供给至缩放器112L和112R。在缩放器112L和112R中，根据需要在水平方向上或在垂直方向上分别对图像数据VL和图像数据VR执行缩放处理。分别从缩放器112L和112R输出的左眼图像数据和右眼图像数据供给至视频编码器113。

在视频编码器113处，对左眼图像数据和右眼图像数据执行例如MPEG4-AVC(MVC)、MPEG2video、HEVC等的编码，从而获得经编码的视频数据。在这个视频编码器113中，还通过利用流格式化器（未示出）产生包含这个经编码的数据的视频流，流格式化器在后级中设置。在这种情况下，产生包含左眼图像数据的经编码视频数据和右眼图像数据的经编码视频数据的一个或两个视频流（视频基本流）。

分别从图像数据输出单元111L和111R输出的形成三维图像的左眼图像数据VL和右眼图像数据VR还供给至视差数据产生单元115。在这个视差数据产生单元115中，根据左眼图像数据VL和右眼图像数据VR针对每个画面（帧）产生视差信息。在视差数据产生单元115中，对于每个画面获得关于每个块（块）的视差信息。此外，在这个视差数据产生单元115中，根据通过（例如）用户操作供给的关于画面显示屏幕的分区信息对关于每个块（块）的视差信息执行减小尺寸处理，从而产生关于每个分区区域（分区）的视差信息。

由视差数据产生单元115产生的针对每个画面的视差信息（包括关于画面显示屏幕的分区信息）供给至视频编码器113。在视频编码器113中，每个画面的视差信息插入视频流。在这种情况下，例如，每个画面的视差信息以画面为单位或以GOP为单位插入视频流。

此外，从字幕数据输出单元116输出指示要叠加在图像上的字幕的数据。这个字幕数据供给至字幕编码器117。在字幕编码器117中，产生包含字幕数据的字幕流。在这种情况下，在字幕编码器117中，检查视差数据产生单元115所产生的关于每个块的视差信息，并且向字幕数据添加与显示位置对应的视差信息。

此外，从声音数据输出单元118输出与图像数据对应的声音数据。这个声音数据供给至音频编码器119。在这个音频编码器119中，对声音数据执行诸如MPEG-2Audio、AAC等的编码，从而产生音频流。

通过视频编码器113获得的视频流、通过字幕编码器117获得的字幕流以及通过音频编码器119获得的音频流供给至多路复用器114。在多路复用器114中，从单独编码器供给的基本流形成PES数据包并且这些PES数据包被多路复用，从而产生传输流TS。在这种情况下，为了使接收侧能执行同步重放，PTS插入每个PES报头。此外，在多路复用器114中，用于标识是否存在视差信息插入视频流的标识信息插入PMT、EIT等下面。

[标识信息、视差信息的结构以及TS构成]

图9例示了传输流TS的构成的示例。在这个构成示例中，示出了其中左眼图像数据和右眼图像数据通过不同的视频流发送的示例。即，包括了通过对左眼图像数据编码获得的视频流的PES数据包“视频PES1”和通过对右眼图像数据编码获得的视频流的PES数据包“视频PES2”。此外在这个构成示例中，包括了通过对字幕数据（包括视差信息）编码获得的字幕流的PES数据包“视频PES3”和通过对声音数据编码获得的音频流的PES数据包“视频PES4”。

在视频流的用户数据区中，插入了包括每个画面的视差信息的图形的深度信息（depth_information_for_graphics()）。例如，如果以画面为单位插入每个画面的视差信息，则在视频流的每个画面的用户数据区插入这个图形的深度信息。可选地，例如，如果以GOP为单位插入每个画面的视差信息，则这个图形的深度信息插入视频流的每个GOP的第一画面的用户数据区。注意，尽管这个构成示例示出了图形的深度信息插入两个视频流中的每一个，但图形的深度信息可仅插入视频流中的一个。

PMT（节目映射表）包含在传输流TS中作为PSI（节目特定信息，Program Specific Information）。这个PSI是指示传输流TS中所包含的每个基本流属于哪个节目的信息。可选地，EIT（事件信息表）包含在传输流TS中作为对事件单元进行管理的SI（服务信息）。

在PMT下，存在具有关于每个基本流的信息的基本环（elementaryloop）。在这个基本环中，针对每个流设置了诸如数据包标识符（PID）的信息，并且还设置了描述与相关联的基本流相关的信息的描述符。

例如，在插入节目映射表的视频基本环下面的描述符中描述了指示是否在视频流中插入了视差信息的上述标识信息。这个描述符例如是现存AVC视频描述符（AVC video descriptor）、现存MVC扩展描述符（MVC_extension_descriptor），或近来定义的图形深度信息描述符（graphics_depth_info_descriptor）。注意，图形深度信息描述符可插入在EIT下面，如图中通过虚线所指示的。

图10（a）例示了其中描述了标识信息的AVC视频描述符（AVC videodescriptor）的结构（语法）的示例。当视频是MPEG4-AVC帧可兼容格式时，这个描述符是可应用的。这个描述符自身已包含在H.264/AVC标准内。在这种构成中，在描述符中，新定义了一位标志（flag）信息“graphics_depth_info_not_existed_flag”。

这个标志信息指示，如图10（b）的定义内容（语义）中所示的，是否在对应的视频流中插入了包括每个画面的视差信息的图形的深度信息（depth_information_for_graphics()）。当这个标志信息是“0”时，其指示插入了图形的深度信息。另一方面，当这个标志信息是“1”时，其指示了没有插入图形的深度信息。

图11（a）例示了在其中描述了标识信息的MVC扩展描述符的结构（语法）的示例。当视频是MPEG4-AVCAnnex H MVC格式时，这个描述符是可应用的。这个描述符自身已包含在H.264/AVC标准中。在这个构成中，在该描述符中，新定义了一位标志信息“graphics_depth_info_not_existed_flag”。

这个标记信息指示，如图11（b）的定义内容（语义）中所示的，是否在对应的视频流中插入了包括每个画面的视差信息的图形的深度信息（depth_information_for_graphics()）。当这个标志信息是“0”时，其指示插入了图形的深度信息。另一方面，当这个标志信息是“1”时，其指示了没有插入图形的深度信息。

图12（a）例示了图形深度信息描述符（graphics_depth_info_descriptor）的结构（语法）的示例。8位字段“descriptor_tag”指示这个描述符是“graphics_depth_info_descriptor”。8位字段“descriptor_length”指示随后的数据的字节数。在这个描述符中，描述了一位标志信息“graphics_depth_info_not_existed_flag”。

这个标记信息指示，如图12（b）的定义内容（语义）中所示，是否在对应视频流中插入了包括每个画面的视差信息的图形的深度信息（depth_information_for_graphics()）。当这个标志信息是“0”时，其指示插入了图形的深度信息。另一方面，当这个标志信息是“1”时，其指示没有插入图形的深度信息。

然后，将给出这种情况的描述，其中，包括每个画面的视差信息的图形的深度信息（depth_information_for_graphics()）插入视频流的用户数据区。

例如，如果编码方法是AVC，则“depth_information_for_graphics()”插入访问单元的“SEL”作为“depth_information_for_graphics SEImessage”。图13（a）例示了位于GOP（画面组）的头部的访问单元，图13（b）例示了不位于GOP的头部的访问单元。如果以GOP为单位插入每个画面的视差信息，则“depth_information_for_graphics SEImessage”仅插入位于GOP的头部的访问单元。

图14（a）例示了“depth_information_for_graphics SEI message”的结构（语法）的示例。字段“uuid_iso_iec_11578”具有通过“ISO/IEC11578:1996 AnnexA.”指示的UUID值。在“user_data_payload_byte”字段中，插入了“depth_information_for_graphics_data()”。图14（b）例示了“depth_information_for_graphics_data()”的结构（语法）的示例。在这个结构中，插入了图形的深度信息（depth_information_for_graphics()）。字段“userdata_id”是通过无符号的16位指示的“depth_information_for_graphics()”的标识符。

图15例示了当以画面为单位插入每个画面的视差信息时“depth_information_for_graphics()”的结构（语法）的示例。此外，图16例示了在图15中所示的结构的示例中的主要信息的内容（语义）。

3位字段“partition_type”指示画面显示屏幕的分区类型。“000”指示画面显示屏幕未进行分区，“001”指示画面显示屏幕在水平方向和垂直方向中的每个方向上分区成两个区域，“010”指示画面显示屏幕在水平方向和垂直方向中的每个方向上分区成三个区域，以及“011”指示画面显示屏幕在水平方向和垂直方向中的每个方向上分区成四个区域。

4位字段“partition_count”指示分区区域（分区）的总数，这是一个取决于上述“partition_type”的值。例如，在“partition_type=000”的情况下，分区区域（分区）的总数量是“1”，如图17（a）中所示。此外，例如，在“partition_type=001”的情况下，分区区域（分区）的总数量是“4”，如图17（b）中所示。此外，例如，在“partition_type=011”的情况下，分区区域（分区）的总数量是“16”，如图17（c）中所示。

8位字段“disparity_in_partition”指示与每个分区区域（分区）相关的代表视差信息（代表视差值）。在多数情况下，代表视差信息是相关联的区域的视差信息的项的最小值。

图18例示了当一起编码多个画面时，诸如当以GOP为单位插入每个画面的视差信息时，“depth_information_for_graphics()”的结构（语法）的示例。此外，图19例示了图18中所示的结构的示例中主要信息的内容（语义）。

6位字段“picture_count”指示画面的数量。在这个“depth_information_for_graphics()”中，包含了关于与画面的数量相关联的分区区域的信息的项“disparity_in_partition”。尽管将省略详细的解释，但图18中所示的结构的示例中的其他字段类似于图15中所示的那些字段。

此外，如果编码的方法是MPEG2video，则“depth_information_for_graphics()”插入画面报头的用户数据区域作为用户数据“user_data()”。图20（a）例示了“user_data()”的结构（语法）的示例。32位字段“user_data_start_code”是用户数据（user_data）的开始代码，并且设定为固定值“0x000001B2”。

在这个开始代码之后的32位字段是用于标识用户数据的内容的标识符。在这种情况下，标识符设定为

“depth_information_for_graphics_data_identifier”，其使得可标识出用户数据是“depth_information_for_graphics_data”。插入“depth_information_for_graphics_data()”，作为这个标识符之后的数据体。图20（b）例示了“depth_information_for_graphics_data()”的结构（语法）的示例。在这个结构中，插入“depth_information_for_graphics()”（参见图15和图18）。

应当注意，已讨论了其中当编码方法是AVC或MPEG2video时视差信息插入视频流的示例。尽管将省略详细的解释，但即使在具有类似结构的其他编码方法（例如，HEVC等）的情况中，仍能够利用类似的结构执行在视频流中插入视差信息。

“电视接收机的描述”

电视接收机200接收从广播站100通过广播波发送的传输流TS。电视接收机200还对这个传输流TS中所包含的视频流进行解码从而产生形成三维图像的左眼图像数据和右眼图像数据。电视接收机200还提取插入视频流的图像数据的每个画面的视差信息。

当在图像上叠加并显示图形时，电视接收机200通过利用图像数据和视差信息并且通过利用图形数据来获得指示图形叠加在其上的左眼图像和右眼图像的数据。在这种情况下，电视接收机200针对每个画面将要叠加在左眼图像和右眼图像上的与图形的显示位置对应的视差附加于这个图形，从而获得指示图形叠加在其上的左眼图像的数据和指示图形叠加在其上的右眼图像的数据。

如上面所陈述的，通过将视差附加于图形，能够在位于图形的显示位置的三维图像的对象前面显示要叠加并且显示在三维图像上的图形。因此，当在图像上叠加并且显示诸如OSD图形、应用图形、节目信息EPG图形等的图形时，能够保持关于图像内的对象的图形的透视匹配。

图21例示了利用视差信息的图形的深度控制的概念。如果视差信息指示负值，则附加视差，使得左眼显示用图形可在屏幕上朝右侧移位并且使得右眼显示用图形可在屏幕上朝左侧移位。在这种情况下，图形的显示位置在屏幕的前面。另一方面，如果视差信息指示正值，则附加视差，使得左眼显示用图形可在屏幕上朝左侧移位并且使得右眼显示用图形可在屏幕上朝右侧移位。在这种情况下，图形的显示位置在屏幕的后面。

如上面所陈述的，在视频流中插入针对图像数据的每个画面获得的视差信息。因此，电视接收机200能够通过使用与图形的显示时刻匹配的视差信息以高精度执行利用视差信息的图形的深度控制。

图22例示了其中以画面为单位在视频流中插入视差信息并且在电视接收机200中按照图像数据的画面时刻依次获得视差信息的项的示例。当显示图形时，使用与图形的显示时刻匹配的视差信息，因此，适合的视差能够添加于图形。此外，图23例示了（例如）以GOP为单位在视频流中插入视差信息并且在电视接收机200中根据图像数据的GOP的头部的时刻一起获得GOP内各个画面的视差信息的项（视差信息集）。当显示图形时，使用与图形的显示时刻匹配的视差信息，因此能够对图形附加合适的视差。

图24（a）中的“侧视图”示出了在图像上的字幕和OSD图形的显示示例。这个显示示例是其中字幕和图形叠加在由背景、中景对象以及前景对象组成的图像上的示例。图24（b）中的“俯视图”示出了背景、中景对象、前景对象、字幕以及图形的透视。图24（b）示出的是，能够观察到字幕和图形位于被定位在字幕和图形的显示位置处的对象的前面。注意，尽管未示出，但如果字幕的显示位置与图形的显示位置叠加，则对图形附加合适的视差，使得（例如）能够观察到图形位于字母的前面。

“电视接收机的解码器的配置示例”

图25例示了电视接收机200的配置的示例。电视接收机200包括容器缓冲器211、解复用器212、编码缓冲器213、视频解码器214、解码缓冲器215、缩放器216以及叠加单元217。

电视接收机200还包括视差信息缓冲器218、电视（TV）图形产生单元219、深度控制单元220以及图形缓冲器221。电视接收机200还包括编码缓冲器231、字幕解码器232、像素缓冲器233、字幕视差信息缓冲器234以及字幕显示控制单元235。电视接收机200还包括编码缓冲器241、音频解码器242、音频缓冲器243以及声道混合单元244。

容器缓冲器211在其中暂时存储通过数字调谐器等接收的传输流TS。在这个传输流TS中，包含视频流、字幕流以及音频流。包含了作为视频流的通过对左眼图像数据和右眼图像数据编码获得的一个或两个视频流。

例如，可从左眼图像数据和右眼图像数据形成并排模式图像数据或上下模式图像数据，在这种情况下，左眼图像数据和右眼图像数据可通过一个视频流来发送。可选地，例如，可通过不同的视频流，诸如，通过MVC基准视图流和MVC非基准视图流，来发送左眼图像数据和右眼图像数据。

解复用器212从暂时存储在容器缓冲器211中的传输流TS提取单个的流，即，视频流、字幕流以及音频流。解复用器212还从传输流TS提取指示在视频流中是否插入视差信息的标识信息（“graphics_depth_info_not_existed_flag”的标志信息），并且将标识信息发送至未示出的控制单元（CPU）。当标识信息指示插入了视差信息时，视频解码器214在控制单元（CPU）的控制下从视频流获得视差信息，这将在后面描述。

编码缓冲器213在其中暂时存储通过解复用器212提取的视频流。视频解码器214对编码缓冲器213中所存储的视频流执行解码处理，从而获得左眼图像数据和右眼图像数据。视频解码器214还获得视频流中所插入的图像数据的每个画面的视差信息。在每个画面的视差信息中，包含关于画面显示屏幕的分区信息和关于每个分区区域（分区）的视差信息（视差）。解码缓冲器215在其中暂时存储通过视频解码器214获得的左眼图像数据和右眼图像数据。此外，视频信息缓冲器218在其中暂时存储视频解码器214所获得的图像数据的每个画面的视差信息。

缩放器216根据需要在水平方向上或在垂直方向上对从解码缓冲器215输出的左眼图像数据和右眼图像数据执行缩放处理。例如，如果左眼图像数据和右眼图像数据通过作为并排模式或上下模式图像数据的一个视频流来发送，则缩放器116在水平方向上或在垂直方向上将左眼图像数据和右眼图像数据放大1/2，然后输出经缩放的左眼图像数据和经缩放的右眼图像数据。可选地，例如，如果左眼图像数据和右眼图像数据通过不同的视频流发送，诸如通过MVC基准视图流和MVC非基准视图流，则缩放器116输出未执行缩放处理的照原样的左眼图像数据和右眼图像数据。

编码缓冲器231在其中暂时存储通过解复用器214提取的字幕流。字幕解码器232执行与发送数据产生单元110（参见图8）的上述字幕编码器117所执行的处理相反的处理。即，字幕解码器232对编码缓冲器231中所存储的字幕流执行解码处理，从而获得字幕数据。

在这个字幕数据中，包含指示字幕的位图数据、关于这个字幕的显示位置信息“字幕渲染位置(x2,y2)”以及关于该字幕的视差信息“字幕视差”。像素缓冲器233在其中暂时存储通过字幕解码器232获得的指示字幕的位图数据和关于字幕的显示位置信息“字幕渲染位置(x2,y2)”。字幕视差信息缓冲器234在其中暂时存储通过字幕解码器232获得的关于字幕的视差信息“字幕视差”。

根据指示字幕的位图数据和关于这个字幕的显示位置信息和视差信息，字幕显示控制单元235产生指示设置有视差的左眼显示用字幕的位图数据“字幕数据”和指示设置有视差的右眼显示用字幕的位图数据“字幕数据”。电视图形产生单元219产生图形数据，诸如OSD图形数据，应用图形数据等，在这个图形数据中，包含了关于这个图形的图形位图数据“图形数据”和显示位置信息“图形渲染位置(x1,y1)”。

图形缓冲器221在其中暂时存储电视图形产生单元219所产生的图形位图数据“图形数据”。叠加单元217分别在左眼图像数据和右眼图像数据上叠加由字幕显示控制单元235产生的指示左眼显示用字幕的位图数据“字幕数据”和指示右眼显示用字幕的位图数据“字幕数据”。

叠加单元217还在左眼图像数据和右眼图像数据上叠加图形缓冲器221中所存储的图形位图数据“图形数据”。在这种情况下，通过将在后面描述的深度控制单元220对要叠加在左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”附加视差。在这种情况下，如果图形位图数据“图形数据”具有与字幕位图数据“字幕数据”的像素相同的像素，则叠加单元217用图形数据重写字幕数据。

深度控制单元220将视差附加于要叠加在左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。因此，深度控制单元220针对图像数据中的每个画面产生与左眼显示用图形和右眼显示用图形相关的显示位置信息“渲染位置”，并且对于在图形缓冲器221中所存储的图形位图数据“图形数据”将叠加在左眼图像数据和右眼图像数据上的叠加位置执行叠加位置的移位控制。

深度控制单元220通过下列的信息的项来产生如图26中所示的显示位置信息“渲染位置”。即，深度控制单元220利用与视差信息缓冲器218中所存储的图像数据的每个画面的每个分区区域（分区）相关的视差信息（视差）。深度控制单元220还利用与像素缓冲器233中所存储的字幕相关的显示位置信息“字幕渲染位置(x2,y2)”。

深度控制单元220还利用与字幕视差信息缓冲器234中所存储的字幕有关的视差信息“字幕视差”。深度控制单元220还利用与电视图形产生单元219所产生的图形相关的显示位置信息“图形渲染位置(x1,y1)”。深度控制单元220还利用指示是否在视频流中插入视差信息的标识信息。

图27和图28的流程图例示了深度控制单元220所执行的控制处理的过程的示例。深度控制单元220对用于显示图形的每个画面（帧）执行这个控制处理。在步骤ST1中，深度控制单元220开始控制处理。之后，在步骤ST2中，深度控制单元220根据标识信息来确定是否存在图形的视差信息插入视频流。

如果存在视差信息插入视频流，则深度控制单元220进行步骤ST3的处理。在这个步骤ST3中，深度控制单元220检查包含图形将在此处叠加和显示的坐标的所有分区区域（分区）。然后，在步骤ST4中，深度控制单元220将所检查的分区区域相关的视差信息的项彼此比较，选择合适的值，例如，最小值，然后将所选择的值设定成图形视差信息（视差）的值（图形视差）。

然后，深度控制单元220进行步骤ST5的处理。如果在上述的步骤ST2中发现不存在视差信息插入视频流，则深度控制单元220直接进行到步骤ST5的处理。在这个步骤ST5中，深度控制单元220确定是否存在具有视差信息（视差）的字幕流（字幕流）。

如果存在具有视差信息（视差）的字幕流（字幕流），在步骤ST6中，深度控制单元220将字幕视差信息（视差）的值（subtitle_disparity）与图像视差信息的值（graphics_disparity）相比较。注意，如果不存在图形视差信息（视差）插入视频流，则图形视差信息的值（graphics_disparity）设定成（例如）“0”。

然后，在步骤ST7中，深度控制单元220确定是否满足条件“subtitle_disparity>(graphics_disparity)”。如果这个条件满足，则在步骤ST8中，深度控制单元220通过利用与图形视差信息（视差）的值相等的值移动图形缓冲器221中所存储的图形位图数据“图形数据”的显示位置来获得左眼显示用图形位图数据和右眼显示用图形位图数据，并且分别在左眼图像数据和右眼图像数据上叠加左眼显示用图形位图数据和右眼显示用图形位图数据。在步骤ST8的处理之后，深度控制单元220在步骤ST9中完成控制处理。

另一方面，如果在步骤ST7中发现不满足条件，则在步骤ST10中，深度控制单元220通过利用比字幕视差信息（视差）的值小的值移动图形缓冲器221中所存储的图形位图数据“图形数据”的显示位置来获得左眼显示用图形位图数据和右眼显示用图形位图数据，并且分别在左眼图像数据和右眼图像数据上叠加左眼显示用图形位图数据和右眼显示用图形位图数据。在步骤ST10的处理之后，深度控制单元220在步骤ST9中完成控制处理。

此外如果在步骤ST5中发现不存在具有视差信息（视差）的字幕流（字幕流），则在步骤ST11中，深度控制单元220通过利用电视接收机200中所计算的视差信息（视差）的值移动图形缓冲器221中所存储的图形位图数据“图形数据”的显示位置来获得左眼显示用图形位图数据和右眼显示用图形位图数据，并且分别在左眼图像数据和右眼图像数据上叠加左眼显示用图形位图数据和右眼显示用图形位图数据。在步骤ST11的处理之后，深度控制单元220在步骤ST9中完成控制处理。

编码缓冲器241在其中暂时存储解复用器212所提取的音频流。音频解码器242执行与发送数据产生单元110的上述音频编码器119（参见图8）所执行的处理相反的处理。即，音频解码器242对编码缓冲器241中所存储的音频流执行解码处理，从而获得经解码的声音数据。音频缓冲器243在其中暂时存储通过音频解码器242所获得的声音数据。对于音频缓冲器243中所存储的声音数据，声道混合单元244产生用于实现（例如）5.1声道环绕声等的每个声道的声音数据，并且输出所产生的声音数据。

注意，根据PTS来执行从解码缓冲器215、视差信息缓冲器218、像素缓冲器233、字幕视差信息缓冲器234以及音频缓冲器243读取信息（数据）从而提供传输同步。

将简要讨论图25中所示的电视接收机200的操作。数字调谐器等所接收的传输流TS暂时存储在容器缓冲器211中。在这个传输流TS中，包含视频流、字幕流以及音频流。包含了作为视频流的通过对左眼图像数据和右眼图像数据编码获得的一个或两个视频流。

在解复用器212中，从容器缓冲器211中所暂时存储的传输流TS提取单个流，即，视频流、字幕流以及音频流。此外，在解复用器212中，从这个传输流TS提取指示是否在视频流中插入了视差信息的标识信息（“graphics_depth_info_not_existed_flag”的标志信息），并且将该标识信息发送至未示出的控制单元（CPU）。

解复用器212所提取的视频流供给至编码缓冲器213并且暂时存储在其中。然后，在视频解码器214中，对编码缓冲器213中所存储的视频流执行解码处理，从而获得左眼图像数据和右眼图像数据。这些左眼图像数据和右眼图像数据暂时存储在解码缓冲器215中。此外，在视频解码器214中，获得在视频流中插入的图像数据的每个画面的视差信息。这个视差信息暂时存储在视差信息缓冲器218中。

在缩放器216中，根据需要在水平方向上或者在垂直方向上对解码缓冲器215所输出的左眼图像数据和右眼图像数据执行缩放处理。从这个缩放器216获得（例如）具有1920*1080全高清尺寸的左眼图像数据和右眼图像数据。这些左眼图像数据和右眼图像数据供给至叠加单元217。

此外，解复用器212所提取的字幕流供给至编码缓冲器231并且暂时存储在其中。在字幕解码器232中，对编码缓冲器231中所存储的字幕流执行解码处理从而获得字幕数据。在这个字幕数据中，包含指示字幕的位图数据、关于这个字幕的显示位置信息“字幕渲染位置(x2,y2)”以及关于该字幕的视差信息“字幕视差”。

通过字幕解码器232获得的指示字幕的位图数据、关于该字幕的显示位置信息“字幕渲染位置(x2,y2)”暂时存储在像素缓冲器233中。此外，通过字幕解码器232获得的关于字幕的视差信息“字幕视差”暂时存储在字幕视差信息缓冲器234。

在字幕显示控制单元235中，根据指示字幕的位图数据和关于这个字幕的显示位置信息和视差信息，产生附加有视差的指示左眼显示用字幕的位图数据“字幕数据”和附加有视差的指示右眼显示用字幕的位图数据“字幕数据”。以此方式产生的指示左眼显示用字幕的位图数据“字幕数据”和指示右眼显示用字幕的位图数据“字幕数据”供给至叠加单元217，并且分别叠加在左眼图像数据和右眼图像数据上。

在电视（TV）图形产生单元219中，产生诸如OSD图形数据、应用图形数据、EPG图形数据等的图形数据。在这个图形数据中，包含关于这个图形的图形位图数据“图形数据”和显示位置信息“图形渲染位置(x1,y1)”。在图形缓冲器221中，暂时存储电视图形产生单元219所产生的图形数据。

在叠加单元217中，在左眼图像数据和右眼图像数据上叠加图形缓冲器221中所存储的图形位图数据“图形数据”。在这种情况下，根据对应于图像显示位置的视差信息，通过深度控制单元220将视差附加于要叠加在左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。在这种情况下，如果图形位图数据“图形数据”具有与字幕位图数据“字幕数据”的像素相同的像素，则由叠加单元217将字幕数据覆盖写在图形数据之上。

从叠加单元217获得了左眼显示用字幕和图形叠加在其上的左眼图像数据并且还获得了右眼显示用字幕和图形叠加在其上的右眼图像数据。这些图像数据的项发送至用于显示三维图像的处理单元，然后显示三维图像。

解复用器212所提取的音频流供给至编码缓冲器241并且暂时存储在其中。在音频解码器242中，对编码缓冲器241中所存储的音频数据流执行解码处理从而获得经解码的声音数据。这个声音数据经过音频缓冲器243供给至声道混合单元244。在声道混合单元244中，对于声音数据，产生用于实现（例如）5.1声道环绕声等的每个声道的声音数据。这个声音数据供给至（例如）麦克风，并且根据三维图像的显示输出声音。

图29例示了电视接收机200中的图形的深度控制的示例，在这个示例中，在图形中，根据在右侧的八个分区区域（分区2、3、6、7、10、11、14、15）中的视差信息项之中指示最小值的视差信息项，将视差附加于左眼显示用图形和右眼显示用图形中的每一个。结果，在这8个分区区域中，图形显示在图像（视频）对象的前面。

图30还例示了电视接收机200中的图形的深度控制的示例。在这个示例中，在图形中，根据在右侧的八个分区区域（分区2、3、6、7、10、11、14、15）中的视差信息项之中指示最小值的视差信息项并且还基于关于字幕的视差信息，将视差附加于左眼显示用图形和右眼显示用图形中的每一个。结果，在这8个分区区域中，图形显示在图像（视频）对象的前面并且还显示在字幕的前面。注意，在这种情况下，根据关于字幕的视差信息，在对应于字幕的显示位置的四个分区区域（分区8、9、10、11）中，字幕还显示在图像（视频）对象的前面。

如上所述，在图1中所示的图像发送/接收系统10中，在视频流中插入针对图像数据的每个画面获得的视差信息，然后发送该视频流，因此，能够以画面（帧）精度充分地执行要在接收侧中在三维图像上叠加并显示的图形的深度控制。

此外，在图1中所示的图像发送/接收系统10中，指示是否存在视差信息插入视频流的标识信息被插入在传输流TS的层。因此，由于这个标识信息，接收侧能够容易地标识是否存在视差信息插入视频流并且能够适当地执行图形的深度控制。

此外，在图1中所示的图像发送/接收系统10中，要被插入视频流的每个画面的视差信息由关于画面显示区域的分区信息和关于每个分区区域的视差信息组成。因此，能够根据图形的显示位置充分地执行在接收侧中要叠加并且显示在三维图像上的图形的深度控制。

<变形例>

注意，尽管在上面描述的实施例中指示了包括广播站100和接收机200的图像发送/接收系统10，但本技术可应用于的图像发送/接收系统的配置不限于此。例如，如图31中所示出的，电视接收机200可由经由诸如HDMI（高清晰度多媒体接口）的数字接口彼此连接的机顶盒200A和电视接收机200B组成。

图32例示了机顶盒200A的配置的示例。在图32中，通过类似的附图标记来标注与图25中所示的元件对应的元件并且将根据情况省略其详细的解释。机顶盒（STB）图形产生单元219A产生图形数据，诸如OSD图形数据、应用图形数据、EPG图形数据等。在这个图形数据中，包含关于这个图形的图形位图数据“图形数据”和显示位置信息“图形渲染位置(x1,y1)”。在图形缓冲器221中，暂时存储机顶盒图形产生单元219A所产生的图形位图数据。

在叠加单元217中，字幕显示控制单元235所产生的指示左眼显示用字幕的位图数据“字幕数据”和关于右眼显示用字幕的位图数据“字幕数据”分别叠加在左眼图像数据和右眼图像数据上。此外，在这个叠加单元217中，图形缓冲器221中所存储的图形位图数据“图形数据”叠加在左眼图像数据和右眼图像数据上。在这种情况下，深度控制单元220根据对应于图形的显示位置的视差信息将视差附加于要叠加在左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。

从叠加单元217，获得左眼显示用字幕和图形叠加在其上的左眼图像数据，也获得右眼显示用字幕和图形叠加在其上的右眼图像数据。图像数据的这些项发送至HDMI发送单元。声道混合单元244所获得的每个声道的声音数据也发送至HDMI发送单元。

此外，与图像数据的每个画面的每个分区区域（分区）相关的在视差信息缓冲器218中存储的视差信息（视差）通过使用深度控制单元220发送至HDMI发送单元。在这种情况下，通过用于将视差附加于字幕或图形的视差信息（视差）来更新与对应于字幕的显示位置和图形的显示位置的每个分区区域（分区）相关的视差信息（视差）。

例如，在图30中所示的上述深度控制的示例的情况下，首先，通过用于将视差附加于字幕的视差信息值（subtitle_disparity）来更新在对应于字幕的显示位置的四个分区区域（分区8、9、10、11）中的视差信息（视差）的项的值。之后，通过用于将视差附加于图形的视差信息值（graphics_disparity）来更新在八个分区区域（分区2、3、6、7、10、11、14、15）中的视差信息（视差）的项的值。

尽管将省略详细的解释，但图32中所示的机顶盒200A中的其他元件配置成与图25中所示的电视接收机200的那些元件类似。

图33例示了电视接收机200B的HDMI输入系统的配置的示例。在图33中，与图25中所示的那些元件对应的元件通过类似的附图标记来标注，并且将根据情况省略其详细解释。HDMI接收单元所接收的左眼图像数据和右眼图像数据通过利用缩放器252根据需要来进行缩放处理，然后供给至叠加单元217。

此外，与HDMI接收单元所接收的图像数据中的每个图像的每个分区区域相关的视差信息（视差）供给至深度控制单元220。此外，在电视（TV）图形产生单元219中，产生诸如OSD图形数据、应用图形数据等的图形数据。在这个图形数据中，包含关于这个图形的图形位图数据“图形数据”和显示位置信息“图形渲染位置(x1,y1)”。在图形缓冲器221中，暂时存储电视图形产生单元219所产生的图形数据。此外，关于这个图形的显示位置信息“图形渲染位置(x1,y1)”供给至深度控制单元220。

在叠加单元217中，图形缓冲器221中所存储的图形位图数据“图形数据”叠加在左眼图像数据和右眼图像数据上。在这种情况下，根据对应于图形显示位置的视差信息，深度控制单元220将视差附加于要叠加在左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。在叠加单元217中，获得左眼显示用图形叠加在其上的左眼图像数据，并且还获得右眼显示用图形叠加在其上的右眼图像数据。这些图像数据的项发送至用于显示三维图像的处理单元，然后显示三维图像。

此外，HDMI接收单元所接收的每个声道的声音数据通过用于调节音质和声量的音频处理单元252供给至麦克风，并且根据三维图像的显示来输出声音。

图34例示了在电视接收机200B中图形的深度控制的示例。在这个示例中，关于TV图形，根据指示右侧上的四个分区区域（分区10、11、14、15）中的视差信息的项中的最小值的视差信息项，将视差附加于左眼显示用图形和右眼显示用图形的每一个。结果，在这四个分区区域中，在图像（视频）对象的前面显示TV图形。注意，在这种情况下，字幕和STB图形已叠加在图像（视频）上。

此外，在上述实施例中，示出了其中容器是传输流（MPEG-2 TS）的示例。然而，本技术以类似的方式应用于具有这种配置的系统，即，其中通过利用网络，诸如因特网，来执行至接收终端的分发。在因特网分发中，在多数情况下，通过MP4或另一格式的容器来执行分发。即，作为容器，可应用诸如在数字广播标准中定义的传输流（MPEG-2 TS）、在因特网分发中使用的MP4等的各种形式的容器作为容器。

此外，本技术可通过下列配置来实现。

（1）一种发送设备，包括：

图像数据获得单元，其获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息；

视差信息插入单元，其将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中；

图像数据发送单元，其发送预定格式的容器，所述容器包含插入了所述视差信息的所述视频流；以及

标识信息插入单元，其将用于标识是否存在所述视差信息插入所述视频流的标识信息插入所述容器的层中。

（2）根据（1）的发送设备，其中，所述视差信息插入单元以画面为单位或者以GOP为单位将所述视差信息插入所述视频流中。

（3）根据（1）或（2）的发送设备，其中，所述视差信息获得单元针对每个所述画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息。

（4）根据（3）的发送设备，其中，所述视差信息获得单元根据关于所述画面显示屏幕的所述分区信息对所述画面显示屏幕进行分区使得分区区域不会与编码块边界交叉，并且针对每个所述画面获得与每个所述分区区域相关的视差信息。

（5）根据（3）或（4）的发送设备，其中，通过所述视差信息插入单元插入所述视频流的每个所述画面的视差信息包括与所述画面显示屏幕相关的所述分区信息和与每个所述分区区域相关的所述视差信息。

（6）根据（1）至（5）中任意一项的发送设备，其中，所述图像数据发送单元通过在所述容器中包括字幕流来发送所述容器，所述字幕流通过对具有对应于显示位置的视差信息的字幕数据进行编码来获得。

（7）根据（1）至（6）中任意一项的发送设备，其中：所述容器是传输流；以及所述标识信息插入单元在节目映射表或事件信息表下插入所述标识信息。

（8）根据（7）的发送设备，其中，所述标识信息插入单元在所述节目映射表或所述事件信息表下所插入的标识符中描述所述标识信息。

（9）一种发送方法，包括：

获得形成三维图像的左眼图像数据和右眼图像数据的步骤；

针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息的步骤；

将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中的步骤；

发送预定格式的容器的步骤，所述容器包含插入了所述视差信息的所述视频流；以及

将用于标识是否存在所述视差信息插入所述视频流的标识信息插入所述容器的层中的步骤。

（10）一种发送设备，包括：

图像数据获得单元，其获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息；

视差信息插入单元，其将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中；以及

图像数据发送单元，其发送预定格式的容器，所述容器包含插入了所述视差信息的所述视频流，

其中，所述视差信息获得单元针对每个所述画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息，以及

通过所述视差信息插入单元插入所述视频流的每个所述画面的视差信息包括与所述画面显示屏幕相关的所述分区信息和与每个所述分区区域相关的所述视差信息。

（11）根据（10）的发送设备，其中，所述视差信息插入单元以画面为单位或者以GOP为单位将所述视差信息插入所述视频流中。

（12）根据（10）或（11）的发送设备，其中，所述视差信息获得单元根据关于所述画面显示屏幕的所述分区信息对所述画面显示屏幕进行分区使得分区区域不会与编码块边界交叉，并且针对每个所述画面获得与每个分区区域相关的视差信息。

（13）一种发送方法，包括：

图像数据获得步骤，获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得步骤，针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息；

视差信息插入步骤，将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中；以及

图像数据发送步骤，发送预定格式的容器，所述容器包含插入了所述视差信息的所述视频流；

其中，在所述视差信息获得步骤中，针对每个所述画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息，以及

在所述视差信息插入步骤中，插入所述视频流的每个所述画面的视差信息包括与所述画面显示屏幕相关的所述分区信息和与每个所述分区区域相关的所述视差信息。

（14）一种接收设备，包括：

图像数据接收单元，其接收包含视频流的预定格式的容器，所述视频流通过对形成三维图像的左眼图像数据和右眼图像数据进行编码来获得，相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息被插入所述视频流中，针对所述图像数据的每个画面按照画面显示屏幕的预定数量的分区区域中的每一个来获得所述视差信息；

信息获得单元，其从所述容器中所包含的所述视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得与所述图像数据的每个所述画面的每个所述分区区域相关的视差信息；

图形数据产生单元，其产生用于在图像上显示图形的图形数据；以及

图像数据处理单元，其针对每个所述画面通过利用所获得的图像数据、所获得的视差信息以及所产生的图形数据将与要叠加在左眼图像和右眼图像上的图形的显示位置对应的视差附加于所述图形，从而获得指示所述图形叠加在其上的左眼图像的数据和指示所述图形叠加在其上的右眼图像的数据。

（15）根据（14）的接收设备，其中：

用于标识是否存在所述视差信息插入所述视频流的标识信息被插入所述容器的层中；

所述接收设备进一步包括从所述容器获得所述标识信息的标识信息获得单元；以及

当所获得的标识信息指示存在所述视差信息的插入时，所述信息获得单元从所述容器中所包含的所述视频流获得所述视差信息。

（16）根据（15）的接收设备，其中，当所获得的标识信息指示不存在所述视差信息的插入时，所述图像数据处理单元利用在所述设备中计算的视差信息。

（17）根据（14）至（16）中任意一项的接收设备，其中，当字幕与所述图形的显示一起显示时，所述图像数据处理单元将视差附加于所述图形使得所述图形将在所述字幕的前面显示。

（18）根据（14）至（17）中任意一项的接收设备，其中，所述图像数据处理单元通过利用从与所述图形的显示位置对应的预定数量的分区区域的视差信息的项之中选择的视差信息的项将视差附加于所述图形。

（19）根据（14）至（18）中任意一项的接收设备，进一步包括：

视差信息更新单元，其根据图像上的所述图形的叠加对通过所述信息获得单元获得的与所述图像数据的每个所述画面的每个所述分区区域有关的所述视差信息进行更新；以及

视差信息发送单元，其向外部装置发送所更新的视差信息，所述图像数据处理单元所获得的图像数据被发送至所述外部装置。

（20）一种接收方法，包括：

图像数据接收步骤，接收包含视频流的预定格式的容器，所述视频流通过对形成三维图像的左眼图像数据和右眼图像数据进行编码来获得，相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息被插入所述视频流中，针对所述图像数据的每个画面按照画面显示屏幕的预定数量的分区区域中的每一个来获得所述视差信息；

信息获得步骤，从所述容器中所包含的所述视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得与所述图像数据的每个所述画面的每个所述分区区域相关的视差信息；

图形数据产生步骤，产生用于在所述图像上显示图形的图形数据；以及

图像数据处理步骤，针对每个所述画面通过利用所获得的图像数据、所获得的视差信息以及所产生的图形数据将与要叠加在左眼图像数据和右眼图像数据上的图形的显示位置对应的视差附加于所述图形，从而获得指示所述图形叠加在其上的左眼图像的数据和指示所述图形叠加在其上的右眼图像的数据。

本技术的主要特征如下，针对图像数据的每个画面获得的视差信息插入视频流，然后发送该视频流。标识是否存在视差信息插入视频流的标识信息插入包含这个视频流的传输流（容器）的层中。因此，接收侧能够容易地识别是否存在视差信息插入视频流并且能够适当地执行图形的深度控制（参见图6）。此外，插入视频流的每个画面的视差信息包括与画面显示屏幕相关的分区信息和与每个分区区域相关的视差信息。因此，能够按照图形的显示位置充分地执行在接收侧中要叠加并且显示在三维图像上的图形的深度控制（参见图15和18）。

附图标记列表

10、10A 图像发送/接收系统

100A 广播站

111L、111R 图像数据输出单元

112L、112 缩放器

113 视频编码器

114 复用器

115 视差数据产生单元

116 字幕数据输出单元

117 字幕编码器

118 声音数据输出单元

119 音频编码器

200，200B 电视接收机

200 机顶盒

211 容器缓冲器

212 解复用器

213 编码缓冲器

214 视频解码器

215 解码缓冲器

216 缩放器

217 叠加单元

218 视差信息缓冲器

219 电视（TV）图形产生单元

219A 机顶盒（STB）图形产生单元

220 深度控制单元

221 图形缓冲器

231 编码缓冲器

232 字幕解码器

233 像素缓冲器

234 字幕视差信息缓冲器

235 字幕显示控制单元

241 编码缓冲器

242 视频解码器

243 视频缓冲器

244 声道混合单元

251 缩放器

252 视频处理单元

Claims (20)

1.一种发送设备，包括：

图像数据获得单元，其获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息；

视差信息插入单元，其将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中；

图像数据发送单元，其发送预定格式的容器，所述容器包含插入了所述视差信息的所述视频流；以及

标识信息插入单元，其将用于标识是否存在所述视差信息插入所述视频流的标识信息插入所述容器的层中。

2.根据权利要求1所述的发送设备，其中，所述视差信息插入单元以画面为单位或者以GOP为单位将所述视差信息插入所述视频流中。

3.根据权利要求1所述的发送设备，其中，所述视差信息获得单元针对每个所述画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息。

4.根据权利要求3所述的发送设备，其中，所述视差信息获得单元根据关于所述画面显示屏幕的所述分区信息对所述画面显示屏幕进行分区使得分区区域不会与编码块边界交叉，并且针对每个所述画面获得与每个所述分区区域相关的视差信息。

5.根据权利要求3所述的发送设备，其中，通过所述视差信息插入单元插入所述视频流的每个所述画面的视差信息包括与所述画面显示屏幕相关的所述分区信息和与每个所述分区区域相关的所述视差信息。

6.根据权利要求1所述的发送设备，其中，所述图像数据发送单元通过在所述容器中包括字幕流来发送所述容器，所述字幕流通过对具有对应于显示位置的视差信息的字幕数据进行编码来获得。

7.根据权利要求1所述的发送设备，其中：

所述容器是传输流；以及

所述标识信息插入单元在节目映射表或事件信息表下插入所述标识信息。

8.根据权利要求7所述的发送设备，其中，所述标识信息插入单元在所述节目映射表或所述事件信息表下所插入的标识符中描述所述标识信息。

9.一种发送方法，包括：

获得形成三维图像的左眼图像数据和右眼图像数据的步骤；

针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息的步骤；

将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中的步骤；

发送预定格式的容器的步骤，所述容器包含插入了所述视差信息的所述视频流；以及

将用于标识是否存在所述视差信息插入所述视频流的标识信息插入所述容器的层中的步骤。

10.一种发送设备，包括：

图像数据获得单元，其获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得单元，其针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息；

视差信息插入单元，其将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中；以及

图像数据发送单元，其发送预定格式的容器，所述容器包含插入了所述视差信息的所述视频流，

其中，所述视差信息获得单元针对每个所述画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息，以及

通过所述视差信息插入单元插入所述视频流的每个所述画面的视差信息包括与所述画面显示屏幕相关的所述分区信息和与每个所述分区区域相关的所述视差信息。

11.根据权利要求10所述的发送设备，其中，所述视差信息插入单元以画面为单位或者以GOP为单位将所述视差信息插入所述视频流中。

12.根据权利要求10所述的发送设备，其中，所述视差信息获得单元根据关于所述画面显示屏幕的所述分区信息对所述画面显示屏幕进行分区使得分区区域不会与编码块边界交叉，并且针对每个所述画面获得与每个分区区域相关的视差信息。

13.一种发送方法，包括：

图像数据获得步骤，获得形成三维图像的左眼图像数据和右眼图像数据；

视差信息获得步骤，针对所获得的图像数据的每个画面获得相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息；

视差信息插入步骤，将所获得的视差信息插入通过对所获得的图像数据进行编码而获得的视频流中；以及

图像数据发送步骤，发送预定格式的容器，所述容器包含插入了所述视差信息的所述视频流；

其中，在所述视差信息获得步骤中，针对每个所述画面根据关于画面显示屏幕的分区信息获得与每个分区区域相关的视差信息，以及

在所述视差信息插入步骤中，插入所述视频流的每个所述画面的视差信息包括与所述画面显示屏幕相关的所述分区信息和与每个所述分区区域相关的所述视差信息。

14.一种接收设备，包括：

图像数据接收单元，其接收包含视频流的预定格式的容器，所述视频流通过对形成三维图像的左眼图像数据和右眼图像数据进行编码来获得，相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息被插入所述视频流中，针对所述图像数据的每个画面按照画面显示屏幕的预定数量的分区区域中的每一个来获得所述视差信息；

信息获得单元，其从所述容器中所包含的所述视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得与所述图像数据的每个所述画面的每个所述分区区域相关的视差信息；

图形数据产生单元，其产生用于在图像上显示图形的图形数据；以及

图像数据处理单元，其针对每个所述画面通过利用所获得的图像数据、所获得的视差信息以及所产生的图形数据将与要叠加在左眼图像和右眼图像上的图形的显示位置对应的视差附加于所述图形，从而获得指示所述图形叠加在其上的左眼图像的数据和指示所述图形叠加在其上的右眼图像的数据。

15.根据权利要求14所述的接收设备，其中：

用于标识是否存在所述视差信息插入所述视频流的标识信息被插入所述容器的层中；

所述接收设备进一步包括从所述容器获得所述标识信息的标识信息获得单元；以及

当所获得的标识信息指示存在所述视差信息的插入时，所述信息获得单元从所述容器中所包含的所述视频流获得所述视差信息。

16.根据权利要求15所述的接收设备，其中，当所获得的标识信息指示不存在所述视差信息的插入时，所述图像数据处理单元利用在所述设备中计算的视差信息。

17.根据权利要求14所述的接收设备，其中，当字幕与所述图形的显示一起显示时，所述图像数据处理单元将视差附加于所述图形使得所述图形将在所述字幕的前面显示。

18.根据权利要求14所述的接收设备，其中，所述图像数据处理单元通过利用从与所述图形的显示位置对应的预定数量的分区区域的视差信息的项之中选择的视差信息的项将视差附加于所述图形。

19.根据权利要求14所述的接收设备，进一步包括：

视差信息更新单元，其根据图像上的所述图形的叠加对通过所述信息获得单元获得的与所述图像数据的每个所述画面的每个所述分区区域有关的所述视差信息进行更新；以及

视差信息发送单元，其向外部装置发送所更新的视差信息，所述图像数据处理单元所获得的图像数据被发送至所述外部装置。

20.一种接收方法，包括：

图像数据接收步骤，接收包含视频流的预定格式的容器，所述视频流通过对形成三维图像的左眼图像数据和右眼图像数据进行编码来获得，相对于所述右眼图像数据的与所述左眼图像数据相关的视差信息和相对于所述左眼图像数据的与所述右眼图像数据相关的视差信息被插入所述视频流中，针对所述图像数据的每个画面按照画面显示屏幕的预定数量的分区区域中的每一个来获得所述视差信息；

信息获得步骤，从所述容器中所包含的所述视频流获得所述左眼图像数据和所述右眼图像数据，并且还获得与所述图像数据的每个所述画面的每个所述分区区域相关的视差信息；

图形数据产生步骤，产生用于在所述图像上显示图形的图形数据；以及

图像数据处理步骤，针对每个所述画面通过利用所获得的图像数据、所获得的视差信息以及所产生的图形数据将与要叠加在左眼图像数据和右眼图像数据上的图形的显示位置对应的视差附加于所述图形，从而获得指示所述图形叠加在其上的左眼图像的数据和指示所述图形叠加在其上的右眼图像的数据。

Images