CN102210154A - 立体图像数据发送装置和立体图像数据接收装置 - Google Patents

Abstract

提供了一种数据结构，其能够发送用于限制闭路字幕信息等的视差信息，且能够易于与现有广播标准合作。CC编码器(133)输出用于显示闭路字幕的CC数据。视差信息生成单元(132)输出与CC数据中包括的每一个窗口ID相关联的视差信息。流格式器(113a)通过用户数据标识信息，以能够识别的方式，将CC数据和视差信息嵌入视频基本流的头部部分中的用户数据区域。指示使左眼还是右眼作为基于视差信息移位的对象的指示信息被添加到视差信息。另外，将标识信息添加到闭路字幕信息的显示时间段的每一个帧中共同使用的视差信息，或者添加到每一个显示时间段期间顺序更新的视差信息。

Description

立体图像数据发送装置和立体图像数据接收装置

技术领域

本发明涉及立体图像数据发送装置和立体图像数据接收装置，更具体地说，涉及能够顺利地显示重叠信息(如闭路字幕信息、字幕信息、图形信息、文本信息等)的立体图像数据发送装置等。

背景技术

例如，在PTL 1中，已经提出了使用电视广播无线电波的立体图像数据的发送方法。在这种情况下，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且电视接收器执行利用双目视差(binocular disparity)的立体图像显示。

图108图示了在对象的左和右图像在屏幕上的显示位置与立体图像的回放位置之间利用双目视差的立体图像显示中的关系。例如，关于以如图中所示那样的方式分别将左图像La和右图像Ra移动到右侧和左侧而显示在屏幕上的对象A，由于左右视线在屏幕表面之前相交，因此立体图像的回放位置处于屏幕表面之前。DPa表示水平方向上对象A的视差矢量。

而且，例如，关于左图像Lb和右图像Rb以如图中所示的方式、被显示在屏幕上的相同位置的对象B，由于左右视线在屏幕表面上相交，因此立体图像的回放位置位于屏幕表面上。进一步，例如，关于以如图中所示的方式将左图像Lc和右图像Rc分别移动到左侧和右侧而显示在屏幕上的对象C，由于左右视线在屏幕表面之后相交，因此立体图像的回放位置处于屏幕表面之后。DPc表示水平方向上对象C的视差矢量。

引用列表

专利文献

PTL1：日本待审专利申请公开No.2005-6114

发明内容

技术问题

如上所述，在立体图像显示中，一般而言，观看者通过利用双目视差来识别立体图像的透视。存在这样的期望：例如，要重叠在图像上的重叠信息(如，闭路字幕信息、字幕信息、图形信息或文本信息)将与不仅依照二维空间而且依照三维深度感觉的立体图像显示相关联地渲染(render)。

例如，在作为闭路字幕信息或字幕信息的字幕重叠并显示(重叠显示)在图像上的情况下，如果依据透视，不在图像中最近的对象之前显示字幕，则观看者可能感觉到透视的不一致。而且，同样在图像上重叠并显示其他图形信息或文本信息的情况下，也期望根据图像中每一对象的透视执行视差调整，以保持透视的一致性。

本发明的目的是在重叠信息(如，闭路字幕信息、字幕信息、图形信息或文本信息)的显示中，在重叠信息与图像中的每一个对象之间保持透视的一致性。

技术方案

本发明的构思在于一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

重叠信息数据输出单元，输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送视频基本流，其在有效载荷部分中包括从所述立体图像数据输出单元输出的立体图像数据，并且在头部部分的用户数据区域中包括从所述重叠信息数据输出单元输出的重叠信息的数据以及从所述视差信息输出单元输出的视差信息，

其中所述视频基本流的头部部分的用户数据区域中包括的重叠信息的数据和视差信息被配置为可由用户数据标识信息识别。

在本发明中，由立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的立体图像数据。此外，由重叠信息数据输出单元输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据。这里，重叠信息意味着要重叠在图像上的信息，如用于显示字幕的闭路字幕信息或字幕信息。此外，由视差信息输出单元输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息。

然后，由发送单元发送视频基本流，其在有效载荷部分中包括上述立体图像数据，并且在头部部分的用户数据区域中包括上述重叠信息的数据以及上述视差信息。以这种方式，以在视频基本流的头部部分的用户数据区域中包括重叠信息的数据和视差信息的状态将其发送的重叠信息的数据和视差信息被配置为能够由用户数据标识信息识别。

以这种方式，在本发明中，以在视频基本流的有效载荷部分中包括包含左眼图像数据和右眼图像数据的立体图像数据的状态来发送用于显示立体图像的立体图像数据，并且另外，以可识别的方式在视频基本流的头部部分的用户数据区域中包括重叠信息的数据和视差信息的状态来发送重叠信息的数据和视差信息。因此，在接收侧，可以获取立体图像数据，并且另外，可以从视频基本流获取重叠信息的数据和视差信息。

在接收侧，使用视差信息，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中的每一个对象之间的透视的一致性维持到最佳状态。

在本发明中，例如，视差信息可以已经添加了移位目标指定信息，其在要重叠在基于所述左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于所述视差信息移位的重叠信息。通过移位目标指定信息，可以仅移位要重叠在左眼图像上的重叠信息、仅移位要重叠在右眼图像上的重叠信息、或者移位要重叠在左眼图像和右眼图像二者上的重叠信息。

此外，在本发明中，例如，视差信息可以是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息。在这种情况下，在接收侧，通过使用预定数量帧的时间段期间各个帧中顺序更新的视差信息，将视差赋予重叠信息，在所述预定数量帧的时间段期间显示重叠信息，由此使得可以根据图像内容的改变来动态地改变要赋予重叠信息的视差。

此外，在本发明中，例如，各个帧中顺序更新视差信息包括预定数量帧的时间段期间有关第一帧的视差信息，以及有关第二和接下来的帧相对于有关之前帧的视差信息的偏移信息。在这种情况下，可以抑制视差信息的数据量。

此外，在本发明中，例如，视差信息可以是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息。在这种情况下，可以极大地抑制视差信息的数据量。

此外，在本发明中，例如，所述视差信息可以是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，或者是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，并且所述视差信息可以已经添加了指示各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息的标志信息。在这种情况下，可以根据例如图像的内容，选择性地发送各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息。即，在图像的运动大的情况下，发送各个帧中顺序更新的视差信息，以便在接收侧，根据图像内容的变化来动态地改变要赋予重叠信息的视差。此外，在图像的运动小的情况下，发送各个帧中共同使用的视差信息，由此允许视差信息的数据量的抑制。

此外，本发明的另一个构思在于一种立体图像数据接收设备，包括：

接收单元，接收视频基本流，所述视频基本流在有效载荷部分中包括包含左眼图像数据和右眼图像数据的立体图像数据，并且在头部部分的用户数据区域中包括要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息和用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，所述头部部分的用户数据区域中包括的重叠信息的数据和视差信息被配置为可由用户数据标识信息识别；

立体图像数据获取单元，从所述接收单元接收到的所述视频基本流的有效载荷部分获取所述立体图像数据；

重叠信息数据获取单元，从所述接收单元接收到的所述视频基本流的头部部分的用户数据区域获取所述重叠信息的数据；

视差信息获取单元，从所述接收单元接收到的所述视频基本流的头部部分的用户数据区域获取所述视差信息；以及

图像数据处理单元，使用由所述立体图像数据获取单元获取的所述立体图像数据中包括的左眼图像数据和右眼图像数据、由所述重叠信息数据获取单元获取的所述重叠信息的数据以及由所述视差信息获取单元获取的所述视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并且获取已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

在本发明中，由接收单元接收视频基本流。视频基本流在有效载荷部分中包含立体图像，所述立体图像包括左眼图像数据和右眼图像数据。此外，视频基本流在头部部分的用户数据区域中包含重叠信息的数据和视差信息，以便可由用户数据标识信息来识别。

然后，由立体图像数据获取单元从上述视频基本流的有效载荷部分获取立体图像数据。此外，由重叠信息数据获取单元从上述视频基本流的头部部分的用户数据区域获取重叠信息的数据。此外，由视差信息获取单元从上述视频基本流的头部部分的用户数据区域获取视差信息。如上所述，重叠信息的数据和视差信息包括在用户数据区域中，以便可由用户数据标识信息来识别。因此，可以与重叠信息的数据一起，基于用户数据标识信息从用户数据区域顺利地获取视差信息。

左眼图像数据、右眼图像数据、重叠信息的数据和视差信息由图像数据处理单元使用，将视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

以这种方式，在本发明中，使用适于重叠信息的视差信息，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中每一个对象之间的透视的一致性保持到最佳状态。

此外，本发明的另一个构思在于一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息已经添加了移位目标指定信息，其在要重叠在基于所述左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于所述视差信息移位的重叠信息。

在本发明中，由立体图像数据输出单元来输出包括左眼图像数据和右眼图像数据的立体图像数据。此外，由视差信息输出单元输出通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息来赋予视差的视差信息。这里，重叠信息意味着要重叠在图像上的信息，如用于显示字幕的闭路字幕信息或字幕信息。

然后，由发送单元发送从立体图像输出单元输出的立体图像数据和从视差信息输出单元输出的视差信息。以这种方式，要与立体图像数据一起发送的视差信息已经添加了移位目标指定信息，其在要重叠在基于左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于视差信息移位的重叠信息。

以这种方式，在本发明中，与用于显示立体图像的左眼图像数据和右眼图像数据一起发送视差信息。因此，在接收侧，使用视差信息，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中的每一个对象之间的透视的一致性维持到最佳状态。

此外，在本发明中，接收到的视差信息已经添加了移位目标指定信息。因此，在接收侧，通过移位目标指定信息，可以仅移位要重叠在左眼图像上的重叠信息，仅移位要重叠在右眼图像上的重叠信息，或者移位要重叠在左眼图像和右眼图像二者上的重叠信息。

此外，本发明的另一个构思在于一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；

所述视差信息已经添加了移位目标指定信息，其在要重叠在基于所述左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于所述视差信息移位的重叠信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据、由所述接收单元接收到的所述视差信息以及添加到所述视差信息的所述移位目标指定信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

在本发明中，由接收单元接收包括左眼图像数据和右眼图像数据的立体图像数据以及视差信息。将视差信息设计为通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差。视差信息已经添加了移位目标指定信息，其在要重叠在基于所述左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于所述视差信息移位的重叠信息。

由图像数据处理单元使用左眼图像数据、右眼图像数据和视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。在这种情况下，基于移位目标指定信息，仅执行要重叠在左眼图像上的重叠信息的移位、要重叠在右眼图像上的重叠信息的移位或要重叠在左眼图像和右眼图像二者上的重叠信息的移位。

以这种方式，在本发明中，使用适合重叠信息的视差信息(具有移位目标指定信息)，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中的每一个对象之间的透视的一致性维持到最佳状态。

此外，本发明的另一个构思在于一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息。

在本发明中，由立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的立体图像数据。此外，由视差信息输出单元输出通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息。这里，重叠信息意味着要重叠在图像上的信息，如用于显示字幕的闭路字幕信息或字幕信息。

然后，由发送单元发送从立体图像数据输出单元输出的立体图像数据和从视差信息输出单元输出的视差信息。以这种方式，与立体图像数据一起发送的视差信息用作在预定数量帧的时间段期间在各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示重叠信息。

以这种方式，与用于显示立体图像的左眼图像数据和右眼图像数据一起发送视差信息。因此，在接收侧，使用视差信息，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中每一个对象之间的透视的一致性维持到最佳状态。

此外，在本发明中，接收到的视差信息用作在预定数量帧的时间段期间在各个帧中顺序更新的视差信息，在预定数量帧的时间段期间显示重叠信息。因此，在接收侧，使用在预定数量帧的时间段期间各个帧中顺序更新的视差信息，可以将视差赋予重叠信息，在预定数量帧的时间段期间显示重叠信息。因此，可以根据图像内容的变化来动态地改变要赋予重叠信息的视差。

在本发明中，例如，在各个帧中顺序更新的视差信息可以包括预定数量帧的时间段期间有关第一帧的视差信息、以及有关第二帧和接下来的帧相对于有关之前帧的视差信息的偏移信息。在这种情况下，可以抑制视差信息的数据量。

此外，本发明的另一个构思在于一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，

所述视差信息是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据和由所述接收单元接收到的所述视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

在本发明中，由接收单元接收包括左眼图像数据和右眼图像数据的立体图像数据以及视差信息。将视差信息设计为通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差。视差信息用作预定数量帧的时间段期间各个帧中顺序更新的视差信息，在预定数量帧的时间段期间显示重叠信息。

由图像数据处理单元使用左眼图像数据、右眼图像数据和视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

以这种方式，在本发明中，使用适于重叠信息的视差信息(具有移位目标指定信息)，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中的每一个对象之间的透视的一致性维持到最佳状态。此外，在本发明中，使用在预定数量帧的时间段期间各个帧中顺序更新的视差信息，可以将视差赋予重叠信息，在所述预定数量帧的时间段期间显示所述重叠信息。因此，可以根据图像内容的变化来动态地改变要赋予重叠信息的视差。

此外，本发明的另一个构思在于一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，以及

其中所述视差信息已经添加了指示各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息的信息。

在本发明中，由立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的立体图像数据。此外，由视差信息输出单元输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息。这里，重叠信息意味着要重叠在图像上的信息，如用于显示字幕的闭路字幕信息或字幕信息。

然后，由发送单元发送从立体图像数据输出单元输出的立体图像数据以及从视差信息输出单元输出的视差信息。以这种方式，与立体图像数据一起发送的视差信息用作预定数量帧的时间段期间各个帧中共同使用的视差信息，在预定数量帧的时间段期间显示重叠信息。

以这种方式，在本发明中，与用于显示立体图像数据的左眼图像数据和右眼图像数据一起发送视差信息。因此，在接收侧，使用视差信息，将适当的视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中每一个对象之间的透视的一致性维持到最佳状态。

此外，在本发明中，接收到的视差信息用作预定数量帧的时间段期间各个帧中共同使用的视差信息，在预定数量帧的时间段期间显示重叠信息。因此，可以极大地抑制视差信息的数据量。

此外，本发明的另一个构思在于一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，

所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据和由所述接收单元接收到的所述视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

在本发明中，由接收单元接收包括左眼图像数据和右眼图像数据的立体图像数据以及视差信息。将视差信息设计为通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差。视差信息用作预定数量帧的时间段期间各个帧中共同使用的视差信息，在预定数量帧的时间段期间显示重叠信息。

由图像数据处理单元使用左眼图像数据、右眼图像数据和视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

以这种方式，在本发明中，使用适于重叠信息的视差信息(具有移位目标指定信息)，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中的每一个对象之间的透视的一致性维持到最佳状态。此外，在本发明中，使用在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息。因此，可以减小处理负荷，并且可以抑制存储视差信息的存储器的容量。

此外，本发明的另一个构思在于一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，或者是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，以及

其中所述视差信息已经添加了指示各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息的标志信息。

在本发明中，由立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的立体图像数据。此外，由视差信息输出单元输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息。这里，重叠信息意味着要重叠在图像上的信息，如用于显示字幕的闭路字幕信息或字幕信息。

然后，由发送单元发送从立体图像数据输出单元输出的立体图像数据以及从视差信息输出单元输出的视差信息。以这种方式，与立体图像数据一起发送的视差信息用作预定数量帧的时间段期间各个帧中共同使用的视差信息，在预定数量帧的时间段期间显示重叠信息，或者用作预定数量帧的时间段期间各个帧中顺序更新的视差信息，在预定数量帧的时间段期间显示重叠信息。然后，视差信息已经添加了指示预定数量帧的时间段期间各个帧中共同使用的视差信息或预定数量帧的时间段期间各个帧中顺序更新的视差信息的标志信息。

以这种方式，在本发明中，与用于显示立体图像数据的左眼图像数据和右眼图像数据一起发送视差信息。因此，在接收侧，使用视差信息，将适当的视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中每一个对象之间的透视的一致性维持到最佳状态。

此外，在本发明中，可以例如根据图像的内容选择性地发送各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息。即，在图像的运动大的情况下，发送各个帧中顺序更新的视差信息，并且在接收侧，根据图像内容的变化来动态地改变要赋予重叠信息的视差。此外，在图像的运动小的情况下，发送各个帧中共同使用的视差信息，因此，允许视差信息的数据量的抑制。

此外，本发明的另一个构思在于一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，

所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，或者是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，以及

所述视差信息已经添加了指示各个帧中共同使用的视差信息或者各个帧中顺序更新的视差信息的标志信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据、由所述接收单元接收到的所述视差信息以及添加到所述视差信息的所述标志信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

在本发明中，由接收单元接收包括左眼图像数据和右眼图像数据的立体图像数据以及视差信息。将视差信息设计为通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差。视差信息用作预定数量帧的时间段期间各个帧中共同使用的视差信息，在预定数量帧的时间段期间显示重叠信息，或者用作预定数量帧的时间段期间各个帧中顺序更新的视差信息，在预定数量帧的时间段期间显示重叠信息，并且视差信息已经添加了指示各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息的标志信息。

由图像数据处理单元使用左眼图像数据、右眼图像数据和视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。以这种方式，在本发明中，使用适于重叠信息的视差信息，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的重叠信息(如，闭路字幕信息或字幕信息)。因此，在重叠信息的显示中，可以将重叠信息与图像中的每一个对象之间的透视的一致性维持到最佳状态。

此外，在本发明中，接收各个帧中共同使用的视差信息或者各个帧中顺序更新的视差信息。通过使用标志信息可以确定已经接收了它们中的哪一个。然后，在接收到的视差信息是各个帧中顺序更新的视差信息的情况下，可以根据图像内容的变化动态地改变要赋予重叠信息的视差。此外，在接收到的视差信息是各个帧中共同使用的视差信息的情况下，可以减小处理负荷，并且另外可以抑制存储视差信息的存储器的容量。

本发明的有益效果

根据本发明，使用适于重叠信息而设置的视差信息，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的重叠信息(如，闭路字幕信息、字幕信息、图形信息或文本信息)，并且在重叠信息的显示中，可以将重叠信息与图像中每一个对象之间的透视的一致性维持到最佳状态。

附图说明

图1是图示作为本发明的实施例的立体图像显示系统的示例配置的块图。

图2是图示广播站中的发送数据产生单元的示例配置的块图。

图3是图示1920×1080p像素格式的图像数据的示图。

图4包括描述作为立体图像数据(3D图像数据)发送方法的“上下(Top & Bottom)”方法、“并排(Side By Side)”方法和“帧顺序(Frame Sequential)”方法的示图。

图5是描述检测右眼图像关于左眼图像的视差矢量的示例的示图。

图6是用于描述使用块匹配方法确定视差矢量的示图。

图7包括图示视差矢量检测单元检测到的、图像中的预定位置处的视差矢量VV的示例的示图。

图8是图示视差矢量的发送内容的示图。

图9是图示视差检测块示例以及在这种情况下视差矢量的发送内容的示图。

图10包括图示检测和发送视差矢量的定时的示例的示图。

图11是图示检测和发送视差矢量的定时的示例的示图。

图12是图示在发送数据产生单元中被多路复用的数据流的示例的示图。

图13是图示广播站中的发送数据产生单元的另一示例配置的块图。

图14图示了在广播站中的发送数据产生单元中被多路复用的各个流的示例。

图15是图示广播站中的发送数据产生单元的另一示例配置的块图。

图16图示了在广播站中的发送数据产生单元中被多路复用的各个流的示例。

图17包括描述在发送方法为第一发送方法(“上下方法”)的情况下左眼图形信息和右眼图形信息的重叠位置等的示图。

图18包括描述在发送方法为第一发送方法(“上下”方法)的情况下用于产生左眼图形信息和右眼图形信息的方法的示图。

图19包括描述在发送方法为第二发送方法(“并排”方法)的情况下用于产生左眼图形信息和右眼图形信息的方法的示图。

图20是描述在发送方法为第二发送方法(“并排”方法)的情况下用于产生左眼图形信息和右眼图形信息的方法的示图。

图21是图示广播站中的发送数据产生单元的另一示例配置的块图。

图22是图示广播站中的发送数据产生单元的另一示例配置的块图。

图23是图示在基于像素的视差矢量的值用作各个像素的亮度值的情况下的示例图像的示图。

图24是图示基于块的视差矢量的示例的示图。

图25包括图示发送数据产生单元的视差信息集创建单元中执行的小型化处理的示例的示图。

图26是图示图像上的字幕和应用图形及其透视的显示示例的示图。

图27是描述视差序列ID(Disparity Sequence id)的示图。

图28是图示要在情况(1)(仅发送通用视差信息集(在与特定服务没有关系的情况下))下创建的视差信息集的示例的示图。

图29是图示在情况(1)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息集(封包视差集)的集合等等的示图。

图30是图示要在情况(2)(仅发送通用视差信息集(在与特定服务有关系的情况下))下创建的视差信息集的示例的示图。

图31是图示在情况(2)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息集(封包视差集)的集合等等的示图。

图32是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的示图。

图33是图示在情况(2)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息集(封包视差集)的集合等等的示图。

图34是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的示图。

图35是图示要在情况(3)(发送通用视差信息集和特定服务使用的视差信息集二者)下创建的视差信息集的示例的示图。

图36是图示在情况(3)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息集(封包视差集)的集合等等的示图。

图37是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的示图。

图38是图示要在情况(4)(仅发送特定服务使用的视差信息集)下创建的视差信息集的示例的示图。

图39是图示在情况(4)下统一地发送与图像数据的每一个特定时间段的图像数据对应的多个视差信息集(封包视差集)的集合等等的示图。

图40是描述在DVB字幕的情况下通过使用基本PID(Elementary_PID)在字幕片段(Subtitle Segment)与视差矢量数据(Disparity Data)之间的关联性的示图。

图41是示意性图示视频基本流的示例结构的示图。

图42包括图示在MPEG2、H.264AVC和VC-1编码方法中的用户数据的示例配置的示图。

图43是图示在将视差序列ID(Disparity_Sequence_id)与服务相关联的视差链接描述符(Disparity_Linkage_Descriptor)的示例配置的示图。

图44是图示视差链接描述符(Disparity_Linkage_Descriptor)的每一条信息的内容的示图。

图45包括图示在以将视差信息集插入到图像数据流的用户数据区的状态将其发送到接收侧的情况下，以及在以将包括视差信息集的视差矢量基本流(PES)与其他流多路复用并将其发送到接收侧的情况下，PID的示例的示图。

图46包括图示添加了“Disparity_Sequence_id＝1”的视差信息集与字幕相关联(链接到字幕)的示例、以及添加了“Disparity_Sequence_id＝2”的视差信息集与闭路字幕相关联(链接到闭路字幕)的示例的示图。

图47是图示视差信息集与字幕相关联的情况的示图。

图48是图示视差信息集与字幕相关联的情况的示图。

图49是图示视差信息集与闭路字幕相关联(其中，以将闭路字幕数据插入到图像数据流的用户数据区的状态将其发送到接收侧)的情况的示图。

图50是图示视差信息集与闭路字幕相关联(其中，以将闭路字幕数据插入到图像数据流的用户数据区的状态将其发送到接收侧)的情况的示图。

图51是图示包括视差信息(Disparity_Information)的用户数据的详细配置的示例的示图。

图52是图示视差信息(Disparity_Information)的示例配置的示图。

图53是图示视差信息数据(Disparity_Information_Data)中包括的DSL(Disparity_Information_Link_Information)的配置的示图。

图54是图示视差信息数据(Disparity_Information_Data)中包括的DHI(Disparity_Header_Information)的配置的示图。

图55是图示视差信息数据(Disparity_Information_Data)中包括的DHI(Disparity_Header_Information)的配置的示图。

图56是图示视差信息数据(Disparity_Information_Data)中包括的DDS(Disparity_Data_Set)的配置的示图。

图57是图示DSL、DHI和DDS中每一条信息的内容的示图。

图58是图示DSL、DHI和DDS中每一条信息的内容的示图。

图59是图示DSL、DHI和DDS中每一条信息的内容的示图。

图60是图示DSL、DHI和DDS中每一条信息的内容的示图。

图61包括描述DHI中包括的信息“Partition(分区)”的示图。

图62是图示广播站中的发送数据产生单元的另一示例配置的块图。

图63是图示广播站中的发送数据产生单元的另一示例配置的块图。

图64是图示包括视差信息的用户数据的详细配置的示例的示图。

图65是图示包括视差信息的用户数据的详细配置中的每一条信息的内容的示图。

图66是图示视差信息的详细配置的示例的示图。

图67是图示视差信息的详细配置中的每一条信息的内容的示图。

图68是图示视差信息的详细配置中的每一条信息的内容的示图。

图69是图示视差信息的配置中数据量(数据大小)的计算示例的示图。

图70包括图示在发送方法是第二发送方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置的示图。

图71包括图示将基于从位流数据提取的、使用传统方法发送的图形数据的图形图像照原样重叠在左眼图像和右眼图像上的状态的示图。

图72包括图示在时间点T0、T1、T2和T3处在三个对象位置中的视差矢量(观察矢量)的示图。

图73是图示图像上的字幕(图形信息)、以及背景、前景对象和字幕的透视(perspective)的显示示例的示图。

图74包括图示图像上的字幕(图形信息)以及用于显示字幕的左眼图形信息LGI和右眼图形信息RGI的显示示例的示图。

图75包括描述在图像中的多个位置处检测到的视差矢量之中，与其重叠位置对应的视差矢量用作视差矢量的示图。

图76包括描述在图像中的多个位置处检测到的视差矢量之中，与其重叠位置对应的视差矢量用作视差矢量的示图。

图77包括描述在图像中的多个位置处检测到的视差矢量之中，与其重叠位置对应的视差矢量用作视差矢量的示图。

图78包括图示在图像中存在对象A、B和C并且指示每个对象的备注的文本信息被重叠在对象附近的位置上的示图。

图79是图示立体图像显示系统中包括的机顶盒的示例配置的块图。

图80是图示机顶盒中包括的位流处理单元的示例配置的块图。

图81是图示在以电视显示器的方向观看时的左手侧的视频对象具有较大视差矢量VV1的情况下，扬声器输出控制的示例的示图。

图82是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的示图。

图83是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的示图。

图84是图示从广播站发送的图像数据、闭路字幕数据、图形数据和视差信息集之间的对应关系的示图。

图85是图示机顶盒中包括的位流处理单元的另一示例配置的块图。

图86是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的示图。

图87是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的示图。

图88是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的示图。

图89是图示从广播站发送的图像数据、闭路字幕数据、图形数据和视差信息集之间的对应关系的示图。

图90是图示机顶盒中包括的位流处理单元的另一示例配置的块图。

图91是图示机顶盒中包括的位流处理单元的另一示例配置的块图。

图92是图示机顶盒中包括的位流处理单元的另一示例配置的块图。

图93是基于各个帧中顺序更新的视差信息，用于向要重叠在左眼图像和右眼图像上的闭路字幕信息赋予视差的处理示例的示图。

图94是图示机顶盒的另一示例配置的块图。

图95包括图示在左眼图像和右眼图像上字幕信息和图形信息的重叠示例的示图。

图96是图示立体图像显示系统中包括的电视接收机的示例配置的块图。

图97是图示HDMI发送单元(HDMI信源)和HDMI接收单元(HDMI信宿)的示例配置的块图。

图98是图示HDMI发送单元中包括的HDMI发送器以及HDMI接收单元中包括的HDMI接收器的示例配置的块图。

图99是图示TMDS发送数据的示例配置(在发送具有水平方向上1920像素和垂直方向上1080行的图像数据的情况下)的示图。

图100是图示其间连接HDMI线缆的信源装置和信宿装置的HDMI端子的引脚阵列(类型A)的示图。

图101是图示E-EDID的示例数据结构的示图。

图102是图示厂商专用区域(HDMI厂商专用数据块)的示例数据结构的示图。

图103是图示作为立体图像数据的一种TMDS发送数据结构的、帧封装方法(frame packing method)的3D视频格式的示图。

图104是图示作为立体图像数据的一种TMDS发送数据结构的、线交替方法(line alternative method)的3D视频格式的示图。

图105是图示作为立体图像数据的一种TMDS发送数据结构的、并排(全)(side-by-side(Full))方法的3D视频格式的示图。

图106是用于将视差矢量与分量元素ID相关联的另一种方法的示图。

图107是图示立体图像显示系统的另一示例配置的示图。

图108是图示在屏幕上对象的左右图像的显示位置与其立体图像的回放位置之间，利用双目视差的立体图像显示中的关系的示图。

具体实施方式

以下将描述实现本发明的方式(以下称为“实施例”)。注意，该描述将按以下顺序给出。

1、实施例

2、示例改进

<1、实施例>

[立体图像显示系统的示例配置]

图1图示了作为实施例的立体图像显示系统10的示例配置。立体图像显示系统10包括广播站100、机顶盒(STB：Set Top Box)200和电视接收器300。

机顶盒200和电视接收器300经由HDMI(High Definition Multimedia Interface，高清多媒体接口)线缆400相互连接。机顶盒200提供有HDMI端子202。电视接收器300提供有HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，而HDMI线缆400的另一端连接到电视接收器300的HDMI端子302。

[广播站的描述]

广播站100发送在广播波上携带的位流数据。位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据和重叠信息数据，并且还包含视差信息(视差矢量)等。这里，重叠信息数据是闭路字幕(closed caption)数据、字幕数据、图形数据、文本数据等。

[发送数据产生单元的示例配置]

图2图示产生上述位流数据的广播站100中的发送数据产生单元110的示例配置。这个示例配置是发送视差矢量作为数字信息的示例。发送数据产生单元110包括相机111L和111R、视频成帧单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器115。

此外，发送数据产生单元110包括麦克风116、音频编码器117、字幕/图形生成单元118、字幕/图形编码器119、文本产生单元120、文本编码器121和多路复用器122。注意，在本实施例中，假设文本产生单元120还将用作闭路字幕数据产生单元。闭路字幕数据是用于闭路字幕的字幕显示的文本数据。

相机111L拍摄左眼图像以获得用于立体图像显示的左眼图像数据。相机111R拍摄右眼图像以获得用于立体图像显示的右眼图像数据。视频成帧单元112将由相机111L获得的左眼图像数据以及由相机111R获得的右眼图像数据修改并处理成根据发送方法的状态。

[立体图像数据的发送方法的示例]

尽管这里给出如下第一至第三方法作为立体图像数据(3D图像数据)的发送方法，但可以使用任意其他发送方法。这里如图3所示，将就这样的情况给出描述：左眼(L)和右眼(R)的每个图像数据是具有确定的分辨率(例如，作为示例，1920×1080p的像素格式)的图像数据。

第一发送方法是“上下”方法，如图4中的(a)所示，其是这样的方法：在垂直方向的上一半中发送左眼图像数据的每一行的数据，而在垂直方向的下一半中发送右眼图像数据的每一行的数据。在这种情况下，由于左眼图像数据和右眼图像数据的行被抽减(decimate)到1/2，所以垂直分辨率为原始信号的分辨率的一半。

第二发送方法是“并排”方法，如图4中的(b)所示，其是这样的方法：在水平方向的前一半中发送左眼图像数据的每一行的数据，而在水平方向的后一半中发送右眼图像数据的每一行的数据。在这种情况下，左眼图像数据和右眼图像数据中的每一个在水平方向上的像素数据被抽减到1/2。水平分辨率为当前信号的一半。

第三发送方法是“帧顺序”方法，如图4中的(c)所示，其是这样的方法：在每一场顺序切换左眼图像数据和右眼图像数据的同时，发送左眼图像数据和右眼图像数据。

返回图2，视频编码器113对于由视频成帧单元112修改并处理的立体图像数据使用MPEG4-AVC、MPEG2、VC-1等执行编码，以获得编码视频数据。此外，视频编码器113在其后级包括流格式器113a。流格式器113a允许产生视频的基本流，所述视频的基本流在有效载荷部分中包括编码视频数据。

视差矢量检测单元114基于左眼图像数据和右眼图像数据检测视差矢量，该视差矢量是图像中预定位置处关于左眼图像和右眼图像之一相对于另一个的视差信息。这里，图像中的预定位置包括所有像素位置、多个像素形成的每一个区域的代表性位置、要重叠重叠信息(这里为图形信息或文本信息)的区域的代表性位置等。

[视差矢量的检测]

将描述视差矢量的检测示例。这里，将给出对于检测右眼图像关于左眼图像的视差矢量的示例的描述。如图5所示，假设左眼图像是检测图像，而右眼图像是参考图像。在这个示例中，检测位置(xi，yi)和(xj，yj)处的视差矢量。

通过示例，将描述检测位置(xi，yi)处的视差矢量的情况。在这种情况下，例如，在左眼图像中设置左上像素处于位置(xi，yi)的8×8或16×16像素块(视差检测块)Bi。然后，在右眼图像中，搜索匹配像素块Bi的像素块。

在这种情况下，在右眼图像中，设置以位置(xi，yi)作为中心的搜索范围，并且例如，通过使用搜索范围中的每个像素作为感兴趣像素来顺序地设置与上述像素块Bi类似的8×8或16×16对照块。

对于每一个对应像素，确定在像素块Bi与顺序设置的每一个对照块之间的绝对差值的总和。这里，如图6所图示，当像素块Bi的像素值由L(x，y)表示，并且对照块的像素值由R(x，y)表示时，像素块Bi与某个对照块之间的绝对差值的总和由∑|L(x，y)-R(x，y)|表示。

当在右眼图像中设置的搜索范围包括n个像素时，最终确定n个总和S1至Sn，并且选择它们之中的最小总和Smin。然后，获得对其获得了总和Smin的对照块的左上像素的位置(xi′，yi′)。从而，以诸如(xi′-xi，yi′-yi)的方式检测位置(xi，yi)处的视差矢量。虽然省略了详细描述，但通过在左眼图像中设置例如左上像素处于位置(xj，yj)的8×8或16×16像素块Bj，同样使用类似的处理步骤检测位置(xj，yj)处的视差矢量。

图7(a)图示图像中的预定位置处的视差矢量VV(其由视差矢量检测单元114检测)的示例。这种情况意味着：如图7(b)所示，在图像中的预定位置处，由视差矢量VV移位的左眼图像(检测图像)交迭右眼图像(参考图像)。

回来参考图2，视差矢量编码器115产生视差矢量基本流(包括由视差矢量检测单元114等检测到的视差矢量)。这里，视差矢量的基本流包括下列内容。即，将ID(ID_Block)、垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和视差矢量(View_Vector)设置为一个集合。然后，将这个集合重复N(其数量等于视差检测块的数量)次。

图8图示了视差矢量的发送内容。视差矢量包括垂直方向分量(View_Vector_Vertical)和水平方向分量(View_Vector_Horizontal)。注意，视差检测块的垂直和水平位置是从图像的左上原点到该块的左上像素在垂直方向和水平方向上的偏移值。向每一个视差矢量的发送分配视差检测块的ID，以便确保到要在图像上重叠和显示的重叠信息(诸如闭路字幕信息、字幕信息、图形信息或文本信息)的图案的链接。

注意，在图8的示例中，水平和垂直视差矢量(视差信息)由16位信息表示。然而，视差矢量(视差信息)的位数不限于16位。根据显示尺寸、要给出的视差等，可以使用下面所述的适当的位数(如，8位)。

例如，如图9(a)所示，当存在视差检测块A至F时，如图9(b)所示，发送内容包括视差检测块A至F的ID、垂直和水平位置信息和视差矢量。例如，在图9(b)中，对于视差检测块A，ID2指示视差检测块A的ID，(Ha，Va)指示视差检测块A的垂直和水平位置信息，而视差矢量a指示视差检测块A的视差矢量。

这里，将描述检测和发送视差矢量的定时。关于该定时，例如，可以想到下列第一至第四示例。

在第一示例中，如图10(a)所示，该定时与画面的编码同步。在这种情况下，以画面为单位发送视差矢量。画面的单位是用于视差矢量发送的最小单位。在第二示例中，如图10(b)所示，该定时与视频场景同步。在这种情况下，以场景为单位发送视差矢量。

在第三示例中，如图10(c)所示，该定时与编码视频的I-画面(内画面)或GOP(画面组)同步。在第四示例中，如图11所示，该定时与要在图像上重叠和显示的字幕信息、图形信息、文本信息等的显示开始的定时同步。

返回图2，麦克风116检测与使用相机111L和111R拍摄的图像对应的音频，并获得音频数据。音频编码器117对由麦克风116获得的音频数据使用MPEG-2音频AAC等执行编码，并产生音频基本流。

字幕/图形生成单元118生成要重叠在图像上的字幕信息或图形信息的数据(字幕数据、图形数据)。字幕信息例如是字幕。除此而外，图形信息例如是徽标(logo)等。字幕数据和图形数据是位图数据。字幕数据和图形数据被添加了指示在图像上的重叠位置的空闲(idling)偏移信息。

该空闲偏移信息指示例如在垂直方向和水平方向上从图像的左上原点到字幕信息或图形图像的重叠位置的左上像素的偏移值。注意，已经通过使用DVB(其为欧洲数字广播标准)将用以将字幕数据作为位图数据发送的标准标准化为DVB_Subtitling，并且操作所述标准。

字幕/图形编码器119接收由字幕/图形生成单元118生成的字幕信息和图形信息的数据(字幕数据、图形数据)作为输入。然后，字幕/图形编码器119产生在有效载荷部分中包括这些数据的基本流。

文本生成单元120生成要重叠在图像上的文本信息的数据(文本数据)。文本信息例如是电子节目指南、电视文字广播的内容等。与上述图形数据类似地，文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。该空闲偏移信息指示例如在垂直方向和水平方向上从图像的左上原点到文本信息的重叠位置的左上像素的偏移值。注意，文本数据的发送的示例包括作为节目预约操作的EPG以及作为美国数字陆路标准的ATSC的CC_数据(闭路字幕)。

文本编码器121接收由文本生成单元120生成的文本数据作为输入。然后，文本编码器121产生在有效载荷部分中包括这些数据的基本流。

多路复用器122多路复用从编码器113、115、117、119和121输出的分包基本流。然后，多路复用器122输出作为发送数据的位流数据(传送流)BSD。

将简要地描述在图2中所示的发送数据产生单元110的操作。在相机111L中，拍摄左眼图像。将用于立体图像显示的、由相机111L获得的左眼图像数据供应到视频成帧单元112。此外，在相机111R中，拍摄右眼图像。将用于立体图像显示的、由相机111R获得的右眼图像数据供应到视频成帧单元112。在视频成帧单元112中，将左眼图像数据和右眼图像数据修改和处理为根据发送方法的状态，并且获得立体图像数据(参看图4(a)至4(c))。

将由视频成帧单元112获得的立体图像数据供应到视频编码器113。在视频编码器113中，对立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，并产生包括编码视频数据的视频基本流。将该视频基本流供应到多路复用器122。

此外，通过视频成帧单元112将由相机111L和111R获得的左眼图像数据和右眼图像数据供应到视差矢量检测单元114。在视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，将视差检测块设置为图像中的预定位置，并检测作为关于左眼图像和右眼图像之一相对于另一个的视差信息的视差矢量。

将由视差矢量检测单元114检测到的、图像中的预定位置处的视差矢量供应到视差矢量编码器115。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量被作为一个集合而传递。在视差矢量编码器115中，产生包括视差矢量的发送内容的视差矢量基本流(参看图8)。将视差矢量基本流供应到多路复用器122。

此外，在麦克风116中，检测与使用相机111L和111R拍摄的图像对应的音频。将由麦克风116获得的音频数据供应到音频编码器117。在音频编码器117中，对于音频数据执行使用MPEG-2音频AAC等的编码，并且产生包括编码音频数据的音频基本流。将音频基本流供应到多路复用器122。

此外，在字幕/图形生成单元118，生成要在图像上重叠的字幕信息或图形信息的数据(字幕数据、图形数据)。将这种数据(位图数据)供应到字幕/图形编码器119。字幕/图形数据被添加了指示在图像上的重叠位置的空闲偏移信息。在字幕/图形编码器119中，对于图形数据执行预定编码，并且产生包括编码数据的基本流。将该基本流供应到多路复用器122。

此外，在文本生成单元120中，生成要在图像上重叠的文本信息的数据(文本数据)。将文本数据供应到文本编码器121。与上述图形数据类似地，文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。在文本编码器121中，对于文本数据执行预定编码，并且产生包括编码数据的基本流。将该基本流供应到多路复用器122。

在多路复用器122中，多路复用从相应编码器供应的基本流的包，并获得用作发送数据的位流数据(传送流)BSD。

图12图示了在图2中所示的发送数据产生单元110中被多路复用的相应数据流的示例。注意，这个示例指示了以视频场景为单位检测并发送视差矢量的情况(参看图10中的(b))。注意，用于同步显示的时间戳被添加到每一个流的包，并且在接收侧，可以控制在图像上重叠字幕信息、图形信息、文本信息等的定时。

“发送数据产生单元的另一示例配置”

注意，在上述图2中图示的发送数据产生单元110被配置为将视差矢量的发送内容(参看图8)发送到接收侧作为独立基本流。然而，也可以想到，通过嵌入另一流的状态来发送视差矢量的发送内容。例如，通过嵌入作为用户数据的视频流的状态来发送视差矢量的发送内容。此外，例如，通过嵌入字幕、图形或文本的流的状态来发送视差矢量的发送内容。

图13图示发送数据产生单元110A的示例配置。这个示例也是发送视差矢量作为数字信息的示例。发送数据产生单元110A被配置为通过将视差矢量的发送内容嵌入作为用户数据的视频流的状态来发送该视差矢量的发送内容。在图13中，与图2中的这些对应的部分被分配了同样的附图标记，并且省略了其详细描述。

在发送数据产生单元110A中，将由视差矢量检测单元114检测到的、图像中预定位置处的视差矢量供应到视频编码器113中的流格式器113a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一个集合被传递。在流格式器113a中，将视差矢量的发送内容(参看图8)嵌入作为用户数据的视频流。

虽然省略了详细描述，但是在图13中图示的发送数据产生单元110A的其他组件以与在图2中图示的发送数据产生单元110相同的方式配置。

图14图示在图13中所示的发送数据产生单元110A中多路复用的图像数据流、字幕或图形数据流和文本数据流的示例。通过嵌入图像数据流的状态来发送视差矢量(视差信息)。

“发送数据产生单元的另一示例配置”

图15图示了发送数据产生单元110B的示例配置。该示例也是发送视差矢量作为数字信息的示例。发送数据产生单元110B被配置为通过将视差矢量的发送内容嵌入字幕或图形数据流的状态来发送该视差矢量的发送内容。在图15中，对应于图2的部分被分配了同样的附图标记，并且省略了其详细描述。

在发送数据产生单元110B中，将由视差矢量检测单元114检测到的图像中预定位置处的视差矢量供应到字幕/图形编码器119中的流格式器119a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一个集合被传递。在流格式器119a中，将视差矢量的发送内容(参见图8)嵌入字幕或图形数据流。

虽然省略了详细描述，但是在图15中图示的发送数据产生单元110B的其他组件以与在图2中图示的发送数据产生单元110相同的方式配置，并且以类似的方式操作。

图16图示了在图15中所示的发送数据产生单元110B中多路复用的图像数据流、字幕或图形数据流和文本数据流的示例。通过将视差矢量(视差信息)嵌入字幕或图形数据流的状态来发送该视差矢量。

“发送数据产生单元的另一示例配置”

此外，图2、图13和图15中所示的以上发送数据产生单元110、110A和110B发送视差矢量作为数字信息(参见图8)。然而，代替发送视差矢量作为数字信息，也可以想到，在预先将视差信息反映在要重叠在图像上的重叠信息(如，字幕信息、图形信息或文本信息)的数据中的同时，在发送侧发送视差信息。

例如，在图形信息的数据中反映视差信息的情况下，在发送侧产生与要重叠在左眼图像上的左眼图形信息和要重叠在右眼图像上的右眼图形信息两者对应的图形数据。在这种情况下，左眼图形信息和右眼图形信息是同样的图形信息。然而，例如，图像中右眼图形信息的显示位置被配置为在水平方向上移动与相对于左眼图形信息的显示位置对应的视差矢量的水平方向分量。

例如，在图像中多个位置处检测到的视差矢量之中，使用与其重叠位置对应的视差矢量作为视差矢量。此外，例如，在图像中多个位置处检测到的视差矢量之中，使用就透视而言被辨认为最近的位置处的视差矢量作为视差矢量。注意，虽然省略了详细描述，但在字幕信息或图形信息的数据中反映视差信息的情况下同样如此。

图17(a)图示在发送方法为上述第一发送方法(“上下”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。左眼图形信息和右眼图形信息为同一信息。然而，要被重叠在右眼图像IR上的右眼图形信息RGI被配置为处于相对于要重叠在左眼图像IL上的左眼图形信息LGI在水平方向上移位了视差矢量的水平方向分量VVT的位置处。

如图17(a)所示，产生图形数据以便将图形信息LGI和RGI分别重叠在图像IL和IR上。从而，如图17(b)所示，观察者可以通过使用视差，与图像IL和IR一起观察图形信息LGI和RGI，并且还能够识别出图形信息的透视。

例如，如图18(a)所示，产生图形信息LGI和RGI的图形数据作为单一区域的数据。在这种情况下，可以将图形信息LGI和RGI以外的部分的数据产生为透明数据。此外，例如，如图18(b)所示，将图形信息LGI和RGI的图形数据产生为不同区域的数据。

图19(a)图示在发送方法为上述第二发送方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。左眼图形信息和右眼图形信息为同一信息。然而，要重叠在右眼图像IR上的右眼图形信息RGI被配置为处于相对于要重叠在左眼图像IL上的左眼图形信息LGI在水平方向上移位了视差矢量的水平方向分量VVT的位置处。注意，IT是空闲偏移值。

产生图形数据，以便如图19(a)所示，将图形信息LGI和RGI分别重叠在图像IL和IR上。从而，如图19(b)所示，观察者可以通过使用视差，与图像IL和IR一起观察图形信息LGI和RGI，并且还能够识别出图形信息的透视。

例如，如图20所示，将图形信息LGI和RGI的图形数据产生为单一区域的数据。在这种情况下，可以将在图形信息LGI和RGI以外的部分的数据产生为透明数据。

图21图示发送数据产生单元110C的示例配置。该发送数据产生单元110C被配置为在将视差信息反映在重叠信息(如，闭路字幕信息、字幕信息、图形信息或文本信息)的数据中的同时，发送视差信息。在图21中，与图2中的那些组件对应的组件被分配了相同的附图标记，其详细描述将被省略。

在发送数据产生单元110C中，在字幕/图形生成单元118与字幕/图形编码器119之间插入字幕/图形处理单元124。此外，在发送数据产生单元110C中，在文本生成单元120与文本编码器121之间插入文本处理单元125。然后，将由视差矢量检测单元114检测到的、图像中预定位置处的视差矢量供应到字幕/图形处理单元124和文本处理单元125。

在字幕/图形处理单元124中，产生要重叠在左眼图像IL和右眼图像IR上的左眼和右眼字幕或图形信息项LGI和RGI的数据。在这种情况下，基于由字幕/图形生成单元118生成的字幕数据或图形数据产生字幕或图形信息项。左眼和右眼字幕信息项或图形信息项是相同的信息。然而，例如，图像中右眼字幕信息或图形信息的重叠位置被配置为相对于左眼字幕信息或图形信息在水平方向上移位了视差矢量的水平方向分量VVT(参看图17(a)和图19(a))。

将以这种方式由字幕/图形处理单元124产生的字幕数据或图形数据供应到字幕/图形编码器119。注意，字幕数据或图形数据添加有指示图像上的重叠位置的空闲偏移信息。在字幕和图形编码器119中，产生由字幕/图形处理单元124产生的字幕数据或图形数据的基本流。

此外，在文本处理单元125中，基于由文本生成单元120生成的文本数据，产生要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息。但是，例如，图像中的右眼文本信息的重叠位置被配置为相对于左眼文本信息在水平方向上移位了视差矢量的水平方向分量VVT。

将以这种方式由文本处理单元125产生的文本数据供应到文本编码器121。注意，文本数据添加有指示图像上的重叠位置的空闲偏移信息。在文本编码器121中，产生由文本处理单元产生的文本数据的基本流。

尽管将省略详细描述，但是图21中所示的发送数据产生单元110C的其他组件以与图2中所示的发送数据产生单元110相同的方式配置。

“发送数据产生单元的另一示例配置”

在图2、图13和图15中所示的发送数据产生单元110、110A和110B中，在视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，检测图像中预定位置处的视差矢量(视差信息)。发送数据产生单元110、110A和110B被配置为将由视差矢量检测单元114检测到的、图像中预定位置处的视差信息原样发送到接收侧。

然而，例如，可以想到的是，对于以与图像数据相关联的方式在数据记录介质中记录的基于像素的视差矢量执行小型化处理，并且创建包括属于通过将屏幕分割为预定尺寸而获得的一个或多个区域的视差信息的视差信息集。在这种情况下，例如，基于接收侧的要求(如，视差矢量的空间密度或发送带)，选择每一个区域的尺寸。

此外，考虑将通用视差信息集和特定服务使用的视差信息集用作视差信息集。特定服务使用的示例包括闭路字幕用途和字幕用途。然后，对于要发送到接收侧的视差信息集，可以考虑如下情况。

(1)仅发送通用视差信息集(在与特定服务没有关系的情况下)

(2)仅发送通用视差信息集(在与特定服务有关系的情况下)

(3)发送通用视差信息集和特定服务使用的视差信息集二者

(4)仅发送特定服务使用的视差信息集

图22图示发送数据产生单元110D的示例配置。发送数据产生单元110D被配置为创建与以上情况(1)到(4)之一对应的视差信息集中的预定集，并将视差信息集中的该预定集发送到接收侧。在图22中，对应于图2的部分以相同的附图标记表示，并且将适当地省略其详细描述。

发送数据产生单元110D包括数据获取单元(存档单元)130、视差信息集创建单元131、视频编码器113和音频编码器117。此外，发送数据产生单元110D包括字幕/图形生成单元118、字幕/图形编码器119、文本生成单元120、文本编码器121和多路复用器122。

数据记录介质130a例如以可拆卸的方式与数据获取单元130连接。音频数据和视差矢量与包括左眼图像数据和右眼图像数据的立体图像数据一起记录在该数据记录介质130a中以便彼此对应。数据获取单元130从数据记录介质130a中获取立体图像数据、音频数据、视差矢量等，并将其输出。数据记录介质130a是盘状记录介质、半导体存储器等。

这里，数据记录介质130a中记录的立体图像数据被设计为对应于由图2中所示的发送数据产生单元110的视频成帧单元112获得的立体图像数据。此外，数据记录介质130a中记录的视差矢量例如是构成图像的基于像素的视差矢量。

视差信息集创建单元131具有取景器功能。视差信息集创建单元131对于从数据获取单元130输出的视差矢量(即，基于像素的视差矢量)执行小型化处理，并产生属于预定区域的视差矢量。

图23图示作为各个像素的亮度值而给出的相对深度方向上的数据的示例。这里，可以将相对深度方向上的数据通过预定转换作为每一个像素的视差矢量来处理。在该示例中，人物部分具有高亮度值。这意味着人物部分的视差矢量的值很大，因此，在立体图像显示中，这意味着感觉人物部分处于漂浮状态(floating state)。此外，在该示例中，背景部分具有低亮度值。这意味着背景部分的视差矢量的值小，因此，在立体图像显示中，这意味着感觉该背景部分处于沉埋状态(sunken state)。

图24图示基于块(Block)的视差矢量的示例。块对应于位于底层的像素以上的上层。通过在水平方向和垂直方向上以预定尺寸划分图像(画面)区域来构成所述块。每一块的视差矢量例如通过从块中存在的所有像素的视差矢量之中选择具有最大值的视差矢量来获得。在该示例中，每一块的视差矢量由箭头表示，并且箭头的长度对应于视差矢量的量值。

图25图示由视差信息集创建单元131执行的小型化处理的示例。首先，如25(a)所示，视差信息集创建单元134使用基于像素的视差矢量来确定基于块的视差矢量。如上所述，块对应于位于底层的像素以上的上层，并且通过在水平方向和垂直方向上以预定尺寸划分图像(画面)区域而形成。然后，例如，每一块的视差矢量通过从块中存在的所有像素的视差矢量之中选择具有最大值的视差矢量来获得。

接着，如图25(b)所示，视差信息集创建单元131使用基于块的视差矢量来确定基于组(Group Of Block)的视差矢量。组对应于块以上的上层，并且通过共同地分组多个相邻块来获得。在图25(b)的示例中，每一组由以虚线框括在一起的四个块组成。然后，例如，每一组的视差矢量通过从组中的所有块的视差矢量之中选择具有最大值的视差矢量来获得。

接着，如图25(c)所示，视差信息集创建单元131使用基于组的视差矢量来确定基于分区(Partition)的视差矢量。分区对应于组以上的上层，并且通过共同地分组多个相邻组来获得。在图25(c)的示例中，每一分区由以虚线框括在一起的两个组构成。然后，例如，通过从分区中的所有组的视差矢量之中选择具有最大值的视差矢量，来获得每一分区的视差矢量。

接着，如图25(d)所示，视差信息集创建单元131使用基于分区的视差矢量来确定位于顶层的整个画面(整个图像)的视差矢量。在图25(d)的示例中，整个画面包括以虚线框括在一起的四个区域。然后，例如，通过从整个画面中包括的所有区域的视差矢量之中选择具有最大值的视差矢量，获得整个画面的视差矢量。在这种情况下，除了整个画面的视差矢量之外，可以确定关于从其获得了视差矢量的原始像素的位置(在图中以“+”指示)的信息，并且用作视差矢量的附加信息。在确定上述块、组和分区的视差矢量时同样如此。

因此，视差信息集创建单元131通过对于位于底层的每一个像素的视差矢量执行小型化处理，可以确定各个层中的各个区域，即块、组、分区和整个画面中的视差矢量。注意，在图25中所示的小型化处理的示例中，最终，确定像素层以外的四个层(即，块、组、分区和整个画面)中的视差矢量。然而，层的数量、如何将每一个层划分为区域和区域的数量不限于以上那些。

视差信息集创建单元131通过上述小型化处理创建视差信息集，所述视差信息集包括具有预定尺寸的每一区域的视差矢量。视差信息集被添加有指示每一条视差信息所属的屏幕区域的信息。例如，作为指示屏幕区域的信息，添加指示屏幕上的分区数量的信息，如零个分区、四个分区、九个分区、十六个分区。此外，例如，添加指示区域大小(块大小)的信息，如16×16，32×32，64×64等作为指示屏幕区域的信息。

如果以扫描顺序排列视差信息集中的各条视差信息，则可以使用指示屏幕上的分区数量的信息或指示区域大小的信息来掌握每一条视差信息所属的屏幕区域。在这个意义上，指示屏幕上的分区数量的信息、或者指示区域大小的信息变为指示每一条视差信息所属的屏幕区域的信息。

此外，视差信息集创建单元131根据需要创建特定服务使用的视差信息集。例如，根据需要，创建对于闭路字幕用途、字幕用途、特定应用(窗口小部件)图形用途等的视差信息集。在这种情况下，通过上述小型化处理，创建属于一个或多个屏幕区域的视差矢量，所述一个或多个屏幕区域对应于重叠信息(闭路字幕信息、字幕信息、图形信息等)的一个或多个显示区域。

图26(a)图示图像上字幕和应用图形的显示示例。图26(b)图示图像、字幕和应用图形的透视。例如，如图所示，期望显示在屏幕下半部的中心区域中的字幕在图像中最近的位置前面进一步被识别。在这种情况下，在视差信息集创建单元131中，根据字幕的显示区域和对应图像区域的视差矢量，创建用于向字幕赋予视差的视差矢量。

此外，例如，如图所示，期望显示在屏幕的右下边缘区域中的应用图形在字幕前面进一步被识别。在这种情况下，在视差信息集创建单元131中，根据应用图形的显示区域和对应图像区域的视差矢量，创建用于向应用图形赋予视差的视差矢量。

这里，如上所述，视差信息集创建单元131具有取景器功能。在该视差信息集创建单元131中，实际上显示如图26(a)所示的立体图像。因此，将从数据获取单元130输出的立体图像数据(左眼图像数据、右眼图像数据)提供到该视差信息集创建单元131。此外，将由字幕/图形生成单元118生成的字幕数据或图形数据以及由文本生成单元120生成的文本数据(包括闭路字幕数据)提供到视差信息集创建单元131。

对于由视差信息集创建单元131创建的、且与立体图像数据一起发送的视差信息集中的每一集合被添加有视差序列ID(Disparity_Sequence_id)。视差序列ID是指示重叠信息(其中，对于其要使用视差信息集中包括的视差信息)的类型的标识信息。通过该视差序列ID，识别视差信息集是通用视差信息集还是特定服务使用视差信息集。此外，通过该标识信息，识别特定服务使用的视差信息集表示什么种类的服务使用视差信息集。

如图27所示，Disparity_Sequence_id＝0指示通用视差信息集。该视差信息集基于预先记录的视差信息来创建。在该视差信息集与特定服务不相关联的情况下，不需要使用例如视差链接描述符(Disparity_Linkage_Descriptor)等来与特定服务相关联。此外，Disparity_Sequence_id＝1到255指示通过使用例如视差链接描述符等关联的特定服务使用的视差信息集。

[视差信息集]

将关于上述情况(1)到(4)中的每一个，进一步描述由视差信息集创建单元131创建的视差信息集。

“情况(1)”

如上所述，情况(1)是仅发送通用视差信息集的情况。在情况(1)中，仅创建通用视差信息集。注意，在情况(1)中，视差信息集中包括的视差信息与特定服务没有关系。

图28图示了在情况(1)中创建的视差信息集的示例。在该示例中，视差信息集包括属于通过将屏幕划分为九个部分而获得的各个屏幕区域的视差矢量(水平视差矢量)P0到P8。例如，通过使用基于像素的视差矢量的上述小型化处理来确定视差矢量P0到P8。在图28中，箭头指示视差矢量，而箭头的长度对应于视差矢量的量值。

该视差信息集是通用视差信息集。因此，如图29所示，要添加到该视差信息集的标识信息“Disparity_Sequence_id”被设置为“0”，其指示通用视差信息集。

这里，通用视差信息集是对于图像数据的每一预定单元(如，对于编码视频的每一画面)的视差信息集。如下所述，将图像数据分割为特定时间段，并且在特定时间段的图像数据的发送之前，发送每一特定时间段的图像数据所对应的多个视差信息集(Packed Disparity Set)的一个集合。因此，如图29所示，向每一个预定单元的视差信息集添加偏移(Offset)作为指示使用视差信息集的定时的时间信息。添加到每一个视差信息集的偏移表示从第一视差信息集的使用时间(以时间戳(Time Stamp)指示)起的时间。

“情况(2)”

如上所述，情况(2)是仅发送通用视差信息集的情况。在情况(2)中，仅创建通用视差信息集。注意，在情况(2)中，视差信息集中包括的视差信息与特定服务有关系。

图30图示了在情况(2)中创建的视差信息集的示例。在该示例中，视差信息集包括属于通过将屏幕划分为九个部分而获得的各个屏幕区域的视差矢量(水平视差矢量)P0到P8。例如，通过使用基于像素的视差矢量的上述小型化处理来确定每一个视差矢量P0到P8。在图30中，箭头指示视差矢量，而箭头的长度对应于视差矢量的量值。

该视差信息集是通用视差信息集。因此，如图31所示，要添加到该视差信息集的标识信息“Disparity_Sequence_id”被设置为“0”，其指示通用视差信息集。

这里，通用视差信息集是对于图像数据的每一预定单元(如，对于编码视频的每一画面)的视差信息集。如下所述，将图像数据分割为特定时间段，并且在特定时间段的图像数据的发送之前，发送每一个特定时间段的图像数据所对应的多个视差信息集(Packed Disparity Set)的一个集合。因此，如图31所示，向每一个预定单元的视差信息集添加偏移(Offset)作为指示使用视差信息集的定时的时间信息。添加到每一个视差信息集的偏移指示从第一视差信息集的使用时间(以时间戳(Time Stamp)指示)起的时间。

如上所述，在情况(2)中，视差信息集中包括的视差信息与特定服务有关系。图31图示视差矢量P7和闭路字幕数据DF0彼此相关联的示例。注意，如图30所示，根据该闭路字幕数据DF0的闭路字幕信息显示在视差矢量P7所属的屏幕区域中。在这种情况下，指示显示该闭路字幕信息的屏幕区域的分量元素ID(Component_Element ID)和视差矢量P7彼此相关联。

图32图示了在这种情况下分量元素ID与视差矢量之间的关联表(Component_Linked_Info)的示例。在这种情况下，由分区位置ID(Partition_Position_ID)指定视差矢量的目标位置。分区位置ID指示多个屏幕区域(所述屏幕区域由分区数量或块大小来指定)之中的哪一个屏幕区域。

注意，图31中所示的示例图示了其中一条视差信息与一条闭路字幕数据相关联的示例。然而，也可以想到的是，多条视差信息与一条闭路字幕数据相关联。以这种方式，在多条视差信息与一条闭路字幕数据相关联的情况下，在接收侧，可以选择并使用特定一条视差信息，以便向基于该条闭路字幕数据的闭路字幕信息赋予视差。

图33图示了视差矢量P6和P7、与闭路字幕数据DF1之间的关联性并且进一步视差矢量P7和P8与闭路字幕数据DF2之间的关联性的示例。在这种情况下，执行指示用于根据闭路字幕数据DF1显示闭路字幕信息的屏幕区域的分量元素ID与视差矢量P6和P7之间的关联。此外，类似地，执行指示用于根据闭路字幕数据DF2显示闭路字幕信息的屏幕区域的分量元素ID与视差矢量P7和P8之间的关联。

图34图示了在这种情况下，分量元素ID与视差矢量之间的关联表(Component_Linked_Info)。在这种情况下，由分区位置ID(Partition_Position_ID)来指定视差矢量。分区位置ID指示多个屏幕区域(所述屏幕区域由分区的数量或块大小指定)之中的哪一个屏幕区域。

“情况(3)”

情况(3)是如上所述发送通用视差信息集和特定服务使用的视差信息集二者的情况。在情况(3)中，创建通用视差信息集和特定服务使用的视差信息集二者。在这种情况下，要添加到通用视差信息集的标识信息(Disparity_Sequence_id)被设置为“0”。此外，要添加到特定服务使用的视差信息集的标识信息(Disparity_Sequence_id)被设置为“0”以外的值。例如，通过如上所述将信息插入到用户数据，执行标识信息(Disparity_Sequence_id)与服务之间的关联。可替代地，例如，使用如上所述的视差链接描述符(Disparity_Linkage_Descriptor)来执行该关联。

图35图示了在情况(3)中创建的视差信息集的示例。在该示例中，通用视差信息集包括属于通过将屏幕划分为九个部分而获得的各个屏幕区域的视差矢量(水平视差矢量)P0到P8。例如，通过使用基于像素的视差矢量的以上小型化处理，确定视差矢量P0到P8。在图35中，箭头指示视差矢量，而箭头的长度对应于视差矢量的量值。

此外，创建用于闭路字幕用途的视差信息集，作为特定服务使用的视差信息集。用于闭路字幕用途的视差信息集包括与闭路字幕信息“Caption 1”对应的视差矢量CC1和与闭路字幕信息“Caption 2”对应的视差矢量CC2。

这里，视差信息集是对于图像数据的每一预定单元(如，对于编码视频的每一个画面)的视差信息集。如下所述，将图像数据分割为特定时间段，并且在特定时间段的图像数据的发送之前，发送每一特定时间段的图像数据所对应的多个视差信息集(Packed Disparity Set)的一个集合。因此，如图36所示，为每一预定单位的视差信息集添加偏移(Offset)作为指示使用视差信息集的定时的时间信息。添加到每一个视差信息集的偏移表示从第一视差信息集的使用时间(以时间戳(Time Stamp)指示)起的时间。

如上所述，特定服务使用的视差信息集是用于闭路字幕用途的视差信息集。图35图示了视差矢量CC1和闭路字幕数据DF1之间的关联，以及进一步视差矢量CC2与闭路字幕数据DF2之间的关联的示例。在这种情况下，执行指示显示闭路字幕信息的屏幕区域的分量元素ID(Component_Element ID)与视差矢量CC1和CC2之间的关联。

图37图示了在这种情况下分量元素ID与视差矢量之间的关联表(Component_Linked_Info)。在这种情况下，由分区位置ID(Partition_Position_ID)指定视差矢量的对象位置。分区位置ID指示多个屏幕区域(所述屏幕区域由分区数量或块大小指定)之中的哪一个屏幕区域。

“情况(4)”

如上所述，情况(4)是仅发送特定服务使用的视差信息集的情况。在情况(4)中，仅创建特定服务使用的视差信息集。在这种情况下，要添加到特定服务使用的视差信息集的标识信息(Disparity_Sequence_id)被设置为“0”。例如，通过如上所述将信息插入到用户数据，执行标识信息(Disparity_Sequence_id)与服务之间的关联。可替代地，例如，使用如上所述的视差链接描述符(Disparity_Linkage_Descriptor)来执行该关联。

图38图示了在情况(4)中创建的视差信息集的示例。在该示例中，创建用于闭路字幕用途的视差信息集，作为特定服务使用的视差信息集。用于闭路字幕用途的视差信息集包括与闭路字幕信息“Caption 1”对应的视差矢量CC1和与闭路字幕信息“Caption 2”对应的视差矢量CC2。

这里，视差信息集是对于图像数据的每一个预定单元(如，对于编码视频的每一个画面)的视差信息集。如下所述，将图像数据分割为特定时间段，并且在特定时间段的图像数据的发送之前，发送每一特定时间段的图像数据所对应的多个视差信息集(Packed Disparity Set)的一个集合。因此，如图39所示，为每一预定单位的视差信息集添加偏移(Offset)作为指示使用视差信息集的定时的时间信息。添加到每一个视差信息集的偏移表示从第一视差信息集的使用时间(以时间戳(Time Stamp)指示)起的时间。

如上所述，特定服务使用的视差信息集是用于闭路字幕用途的视差信息集。图39图示了视差矢量CC1和闭路字幕数据DF1之间的关联以及进一步视差矢量CC2和闭路字幕数据DF2之间的关联的示例。在这种情况下，执行指示显示闭路字幕信息的屏幕区域的分量元素ID(Component_Element ID)与视差矢量CC1和CC2之间的关联(参见图37)。

注意，在图32、图34和图37中，图示了这样的示例：其中，分量元素ID与视差矢量之间的关联表，其中，分量元素ID是闭路字幕的窗口ID(Window ID)。例如，在DVB字幕的情况下，分量元素ID是DVB字幕的区域ID(Region_id)。

在DVB字幕的情况下，例如，如图40所示，通过使用基本PID(Elementary PID)来执行字幕片段(Subtitle Segment)与视差矢量数据(Disparity Data)之间的关联。接下来，字幕片段中的页面ID(Page_id)和视差矢量数据的标识信息(Disparity_Sequence_id)彼此相关。此外，区域ID(Region ID)和视差矢量(Disparity_Vector_horizontal)彼此相关。

视频编码器113对于从数据获取单元130提供的立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，以获得编码视频数据。此外，视频编码器113通过使用其后级中提供的流格式器113a，在有效载荷部分产生包括编码视频数据的视频基本流。如上所述，将由视差信息集创建单元131创建的视差信息集中的预定集提供到视频编码器113中的流格式器113a。流格式器113a将视差信息集中的预定集作为用户数据嵌入视频流中。

图41示意性地图示视频基本流(Video Elementary Stream)的示例结构。在视频基本流中，在开头排列包括每一序列的参数的序列头部。在该序列头部部分之后，排列包括每一画面的参数和用户数据的画面头部。在画面头部部分之后，排列包括画面数据的有效载荷部分。其后，重复地排列画面头部部分和有效载荷部分。

上述视差信息集例如嵌入画面头部部分的用户数据区域中。图42图示了用户数据的示例配置。图42(a)图示了在编码方法是MPEG2的情况下用户数据的配置。图42(b)图示了在编码方法是H.264AVC(MPEG4-AVC)的情况下用户数据的配置。进一步，图42(c)图示了在编码方法是VC-1的情况下用户数据的配置。

尽管将省略详细描述，但是各个方法的用户数据的配置基本上类似。即，在开头排列指示用户数据开始的代码，然后排列指示数据种类的标识符“user_identifier”，进一步，其后排列数据主体“user_structure”。下面将描述包括视差信息(Disparity_Information)的用户数据的详细配置。

音频编码器117对于从数据获取单元130提供的音频数据执行使用MPEG-2Audio AAC等的编码，并产生音频基本流。多路复用器122多路复用从编码器113、117、119和121输出的打包基本流。接下来，多路复用器122输出用作发送数据的位流数据(传送流)BSD。

尽管将省略描述，但是图22中所示的发送数据产生单元110D的其他组件以与图2中所示的发送数据产生单元110相同的方式配置。

将简要描述图22中所示的发送数据产生单元110D的操作。将从数据获取单元130输出的立体图像数据提供到视频编码器113。在视频编码器113中，对于立体图像数据执行使用MPEG-4-AVC、MPEG2、VC-1等的编码，并产生包括编码视频数据的视频基本流。将视频基本流提供到多路复用器122。

此外，将从数据获取单元130输出的基于像素的视差矢量提供到视差信息集创建单元131。在视差信息集创建单元131中，对于视差矢量执行小型化处理等，并创建要发送的视差信息集中的预定集(情况(1)到(4))。将由视差信息集创建单元131创建的视差信息集中的预定集提供到视频编码器113中的流格式器113a。在流格式器113a中，将视差信息集中的预定集作为用户数据嵌入视频流中。

此外，将从数据获取单元130输出的音频数据提供到音频编码器117。在音频编码器117中，对于音频数据执行使用MPEG-2 Audio AAC等的编码，并且产生包括编码音频数据的音频基本流。将音频基本流提供到多路复用器122。

此外，将包括关于字幕数据或图形数据的编码数据的基本流从字幕/图形编码器119提供到多路复用器122。此外，将包括关于文本数据的编码数据的基本流从文本编码器121提供到多路复用器122。接下来，在多路复用器122中，多路复用从各个编码器提供的基本流的包，并且获得用作发送数据的位流数据(传送流)BSD。

[服务分量和每一个流的视差信息之间的关联、视差信息集标识信息和服务之间的关联]

通过使用视差链接描述符(Disparity_Linkage_Descriptor)来执行各个相关联的流中的服务分量和视差信息之间的关联。此外，通过使用视差链接描述符，还执行各个流中的视差信息集标识信息(Disparity_Sequence_id)和服务之间的关联。视差链接描述符被排列在多路复用的流的头部区域中，或者多路复用的流中的描述符表(如PMT)中。

图43图示在这种情况下视差链接描述符的示例配置。图44图示图43中所示的配置中每一条信息的内容。“descriptor_tag”是指示描述符类型的8位数据。这里，设置“0xD0”，其指示视差链接描述符。“descriptor_length”是指示信息的长度(大小)的8位数据。

“number_of_Linked_Streams”是指示根据视差信息数据(Disparity_Data)的限定两个流之间的关联且各流相关联的基本流的数量的5位数据。

“ElementaryPID_ of_disparity”是指示包括视差信息数据(Disparity_Data)的基本流(PES)的PID(节目ID)的13位数据。

“ElementaryPID_of_Service_Component”是指示包括服务分量(如，字幕、字幕、文本或图形)的基本流(PES)的PID(节目ID)的13位数据。通过这两个PID，对于每一个相关联的基本流执行视差信息和服务分量之间的关联。

“number_of_linked_sequences”是指示要关联以便对应于每一个相关联的基本流的视差信息集(视差信息，Disparity Information)的数量的5位数据。“Service_id是指示用于标识服务的唯一字的32位数据。例如，对于ATSC分配“0x47413934”。“Data_Type”是指示由“Service_id”标识的服务中的数据类型的8位数据。例如，“0x03”指示闭路字幕数据。

排列视差序列ID“Disparity_Sequence_id”和服务页面ID

“Service_page_id”，其数量对应于由“number_of_linked_sequences”指示的值。“Disparity_Sequence_id”是作为用于标识每一个服务的标识信息的8位数据。“Service_page_id”是用于指定服务(如字幕页面)的8位数据。因此，预定数量的视差序列ID和服务页面ID与预定“Service_page_id”和“Data_Type(i)”相关联。

将描述图43中所示的视差链接描述符的示例配置中的每一项的特定示例。图45(a)图示了在将视差信息集插入图像数据流的用户数据区域并将其发送到接收侧(如图22中所示的发送数据产生单元110D那样)的情况下PID的示例。在该示例中，将视差链接描述符(Disparity_Linkage_Descriptor)排列在多路复用的流(TS)中的PMT中。

接下来，在该示例中，多路复用的流(TS)中包括的包含视差信息数据(Disparity Data)的视频(图像数据)基本流(PES)的PID被设置为“PID_0”。此外，在该示例中，多路复用的流(TS)中包括的音频基本流(PES)的PID被设置为“PID_1”。此外，在该示例中，多路复用的流(TS)中包括的字幕基本流(PES)的PID被设置为“PID_2”。

图45(b)图示了在产生包括视差信息集的视差矢量基本流(PES)，且与另一个流多路复用该独立的流，并将其发送到接收侧(如后面描述的图62中的发送数据产生单元110E那样)的情况下PID的示例。在该示例中，将视差链接描述符(Disparity_Linkage_Descriptor)排列在多路复用的流(TS)中的PMT中。

接下来，在该示例中，多路复用的流(TS)中包括的视频(图像数据)基本流(PES)的PID被设置为“PID_0”。此外，在该示例中，多路复用的流(TS)中包括的音频基本流(PES)的PID被设置为“PID_1”。此外，在该示例中，多路复用的流(TS)中包括的字幕基本流(PES)的PID被设置为“PID_2”。此外，在该示例中，多路复用的流(TS)中包括的视差矢量基本流(PES)的PID被设置为“PID_3”。

图46(a)图示了这样的示例：其中，添加了“Disparity_Sequence_id＝1”的视差信息集与字幕相关联(链接)。在该示例中，视差信息集包括与字幕信息“Subtitle 1”对应的视差矢量“Region 1”以及与字幕信息“Subtitle 2”对应的视差矢量“Region 2”。图46(b)图示了这样的示例：其中，添加了“Disparity_Sequence_id＝2”的视差信息集与闭路字幕相关联(链接)。在该示例中，视差信息集包括与闭路字幕信息“Caption 1”对应的视差矢量CC1以及与闭路字幕信息“Caption 2”对应的视差矢量CC2。

图47图示了上述图45(a)的情况下视差信息集与字幕相关联的情况。在这种情况下，将“ElementaryPID_of_Service_Component”设置为字幕基本流的PID(Subtitle PID)。并且在，这种情况下，将“ElementaryPID_of_disparity”设置为视频基本流的PID(Video PID)。

图48图示了上述图45(b)的情况下视差信息集与字幕相关联的情况。在这种情况下，将“ElementaryPID_of_Service_Component”设置为字幕基本流的PID(Subtitle PID)。此外，在这种情况下，将“ElementaryPID_of_disparity”设置为视差矢量基本流的PID(Disparity PID)。

图49图示了在上述图45(a)的情况下(其中，在将闭路字幕数据插入图像数据流的用户数据区域的状态下，将其发送到接收侧)，视差信息集与闭路字幕相关联的情况。这里，“Service_id”指示ATSC，并且表示“Data_Type”＝闭路字幕(CC)。在这种情况下，将“ElementaryPID_of_Service_Component”设置为视频基本流的PID(Video PID)。此外，在这种情况下，还将“ElementaryPID_of_disparity”设置为视频基本流的PID(Video PID)。

注意，例如，尽管将省略详细描述，但是ID的现有操作数如下：“Service_id＝0x47413934”表示“ATSC”，其中“Data_Type＝0x03”表示“闭路字幕”，且“Data_Type＝0x06”表示“Bar_data(邮箱或邮筒区域)”。此外，“Service_id＝0x44544731”指示“AFD”。

图50图示在上述图45(b)的情况下(其中，在将闭路字幕数据插入图像数据流的用户数据区域的状态下，将其发送到接收侧)，视差信息集与闭路字幕相关联的情况。这里，“Service_id”表示ATSC，并且表示“Data_Type”＝闭路字幕(CC)。在这种情况下，将“ElementaryPID_of_Service_Component”设置为视频基本流的PID(Video PID)。此外，在这种情况下，将

“ElementaryPID_of_disparity”设置为视差矢量基本流的PID(Disparity PID)。

[包括视差信息(Disparity_Information)的用户数据的详细配置]

图51图示了包括视差信息(Disparity_Information)的用户数据的详细配置的示例。该示例是在编码方法为MPEG2的情况下的示例。当开始码(user_data_start_code)之后的数据标识符是视差信息标识符(Disparity_Information_identifier)时，排列视差信息(Disparity_Information)作为数据标识符之后的数据主体(data body)。

图52图示了视差信息(Disparity_Information)的配置，并且其中排列视差信息数据(Disparity_Information_Data)。该视差信息数据可以具有与上述图43中的视差链接描述符(Disparity_Linkage_Descriptor)的信息类似的信息。在这种情况下，视差信息数据包括DSL

(Disparity_Information_Link_Information)，其具有图53中图示的配置。此外，视差信息数据包括DHI(Disparity_Header_Information)，其具有图54和图55中图示的配置。此外，视差信息数据包括DDS(Disparity Data Set)，其具有图56中图示的配置。图57到图60图示了在图53到图56中所示的配置中每一条信息的内容。

将参照图57描述DSL。DSL是用于将视差序列ID

(Disparity_Sequence_id)与服务进行关联的信息。“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置为“0x0”，其指示该信息是“DSL”。

尽管将省略详细描述，但是″number_of_Linked_Streams″，

″ElementaryPID_of_disparity″、″ElementaryPID_of_Service_Component″、

″number_of_linked_sequences″、″Service_id″、″Data_Type″和

″Disparity_Sequence_id″各项与图43中所述的相同。

将参照图54和图55描述DHI。DHI也包括用于将每一服务分量和分区位置ID(Partition_Position_ID)进行关联的信息，所述分区位置ID指定要用于该分量的视差矢量。“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置为“0x1”，其指示该信息是“DHI”。

“Views_offset”是指示将偏移的扩展应用于“第二视图”(如，仅右眼图像)还是“两个视图”(即，左眼图像和右眼图像二者)的1位数据。在“Views_offset”是“1”的情况下，指示到“两个视图”的应用。在“0”的情况下，指示到“第二视图”的应用。“Disparity_precision”是指示重叠信息关于视差矢量移位的程度的2位数据。在“Disparity_precision”是“0”的情况下，指示移位了对应于视差矢量的1/2的量。在“1”的情况下，指示移位了对应于视差矢量的量。

在“2”的情况下，指示移位了对应于视差矢量的单位值的量，其中一个单位等于两个像素。例如，如果视差矢量是“7”时，则执行2×7＝14个像素的移位。在“3”的情况下，指示移位了对应于视差矢量的单位值的量，其中一个单位等于三个像素。例如，如果视差矢量是“7”时，则执行3×7＝21个像素的移位

“Disparity_Sequence_id”是作为用于标识每一个服务的标识信息的8位数据。“Service_Linked_flag”是指示是否存在与上述DSL中的服务相关联的视差矢量(视差信息)的1位数据。在“1”的情况下，这指示存在与服务相关联的视差矢量。相比之下，在“0”的情况下，这指示不存在与服务相关联的视差矢量。

“Target_Resolution_Type”是用于指定关于目标视频的编码的视差信息集的分辨率的2位数据。在“0x0”的情况下，指示1920×1080的分辨率。在“0x1”的情况下，指示1440×1080的分辨率。在“0x2”的情况下，指示1280×720的分辨率。

“Block_Size”是用于指定块大小的2位数据。“Block_Size”是构成指示屏幕区域的信息的、指示区域大小的信息。在“0x0”的情况下，指示16像素×16像素的块大小。在“0x1”的情况下，指示的32像素×32像素的块大小。在“0x2”的情况下，指示64像素×64像素的块大小。此外，在“0x3”的情况下，指示128像素×128像素的块大小。

“Link_source”指示视差信息集(源)是通用视差信息集还是特定服务使用的视差信息集。当设置“1”时，这指示视差信息集是具有通过划分屏幕而获得的屏幕区域的视差矢量的通用视差信息集。当设置“0”时，这指示视差信息集是具有与服务分量元素对应的视差矢量的特定服务使用的视差信息集。

“Partition”指示划分屏幕的模式。该“Partition”是构成指示屏幕区域的信息的、指示屏幕分区的数量的信息。在“0x0”的情况下，这指示如图61(a)所示，图像(画面)区域未划分，且发送表示该图像(画面)区域的一个视差矢量(视差信息)。在“0x1”的情况下，如图61(b)所示，这指示将图像(画面)区域划分为四个部分，并且发送表示各个子区域的四个视差矢量(视差信息)。在这种情况下，以这种方式排列视差矢量，以便左上区域的视差矢量变为第一个，而右下区域中的视差矢量变为最后一个(以图61(b)中0到3的顺序)。

在“0x2”的情况下，如图61(c)所示，这指示将图像(画面)区域划分为九个部分，并且发送表示各个子区域的九个视差矢量(视差信息)。在这种情况下，以这种方式排列视差矢量，以便左上区域中的视差矢量变为第一个，而右下区域中的视差矢量变为最后一个(以图61(c)中0到8的顺序)。在“0x3”的情况下，如图61(d)所示，这指示将图像(画面)区域划分为十六个部分，并且发送表示各个子区域的十六个视差矢量(视差信息)。在这种情况下，以这种方式排列视差矢量，以便左上区域中的视差矢量变为第一个，而右下区域中的视差矢量变为最后一个(以图61(d)中0到15的顺序)。

在“0x7”的情况下，这指示将图像(画面)区域划分为多个块，并且发送表示各个子区域的多个视差矢量(视差信息)。在这种情况下，以这种方式排列视差矢量，以便左上区域中的视差矢量变为第一个，而右下区域中的视差矢量变为最后一个。

“Number_of_Component_Elements”是指示由上述“Partition”或“Block_Size”指定的屏幕区域的数量，或者相关联的服务中的分量元素的数量的13位数据。

接下来，在上述“Service_Linked_flag”是“1”的情况下，排列分量链接信息(Component_Linkage_Info)，其量对应于与视差信息集中的视差矢量(视差信息)相关联的服务数量(number of service)。在分量链接信息中，如图55中所示，对于分量元素的数量，排列关于分量元素与视差矢量之间的对应性的信息。

“Component_Element”是指示分量元素ID的8位数据。例如，分量元素ID是闭路字幕的窗口ID(Window ID)、DVB字幕的区域ID(region_idga)等。“Element_Linkage_Length”是指示信息的长度(大小)的8位数据。“number_of_mutiple_link”指示与分量元素ID相关联的视差矢量的数量。“Partition_Position_id”是用于指定视差矢量的13位信息。该“Partition_Position_id”指示在多个屏幕区域(所述屏幕区域由以上“Partition”或“Block_size”指定)之中的哪一个屏幕区域。

将参照图56描述DDS。DDS包括关于每一个视差信息集中包括的视差矢量的信息。“Disparity_Info_Length”是指示信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示信息的类型的2位数据，并且这里设置为“0x2”，其指示该信息是“DID”。“Disparity_Sequence_id”是用于标识通用视差信息集或特定服务使用的视差信息集，并且用于标识在特定服务使用的情况下的服务的8位数据。

“Number_of_Component_Elements”是指示由上述“Partition”或“Block_Size”指定的屏幕区域的数量或相关联的服务中分量元素的数量的13位数据。排列用于视频数据的某一时间段(如，15帧的时间段)期间的每一帧的视差信息集中包括的P个视差矢量的值。“Disparity_sets_in_period”是指示用于提供视频数据的某一时间段中包括的偏移的视差矢量(视差信息)集的数量的8位数据。

“Offset_Frame_In_disparity_set”是指示使用每一个视差信息集的定时的时间信息。该时间信息指示从由时间戳(Time Stamp)指示的第一个视差信息集的使用时间起的时间(帧数)。“Disparity_Vector_Horozontal(i)”指示作为第i个视差矢量的值的水平视差矢量的值。

注意，在之前的描述中，已经示出了这样的示例：其中，排列用于将视差序列ID(Disparity_Sequence_id)和服务进行关联的信息，作为用作用户数据的视差信息中的DSL。然而，可以想到的是，通过视差链接描述符(Disparity_Linkage_Descriptor)来执行视差序列ID(Disparity_Sequence_id)和服务之间的关联。该视差链接描述符(Disparity_Linkage_Descriptor)DLD例如排列在多路复用的流(位流数据BSD)中的PMT表中。

在图22中所示的发送数据产生单元110D中，与包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据一起，发送每一个均添加了指示要使用视差信息的重叠信息的种类的标识信息的视差信息集中的预定集。因此，在接收侧，通过使用适于该重叠信息的种类的视差信息集，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的相同的重叠信息(比如，闭路字幕信息、字幕信息、图形信息或文本信息)。

注意，在图22中所示的发送数据产生单元110D的以上描述中，已经描述了视差信息集创建单元131对于底层中的每一个像素的视差矢量执行小型化处理以确定每一层的每一区域的视差矢量。然而，可以在数据记录介质130a上记录每一层中的每一个区域的视差矢量，并且视差信息集创建单元131可以利用它。

“发送数据产生单元的另一个示例配置”

此外，图22中所示的发送数据产生单元110D被配置为以将由视差信息集创建单元131创建的视差信息集中的预定集插入到图像数据流中的状态来将其发送到接收侧。然而，也可以使用这样的配置：其中，以将由视差信息集创建单元131创建的视差信息集中的预定集插入到图像数据流以外的不同数据流的状态，将其发送到接收侧。

此外，也可以使用这样的配置：其中，产生包括由视差信息集创建单元131创建的视差信息集中的预定集的视差矢量基本流(视差矢量流)，并将该视差矢量流与另一个流多路复用并将其发送到接收侧。图62图示了在这种情况下发送数据产生单元110E的示例配置。在该图62中，对应于图22的部件以相同的附图标记表示，并且将省略其详细描述。

与图2中的发送数据产生单元110类似地，该发送数据产生单元110E被配置为包括视差矢量编码器115。将由视差信息集创建单元131创建的视差信息集中的预定集发送到视差矢量编码器115。接下来，在该视差矢量编码器115中，产生包括视差矢量集中的预定集的视差矢量基本流(视差矢量流)。接下来，将该视差矢量流提供到多路复用器122。在多路复用器122中，还与其他数据流一起多路复用视差矢量流，并产生位流数据BSD。

尽管将省略描述，但是在该发送数据产生单元110E中，其他配置和操作与图22中所示的发送数据产生单元110D的那些相同。此外，在发送数据产生单元110E中，可以获得与图22中所示的发送数据产生单元110D的那些类似的优点。

“发送数据产生单元的另一示例配置”

在图22中所示的发送数据产生单元110D中，作为视差信息集，可以发送通用视差信息集和特定服务使用的视差信息集之一或二者。然而，也可以想到的是，设计发送受限使用的视差信息(如，闭路字幕信息或字幕信息)，并且使用能够易于与现有广播标准(如ATSC和CEA)协调的简单数据结构。

图63图示了在这种情况下发送数据产生单元110F的示例配置。发送数据产生单元110F被配置为创建视差信息(其用途受限于闭路字幕信息)并且将视差信息发送到接收侧。在图63中，与图2中的那些组件对应的组件分配了相同的附图标记，并且省略其详细描述。

发送数据产生单元110F包括数据获取单元(存档单元)130、视差信息创建单元131、CC(闭路字幕)编码器133、视频编码器113、音频编码器117和多路复用器122。

数据记录介质130a例如以可拆卸的方式连接到数据获取单元130。与包括左眼图像数据和右眼图像数据的立体图像数据一起，将音频数据和视差矢量(视差信息)记录在数据记录介质130a上，以便彼此对应。数据获取单元130从数据记录介质130a获取立体图像数据、音频数据、视差矢量等，并输出它们。数据记录介质130a是盘形记录介质、半导体存储器等。

这里，数据记录介质130a上记录的立体图像数据被设计为对应于由图2中所示的发送数据产生单元110的视频成帧单元112获得的立体图像数据。此外，数据记录介质130a上记录的视差矢量例如是形成图像的基于像素的视差矢量。

CC编码器133是遵照CEA-708的编码器，并且输出用于以闭路字幕显示字幕的CC数据(闭路字幕信息的数据)。在这种情况下，CC编码器133顺序地输出要以时间顺序显示的各条闭路字幕信息的CC数据。

视差信息创建单元132对于从数据获取单元130输出的视差信息(即，基于像素的视差矢量)执行小型化处理，并输出与从CC编码器113输出的CC数据中包括的每一个窗口ID(Window ID)相关的视差信息(视差矢量)。视差信息已经添加了移位目标指定信息，其在要重叠在左眼图像上的闭路字幕信息和要重叠在右眼图像上的闭路字幕信息之中，指定基于视差信息移位的闭路字幕信息。

这里，视差信息创建单元132与从CC编码器133输出的每一条闭路字幕信息的CC数据对应地，输出在预定数量帧的时间段(其间显示闭路字幕信息)期间使用的视差信息。视差信息例如是在预定数量帧的时间段(其间显示闭路字幕信息)期间各个帧中共同使用的视差信息，或者是各个帧中顺序地更新的视差信息。

然后，视差信息已经添加了标志信息，其指示在各个帧中共同使用的视差信息，或者在各个帧中顺序地更新的视差信息。例如，在图像的运动很大的情况下，视差信息创建单元132创建在各个帧中顺序地使用的视差信息，而在图像的运动很小的情况下，视差信息创建单元132创建在各个帧中共同使用的视差信息。

视差信息创建单元132形成在各个帧中顺序地更新的视差信息，例如，其由关于第一帧的视差信息和关于第二帧和接下来的帧相对于之前帧的偏移信息组成。以这种方式，关于第二和接下来的帧的视差信息由相对于关于之前帧的视差信息的偏移信息形成，由此允许视差信息的数据量的抑制，并且还允许各个帧中视差信息的更新的平滑感觉。

视频编码器113对于从数据获取单元130提供的立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，以获得编码的视频数据。此外，视频编码器113使用在其后级中提供的流格式器113a，产生在有效载荷部分中包括编码的视频数据的视频基本流。

从上述CC编码器133输出的CC数据以及由上述视差信息创建单元131创建的视差信息被提供到视频编码器113中的流格式器113a。流格式器113a将CC数据和视差信息作为用户数据嵌入到视频基本流中。换言之，在视频基本流的有效载荷部分中包括立体图像数据，并且CC数据以及另外视差信息包括在头部部分的用户数据区域中。

如上述图41中所示，在视频基本流中，在开头排列包括每一序列的参数的序列头部部分。包括每一画面的参数和用户数据的画面头部排列在序列头部部分之后。包括画面数据的有效载荷部分排列在画面头部部分之后。接下来，重复地排列画面头部部分和有效载荷部分。

例如，将上述CC数据和视差信息嵌入到画面头部部分的用户数据区域中。在这种情况下，作为用户数据嵌入的CC数据和视差信息被设计为可由用户数据类型代码标识。换言之，添加到视差信息的用户数据类型代码被设计为与添加到CC数据的用户数据类型代码不同。

音频编码器117对于从数据获取单元130提供的音频数据执行使用MPEG-2 Audio AAC等的编码，并产生音频基本流。多路复用器122多路复用从编码器113和117输出的打包基本流。然后，多路复用器122输出用作发送数据的位流数据(传送流)BSD。

将简要描述图63中所示的发送数据产生单元110F的操作。将从数据获取单元130输出的立体图像数据提供到视频编码器113。在视频编码器113中，对于立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，并且产生包括编码的视频数据的视频基本流。将视频基本流提供到多路复用器122。

此外，在CC编码器133中，输出用于以闭路字幕显示字幕的CC数据(闭路字幕信息的数据)。在这种情况下，在CC编码器133中，顺序地输出以时间顺序显示的各条闭路字幕信息的CC数据。

此外，将从数据获取单元130输出的基于像素的视差矢量提供到视差信息创建单元132。在视差信息创建单元132中，对于视差矢量执行小型化处理等，并且输出与从CC编码器133输出的CC数据中包括的每一个窗口ID(Window ID)有关的视差信息(视差矢量)。

将从CC编码器133输出的CC数据以及由视差信息创建单元132创建的视差信息提供到视频编码器113的流格式器113a。在流格式器113a中，将CC数据和视差信息以这样的方式嵌入到视频基本流的头部部分的用户数据区域中，以便CC数据和视差信息可以由用户数据标识信息(用户数据类型代码)识别。

此外，将从数据获取单元130输出的音频数据提供到音频编码器117。在音频编码器117中，对于音频数据执行使用MPEG-2 Audio AAC等的编码，并且产生包括编码的音频数据的音频基本流。将音频基本流提供到多路复用器122。在多路复用器122中，多路复用从各个编码器提供的基本流包，并且获得用作发送数据的位流数据BSD。

[包括视差信息(caption_disparity_data)的用户数据的详细配置]

接着，将描述包括视差信息(caption_disparity_data)的用户数据的详细配置。图64图示了用户数据的示例。图65图示了图64中所示的配置中的每一条信息的内容。该示例是在编码方法为MPEG2的情况下的示例。在32位开始代码(user_data_start_code)之后，排列用于标识广播标准“ATSC”的32位代码“0x47413934”。

此外，在它之后，排列8位用户数据类型代码(user_data_type_code)。当设置“user_data_type_code＝0x07”时，排列视差信息(caption_disparity_data)作为跟随的数据主体。注意，当设置“user_data_type_code＝0x03”时，排列CC数据(cc_data)作为数据主体，而当设置“user_data_type_code＝0x06”时，排列条数据(bar_data)作为数据主体。

接着，将描述视差信息(caption_disparity_data)的详细配置。图66图示了视差信息的示例。图67和图68图示了图66中所示的配置中每一条信息的内容。“service_number”是指定闭路字幕的信道的信息。“service_number与CEA-708中的“字幕服务”相关。当对于闭路字幕存在多个信道(例如，英语和日语)时，排列每一个信道的视差信息。注意，“service_number＝0”指示在多个字幕窗口(Caption Window)之间共享一条视差信息(视差矢量)的特殊模式。

“select_view_shift”是形成移位目标指定信息的2位信息。

“select_view_shift”在要重叠在左眼图像上的闭路字幕信息和要重叠在右眼图像上的闭路字幕信息之中，指定基于视差信息移位的闭路字幕信息。例如，假设“select_view_shift＝00”表示备用。

此外，例如，当设置“select_view_shift＝01”时，指示仅将要重叠在左眼图像上的闭路字幕信息在水平方向上移位与视差信息(视差)对应的量。这里，当视差信息(视差)是正值时，在右方向上移位要重叠在左眼图像上的闭路字幕信息。相反，当视差信息(视差)是负值时，在左方向上移位要重叠在左眼图像上的闭路字幕信息。

此外，例如，当设置“select_view_shift＝10”时，指示仅将要重叠在右眼图像上的闭路字幕信息在水平方向上移位与视差信息(视差)对应的量。这里，当视差信息(视差)是正值时，在右方向上移位要重叠在右眼图像上的闭路字幕信息。相反，当视差信息(视差)是负值时，在左方向上移位要重叠在右眼图像上的闭路字幕信息。

此外，例如，当设置“select_view_shift＝11”时，指示在水平方向上以相反的方向移位要重叠在左眼图像上的闭路字幕信息和要重叠在右眼图像上的闭路字幕信息二者。这里，当视差信息(视差)是偶数值时，当它是正值时，将要重叠在左眼图像上的闭路字幕信息在右方向上移位与“视差/2”对应的量，而当它是负值时，在左方向上移位与“视差/2”对应的量。此外，在视差信息(视差)是偶数值的情况下，当它是正值时，将要重叠在右眼图像上的闭路字幕信息在左方向上移位与“视差/2”对应的量，而当它是负值时，在右方向上移位与“视差/2”对应的量。

此外，在视差信息(视差)是奇数值的情况下，当它是正值时，将要重叠在左眼图像上的闭路字幕信息在右方向上移位与“(视差+1)/2”对应的量，而当它是负值时，在左方向上移位与“(视差+1)/2”对应的量。例如，在视差信息(视差)是奇数值的情况下，当它是正值时，将要重叠在右眼图像上的闭路字幕信息在左方向上移位与“(视差-1)/2”对应的量，而当它是负值时，在右方向上移位与“(视差-1)/2”对应的量。

“number_of_caption_windows”是指示与视差信息(视差)相关联的字幕窗口(Caption Window)的数量的3位信息。字幕窗口的数量最多是八个。对于每一个字幕窗口排列视差信息(视差)。“caption_window_id”是指示CEA-708的“字幕窗口[0..7]”的3位信息。

“temporal_extension_flag”是用于与“caption_window_id”指示的字幕窗口对应的视差信息的1位标志信息。标志信息指示在闭路字幕信息的显示帧时间段期间各个帧中共同使用的视差信息或者在各个帧中顺序地更新的视差信息。当设置“temporal_extension_flag＝1”时，指示在显示帧时间段期间各个帧中更新的视差信息的值。此外，当设置“temporal_extension_flag＝0”时，使用相同的视差信息，而不更新显示帧时间段期间各个帧中视差信息的值。

“视差”是指示显示帧时间段期间关于第一帧的视差信息的值的8位信息，并且取得范围从-128到+127的值。当设置上述“temporal_extension_flag＝0”时，与“caption_window_id”指示的字幕窗口对应的视差信息仅为8位信息，即“视差”。相反，当设置上述“temporal_extension_flag＝1”时，作为与“caption_window_id”指示的字幕窗口对应的视差信息，除了关于8位“视差”的第一帧的视差信息之外，还存在关于第二和接下来的帧的视差信息。

给出关于第二和接下来的帧的视差信息，作为相对于关于之前帧的视差信息的偏移信息。“number_of_frame_set”是指示在以11帧为单位划分显示帧时间段期间的第二和接下来的帧的数量的情况下，需要多少单位的8位信息。例如，在显示帧时间段是30帧的情况下，第二和接下来的帧的数量是29，并且由“number_of_frame_set”指示的单位的数量是“3”。

“offset_sequence”是用作相对于关于之前帧的视差信息的偏移信息的信息。“offset_sequence＝00”指示偏移值是“0”。“offset_sequence＝01”指示偏移值是“+1”。“offset_sequence＝10”指示偏移值是“-1”。此外，

“offset_sequence＝11”指示没有向帧分配偏移值。在上述显示帧时间段是30帧的情况下，在以11帧为单位划分30帧的情况下获得的第三单位中，

“offset_sequence_7”及其后被设置为“offset_sequence＝11”。

“offset_precision”是指示上述“offset_sequence”指示的偏移值中的“1”的精度(换言之，具有“1”的像素数量)的1位信息。当设置“offset_precision＝0”时，指示偏移值“1”表示一个像素。此外，当设置“offset_precision＝1”时，偏移值“1”表示两个像素。

在图63所示的发送数据产生单元110F中，以将包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据包括在视频基本流的有效载荷部分中的状态对其进行发送。此外，以将CC数据和用于向基于CC数据的闭路字幕信息赋予视差的视差信息包括在视频基本流的头部部分的用户数据区域中的状态对其进行发送，以便可由用户数据标识信息(user_data_type_code)识别。

因此，在接收侧，立体图像数据可以从视频基本流获取，并且重叠信息的附加数据和视差信息可以易于获取。此外，在接收侧，通过使用视差信息，可以向重叠在左眼图像和右眼图像上的相同闭路字幕信息赋予适当的视差。因此，在重叠信息的显示中，可以将重叠信息与图像中每一个物体之间的透视的一致性维持到最佳状态。

此外，在图63中所示的发送数据产生单元110F中，视差信息已经添加了移位目标指定信息(select_view_shift)，其在要重叠在左眼图像上的左眼闭路字幕信息和要重叠在右眼图像上的右眼闭路字幕信息之中，指定基于视差信息移位的闭路字幕信息。因此，移位目标指定信息使得可以仅移位左眼闭路字幕信息、仅移位右眼闭路字幕信息或移位二者，如期望的那样。

此外，在图63中所示的发送数据产生单元110F中，选择在预定数量的帧(其中显示闭路字幕信息(字幕))中共同使用的视差信息或预定数量的帧中顺序地更新的视差信息，作为视差信息。视差信息添加有指示它们之一的标志信息(temporal_extension_flag)。因此，根据例如图像的内容，可以选择性地发送各个帧中共同使用的视差信息或各个帧中顺序地更新的视差信息。即，在图像的运动很好大的情况下，发送各个帧中顺序地更新的视差信息，并且在接收侧，根据图像的内容中的改变可以动态地改变要赋予重叠信息的视差。此外，在图像的运动很小的情况下，发送在各个帧中共同使用的视差信息，因此允许视差信息的数据量的抑制。

此外，在图63中所示的发送数据产生单元110F中，各个帧中顺序更新的视差信息被设计为包括在预定数量的帧的时间段期间关于第一帧的视差信息，以及相对于关于之前帧的视差信息的、关于第二和接下来的帧的偏移信息。因此，可以抑制视差信息的数据量。

图69图示了图66中所示的视差信息(caption_disparity_data)的配置中数据量(数据大小)的计算的示例。项(1-1)表示在对于八个字幕窗口的每一个，在闭路字幕信息的显示时间段期间，在各个帧中共同使用一条视差信息的情况下的计算示例。在这种情况下，视差信息(caption_disparity_data)的数据量是18字节。此外，项(1-2)图示了在使用一个字幕窗口或者对于所有字幕窗口使用相同视差信息的情况下以及在闭路字幕信息的显示时段期间在各个帧中共同地使用一条视差信息的情况下的计算示例。在这种情况下，视差信息(caption_disparity_data)的数据量是4字节。

项(2)图示了在使用闭路字幕信息的显示时间段的各个帧中顺序地更新的视差信息用于八个字幕窗口的每一个的情况下以及在例如显示时间段是5秒(150帧)的情况下的计算示例。在这种情况下，视差信息(caption_disparity_data)的数据量是362字节。

注意，通过示例，在其用途限于闭路字幕信息的视差信息的发送方面，已经图示了图63中所示的发送数据产生单元110F。尽管省略了详细描述，但是例如，发送用途受限于任意其他重叠信息(如字幕信息)的视差信息的发送数据产生单元也以类似的方式配置。

[机顶盒的描述]

回来参考图1，机顶盒200接收在广播波上携带且从广播站100发送的位流数据(传送流)。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、重叠信息数据，并且还包含视差信息(视差矢量)。这里，重叠信息数据例如是字幕数据、图形数据、文本数据(包括闭路字幕数据)等。

机顶盒200包括位流处理单元201。该位流处理单元201从位流数据中提取立体图像数据、音频数据、重叠信息数据、视差矢量等。位流处理单元201使用立体图像数据、重叠信息数据(字幕数据、图形数据、文本数据)等以产生已经重叠了重叠信息的左眼图像和右眼图像的数据。

这里，在将视差矢量作为数字信息发送的情况下，基于视差矢量和重叠信息数据产生要分别重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，图像中的右眼重叠信息被配置为相对于左眼重叠信息在水平方向上移位视差矢量的水平方向分量。

图70(a)图示在发送方法为上述第二发送方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。要重叠在右眼图像IR上的右眼图形信息RGI被设置为相对于要重叠在左眼图像IL上的左眼图形信息LGI在水平方向上移位视差矢量的水平方向分量VVT的位置处。注意，IT是空闲偏移值。

在位流处理单元201中，产生图形数据以便以如图70(a)所图示的方式在图像IL和IR上重叠各条图形信息LGI和RGI。位流处理单元201将所产生的左眼图形数据和右眼图形数据与从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)进行组合，并获取处理之后的立体图像数据。根据立体图像数据，如图70(b)所示，观察者可以与图像IL和IR一起观察具有视差的各条图形信息LGI和RGI，并且还能够感觉图形信息的透视。

注意，图71(a)图示了在图像IL和IR上照原样重叠根据从位流数据提取的图形数据的图形图像的状态。在这种情况下，如图71(b)所示，观察者观察连同左眼图像IL的左半图形信息和连同右眼图像IR的右半图形信息。因而，阻止了正确地识别图形信息。

虽然图70图示了图形信息的情况，但对其他重叠信息(闭路字幕信息、字幕信息或文本信息)同样如此。即，在将视差矢量作为数字信息发送的情况下，基于视差矢量和重叠信息数据产生要分别重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，图像中的右眼重叠信息的重叠位置被配置为关于左眼重叠信息在水平方向移位视差矢量的水平方向分量。

这里，可以想到，将以下视差矢量用作赋予左眼重叠信息与右眼重叠信息之间的视差的视差矢量。例如，可以想到，将在图像中的多个位置处检测到的视差矢量之中，采用就透视而言被辨认为最近的位置处的视差矢量作为视差矢量。图72(a)、72(b)、72(c)和72(d)图示了时间T0、T1、T2和T3处三个对象位置处的视差矢量(View Vector)。

在时间T0处，与对象0对应的位置(H0，V0)处的视差矢量VV0-1是最大视差矢量Max VV(T0)。在时间T1处，与对象1对应的位置(H1，V1)处的视差矢量VV1-1是最大视差矢量Max VV(T1)。在时间T2处，与对象2对应的位置(H2，V2)处的视差矢量VV2-2是最大视差矢量Max VV(T2)。在时间T3处，与对象3对应的位置(H3，V3)处的视差矢量VV3-0是最大视差矢量Max VV(T3)。

以这种方式，在图像中的多个位置处检测到的视差矢量之中，将就透视而言被辨认为最近的位置处的视差矢量用作视差矢量，因而可以将重叠信息显示在就透视而言图像中最近的对象的前面。

图73(a)图示了图像上的字幕(例如闭路字幕信息、字幕信息)的显示示例。在这个显示示例中，字幕被重叠在由背景和前景对象形成的图像上。图73(b)图示了背景、前景对象和字幕的透视，并图示了字幕被辨认为是最近的。

图74(a)图示了与图73(a)相同的、图像上的字幕(例如闭路字幕信息、字幕信息)的显示示例。图74(b)图示了用于显示字幕的左眼字幕信息LGI和右眼字幕信息RGI。图74(c)图示了将视差赋予各条字幕信息LGI和RGI以便允许被识别的字幕位于最近。

此外，可以想到，在图像中多个位置处检测到的视差矢量(包括视差信息集中包括的每一层的每一个区域的视差矢量)之中，采用与其重叠位置对应的视差矢量作为视差矢量。图75(a)图示了根据从位流数据中提取的图形数据的图形信息以及根据从位流数据中提取的文本数据的文本信息。

图75(b)图示了已经将左眼图形信息LGI和左眼文本信息LTI重叠在左眼图像上的状态。在这种情况下，在水平方向上通过空闲偏移值(IT-0)来调整左眼图形信息LGI的重叠位置。此外，在水平方向上通过空闲偏移值(IT-1)来调整左眼文本信息LTI的重叠位置。

图75(c)图示了已经将右眼图形信息RGI和右眼文本信息RTI重叠在右眼图像上的状态。在这种情况下，在水平方向上通过空闲偏移值(IT-0)来调整右眼图形信息RGI的重叠位置，并且相对于左眼图形信息LGI的重叠位置进一步移位与重叠位置对应的视差矢量的水平方向分量VVT-0。此外，在水平方向上通过空闲偏移值(IT-1)来调整右眼文本信息RTI的重叠位置，并且相对于左眼文本信息LTI的重叠位置进一步移位与重叠位置对应的视差矢量的水平方向分量VVT-1。

注意，在图75中的示例中，图示了相对于要重叠在左眼图像上的相同图形信息和文本信息，要重叠在右眼图像上的图形信息和文本信息的重叠位置的移位。也就是说，在图75的示例中，执行用于仅移位要重叠在右眼图像上的图形信息和文本信息的重叠位置的处理。然而，还可以想到，执行处理，以便移位左眼图像和右眼图像上的重叠位置二者。

图76(a)图示了根据从位流数据提取的图形数据的图形信息以及根据从位流数据提取的文本数据的文本信息。图76(b)图示了在二维显示中图形信息GI和文本信息TI的重叠位置。在这种情况下，文本信息的重叠位置是(x1，y1)，而图形信息的重叠位置是(x2，y2)。

图76(c)图示了已经在左眼图像上重叠左眼图形信息LGI和左眼文本信息LTI的状态。在这种情况下，相对于二维显示中图形信息GI的重叠位置，将左眼图形信息LGI在右方向上移位与该图形信息对应的视差矢量D1的像素数所对应的量。此外，相对于二维显示中文本信息LTI的重叠位置，将左眼文本信息LTI在右方向上移位与该文本信息对应的视差矢量D0的像素数所对应的量。

图76(d)图示了已经在右眼图像上重叠右眼图形信息RGI和右眼文本信息RTI的状态。在这种情况下，相对于二维显示中图形信息GI的重叠位置，将右眼图形信息RGI在左方向上移位与该图形信息对应的视差矢量D1的像素数所对应的量。此外，相对于二维显示中文本信息LT的重叠位置，将右眼文本信息RTI在左方向上移位与该文本信息对应的视差矢量D0的像素数所对应的量。

注意，在图76(c)和(d)的示例中，通过示例的方式，将偏移的扩展应用左眼图像和右眼图像中的每一个，并且另外地设置以提供移位了与视差矢量的像素数对应的量。实际上，例如，如上述图54中所示，偏移的扩展由“Views_offset”表示，并且重叠信息相对于视差矢量移位的量由“Disparity_precision”表示。

此外，图77(a)图示了从位流数据提取的两个字幕窗口的各条闭路字幕信息C1(“字幕1”)和C2(“字幕2”)。图77(b)图示了在二维显示中各条闭路字幕信息C1和C2的重叠位置。在这种情况下，闭路字幕信息C1的重叠位置是(x1，y1)，并且闭路字幕信息C2的重叠位置是(x2，y2)。

图77(c)图示了已经在左眼图像上重叠了各条左眼闭路字幕信息LC1和LC2的状态。在这种情况下，相对于二维显示中闭路字幕信息C1的重叠位置，将左眼闭路字幕信息LC1在右方向上移位了与闭路字幕信息对应的视差矢量D0的像素数所对应的量。此外，相对于二维显示中闭路字幕信息C2的重叠位置，将左眼闭路字幕信息LC2在右方向上移位了与闭路字幕信息对应的视差矢量D1的像素数所对应的量。

图77(d)图示了已经在右眼图像上重叠了各条右眼闭路字幕信息RC1和RC2的状态。在这种情况下，相对于二维显示中闭路字幕信息C1的重叠位置，将右眼闭路字幕信息RC1在左方向上移位了与闭路字幕信息对应的视差矢量D0的像素数所对应的量。此外，相对于二维显示中闭路字幕信息C2的重叠位置，将右眼闭路字幕信息RC2在左方向上移位了与闭路字幕信息对应的视差矢量D1的像素数所对应的量。

注意，在图77(c)和图77(d)的示例中，通过示例，将偏移的扩展应用于每一个左眼图像和右眼图像，并且另外地设置以提供移位了与视差矢量的像素数对应的量。实际上，例如，如上述图66中所示，例如，偏移的扩展由“select_view_shift”表示，并且相对于视差矢量移位重叠信息的量由“offset_precision”表示。

已经给出了如下情况的以上描述：其中，基于从位流数据提取的图形数据的图形信息或基于从位流数据提取的文本数据的文本信息被重叠在左眼图像和右眼图像上。除此之外，还可想到的是如下的情况：其中，在机顶盒200中产生图形数据或文本数据，并且其中在左眼图像和右眼图像上重叠基于数据的信息。

即使在这种情况下，通过利用从位流数据提取出的图像中的预定位置处的视差矢量，可以在左眼图形信息和右眼图形信息之间或者左眼文本信息和右眼文本信息之间引入视差。因此，可以在图形信息或文本信息的显示中给出适当的透视，以便在信息与图像中的每一个对象之间维持透视的一致性。

图78(a)图示了在图像中对象A、B和C以及例如指示在对象附近的位置处的每一个对象的注释的文本信息的重叠的存在。图78(b)图示了在将视差赋予指示对象A、B、C的注释的文本信息的情况下，利用指示对象A、B和C的位置与该位置处的视差矢量之间的对应性的视差矢量列表以及各个视差矢量。例如，在对象A附近重叠文本信息“Text”，但在左眼文本信息与右眼文本信息之间赋予与对象A的位置(Ha，Va)处的视差矢量VV-a所对应的视差。注意，对于在对象B和C附近重叠的文本信息同样如此。

注意，图75和图76图示了重叠信息包括图形信息和文本信息的情况。此外，图77图示了重叠信息是闭路字幕信息的情况。此外，图78图示了重叠信息是文本信息的情况。虽然将省略详细描述，但在其他重叠信息的情况下同样如此。

接下来，将描述这样的情况：在将视差矢量事先反映在重叠信息(例如，闭路字幕信息、字幕信息、图形信息或文本信息)的数据中的同时发送视差矢量。在这种情况下，从位流数据中提取的重叠信息数据包含已经使用视差矢量赋予了视差的左眼重叠信息和右眼重叠信息的数据。

因而，位流处理单元201简单地将从位流数据提取的重叠信息数据与从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)进行组合，并获取处理后的立体图像数据。注意，对于文本数据(包括闭路字幕数据)，例如将字符代码转换为位图数据的处理是必须的。

[机顶盒的示例配置]

将描述机顶盒200的示例配置。图79图示了机顶盒200的示例配置。机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206和音频信号处理电路207。此外，机顶盒200包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。

天线端子203是输入由接收天线(未图示)接收到的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。

如上所述，位流处理单元201从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。重叠信息数据包括字幕数据、图形数据、文本数据(包括闭路字幕数据)等。如上所述，位流处理单元201将重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)的数据与立体图像数据进行组合，并获取显示立体图像数据。此外，位流处理单元201输出音频数据。下面将描述位流处理单元201的详细配置。

视频信号处理电路205按照需要，对于从位流处理单元201输出的立体图像数据执行图像质量调整处理等，并且将处理后的立体图像数据供应到HDMI发送单元206。音频信号处理电路207按照需要，对于从位流处理单元201输出的音频数据执行音频质量调整处理等，并且将处理后的音频数据供应到HDMI发送单元206。

HDMI发送单元206使用遵循HDMI的通信，发送来自HDMI端子202的基带图像(视频)和音频的数据。在这种情况下，封装图像和音频的数据，并经由HDMI TMDS信道将其从HDMI发送单元206输出到用于发送的HDMI端子202。下面将描述该HDMI发送单元206的细节。

CPU 211控制机顶盒200的每一个单元的操作。闪速ROM 212存储控制软件并保存数据。DRAM 213构成CPU 211的工作区域。CPU 211将从闪速ROM 212读取的软件和数据扩展到DRAM 213上，以启动软件并控制机顶盒200的每一个单元。

遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控代码)，并将该遥控信号供应到CPU 211。CPU 211基于该遥控代码控制机顶盒200的每一个单元。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。

将简要地描述机顶盒200的操作。将输入到天线端子203的电视广播信号供应到数字调谐器204。在数字调谐器204中，处理电视广播信号，并且输出与用户选择的通道对应的预定位流数据(传送流)。

将从数字调谐器204输出的位流数据供应到位流处理单元201。在位流处理单元201中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。此外，在位流处理单元201中，将重叠信息(闭路字幕信息、字幕信息、图形信息、文本信息等)的数据与立体图像数据组合，并且产生显示立体图像数据。

按照需要，由视频信号处理电路205将由位流处理单元201产生的显示立体图像数据经历图像质量调整处理，并且其后供应到HDMI发送单元206。此外，按照需要，由音频信号处理电路207将由位流处理单元201获得的音频数据经历音频质量调整处理，并且其后供应到HDMI发送单元206。将供应到HDMI发送单元206的立体图像数据和音频数据通过HDMI TMDS通道从HDMI端子202发送到HDMI线缆400。

[位流处理单元的示例配置]

图80图示位流处理单元201的示例配置。位流处理单元201具有这样的配置：使其对应于在图2和图62中所图示的发送数据产生单元110和110E的配置。位流处理单元201包括多路分用器220、视频解码器221、字幕/图形解码器222、文本解码器223、音频解码器224和视差矢量解码器225。此外，位流处理单元201包括立体图像字幕/图形生成单元226、立体图像文本生成单元227、视频重叠单元228和多声道扬声器控制单元229。

多路分用器220从位流数据BSD提取视频、音频、视差矢量、字幕、图形、文本等的包，并将所述包发送到各个解码器。

视频解码器221执行与上述发送数据产生单元110的视频编码器113的处理相反的处理。即，视频解码器221从由多路分用器220提取的视频包重构视频基本流，执行解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。该立体图像数据的发送方法的示例包括上述第一发送方法(“上下”方法)、第二发送方法(“并排”方法)、第三发送方法(“帧顺序”方法)等(参看图4(a)至4(c))。

字幕/图形解码器222执行与上述发送数据产生单元110的字幕/图形编码器119的处理相反的处理。即，字幕/图形解码器222从由多路分用器220提取的字幕或图形的包重构字幕或图形基本流。然后，字幕/图形解码器222进一步执行解码处理来获得字幕数据或图形数据。

文本解码器223执行与上述发送数据产生单元110的文本编码器121的处理相反的处理。即，文本解码器223从由多路分用器220提取的文本的包重构文本基本流，并执行解码处理来获得文本数据(包括闭路字幕数据)。

音频解码器224执行与上述发送数据产生单元110的音频编码器117的处理相反的处理。即，音频解码器224从由多路分用器220提取的音频的包重构音频基本流，并执行解码处理来获得音频数据。

视差矢量解码器225执行与上述发送数据产生单元110的视差矢量编码器115的处理相反的处理。即，视差矢量解码器225从由多路分用器220提取的视差矢量的包重构视差矢量基本流，并执行解码处理来获得图像中的预定位置处的视差矢量。

立体图像数据字幕/图形生成单元226产生要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息或图形信息。基于由解码器222获得的字幕数据或图形数据和由解码器225获得的视差矢量执行该产生处理。在这种情况下，左眼和右眼字幕信息项或图形信息项是同一信息。然而，例如，图像中的右眼字幕信息或图形信息的叠加位置被配置为相对于左眼字幕信息或图形信息在水平方向上移位视差矢量的水平方向分量。然后，立体图像数据字幕/图形生成单元226输出所产生的左眼和右眼字幕信息或图形信息的数据(位图数据)。

立体图像文本生成单元227基于由解码器223获得的文本数据和由解码器225获得的视差矢量，产生要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息。但是，图像中的右眼文本信息的重叠位置被配置为相对于左眼文本信息在水平方向上移位视差矢量的水平方向分量。然后，立体图像文本生成单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。

视频重叠单元228在由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上重叠由生成单元226和227生成的数据，并获得显示立体图像数据Vout。注意，通过使用系统层中的时间戳开始重叠信息数据在立体图像数据(左眼图像数据、右眼图像数据)上的重叠。

多声道扬声器控制单元229对于由音频解码器224获得的音频数据执行用于产生多声道扬声器的音频数据的处理以实现例如5.1-声道环绕等、用于添加预定声场特性的处理等。此外，多声道扬声器控制单元229基于由解码器225获得的视差矢量控制多声道扬声器的输出。

提供了这样的效果：视差矢量的量值变得越大，则立体效果越明显。按照立体程度控制多声道扬声器的输出，因而可以实现提供进一步的立体体验。

图81图示了在以电视显示器的方向观看时左手侧的视频对象具有大视差矢量VV1的情况下扬声器输出控制的示例。在这个控制示例中，多声道扬声器的左后扬声器音量被设置为高，左前扬声器音量被设置为中，并且进一步，右后扬声器音量被设置为低。以这种方式，将视频内容(立体图像数据)的视差矢量应用到接收侧上的其他媒体数据(诸如音频数据)，因而使得可以允许观看者以整体的方式体验立体效果。

将简要地描述在图80中图示的位流处理单元201的操作。将从数字调谐器204(参看图79)输出的位流数据BSD供应到多路分用器220。在多路分用器220中，从位流数据BSD提取视频、音频、视差矢量、字幕或图形和文本的TS包，并供应到各个解码器。

在视频解码器221中，根据从多路分用器220提取的视频包重构视频基本流，并进一步执行解码处理，以获得包括左眼图像数据和右眼图像数据的立体图像数据。将该立体图像数据供应到视频重叠单元228。此外，在视差矢量解码器225中，根据从多路分用器220提取的视差矢量包重构视差矢量基本流，并进一步执行解码处理，以获得图像中的预定位置处的视差矢量(参看图8、图29等)。

在字幕/图形解码器222中，从由多路分用器220提取的字幕或图形的包重构字幕或图形基本流。在字幕/图形解码器222中，对于字幕或图形基本流进一步执行解码处理，并获得字幕数据或图形数据。将该字幕数据或图形数据供应到立体图像字幕/图形生成单元226。也将由视差矢量解码器225获得的视差矢量供应到立体图像字幕/图形生成单元226。

在立体图像字幕/图形生成单元226中，产生要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息项或图形信息项的数据。基于由解码器222获得的字幕数据或图形数据以及由解码器225获得的视差矢量执行该产生处理。

在这种情况下，例如，图像中的右眼字幕信息或图形信息的重叠位置被配置为在水平方向上关于左眼字幕信息或左眼图形信息移位视差矢量的水平方向分量。从该立体图像字幕/图形生成单元226输出所产生的左眼和右眼字幕信息项或图形信息项的数据(位图数据)。

此外，在文本解码器223中，从由多路分用器220提取的文本的TS包来重构文本基本流，并进一步执行解码处理，以获得文本数据。将该文本数据供应到立体图像文本生成单元227。也将由视差矢量解码器225获得的视差矢量供应到该立体图像文本生成单元227。

在立体图像文本生成单元227中，基于由解码器223获得的文本数据和由解码器225获得的视差矢量，产生要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息。但是，例如，图像中右眼文本信息的重叠位置被配置为在水平方向上关于左眼文本信息移位视差矢量的水平方向分量。从立体图像文本生成单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。

注意，在由视差矢量解码器225获得的视差矢量包括在视差信息集中的预定集的情况下，基于标识信息(Disparity_Sequence_id)，可以采用适于叠加信息的视差信息集。即，通过使用相关联的视差矢量，可以向叠加信息(如，闭路字幕信息、字幕信息等)赋予适当的视差。

除了来自上述视频解码器221的立体图像数据(左眼图像数据、右眼图像数据)之外，还将从字幕/图形生成单元226和文本生成单元227输出的数据供应到视频重叠单元228。在视频重叠单元228中，将由字幕/图形生成单元226和文本生成单元227生成的数据重叠在立体图像数据(左眼图像数据、右眼图像数据)上，并获得显示立体图像数据Vout。将显示立体图像数据Vout作为发送图像数据经由视频信号处理电路205供应到HDMI发送单元206(参看图79)。

此外，在音频解码器224中，根据由多路分用器220提取的音频TS包重构音频基本流，并进一步执行解码处理，以获得音频数据。将音频数据供应到多声道扬声器控制单元229。在多声道扬声器控制单元229中，对于音频数据执行用于产生多声道扬声器的音频数据以实现例如5.1声道环绕等的处理、用于给出预定声场特性的处理等。

也将由视差矢量解码器225获得的视差矢量供应到多声道扬声器控制单元229。然后，在多声道扬声器控制单元229中，基于视差矢量控制多声道扬声器的输出。经由音频信号处理电路207将由多声道扬声器控制单元229获得的多声道音频数据作为发送音频数据供应到HDMI发送单元206(参看图79)。

[对于重叠信息的视差的赋予]

这里，将给出图80中所示的位流处理单元201的立体图像字幕/图形生成单元226和立体图像文本生成单元227中对于重叠信息的视差的赋予的进一步描述。

例如，如图82和图83所示，与图像数据流、字幕或图形数据流和文本数据流一起，从广播站100(参见图1)发送包括视差矢量的视差矢量流(参见图8、图29等)。在这种情况下，根据每一个特定时间段(如，编码视频的GOP(Group Of Pictures)、I(Intra Picture)画面或场景)的开始定时，统一地发送与每一个特定时间段对应的预定单元下的视差矢量。例如，可以想到的是，预定单元是画面(帧)单元、整数个画面的单元等。

例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时间段期间，通过使用预定单元中的对应视差矢量(视差信息)，向重叠信息赋予视差。在图82中添加到字幕(图形)数据流和文本数据流的一部分的箭头指示视差赋予预定单元中的重叠信息的定时。通过以这种方式将视差赋予重叠信息的配置，可以根据图像内容的变化来动态地改变要赋予重叠信息的视差。

此外，例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时间段期间，通过使用从与重叠时间段对应的视差矢量选择的预定视差矢量(视差信息)，将视差赋予预定单元中的重叠信息。例如，预定视差矢量被设置为在对应于重叠时间段的视差信息内呈现最大视差的视差信息。

在图83中，添加到字幕(图形)数据流和文本数据流的一部分的箭头指示将视差赋予重叠信息的定时。在这种情况下，在重叠时间段开始的时候，将视差赋予重叠信息，其后，使用已经赋予了视差的重叠信息作为要重叠在左眼图像和右眼图像上的重叠信息。通过以这种方式将视差赋予重叠信息的配置，例如，可以将重叠信息的重叠时间段内的最大视差赋予重叠信息，而不管图像内容如何。

此外，例如，如图84所示，从广播站100(参见图1)发送图像数据、闭路字幕数据和图形数据。视差信息集(参见图29、图31、图33和图36)作为视差矢量流发送。在这种情况下，根据每一个特定时间段(如，编码视频的GOP(Group Of Pictures)、I(Intra Picture)画面、场景等)的开始定时，统一地发送与各个特定时间段对应的预定单元下的视差信息集。例如，可以想到的是，预定单元是画面(帧)单元、整数个画面的单元等。

例如，在立体图像字幕/图形生成单元226以及立体图像文本生成227中，在重叠信息的重叠时间段期间，在预定单元中，使用对应的视差矢量(视差信息)，将视差赋予重叠信息。在图84中，添加到闭路字幕数据和图形数据的一部分的箭头指示将视差赋予预定单元中的重叠信息的定时。通过以这种方式将视差赋予重叠信息的配置，可以根据图像重叠信息的内容的改变，动态地改变要赋予重叠信息的视差。

“位流处理单元的另一示例配置”

图85中所示的位流处理单元201A具有对应于图13和图22中所示的上述发送数据产生单元110A和110D的配置。在图85中，对应于图80的部分以同样的附图标记表示，并且将省略其详细描述。

代替图72中的位流处理单元201的视差矢量解码器255，位流处理单元201A提供有视差矢量获取单元231。视差矢量获取单元231从通过视频解码器221获得的视频流中获取嵌入其用户数据区域的视差矢量。然后，视差矢量获取单元231将所提取的视差矢量供应到立体图像字幕/图形生成单元226、立体图像文本生成单元227和多声道扬声器控制单元229。

尽管将省略详细描述，但是图85中所图示的位流处理单元201A的其他组件以与图80中所图示的位流处理单元201的那些类似的方式配置，并且以类似的方式工作。

[对于重叠信息的视差的赋予]

这里，将给出关于在图85中所示的位流处理单元201A的立体图像字幕/图形生成单元226以及立体图像文本生成单元227中对于重叠信息的视差的赋予的进一步描述。

例如，如图86所示，从广播站100(参见图1)发送图像数据流、字幕或图形数据流以及文本数据流。接下来，通过将视差矢量(参见图8、图29等)嵌入图像数据流来发送视差矢量。在这种情况下，在图像数据的预定单元(如，在编码视频的画面单元)中，以将与预定单元对应的视差矢量嵌入图像数据流的状态来对其进行发送。

在立体图像字幕/图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时间段期间，在预定单元中，通过使用对应的视差矢量(视差信息)，将视差赋予重叠信息。在图86中，添加到字幕(图形)数据流和文本数据流的一部分的箭头指示将视差赋予预定单元中的重叠信息的定时。通过以这种方式将视差赋予重叠信息的配置，可以根据图像内容的改变，来动态地改变赋予重叠信息的视差。

此外，例如，如图87和图88所示，从广播站100(参见图1)发送图像数据流、字幕或图形数据流以及文本数据流。接下来，以将视差矢量(参见图8、图29等)嵌入图像数据流的状态来对其进行发送。在这种情况下，根据每一个特定时间段(如，编码视频的GOP、I画面或场景)的开始定时，统一地发送与各个特定时间段对应的每一个预定单元的视差矢量。例如，可以想到的是，预定单元是画面(帧)单元、整数个画面的单元等。

例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时间段期间，在预定单元中，通过使用对应的视差矢量(视差信息)，将视差赋予重叠信息。在图87中，添加到字幕(图形)数据流和文本数据流的一部分的箭头指示将视差赋予预定单元中的重叠信息的定时。通过以这种方式将视差赋予重叠信息的配置，可以根据图像内容的改变，来动态地改变赋予重叠信息的视差。

此外，例如，在立体图像字幕和图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时间段期间，在预定单元中，通过使用从与重叠时间段对应的各视差矢量之中选择出的预定视差矢量(视差信息)，将视差赋予重叠信息。预定视差矢量例如被设置为在对应于重叠时间段的视差信息内呈现最大视差的视差信息。

在图88中，添加到字幕(图形)数据流和文本数据流的一部分的箭头指示将视差赋予重叠信息的定时。在这种情况下，在重叠时间段开始的时候，将视差赋予重叠信息，并且其后，使用已经赋予了视差的重叠信息，作为要重叠在左眼图像和右眼图像上的重叠信息。通过以这种方式将视差赋予重叠信息的配置，例如，可以向重叠信息赋予重叠信息的重叠时间段内的最大视差，而不管图像内容如何。

此外，例如，如图89所示，从广播站100(参见图1)发送图像数据、闭路字幕数据和图形数据。以将视差信息集(参见图29、图31、图33和图36)嵌入图像数据流的状态来对其进行发送。在这种情况下，根据与每一个特定时间段(如，编码视频的GOP、I画面或场景)的开始定时，统一地发送与各个特定时间段对应的预定单元中的视差信息集。例如，可以想到的是，预定单元是画面(帧)单元、整数个画面的单元等。

例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时间段期间，在预定单元中，通过使用对应的视差矢量(视差信息)，将视差赋予重叠信息。在图89中，添加到闭路字幕数据和图形数据的一部分的箭头指示将视差添加到预定单元中的重叠信息的定时。通过以这种方式将视差赋予重叠信息的配置，可以根据图像内容的改变，来动态地改变要赋予重叠信息的视差。

“位流处理单元的另一示例配置”

图90中所示的位流处理单元201B具有对应于图15中所示的上述发送数据产生单元110B的配置。在该图90中，对应于图80的部分以同样的附图标记表示，并且将省略其详细描述。

代替图80中所示的位流处理单元201的视差矢量解码器255，位流处理单元201B提供有视差矢量获取单元232。视差矢量获取单元232从通过字幕/图形解码器222获得的字幕或图形流获取其中嵌入的视差矢量。接下来，该视差矢量获取单元232将获取的视差矢量提供到立体图像字幕/图形生成单元226、立体图像文本生成单元227和多声道扬声器控制单元229。

尽管将省略详细描述，但是图90中所示的位流处理单元201B的其他组件以与图80中所示的位流处理单元201类似的方式配置，并且以类似的方式工作。注意，在图90中的位流处理单元201B中对于重叠信息的视差的赋予与上述图85中的位流处理单元201A中对于重叠信息的视差的赋予类似(参见图86到图89)。

“位流处理单元的另一示例配置”

图91中所图示的位流处理单元201C具有对应于图21中所图示的上述发送数据产生单元110C的配置。在图91中，对应于图80的部分以同样的附图标记表示，并且将省略其详细描述。

位流处理单元201C被配置为从图80中所示的位流处理单元201中除去视差矢量解码器255、立体图像字幕/图形生成单元226以及立体图像文本生成单元227。在这种情况下，视差矢量预先反映在字幕信息、图形信息和文本信息的数据中。

如上所述，发送的字幕数据或图形数据包括：要重叠在左眼图像上的左眼字幕信息或图形信息的数据以及要重叠在右眼图像上的右眼字幕信息或图形信息的数据。类似地，如上所述，发送的文本数据包括：要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。因此，视差矢量解码器255、立体图像字幕/图形生成单元226以及立体图像文本生成单元227是不需要的。

注意，由于由文本解码器223获得的文本数据是代码数据(字符代码)，因此需要用于将其转换为位图数据的处理。例如，在文本解码器223的最终级执行该处理，或者在视频重叠单元228的输入级执行该处理。

“位流处理单元的另一示例配置”

图92中所示的位流处理单元201C具有对应于图63中所示的上述发送数据产生单元110F的配置。在图92中，与图80中的那些组件对应的组件分配了相同的附图标记，并且适当地省略其描述。

位流处理单元201D包括多路分用器220、视频解码器221、音频解码器224、视频重叠单元228和多声道扬声器控制单元229。此外，位流处理单元201D包括视差信息获取单元235、CC解码器233和立体图像CC生成单元234。

如上所述，CC数据和视差信息嵌入到从图63中所示的发送数据产生单元110F的视频编码器113输出的视频基本流的头部部分中的用户数据区域中，以便可以由用户数据类型代码(用户数据标识信息)来识别CC数据和视差信息。

CC解码器233从通过视频解码器221获得的视频基本流中获取CC数据。此外，CC解码器223对于每一个字幕窗口(Caption Window)，获取闭路字幕信息(字幕的字符代码)，并且进一步从CC数据获取重叠位置和显示时间的控制数据。然后，CC解码器233将闭路字幕信息以及重叠位置和显示时间的控制数据提供到立体图像CC生成单元234。

视差信息获取单元235从通过视频解码器221获得的视频基本流中获取视差信息。视差信息与每一个字幕窗口(Caption Window)的闭路字幕数据(字幕的字符代码)有关，其由上述CC解码器233获取。视差信息已经添加了在要重叠在左眼图像上的闭路字幕信息和要重叠在右眼图像上的闭路字幕信息之中指定要基于视差信息移位的闭路字幕信息的移位目标指定信息。

视差信息获取单元235与由CC解码器233获取的、每一个字幕窗口的闭路字幕数据对应地，获取要在基于该数据的闭路字幕信息的显示帧时间段中使用的视差信息。例如，视差信息是在闭路字幕信息的显示帧时间段期间各个帧中共同使用的视差信息，或者是在各个帧中顺序更新的视差信息。视差信息已经添加了指示在显示帧时间段期间各个帧中共同使用的视差信息或在显示帧时间段期间各个帧中顺序更新的视差信息的标志信息。

视差信息获取单元235获取有关第一帧的视差信息以及关于第二和接下来的帧相对于有关之前帧的视差信息的偏移信息，作为在各个帧中顺序更新的视差信息。如上所述，有关第二和接下来的帧的视差信息被设置为相对于有关之前帧的视差信息的偏移信息。此外，视差信息获取单元235获取例如有关第一帧的视差信息作为在各个帧中共同使用的视差信息。

立体图像CC生成单元234对于每一个字幕窗口(Caption Window)产生分别要重叠在左眼图像和右眼图像上的左眼闭路字幕信息(字幕)和右眼闭路字幕信息(字幕)的数据。该产生处理基于由CC解码器233获得的闭路字幕数据和重叠位置控制数据以及由视差信息获取单元235获取的视差信息(视差矢量)来执行。

立体图像CC生成单元234基于移位目标指定信息，执行用于将视差赋予左眼闭路字幕信息和右眼闭路字幕信息之一或二者的移位处理。此外，立体图像CC生成单元234根据由视差信息获取单元235获取的视差信息是各个帧中共同使用的视差信息还是各个帧中顺序更新的视差信息、以如下方式将视差赋予闭路字幕信息。

即，当获取的视差信息是各个帧中共同使用的视差信息时，立体图像CC生成单元234基于公共视差信息，将视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息。相反，当获取的视差信息是各个帧中顺序更新的视差信息时，立体图像CC生成单元234基于每帧更新的视差信息，将视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息。

如上所述，各个帧中顺序更新的视差信息例如由有关帧的视差信息和关于第二和接下来的帧相对于之前帧的视差信息的偏移信息组成。在这种情况下，在第一帧中，基于有关第一帧的视差信息，将视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息。然后，在第二和接下来的帧中，参照已经将视差赋予之前帧的状态，通过与偏移信息对应的量，进一步将视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息。

图93图示了基于各个帧中顺序更新的视差信息，将视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息的处理。在第一帧(帧N)中，基于有关第一帧的视差信息DP0执行移位处理，并且将视差赋予左眼闭路字幕信息LC和右眼闭路字幕信息RC。在接下来的帧(帧N+1)中，对于各条信息LC和RC进一步执行“+1”量(其为相对于帧(帧N)的状态的偏移信息(差分，Differential))的移位处理。

在接下来的帧(帧N+2)中，对于各条信息LC和RC进一步执行“+1”量(其为相对于帧(帧N+1)的状态的偏移信息)的移位处理。在接下来的帧(帧N+3)中，由于偏移信息是“0”，因此将各条信息LC和RC的移位状态维持到与帧(帧N+2)相同的状态。此外，在接下来的帧(帧N+3)中，对于各条信息LC和RC进一步执行“+1”量(其为相对于帧(帧N+3)的状态的偏移信息)的移位处理。

视频重叠单元228将由立体图像CC生成单元234获得的左眼和右眼闭路字幕信息的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上，并获得显示立体图像数据Vout。注意，使用系统层中的时间戳来开始立体图像数据中闭路字幕信息的数据的重叠。此外，基于关于闭路字幕信息的显示时间的控制数据来控制重叠持续时间。

尽管省略了详细描述，但是图92中所示的位流处理单元201D的其他组件以与图80中所示的位流处理单元201的那些类似的方式配置。

将简要描述图92中所示的位流处理单元201D的操作。将从数字调谐器204(参见图79)输出的位流数据BSD提供到多路分用器220。在多路分用器220中，从位流数据BSD提取视频和音频的TS包，并将其提供到各个解码器。在视频解码器221中，根据从多路分用器220提取的视频包重构视频的基本流，并且进一步执行解码处理以获得包括左眼图像数据和右眼图像数据的立体图像数据。将立体图像数据提供到视频重叠单元228。

此外，将由视频解码器221重构的视频基本流提供到CC解码器223。在CC解码器223中，从视频基本流获取CC数据。然后，在CC解码器223中，从CC数据获取闭路字幕信息(字幕的字符代码)以及进一步每一个字幕窗口(Caption Window)的重叠位置和显示时间的控制数据。将闭路字幕信息以及重叠位置和显示时间的控制数据提供到立体图像CC生成单元234。

此外，将由视频解码器221重构的视频基本流提供到视差信息获取单元235。在视差信息获取单元235中，从视频基本流获取视差信息。视差信息与由上述CC解码器233获取的每一个字幕窗口(Caption Window)的闭路字幕数据(字幕的支持代码)相关。将视差信息提供到立体图像CC生成单元234。

在立体图像CC生成单元234中，对于每一个字幕窗口(Caption Window)，产生分别要重叠在左眼图像和右眼图像上的左眼闭路字幕信息(字幕)和右眼闭路字幕信息(字幕)的数据。基于由CC解码器233获得的闭路字幕数据和重叠位置控制数据并基于由视差信息获取单元235获取的视差信息(视差矢量)来执行该产生处理。

在立体图像CC生成单元234中，基于视差信息中包括的移位目标指定信息，执行用于将视差赋予左眼闭路字幕信息和右眼闭路字幕信息之一或二者的移位处理。在这种情况下，当由视差信息获取单元235获取的视差信息是各个帧中共同使用的视差信息时，基于公共的视差信息，将视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息。此外，当由视差信息获取单元235获取的视差信息是各个帧中顺序更新的视差信息时，基于每帧更新的视差信息，将视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息(参见图93)。

以这种方式，将由每一个字幕窗口(Caption Window)的立体图像CC生成单元234产生的左眼和右眼闭路字幕信息项的数据(位图数据)与显示时间的控制数据一起，提供到视频重叠单元228。在视频重叠单元228中，将从立体图像CC生成单元234提供的闭路字幕信息的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上，并获得显示立体图像数据Vout。

此外，在音频解码器224中，从由多路分用器220提取的音频的TS包来重构音频的基本流，并且进一步执行解码处理，以获得音频数据。将音频数据提供到多声道扬声器控制单元229。在多声道扬声器控制单元229中，对于音频数据执行用于产生多声道扬声器的音频数据以实现5.1声道环绕等的处理、用于给出预定声场特性的处理等。然后，从多声道扬声器控制单元229获得多声道扬声器的输出。

在图92中所示的位流处理单元201D中，可以从视频基本流的有效载荷部分获取立体图像数据，并且此外，可以从头部部分的用户数据区域获取CC数据和视差信息。在这种情况下，在用户数据区域中包括CC数据和视差信息，以便CC数据和视差信息可以由用户数据标识信息(user_data_type_code)来识别。因此，基于用户数据标识信息，从用户数据区域，与CC数据一起可以顺利地获取视差信息。

此外，在图92中所示的位流处理单元201D中，使用适于闭路字幕信息的视差信息，可以将适当的视差赋予要重叠在左眼图像和右眼图像上的闭路字幕信息。因此，在闭路字幕信息的显示中，可以将信息与图像中每一个对象之间的透视的一致性维持到最佳状态。

此外，在图92中所示的位流处理单元201D中，基于添加到视差信息的移位目标指定信息(select_view_shift)，可以执行仅左眼闭路字幕信息的移位、仅右眼闭路字幕信息的移位或者二者的移位。换言之，可以将反映发送侧意图(intension)的视差赋予左眼闭路字幕信息和右眼闭路字幕信息。

此外，在图92中所示的位流处理单元201D中，接收在闭路字幕信息的显示时间段期间在各个帧中共同使用的视差信息或在各个帧中顺序更新的视差信息。可以使用标志信息(temporal_extension_flag)来确定已经接收了它们中的哪些。然后，在接收到的视差信息是各个帧中顺序更新的视差信息时，可以根据图像内容的改变来动态地改变要赋予闭路字幕信息的视差。此外，在接收到的视差信息是各个帧中共同使用的视差信息时，可以减小处理负荷，并且也可以抑制存储视差信息的存储器的容量。

注意，通过示例，在用途限于闭路字幕信息的视差信息的接收方面，已经图示了图92中所示的位流处理单元201D。尽管省略了详细描述，但是，例如，接收并处理用途限于任何其他重叠信息(如，字幕信息)的视差信息的位流处理单元也可以以类似的方式配置。

[机顶盒的另一示例配置]

图94图示了机顶盒200A的另一示例配置。在图94中，对应于图79和图85的部分以相同的附图标记表示，并且将适当地省略其详细描述。机顶盒200A包括位流处理单元201D、HDMI端子202、天线端子203、数字调谐器204、视频/图形处理电路205A、HDMI发送单元206以及音频信号处理电路207。

此外，机顶盒200A包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215、遥控发送器216、网络端子217和以太网接口218。注意，“以太网”是注册商标。

位流处理单元201D从由数字调谐器204获得的位流数据BSD提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。在该示例中，重叠信息数据是字幕数据。位流处理单元201D具有与图77中所示的位流处理单元201A基本上类似的配置。

位流处理单元201D包括多路分用器220A、视频解码器221、字幕解码器222A和音频解码器224。此外，位流处理单元201D包括立体图像字幕/图形生成单元226A、视频重叠单元228和视差矢量获取单元231。多路分用器220A从位流数据BSD提取视频、音频和字幕的包，并将其发送到各个解码器。

视频解码器221根据由多路分用器220A提取的视频包重构视频基本流，并执行解码处理，以获得包括左眼图像数据和右眼图像数据的立体图像数据。字幕解码器222A根据由多路分用器220A提取的字幕包重构字幕基本流。接下来，字幕解码器222A进一步执行解码处理，以获得字幕数据。音频解码器224根据由多路分用器220A提取的音频包重构音频基本流，执行解码处理，以获得音频数据，并将其输出到位流处理单元201的外部。

视差矢量获取单元231从通过视频解码器221获得的视频流获取嵌入在其用户数据区域中的视差矢量(视差信息集)。接下来，视差矢量获取单元231将获取的视差矢量提供到立体图像字幕生成单元226，并且还输出到位流处理单元201D的外部。

立体图像字幕生成单元226A分别生成要叠加在左眼图像和右眼图像上的左眼和右眼字幕信息项。该生成处理基于由字幕解码器222A获得的字幕数据以及从视差矢量获取单元231提供的视差矢量(视差信息集)来执行。在这种情况下，左眼和右眼字幕信息项是同一信息。然而，图像中的右眼字幕信息或图形信息的重叠位置被配置为关于左眼字幕信息或图形信息在水平方向上移位视差矢量的水平方向分量。接下来，立体图像字幕生成单元226A输出左眼和右眼字幕信息项的数据(位图数据)。

视频重叠单元228将由字幕生成单元226A生成的左眼和右眼字幕信息项的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上，并获得显示立体图像数据。注意，通过使用系统层中的时间戳来开始立体图像数据(左眼图像数据、右眼图像数据)上的重叠信息数据的重叠。接下来，视频重叠单元228将显示立体图像数据输出到位流处理单元201D的外部。

以太网接口228经由网络端子227连接到图中未示出的网络(如，因特网等)。以太网接口228还可以根据用户的操作，通过使用Widget(窗口小部件)，经由网络获得要经历图形显示的各种信息(例如，天气预报、股票市场信息)。以太网接口228连接到内部总线214。

根据需要，视频/图形处理电路205对于从位流处理单元201D输出的立体图像数据执行图像质量调整处理。此外，视频/图形处理电路205A例如将根据Widget的图形信息的数据重叠在从位流处理单元201D输出的显示立体图像数据中。

将从上述位流处理单元201D输出的视差矢量(视差信息集)提供到视频/图形处理电路205A。视频和图形处理电路205A基于该视差矢量(视差信息集)，将视差赋予要重叠在左眼图像和右眼图像上的同一图形信息。因此，在图像中根据每一对象的透视已经经历了视差调整的图形信息可以用作要重叠在左眼图像和右眼图像上的相同图形信息，并且在该图形信息的显示中，可以设计维持信息与图像中每一个对象之间的透视的一致性。

视频/图形处理电路205A将处理后的显示立体图像数据提供到HDMI发送单元206。根据需要，音频信号处理电路207对于从位流处理单元201D输出的音频数据执行音频质量调整处理等，并将处理后的音频数据提供到HDMI发送单元206。HDMI发送单元206通过使用遵循HDMI的通信，从HDMI端子202发送基带图像(视频)和音频的数据。在这种情况下，HDMI发送单元206为了通过使用HDMI TMDS通道发送数据，封包图像和音频的数据，并将数据输出到HDMI端子202。

尽管将省略详细描述，但是图94中所示的机顶盒200A的其他组件以与图79中所示的机顶盒200类似的方式配置。

将简要描述图94中所示的机顶盒200A的操作。将输入到天线端子203的电视广播信号提供到数字调谐器204。在数字调谐器204中，处理电视广播信号，并获得支持用户选择的频道的预定位流数据BSD。将位流数据BSD提供到位流处理单元201D。

在位流处理单元201D中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、字幕数据、视差矢量(视差信息集)等。此外，在位流处理单元201D中，将字幕信息的数据与立体图像数据组合，并产生显示立体图像数据。

在这种情况下，在位流处理单元201D中，基于视差矢量，将视差赋予要重叠在左眼图像和右眼图像上的相同的字幕信息。因此，已经经历了根据图像中获得的每一个的透视的视差调整的字幕信息可以用作要重叠在左眼图像和右眼图像上的相同的字幕信息，并且在字幕信息的显示中，设计维持信息与图像中每一个对象之间的透视的一致性。

根据需要，由视频和图像处理电路205A使得由位流处理单元201D产生的显示立体图像数据经历图像质量调整处理。此外，在视频和图形处理电路205A中，根据需要，将根据Widget(窗口小部件)的图形信息的数据与由位流处理单元201D产生的显示立体图像数据组合。

在这种情况下，在视频/图形处理电路205A中，基于从位流处理单元201D提供的视差矢量(视差信息集)，将视差赋予要重叠在左眼图像和右眼图像上的相同的图形信息。因此，已经经历了根据图像中每一个对象的透视的视差调整的图形信息可以用作要重叠在左眼图像和右眼图像上的相同的图形信息，并且在图形信息的显示中，设计维持信息与图像中每一个对象之间的透视的一致性。

将从视频/图形处理电路205A获得的处理后的显示立体图像数据提供到HDMI发送单元206。此外，根据需要，由音频信号处理电路207使得由位流处理单元201D获得的音频数据经历音频质量调整处理等，然后提供到HDMI发送单元206。通过HDMI TMDS通道，将提供到HDMI发送单元206的立体图像数据和音频数据从HDMI端子202发送到HDMI线缆400。

在图94中所示的机顶盒200A中，在位流处理单元201D中，基于由位流处理单元201D的视差矢量获取单元231获取的视差矢量(视差信息集)，将视差赋予要重叠在左眼图像和右眼图像上的相同的字幕信息。此外，在视频/图形处理电路205A，基于视差矢量(视差信息集)，将视差赋予要重叠在左眼图像和右眼图像上的相同的图形信息。因此，不仅在从广播站发送的字幕信息，而且在该机顶盒200A中产生的图形信息的显示中，可以设计维持信息与图像中的每一个对象之间的透视的一致性。

图95图示了在图94中所示的机顶盒200A中，左眼图像和右眼图像上的字幕信息和图形信息的重叠示例。图95(a)图示了左眼图像。在位流处理单元201D中，将字幕信息“Subtitle 1”重叠在位置(x1，y1)，并且将字幕信息“Subtitle 2”重叠在位置(x2，y2)。此外，在视频/图形处理电路205A中，将图形信息“Graphics 1”重叠在位置(x3，y3)。

图95(b)图示了右眼图像。在位流处理单元201D中，将字幕信息“Subtitle1”重叠在关于左眼图像上的重叠位置，基于对应的视差矢量移位了偏移1(Offset 1)的位置。类似地，在位流处理单元201D中，将字幕信息“Subtitle2”重叠在关于左眼图像上的重叠位置，基于对应的视差矢量移位了偏移2(Offset 2)的位置。此外，在视频/图形处理电路205A中，将图形信息“Graphics1”重叠在关于左眼图像上的重叠移位了偏移3(Offset 3)的位置。

注意，在图94中所示的机顶盒200A中，位流处理单元201D处理字幕信息，并且另外，视频/图形处理电路205A处理图形信息。但是，还以类似的方式配置处理其他重叠信息的装置。

[电视接收机的描述]

返回到图1，电视接收机300经由HDMI线缆400接收从机顶盒200发送的立体图像数据。电视接收机300包括3D信号处理单元301。3D信号处理单元301对于立体图像数据执行与发送方法对应的处理(解码处理)，并产生左眼图像数据和右眼图像数据。即，3D信号处理单元301执行与图2、图13、图15和图21中所示的发送数据产生单元110、110A、110B和110C中的视频成帧单元112相反的处理。接下来，3D信号处理单元301获得构成立体图像数据的左眼图像数据和右眼图像数据。

[电视接收机的示例配置]

将描述电视接收机300的示例配置。图96图示了电视接收机300的示例配置。电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。

此外，电视接收机300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。此外，电视接收机300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。

天线端子304是用于输入由接收天线(未示出)接收到的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。

位流处理单元306被配置为具有与图79中所示的机顶盒200的位流处理单元201类似的配置。位流处理单元306从位流数据中提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。重叠信息数据包括字幕数据、图形数据、文本数据(包括闭路字幕数据)等。位流处理单元306将重叠信息处理与立体图像数据组合，并获得显示立体图像数据。此外，位流处理单元306输出音频数据。

HDMI接收单元303通过使用遵循HDMI的通信，经由HDMI线缆400接收提供到HDMI端子302的非压缩图像数据和音频数据。例如，假设HDMI接收单元303的版本例如是HDMI 1.4，并且可以处理立体图像数据。稍后将描述该HDMI接收单元303的细节。

3D信号处理单元301对于由HDMI接收单元303接收到的、或者由位流处理单元306获得的立体图像数据执行解码处理，并产生左眼图像数据和右眼图像数据。在这种情况下，3D信号处理单元301对于由位流处理单元306获得的立体图像数据执行与发送方法(参见图4)对应的解码处理。此外，3D信号处理单元301对于由HDMI接收单元303接收到的立体图像数据执行与稍后描述的TMDS发送数据结构对应的解码处理。

视频/图形处理电路307基于由3D信号处理单元301产生的左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据。此外，视频/图形处理电路307根据需要，对于图像数据执行图像质量调整处理。此外，视频/图形处理电路307根据需要，将重叠信息(如，菜单或节目指南)的数据与图像数据组合。面板驱动电路308基于从视频/图形处理电路307输出的图像数据来驱动显示面板309。显示面板309例如由LCD(液晶显示器)、PDP(等离子显示面板)等构成。

音频信号处理电路310对于由HDMI接收单元303接收到的、或者由位流处理单元306获得的音频数据执行必要的处理(如，D/A转换等)。音频放大器电路311放大从音频信号处理电路310输出的音频信号，并将产生的信号提供到扬声器312。

CPU 321控制电视接收机300的每一个单元的操作。闪速ROM 322存储控制软件并保存数据。DRAM 323构成CPU 321的工作区域。CPU 321将从闪速RAM 322读出的软件和数据扩展到DRAM 323上，以启动软件，并控制电视接收机300的每一个单元。

遥控接收单元325接收从遥控发送器326发送的遥控信号(遥控代码)，并将遥控信号提供到CPU 321。CPU 321基于该遥控代码控制电视接收机300的每一个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。

将简要描述图96中所示的电视接收机300的操作。在HDMI接收单元303中，接收从经由HDMI线缆400连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。将由HDMI接收单元303接收到的立体图像数据提供到3D信号处理单元301。此外，将由HDMI接收单元303接收到的音频数据提供到音频信号处理单元310。

将输入到天线端子304的电视广播信号提供到数字调谐器305。在数字调谐器305中，处理电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。

将从数字调谐器305输出的位流数据提供到位流处理单元306。在位流处理单元306中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。此外，在位流处理单元306中，将重叠信息(闭路字幕信息、字幕信息、图形信息或文本信息)的数据与立体图像数据组合，并产生显示立体图像数据。

将由位流处理单元306产生的显示立体图像数据提供到3D信号处理单元301。此外，将由位流处理单元306获得的音频数据提供到音频信号处理电路310。

在3D信号处理单元301中，对于由HDMI接收单元303接收到的或者由位流处理单元306获得的立体图像数据执行解码处理，并且产生左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供到视频/图形处理电路307。在视频/图形处理电路307中，基于左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据，并且还根据需要执行图像质量调整处理或用于组合重叠信息数据的处理。

将由视频/图形处理电路307获得的图像数据提供到面板驱动电路308。因此，通过使用显示面板309来显示立体图像。例如，根据左眼图像数据的左眼图像和根据右眼图像数据的右眼图像以时分方式交替地显示在显示面板309上。通过佩戴左眼快门和右眼快门与显示面板309上的显示同步地交替地开启的快门眼镜，观看者可以仅通过左眼观看左眼图像，并且仅通过右眼观看右眼图像，并且可以感受立体图像。

此外，在音频信号处理电路310中，对于由HDMI接收单元303接收到的或者由位流处理单元306获得的音频数据执行必要的处理，如D/A转换等。由音频放大电路311放大音频数据，然后将其提供到扬声器312。因此，从扬声器312输出音频。

[HDMI发送单元和HDMI接收单元的示例配置]

图97图示了图1中的立体图像显示系统10中，机顶盒200的HDMI发送单元(HDMI信源)206和电视接收器300的HDMI接收单元(HDMI信宿)303的示例配置。

在有效图像时间段(在下文中，适当地也称为“活动视频时间段”)期间，HDMI发送单元206通过多个通道单向地将与一个屏幕的非压缩图像的像素数据对应的差分信号发送到HDMI接收单元303。这里，有效图像时间段是通过从一个垂直同步信号到下一个垂直同步信号之间的时间段中去除了水平消隐时间段和垂直消隐时间段而获得的时间段。此外，在水平消隐时间段或垂直消隐时间段期间，HDMI发送单元206通过多个通道单向地向HDMI接收单元303发送至少与附着于图像的音频数据、控制数据、其他辅助数据等对应的差分信号。

由HDMI发送单元206和HDMI接收单元303形成的HDMI系统的发送通道包括下列发送通道。即，存在用作用于与像素时钟同步的、从HDMI发送单元206到HDMI接收单元303的像素数据和音频数据的单向串行发送的发送通道的三个TMDS通道#0至#2。此外，存在用作发送像素时钟的发送通道的TMDS时钟通道。

HDMI发送单元206包括HDMI发送器81。发送器81例如将非压缩图像的像素数据转换为对应的差分信号，并通过作为多通道的三个TMDS通道#0、#1和#2串行地将差分信号单向地发送到经由HDMI线缆400连接的HDMI接收单元303。

此外，发送器81将附着于非压缩图像的音频数据以及必要数据、其他辅助数据等转换为对应的差分信号，并通过三个TMDS通道#0、#1和#2串行地将差分信号单向地发送到HDMI接收单元303。

此外，发送器81通过TMDS时钟通道，将与通过三个TMDS通道#0、#1和#2发送的像素数据同步的像素时钟发送到经由HDMI线缆400连接的HDMI接收单元303。这里，在像素时钟的一个时钟期间，通过一个TMDS通道#i(i＝0，1，2)发送10位像素数据。

HDMI接收单元303接收与在活动视频时间段中，通过使用多个通道从HDMI发送单元206单向地发送的像素数据对应的差分信号。此外，HDMI接收单元303接收与在水平消隐时间段或垂直消隐时间段中，通过使用多通道从HDMI发送单元206单向地发送的音频数据或控制数据对应的差分信号。

即，HDMI接收单元303包括HDMI接收器82。HDMI接收器82接收通过使用TMDS通道#0、#1和#2从HDMI发送单元206单向地发送的、与像素数据对应的差分信号以及与音频数据或控制数据对应的差分信号。在这种情况下，与通过TMDS时钟通道从HDMI发送单元206发送的像素时钟同步地接收差分信号。

除了上述TMDS通道#0至#2以及TMDS时钟通道之外，HDMI系统的发送通道还包括被称为DDC(显示数据通道)83和CEC线84的发送通道。DDC 83由图中未示出的、包括在HDMI线缆400中的两条信号线形成。DDC83用于HDMI发送单元206以从HDMI接收单元303读出E-EDID(增强扩展显示标识数据)。

即，除了HDMI接收器81之外，HDMI接收单元303还包括已经在其中存储了作为关于其性能(配置/容量)的性能信息的E-EDID的EDID ROM(只读存储器)85。HDMI发送单元206例如根据来自CPU 211(参看图79)的请求，经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读出E-EDID。

HDMI发送单元206将所读取的E-EDID发送到CPU 211。CPU 211在闪速ROM 212或DRAM 213中存储该E-EDID。CPU 211可以基于E-EDID辨认HDMI接收单元303的性能设置。例如，CPU 211辨认包括HDMI接收单元303的电视接收器300是否能够处理立体图像数据，而且在能够处理立体图像数据的情况下，进一步辨认电视接收机300可以支持哪种TMDS发送数据结构。

CEC线84由图中未示出的、包括在HDMI线缆400中的一条信号线形成，并且用于执行在HDMI发送单元206与HDMI接收单元303之间的用于控制的数据的双向通信。该CEC线84形成控制数据线。

此外，HDMI线缆400包含连接到被称为HPD(Hot Plug Detect，热插拔检测)的引脚的线(HPD线)86。信源装置可以通过利用该线86检测信宿装置的连接。注意，该HPD线86也用作形成双向通信路径的HEAC-线。此外，HDMI线缆400包含用于从信源装置向信宿装置供电的线(电源线)87。此外，HDMI线缆400包含应用线88。该应用线88也用作形成双向通信路径的HEAC+线。

图98图示了在图97中的HDMI发送器81和HDMI接收器82的示例配置。HDMI发送器81包括分别与三个TMDS通道#0、#1和#2对应的三个编码器/串行化器81A、81B和81C。然后，编码器/串行化器81A、81B和81C中的每一个编码供应到其的图像数据、辅助数据和控制数据，将其从并行数据转换成串行数据，并通过使用差分信号发送产生的数据。这里，在图像数据包括例如R、G和B三个分量的情况下，将B分量供应到编码器/串行化器81A，将G分量供应到编码器/串行化器81B，而将R分量供应到编码器/串行化器81C。

此外，辅助数据的示例包括音频数据和控制包，例如，将控制包供应到编码器/串行化器81A，而将该音频数据供应到编码器/串行化器81B和81C。此外，控制数据包括1-位垂直同步信号(VSYNC)、1-位水平同步信号(HSYNC)和1-位控制位CTL0、CTL1、CTL2和CTL3。将垂直同步信号和水平同步信号供应到编码器/串行化器81A。将控制位CTL0和CTL1供应到编码器/串行化器81B，而将控制位CTL2和CTL3供应到编码器/串行化器81C。

编码器/串行化器81A以时分方式发送供应到其的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。即，编码器/串行化器81A将供应到其的图像数据的B分量设置为以8位(其是固定位数)为单位的并行数据。此外，编码器/串行化器81A编码并行数据，将其转换为串行数据，并通过TMDS通道#0发送串行数据。

此外，编码器/串行化器81A还编码供应到其的垂直同步信号和水平同步信号(即，2-位并行数据)，将该数据转换为串行数据，并通过TMDS通道#0发送串行数据。此外，编码器/串行化器81A将供应到其的辅助数据设置为以4位为单位的并行数据。然后，编码器/串行化器81A编码并行数据，将其转换为串行数据，并通过TMDS通道#0发送串行数据。

编码器/串行化器81B以时分方式发送供应到其的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。即，编码器/串行化器81B将供应到其的图像数据的G分量设置为以8位(其是固定位数)为单位的并行数据。此外，编码器/串行化器81B编码并行数据，将其转换为串行数据，并通过TMDS通道#1发送串行数据。

此外，编码器/串行化器81B编码供应到其的控制位CTL0和CTL1(即，2-位并行数据)，将该数据转换为串行数据，并通过TMDS通道#1发送串行数据。此外，编码器/串行化器81B将供应到其的辅助数据设置为以4位为单位的并行数据。然后，编码器/串行化器81B编码并行数据，将其转换为串行数据，并通过TMDS通道#1发送串行数据。

编码器/串行化器81C以时分方式发送供应到其的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。即，编码器/串行化器81C将供应到其的图像数据的R分量设置为以8位(其是固定位数)为单位的并行数据。此外，编码器/串行化器81C编码并行数据，将其转换为串行数据，并通过TMDS通道#2发送串行数据。

此外，编码器/串行化器81C编码供应到其的控制位CTL2和CTL3(即，2-位并行数据)，将该数据转换为串行数据，并通过TMDS通道#2发送串行数据。此外，编码器/串行化器81C将供应到其的辅助数据设置为以4位为单位的并行数据。然后，编码器/串行化器81C将并行数据编码为串行数据，并通过TMDS通道#2发送串行数据。

HDMI接收器82包括分别与三个TMDS通道#0、#1和#2对应的三个恢复器/解码器82A、82B和82C。然后，恢复器/解码器82A、82B和82C中的每一个接收通过TMDS通道#0、#1和#2中的对应一个、使用差分信号发送的图像数据、辅助数据和控制数据。此外，恢复器/解码器82A、82B和82C中的每一个将图像数据、辅助数据和控制数据从串行数据转换成并行数据，并进一步解码和输出它们。

即，恢复器/解码器82A接收通过TMDS通道#0、使用差分信号发送的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。然后，恢复器/解码器82A将该图像数据的B分量、垂直同步信号、水平同步信号和辅助数据从串行数据转换成并行数据，并解码和输出它们。

恢复器/解码器82B接收通过TMDS通道#1、使用差分信号发送的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。然后，恢复器/解码器82B将该图像数据的G分量、控制位CTL0和CTL1以及辅助数据从串行数据转换成并行数据，并解码和输出它们。

恢复器/解码器82C接收通过TMDS通道#2、使用差分信号发送的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。然后，恢复器/解码器82C将该图像数据的R分量、控制位CTL2和CTL3以及辅助数据从串行数据转换成并行数据，并解码和输出它们。

图99图示了TMDS发送数据的示例结构。图99图示了在通过TMDS通道#0、#1和#2发送在水平方向上具有1920像素且在垂直方向上具有1080行的图像数据的情况下的各种发送数据时间段。

通过HDMI的三个TMDS通道#0、#1和#2发送发送数据的视频场(Video Field)按照发送数据的类型包括三种类型的时间段。该三种类型的时间段是视频数据时间段(Video Data Period)、数据岛时间段(Data Island Period)和控制时间段(Control Period)。

这里，视频场时间段是从某个垂直同步信号的前沿(活动沿)到下一个垂直同步信号的前沿的时间段。这个视频场时间段可以被分隔成水平消隐时间段(水平消隐)、垂直消隐时间段(垂直消隐)和活动视频时间段(Active Video)。活动视频时间段是通过从视频场时间段中去除水平消隐时间段和垂直消隐时间段而获得的时间段。

在活动视频时间段中分配视频数据时间段。在视频数据部分中，发送形成一个屏幕的非压缩图像数据的具有1920像素×1080行的有效像素(Active Pixels)的数据。

在水平消隐时间段和垂直消隐时间段中分配数据岛时间段和控制时间段。在数据岛时间段和控制时间段中，发送辅助数据(Auxiliary data)。也就是说，在水平消隐时间段和垂直消隐时间段的一部分中分配数据岛时间段。在数据岛时间段中，发送辅助数据内与控制无关的数据，例如音频数据的包。

在水平消隐时间段和垂直消隐时间段的另一部分中分配控制时间段。在控制时间段中，发送辅助数据内与控制有关的数据，例如垂直同步信号、水平同步信号和控制包。

图100图示了HDMI端子的引脚阵列的示例。图100中所图示的引脚阵列被称为A型(type-A)。使用作为差分线的两条线发送作为TMDS通道#i上的差分信号的TMDS数据#i+和TMDS数据#i-。该两条线连接到TMDS数据#i+分配到的引脚(具有引脚号1、4和7的引脚)以及TMDS数据#i-分配到的引脚(具有引脚号3、6和9的引脚)。

此外，发送作为用于控制的数据的CEC信号的CEC线84连接到引脚号为13的引脚。此外，发送诸如E-EDID之类的SDA(Serial Data)信号的线连接到引脚号为16的引脚。发送作为在SDA信号的发送和接收期间用于同步的时钟信号的SCL(Serial Clock)信号的线连接到引脚号为15的引脚。上述DDC 83由发送SDA信号的线和发送SCL信号的线组成。

此外，如上所述，由信源装置用以检测信宿装置的连接的HPD线(HEAC-线)86连接到引脚号为19的引脚。此外，应用线(HEAC+线)88连接到引脚号为14的引脚。此外，如上所述，用于供电的线87连接到引脚号为18的引脚。

[E-EDID结构]

如上所述，HDMI发送单元206例如根据来自CPU 211(参看图79)的请求，经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读出E-EDID。然后，CPU 211基于该E-EDID辨认HDMI接收单元303的性能设置，例如，HDMI接收单元303是否能够处理立体图像数据。

图101图示了E-EDID的示例数据结构。E-EDID由基本块和扩展块形成。在基本块中，在开头处排列由“E-EDID 1.3基本结构”表示的E-EDID 1.3标准中规定的数据。在基本块中，随后排列由“优选定时”表示的、用于确保与传统EDID的兼容性的定时信息。此外，在基本块中，随后排列由“第二定时”表示的、用于确保与传统EDID的兼容性的、不同于“优选定时”的定时信息。

此外，在基本块中，在“第二定时”之后，排列由“监视器名称”表示的、指示显示设备的名称的信息。在基本块中，随后，排列指示可在高宽比为4∶3和16∶9的情况下显示的像素数量的信息，由“监视器范围限制”表示。

在扩展块的开头，排列“简短视频描述符”。这是指示可显示图像大小(分辨率)、帧速和隔行或逐行的信息。随后，排列“简短音频描述符”。这是诸如可再现音频编码解码方法、采样频率、截止带、编码解码位数之类的信息。随后，排列由“扬声器分配”指示的、关于左和右扬声器的信息。

此外，在扩展块中，在“扬声器分配”之后，排列由“厂商专用”表示的、对于每一个厂商唯一定义的数据。在扩展块，排列由“第三定时”表示的、用于确保与传统EDID的兼容性的定时信息。在扩展块中，再随后排列由“第四定时”表示的、用于确保与传统EDID的兼容性的定时信息。

图102图示了厂商专用区域(HDMI厂商专用数据块)的示例数据结构。在厂商专用区域中，提供作为1-字节块的第0块至第N块。

在第0块中，排列由“厂商专用标签代码(＝3)”表示的、表示数据“厂商专用”的数据区域的头部。此外，在第0块中，还排列由“长度(＝N)”表示的、指示数据“厂商专用”的长度的信息。此外，在第一块至第三块中，排列由“24位IEEE注册标识符(0x000C03)LSB在前”表示的、指示对于HDMI(R)注册的号码“0x000C03”的信息。此外，在第四块和第五块中，排列由“A”、“B”、“C”和“D”表示的、指示信宿装置的24-位物理地址的信息。

在第六块中，排列由“Supports-AI”表示的、指示与信宿装置对应的功能性的标志。此外，在第六块中，排列由“DC-48位”，“DC-36位”和“DC-30位”表示的、指定每个像素的位数的各条信息。此外，在第六块中，排列由“DC-Y444”表示的、指示信宿装置是否支持YCbCr 4:4:4的图像发送的标志。此外，在第六块中，排列由“DVI-Dual”表示的、指示信宿装置是否支持双重DVI(数字视频接口)的标志。

此外，在第七块中，排列由“Max-TMDS-Clock”表示的、指示TMDS像素时钟的最大频率的信息。此外，在第八块中的第六位和第七位中，排列由“等待时间”表示的、指示视频和音频的延迟信息的存在/不存在的标志。此外，在第八块中的第五位中，排列由“HDMI_Video_present”表示的、指示是否启动附加HDMI视频格式(3D，4k×2k)的处理的标志。

此外，在第九块中，排列由“视频等待时间”表示的、逐行视频的延迟时间数据，而在第十块中，排列由“音频等待时间”表示的、伴随该逐行视频的音频的延迟时间数据。此外，在第十一块中，排列由“隔行视频等待时间”表示的、隔行视频的延迟时间数据。此外，在第十二块中，排列由“隔行音频等待时间”表示的、伴随该隔行视频的音频的延迟时间数据。

此外，在第十三块中的第七位中，排列由“3D_present”表示的、指示是否启动3D图像数据的处理的标志。此外，在第十四块中的第七至第五位中，排列由“HDMI_VIC_LEN”表示的、指示排列在图中未示出的第十五块及其后中的强制3D数据以外的、可以处理的数据结构的块大小信息。此外，在第十四块中的第四至第零位中，排列由“HDMI_3D_LEN”表示的、指示排列在图中未示出的第十五块及其后中的、可以处理的4k×2k的视频格式的块大小信息。

[立体图像数据的TMDS发送数据结构]

图103图示了作为立体图像数据的一种TMDS发送数据结构的帧封装(Frame Packing)方法中的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行(progressive)左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。

在3D视频格式中，发送1920×1080p或1080×720p像素格式的图像数据作为左眼(L)和右眼(R)图像数据。注意，在图103中，图示了左眼(L)图像数据和右眼(R)图像数据中的每一个都具有1920行×1080像素的示例。

根据该3D视频格式，产生这样的发送数据：其中，由垂直同步信号划界的、包括水平消隐时间段(Hblank)、垂直消隐时间段(Vblank)和活动视频时间段(Hactive×Vactive)的视频场时间段用作一个单位。在3D视频格式中，活动视频时间段具有两个活动视频区域(Active Video)和在其间的一个活动空区域(Active space)。左眼(L)图像数据被放置在第一活动视频区域，而右眼(R)图像数据被放置在第二活动视频区域。

图104图示了在作为立体图像数据的一种TMDS发送数据结构的行交替(Line alternative)方法中的3D视频格式(3D Video Format)。3D视频格式是用于将逐行左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。在3D视频格式中，发送1920×1080p像素格式的图像数据，作为左眼(L)和右眼(R)图像数据。

根据该3D视频格式，产生这样的发送数据：其中，由垂直同步信号划界的、包括水平消隐时间段(Hblank)、垂直消隐时间段(2×Vblank)和活动视频时间段(Hactive×2Vactive)的视频场时间段用作一个单位。在3D视频格式中，在活动视频时间段中，交替地排列一行左眼图像数据和一行右眼图像数据。

图105图示了在作为立体图像数据的一种TMDS发送数据结构的并排(side-by-side)(全)方法中的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。在3D视频格式中，发送具有1920×1080p像素格式的图像数据，作为左眼(L)和右眼(R)图像数据。

根据该3D视频格式，产生这样的发送数据：其中，由垂直同步信号划界的、包括水平消隐时间段(2×Hblank)、垂直消隐时间段(Vblank)和活动视频时间段(2Hactive×Vactive)的视频场时间段用作一个单位。在3D视频格式中，在活动视频时间段中，在水平方向的前一半中放置左眼(L)图像数据，而在水平方向的后一半中放置右眼(R)图像数据。

注意，虽然省略了详细描述，但是在HDMI 1.4中，除了上述图103至105中所图示的3D视频格式之外，还定义用作立体图像数据的TMDS发送数据结构的3D视频格式。例如，定义了帧封装(用于隔行格式的帧封装)方法、场交替(Field alternative)方法、并排(side-by-side)(半)方法等。

如上所述，在图1中所示的立体图像显示系统10中，基于左眼图像数据和右眼图像数据之一关于另一个的视差信息，将视差赋予要重叠在左眼图像数据和右眼图像数据上的相同的重叠信息(闭路字幕信息、字幕信息、图形信息或文本信息)。因此，可以采用根据图像中的每一个对象的透视而已经经历了视差调整的重叠信息作为要重叠在左眼图像数据和右眼图像数据上的相同的重叠信息，并且在重叠信息的显示中，可以维持重叠信息与图像中每一个对象之间的透视的一致性。

<2.示例修改>

注意，在以上实施例中，为了将多个视差矢量与一个分量元素ID相关联，在DHI中排列信息“number_of_mutiple_link”(图54、图55)。根据该“number_of_mutiple_link”，预先指定要与分量元素ID相关联的视差矢量的数量。然而，例如，可以想到这样的方法：其中，将连接标志(Connect_flag)添加到分区位置ID(Partition_position_id)，并且将多个视差矢量与一个分量元素ID相关联。

图106图示了用于将视差矢量与分量元素ID相关联的方法的示例。这里，闭路字幕信息的分量元素ID是窗口ID(window_id)。此外，字幕信息的分量元素ID是区域ID(region_id)。为了将视差矢量与分量元素ID相关联，例如，将指示视差矢量所属的屏幕区域的最大13位的分区位置ID与分量元素ID相关联。

该分区位置ID添加有1位连接标志(Connect_flag)。在将一个视差矢量与一个分量元素ID相关联的情况下，如图106所示，一个分区位置ID与一个分量元素ID相关联。在这种情况下，添加到该一个分区位置ID的连接标志被设置为“0”，这指示此后不存在相关联的分区位置ID。

此外，在将两个视差矢量与一个分量元素ID相关联的情况下，如图106所示，两个分区位置ID与该分量元素ID与相关联。在这种情况下，添加到第一分区位置ID的连接标志被设置为“1”，这指示此后存在进一步相关联的分区位置ID。接下来，添加到第二分区位置ID的连接标志被设置为“0”，这指示此后不存在相关联的分区位置ID。

注意，尽管在图106中未图示，但是在将三个或更多个视差矢量与一个分量元素ID相关联的情况下，这与将两个视差矢量与一个分量元素ID相关联的情况相同。添加到直至最后一个分区位置ID之前一个的连接标志被设置为“1”，并且仅将添加到最后一个分区位置ID的连接标志设置为“0”。

此外，在以上实施例中，已经图示了立体图像显示系统10，其由广播站100、机顶盒200和电视接收机300构成。然而，如图96中所示，电视接收机300包括具有与机顶盒200内的位流处理单元201相同功能的位流处理单元201。因此，如图107所示，也可以想到由广播站100和电视接收机300构成的立体图像显示系统10A。

此外，在以上实施例中，已经图示了这样的示例：其中，从广播站100广播包括立体图像数据的数据流(位流)。然而，不必说，本发明也可以类似地应用于具有如下配置的系统：其中，通过利用网络(如因特网等)将该数据流分发至接收端。

此外，在以上实施例中，已经图示了经由HDMI数字接口的、机顶盒200和电视接收机300之间的连接。然而，不必说，本发明也可以应用于这样的情况：其中，通过类似于HDMI数字接口(包括线缆以外的无线)的数字接口连接它们。

注意，本申请参照日本专利申请No.2009-153686。

工业实用性

本发明可以应用于在图像等上重叠重叠信息(如，闭路字幕信息、字幕信息、图形信息、文本信息等)并显示产生的图像的立体图像显示系统。

附图标记列表

10，10A立体图像显示系统；100广播站；110，110A至100E发送数据产生单元；111L，111R相机；112视频成帧单元；113视频编码器；113a流格式器；114视差矢量检测单元；115视差矢量编码器；116麦克风；117音频编码器；118字幕/图形生成单元；119字幕/图形编码器；119a流格式器；120文本生成单元；121文本编码器；122多路复用器；124字幕/图形处理单元；125文本处理单元；130数据获取单元；130a数据记录介质；131视差信息集创建单元；132视差信息创建单元；133CC编码器；200，200A机顶盒；201，201A、201B、201C、201D位流处理单元；202HDMI端子；203天线端子；204数字调谐器；205视频信号处理电路；205A视频/图形处理单元；206HDMI发送单元；207音频信号处理电路；211CPU；212闪速ROM；213DRAM；214内部总线；215遥控接收单元；216遥控发送器；220，220A多路分用器；221视频解码器；222字幕/图形解码器；222A 223文本解码器；224音频解码器；225字幕解码器，视差矢量解码器；226立体图像字幕/图形生成单元；226A立体图像字幕生成单元；227立体图像文本生成单元；228视频重叠单元；229多声道扬声器控制单元；231视差矢量提取单元；232视差信息获取单元；233CC解码器；234立体图像CC产生单元；235视差信息获取单元；300电视接收器；3013D信号处理单元；302HDMI端子；303HDMI接收单元；304天线端子；305数字调谐器；306位流处理单元；307视频/图形处理电路；308面板驱动电路；309显示面板；310音频信号处理电路；311音频放大电路；312扬声器；321CPU；322闪速ROM；323DRAM；324内部总线；325遥控接收单元；326遥控发送器；400HDMI线缆。

Claims (16)

1.一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

重叠信息数据输出单元，输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送视频基本流，其在有效载荷部分中包括从所述立体图像数据输出单元输出的立体图像数据，并且在头部部分的用户数据区域中包括从所述重叠信息数据输出单元输出的重叠信息的数据以及从所述视差信息输出单元输出的视差信息，

其中所述视频基本流的头部部分的用户数据区域中包括的重叠信息的数据和视差信息被配置为可由用户数据标识信息识别。

2.根据权利要求1所述的立体图像数据发送设备，其中所述视差信息已经添加了移位目标指定信息，其在要重叠在基于所述左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于所述视差信息移位的重叠信息。

3.根据权利要求1所述的立体图像数据发送设备，其中所述视差信息是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息。

4.根据权利要求3所述的立体图像数据发送设备，其中所述视差信息包括预定数量帧的时间段期间有关第一帧的视差信息，以及有关第二和接下来的帧相对于有关之前帧的视差信息的偏移信息。

5.根据权利要求1所述的立体图像数据发送设备，其中所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息。

6.根据权利要求1所述的立体图像数据发送设备，其中所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，或者是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，以及

其中所述视差信息已经添加了指示各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息的标志信息。

7.一种立体图像数据接收设备，

接收单元，接收视频基本流，所述视频基本流在有效载荷部分中包括包含左眼图像数据和右眼图像数据的立体图像数据，并且在头部部分的用户数据区域中包括要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据和用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，所述头部部分的用户数据区域中包括的重叠信息的数据和视差信息被配置为可由用户数据标识信息识别；

立体图像数据获取单元，从所述接收单元接收到的所述视频基本流的有效载荷部分获取所述立体图像数据；

重叠信息数据获取单元，从所述接收单元接收到的所述视频基本流的头部部分的用户数据区域获取所述重叠信息的数据；

视差信息获取单元，从所述接收单元接收到的所述视频基本流的头部部分的用户数据区域获取所述视差信息；以及

图像数据处理单元，使用由所述立体图像数据获取单元获取的所述立体图像数据中包括的左眼图像数据和右眼图像数据、由所述重叠信息数据获取单元获取的所述重叠信息的数据以及由所述视差信息获取单元获取的所述视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并且获取已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

8.一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息已经添加了移位目标指定信息，其在要重叠在基于所述左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于所述视差信息移位的重叠信息。

9.一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，

所述视差信息已经添加了移位目标指定信息，其在要重叠在基于所述左眼图像数据的图像上的重叠信息和要重叠在基于右眼图像数据的图像上的重叠信息之中，指定要基于所述视差信息移位的重叠信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据、由所述接收单元接收到的所述视差信息以及添加到所述视差信息的所述移位目标指定信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

10.一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息。

11.根据权利要求10所述的立体图像数据发送设备，其中所述视差信息包括在预定数量帧的时间段期间有关第一帧的视差信息，以及有关第二和接下来的帧相对于之前帧的视差信息的偏移信息。

12.一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，

所述视差信息是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据和由所述接收单元接收到的所述视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

13.一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，以及

其中所述视差信息已经添加了指示各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息的信息。

14.一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，

所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据和由所述接收单元接收到的所述视差信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

15.一种立体图像数据发送设备，包括：

立体图像数据输出单元，输出包括左眼图像数据和右眼图像数据的立体图像数据；

视差信息输出单元，输出用于通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及

发送单元，发送从所述立体图像数据输出单元输出的所述立体图像数据以及从所述视差信息输出单元输出的所述视差信息，

其中所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，或者是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，以及

其中所述视差信息已经添加了指示各个帧中共同使用的视差信息或各个帧中顺序更新的视差信息的标志信息。

16.一种立体图像数据接收设备，包括：

接收单元，接收包括左眼图像数据和右眼图像数据的立体图像数据，以及通过移位要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息，

所述视差信息是在预定数量帧的时间段期间各个帧中共同使用的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，或者是在预定数量帧的时间段期间各个帧中顺序更新的视差信息，在所述预定数量帧的时间段期间显示所述重叠信息，以及

所述视差信息已经添加了指示各个帧中共同使用的视差信息或者各个帧中顺序更新的视差信息的标志信息；以及

图像数据处理单元，使用由所述接收单元接收到的所述立体图像数据中包括的左眼图像数据和右眼图像数据、由所述接收单元接收到的所述视差信息以及添加到所述视差信息的所述标志信息，将视差赋予要重叠在左眼图像和右眼图像上的相同重叠信息，并获得已经重叠了重叠信息的左眼图像的数据和已经重叠了重叠信息的右眼图像的数据。

Images