CN102726052B - 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法 - Google Patents

Abstract

为了简化在接收方的处理。字幕处理单元123将2-D图像字幕数据转换成遵循3-D图像数据的发送格式的3-D图像字幕数据。接收方能够容易地基于3-D图像字幕数据生成将被叠加在3-D图像数据所具有的左眼图像数据上的左眼字幕以及将被叠加在3-D图像数据所具有的右眼图像数据上的右眼字幕的显示数据，这能实现处理的方便性。除了3-D图像数据和3-D图像字幕数据，还发送包括被设置为左眼和右眼字幕的显示范围的子区域的范围信息、目标帧信息以及视差信息的显示控制信息。将被提供到左眼和右眼字幕的视差能够与图像的内容的改变同步地动态改变。以子像素精度生成偏移信息。

Description

立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法

技术领域

本发明涉及立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法，并且更具体地，涉及与立体图像数据一起发送诸如字幕（caption）的叠加（superimposed）信息的数据的立体图像数据发送设备等。

背景技术

例如，在PTL1中提出了一种使用电视广播无线电波的立体图像数据的发送方法。使用该发送方法，发送具有用于左眼的图像数据和用于右眼的图像数据的立体图像数据，并且执行使用双眼视差（binocular disparity）的立体图像显示。

图41示出对象的左右图像在屏幕上的显示位置及其立体图像的回放位置之间的关系，其中立体图像的显示采用双眼视差。例如，关于如图所示在屏幕上左图像La移动到右侧并且右图像Ra移动到左侧而显示的对象A，左右视线更靠近观众而不是屏幕表面相交，所以其立体图像的回放位置靠近观众而不是屏幕表面。DPa代表关于对象A在水平方向的视差矢量。

同样，例如，在如图所示的屏幕上，关于左图像Lb和右图像Rb显示在同一位置的对象B，左右视线在屏幕表面相交，并因此其立体图像的回放位置在屏幕表面上。此外，例如，如图所示关于在屏幕上左眼Lc通过移动到左侧显示而右眼Ra通过移动到右侧显示的对象C，左右视线在比屏幕表面深的地方相交，并因此立体图像的回放位置在比屏幕表面深的地方。DPc表示关于对象C在水平方向的视差矢量。

因此，并排（side by side）系统、顶底（Top & Bottom）系统等是立体图像的已知发送格式。当接收方例如为机顶盒时，可以想到，所接收的立体图像数据经由诸如HDMI（高清多媒体接口）等的数字接口被发送到监视器设备诸如电视接收器而不需要对发送格式进行转换。例如，在NPL1中描述了HDMI标准的细节。

因此，同样，从发送方与二维图像数据一起发送诸如字幕等的叠加信息的数据是已知的。在这种情形下，对于接收方而言，叠加信息的数据被处理以生成用于显示叠加信息的显示数据，并且显示数据被叠加在二维图像数据上，由此获得其中叠加和显示所叠加信息的二维图像。

引用列表

专利文献

PTL1：日本未审专利申请公开No.2005-6114

非专利文献

NPL 1:高清多媒体接口规范，版本1.4，2009年6月5日。

发明内容

如上所述，在发送立体图像数据的同时，可以想到发送诸如字幕等的叠加信息的数据。在叠加信息的数据是用于二维图像的情况下，例如，如上所述的机顶盒必须根据立体图像数据的发送格式执行处理用于从用于二维图像的叠加信息的数据中生成将被叠加到立体图像数据上的显示数据。因此，作为机顶盒，这种预先处理功能是接收立体图像数据所必需的，这会导致成本增加。

本发明的目的是为了在与立体图像数据一起发送诸如字幕等的叠加信息的数据时有利于在接收方上的处理。

本发明的构思是一种立体图像数据发送设备，包括：图像数据输出单元，配置为输出具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据；叠加信息数据输出单元，配置为输出要叠加到由所述左眼图像数据和所述右眼图像数据构成的图像上的叠加信息的数据；叠加信息数据处理单元，配置为将从所述叠加信息数据输出单元输出的叠加信息的数据转换为用于发送的叠加信息数据，该叠加信息数据具有对应于包括在所述具有预定发送格式的立体图像数据中的所述左眼图像数据的左眼叠加信息和对应于包括在所述具有预定发送格式的立体图像数据中的所述右眼图像数据的右眼叠加信息；显示控制信息生成单元，配置为将与所述左眼叠加信息的显示位置对应的第一显示范围和与所述右眼叠加信息的显示位置对应的第二显示范围设置到从所述叠加信息数据处理单元输出的用于发送的所述叠加信息数据的显示范围的内侧，并且生成显示控制信息，该显示控制信息包括所述第一显示范围和第二显示范围中每一个的范围信息、用于显示包含在所述第一显示范围和第二显示范围中的每个叠加信息的目标帧的信息、以及用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息；以及数据发送单元，配置为发送具有包括从所述图像输出单元输出的所述立体图像数据的第一数据流和包括从所述叠加信息数据处理单元输出的所述叠加信息数据和在所述显示控制信息生成单元处生成的所述显示控制信息的第二数据流的多路复用数据流。

采用本发明，具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据被图像数据输出单元输出。立体图像数据的发送格式，例如为并排(Side By Side)体系、顶底(Top & Bottom)体系等。

将被叠加到由左眼图像数据和右眼图像数据构成的图像上的叠加信息的数据被叠加信息数据输出单元输出。在此，叠加信息是诸如字幕、图形、文本等将被叠加在图像上的信息。叠加信息的数据被叠加信息数据处理单元转换成具有左眼叠加信息的数据和右眼叠加信息的数据用于发送的叠加信息数据。

在此，左眼叠加信息的数据对应于包含在上述预定发送格式的立体故乡数据中的左眼图像数据，并且是用于生成将在接收方被叠加到立体图像数据具有的左眼图像数据上的左眼叠加信息的显示数据。同样，右眼叠加信息的数据对应于包含在上述预定发送格式的立体故乡数据中的右眼图像数据，并且是用于生成将在接收方被叠加到立体图像数据具有的右眼图像数据上的右眼叠加信息的显示数据。

叠加信息的数据例如是字幕数据（DVB字幕数据）。在叠加信息数据处理单元处生成左眼叠加信息的数据和右眼叠加信息的数据如下。例如，在立体图像数据的发送体系为并排体系的情况下，左眼叠加信息的数据和右眼叠加信息的数据在叠加信息数据处理单元处生成为在同一区域中的不同对象的数据。同样，在立体图像数据的发送体系为顶底体系的情况下,左眼叠加信息的数据和右眼叠加信息的数据在叠加信息数据处理单元处生成为在不同区域中的对象的数据。

例如，立体图像数据发送设备还可以包括：视差信息输出单元，配置为输出在由所述左眼图像数据构成的左眼图像由所述右眼图像数据构成的右眼图像之间的视差信息；其中所述叠加信息数据处理单元基于从所述视差信息输出单元输出的所述视差信息，至少使得所述左眼叠加信息或所述右眼叠加信息偏移以便在该左眼叠加信息和该右眼叠加信息之间提供视差。在该情况下，在

在接收方，就诸如字幕等的叠加信息的显示而言，关于图像内的每个对象的透视的一致性可以保持在最佳状态，而不用执行处理用于提供左眼叠加信息和右眼叠加信息之间的视差。

根据显示控制信息生成单元，与所述左眼叠加信息的显示位置对应的第一显示范围和与所述右眼叠加信息的显示位置对应的第二显示范围被设置到用于发送的所述叠加信息数据的显示范围的内侧，并且生成与这些第一和第二显示范围相关的显示控制信息。例如，这些第一和第二显示范围根据用户的操作或自动地被设置。

第一显示范围的范围信息和第二显示范围的范围信息包含在所述显示控制信息中。同样，用于显示包含在所述第一显示范围中的叠加信息的目标帧的信息和用于显示包含在第二显示范围中的叠加信息的目标帧的信息也包含在所述显示控制信息中。而且，用于偏移-调节包含在所述第一显示范围中的叠加信息的显示位置的视差信息和包含在所述第二显示范围中的叠加信息的显示位置的视差信息也包含在所述显示控制信息中。这种视差信息用于提供包含在所述第一显示范围中的叠加信息和包含在第二显示范围中的叠加信息之间的视差。

例如，立体图像数据发送设备还包括：视差信息输出单元，配置为输出在由所述左眼图像数据构成的左眼图像由所述右眼图像数据构成的右眼图像之间的视差信息；其中所述显示控制信息生成单元基于从所述视差信息输出单元输出的所述视差信息，获得用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息。

包含第一数据流和第二数据流的多路复用数据流由数据发送单元发送。图像数据输出单元输出的预定发送格式的立体图像数据包含在第一数据流中。同样，叠加信息数据处理单元输出的用于发送的叠加信息数据和在处生成的显示控制信息包含在第二数据流中。

以这种方式，采用本发明，发送立体图像数据，还有具有遵循其发送格式的、具有左眼信息的数据和右眼信息的数据的用于发送的所述叠加信息数据，因此，接收方能够基于用于发送的叠加信息数据方便地生成将被叠加在立体图像数据具有的左眼图像数据上的左眼叠加信息的显示数据和将被叠加在立体图像数据具有的右眼图像数据上的右眼叠加信息的显示数据，由此能够实现处理的方便性。

而且，采用本发明，除了立体图像数据和用于发送的叠加信息数据,还发送与对应于左眼叠加信息的显示位置的第一显示范围和对应于右眼叠加信息的显示位置的第二显示范围相关的显示控制信息(范围信息、目标帧信息、视差信息)。容许接收方仅仅分别将第一显示范围和第二显示范围的叠加信息叠加到用于显示的目标帧上。视差信息可以被提供给第一显示范围和第二显示范围的叠加信息的显示位置，并且对于诸如字幕等的叠加信息的显示，可以以最佳状态保持关于每个对象的透视的一致性。

注意，例如，采用本发明，在显示控制信息生成单元处生成的显示控制信息中包含的视差信息可以具有子像素精度。在这种情形下，在接收方处，在使用在叠加信息显示时段期间顺序更新的视差信息偏移-调节第一显示范围和第二显示范围的叠加信息的显示位置的情况下，能够其偏移操作平滑，这有助于图像质量的改善。

而且，采用本发明，例如，用于控制包含在第一显示范围和第二显示范围内的叠加信息的每个显示的开/关的命令信息还可以包含在显示控制信息生成单元处生成的显示控制信息中。在这种情况下，接收方基于该命令信息被容许使用包含在显示控制信息.中的其命令信息以及范围信息和视差信息开启或关闭第一显示范围和第二显示范围内的叠加信息的显示。

而且，采用本发明，例如，数据发送单元可以将用于识别遵循立体图像数据的发送格式的用于发送的叠加信息数据被包含在第二数据流中的识别信息插入多路复用数据流。在这种情况下，接收方通过该识别信息被容许识别循立体图像数据的发送格式的用于发送的叠加信息数据(立体图像叠加信息数据)是否包含在第二数据流中。

而且，采用本发明，例如，可以作出一种安排，其中叠加信息的数据为字幕数据，叠加信息数据的显示范围为区域，而第一显示范围和第二显示范围为被设置为包含在所述区域中的子区域。在此，子区域范围是将被新定义的范围。

而且，采用本发明的另一个构思的是立体图像数据接收设备，包括：数据接收单元，配置为接收具有第一数据流和第二数据流的多路复用数据流；其中所述第一数据流包括具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据，所述第二数据流包括用于发送的叠加信息数据和显示控制信息，所述用于发送的叠加信息数据具有包括在具有所述预定发送格式的所述立体图像数据中的、对应于所述左眼图像数据的左眼叠加信息的数据和对应于所述右眼图像数据的右眼叠加信息的数据；并且，所述显示控制信息具有被设置到用于发送的所述叠加信息数据的显示范围的内侧的、对应于所述左眼叠加信息的显示位置的所述第一显示范围和对应于所述右眼叠加信息的显示位置的第二显示范围中每一个的范围信息、用于显示包含在所述第一显示范围和第二显示范围中的每个叠加信息的目标帧的信息、以及用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息；其还包括：图像数据获取单元，配置为从在所述数据接收单元处接收的所述多路复用数据流具有的所述第一数据流获得所述立体图像数据；叠加信息数据获取单元，配置为从在所述数据接收单元处接收的所述多路复用数据流具有的所述第二数据流获得所述用于发送的叠加信息数据；显示控制信息获取单元，配置为从所述数据接收单元处接收的所述多路复用数据流具有的所述第二数据流获得所述显示控制信息；显示数据生成单元，配置为基于在叠加信息数据获取单元处获取的所述用于发送的叠加信息数据，生成显示数据，用于针对左眼图像和右眼图像的每一个，叠加和显示左眼叠加信息和右眼叠加信息；显示数据抽取单元，配置为基于在显示控制信息获取单元处获得的所述显示控制信息具有的所述第一显示范围和第二显示范围的范围信息，抽取在显示数据生成单元处生成的所述显示数据的所述第一显示范围和所述第二显示范围的显示数据；偏移调节单元，配置为基于在显示控制信息获取单元处获取的显示控制信息具有的所述视差信息，偏移-调节在显示数据抽取单元处抽取的所述第一显示范围和第二显示范围的显示数据的位置；以及数据合成单元，配置为将在图像数据获取单元获取的所述立体图像数据的在所述偏移调节单元处偏移调节的所述第一显示范围和第二显示范围的每个显示数据叠加在由在所述显示控制信息获取单元处获取的所述显示控制信息具有的所述目标帧信息所指明的所述目标帧上，以便获得输出的立体图像数据。

采用本发明，数据接收单元接收具有第一数据流和第二数据流的多路复用数据流。具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据包含在第一数据流中。

具有左眼叠加信息的数据和右眼叠加信息的数据(立体图像叠加信息数据)的用于发送的叠加信息数据包含在第二数据流中。左眼叠加信息的数据包含在上述具有预定发送格式的立体图像数据中的对应于左眼图像数据的数据，并且是用于生成将被叠加在立体图像数据具有的左眼图像数据上的左眼叠加信息的显示数据的数据。同样，右眼叠加信息的数据包含在上述具有预定发送格式的立体图像数据中的对应于右眼图像数据的数据，并且是用于生成将被叠加在立体图像数据具有的右眼图像数据上的右眼叠加信息的显示数据的数据。

而且，显示控制信息包含在第二数据流中。被设置在用于发送的叠加信息数据的显示范围的内侧的对应于左眼叠加信息的显示位置的第一显示范围以及对应于右眼叠加信息的显示位置的第二显示范围的每一个的范围信息被包含在显示控制信息中。用于显示包含在第一显示范围和第二显示范围的中的叠加信息的每一个的目标帧的信息也包含在该显示控制信息中。而且.用于偏移-调节包含在第一显示范围和第二显示范围中的每个叠加信息的显示位置的视差信息也包含在显示控制信息中。

具有预定发送格式的立体图像数据由图像数据获取单元从在数据接收单元处接收到的多路复用数据流具有的第一数据流中获得。而且，用于发送的叠加信息数据由叠加信息数据获取单元从在数据接收单元中接收到的多路复用数据流具有的第二数据流中获得。而且，显示控制信息由显示控制信息获取单元从在数据接收单元处接收到的多路复用数据流具有的第二数据流中获得。

由显示数据生成单元基于在叠加信息数据获取单元处获得的用于发送的叠加信息数据生成用于将叠加信息叠加在用于显示的左眼图像和右眼图像上的显示数据。随后显示数据抽取单元基于在显示数据生成单元处生成的显示数据的、显示控制信息具有的第一显示范围和第二显示范围的范围信息抽取第一显示范围和第二显示范围的显示数据。这样被抽取的显示数据起到显示对象的作用。

偏移调节单元基于在显示控制信息获取单元处获取的显示控制信息具有的所述视差信息偏移-调节显示数据抽取单元抽取的第一显示范围和第二显示范围的显示数据的位置。随后，偏移调节单元所偏移-调节的第一显示范围和第二显示范围的每个显示数据被数据合成单元叠加到在图像数据获取单元处获取的立体图像数据的、在显示控制信息获取单元处获取的目标帧的信息具有的目标帧上，并获得输出的立体图像数据。该输出的立体图像数据通过诸如HDMI等的数字接口单元被发送到外部设备。可替换地，通过该输出的立体图像数据在显示面板上进行使得用户能够感知立体图像的左眼图像和右眼图像的显示。

在用这种方式，采用本发明，接收立体图像数据还有对应于其发送格式的具有左眼叠加信息的数据和右眼叠加信息的数据的用于发送的叠加信息数据。因此，基于用于发送的叠加信息数据，将被叠加在立体图像数据所具有的左眼图像数据上的左眼叠加信息的显示数据以及将被叠加在立体图像数据所具有的右眼图像数据上的右眼叠加信息的显示数据可容易地生成，并能够便利实现处理。

而且，采用本发明，除了立体图像数据和用于发送的叠加信息数据,还接收与对应于左眼叠加信息的显示位置的第一显示范围和对应于右眼叠加信息的显示位置的第二显示范围相关的显示控制信息(范围信息、目标帧信息、视差信息)。因此，仅仅第一显示范围和第二显示范围的叠加信息被分别叠加在用于显示的目标帧上。视差可被提供给第一显示范围和第二显示范围的叠加信息的显示位置，并且通过诸如字幕等的叠加信息的显示,关于图像内每个对象的透视性的一致性能够保持在最佳状态。

注意，采用本发明，例如，可以作出一种安排，其中在数据接收单元处接收到的多路复用数据流包括识别信息，该识别信息识别遵循立体图像数据的发送格式的用于发送的叠加信息数据被包含在第二数据流中，并且还提供识别信息获取单元，其被配置为从在数据接收单元处接收到多路复用数据流的中获取识别信息，以及叠加信息数据识别单元，其被配置为基于在识别信息获取单元处获得的识别信息识别遵循立体图像数据的发送格式的用于发送的叠加信息数据包含在第二数据流中。在这种情形中，根据该识别信息,可以识别遵循立体图像数据的发送格式的用于发送的叠加信息数据(立体图像叠加信息数据)是否包含在第二数据流中。

本发明的优点

根据本发明，立体图像数据以及具有对应于其发送格式的的左眼叠加信息的数据和右眼叠加信息的数据的用于发送的叠加信息数据从发送方被发送到接收方。因此，接收方能够容易地基于用于发送的叠加信息数据生成将被叠加到立体图像数据具有的左眼图像数据上的左眼叠加信息的显示数据以及将被叠加到立体图像数据具有的右眼图像数据上的右眼叠加信息的显示数据，并实现处理的简化。

而且，根据本发明，除了立体图像数据和用于发送的叠加信息数据,还发送与对应于左眼叠加信息的显示位置的第一显示范围和对应于右眼叠加信息的显示位置的第二显示范围相关的显示控制信息(范围信息、目标帧信息、视差信息)。接收饭能够仅仅将这些第一显示范围和第二显示范围的叠加信息分别叠加在用于显示的目标帧上。视差可被提供给这些第一显示范围和第二显示范围的叠加信息的显示位置，并且通过诸如字幕等的叠加信息的显示,关于图像内每个对象的透视性的一致性能够保持在最佳状态。

附图说明

图1是示出作为本发明实施例的图像发送/接收系统的配置示例的框图。

图2是示出广播站中的发送数据生成单元的配置实例的框图。

图3是示出1920*1080像素格式的图像数据的图。

图4是用于描述作为立体图像数据（3D图像数据）的发送体系的“顶底”体系、“并排”体系和“帧顺序”体系的图。

图5是用于描述检测右眼图像对应于左眼图像的视差矢量的示例的示意图。

图6是用于描述使用块匹配方式获得视差矢量的示意图。

图7是用于描述在发送数据生成单元的视差信息创建单元处执行的缩小化处理的示意图。

图8是用于描述偏移信息具有子像素精度，即偏移信息由整数部分和小数部分构成的示意图。

图9是图释包含视频基本流、字幕基本流以及音频基本流的传输流（位流数据）的配置实例的示意图。

图10是示出构成字幕数据的PCS（page_composition_segment）的结构的示意图。

图11是示出“segment_type”的每个值和片段类型间的对应相关性的示意图。

图12是用于描述指示被新定义的用于3D的字幕的格式（Component_type=0x15,0x25）的信息的示意图。

图13是用于描述在字幕处理单元处创建和发送的字幕数据（包括显示控制信息）的配置实例的示意图。

图14是用于描述根据包括在SCS（subregion composition_segment）片段中的命令信息的显示的开/关控制的示意图。

图15是用于描述根据包括在SCS片段中的命令信息的显示的开/关控制的示意图。

图16是用于描述在不存在根据包括在SCS片段中的命令信息的显示的开/关控制的情况下的显示状态的示意图。用于描述

图17是概念性地示出在立体图像数据的发送格式是并排体系的情况下立体图像字幕数据的创建方法的示意图。

图18是图释区域（区域）和对象（对象）的实例以及根据立体图像字幕数据的子区域（子区域）的实例的示意图。

图19是图释在立体图像数据的发送格式是并排体系的情况下立体图像字幕数据的每个片段的创建实例（实例1）的示意图。

图20是图释在立体图像数据的发送格式是并排体系的情况下立体图像字幕数据的每个片段的创建实例（实例2）的示意图.

图21是概念性地示出在立体图像数据发送格式是顶底体系的情况下立体图像的字幕数据的创建方法的示意图。

图22是图释区域（区域）和对象（对象）的实例以及根据立体图像字幕数据的子区域（子区域）的实例的示意图。

图23是图释在立体图像数据的发送格式是顶底体系的情况下立体图像字幕数据的每个片段的创建实例（实例1）的示意图。

图24是图释在立体图像数据的发送格式是顶底体系的情况下立体图像字幕数据的每个片段的创建实例（实例2）的示意图。.

图25是概念性的示出在立体图像数据发送格式是帧顺序体系的情况下立体图像的字幕数据的创建方法的示意图。

图26是图释区域（区域）和对象（对象）的实例以及根据立体图像字幕数据的子区域（子区域）的实例的示意图。

图27是图释在立体图像数据的发送格式是帧顺序体系的情况下立体图像字幕数据的每个片段的创建实例（实例1）的示意图。

图28是图释在立体图像数据的发送格式是帧顺序体系的情况下立体图像字幕数据的每个片段的创建实例（实例2）的示意图。.

图29是示出SCS（子区域组分片段）的结构实例（语法）的示意图。

图30是示出SCS中包括的“Subregion_payload()”的结构实例（语法）的示意图。

图31是示出SCS的主要数据规定内容（语义）的示意图。

图32是示意性地示出立体图像数据（并排体系）和字幕数据（包含显示控制信息）的流向的示意图。

图33是示意性地示出立体图像数据（MVC体系）和字幕数据（包含显示控制信息）的流向的示意图。

图34是示出图像上的字幕的显示示例，及背景、特写对象和字幕的透视的示意图。

图35是示出图像上的屏幕说明（caption）的显示示例，及用于显示屏幕说明的左眼屏幕说明LGI和右眼屏幕说明RGI的显示示例的图。

图36是示出形成图像发送/接收系统的机顶盒的配置示例的框图。

图37是示出形成机顶盒的位流处理单元的配置示例的框图。

图38是示意性地示出在机顶盒处沿着水平方向执行相当于1/2像素（像素）的偏移的情况下的插值处理实例的示意图。

图39是示出形成图像发送/接收系统的电视机接收器的配置示例的框图。

图40是示出形成图像发送/接收系统的另一个配置示例的框图。

图41是用于描述在使用双眼视差的立体图像显示中，对象的左右图像在屏幕上的显示位置及其立体图像的显示位置之间的关系的图。

具体实施方式

现在将描述实施本发明的模式（下文称作“实施例”）。注意，将按照下面的顺序进行描述。

1．实施例

2．修改

1.实施例

图像发送/接收系统的配置示例

图1示出了作为实施例的图像发送/接收系统10的配置示例。该图像发送/接收系统10包括广播站100、机顶盒（STB）200和电视接收器（TV）300。

机顶盒200和电视接收器300经由HDMI（高清多媒体接口）数字接口连接。机顶盒200和电视接收器300使用HDMI线缆400连接。对于机顶盒200，提供HDMI端子202。对于电视接收器300，提供HDMI端子302。HDMI线缆400的一端连接至机顶盒200的HDMI端子202，而该HDMI线缆400的另一端连接至电视接收器300的HDMI端子302。

广播站的描述

广播站100通过在广播波上发送位流数据BSD。广播站100用于生成位流数据BSD的发送数据生成单元110。在位流数据BSD中包括立体图像数据、音频数据、叠加信息数据等等。立体图像数据具有预定的发送格式，并且具有用于显示立体图像的左眼图像数据和右眼图像数据。叠加信息一般包括屏幕说明、图形信息、文本信息等等，并且该叠加信息在此实施例中是字幕（屏幕说明）。

发送数据生成单元的配置示例

图2示出了广播站100的发送数据生成单元110的配置示例。该发送数据生成单元110包括：照相机111L和111R、视频分帧单元112、视差矢量检测单元113、麦克风114、数据抽取单元115、以及切换开关116-118。而且，该发送数据生成单元110包括：视频编码器119、音频编码器120、字幕生成单元121、视差信息创建单元122、字幕处理单元123、字幕编码器125、以及多路复用器125。

照相机111L获取左眼图像以便获得用于显示立体图像的左眼图像数据。照相机111R获取右眼图像以便获得用于显示立体图像的右眼图像数据。视频分帧单元112使得照相机111L获取的左眼图像数据和照相机111R获取的右眼图像数据根据发送格式经受处理以便获得立体图像数据(3D图像数据)。该视频分帧单元112构成了图像数据输出单元。

下面将描述立体图像数据的发送格式。在此，虽然给出了下列第一到第三方法作为发送方法，但是也可以使用除了这些之外的发送方法。而且，将针对这样的情形作为示例进行描述，在该情形中，左眼（L）和右眼（R）的图像数据的每一个是具有预定分辨率（例如1920*1080的像素格式）的图像数据。

第一发送体系是顶底（Top & Bottom）体系，且如图4（a）所示，是采用在垂直方向上的前一半发送左眼图像数据每一行数据以及采用在垂直方向上的后一半发送右眼图像数据的每一行数据的体系。在这种情况下，左眼图像数据和右眼图像数据的行被减少至1/2，所以垂直分辨率是原始信号的一半。

第二发送体系是并排（并排）体系，且如图4（b）所示，是用在水平方向上的前一半发送左眼图像数据的像素数据并用水平方向上的后一半发送右眼图像数据的像素数据的体系。在这种情况下，采用左眼图像数据和右眼图像数据每一个，水平方向的像素数据减少至1/2，所以水平分辨率为原始信号的一半。

第三发送方法是帧顺序（帧顺序）体系，且如图4（c）所示，是用于通过对于每一帧进行顺序地切换来发送左眼图像数据和右眼图像数据的体系。注意，此帧顺序体系有时候也被称作全帧（full frame）体系或向后兼容（backward compatible）体系。

视差矢量检测单元113例如基于左眼图像数据和右眼图像数据对构成图像的每个像素（像素）检测视差矢量。将描述视差矢量的检测实例。在此，将描述用于检测右眼图像对应于左眼图像的视差矢量的实例。如图5中所示，将以左眼图像作为检测图像，而将以右眼图像作为参考图像。采用这个示例中，将检测（xi,yi）和（xj,yj）位置上的视差矢量。

作为示例，将针对检测（xi,yi）位置上的视差矢量的情况作出描述。在这一情况下，例如，以（xi,yi）的位置中的像素作为左上角的4*4、8*8或16*16的像素块（视差检测块）Bi被设置为左眼图像。针对右眼图像，将搜索与像素块Bi匹配的像素块。

在这一情况下，以（xi,yi）位置为中心的搜索范围被设置到右眼图像，并且以与上述像素块Bi相同的方式，例如，4×4,8×8,or16×16的对比块被顺序设置，其搜索范围内的每个像素被顺序地作为感兴趣像素的像素。

获得像素块Bi与顺序设置的对比块之间每一个对应像素的差的绝对值之和。这里，如图6所示，如果我们说像素块Bi的像素值是L(x,y)，而对比块的像素值是R(x,y)，则将像素块Bi和该确定的对比块之间的差绝对值之和表示为∑|L(x,y)-R(x,y)|。

当n个像素包含在为右眼图像设置的搜索范围内时，最终获得n个和S1-Sn，并且在其中选择最小的和Smin。随后，从已经从中获得和Smin的对比块中获得左上角像素的位置(xi’,yi’)。如此，检测到（xi,yi）位置的视差矢量为（xi’-xi,yi’-yi）。虽然将省略关于在（xj,yj）位置的视差矢量的具体描述，但是例如为左眼图像设置以（xj,yj）位置中的像素为左上角的4×4,、8×8或16×16的像素块Bj，且在相同处理过程中进行检测。

返回到图2进行说明。麦克风114检测对应于在照相机111L和111R获取的图像的音频以获得音频数据

数据抽取单元115在其中数据记录介质115a是可拆除安装的的状态下被使用。数据记录介质115a的实例包括盘形记录介质和半导体存储器。音频数据、叠加信息的数据、以及视差矢量以一种相关联的方式与包括左眼图像数据和右眼图像数据的立体图像数据被记录在数据记录介质115a中。数据抽取单元115从数据记录介质115a抽取和输出立体图像数据、音频数据、以及视差矢量。该数据抽取单元115构成图像数据输出单元。

在此，记录在数据记录介质115a中的立体图像数据等同于在视频分帧单元112处获得的立体图像数据。而且，记录在数据记录介质115a中的音频数据等同于在麦克风114中获得音频数据。而且，记录在数据记录介质115a中的视差矢量等同于在视差矢量检测单元113处检测的视差矢量。

切换开关116选择性地抽取在视频分帧单元112处获得的立体图像数据或从数据抽取单元115输出的立体图像数据。在该情况下，切换开关116以一种活动模式连接到a侧，以便抽取在视频分帧单元112处获得的立体图像数据，并以一种回放放模式连接到b侧，以便抽取从数据抽取单元115输出的立体图像数据。

切换开关117选择性地抽取在视差矢量检测单元113检测的视差矢量或从数据抽取单元115输出的视差矢量。在该情况下，切换开关117以一种活动模式连接到a侧，以便抽取在视差矢量检测单元113检测的视差矢量，并且以一种回放放模式连接到b侧，以便抽取从数据抽取单元115输出的视差矢量。

切换开关118选择性地抽取在麦克风114处获得的音频数据或从数据抽取单元115输出的音频数据。在该情况下，切换开关118以一种活动模式连接到a侧，以便抽取在麦克风114处获得的音频数据，并且以一种回放放模式连接到b侧，以便抽取从数据抽取单元115输出的音频数据。

视频编码器119使得在切换开关116处抽取的立体图像数据经受入住MPEG4-AVC、MPEG2、VC-1等的编码以便生成视频数据流（视频基本流）。音频编码器120使得在切换开关118处抽取的音频数据经受诸如AC3、AAC等的编码以便生成音频数据流（音频基本流）。

字幕生成单元121生成作为DVB（数字视频广播）的字幕数据的屏幕说明数据。字幕数据是二维图像字幕数据。字幕生成单元121构成makes up a叠加信息数据输出单元121。

视差信息创建单元122使得在切换开关117处抽取的每个像素（像素）的视差矢量(水平方向的视差矢量)经受缩小化处理以便创建将被施加到字幕上的视差信息(水平方向的视差矢量)。该视差信息创建单元122构成视差信息输出单元。注意要被应用到字幕的视差信息可以被应用在页增量、区域增量或对象增量。同样，视差信息并非必需在视差信息创建单元122产生，并可以作出其由外部提供的配置。

图7示出了要在视差信息创建单元122执行的缩小化处理的示例。首先，如图7中(a)所示，视差信息创建单元122使用用于每一像素（pixel）的视差矢量以获得用于每一块的视差矢量。如上所述，块等同于位于最底层的像素（pixel）的上层，且由被在水平方向和垂直方向以预定大小划分的图像（图片）范围（area）配置。每块的视差矢量通过具有从包含在该块中存在的所有像素（pixel）的视差矢量中选择的最大值的视差矢量获得。

其次，如图7中(b)所示，视差信息创建单元122使用用于每一块的视差矢量以获得用于每组（GroupOfBlock（块组））的视差矢量。组等同于块的上层，且通过共同地编组多个相邻块而获得。在图7的(b)中的示例中，每组由用虚线框捆绑的四个块组成。每组的视差矢量通过具有从该组中的所有块的视差矢量中选出的最大值的视差矢量获得。

接着，如图7中(c)所示，视差信息创建单元122使用用于每组的视差矢量以获得用于每一分区（Partition）的视差矢量。分区等同于组的上层，且通过共同编组多个相邻组而获得。在图7的(c)中的示例中，每一分区由用虚线框捆绑的两组配置。每一分区的视差矢量通过具有从该分区中的所有组的视差矢量中选出的最大值的视差矢量获得。

接着，如图7中(d)所示，视差信息创建单元122使用用于每一分区的视差矢量以获得位于最上层的整个图片（整个图像）的视差矢量。在图7的(d)中的示例中，整个图片包括用虚线框捆绑的四个分区。例如，整个图片的视差矢量通过具有从包含于整个图片的所有分区的视差矢量中选出的具有最大值的视差矢量而获得。

以这种方式，视差信息创建单元122对位于最底层的每一像素的视差矢量进行缩小化处理，由此可以获得块、组、分区和整个图片中每一层级的每一范围（area）的视差矢量。注意到，在图7中所示的缩小化处理的示例中，除了像素（pixel）层级之外，最终还获得块、组、分区和整个图片四个层级的视差矢量。不过，层级数目、如何划分每一层级的范围及范围的数目不限于此例。

描述将返回图2。字幕处理单元123将在字幕生成单元121生成的字幕数据转换成遵循将在切换开关116处抽取的立体图像数据的发送格式的立体图像（三维图像）字幕数据。字幕处理单元123形成叠加信息数据处理单元，且转换后的立体图像数据字幕数据形成用于发送的叠加信息数据。

该立体图像字幕数据具有左眼字幕数据和右眼字幕数据。在此，左眼字幕数据是对应于包括在上述立体图像数据中的左眼图像数据的数据，并且是用于在接收方生成将被叠加到立体图像数据具有的左眼图像数据上的左眼字幕的显示数据的数据。同样，右眼字幕数据是对应于包括在上述立体图像数据中的右眼图像数据的数据，并且是用于在接收方生成将被叠加到立体图像数据具有的右眼图像数据上的右眼字幕的显示数据的数据。。

在这种情况下，字幕处理单元123基于来自视差信息创建单元122的、要被应用到字幕的视差信息（水平方向视差矢量），通过至少偏移左眼字幕或右眼字幕，来提供左眼字幕和右眼字幕之间的视差。采用这种方式，在左眼字幕和右眼字幕之间提供视差，由此，通过应用左眼字幕和右眼字幕之间的视差，，在不执行处理以在接收方提供视差的情况下，也能够将关于图像内的每个对象的透视的一致性保持在字幕（屏幕说明）显示最佳状态。

字幕处理单元123包括显示控制信息生成单元123。显示控制信息生成单元123生成关于子区域（subregion）的显示控制信息。现在，子区域是仅在区域内定义的范围。子区域包括左眼子区域（左眼SR）和右眼子区域（右眼SR）。下文中，左眼子区域将视情况而被称为左眼SR更合适，而右眼子区域将被称为右眼SR。

左眼子区域是在作为用于发送的叠加信息数据的显示范围的区域内对应于左眼字幕的显示位置而设置的范围。同样，右眼子区域是在作为用于发送的叠加信息数据的显示范围的区域内对应于右眼字幕的显示位置而设置的范围。例如，左眼子区域形成第一显示范围，而右眼子区域形成第二显示范围。例如基于用户操作或自动地，为在字幕生成单元121生成的每一字幕数据设置左眼SR和右眼SR的范围。注意，在此情况下，设置左眼SR和右眼SR范围使得左眼SR内的左眼字幕和右眼SR内的右眼字幕相对应。

左眼SR的范围信息和右眼SR的范围信息包括在显示控制信息中。同样，用于显示左眼SR中包含的左眼字幕的目标帧信息以及用于显示右眼SR中包含的右眼字幕的目标帧信息包含在在显示控制信息中。在此，用于显示左眼SR中包含的左眼字幕的目标帧信息指示左眼图像的帧，而用于显示右眼SR中包含的右眼字幕的目标帧信息指示右眼图像的帧。

同样，用于偏移-调节包含在左眼SR中的左眼字幕的显示位置的视差信息（disparity）以及用于偏移-调节包含在右眼SR中的右眼字幕的显示位置的视差信息包含在显示控制信息中。这些视差信息用于提供在左眼SR中包含的左眼字幕与在右眼SR中包含的右眼字幕之间的视差。

在此情况下，基于要应用到例如在视差信息创建单元122所创建的字幕的视差信息（水平方向视差矢量），显示控制信息生成单元123获得用于包含在上述显示控制信息中的偏移-调节的视差信息。现在，确定用于左眼SR的视差信息“视差1”和用于右眼SR的视差信息“视差2”使得这些的绝对值相等，并且此外，这些的差是对应于要应用到字幕的视差信息（Disparity）的值。例如，如果立体图像数据的发送格式是并排体系，则对应于视差信息（Disparity）的值是“视差/2”。同样，如果立体图像数据的发送格式是顶底（Top& Bottom）体系，则对应于视差信息（Disparity）的值是“视差”。

采用本发明，显示控制信息生成单元124生成将包含在上述显示控制信息中的视差信息以便具有子像素精度。在这种情形下，如图8(a)所示，视差信息有整数部分和小数部分构成。注意，子像素(Subpixel)是通过将构成数字图像的像素（整数像素）分成片段而获得的。视差信息具有子像素精度，由此左眼SR中的左眼字幕以及右眼SR中的右眼字幕的显示位置在接收方能够以子像素精度被偏移-调整。图8(b)示意性图释了具有子像素精度的偏移调节实例，并且图释了其中区域和分区内的字幕的显示位置从实线帧位置偏移-调节到虚线帧位置的实例。

注意字幕数据具有诸如DDS、PCS、RSC、CDS和ODS的片段。DDS（显示定义片段）指示用于HDTV（显示）的显示的大小。PCS（页组分片段）指示页（page）内区域（region）的位置。RCS（区域组分片段）指示区域（region）的大小或对象（object）的编码模式，且也指示对象（object）的开始位置。CDS（CLUT定义片段）指示CLUT的内容。ODS（对象数据片段）包括已编码的像素数据（pixel data）。

采用这个实施例，新定义了SCS（子区域组分片段）的片段。如上所述将在显示控制信息生成单元124生成的显示控制信息插入到该SCS片段中。之后将描述字幕处理单元123的处理的细节。

描述将返回图2，字幕编码器125生成包含从字幕处理单元123输出的立体图像字幕数据和显示控制信息的字幕数据流（字幕基本流）。多路复用器126多路复用来自视频编码器119、音频编码器120和字幕编码器125的数据流，以便获得多路复用数据流作为位流数据（传输流）BSD。

注意，采用此实施例，多路复用器126将识别包含有立体图像字幕数据的识别信息插入到字幕数据流中。具体地，在插入在EIT（事件信息表）之下的组分描述符（Component_Descriptor）中描述了Stream_content('0x03'=DVB字幕)&Component_type(用于3D目标)。新定义Component_type(用于3D目标)用于指示立体图像字幕数据。

将简要地描述图2中示出的发送数据生成单元110的操作。在照相机111L获取左眼图像。用于显示在照相机111L处获得的立体图像的左眼图像数据被提供到视频分帧单元112。同样，在照相机111R获取右眼图像。用于显示在照相机111R处获得的立体图像的右眼图像数据被提供到视频分帧单元112。在视频分帧单元112处，左眼图像数据和右眼图像数据根据发送格式收到处理对待，并获得立体图像数据参见（图4(a)-(c)）。

在视频分帧单元112处获得的立体图像数据被供应到在切换开关116的a侧的固定终端。同样，在数据抽取单元115处获得的立体图像数据被供应到在切换开关116的b侧的固定终端。切换开关116以一种活动模式连接到a侧，而在视频分帧单元112处获得的立体图像数据从该切换开关116被抽取。切换开关116以一种回放模式连接到b侧，并且从数据抽取单元115输出的立体图像数据从该切换开关116被抽取。

将在切换开关116处抽取的立体图像数据被提供到视频编码器119。在此视频编码器119处，其立体图像数据被执行诸如MPEG4-AVC、MPEG2、VC-1等的编码，且生成包含已编码视频数据的视频数据流。将视频数据流提供至多路复用器126。

在麦克风114处获得的音频数据被供应到在切换开关118的a侧的固定终端。同样，在数据抽取单元115处获得的音频数据被供应到在切换开关118的b侧的固定终端。切换开关118以一种活动模式连接到a侧，而在麦克风114处获得的音频数据从该切换开关118被抽取。切换开关118以一种回放模式连接到b侧，并且从数据抽取单元115输出的音频数据从该切换开关118被抽取。

将在切换开关118抽取的音频数据提供到音频编码器120。在该音频编码器120处，音频数据被进行诸如MPEG-2音频AAC、MPEG-4AAC等的编码，生成包含已编码的音频数据的音频数据流。将音频数据流提供至多路复用器126。

在照相机111L和111R处获得左眼图像数据和右眼图像数据通过视频分帧单元112被供应到视差矢量检测单元113。在视差矢量检测单元113处，基于左眼图像数据和右眼图像数据。检测每个像素(pixel)的视差矢量。该视差矢量被供应到切换开关117的a侧的固定终端。同样，从数据抽取单元115输出的用于每个像素(pixel)的视差矢量被供应到切换开关117的b侧的固定终端。

切换开关117以一种活动模式连接到a侧，而在视差矢量检测单元113处获得用于每个像素(pixel)的视差矢量从该切换开关117被抽取。切换开关117以一种回放模式连接到b侧，而从数据抽取单元115输出的用于每个像素(pixel)的视差矢量从该切换开关117被抽取。

在字幕生成单元121，生成作为DVB的字幕数据的屏幕说明数据（用于二维图像）。将此字幕数据提供给视差信息创建单元122和字幕处理单元123。

将由切换开关117抽取的用于每一像素（pixel）的视差矢量提供给视差信息创建单元122。在视差信息创建单元122，对每一像素的视差矢量执行缩小化处理，并创建要应用到字幕的视差信息（水平方向视差矢量=视差）。将该视差信息提供给字幕处理单元123。

在字幕处理单元123，将在字幕生成单元121生成的用于二维图像字幕数据转换为遵循在上述切换开关116处抽取的立体图像数据的发送格式的立体图像字幕数据。该立体图像字幕数据具有左眼字幕的数据和右眼字幕的数据。在此情况下，在字幕处理单元123处，基于来自视差信息创建单元122的要应用到字幕的视差信息，通过至少偏移左眼字幕或右眼字幕以提供左眼字幕和右眼字幕之间的视差。

在字幕处理单元123的显示控制信息生成单元124，生成关于子区域（Subregion）的显示控制信息（范围信息、目标帧信息、视差信息）。如上所述子区域包括左眼子区域（左眼SR）和右眼子区域（右眼SR）。相应地，生成用于左眼SR和右眼SR的每一个的范围信息、目标帧信息和视差信息作为显示控制信息。

如上所述，例如基于用户操作或自动地，对应于左眼字幕的显示位置，左眼SR被设置到作为用于发送的叠加信息数据的显示范围的区域的内侧。类似地，例如基于用户操作或自动地，对应于右眼字幕的显示位置，右眼SR被设置到作为用于发送的叠加信息数据的显示范围的区域的内侧。

将在字幕处理单元123获得的立体图像字幕数据和显示控制信息提供至字幕编码器125。在字幕编码器125处，生成包含立体图像字幕数据和显示控制信息的字幕数据流。插入了立体图像字幕数据的诸如DDS、PCS、RCS、CDS、ODS等的片段以及包含显示控制信息的新定义的SCS片段包含在字幕数据流中。

如上所述，将来自视频编码器119、音频编码器120和字幕编码器125的数据流提供至多路复用器126，如上所述。在该多路复用器126，打包并复用数据流，由此获得作为位流数据（传输流）BSD的复用的数据流。

图9示出了传输流（位流数据）的构造示例。该传输流包括通过打包基本流获得的PES包。在该构造示例中，包括了视频基本流的PES包“视频PES”、音频基本流的PES包“音频PES”和字幕基本流的PES包“字幕PES”。

在该实施例中，立体图像字幕数据和显示控制信息包含在字幕基本流（字幕数据流）中。该字幕基本流包括诸如DDS、PCS、RCS、CDS、ODS等的传统已知的片段，还包括包含显示控制信息的新定义的SCS片段。

图10示出了PCS（page_composition_segment）的结构。如图11中所示，该PCS片段的片段类型是“0x10”。“region_horizontal_address”和“region_vertical_address”指示区域（region）的开始位置。注意，图中将省略诸如DDS、RSC、ODS等的其它片段的结构的图示。如图11中所示，DDS的片段类型是“0x14”，RCS的片段类型是“0x11”，CDS的片段类型是“0x12”而ODS的片段类型是“0x13”。例如，如图11中所示，SCS的片段类型是“0x49”。之后将描述该SCS片段的具体结构。

描述将返回图9，传输流包括PMT（节目映射表）包含在作为PSI（节目具体信息）的传输流中。该PSI是描述传输流中包含的每一基本流属于哪一节目的信息。而且，传输流包括EIT（事件信息表）作为SI（服务信息），用于在事件的增量方面执行管理。在EIT中记录节目的增量方面的元数据。

在PMT中存在描述关于整个节目的信息的节目描述符（ProgramDescriptor）。而且，在PMT中还存在含有关于每一基本流的信息的基本循环（loop）也。在该结构示例中，存在视频基本循环、音频基本循环和字幕基本循环。用于每一个流的每一基本循环中布置了诸如包识别符（PID）的信息，而且同样虽然在图中未示出，还在其中布置了描述关于基本流的信息的描述符（descriptor）。

在EIT下面插入了组成部分描述符（Component_Descriptor）。在该实施例中，在该组分描述符中描述了Stream_content('0x03'=DVB字幕)&Component_type(用于3D目标)。所以，可以识别出字幕数据流包括立体图像字幕数据。在该实施例中，如图12中所示，如果“component_descriptor”的指示分布的内容的“stream_content”指示字幕（subtitle），则将新定义指示3D字幕（Component_type=0x15,0x25）的格式的信息。

字幕处理单元的处理

将描述在图2中示出的发送数据生成单元110的字幕处理单元123的处理的细节。如上所述，字幕处理单元123将二维图像字幕数据转换为立体图像字幕数据。同样，如上所述，字幕处理单元123在显示控制信息生成单元124生成显示控制信息（包括左眼SR和右眼SR区域信息、目标帧信息和视差信息）。

例如，可考虑“情形A”或“情形B”作为在字幕处理单元123处创建和发送的字幕数据(包括显示控制信息)，如图13所示。对于“情形A”结构，在显示字幕时预定数量的帧时段（period）开始前，创建与DDS、PCS、RCS、CDS、ODS、SCS、以及EDS的字幕显示相关的向其添加时间信息(PTS)的一系列片段，并成批被发送。注意，在显示字幕时预定数量的帧时段在此被适当地称之为“字幕显示时段”。

对于“情形B”结构，在显示字幕时预定数量的帧时段（字幕显示时段）开始前，创建与DDS、PCS、RCS、CDS、ODS、以及SCS的字幕显示相关的向其添加时间信息(PTS)的一系列片段，并成批被发送。随后，在字幕显示时段期间，顺序创建其中视差信息已经被更新的向其添加时间信息(PTS)的SCS片段，并且SCS片段被发送。在发送最终的SCS片段时，创建向其添加时间信息(PTS)的EDS片段，并且该EDS片段被发送。

对于“情形B”结构，在字幕显示时段期间，发送其视差信息被顺序更新的SCS片段，由此，能够动态地控制眼SR中的左眼字幕的显示位置和右眼SR中的右眼字幕。因此，接收方能够与图像内容的改变同步地动态地改变将被施加在左眼字幕和右眼字幕之间的视差

注意，对于上述“情形B”结构，在用于动态控制左眼SR中的左眼字幕和右眼SR中的右眼字幕的显示位置的方法的情形下，接收方需要下述显示开/关控制。具体而言，显示开/关控制是这样的控制，其中在基于特定帧的SCS片段内的视差信息执行显示时，该显示被开启（有效），而基于前一帧的SCS片段内的视差信息的显示被关闭（无效）。

为了进行显示开/关控制on接收方，用于控制显示(Display)开/关的命令包含在SCS片段中，不过后面将描述细节。将参照图14和15描述在接收方的显示开/关控制的实例。

图14图释了将被顺序发送到接收方的SCS片段的实例。在该实例中，对应于T0帧、T1帧以及T2帧中的每帧的SCS被顺序范送。图15图释了根据对应于T0帧、T1帧以及T2帧中的每帧的SCS的左眼SR中的左眼字幕和右眼SR中的右眼字幕的显示位置的偏移实例。

如图14所示，用于获得左眼SR中的左眼字幕的显示位置SP0的视差信息(Diparity_0)以及用于开启（有效）显示位置SR0的显示的命令信息(Display_ON)包含在T0帧的SCS中。同样，用于获得右眼SR中的右眼字幕的显示位置SR1的视差信息(Diparity_1)以及用于开启（有效）显示位置SR1的显示的命令信息(Display_ON)包含在T0帧的SCS中。

因此，对于该T0帧，如使用实线帧的图15(a)所示，提供了一种状态，其中在左眼图像上的显示位置SR0上显示（叠加）左眼SR中的左眼字幕。同样，对于该T0帧，如使用实线帧的图15(a)所示，提供了一种状态，其中在右眼图像上的显示位置SR1上显示（叠加）右眼SR中的左眼字幕。

同样，如图14所示，用于关闭（无效）显示位置SR0和SR1的显示的命令信息(Display_OFF)包含在T1帧的SCS中。同样，用于获得右眼SR中的右眼字幕的显示位置SR2的视差信息(Diparity_2)以及用于开启（有效）显示位置SR2的显示的命令信息(Display_ON)包含在T1帧的SCS中。同样，用于获得右眼SR中的右眼字幕的显示位置SR3的视差信息(Diparity_3)以及用于开启（有效）显示位置SR3的显示的命令信息(Display_ON)包含在T1帧的SCS中。

因此，对于该T1帧，如使用虚线帧的图15(b)所示，在左眼图像上的显示位置SR0的显示被关闭（无效），并且在右眼图像上的显示位置SR1的显示也被关闭（无效）。对于该T1帧，如使用实线帧的图15(b)所示，提供了一种状态，其中右眼SR中的右眼字幕显示（叠加）在右眼图像上的显示位置SR3上。

同样，如图14所示，用于关闭（无效）显示位置SR2和SR3的显示的命令信息(Display_OFF)包含在T2帧的SCS中。同样，用于获得左眼SR中的字幕的显示位置SR4的视差信息(Diparity_4)以及用于开启（有效）显示位置SR4的显示的命令信息(Display_ON)包含在T2帧的SCS中。同样，用于获得右眼SR中的右眼字幕的显示位置SR5的视差信息(Diparity_5)以及用于开启（有效）显示位置SR5的显示的命令信息(Display_ON)包含在T2帧的SCS中。

因此，对于该T2帧，如使用虚线帧的图15(c)所示，在左眼图像上的显示位置SR2的显示被关闭（无效），并且在右眼图像上的显示位置SR3的显示也被关闭（无效）。对于该T2帧，如使用实线帧的图15(c)所示，提供了一种状态，其中左眼SR中的左眼字幕显示（叠加）在右眼图像上的显示位置SR4上。同样，对于该T2帧，如使用实线帧的图15(c)所示，提供了一种状态，其中右眼SR中的右眼字幕显示（叠加）在右眼图像上的显示位置SR5上。

图16是图释例如在SCS片段中不包含用于控制显示（Display)）的开/关的命令信息的情况下在接收方的左眼字幕和右眼字幕的显示实例。在该情况下，左眼SR中的字幕处于以叠加方式显示（叠加）在显示位置SR0、SR2、以及SR4上的的状态。同样，右眼SR中的字幕处于以叠加方式显示（叠加）在显示位置SR1、SR3、以及SR5上的的状态。采用这种方式，左眼SR中的左眼字幕和右眼SR中的右眼字幕处于一种其中没有正确执行显示位置中的动态改变的状态。

图17概念性地示出了在立体图像数据的发送格式是并排体系情况下立体图像字幕数据的创建方法。图17(a)示出了依据二维图像字幕数据的区域（region）。注意，在这个示例中，在该区域中包含了三个对象（object）。

首先，字幕处理单元123将上述依据二维图像字幕数据的区域（region）大小转换为适合于并排体系的大小，如图17(b)中所示，并生成其大小的位图数据。

接着，如图17(c)中所示，字幕处理单元123将大小转换之后的位图数据作为立体图像字幕数据中的区域（region）的组分。也就是说，将大小转换之后的位图数据作为区域内与左眼字幕对应的对象，且也作为区域内与右眼字幕对应的对象。

如上所述，字幕处理单元123将二维图像字幕数据转换为立体图像字幕数据，并创建与该立体图像字幕数据对应的诸如DDS、PCS、RCS、CDS、OCS等的片段。

接着，基于用户操作或自动地，字幕处理单元123在立体图像字幕数据中的区域（region）的范围上设置左眼SR和右眼SR，如图17(c)中所示。左眼SR设置到包含对应于左眼字幕的对象的范围。右眼SR设置到包含对应于右眼字幕的对象的范围

字幕处理单元123创建包含如上述设置的左眼SR和右眼SR的范围信息、目标帧信息和视差信息的SCS片段。例如，字幕处理单元123创建共同地包含左眼SR和右眼SR的范围信息、目标帧信息和视差信息的SCS片段，或创建分别包含左眼SR和右眼SR的范围信息、目标帧信息和视差信息中每一个的SCS片段。

图18图释了根据上述所创建的立体图像字幕数据的区域(region)和对象(object)的实例。在此，区域的起始位置为"Region_address"。在左眼图像(左视图)侧上的对象具有作为起始位置的"Object_Position1″，并具有"Object_id=1"。同样，在右眼图像（右视图）侧的对象具有作为起始位置的"Object_Position2"，并具有"Object_id=1″。

同样，图18图释了如上设置的左眼SR和右眼SR的实例。左眼SR具有作为起始位置的"Subregion_position1″，并具有"Subregion_id=SA0"。右眼RP具有作为起始位置的"Subregion_position2"，并具有"Subregion_id=SA1"。

图19图释了在立体图像数据的发送格式是并排体系的情况下立体图像字幕数据的每个分段的创建实例。在该创建实例中，采用PCS（页组分片段），指明了区域(Region_id=0A)的起始位置(region_address)。同样，采用"Region_id=0"的RCS（区域组分片段），注明了"Object_id=1″的ODS。采用RCS，指明了在左眼图像侧上的对象的起始位置"object_position1″以及在右眼图像侧上的对象的起始位置"object_position2"。

同样，在该创建实例中，分别创建的左眼SR和右眼SR的SCS(子区域组分分段)。采用"Subregion_id=SA0"的左眼SR的SCS，指明左眼SR的起始位置(子区域位置1)。左眼SR的目标帧信息(Target_Frame=0)、左眼SR的视差信息(视差1)、以及显示开/关的命令信息（命令1）包含在左眼SR的SCS中。

同样，在"Subregion_id=SA1″的右眼SR的SCS中，指明右眼SR的起始位置(子区域位置2)。右眼SR的SCS中包含右眼SR的目标帧信息(Target_Frame=1)、右眼SR的视差信息(Disparity2)、显示开/关的命令信息。

图20图释了在立体图像数据的发送格式为并排体系的情况下立体图像字幕数据的每个分段的另一个创建实例（实例2）。在该创建实例中，以与图19中所示的创建实例（实例1）相同的方式，创建PCS、RCS、以及ODS。采用该创建实例，还共同创建左眼SR和右眼SR的SCS。也就是说，在同一个SCS中包含左眼SR和右眼SR的各种类型的信息。

图21概念性地示出了在立体图像数据的发送格式是顶底体系情况下产生立体图像字幕数据的方法。图21(a)示出了依据二维图像字幕数据的区域（region）。注意在这个示例中，在该区域中包含三个对象（object）。

首先，字幕处理单元123将上述依据二维图像字幕数据的区域（region）的大小转换为适合于顶底体系的大小，如图21(b)所示，并生成针对该大小的位图数据。

接着，如图21(c)所示，字幕处理单元123将大小转换之后的位图数据作为立体图像字幕数据中的区域（region）的组分。也就是说，大小转换之后的位图数据是左眼图像（左视图）侧的区域的对象，且也是右眼图像（右视图）侧的区域的对象。

如上所述，字幕处理单元123将二维图像字幕数据转换为立体图像字幕数据，并产生与该立体图像字幕数据对应的诸如PCS、RCS、CDS、OCS等的片段。

接着，基于用户操作或自动地，字幕处理单元123在立体图像字幕数据中的区域（region）的范围上设置左眼SR和右眼SR，如图21(c)中所示。左眼SR设置到包含在左眼图像侧上的区域内的对象的范围。右眼SR设置到包含在左眼图像侧上的区域内的对象的范围

字幕处理单元123创建包含如上述设置的左眼SR和右眼SR的范围信息、目标帧信息和视差信息的SCS片段。例如，字幕处理单元123创建共同地包含左眼SR和右眼SR的范围信息、目标帧信息和视差信息的SCS片段，或创建分别包含左眼SR和右眼SR的范围信息、目标帧信息和视差信息中每

图22图释了根据上述所创建的立体图像字幕数据的区域(region)和对象(object)的实例。在此，左眼图像（左视图）侧上的区域的起始位置为"Region_address1"，而右眼图像（左视图）侧上的区域的起始位置为"Region_address2"。在左眼图像侧上的对象具有作为起始位置的"Object_Position1″，并具有"Object_id=1"。同样，在右眼图像侧的对象具有作为起始位置的"Object_Position2"，并具有"Object_id=1″。

同样，图22图释了如上设置的左眼SR和右眼SR的实例。左眼SR具有作为起始位置的"Subregion_position1″，并具有"Subregion_id=SA0"。右眼RP具有作为起始位置的"Subregion_position2"，并具有"Subregion_id=SA1"。

图23图释了在立体图像数据的发送格式是顶底体系的情况下立体图像字幕数据的每个分段的创建实例（实例1）。在该创建实例中，采用PCS（页组分片段），指明了区域(Region_id=0A)的起始位置(region_address1)。同样，采用PCS（页组分片段），指明了区域(Region_id=0A)的起始位置(region_address2).

采用"Region_id=A0"的RCS（区域组分片段），注明了"Object_id=1″的ODS，以及指明了其对象的起始位置"object_position1"。同样，采用"Region_id=A1″的RCS，注明了"Object_id=1″的ODS，以及指明了其对象的起始位置"object_position2"。

同样，在该创建实例中，分别创建的左眼SR和右眼SR的SCS(子区域组分分段)。采用"Subregion_id=SA0"的左眼SR的SCS，指明左眼SR的起始位置(子区域位置1)。同样，左眼SR的目标帧信息(Target_Frame=0)、左眼SR的视差信息(视差1)、以及显示开/关的命令信息（命令1）包含在左眼SR的SCS中。

同样，在"Subregion_id=SA1"的右眼SR的SCS中，指明右眼SR的起始位置(子区域位置2)。右眼SR的SCS中包含右眼SR的目标帧信息(Target_Frame=1)、右眼SR的视差信息(Disparity2)、显示开/关的命令信息。

图24图释了在立体图像数据的发送格式为顶底体系的情况下立体图像字幕数据的每个分段的另一个创建实例（实例2）。在该创建实例中，以与图23中所示的创建实例（实例1）相同的方式，创建PCS、RCS、CDS、CDS、以及ODS。同样，采用该创建实例，还共同创建左眼SR和右眼SR的SCS。也就是说，在同一个SCS中包含左眼SR和右眼SR的各种类型的信息。

图25概念性的示出了在立体图像数据的发送格式是帧顺序体系的情况下创建立体图像字幕数据的方法。图25(a)示出了依据二维图像字幕数据的区域（region）。注意，在这个示例中，在该区域中包含一个对象（object）。如果立体图像数据的发送格式是帧顺序体系，则二维图像字幕数据原样用作立体图像字幕数据。在此情况下，与二维图像字幕数据对应的DDS、PCS、RCS、ODS等的片段为与没有改变的立体图像字幕数据对应的诸如DDS、PCS、RCS、ODS等的片段。

接着，基于用户操作或自动地，字幕处理单元123在立体图像字幕数据中的区域（region）的范围上设置左眼SR和右眼SR，如图25(b)中所示。左眼SR设置到包含对应于左眼字幕的对象的范围。右眼SR设置到包含对应于右眼字幕的对象的范围。

字幕处理单元123创建包含如上述设置的左眼SR和右眼SR的范围信息、目标帧信息和视差信息的SCS片段。例如，字幕处理单元123创建共同地包含左眼SR和右眼SR的范围信息、目标帧信息和视差信息的SCS片段，或创建分别包含左眼SR和右眼SR的范围信息、目标帧信息和视差信息中每

图26图释了根据上述所创建的立体图像字幕数据的区域(region)和对象(object)的实例。在此，区域的起始位置为"Region_address"。同样，在左眼图像(左视图)侧上的对象具有作为起始位置的"Object_Position1″，并具有"Object_id=1″。同样，在右眼图像（右视图）侧的对象具有作为起始位置的"Object_Position1"，并具有"Object_id=1″。

同样，图26图释了如上设置的左眼SR和右眼SR的实例。左眼SR具有作为起始位置的"Subregion_position1"，并具有"Subregion_id=SA0"。右眼RP具有作为起始位置的"Subregion_position2"，并具有"Subregion_id=SA1″。

图27图释了在立体图像数据的发送格式是帧顺序体系的情况下立体图像字幕数据的每个分段的创建实例（实例1）。在该创建实例中，采用PCS（页组分片段），指明了区域(Region_id=0A)的起始位置(region_address)。同样，采用"Region_id=0"的RCS（区域组分片段），注明了"Object_id=1"的ODS。同样，采用RCS，指明了在对象的起始位置"object_position1"。

同样，在该创建实例中，分别创建的左眼SR和右眼SR的SCS(子区域组分分段)。采用"Subregion_id=SA0"的左眼SR的SCS，指明左眼SR的起始位置(子区域位置1)。同样，左眼SR的目标帧信息(Target_Frame=0)、左眼SR的视差信息(视差1)、以及显示开/关的命令信息（命令1）包含在左眼SR的SCS中。

同样，在"Subregion_id=SA1"的右眼SR的SCS中，指明右眼SR的起始位置(子区域位置2)。而且，右眼SR的SCS中包含右眼SR的目标帧信息(Target_Frame=1)、右眼SR的视差信息(Disparity2)、显示开/关的命令信息。

图28图释了在立体图像数据的发送格式为帧顺序体系的情况下立体图像字幕数据的每个分段的另一个创建实例（实例2）。在该创建实例中，以与图27中所示的创建实例（实例1）相同的方式，创建PCS、RCS、以及ODS。而且，采用该创建实例，还共同创建左眼SR和右眼SR的SCS。也就是说，在同一个SCS中包含左眼SR和右眼SR的各种类型的信息。

图29和图30示出了SCS（子区域组分片段）的结构示例（语法）。图31示出了SCS的主要数据规定内容（语义）。该结构中包含“Sync_byte”、“segment_type”、“page_id”和“segment_length”的信息的各种类型。“segment_type”是指示片段类型的8位数据，且是“0x49”则指示SCS（见图11）。“segment_length”是指示片段长度（大小）的8位数据。

图30示出了包含SCS的实质（substantial）信息的部分。在该构造示例中，可以发送左眼SR和右眼SR的显示控制信息，即左眼SR和右眼SR的范围信息、目标帧信息、视差信息、和显示开/关命令信息。注意，该结构示例可具有任意数目的子区域的显示控制信息。

“region_id”是示出区域（region）的识别符的8位信息。“subregion_id”是示出子区域（Subregion）的识别符的8位信息。“subregion_visible_flag”是控制相应子区域的显示（叠加）的开/关的1位标记信息（命令信息）。“subregion_visible_flag=1”指示相应子区域的显示是开，且指示在那之前显示的相应子区域的显示是关。

“subregion_extent_flag”是指示子区域和区域关于大小和位置是否相同的1位标记信息。“subregion_extent_flag＝1”指示子区域和区域关于大小和位置是相同的。“subregion_extent_flag=0”示子区域小于区域。

“subregion_position_flag”是指示后续数据是否包含子区域范围（位置和大小）信息的1位标记信息。“subregion_position_flag=1”指示后续包含子区域范围（位置和大小）信息。另一方面，“subregion_position_flag=0”指示后续数据不包含区域范围（位置和大小）信息。

“target_stereo_frame”是用于指定相应子区域的目标帧（要被显示的帧）的1位信息。该“target_stereo_frame”构成目标帧信息。“target_stereo_frame=0”指示相应子区域是显示在在帧0（例如，左眼帧或基本视图帧等）上的子区域。另一方面，“target_stereo_frame=1”指示相应子区域是显示在帧1（例如，右眼帧或非基本视图帧等）上的子区域。

"subregion_disparity_integer_part"是指示用于水平偏移对应子区域的显示位置的视差信息(disparity)的整数像素(pixel)精度部分(integer part)的8位信息。"subregion_disparity_fractional_part"是指示用于水平偏移对应区域和分区的视差信息(disparity)的子像素精度部分(fractional part)的4位信息。在此，如上所述，视差信息(disparity)是如上所述用于偏移-调节对应子区域的显示位置以便将视差提供给左眼SR中的左眼字幕和右眼SR中的右眼字幕的显示位置的信息。

"Subregion_horizontal_position"是指示作为矩形范围的子区域的左边缘的位置的16位信息。"Subregion_vertical_position"是指示作为矩形范围的子区域的上边缘的位置的16位信息。"subregion_width"是指示沿着作为矩形范围的子区域的水平方向上的大小（像素数量）的16位信息。"subregion_height"是指示沿着作为矩形范围的子区域的垂直方向上的大小（像素数量）的16位信息。这些位置和大小信息构成了子区域的范围信息。

图32是示意性地示出从广播站100经由机顶盒200到电视接收器300，或直接从广播站100到电视接收器300的立体图像数据和字幕数据（包含显示控制信息）的流向的示意图。在该情况下，在广播站100生成遵循并排（Side-by-Side）体系的立体图像字幕数据。立体图像数据通过包含在视频数据流中被发送，而立体图像字幕数据通过包含在字幕数据流中被发送。

首先，将描述从广播站100发送立体图像数据和字幕数据（包含显示控制信息）到机顶盒200，且该机顶盒200是传统（legacy）2D兼容设备（传统2D STB）的情况。机顶盒200基于字幕数据（不包括子区域显示控制信息）生成用于显示左眼字幕和右眼字幕的区域的显示数据，并将此显示数据叠加到立体图像数据，以获得输出的立体图像数据。该情况中的叠加位置是该区域的位置。

例如，机顶盒200经由HDMI数字接口发送此输出立体图像数据到电视接收器300。在此情况中，从机顶盒200到电视接收器300的立体图像数据的发送格式是例如并排（Side-by-Side）体系。

如果电视接收器300是3D兼容设备（3D TV），则电视接收器300使机顶盒200发送来的遵循并排体系的立体图像数据经历3D信号处理，以生成在其上叠加字幕的左眼图像和右眼图像的数据。然后电视接收器300在诸如LCD等的显示面板上显示双眼视差图像（左眼图像和右眼图像），供用户辨别出立体图像。

接着，将描述从广播站100发送立体图像数据和字幕数据（包含显示控制信息）到机顶盒200且机顶盒200是3D兼容设备（3D STB）的情况。机顶盒200基于字幕数据（不包含子区域显示控制信息）生成用于显示左眼字幕和右眼字幕的区域的显示数据。然后机顶盒200从该区域的显示数据中抽取与左眼SR对应的显示数据和与右眼SR对应的显示数据。

然后机顶盒200将与左眼SR和右眼SR对应的显示数据叠加到立体图像数据，以获得输出立体图像数据。在此情况下，与左眼SR对应的显示数据被叠加到由作为左眼SR的目标帧信息的帧0指示的帧部分（左眼图像帧部分）。同样，与右眼SR对应的显示数据被叠加到由作为右眼SR的目标帧信息的帧1指示的帧部分（右眼图像帧部分）。

在此情况下，与左眼SR对应的显示数据被叠加到通过将由作为并排体系的立体图像的左眼SR的范围信息的位置1所指示的位置偏移作为左眼SR的视差信息的“视差1”的一半而获得的位置上。同样，与左眼SR对应的显示数据被叠加到通过将由作为并排体系的立体图像的右眼SR的范围信息的位置2所指示的位置偏移作为左眼SR的视差信息的视差2的一半而获得的位置上.

然后机顶盒200例如经由HDMI数字接口发送如上所述获得的输出立体图像数据到电视接收器300。在此情况下，从机顶盒200到电视接收器300的立体图像数据的发送格式是例如并排（Side-by-Side）体系。

如果电视接收器300是3D兼容设备（3D TV），则电视接收器300使从机顶盒200发送的遵循并排体系的立体图像数据经历3D信号处理，并生成在其上叠加字幕的左眼图像和右眼图像的数据。然后电视接收器300在诸如LCD等的显示面板上显示双眼视差图像（左眼图像和右眼图像），供用户辨别出立体图像。

接着，将描述从广播站100发送立体图像数据和字幕数据（包含显示控制信息）到电视接收器300且电视接收器300是3D兼容设备（3D TV）的情况。基于字幕数据（不包含子区域显示控制信息），电视接收器300生成用于显示左眼字幕和右眼字幕的区域的显示数据。然后电视接收器300从该区域的显示数据抽取与左眼SR对应的显示数据和与右眼SR对应的显示数据（右眼显示数据）。

电视接收器300使得与左眼SR对应的显示数据在水平方向上经受加倍扩大（double scaling）以获得与全分辨率兼容的左眼显示数据。然后电视接收器300将该左眼显示数据叠加到对应于作为左眼SR的目标帧信息的帧0的具有该全分辨率的左眼图像数据上。也就是说，电视接收器300将左眼显示数据叠加到这样的全分辨率左眼图像数据，由此生成已在其上叠加了字幕的左眼图像数据，即该全分辨率左眼图像数据是通过使得并排体系的立体图像数据的左眼图像部分在水平方向上经受扩大两倍处理而获得的。

电视接收器300使得与右眼SR对应的显示数据在水平方向上经受加倍扩大（double scaling）以获得与全分辨率兼容的右眼显示数据。然后电视接收器300将该右眼显示数据叠加到对应于作为右眼SR的目标帧信息的帧1的具有该全分辨率的右眼图像数据上。具体而言，电视接收器300将右眼显示数据叠加到这样的全分辨率右眼图像数据，由此生成已在其上叠加了字幕的右眼图像数据，即该全分辨率右眼图像数据是通过使得并排体系的立体图像数据的右眼图像部分在水平方向上经受扩大两倍处理而获得的。

在此情况下，左眼显示数据被叠加在通过将其中作为左眼SR的区域信息的“位置1”为全分辨率左眼图像数据的两倍的位置偏移作为左眼SR的视差信息的“视差1”而获得的位置上。同样，在此情况下，右眼显示数据被叠加在通过将其中作为右眼SR的区域信息的“位置2”被减少H/2并且其为全分辨率右眼图像数据的两倍的位置偏移作为右眼SR的视差信息的“视差2”而获得的位置上。

基于其上叠加如上述生成的字幕的左眼图像数据和右眼图像数据，电视接收器300在诸如LCD等的显示面板上显示双眼视差图像（左眼图像和右眼图像数据），供用户辨别出立体图像。

图33是示意性地示出从广播站100经由机顶盒200到电视接收器300，或直接从广播站100到电视接收器300的立体图像数据和字幕数据（包含显示控制信息）的流向的示意图。在该情况下，在广播站100生成遵循MVC(多视图视频编码)体系的立体图像字幕数据。在该情况下，立体图像数据由基本视图图像数据（左眼图像数据）和非基本视图图像数据（右眼图像数据）构成。立体图像数据通过包含在视频数据流中被发送，而立体图像字幕数据通过包含在字幕数据流中被发送。

首先，将描述从广播站100发送立体图像数据和字幕数据（包含显示控制信息）到机顶盒200，且该机顶盒200是传统（legacy）2D兼容设备（传统2D STB）的情况。机顶盒200基于字幕数据（不包括子区域显示控制信息）生成用于显示左眼字幕和右眼字幕的区域的显示数据，并将此显示数据叠加到基本视图（左眼图像数据），以获得输出图像数据。该情况中的叠加位置是该区域的位置。

例如，机顶盒200经由HDMI数字接口发送该输出图像数据到电视接收器300。不管是2D兼容设备（2D TV）还是3D兼容设备（3D TV）,电视接收器300在显示面板上显示2D图像。

接着，将描述从广播站100发送立体图像数据和字幕数据（包含显示控制信息）到电视接收器300且电视接收器300是3D兼容设备（3D TV）的情况。基于字幕数据（不包含子区域显示控制信息），电视接收器300生成用于显示左眼字幕和右眼字幕的区域的显示数据。然后电视接收器300从该区域的显示数据抽取与左眼SR对应的显示数据和与右眼SR对应的显示数据。

然后机顶盒200将与左眼SR对应的显示数据叠加到由作为左眼SR的目标帧信息的帧0所指示的基本视图（左眼图像）的图像数据，以获得其上叠加左眼字幕的基本视图（左眼图像）的输出图像数据。在此情况下，与左眼SR对应的显示数据被叠加在其中由作为基本视图（左眼图像）图像数据的左眼SR的范围信息的“位置1”所指示的位置被偏移作为左眼SR的视差信息的“视差1”的位置上。

同样，机顶盒200将与右眼SR对应的显示数据叠加到由作为左眼SR的目标帧信息的帧1所指示的非基本视图（右眼图像）的图像数据，以获得其上叠加右眼字幕的非基本视图（右眼图像）的输出图像数据。在此情况下，与右眼SR对应的显示数据被叠加在其中由作为非基本视图（右眼图像）图像数据的右眼SR的范围信息的“位置2”所指示的位置被偏移作为右眼SR的视差信息的“视差2”的位置上。

然后机顶盒200例如经由HDMI数字接口发送如上所述获得的基本视图（左眼图像）和非基本视图（右眼图像）的图像数据到电视接收器300。在此情况下，从机顶盒200到电视接收器300的立体图像数据的发送格式是例如帧打包（Frame Packing）体系。

如果电视接收器300是3D兼容设备（3D TV），则电视接收器300使从机顶盒200发送的遵循帧打包体系的立体图像数据经历3D信号处理，并生成在其上叠加字幕的左眼图像和右眼图像数据。然后电视接收器300在诸如LCD等的显示面板上显示双眼视差图像（左眼图像和右眼图像数据），供用户辨别出立体图像。

接着，将描述从广播站100发送立体图像数据和字幕数据（包含显示控制信息）到电视接收器300且电视接收器300是3D兼容设备（3D TV）的情况。基于字幕数据（不包含子区域显示控制信息），电视接收器300生成用于显示左眼字幕和右眼字幕的区域的显示数据。然后电视接收器300从此区域的显示数据中抽取与左眼SR对应的显示数据和与右眼SR对应的显示数据。

电视接收器300将与左眼SR对应的显示数据叠加到由作为左眼SR的目标帧信息的帧0指示的基本视图（左眼图像）图像数据上，以获得其上叠加左眼字幕的基本视图（左眼图像）输出图像数据。在此情况下，与左眼SR对应的显示数据被叠加在其中由作为基本视图（左眼图像）图像数据的左眼SR范围信息的位置1所指示的位置被偏移作为左眼SR的视差信息的“视差1”的位置上。

同样，电视接收器300将与右眼SR对应的显示数据叠加到由作为右眼SR的目标帧信息的帧1指示的非基本视图（右眼图像）图像数据上，以获得其上叠加右眼字幕的非基本视图（右眼图像）输出图像数据。在此情况下，与右眼SR对应的显示数据被叠加在其中由作为非基本视图（右眼图像）图像数据的右眼SR范围信息的“位置2”所指示的位置被偏移作为右眼SR的视差信息的视差2的位置上。

基于其上叠加如上述所生成的字幕的基本视图（左眼图像）和非基本视图（右眼图像）图像数据，电视接收器300在诸如LCD等的显示面板上显示双眼视差图像（左眼图像和右眼图像数据），供用户辨别出立体图像。

采用如图2所示的发送数据生成单元110，从多路复用器122输出的位流数据BSD是具有视频数据流和字幕数据流的多路复用数据流。立体图像数据包含在视频数据流中。而且，其遵循立体图像数据的发送格式的立体图像（三维图像）字幕数据包含在字幕数据流中。

立体图像字幕数据左眼字幕的数据和右眼字幕的数据。因此，接收方能够基于字幕数据生成将被叠加在立体图像数据所具有的左眼图像数据上的左眼字幕的显示数据以及将被叠加在立体图像数据所具有的右眼图像数据上的右眼字幕的显示数据。因此，能够实现处理的改进。

而且，采用如图2所示的发送数据生成单元110，除了立体图像数据和立体图像字幕数据，从多路复用器122输出的位流数据BSD中还包括显示控制信息。该显示控制信息包括与左眼SR和右眼SR相关的显示控制信息(范围信息、目标帧信息、视差信息)。因此，接收方能够容易地仅仅将左眼SR中的左眼字幕以及右眼SR中的字幕分别叠加在用于显示的目标帧上。接收方随后可以将视差提供到左眼SR中的左眼字幕和右眼SR中的字幕的显示位置，由此，相对于字幕（屏幕说明）的显示，关于图像内的每个对象的透视的一致性保持在最佳状态。

而且，采用如图2所示的发送数据生成单元110，其视差信息已经被顺序更新的SCS片段在字幕显示时段期间从字幕处理单元123发送，由此，左眼SR中的左眼字幕和右眼SR中的右眼字幕的显示位置能够得到动态地控制。因此，接收方能够与图像内容的改变同步地动态地改变将被提供到左眼字幕和右眼字幕之间的视差。

而且，采用如图2所示的发送数据生成单元110，在字幕处理单元123处创建的SCS片段中包含的视差信息等安排成具有子像素精度。因此，在使用在字幕显示时段期间被顺序更新的视差信息来偏移-调节左眼SR中的左眼字幕和右眼SR中的右眼字幕的显示位置的情况下，接收方能够使得偏移操作平滑，这能有助于图像质量的改进。

机顶盒的描述

描述将返回图1。机顶盒200从广播站100接收在广播波上发送的位流数据（传输流）BSD。包括左眼图像数据和右眼图像数据的立体图像数据和音频数据包含在此位流数据BSD中。而且用于显示字幕（屏幕说明）的立体图像字幕数据（包含显示控制信息）也包含在此位流数据BSD中。

机顶盒200包括位流处理单元201。此位流处理单元201从位流数据BSD中抽取立体图像数据、音频数据和字幕数据。此位流处理单元201使用立体图像数据、音频数据和字幕数据等来生成其上叠加字幕的立体图像数据。

在这个情况中，可以在要被叠加到左眼图像上的左眼字幕和要被叠加到右眼图像上的右眼字幕之间提供视差。例如，如上所述，可以生成从广播站100发送的立体图像字幕数据，以便提供在左眼字幕和右眼字幕之间的视差。同样，如上所述，从广播站100发送的附到立体图像字幕数据的显示控制信息中包含视差信息，且基于此视差信息可以提供在左眼字幕和右跟字幕之间的视差。如此，提供左眼字幕和右眼字幕间的视差，用户可以辨别出字幕（屏幕说明）比图像更近。

图34(a)示出了图像上的字幕（屏幕说明）的显示示例。此显示示例是其中屏幕说明被叠加到由背景和特写对象所组成的图像上的示例。图34(b)示出了背景、特写对象和屏幕说明的透视，其中辨别出屏幕说明是最近的。

图35(a)示出了图像上字幕（屏幕说明）的显示示例，与图34(a)中一样。图35(b)中示出了要叠加到左眼图像上的左眼屏幕说明LGI和要叠加到右眼图像上的右眼屏幕说明RGI。图34(c)示出了屏幕说明在最近侧被辨别出，并因此图释了视差提供在左眼屏幕说明LGI和右眼屏幕说明RGI之间。

机顶盒的配置示例

将描述机顶盒200的配置示例。图36示出了机顶盒200的配置示例。此机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206和音频信号处理电路207。同样，此机顶盒200包括CPU 211、闪存ROM212、DRAM 213、内部总线214、远程控制接收单元215和远程控制发送器216。

天线端子203是用于输入在接收天线（未示出）接收的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并输出与用户所选择的频道相对应的预定位流数据（传输流）BSD。

如上所述，位流处理单元201从该位流数据BSD中抽取立体图像数据、音频数据、立体图像字幕数据（包含显示控制信息）等。位流处理单元201输出音频数据。而且，此位流处理单元201还关于立体图像数据而合成左眼字幕和右眼字幕的显示数据，以获得叠加有字幕的输出立体图像数据。显示控制信息包括左眼SR和右眼SR的范围信息、目标帧信息和视差信息。

在此情况下，基于字幕数据（不包括用于子区域的显示控制信息），位流处理单元201生成用于显示左眼字幕和右眼字幕的区域的显示数据。然后位流处理单元201基于左眼SR和右眼SR的范围信息从此区域的显示数据抽取对应于左眼SR的显示数据和对应于右眼SR的显示数据。

然后位流处理单元201叠加对应于左眼SR和右眼SR的显示数据到立体图像数据，并获得输出立体图像数据（用于显示的立体图像数据）。在此情况中，对应于左眼SR的显示数据被叠加到由帧0所指示的帧部分（左眼图像帧部分），所述帧0是左眼SR的目标帧信息。同样，对应于右眼SR的显示数据被叠加到由帧1所指示的帧部分（右眼图像帧部分），所述帧1是右眼SR的目标帧信息。这时候，位流处理单元201执行左眼SR内的左眼字幕和右眼SR内的右眼字幕的字幕显示位置（叠加位置）的偏移-调节。

视频信号处理电路205根据需要使在位流处理单元201获得的输出立体图像数据经历图像质量调整处理，并将其处理之后的输出立体图像数据提供至HDMI发送单元206。音频信号处理电路207根据需要使从位流处理单元201输出的音频数据经历音频质量调整处理，并将其处理之后的音频数据提供至HDMI发送单元206。

HDMI发送单元206通过遵守HDMI的通信发送例如未压缩的图像数据和音频数据到HDMI端子202。在此情况中，由于通过HDMI TMDS信道发送数据，所以图像数据和音频数据经历打包，并从HDMI发送单元206输出到HDMI端子202。

例如，如果来自广播站100的立体图像数据的发送格式是并排体系，则TMDS发送格式是并排体系（见图32）。同样，如果来自广播站100的立体图像数据的发送格式是顶底体系，则TMDS发送格式是顶底体系。同样，如果来自广播站100的立体图像数据的发送格式是MVC格式，则TMDS发送格式是帧打包格式（见图33）。

CPU 211控制机顶盒200的每一单元的操作。闪存ROM 212执行控制软件的存储以及数据的存储。DRAM 213配置CPU 211的工作区。CPU 211将从闪存ROM 212读出的软件和数据加载到DRAM 213，并启动软件以控制机顶盒200的每一单元。

远程控制接收单元215接收从远程控制发送器216发送的远程控制信号（远程控制码），并提供至CPU 211。CPU 211基于该远程控制码控制机顶盒200的每一单元。将CPU 211、闪存ROM 212和DRAM 213连接至内部总线214。

将简要地描述机顶盒200的操作。将输入到天线端子203的电视广播信号提供至数字调谐器204。利用此数字调谐器204，处理电视广播信号，并输出与用户所选择的频道相对应的预定位流数据（传输流）BSD。

将从数字调谐器204输出的位流数据BSD提供至位流处理单元201。利用此位流处理单元201，从位流数据BSC中抽取立体图像数据、音频数据、立体图像字幕数据（包含显示控制信息）等等。在位流处理单元201，关于立体图像数据而合成左眼字幕和右眼字幕的显示数据，并获得叠加有字幕的输出立体图像数据。

将在位流处理单元201生成的输出立体图像数据提供至视频信号处理电路205。在此视频信号处理电路205，在需要时对输出立体图像数据执行图像质量调整等。将从视频信号处理电路205输出的处理后的输出立体图像数据提供至HDMI发送单元206。

同样，将在位流处理单元201获得的音频数据提供至音频信号处理电路207。在音频信号处理电路207，根据需要使音频数据经历音频质量调整处理。将从音频信号处理电路207输出的处理后的音频数据提供至HDMI发送单元206。提供至HDMI发送单元206的立体图像数据和音频数据通过HDMITMDS信道从HDMI端子202发送到HDMI线缆400。

位流处理单元的配置示例

图37示出了位流处理单元201的配置示例。配置此位流处理单元201对应于图2中所示的上述发送数据生成单元110。此位流处理单元201包括多路分解器221、视频解码器222和音频解码器227。位流处理单元201还包括字幕解码器223、立体图像字幕生成单元224、显示控制单元225、显示控制信息获取单元226、视差信息处理单元227和视频叠加单元226。

多路分解器221从位流数据BSD抽取视频、音频和字幕的包，并发送至解码器。注意多路分解器221抽取插入到位流数据BSD中的诸如PMT、EIT等信息，并发送至CPU 211。如上所述，在EIT之下的组分描述符中描述了Stream_content('0x03'=DVB字幕)& Component_type(用于3D目标)。所以，可以辨别出立体图像字幕数据包含在字幕数据流中的事实。所以，CPU 211通过此描述符可以辨别出立体图像字幕数据包含在字幕数据流中。

视频解码器222执行与上述发送数据生成单元110的视频编码器119的处理相反的处理。也就是说，从在多路分解器221抽取的视频包重构的视频数据流，并执行解码处理以获得包含左眼图像数据和右眼图像数据的立体图像数据。用于此立体图像数据的发送格式是例如并排体系、顶底体系、帧顺序体系、MVC格式等。

字幕解码器223执行与上述发送数据生成单元110的字幕编码器125的处理相反的处理。也就是说，此字幕解码器223从在多路分解器221抽取的字幕包重构字幕数据流，执行解码操作，并获得立体图像字幕数据（包含显示控制信息）。基于立体图像字幕数据（不包含显示控制信息），立体图像字幕生成单元224生成要叠加到立体图像数据上的左眼字幕和右眼字幕的显示数据（位图数据）。此立体图像字幕生成单元224配置显示数据生成单元。

基于显示控制信息（左眼SR和右眼SR范围信息、目标帧信息和视差信息），显示控制单元225控制要叠加到立体图像数据上的显示数据。也就是说，基于左眼SR和右眼SR的范围信息，显示控制单元225从要叠加到立体图像数据上的左眼字幕和右眼字幕的显示数据（位图数据）中抽取对应于左眼SR的显示数据和对应于右眼SR的显示数据。

同样，显示控制单元225将对应于左眼SR和右眼SR的显示数据提供至视频叠加单元226，并叠加到立体图像数据上。在这种情况下，对应于左眼SR的显示数据被叠加在frame0指示的帧部分（左眼图像帧部分）中，所述帧0是左眼SR的目标帧信息。同样，对应于右眼SR的显示数据被叠加在frame1指示的帧部分（右眼图像帧部分）中，所述帧1是右眼SR的目标帧信息。在这时候，显示控制单元225基于视差信息来偏移-调节左眼SR内的左眼字幕和右眼SR内的右眼字幕的显示位置（叠加位置）。

如上所述，包含在显示控制信息中的视差信息具有子像素精度（参见图8）。因此，显示控制单元225使用插值处理来执行具有子像素精度的偏移调节。图38是示意性地示出沿着水平方向执行相当于1/2像素（像素）的偏移的情况下的插值处理实例的示意图。图38（a）中的黑色圆圈表示接收数据。图38（b）中的白色圆圈表示其中接收数据仅仅被沿着水平方向偏移相当于1/2像素（像素）的状态。不过，白色圆圈指示的数据不是像素（pixel）位置的数据。因此，偏移调节单元225使得白色圆圈指示的数据经受插值处理以便生成由图38（b）中具有阴影的圆圈所指示的像素位置的数据，并且将该数据作为偏移调节后的数据。

视频叠加单元226获得输出立体图像数据Vout。在此情况下，视频叠加单元226将已经经历过由显示控制单元225进行的偏移-调节的左眼SR和右眼SR的显示数据（位图数据）叠加到在视频解码器222获得的立体图像数据的对应目标帧部分。然后视频叠加单元226从位流处理单元201外部地输出输出立体图像数据Vout。

同样，音频解码器227执行与上述发送数据生成单元110的音频编码器120的处理相反的处理。也就是说，音频解码器227从在多路分解器221抽取的音频包重构音频基本流、执行解码处理，以获得音频数据Aout。然后音频解码器227从位流处理单元201外部地输出音频数据Aout。

将简要地描述图37中显示出的位流处理单元201的操作。将从数字调谐器（见图36）输出的位流数据BSD提供至多路分解器221。在多路分解器221，从位流数据BSD抽取视频、音频和字幕的包，并提供至解码器。

在视频解码器222重构来自在多路分解器221抽取的视频包的视频数据流，并进一步对其进行解码处理，由此获得包含左眼图像数据和右眼图像数据的立体图像数据。提供此立体图像数据至显示控制信息获取单元226。

同样，在字幕解码器223，从在多路分解器221抽取的字幕包重构字幕数据流，并进一步执行解码处理，由此获得立体图像字幕数据（包含显示控制信息）。提供此字幕数据至立体图像字幕生成单元224。

在立体图像字幕生成单元224，基于立体图像字幕数据（不包含显示控制信息）来生成要叠加到立体图像数据上的左眼字幕和右眼字幕的显示数据（位图数据）。提供此显示数据至显示控制单元225。在显示控制单元225，基于显示控制信息（范围信息、目标帧信息和左眼SR和右眼SR的视差信息），控制关于立体图像数据的显示数据的叠加。

具体而言，从在立体图像字幕生成单元224生成的显示数据中抽取左眼SR和右眼SR的显示数据，并且其经历偏移-调节。接着，将偏移-调节后的左眼SR和右眼SR的显示数据提供至视频叠加单元226，以便叠加到立体图像数据的目标帧上。在视频叠加单元226，对在视频解码器222获得的立体图像数据，在显示控制单元225偏移-调节后的显示数据被叠，由此获得输出立体图像数据Vout。此输出立体图像数据Vout从位流处理单元201外部地输出。

同样，在音频解码器227，音频基本流根据在多路分解器221抽取的音频包重建，并进一步经受解码处理，并获得与用于显示的上述立体图像数据Vout对应的音频数据Aout。此音频数据Aout输出到位流处理单元201外部。

关于图36中示出的机顶盒200，从数字调谐器204输出的位流数据BSD是具有视频数据流和字幕数据流的多路复用的数据流。视频数据流包括立体图像数据。同样，遵循立体图像数据的发送格式的立体图像数据（三维图像）字幕数据包括在字幕数据流中。

该立体图像字幕数据具有用于左眼字幕的数据和用于右眼字幕的数据。所以，位流处理单元201的立体图像字幕生成单元224能够容易地生成要叠加到立体图像数据具有的左眼图像数据上的左眼字幕的显示数据。同样，位流处理单元201的立体图像字幕生成单元224能够容易地生成要叠加到立体图像数据具有的右眼图像数据上的右眼字幕的显示数据。如此，可以使得处理更容易。

同样，对于图36中示出的机顶盒200，除了立体图像数据和立体图像字幕数据之外，从数字调谐器204输出的位流数据BSD还包括显示控制信息。此显示控制信息包括涉及左眼SR和右眼SR的显示控制信息（范围信息、目标帧信息和视差信息）。所以，能够仅将左眼SR内的左眼字幕和右眼SR内的字幕以叠加方式容易地分别显示在目标帧上。同样，可以向左眼SR内的左眼字幕和右眼SR内的字幕的显示位置提供视差，并且对于字幕（屏幕说明）的显示，可以将关于其图像中对象的透视的一致性保持在最佳状态。

电视接收器的描述

描述将返回图1，电视接收器300接收经由HDMI线缆400从机顶盒200发送的立体图像数据。此电视接收器300包括3D信号处理单元301。此3D信号处理单元301使立体图像数据经历与发送方法对应的处理（解码处理）以生成左眼图像数据和右眼图像数据的。

电视接收器的配置示例

将描述电视接收器300的配置示例。图39示出了电视接收器300的配置示例。此电视接收器300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。

同样，此电视接收器300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。此电视接收器还包括CPU321、闪存ROM 322、DRAM 323、内部总线324、远程控制接收单元325和远程控制发送器326。

天线端子304是用于输入在接收天线（未示出）接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户所选择的频道对应的预定位流数据（传输流）。位流处理单元306从位流数据BSD抽取立体图像数据、音频数据、立体图像字幕数据（包含显示控制信息）等等。

同样，以与机顶盒200的位流处理单元201相同的方式配置位流处理单元306。该位流处理单元306将左眼字幕和右眼字幕的显示数据合成到立体图像数据，以便生成在其上叠加有字幕的输出立体图像数据，并输出。注意如果立体图像数据的发送格式是例如并排体系或顶底体系，则位流处理单元306执行扩大处理并输出全分辨率的左眼图像数据和右眼图像数据（见图24到图26中的电视接收器300的部分）。同样，位流处理单元306输出音频数据。

HDMI接收单元303接收经由HDMI线缆400通过遵循HDMI的通信提供至HDMI端子302的未压缩的图像数据和音频数据。版本是例如HDMI 1.4a的此HDMI接收单元303处于可以处理立体图像数据的状态。

3D信号处理单元301使在HDMI接收单元303接收的立体图像数据经历解码处理，并生成全分辨率左眼图像数据和右眼图像数据。3D信号处理单元301执行与TMDS发送数据格式对应的解码处理。注意，3D信号处理单元301对在位流处理单元306获得的全分辨率左眼图像数据和右眼图像数据不做任何处理。

视频/图形处理电路307基于在3D信号处理单元301生成的左眼图像数据和右眼图像数据来生成用于显示立体图像的图像数据。同样，视频/图形处理电路307根据需要使图像数据经历图像质量调整处理。同样，视频/图形处理电路307根据需要关于图像数据合成诸如菜单、节目表等叠加信息的数据。面板驱动电路308基于从视频/图形处理电路307输出的图像数据来驱动显示面板309。显示面板309配置为例如LCD（液晶显示器）、PDP（等离子显示面板）等。

音频信号处理电路310使在HDMI接收单元303接收的或在位流处理单元306获得的音频数据经历诸如D/A转换等的必要处理。音频放大电路311放大从音频信号处理电路310输出的音频信号，提供至扬声器312。

CPU 321控制电视接收器300的单元的操作。闪存ROM 322执行控制软件的存储和数据的存储。DRAM 323形成CPU 321的工作区。CPU 321将从闪存ROM 322读取的软件和数据加载到DRAM 323，启动软件并控制电视接收器300的单元。

远程控制单元325接收从远程控制发送器326发送的远程控制信号（远程控制码），并提供至CPU 321。CPU 321基于此远程控制码控制电视接收器300的每一单元。CPU 321、闪存ROM 322和DRAM 323连接至内部总线324。

将简要地描述图39中示出的电视接收器300的操作。HDMI接收单元303接收从经由HDMI线缆400连接至HDMI端子302的机顶盒200发送的立体图像数据和音频数据。在此HDMI接收单元303接收的此立体图像数据被提供至3D信号处理单元301。同样，在此HDMI接收单元303接收的音频数据被提供至音频信号处理单元310。

输入至天线端子304的电视广播信号被提供至数字调谐器305。利用此数字调谐器305，处理电视广播信号，并输出与用户所选择的频道对应的预定位流数据（传输流）BSD。

从数字调谐器305输出的位流数据BSD被提供至位流处理单元306。利用此位流处理单元306，从位流数据中抽取立体图像数据、音频数据、立体图像字幕数据（包含显示控制信息）等。同样，利用此位流处理单元306，合成左眼字幕和右眼字幕的显示数据，并生成叠加有字幕的输出立体图像数据（全分辨率左眼图像数据和右眼图像数据）。此输出立体图像数据经由3D信号处理单元301被提供至视频/图形处理电路307。

在3D信号处理单元301，使在HDMI接收单元303接收的立体图像数据经历解码处理，并生成全分辨率的左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据被提供至视频/图形处理电路307。利用此视频/图形处理电路307，基于左眼图像数据和右眼图像数据来生成用于显示立体图像的图像数据，并且还根据需要执行图像质量调整处理和诸如OSD（屏幕上显示）的叠加信息数据的合成处理。

在该视频/图形处理电路307获得的图像数据被提供至面板驱动电路308。所以，在显示面板309显示立体图像。例如，以时间分享（time-sharing）方式交替地显示依据左眼图像数据的左图像和依据右眼图像数据的右图像。例如，观看者可以佩戴与显示面板309的显示不同步地交替打开左眼快门和右眼快门的快门式眼镜，由此用左眼单独观看左眼图像且用右眼单独观看右眼图像，并且可以感知立体图像。

同样，在位流处理单元306获得的音频数据被提供至音频信号处理电路310。在音频信号处理电路310，使在HDMI接收单元303接收的或在位流处理单元306获得的音频数据经历诸如D/A转换等的必要处理。在音频放大电路311放大此音频数据，并接着将其提供至扬声器312。所以，从扬声器312输出对应于显示面板309的显示图像的音频。

如上所述，采用如图1所示的图像发送/接收系统10，具有视频数据流和字幕数据流的多路复用数据流从广播站100（发送数据生成单元201）发送到机顶盒200或电视接收器300。立体图像数据包含在视频数据流中。同样，对应于立体图像数据的发送格式的立体图像（三维图像）字幕数据包含在字幕数据流中。

立体图像字幕数据具有左眼字幕的数据和右眼字幕的数据。因此，接收方(机顶盒200、电视接收器300)能够容易地生成将被叠加到立体图像数据所具有左眼图像数据的上的左眼字幕的显示数据。同样，该接收方能够容易地生成将被叠加到立体图像数据所具有右眼图像数据的上的右眼字幕的显示数据。因此实现了位数据处理单元201的处理的便利性。

同样，采用如图1所示的图像发送/接收系统10，除了立体图像数据和立体图像字幕数据，在广播站100的发送数据生成单元110输出的位流数据BSD中还包含显示控制信息。显示控制信息包括与左眼SR和右眼SR相关的显示控制信息(范围信息、目标帧信息、视差信息)。因此，接收方能够容易地分别仅仅将左眼SR中的左眼字幕和右眼SR中的字幕叠加在用于显示的目标帧上。接收方随后可以提供视差到左眼SR中的左眼字幕和右眼SR中的字幕的显示位置,，由此对于字幕（屏幕说明）的显示，能够将关于图像中的每个对象的透视的一致性保持在最佳状态。

同样，采用如图1所示的图像发送/接收系统10，其视差信息已经被顺序更新的SCS片段在字幕显示时段期间从广播站100的发送数据生成单元110发送，由此，左眼SR中的左眼字幕和右眼SR中的右眼字幕的显示位置能够得到动态地控制。因此，接收方能够与图像内容的改变同步地动态地改变将被提供到左眼字幕和右眼字幕之间的视差。

而且，采用如图1所示的图像发送/接收系统10，在从广播站100的发送数据生成单元110处创建的SCS片段中包含的视差信息等安排成具有子像素精度。因此，在使用在字幕显示时段期间被顺序更新的视差信息来偏移-调节左眼SR中的左眼字幕和右眼SR中的右眼字幕的显示位置的情况下，接收方能够使得偏移操作平滑，这能有助于图像质量的改进。

2.修改

注意，上述实施例已经显示了配置有广播站100、机顶盒200、电视接收器300的图像发送/接收系统10。不过，如图39所示，电视接收器300包括位流处理单元306，其以与机顶盒200中的位流处理单元201一样的方式起作用。因此，如图40所示，还可以想到由广播站100和电视接收器300构成图像发送/接收系统10A。

同样，上述实施例已经显示了其中包括立体图像数据的数据流（位流数据）从广播站100被广播的实例。不过，本发明也可以同样被应用到具有这样配置的系统，在该配置中该数据流使用诸如英特网等的网络被分发到接收终端。

同样，上述实施例已经显示了机顶盒200和电视接收器300被HDMI数字接口连接。不过，这些也可通过HDMI数字接口的类似数字接口（包括，不但有缆线还有无线电）连接，本发明也可以以这种方式应用。

而且，上述实施例已经显示了其中字幕（屏幕说明）被处理为叠加信息的情况。不过，本发明可以类似地应用到其中诸如图形信息、文本信息等其他叠加信息保被这样处理的情形。

而且，通过上述实施例，已经安排了SCS片段被新定义，并且该片段被用来将显示控制信息从广播站100供应到机顶盒200。不过，用于将显示控制信息供应到机顶盒200或电视接收器300的方法并不限于此，并且例如，可以形成其中根据需要机顶盒200从英特网获得显示控制信息的安排。

工业实用性

本发明可以用于图像发送/接收系统，由此可以以一种叠加在立体图像上的方式执行诸如字幕（屏幕说明）等的叠加信息的显示。

参考标记列表：

10、10A：图像发送/接收系统

100：广播站

110：发送数据生成单元

111L、111R：照相机

112：视频分帧单元器

113：视差矢量检测单元

115：数据抽取单元

115a：数据记录介质

116-118：切换开关

119：视频编码器

120：音频编码器

121：字幕编码器

122：视差信息创建单元

123：字幕处理单元

114：麦克风

124：显示控制信息生成单元

125：字幕编码器

126：多路复用器

200：机顶盒(STB)

201：位流处理单元

202：HDMI端子

203：天线端子

204：数字调谐器

205：视频信号处理电路

206：HDMI发送单元

207：音频信号处理电路

211：CPU

215：遥控接收单元

216：遥控发送器

221：多路复用器

222：视频解码器

223：字幕解码器

224：立体图像字幕生成单元

225：显示控制单元

226：视频叠加单元

227：音频解码器

300：电视接收器(TV)

301：3D信号处理单元

302：HDMI端子

303：HDMI接收单元

304：天线端子

305：数字调谐器

306：位流处理单元

307：视频/图形处理电路

308：面板驱动电路

309：显示面板

310：音频信号处理电路

311：音频放大电路

312：扬声器

321：CPU

325：遥控接收单元

326：遥控发送器

400：HDMI缆线

Claims (12)

1.一种立体图像数据发送设备，包括：

图像数据输出单元，配置为输出具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据；

叠加信息数据输出单元，配置为输出要叠加到由所述左眼图像数据和所述右眼图像数据构成的图像上的叠加信息的数据；

叠加信息数据处理单元，配置为将从所述叠加信息数据输出单元输出的叠加信息的数据转换为用于发送的叠加信息数据，该叠加信息数据具有对应于包括在所述具有预定发送格式的立体图像数据中的所述左眼图像数据的左眼叠加信息和对应于包括在所述具有预定发送格式的立体图像数据中的所述右眼图像数据的右眼叠加信息；

显示控制信息生成单元，配置为将与所述左眼叠加信息的显示位置对应的第一显示范围和与所述右眼叠加信息的显示位置对应的第二显示范围设置到从所述叠加信息数据处理单元输出的用于发送的所述叠加信息数据的显示范围的内侧，并且生成显示控制信息，该显示控制信息包括所述第一显示范围和第二显示范围中每一个的范围信息、用于显示包含在所述第一显示范围和第二显示范围中的每个叠加信息的目标帧的信息、以及用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息；以及

数据发送单元，配置为发送具有包括从所述图像输出单元输出的所述立体图像数据的第一数据流和包括从所述叠加信息数据处理单元输出的所述叠加信息数据和在所述显示控制信息生成单元处生成的所述显示控制信息的第二数据流的多路复用数据流。

2.如权利要求1所述的立体图像数据发送设备，还包括：

视差信息输出单元，配置为输出在由所述左眼图像数据构成的左眼图像由所述右眼图像数据构成的右眼图像之间的视差信息；

其中所述叠加信息数据处理单元基于从所述视差信息输出单元输出的所述视差信息，至少使得所述左眼叠加信息或所述右眼叠加信息偏移以便在该左眼叠加信息和该右眼叠加信息之间提供视差。

3.如权利要求1所述的立体图像数据发送设备，还包括：

视差信息输出单元，配置为输出在由所述左眼图像数据构成的左眼图像由所述右眼图像数据构成的右眼图像之间的视差信息；

其中所述显示控制信息生成单元基于从所述视差信息输出单元输出的所述视差信息，获得用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息。

4.如权利要求1所述的立体图像数据发送设备，

其中所述数据发送单元将识别信息插入到所述多路复用数据流中，该识别信息识别了遵循所述立体图像数据的发送格式的、用于发送的所述叠加信息数据包含在所述第二数据流中。

5.如权利要求1所述的立体图像数据发送设备，其中在所述显示控制信息生成单元处生成的所述显示控制信息中包含的所述视差信息具有子像素精度。

6.如权利要求1所述的立体图像数据发送设备，其中在所述显示控制信息生成单元处生成的所述显示控制信息中还包含用于控制所述第一显示范围和第二显示范围中包含的叠加信息的每个显示的开/关的命令信息。

7.如权利要求1所述的立体图像数据发送设备，其中所述叠加信息的数据为字幕数据，

所述叠加信息数据的显示范围是一个区域，以及

所述第一显示范围和第二显示范围是子区域，被设置成包含在所述区域中。

8.一种立体图像数据发送方法，包括

图像数据输出步骤，输出具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据；

叠加信息数据输出步骤，输出要叠加到由所述左眼图像数据和所述右眼图像数据构成的图像上的叠加信息的数据；

叠加信息数据处理步骤，将在所述叠加信息数据输出步骤输出的所述叠加信息的数据转换为用于发送的叠加信息数据，该叠加信息数据具有对应于包括在所述具有预定发送格式的立体图像数据中的所述左眼图像数据的左眼叠加信息和对应于包括在所述具有预定发送格式的立体图像数据中的所述右眼图像数据的右眼叠加信息；

显示控制信息生成步骤，将与所述左眼叠加信息的显示位置对应的第一显示范围和与所述右眼叠加信息的显示位置对应的第二显示范围设置到在所述叠加信息数据处理步骤输出的用于发送的所述叠加信息数据的显示范围的内侧，并且生成显示控制信息，该显示控制信息包括所述第一显示范围和第二显示范围中每一个的范围信息、用于显示包含在所述第一显示范围和第二显示范围中的每个叠加信息的目标帧的信息、以及用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息；以及

数据发送步骤，发送具有包括在所述图像输出步骤输出的所述立体图像数据的第一数据流和包括在所述叠加信息数据处理步骤输出的所述用于发送的叠加信息数据和在所述显示控制信息生成步骤处生成的所述显示控制信息的第二数据流的多路复用数据流。

9.一种立体图像数据接收设备，包括：

数据接收单元，配置为接收具有第一数据流和第二数据流的多路复用数据流；

其中所述第一数据流包括具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据，

所述第二数据流包括用于发送的叠加信息数据和显示控制信息，

所述用于发送的叠加信息数据具有包括在具有所述预定发送格式的所述立体图像数据中的、对应于所述左眼图像数据的左眼叠加信息的数据和对应于所述右眼图像数据的右眼叠加信息的数据；

并且，所述显示控制信息具有被设置到用于发送的所述叠加信息数据的显示范围的内侧的、对应于所述左眼叠加信息的显示位置的第一显示范围和对应于所述右眼叠加信息的显示位置的第二显示范围中每一个的范围信息、用于显示包含在所述第一显示范围和第二显示范围中的每个叠加信息的目标帧的信息、以及用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息；

还包括：

图像数据获取单元，配置为从在所述数据接收单元处接收的所述多路复用数据流具有的所述第一数据流获得所述立体图像数据；

叠加信息数据获取单元，配置为从在所述数据接收单元处接收的所述多路复用数据流具有的所述第二数据流获得所述用于发送的叠加信息数据；

显示控制信息获取单元，配置为从所述数据接收单元处接收的所述多路复用数据流具有的所述第二数据流获得所述显示控制信息；

显示数据生成单元，配置为基于在叠加信息数据获取单元处获取的所述用于发送的叠加信息数据，生成显示数据，用于针对左眼图像和右眼图像的每一个，叠加和显示左眼叠加信息和右眼叠加信息；

显示数据抽取单元，配置为基于在显示控制信息获取单元处获得的所述显示控制信息具有的所述第一显示范围和第二显示范围的范围信息，抽取在显示数据生成单元处生成的所述显示数据的所述第一显示范围和所述第二显示范围的显示数据；

偏移调节单元，配置为基于在显示控制信息获取单元处获取的显示控制信息具有的所述视差信息，偏移-调节在显示数据抽取单元处抽取的所述第一显示范围和第二显示范围的显示数据的位置；以及

数据合成单元，配置为将在图像数据获取单元获取的所述立体图像数据的在所述偏移调节单元处偏移调节的所述第一显示范围和第二显示范围的每个显示数据叠加在由在所述显示控制信息获取单元处获取的所述显示控制信息具有的所述目标帧信息所指明的所述目标帧上，以便获得输出的立体图像数据。

10.如权利要求9所述的立体图像数据接收设备，还包括：

数字接口单元，配置为将在所述数据合成单元处获得的所述输出的立体图像数据发送到外部设备。

11.如权利要求9所述的立体图像数据接收设备，由于在所述数据接收单元处接收的所述多路复用数据流包括用于识别遵循所述立体图像数据的发送格式的、用于发送的所述叠加信息数据包含在所述第二数据流中的该识别信息，还包括：

识别信息获取单元，配置为从在所述数据接收单元处接收的所述多路复用数据流中获得所述识别信息；以及

叠加信息数据识别单元，配置为基于在识别信息获取单元处获取的所述识别信息，识别遵循所述立体图像数据的发送格式的、用于发送的所述叠加信息数据包含在所述第二数据流中。

12.一种立体图像数据接收方法，包括：

数据接收步骤，接收具有第一数据流和第二数据流的多路复用数据流；

其中所述第一数据流包括具有左眼图像数据和右眼图像数据的预定发送格式的立体图像数据，

所述第二数据流包括用于发送的叠加信息数据和显示控制信息，

所述用于发送的叠加信息数据具有包括在具有所述预定发送格式的所述立体图像数据中的、对应于所述左眼图像数据的左眼叠加信息的数据和对应于所述右眼图像数据的右眼叠加信息的数据；

并且，所述显示控制信息具有被设置到用于发送的所述叠加信息数据的显示范围的内侧的、对应于所述左眼叠加信息的显示位置的第一显示范围和对应于所述右眼叠加信息的显示位置的第二显示范围中每个范围信息、用于显示包含在所述第一显示范围和第二显示范围中的每个叠加信息的目标帧的信息、以及用于偏移-调节包含在所述第一显示范围和第二显示范围中的叠加信息的每个显示位置的视差信息；

还包括：

图像数据获取步骤，从在所述数据接收步骤处接收的所述多路复用数据流具有的所述第一数据流获得所述立体图像数据；

叠加信息数据获取步骤，从在所述数据接收步骤处接收的所述多路复用数据流具有的所述第二数据流获得所述用于发送的叠加信息数据；

显示控制信息获取步骤，从在所述数据接收步骤处接收的所述多路复用数据流具有的所述第二数据流获得所述显示控制信息；

显示数据生成步骤，基于在叠加信息数据获取步骤处获取的所述用于发送的叠加信息数据，生成显示数据，用于针对左眼图像和右眼图像的每一个，叠加和显示左眼叠加信息和右眼叠加信息；

显示数据抽取步骤，基于在显示控制信息获取步骤处获得的所述显示控制信息具有的所述第一显示范围和第二显示范围的范围信息，抽取在显示数据生成步骤处生成的所述显示数据的所述第一显示范围和所述第二显示范围的显示数据；

偏移调节步骤，基于在显示控制信息获取步骤处获取的显示控制信息具有的所述视差信息，偏移-调节在显示数据抽取步骤处抽取的所述第一显示范围和第二显示范围的显示数据的位置；以及

数据合成步骤，将在图像数据获取步骤获取的所述立体图像数据的在所述偏移调节步骤处偏移调节的所述第一显示范围和第二显示范围的每个显示数据叠加在由在所述显示控制信息获取步骤处获取的所述显示控制信息具有的所述目标帧信息所指明的所述目标帧上，以便获得输出的立体图像数据。