CN102771131A - 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法 - Google Patents

Abstract

为维持ARIB方法的各字幕（各字幕单元）的叠加时图像内的每个对象之间透视上的一致性。在字幕数据流中，插入每个字幕单元的字幕数据，作为字幕文本数据组的字幕文本数据（字幕代码）。另外，在字幕数据流中，插入每个字幕单元的视差信息（视差矢量），作为字幕管理数据组的字幕管理数据（控制代码）。已经在字幕数据和视差数据之间进行了关联，因此，在接收侧可以向已经叠加在左眼图像和右眼图像上的字幕单元施加适当的视差。

Description

立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法

技术领域

本发明涉及立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法，且具体来说涉及能够适当地执行比如字幕之类的叠加信息的显示的立体图像数据发送装置等。

背景技术

例如，在PTL1中提出了使用电视广播电波（airwave）的立体图像数据的发送方法。通过该发送方法，发送具有用于左眼的图像数据和用于右眼的图像数据的立体图像数据，且在电视接收机执行使用双目视差的立体图像显示。

图38图示通过使用双目视差的立体图像显示，屏幕上的对象（object）的左和右图像的显示位置与其立体图像的重放位置之间的关系。例如，关于如图中所示在屏幕上以正移位到右侧的左图像La和正移位到左侧的右图像Ra显示的对象A，左和右视线在屏幕表面的前方交叉，所以其立体图像的重放位置在屏幕表面的前方。DPa表示关于对象A在水平方向上的视差矢量。

并且，例如，如在屏幕上图示的，关于其中在相同位置上显示左图像Lb和右图像Rb的对象B，左和右视线在屏幕表面上交叉，所以其立体图像的重放位置在屏幕表面上。进一步，例如，关于如图所示的、在屏幕上的其中左图像Lc正移位到左侧且右图像Rc正移位到右侧的对象C，左和右视线在屏幕表面的后方交叉，所以立体图像的重放位置在屏幕表面的后方。DPc表示关于对象C在水平方向上的视差矢量。

引文列表

专利文献

PTL1：日本未审查专利申请公开No.2005-6114

发明内容

技术问题

通过比如如上所述的立体图像显示，观看者将通常利用双目视差来感觉立体图像的透视。可以预料比如字幕等叠加在图像上的叠加信息将不仅在二维空间中渲染（render），而是进一步结合立体图像显示以深度的三维感觉渲染。

例如，在图像上执行字幕的叠加显示（重叠显示）的情况下，观看者可能感到透视上的视差，除非就透视而言使得显示器比图像内最近的对象（object）更接近观看者。并且，在图像上的其它图形信息或者文本信息的叠加显示的情况下，可以预料将根据图像内各对象的透视来执行视差调整，从而保持透视上的一致性。

本发明的目的是当执行比如字幕等叠加信息的显示时保持与图像中的各对象在透视上的一致性。并且，本发明的目的是使得能够进行视差信息的稳定传输而不影响例如已经存在的ARIB格式的8位代码编码系统。

技术方案

本发明的概念是一种立体图像数据发送装置，包括：

图像数据输出单元，配置为输出配置立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，配置为输出要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息的数据；

视差信息输出单元，配置为输出用于通过移位要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息来提供视差的视差信息；和

数据发送单元，配置为发送具有包括图像数据的第一数据流以及包括叠加信息的数据和视差信息的第二数据流的复用数据流；

其中，第二数据流具有用于发送用作叠加信息的管理信息的显示控制信息的数据单元；

且其中，该视差信息插入数据单元中。

通过本发明，图像数据输出单元输出配置立体图像的左眼图像数据和右眼图像数据。并且，叠加信息数据输出单元输出要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息的数据。现在，叠加信息指的是要叠加在图像上的字幕等的信息。并且，视差信息输出单元输出用于通过移位要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息来提供视差的视差信息。

然后，数据发送单元发送具有第一数据流和第二数据流的复用数据流。第一数据流包括左眼图像数据和右眼图像数据。并且，第二数据流包括叠加信息的数据和视差信息。

该第二数据流具有用于发送用作叠加信息的管理信息的显示控制信息的数据单元。该视差信息插入数据单元中。例如，叠加信息的数据是ARIB格式字幕文本数据，且在第二数据流中，该视差信息插入包括在字幕管理数据中的显示控制信息的数据单元中。例如，插入到该数据单元的视差信息由类型信息与其他显示控制信息区分。例如，插入数据单元中的视差信息是与在同一屏幕中显示的特定叠加信息或者在同一屏幕中显示的多个叠加信息对应的视差信息。

以这种方式，通过本发明，视差信息作为叠加信息的管理信息插入第二数据流中，且将叠加信息和视差信息相关。在接收侧，可以使用对应的视差信息，将适当的视差提供给要叠加在左眼图像和右眼图像上的叠加信息。因此，在比如字幕等叠加信息的显示中，可以将与图像中的各对象在透视上的一致性保持在最优状态。

并且，通过本发明，第二数据流具有用于发送用作叠加信息的管理信息的显示控制信息的数据单元，且视差信息插入在数据单元中。因此，例如对于ARIB格式，使得能够进行视差信息的稳定传输而不影响已经存在的8位代码编码系统。

注意，通过本发明，例如，视差信息是在期间显示叠加信息的预定数目的帧时段内公用的第一视差信息，或者第一视差信息和在预定数目的帧时段内顺序更新的第二视差信息；且指示第二视差信息的存在的标记信息可以插入数据单元中。在这种情况下，可以做出是否仅发送第一视差信息或者进一步发送第二视差信息的选择。通过发送第二视差信息，可以结合在接收侧的图像内容的变化来动态地改变要提供给叠加信息的视差。

并且，通过本发明，例如，第二视差信息可以由预定数目的帧时段中的第一帧的视差信息以及每个随后的更新帧间隔的帧的视差信息构成。在这种情况下，可选地设置更新帧间隔。例如，在时间方向（帧方向）上视差信息的变化大的情况下，可以通过缩短更新帧间隔而将视差信息的时间方向的变化更正确地传递到接收侧。并且，例如，在时间方向上视差信息的变化小的情况下，可以通过延长更新帧间隔来抑制视差信息的数据量。

并且，通过本发明，例如，可以对于每个更新帧间隔的每个帧，将指示是否存在视差信息的更新的标记信息添加到第二视差信息。在这种情况下，如果其中时间方向上视差信息的变化小的时段继续，则可以使用该标记信息省略该时段内视差信息的传输，由此使得能够抑制视差信息的数据量。

并且，通过本发明，例如，可以对于每个更新帧间隔的每个帧，将指示用于调整更新帧间隔的标记信息添加到第二视差信息。在这种情况下，可以基于该调整信息，可选地在更短的方向或更长的方向上调整更新帧间隔，且视差信息的时间方向上的变化可以更正确地传递到接收侧。

并且，通过本发明，例如，数据单元可以具有指定插入到其的帧周期的信息，由此发送视差信息插入其中的显示控制信息。因此，意在发送侧的视差信息的更新帧间隔可以正确地传递到接收侧。在不添加该信息的情况下，例如，在接收侧参考视频帧周期。

并且，通过本发明，例如，数据单元可以在其中插入指示关于视差信息的对应程度的信息，由此发送视差信息插入其中的显示控制信息，这在显示叠加信息时是必需的。在这种情况下，可以以该信息控制在接收侧的视差信息的处理。

并且，通过本发明，例如，第二数据流可以在管理信息的层中包括指示第二数据流是否对应于叠加信息的扩展显示的标记信息。在这种情况下，接收侧可以由该标记信息容易地理解是否处理叠加信息的扩展显示（例如三维显示等）。

本发明的另一方面是一种立体图像数据接收装置，包括：

数据接收单元，配置为接收具有第一数据流和第二数据流的复用数据流；

其中，该第一数据流包括构成立体图像的左眼图像数据和右眼图像数据；且其中，该第二数据流包括要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息的数据，和用于通过移位要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息来提供视差的视差信息；

且其中，该第二数据流具有用于发送用作叠加信息的管理信息的显示控制信息的数据单元，且该视差信息插入该数据单元中；

且进一步包括：

图像数据获得单元，配置为从包括在复用数据流中的第一数据流获得左眼图像数据和右眼图像数据；

叠加信息数据获得单元，配置为从包括在复用数据流中的第二数据流获得叠加信息的数据；

视差信息获得单元，配置为从包括在复用数据流中的第二数据流获得视差信息；

和图像数据处理单元，配置为使用左眼图像数据和右眼图像数据、视差信息和叠加信息的数据，来提供视差给要叠加在左眼图像和右眼图像上的相同的叠加信息，由此获得其上已经叠加了该叠加信息的左眼图像的数据和其上已经叠加了该叠加信息的右眼图像的数据。

通过本发明，数据接收单元接收具有第一数据流和第二数据流的复用数据流。第一数据流包括构成立体图像的左眼图像数据和右眼图像数据。并且，第二数据流包括要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息的数据，和用于通过移位要叠加在左眼图像数据和右眼图像数据的图像上的叠加信息来提供视差的视差信息。

该第二数据流具有用于发送用作叠加信息的管理信息的显示控制信息的数据单元，其中该视差信息插入该数据单元中。例如，叠加信息的数据是ARIB格式字幕文本数据，且在第二数据流中，该视差信息插入包括在字幕管理数据中的显示控制信息的数据单元中。例如，插入到该数据单元的视差信息由类型信息与其他显示控制信息区分。

图像数据获得单元从包括在复用数据流中的第一数据流获得左眼图像数据和右眼图像数据。并且，叠加信息数据获得单元从包括在复用数据流中的第二数据流获得叠加信息的数据。并且，视差信息获得单元配置为从包括在复用数据流中的第二数据流获得视差信息。

图像数据处理单元然后使用左眼图像数据和右眼图像数据、视差信息和叠加信息的数据，来提供视差给要叠加在左眼图像和右眼图像上的相同的叠加信息，由此获得其上已经叠加了该叠加信息的左眼图像的数据和其上已经叠加该叠加信息的右眼图像的数据。

以这种方式，通过本发明，视差信息作为叠加信息的管理信息插入第二数据流中，且将叠加信息和视差信息相关。因此，在图像数据处理单元，可以使用对应的视差信息将适当的视差提供给要叠加在左眼图像和右眼图像上的叠加信息。因此，在比如字幕等叠加信息的显示中，可以将与图像中的对象在透视上的一致性保持在最优状态。

并且，通过本发明，例如，插入数据单元中的视差信息是在期间显示叠加信息的预定数目的帧时段内顺序更新的视差信息，且可以由预定数目的帧时段中的第一帧的视差信息和每个随后的更新帧间隔的帧的视差信息构成。在这种情况下，可以结合图像内容的变化动态地改变要提供给叠加信息的视差。

并且，通过本发明，例如，图像数据处理单元可以关于组成在预定数目的帧时段内顺序更新的视差信息的多个帧的视差信息执行内插处理，且产生并使用在预定数目的帧间隔内的任意帧间隔的视差信息。在这种情况下，即使以每个更新帧间隔从发送侧发送视差信息的情况下，也可以以精细间隔（例如每个帧）控制要提供给叠加信息的视差。

在这种情况下，内插处理可以是线性内插处理，或者例如，可以涉及时间方向（帧方向）上的低通滤波处理。因此，即使在以每个更新帧间隔从发送侧发送视差信息的情况下，也可以平滑时间方向上的内插处理之后的视差信息的改变，且可以抑制在每个更新帧间隔应用于叠加信息的视差的转变变得不连续的不自然的感觉。

技术效果

根据本发明，视差信息作为叠加信息的管理信息插入包括叠加信息的第二数据流中，且将叠加信息和视差信息相关联。因此，在接收侧，可以使用对应的视差信息将适当的视差提供给要叠加在左眼图像和右眼图像上的叠加信息。因此，在比如字幕等叠加信息的显示中，可以将与图像中的各对象在透视上的一致性保持在最优状态。

并且，根据本发明，第二数据流具有用于发送用作叠加信息的管理信息的显示控制信息的数据单元，且将视差信息插入到数据单元中。因此，例如对于ARIB格式，使得能够进行视差信息的稳定传输而不影响已经存在的8位代码编码系统。

附图说明

图1是图示作为本发明实施例的立体图像显示系统的配置示例的框图；

图2是图示在广播站的传输数据产生单元的配置示例的框图；

图3是图示1920×1080像素格式的图像数据的图；

图4是用于描述作为立体图像数据（3D图像数据）的传输格式的“上下”格式、“并排”格式和“帧顺序”格式的图；

图5是用于描述关于左眼图像在右眼图像中检测视差矢量的示例的图；

图6是用于描述通过块匹配格式获得视差矢量的图；

图7是图示字幕数据流的配置示例和字幕单元（caption）的显示示例的图；

图8是图示在将每一个像素（pixel）的视差矢量的值用作每一个像素（each pixel）的亮度值的情况下的图像的示例的图；

图9是图示每一个块（Block）的视差矢量的示例的图；

图10是用于描述在传输数据产生单元的视差信息创建单元执行的缩小处理的图；

图11是图示在字幕编码器产生的字幕数据流的配置示例和在这种情况下视差矢量的创建示例的图；

图12是图示在字幕编码器产生的字幕数据流的另一配置示例和在这种情况下视差矢量的创建示例的图；

图13是用于描述移位在第一和第二视图上叠加的每个字幕单元的位置的情况的图；

图14是图示在字幕文本数据组的PES流中包括的字幕代码的分组结构的图；

图15是图示在字幕管理数据组的PES流中包括的控制代码的分组结构的图；

图16是图示ARIB格式字幕数据流（PES流）内的数据组的结构的图；

图17是示意性地示出在字幕管理数据组的情况下，在数据组结构中用作“data_group_data_byte”的字幕管理数据（caption_management_data）的结构的图；

图18是示意性地示出在字幕文本数据组的情况下，在数据组结构中用作“data_group_data_byte”的字幕管理数据（caption_data）的结构的图；

图19是图示在字幕数据流中包括的数据单元（data_unit）的结构的图；

图20是图示数据单元的类型、数据单元参数和功能的图；

图21是图示新定义的扩展显示控制数据单元（data_unit）的结构的图；

图22是图示新定义的扩展显示控制数据单元（data_unit）的结构的图；

图23是图示数据单元（data_unit）内“Advanced_Rendering_Control”的结构的图；

图24是图示“Advanced_Rendering_Control”内的“disparity_information”的结构的图；

图25是图示“disparity_information”内的“disparity_temporal_extension”的结构的图；

图26是图示在“Advanced_Rendering_Control”和“disparity_information”的结构中的主要数据约定内容的图；

图27是图示在“Advanced_Rendering_Control”和“disparity_information”的结构中的主要数据约定内容的图；

图28是图示在字幕显示时段内每个基段（base segment）时段（BSP）更新视差信息的示例的图；

图29是图示在字幕显示时段内每个基段时段（BSP）更新视差信息的示例的图；

图30是图示“Advanced_Rendering_Control”内的“disparity_information”的另一结构的图；

图31是图示图像上的字幕（图形信息）和背景、近视图对象和字幕的透视的显示示例的图；

图32是图示屏幕上的字幕以及用于显示字幕的左眼字幕LGI和右眼字幕RGI的显示示例的图；

图33是图示配置立体图像显示系统的机顶盒的配置示例的框图；

图34是图示配置机顶盒的位流处理单元的配置示例的框图；

图35是图示通过关于组成在字幕显示时段内顺序更新的视差信息的视差信息的多个帧执行涉及低通滤波处理的内插处理而任意帧间隔地产生视差信息（内插的视差信息）的示例的图；

图36是图示配置立体图像显示系统的电视接收机的配置示例的框图；

图37是图示立体图像显示系统的另一配置示例的框图；

图38是用于描述在使用双目视差的立体图像显示中，屏幕上对象的左和右图像的显示位置与其立体图像的再现位置之间的关系的图。

具体实施方式

在下文中，将描述实现本发明的方式（在下文中，称为“实施例”）。注意，将以以下顺序进行描述。

1.实施例

2.修改

<1.实施例>

[立体图像显示系统的配置示例]

图1图示作为实施例的立体图像显示系统10的配置示例。该立体图像显示系统10包括广播站100、机顶盒（STB：Set Top Box）200和电视接收机（TV：电视）300。

机顶盒200和电视接收机300经由HDMI（高清多媒体接口）线缆400连接。对于机顶盒200，提供HDMI端子202。对于电视接收机300，提供HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，且该HDMI线缆400的另一端连接到电视接收机300的HDMI端子302。

[广播站的描述]

广播站100通过在广播波上携带位流数据BSD来发送该位流数据BSD。广播站100具有产生位流数据BSD的传输数据产生单元110。该位流数据BSD包括图像数据、音频数据、叠加信息数据，且进一步包括视差信息（视差矢量）等。图像数据（以下适当地称为“立体图像数据”）包括组成立体图像的左眼图像数据和右眼图像数据。叠加信息是图形信息、文本信息等，但是在本实施例中是字幕。

[传输数据产生单元的配置示例]

图2图示广播站100的传输数据产生单元110的配置示例。该传输数据产生单元110以容易与作为现有广播标准的ARIB（无线电工业和商业联合会）格式兼容的数据结构发送视差信息（视差矢量）。该传输数据产生单元110包括数据提取单元（归档单元）130、视差信息创建单元131、视频编码器113、音频编码器117、字幕产生单元132、字幕编码器133和复用器122。

例如，数据记录介质130a可拆卸地安装到数据提取单元130。该数据记录介质130a在其中已经以相关联的方式与包括左眼图像数据和右眼图像数据的立体图像数据一起记录了音频数据和视差信息。数据提取单元130从数据记录介质130a提取立体图像数据、音频数据、视差信息等，并输出。数据记录介质130a是盘形记录介质、半导体存储器等。

记录在数据记录介质130a中的立体图像数据是预定传输格式的立体图像数据。将描述立体图像数据（3D图像数据）的传输格式的示例。虽然给出以下第一到第三方法作为传输方法，但是可以使用除了这些之外的传输方法。这里，如图3所示，将关于其中左眼（L）和右眼（R）的每个图像数据是具有确定分辨率（例如，1920×1080的像素格式）的图像数据的情况作为示例进行描述。

第一传输方法是上下（Top&Bottom）格式，且如图4（a）所示，是用于在垂直方向的前一半发送左眼图像数据的每行数据并在垂直方向的后一半发送右眼图像数据的每行数据的格式。在这种情况下，左眼图像数据和右眼图像数据的各行稀疏为1/2，因此垂直分辨率关于原始信号减半。

第二传输方法是并排（Side By Side）格式，且如图4（b）所示，是用于在水平方向的前一半发送左眼图像数据的像素数据并在水平方向的后一半发送右眼图像数据的像素数据的格式。在这种情况下，左眼图像数据和右眼图像数据每个具有在水平方向上稀疏到1/2的像素数据，因此水平分辨率关于原始信号减半。

第三传输方法是帧顺序（Frame Sequential）格式，且如图4（c）所示，是用于通过对于每帧顺序切换左眼图像数据和右眼图像数据来发送左眼图像数据和右眼图像数据的格式。注意，该帧顺序格式有时也被称为全帧（FullFrame）格式或者向后兼容（BackwardCompatible）格式。

并且，记录在数据记录介质130a中的视差信息例如是配置图像的每个像素（pixel）的视差矢量。将描述视差矢量的检测示例。这里，将描述关于左眼图像检测右眼图像的视差矢量的示例。如图5所示，左眼图像将作为检测图像，且右眼图像将作为参考图像。对于该示例，将检测在(xi,yi)和(xj,yj)位置的视差矢量。

作为示例，将关于其中检测在(xi,yi)位置的视差矢量的情况进行描述。在这种情况下，例如，将左上像素位置(xi,yi)的4×4、8×8或16×16的像素块（视差检测块）Bi设置为左眼图像。随后，对于右眼图像，搜索与像素块Bi匹配的像素块。

在这种情况下，将以位置(xi,yi)作为中心的搜索范围设置到右眼图像，且以搜索范围内的每一个像素顺序地作为感兴趣的像素来顺序地设置如上述像素块Bi那样的例如4×4、8×8或者16×16的比较块。

获得像素块Bi与顺序地设置的比较块之间每一个对应像素的差的绝对值之和。这里，如图6所示，如果我们说像素块Bi的像素值是L(x,y)，且比较块的像素值是R(x,y)，则像素块Bi与某一比较块之间的差值绝对值之和以∑|L(x,y)-R(x,y)|表示。

当n个像素包括在被设置到右眼图像的搜索范围中时，最后，获得n个和S1到Sn，选择其中最小的和Smin。随后，从已经获得和Smin的比较块获得左上像素的位置(xi’,yi’)。由此，在位置(xi,yi)的视差矢量检测为在位置(xi,yi)的(xi’-xi,yi’-yi)。尽管将省略详细说明，但是关于在位置(xj,yj)的视差矢量，也是将以像素位置(xj,yj)作为左上的例如4×4、8×8或16×16的像素块Bj设置到左眼图像，且以相同处理进行检测。

返回到图2，字幕产生单元132产生字幕数据（ARIB格式字幕文本数据）。字幕编码器133产生包括字幕产生单元132产生的字幕数据的字幕数据流（字幕基本流）。图7（a）图示字幕数据流的配置示例。该示例图示其中在同一屏幕中显示“第一字幕单元”、“第二字幕单元”和“第三字幕单元”的字幕单元（各字幕）的示例，如图7（b）所示。

将用于每个字幕单元的字幕数据插入到字幕数据流中，作为字幕文本数据组的字幕文本数据（字幕代码）。注意，尽管在图中未示出，但是将比如字幕单元的显示区域之类的设置数据插入到字幕数据流中作为字幕管理数据组的数据。“第一字幕单元”、“第二字幕单元”和“第三字幕单元”的字幕单元的显示区域分别由(x1,y1)、(x2,y2)和(x3,y3)指示。

视差信息创建单元131具有浏览器（viewer）功能。该视差信息创建单元131使从数据提取单元130输出的视差信息（即，以像素（pixels）为增量的视差矢量）经历缩小处理，并产生属于预定区域的视差矢量。

图8图示在要给出的相对深度方向上的数据，比如每一个像素（pixel）的亮度值的示例。这里，相对深度方向上的数据可以通过预定转换作为每一个像素的视差矢量处理。对于该示例，人的部分的亮度值高。这意味着人的部分的视差矢量的值大，因此，对于立体图像显示，这意味着该人的部分感觉上处于更近的状态。并且，对于该示例，背景部分的亮度值低。这意味着背景部分的视差矢量的值小，因此，对于立体图像显示，这意味着该背景部分感觉上处于更远离的状态。

图9图示每个块（Block）的视差矢量的示例。块等效于位于最低级别中的像素（pixels）之上的级别。该块由在水平方向和垂直方向上以预定大小划分的图像（画面）区域配置。例如，通过在其块内存在的全部像素（pixels)的视差矢量当中选择其值最大的视差矢量来获得每个块的视差矢量。对于该示例，每个块的视差矢量以箭头图示，且箭头的长度对应于视差矢量的大小。

图10图示要在视差信息创建单元131执行的缩小处理的示例。首先，如图10（a）所示，视差信息创建单元131使用每一个像素（pixel）的视差矢量获得具有每个块的标记的视差矢量。如上所述，块等效于位于最低级别的像素（pixels）之上的级别，且由在水平方向和垂直方向上以预定大小划分的图像（画面）区域配置。例如，通过在其块内存在的全部像素（pixels）的视差矢量当中选择具有最大值的视差矢量来获得每个块的视差矢量。

接下来，如图10（b）所示，视差信息创建单元131使用每个块的视差矢量以获得每个组（Group Of Block，块的组）的视差矢量。组等效于块以上的级别，且通过集合地分组多个相邻的块而获得。对于图10（b）中的示例，每个组由以虚线框圈住的四个块组成。随后，例如，通过在其组内全部块的视差矢量当中选择具有最大值的视差矢量来获得每个组的视差矢量。

接下来，如图10（c）所示，视差信息创建单元131使用每个组的视差矢量以获得每个分区（Partition）的视差矢量。分区等效于组以上的级别，且通过集合地分组多个相邻的组而获得。对于图10（c）中的示例，每个分区由以虚线框圈住的两个组组成。随后，例如，通过在其分区内全部组的视差矢量当中选择具有最大值的视差矢量来获得每个分区的视差矢量。

接下来，如图10（d）所示，视差信息创建单元131使用每个分区的视差矢量以获得位于最高级别的整个画面（整个图像）的视差矢量。对于图10（d）中的示例，整个画面包括以虚线框圈住的四个分区。随后，例如，通过在整个画面中包括的全部分区的视差矢量当中选择具有最大值的视差矢量来获得整个画面的视差矢量。

以这种方式，视差信息创建单元131使位于最低级别的每一个像素（pixel）的视差矢量经历缩小处理，由此可以获得块、组、分区和整个画面的每个层级的每个区域的视差矢量。注意，对于图10中所示的缩小处理的示例，最终，除了像素（pixels）的层级之外，获得块、组、分区和整个画面这四个层级的视差矢量。但是，层级的数目、如何分区每个层级的区域和区域的数目不限于该示例。

视差信息创建单元131通过上述缩小处理的方式创建与在同一屏幕上显示的预定数目的字幕单元（各字幕）对应的视差矢量。在这种情况下，视差信息创建单元131创建每个字幕单元的视差矢量（单独视差矢量），或者创建在字幕单元之间共享的视差矢量（公共视差矢量）。例如，通过用户设置进行其选择。

在创建单独视差矢量的情况下，视差信息创建单元131基于每个字幕单元的显示区域，通过上述缩小处理获得属于那些显示区域的视差矢量。并且，在创建公共视差矢量的情况下，视差信息创建单元131通过上述缩小处理（参见图10（d））获得整个画面（整个图像）的视差矢量。注意，可以进行这样的布置，其中在创建公共视差矢量的情况下，视差信息创建单元131获得属于每个字幕单元的显示区的视差矢量并选择具有最大值的视差矢量。

如上所述，字幕编码器133在字幕数据流中包括如上所述在视差信息创建单元131创建的视差矢量（视差信息）。在这种情况下，将在同一屏幕中显示的每个字幕单元的字幕数据插入字幕数据流中作为字幕文本数据组的字幕文本数据（字幕代码）。并且，将视差矢量插入该字幕数据流中，作为字幕管理数据组的字幕管理数据（控制代码）。

现在，将关于其中以视差信息创建单元131创建单独视差矢量的情况进行描述。这里，我们将考虑其中在同一屏幕上显示“第一字幕单元”、“第二字幕单元”和“第三字幕单元”这三个字幕单元（各字幕）的示例。

如图11（b）所示，视差信息创建单元131创建与字幕单元对应的单独视差矢量。“视差1”是与“第一字幕单元”对应的单独视差矢量。“视差2”是与“第二字幕单元”对应的视差矢量。“视差3”是与“第三字幕单元”对应的单独视差矢量。

图11（a）图示在字幕编码器133产生的字幕数据流（PES流）的配置示例。字幕文本数据组的PES流在其中插入每个字幕单元的字幕文本信息，以及与每个字幕文本信息相关的扩展显示控制信息（数据单元ID）。并且，字幕管理数据组的PES流已经在其中插入与每个字幕单元的字幕文本信息相关的扩展显示控制信息（视差信息）。

字幕文本数据组的扩展显示控制信息（数据单元ID）是将字幕管理数据组的每个扩展显示控制信息（视差信息）与字幕文本数据组的每个字幕文本信息相关所需的。在这种情况下，用作字幕管理数据组的每个扩展显示控制信息的视差信息是对应字幕单元的单独视差矢量。

注意，尽管在图中未示出，但是将每个字幕单元的显示区的设置数据插入字幕管理数据组的PES流中作为字幕管理数据（控制代码）。“第一字幕单元”、“第二字幕单元”和“第三字幕单元”这些字幕单元的显示区分别由(x1,y1)、(x2,y2)和(x3,y3)指示。

图11（C）图示其上已经叠加每个字幕单元（caption）的第一视图（1stView），例如，右眼图像。并且，图11（d）图示其上已经叠加每个字幕单元（caption）的第二视图（2nd View），例如左眼图像。与字幕单元对应的单独视差矢量用于提供叠加在右眼图像上的字幕单元和叠加在左眼图像上的字幕单元之间的视差，例如，如图所示。

将关于其中以视差信息创建单元131创建公共视差矢量的情况进行描述。这里，我们将考虑其中在同一屏幕上显示“第一字幕单元”、“第二字幕单元”和“第三字幕单元”这三个字幕单元（各字幕）的示例。如图12（b）所示，视差信息创建单元131创建由各字幕单元共享的公共视差矢量“Disparity”。

图12（a）图示在字幕编码器133产生的字幕数据流（PES流）的配置示例。字幕文本数据组的PES流在其中插入每个字幕单元的字幕文本信息。并且，字幕管理数据组的PES流在其中插入与每个字幕单元的字幕文本信息公共地相关的扩展显示控制信息（视差信息）。在这种情况下，用作字幕管理数据组的扩展显示控制信息的视差信息是每个字幕单元的公共视差矢量。

注意，尽管在图中未示出，但是将每个字幕单元的显示区等的设置数据插入到字幕管理数据组的PES流中作为字幕管理数据（控制代码）。“第一字幕单元”、“第二字幕单元”和“第三字幕单元”这些字幕单元的显示区分别由(x1,y1)、(x2,y2)和(x3,y3)指示。

图12（c）图示其上已经叠加每个字幕单元（caption）的第一视图（1stView），例如，右眼图像。并且，图12（d）图示其上已经叠加每个字幕单元（caption）的第二视图（2nd View），例如左眼图像。在各字幕单元之间共享的公共视差矢量用于提供叠加在右眼图像上的各字幕单元和叠加在左眼图像上的各字幕单元之间的视差，例如，如图所示。

注意，图11（c）和（d）以及图12（c）和（d）中的示例涉及仅移位要叠加在第二视图（例如，左眼图像）上的各字幕单元的位置。但是，可以设想仅移位要叠加在第一视图（例如，右眼图像）上的各字幕单元的位置，或者移位要叠加在两个视图上的各字幕单元的位置的情况。

图13（a）和（b）图示移位要叠加在第一视图和第二视图两者上的各字幕单元的位置的情况。在这种情况下，在第一视图和第二视图上的字幕单元的移位值（偏移值）D[i]如下那样从与各字幕单元对应的视差矢量“Disparity”的值“disparity[i]”获得。

就是说，在disparity[i]是偶数的情况下，对于第一视图其作为“D[i]=-disparity[i]/2”获得，且对于第二视图其作为“D[i]=disparity[i]/2”获得。因此，要叠加在第一视图（例如，右眼图像）上的各字幕单元的位置向左移位“disparity[i]/2”。并且，要叠加在第二视图（例如，左眼图像）上的各字幕单元的位置向右移位“disparity[i]/2”。

并且，在disparity[i]是奇数的情况下，对于第一视图其作为“D[i]=-(disparity[i]+1)/2”获得，且对于第二视图其作为"D[i]=(disparity[i]-1)/2”获得。因此，要叠加在第一视图（例如，右眼图像）上的各字幕单元的位置向左移位“(disparity[i]+1)/2”。并且，要叠加在第二视图（例如，左眼图像）上的各字幕单元的位置向右移位“(disparity[i]-1)/2”。

现在，将简要地描述字幕代码和控制代码的分组结构。首先，将描述字幕文本数据组的PES流中包括的字幕代码的基本分组结构。图14图示字幕代码的分组结构。“Data_group_id”指示数据组标识，且在这里指示其是字幕文本数据组。注意，指示字幕文本数据组的“Data_group_id”进一步标识语言。例如，“Data_group_id==0x21”指示其是字幕文本数据组，且是字幕文本（第一语言）。

“Data_group_size”指示后续数据组数据的字节的数目。在字幕文本数据组的情况下，该数据组数据是字幕文本数据（caption_data）。在字幕文本数据中设置一个或更多数据单元。每个数据单元由数据单元分隔符代码（unit_parameter）分开。将字幕代码布置为每个数据单元内的数据单元数据（data_unit_data）。

接下来，将关于控制代码的分组结构进行描述。图15图示字幕管理数据组的PES流中包括的控制代码的分组结构。“Data_group_id”指示数据组标识。这里，这指示其是字幕管理数据组，且是“Data_group_id==0x20”。“Data_group_size”指示后续数据组数据的字节的数目。在字幕管理数据组的情况下，该数据组数据是字幕管理数据（caption_management_data）。

在字幕管理数据中布置一个或更多数据单元。每个数据单元由数据单元分隔符代码（unit_parameter）分开。将控制代码布置为每个数据单元内的数据单元数据（data_unit_data）。对于该实施例，将视差矢量的值提供为8位代码。“TCS”是指示字符编码格式的2位数据。这里，设置“TCS==00”，指示8位代码。

图16图示字幕数据流（PES流）内数据组的结构。6位字段“data_group_id”指示数据组标识，标识字幕管理数据或者字幕文本数据的类型。16位字段“data_group_size”指示在该数据组字段中后续数据组数据的字节的数目。将数据组数据存储在“data_group_data_byte”中。“CRC_16”是16位循环冗余检验码。该CRC代码的编码部分是从“data_group_id”的头部到“data_group_data_byte”的末端。

在字幕管理数据组的情况下，图16中的数据组结构中的“data_group_data_byte”是字幕管理数据（caption_management_data）。并且，在字幕文本数据组的情况下，图16中的数据组结构中的“data_group_data_byte”是字幕数据（caption_data）。

图17是示意性地示出字幕管理数据的结构的图。“advanced_rendering_version”是指示是否与对于该实施例新定义的字幕的扩展显示兼容的1位标记信息。在接收侧，以这种方式基于位于管理信息层中的标记信息，可以容易地理解是否与字幕的扩展显示兼容。24位字段“data_unit_loop_length”指示在该字幕管理数据字段中后续数据单元的字节的数目。要以该字幕管理数据字段发送的数据单元存储在“data_unit”中。图18是示意性地示出字幕数据的结构的图。其与上述字幕管理数据具有相同结构，除了没有“advanced_rendering_version”的情况。

图19是图示在字幕数据流中包括的数据单元（data_unit）的结构（语法）的图。8位字段“unit_separator”指示数据单元分隔符代码，且被设置为“0x1F”。8位字段“data_unit_parameter”是用于标识数据单元的类型的数据单元参数。

图20是图示数据单元的类型和数据单元参数及其功能的图。例如，将指示主体的数据单元的数据单元参数设置为“0x20”。并且，例如，将指示几何数据单元的数据单元参数设置为“0x28”。并且，例如，将指示位图数据单元的数据单元参数设置为“0x35”。在本实施例中，新定义用于存储显示控制信息（扩展显示控制信息）的扩展显示控制的数据单元，且例如，将指示该数据单元的数据单元参数设置为“0x4F”。

24位字段“data_unit_size”指示该数据单元字段中后续数据单元数据的字节的数目。将数据单元数据存储在“data_unit_data_byte”中。图21是图示用于扩展显示控制的数据单元（data_unit）的结构（语法）的图。在这种情况下，数据单元参数是“0x4F”，且将显示控制信息存储在用作“data_unit_data_byte”的“Advanced_Rendering_Control”中。

图22是图示“Advanced_Rendering_Control”的结构（语法）的图。该图22图示在插入立体视频视差信息作为显示控制信息的情况下的结构。也就是说，该图22图示在字幕管理数据组中包括的扩展显示控制的数据单元（data_unit）中的“Advanced_Rendering_Control”的结构。

8位字段“start_code”指示“Advanced_Rendering_Control”的开始。16位字段“data_unit_id”指示数据单元ID。16位字段“data_length”指示在该高级渲染控制字段中后续的数据字节的数目。8位字段“Advanced_rendering_type”是指定显示控制信息的类型的高级渲染类型。这里，这指示例如将数据单元参数设置为“0x01”，且显示控制信息是“立体视频视差信息”。将视差信息存储在“disparity_information”中。

图23也图示“Advanced_Rendering_Control”的结构（语法）。图23图示在插入数据单元ID作为显示控制信息的情况下的结构。也就是说，该图23图示在字幕数据组中包括的扩展显示控制的数据单元（data_unit）内的“Advanced_Rendering_Control”的结构。

8位字段“start_code”指示“Advanced_Rendering_Control”的开始。16位字段“data_unit_id”指示数据单元ID。16位字段“data_length”指示在该高级渲染控制字段中后续的数据字节的数目。8位字段“Advanced_rendering_type”是指定显示控制信息的类型的高级渲染类型。这里，例如，数据单元参数是“0x00”，指示显示控制信息是“数据单元ID”。

注意，图26和图27图示如上所述的“Advanced_Rendering_Control”的结构中的主要数据约定内容（primary data stipulation content），且进一步图示在之后描述的图24和图25中的“disparity_information”的结构中的主要数据约定内容。

图24和图25图示字幕管理数据组中包括的扩展显示控制数据单元（data_unit）内的“Advanced_Rendering_Control”中的“disparity_information”的结构（语法）。8位字段“sync_byte”是“disparity_information”的标识信息，并指示该“disparity_information”的开始。“interval_PTS[32..0]”以90KHz的增量指定视差信息（disparity）的更新帧间隔中的帧周期（一个帧的间隔）。就是说，“interval_PTS[32..0]”以33位长度表示以90KHz测量的帧周期的值。

通过在视差信息中指令具有“interval_PTS[32..0]”的帧周期，意在发送侧的视差信息的更新帧间隔可以被正确地发送到接收侧。在不附加该信息的情况下，例如，在接收侧参考视频帧周期。

“rendering_level”指示用于显示字幕而在接收侧（解码器侧）必需的视差信息（disparity）的对应级别。“00”指示使用视差信息的字幕的3维显示是可选的（optional）。“01”指示使用在字幕显示时段内公用的视差信息（default_disparity）的字幕的3维显示是必需的。“10”指示在使用字幕显示时段内顺序更新的视差信息（disparity_update）的字幕的3维显示是必需的。

“temporal_extension_flag”是指示是否存在字幕显示时段内顺序更新的视差信息（disparity_update）的1位标记信息。在这种情况下，“1”指示存在，且“0”指示不存在。8位字段“default_disparity”指示默认的视差信息。该视差信息是在不更新的情况下的视差信息，即，在字幕显示时段内公用的视差信息。

在“temporal_extension_flag”是“1”的情况下，视差信息具有“disparity_temporal_extension()”。基本上，这里存储要每个基段时段（BSP：Base Segment Period）更新的视差信息。图28图示每个基段时段（BSP）的更新视差信息的示例。这里，基段时段指的是更新帧间隔。如可以从图中清楚地理解的，在字幕显示时段内顺序更新的视差信息由字幕显示时段中第一帧的视差信息和每个后续基段时段（更新帧间隔）的帧的视差信息组成。

2位字段“temporal_division_size”指示基段时段（更新帧间隔）中包括的帧的数目。“00”指示其是16个帧。“01”指示其是25个帧。“10”指示其是30个帧。进一步，“11”指示其是32个帧。

“temporal_division_count”指示字幕显示时段中包括的基段的数目。“disparity_curve_no_update_flag”是指示是否存在视差信息的更新的1位标记信息。“1”指示不执行，即，跳过在对应基段的边缘的视差信息的更新，且“0”指示要执行在对应基段的边缘的视差信息的更新。

图29图示每个基段时段（BSP）的视差信息的配置示例。在该图中，不执行在其中已经附加“跳过”的基段的边缘的视差信息的更新。由于该标记信息的存在，在其中帧方向上视差信息的变化相同的时段持续长时间的情况下，通过不更新视差信息可以省略该时段内视差信息的传输，由此使得能够抑制视差信息的数据量。

在“disparity_curve_no_update_flag”是“0”且要执行视差信息的更新的情况下，视差信息包括对应基段的“shifting_interval_counts”。而且，在“disparity_curve_no_update_flag”是“0”且要执行视差信息的更新的情况下，视差信息包括“disparity_update”。6位字段“shifting_interval_counts”指示用于调整基段时段（更新帧间隔）的取出因数（Draw factor），即，减去的帧的数目。

在图29中的每个基段时段（BSP）的视差信息的更新示例中，通过取出因数（Draw factor）在时间点C到F对于视差信息的更新定时调整基段时段。由于该调整信息的存在，可以调整基段时段（更新帧间隔），且可以更精确地向接收侧通知视差信息的时间方向（帧方向）的变化。

注意，为了调整基段时段（更新帧间隔），除了如上所述通过减去帧的数目在缩短方向上的调整之外，还可以设想通过添加帧的数目在延长方向上的调整。例如，可以通过使得6位字段“shifting_interval_counts”为具有符号的整数来执行两个方向上的调整。

8位字段“disparity_update”指示对应基段的视差信息。注意，其中k=0的“disparity_update”是在字幕显示时段中在更新帧间隔顺序更新的视差信息的初始值，即，在字幕显示时段中第一帧的视差信息。

注意，将“interval_PTS[32..0]”附加到如上所述的图24中的“disparity_information”的结构（语法）。但是，没有“interval_PTS[32..0]”附加到其的“disparity_information”的结构（语法）也是可想到的。在这种情况下，“disparity_information”的结构如图30所示。

返回到图2，视频编码器113使得从数据提取单元130提供的立体图像数据经历比如MPEG4-AVC、MPEG2、VC-1等的编码，并产生视频基本流。音频编码器117使得从数据提取单元130提供的音频数据经历比如MPEG-2Audio AAC等的编码，产生音频基本流。

复用器122复用从视频编码器113、音频编码器117和字幕编码器133输出的基本流。该复用器122输出位流数据（传输流）BSD作为传输数据（复用数据流）。

将简要描述如图2所示的传输数据产生单元110的操作。将从数据提取单元130输出的立体图像数据提供到视频编码器113。视频编码器113使得该立体图像数据经历比如MPEG4-AVC、MPEG2、VC-1等的编码，并产生包括该编码的视频数据的视频基本流。将该视频基本流提供到复用器122。

并且，在字幕产生单元132，产生ARIB格式字幕数据。将该字幕数据提供到字幕编码器133。在该字幕编码器133，产生包括字幕产生单元132产生的字幕数据的字幕基本流（字幕数据流）。将该字幕基本流提供到复用器122。

将从数据提取单元130输出的每一个像素（pixel）的视差矢量提供到视差信息创建单元131。在该视差信息创建单元131，由缩小处理创建与在同一屏幕上显示的预定数目的字幕单元（各字幕）对应的视差矢量（水平方向视差矢量）。在这种情况下，视差信息创建单元131创建每个字幕单元的视差矢量（单独视差矢量）或者对于全部字幕单元共同的视差矢量（公共视差矢量）。

将在视差信息创建单元131创建的视差矢量提供到字幕编码器133。在字幕编码器133，视差矢量包括在字幕数据流中（参见图11到图12）。在这种情况下，对于字幕数据流，将在同一屏幕上显示的每个字幕单元的字幕数据插入到字幕文本数据组中作为字幕文本数据（字幕代码）。并且，对于字幕数据流，插入视差矢量（视差信息）作为字幕管理数据组的字幕管理数据（控制代码）。在这种情况下，将视差矢量插入在用于发送已经新定义的显示控制信息的扩展显示控制的数据单元中（参见图21、图23到图25、图30）。

并且，将从数据提取单元130输出的音频数据提供到音频编码器117。在音频编码器117，音频数据经历比如MPEG-2Audio AAC等的编码，产生包括编码的音频数据的音频基本流。将该音频基本流提供到复用器122。

如上所述，向复用器122提供来自视频编码器113、音频编码器117和字幕编码器133的基本流。该复用器122将从编码器提供的基本流分组化和复用，由此获得位流数据（传输流）BSD作为传输数据。

如上所述，对于如图2所示的传输数据产生单元110，从复用器122输出的位流数据BSD是具有视频数据流和字幕数据流的复用数据流。视频数据流包括立体图像数据。并且，字幕数据流包括ARIB格式字幕（字幕单元）数据和视差矢量（视差信息）。

并且，将视差矢量（视差信息）插入字幕数据流中作为字幕数据的管理信息，且将字幕数据与视差信息相关联。因此，在接收侧（机顶盒200），可以使用对应的视差矢量（视差信息）将适当的视差提供给叠加在左眼图像和右眼图像上的各字幕单元（各字幕）。因此，关于正在显示的各字幕单元（各字幕），关于图像中各对象在透视上的一致性可以维持在最优状态。

并且，对于如图2所示的传输数据产生单元110，上述字幕数据流具有用于发送显示控制信息的新定义的扩展显示控制数据单元。视差矢量（视差信息）也插入到扩展显示控制数据单元中。因此，在ARIB格式中使能视差信息的稳定传输，而不影响已经存在的8位代码编码系统。就是说，可以保证向后兼容。

就是说，可以进行8位代码编码表中视差信息（视差矢量）的扩展定义。但是，实现包括时间方向更新的复杂控制的尝试使得8位代码编码表内的配置复杂化，并且，还存在由于要执行实施的装置的遗留问题而关于已经存在的编码系统的稳定操作的副作用的担心。

另一方面，可以发送视差信息作为独立于字幕数据流的元数据流。但是，除了链接字幕数据流内的对象字幕数据和外部数据流内的视差信息之外，用于管理其同步关系的机构将很可能变得复杂化。

在上述8位代码的各情况之间位于中间并以外部数据流发送的数据单元是在字幕数据流的内侧的数据单元，且在字幕管理数据内存在，但是位于8位代码的外侧的位置。因此，通过本发明，新扩展了字幕管理数据的参数类型，以使得新定义了用于扩展显示控制以发送显示控制信息的数据单元，且通过该数据单元发送视差信息。

在这种情况下，保证了向后兼容，渲染字幕数据的视差作为字幕管理数据链接，因此可以保证其空间和时间同步，且还不影响已经存在的8位代码编码系统。并且，对于新定义的数据单元（传输区域），可以自由地发送比如视差信息等的新的元信息。注意，如上所述（参见图20）以8位字段“Advanced_rendering_type”执行每个信息的区分。

并且，对于如图2所示的传输数据产生单元110，在字幕显示时段内公用的视差信息（参见图24中的“default_disparity”）插入在新定义的扩展显示控制数据单元中。并且，在字幕显示时段内顺序更新的视差信息（参见图25中的“disparity_update”）可以插入在该数据单元中。并且，指示字幕显示时段内顺序更新的视差信息的存在的标记信息（参见图24中的“temporal_extension_flag”）插入在该扩展显示控制数据单元中。

因此，可以选择仅发送在字幕显示时段内公用的视差信息，还是进一步发送在字幕显示时段内顺序更新的视差信息。通过发送在字幕显示时段内顺序更新的视差信息，可以结合图像内容的变化动态地改变要在接收侧（机顶盒200）提供给叠加信息的视差。

并且，对于如图2所示的传输数据产生单元110，要插入在扩展显示控制数据单元中的、在字幕显示时段内顺序更新的视差信息基本上是每个基段时段（BSP）的视差信息（参见图28）。就是说，该视差信息由字幕显示时段中第一帧的视差信息和每个后续基段时段中的帧的视差信息组成。并且，可以可选地设置基段时段（更新帧时段）（参见图25中的“temporal_division_size”）。

因此，在时间方向（帧方向）上视差信息的变化大的情况下，例如，通过缩短更新帧间隔，视差信息的时间方向的变化可以更正确地传递到接收侧（机顶盒200）。并且，例如，在时间方向上视差信息的变化小的情况下，可以通过延长更新帧间隔来抑制视差信息的数据量。

并且，对于图2中所示的传输数据产生单元110，在字幕显示时段内顺序更新的视差信息要插入到扩展显示控制数据单元的情况下添加以下标记信息。该标记信息是指示是否存在视差信息的更新的标记信息（参见图25中的“disparity_curve_no_update_flag”）。该标记信息被添加到每个基段时段（更新帧间隔）的每个帧。在这种情况下，如果其中视差信息在时间方向上的变化类似的时段持续，则可以使用该标记信息省略在该时段内视差信息的传输（参见已经添加图29中的“跳过”的基段的边缘），由此使得能够抑制视差信息的数据量。

并且，对于图2中所示的传输数据产生单元110，在字幕显示时段内顺序更新的视差信息要插入到扩展显示控制数据单元的情况下添加以下调整信息。该调整信息是用于调整基段时段（更新帧间隔）的调整信息（参见图25中的“shifting_interval_counts”）。在这种情况下，可以基于调整信息可选地在更短的方向或者更长的方向上调整基段时段。因此，视差信息的时间方向（帧方向）上的变化可以更正确地传递到接收侧（机顶盒200）（参见通过图29中的“取出因数”的调整）。

并且，对于图2中所示的传输数据产生单元110，将指定帧周期的信息插入到扩展显示控制数据单元（参见图24中的“interval_PTS[32..0]”）。因此，意在发送侧（广播站100）的视差信息的基段时段（更新帧间隔）可以正确地传递到接收侧（机顶盒200）。在不添加该信息的情况下，例如，在接收侧参考图像帧周期。

并且，对于图2中所示的传输数据产生单元110，指示在字幕显示时接收侧（解码器侧）必需的指示视差信息（视差）的对应性级别的信息包括在扩展显示控制数据单元中（参见图24中的“rendering_level”）。在这种情况下，由于此信息可以在接收侧控制关于视差信息的对应性。

并且，对于图2中所示的传输数据产生单元110，将指示是否与字幕的扩展显示兼容的1位标记信息（参见图17中的“advanced_rendering_version”）插入到字幕管理数据层。在接收侧，可以以这种方式基于位于管理信息层中的标记信息容易地理解是否与字幕的扩展显示兼容。

[机顶盒的描述]

返回到图1，机顶盒200接收从广播站100经由广播波发送的位流数据（传输流）BSD。该位流数据BSD包括立体图像数据和音频数据，该立体图像数据包括左眼图像数据和右眼图像数据。位流数据BSD也包括用于字幕单元的字幕数据，且进一步包括用于提供视差给字幕单元的视差矢量（视差信息）。

机顶盒200包括位流处理单元201。该位流处理单元201从位流数据BSD提取立体图像数据、音频数据、用于字幕单元的字幕数据、视差矢量等。该位流处理单元201使用立体图像数据、用于字幕单元的字幕数据等以产生具有叠加的字幕的左眼图像和右眼图像数据。

在这种情况下，可以基于视差矢量和字幕单元的字幕数据来产生要分别叠加在左眼图像和右眼图像上的用于左眼字幕和右眼字幕的数据。这里，左眼字幕和右眼字幕是相同字幕。但是，左眼字幕和右眼字幕的图像内的叠加位置以水平方向移位等效于视差矢量的量。由此，在左眼字幕和右眼字幕提供视差，由此使得字幕的识别的位置在图像的前景中。

图31（a）图示图像上的字幕单元（字幕）的显示示例。该显示示例是其中字幕叠加在由背景和近对象（closeup object）构成的图像上的示例。图31（b）图示字幕被识别为最近的背景、近对象和字幕的透视。

图32（a）图示与图31（a）相同的在图像上的字幕单元（字幕）的显示示例。图32（b）图示要叠加在左眼图像上的左眼字幕LGI和要叠加在右眼图像上的右眼字幕RGI。图32（c）图示在左眼字幕LGI和右眼字幕RGI之间给出视差以使得字幕将被识别为最近的。

[机顶盒的配置示例]

将描述机顶盒200的配置示例。图33图示机顶盒200的配置示例。该机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206和音频信号处理电路207。而且，该机顶盒200包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发射器216。

天线端子203是用于输入在接收天线（未示出）处接收的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并输出与用户选择的信道对应的预定位流数据（传输流）BSD。

如上所述，位流处理单元201从位流数据BSD提取立体图像数据、音频数据、用于字幕单元的字幕数据、视差矢量等。该位流处理单元201关于立体图像数据合成左眼字幕和右眼字幕的数据以产生用于显示和输出的立体图像数据。位流处理单元201还输出音频数据。将在之后描述位流处理单元201的详细配置。

视频信号处理电路205根据需要使得从位流处理单元201输出的立体图像数据经历图像质量调整处理等，并将在其处理之后的立体图像数据提供给HDMI发送单元206。音频信号处理电路207根据需要使得从位流处理单元201输出的音频数据经历音频质量调整处理等，并将在其处理之后的音频数据提供到HDMI发送单元206。

HDMI发送单元206通过符合HDMI的通信从HDMI端子202发送基带图像（视频）和音频的数据。在这种情况下，因为通过HDMI TMDS信道发送数据，所以图像数据和音频数据经历封装，且从HDMI发送单元206输出到HDMI端子202。

CPU 211控制机顶盒200的每个单元的操作。闪速ROM 212执行控制软件的存储和数据的存储。DRAM 213配置CPU 211的工作区。CPU 211将从闪速ROM 212读出的软件和数据加载到DRAM 213，并启动软件以控制机顶盒200的每个单元。

遥控接收单元215接收从遥控发射器216发送的遥控信号（遥控代码），并提供给CPU 211。CPU 211基于该遥控代码控制机顶盒200的每个单元。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。

将简要描述机顶盒200的操作。将输入到天线端子203的电视广播信号提供到数字调谐器204。通过该数字调谐器204，处理电视广播信号，且输出与用户选择的信道对应的预定位流数据（传输流）BSD。

将从数字调谐器204输出的位流数据BSD提供到位流处理单元201。通过该位流处理单元201，从位流数据BSD提取立体图像数据、音频数据、用于字幕单元的字幕数据、视差矢量等。在位流处理单元201，关于立体图像数据合成左眼字幕和右眼字幕的数据，且产生用于显示的立体图像数据。此时，在位流处理单元201，基于视差矢量在右眼字幕和左眼字幕之间提供视差。

将在位流处理单元201产生的、用于显示的立体图像数据提供到视频信号处理电路205。在该视频信号处理电路205处，根据需要关于输出的立体图像数据执行图像质量调整处理等。将从该视频信号处理电路205输出的处理之后的用于显示的立体图像数据提供到HDMI发送单元206。

并且，将在位流处理单元201处获得的音频数据提供到音频信号处理电路207。在音频信号处理电路207处，音频数据根据需要经历音频质量调整处理等。将从该音频信号处理电路207输出的处理之后的音频数据提供到HDMI发送单元206。然后将提供到HDMI发送单元206的立体图像数据和音频数据通过HDMI TMDS信道从HDMI端子202发送到HDMI线缆400。

[位流处理单元的配置示例]

图34图示位流处理单元201的配置示例。该位流处理单元201配置为对应于上述图2中所示的传输数据产生单元110。该位流处理单元201包括去复用器221、视频解码器222和字幕解码器223。而且，该位流处理单元201包括立体图像字幕产生单元224、视差信息提取单元225、视频叠加单元226、音频解码器227和视差信息处理单元228。

去复用器221从位流数据BSD提取视频、音频和字幕的分组，并发送给解码器。视频解码器222执行与如上所述的传输数据产生单元110的视频编码器113的处理相反的处理。就是说，从在去复用器221提取的视频分组重构视频基本流，且执行解码处理以获得包括左眼图像数据和右眼图像数据的立体图像数据。用于该立体图像数据的传输格式例如是上述第一传输格式（“上下”格式）、第二传输格式（“并排”格式）、第三传输格式（“帧顺序”格式）等（参见图4）。

字幕解码器223执行与如上所述的传输数据产生单元110的字幕编码器133的处理相反的处理。就是说，该字幕解码器223从在去复用器221提取的字幕的分组重构字幕基本流（字幕数据流），执行解码处理，并获得用于字幕单元的字幕数据（ARIB格式字幕数据）。

视差信息提取单元225从由字幕解码器223获得的字幕的流提取与每个字幕单元对应的视差矢量（矢量信息）。在这种情况下，获得每个字幕单元的视差矢量（单独视差矢量）或者各字幕单元公共的视差矢量（公共视差矢量）（参见图11到图12）。

如上所述，字幕数据流包括ARIB格式字幕（字幕单元）和视差信息（视差矢量）的数据。插入视差信息作为字幕数据的管理信息。因此，视差信息提取单元225可以以与每个字幕单元的字幕数据相关的方式提取视差矢量。

视差信息提取单元225获得在字幕显示时段期间公用的视差信息（参见图24中的“default_disparity”）。而且，该视差信息提取单元225还可以获得在字幕显示时段期间顺序更新的视差信息（参见图25中的“disparit_yupdate”）。将由视差信息提取单元225提取的视差信息（视差矢量）经由视差信息处理单元228发送到立体图像字幕产生单元224。如上所述，在字幕显示时段期间顺序更新的视差信息由字幕显示时段的第一帧的视差信息和每个后续基段时段（更新帧间隔）的帧的视差信息组成。

视差信息处理单元228将在字幕显示时段期间公用的视差信息发送到立体图像字幕产生单元224而没有任何变化。另一方面，关于在字幕显示时段期间顺序更新的视差信息，视差信息处理单元228使其经历内插处理，以字幕显示时段期间的任意帧间隔（例如，一个帧间隔）产生视差信息，并发送视差信息到立体图像字幕产生单元224。

视差信息处理单元228对于该内插处理执行涉及在时间方向（帧方向）上的低通滤波器（LPF）处理的内插处理，而不是线性内插处理，以使得在内插处理之后以预定帧间隔的视差信息的变化在时间方向（帧方向）上是平滑的。图35图示在视差信息处理单元228处的、涉及上述LPF处理的内插处理的示例。该示例对应于上述图29中的视差信息的更新示例。

立体图像字幕产生单元224产生要叠加在左眼图像和右眼图像中的每一个上的左眼字幕和右眼字幕的数据。基于由字幕解码器223获得的每个字幕单元的字幕数据以及经由视差信息处理单元228提供的视差信息（视差矢量）执行该产生处理。该立体图像字幕产生单元224然后输出左眼字幕和右眼字幕的数据（位图数据）。

在这种情况下，左眼和右眼字幕（字幕单元）是相同信息。但是，例如，在图像内左眼字幕和右眼字幕的叠加位置在水平方向上移位了等效于视差矢量的量。由此，根据图像内每个对象的透视经历视差调整的字幕可以用于要叠加在左眼图像和右眼图像上的相同字幕，且可以在该字幕显示中维持对于图像内每个对象在透视上的一致性。

现在，在仅从视差信息处理单元228发送在字幕显示时段期间公用的视差信息（视差矢量）的情况下，立体图像字幕产生单元224使用该视差信息。并且，在进一步从视差信息处理单元228发送在字幕显示时段期间顺序更新的视差信息的情况下，立体图像字幕产生单元224使用一个或另一个。例如，如上所述，使用哪个视差信息由在扩展显示控制数据单元中包括的、在接收侧（解码器侧）显示字幕必需的指示视差信息（视差）的相关性级别的信息（参见图24中的“rendering_level”）约束。在这种情况下，例如在“00”的情况下，应用用户设置。使用字幕显示时段期间顺序更新的视差信息使得能够结合图像内容的变化动态地改变应用于左眼和右眼的视差。

视频叠加单元226关于在视频解码器222获得的立体图像数据（左眼图像数据，右眼图像数据）叠加在立体图像字幕产生单元224产生的左眼和右眼字幕数据（位图数据），并获得显示立体图像数据Vout。视频叠加单元226然后从位流处理单元201外部地输出显示立体图像数据Vout。

并且，音频解码器227执行与上述传输数据产生单元110的音频编码器117的处理相反的处理。就是说，音频解码器227从在去复用器221提取的音频分组重构音频基本流，执行解码处理并获得音频数据Aout。音频解码器227然后从位流处理单元201外部地输出音频数据Aout。

将简要描述图34中所示的位流处理单元201的操作。将从数字调谐器204输出的位流数据BSD（参见图33）提供到去复用器221。在去复用器221，从位流数据BSD提取视频、音频和字幕的分组，并提供到解码器。

在视频解码器222重构来自在去复用器221提取的视频分组的视频基本流，且进一步经历解码处理，由此获得包括左眼图像数据和右眼图像数据的立体图像数据。将该立体图像数据提供到视频叠加单元226。

并且，在字幕解码器223，从在去复用器221提取的字幕分组重构字幕基本流，且进一步执行解码处理，由此获得用于字幕单元的字幕数据（ARIB格式字幕数据）。将该用于字幕单元的字幕数据提供到立体图像字幕产生单元224。

并且，对于视差信息提取单元225，从通过字幕解码器223获得的字幕流提取与各字幕单元对应的视差矢量（视差信息）。在这种情况下，视差信息提取单元225获得每个字幕单元的视差矢量（单独视差矢量）或者各字幕单元公共的视差矢量（公共视差矢量）。

并且，视差信息提取单元225获得在字幕显示时段期间公用的视差信息，或者与在字幕显示时段期间公用的视差信息一起获得在字幕显示时段期间顺序更新的视差信息。将在视差信息提取单元225提取的视差信息（视差矢量）通过视差信息处理单元228发送到立体图像字幕产生单元224。在视差信息处理单元228，关于在字幕显示时段期间顺序更新的视差信息执行以下处理。就是说，在视差信息处理单元228执行涉及在时间方向（帧方向）上的LPF处理的内插处理，由此以字幕显示时段期间的任意帧间隔（例如，一个帧间隔）产生视差信息，然后将该视差信息发送到立体图像字幕产生单元224。

在立体图像字幕产生单元224，基于字幕单元的字幕数据和与字幕单元对应的视差矢量产生分别要叠加在左眼图像和右眼图像上的左眼字幕和右眼字幕数据（位图数据）。在这种情况下，例如，右眼的字幕在图像内的叠加位置关于左眼字幕在水平方向上移位了等效于视差矢量的量。将该左眼字幕和右眼字幕数据提供到视频叠加单元226。

在视频叠加单元226，将在立体图像字幕产生单元224产生的左眼字幕和右眼字幕数据（位图数据）叠加到在视频解码器222获得的立体图像数据上，由此获得显示立体图像数据Vout。该显示立体图像数据Vout从位流处理单元201外部地输出。

并且，在音频解码器227，从在去复用器221提取的音频分组重构音频基本流，且进一步执行解码处理，由此获得与上面已经描述的、用于显示的立体图像数据Vout对应的音频数据Aout。该音频数据Aout从位流处理单元201外部地输出。

如上所述，对于图33中所示的机顶盒200，将用作字幕数据的管理信息的视差矢量（视差信息）插入在接收到的字幕数据流中，且将字幕数据和视差矢量相关。因此，对于位流处理单元201，可以使用对应的视差矢量（视差信息）向要叠加在左眼图像和右眼图像上的各字幕单元（各字幕）提供适当的视差。因此，在各字幕单元（各字幕）的显示中，与图像中的各对象在透视上的一致性可以维持在最优状态。

并且，对于图33中所示的机顶盒200，位流处理单元201的显示信息提取单元225获得在字幕显示时段期间公用的视差信息，或者与其一起获得在字幕显示时段期间顺序更新的视差信息。由于立体图像字幕产生单元224使用在字幕显示时段期间顺序更新的视差信息，可以结合图像内容的变化动态地改变要提供给左眼字幕和右眼字幕的视差。

并且，对于图33中所示的机顶盒200，位流处理单元201的视差信息处理单元228关于在字幕显示时段内顺序更新的视差信息执行内插处理，并产生字幕显示时段内任意帧间隔的视差信息。在这种情况下，即使以比如16帧等的每个基段时段（更新帧间隔）从发送侧（广播站100）发送视差信息的情况下，也可以以精细的间隔（例如，每个帧）控制要在左眼和右眼字幕之间提供的视差。

并且，对于图33中所示的机顶盒200，执行在位流处理单元201的视差信息处理单元228的内插处理，涉及时间方向（帧方向）上的低通滤波器处理。因此，即使以每个基段时段（更新帧间隔）从发送侧（广播站100）发送视差信息的情况下，时间方向上内插处理之后的视差信息的变化也可以是平滑的（参见图35）。因此，可以抑制在左眼和右眼字幕之间应用的视差的转变在每个更新帧间隔变得不连续的不自然感觉。

[电视接收机的描述]

返回到图1，电视接收机300接收经由HDMI线缆400从机顶盒200发送的立体图像数据。该电视接收机300包括3D信号处理单元301。该3D信号处理单元301使得立体图像数据经历与传输方法对应的处理（解码处理）以产生左眼图像数据和右眼图像数据。

[电视接收机的配置示例]

将描述电视接收机300的配置示例。图36图示电视接收机300的配置示例。该电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。

并且，该电视接收机300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大器电路311和扬声器312。并且，该电视接收机300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发射器326。

天线端子304是用于输入在接收天线（未示出）接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户选择的信道对应的预定位流数据（传输流）BSD。

位流处理单元306以与图33中所示的机顶盒200的位流处理单元201相同的方式配置。该位流处理单元306从位流数据BSD提取立体图像数据、音频数据、用于字幕单元的字幕数据、视差矢量等。并且，位流处理单元306将左眼字幕和右眼字幕的数据合成到立体图像数据上，从而产生具有在其上叠加的字幕的用于显示的立体图像数据，并输出。并且，位流处理单元306输出音频数据。

HDMI接收单元303通过符合HDMI的通信接收经由HDMI线缆400提供到HDMI端子302的未压缩的图像数据和音频数据。该HDMI接收单元303的版本例如是HDMI 1.4a，其处于可以处理立体图像数据的状态。

3D信号处理单元301使得在HDMI接收单元303接收或者在位流处理单元306获得的立体图像数据经历解码处理并产生左眼图像数据和右眼图像数据。3D信号处理单元301在这种情况下执行与在位流处理单元306获得的立体图像数据的传输数据格式（参见图4）对应的解码处理。并且，3D信号处理单元301执行与在HDMI接收单元303接收的立体图像数据的TMDS传输数据结构对应的解码处理。

视频/图形处理电路307基于在3D信号处理单元301产生的左眼图像数据和右眼图像数据产生用于显示立体图像的图像数据。并且，视频/图形处理电路307根据需要使得图像数据经历图像质量调整处理。并且，视频/图形处理电路307根据需要关于图像数据合成叠加信息的数据，比如菜单、节目列表等。面板驱动电路308基于从视频/图形处理电路307输出的图像数据驱动显示面板309。显示面板309例如由LCD（液晶显示器）、PDP（等离子显示面板）等配置。

音频信号处理电路310使得在HDMI接收单元303接收或者在位流处理单元306获得的音频数据经历必要的处理，比如D／A转换等。音频放大器电路311放大从音频信号处理电路310输出的音频信号，提供给扬声器312。

CPU 321控制电视接收机300的每个单元的操作。闪速ROM 322执行控制软件的存储和数据的存储。DRAM 323构成CPU 321的工作区。CPU 321将从闪速ROM 322读出的软件和数据加载到DRAM 323，启动软件，并控制电视接收机300的每个单元。

遥控单元325接收从遥控发射器326发送的遥控信号（遥控代码），并提供给CPU 321。CPU 321基于该遥控代码控制电视接收机300的每个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。

将简要地描述图36中图示的电视接收机300的操作。HDMI接收单元303经由HDMI线缆400接收从连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。在该HDMI接收单元303接收的该立体图像数据被提供到3D信号处理单元301。并且，在该HDMI接收单元303接收的音频数据被提供到音频信号处理电路310。

将输入到天线端子304的电视广播信号提供到数字调谐器305。通过该数字调谐器305，处理电视广播信号，且输出与用户选择的信道对应的预定位流数据（传输流）BSD。

将从数字调谐器305输出的位流数据BSD提供到位流处理单元306。通过该位流处理单元306，从位流数据提取立体图像数据、音频数据、用于字幕单元的字幕数据、视差矢量等。并且，通过该位流处理单元306，关于立体图像数据合成左眼字幕和右眼字幕的数据，并产生显示立体图像数据。

将在位流处理单元306产生的显示立体图像数据提供到3D信号处理单元301。并且，将在位流处理单元306获得的音频数据提供到音频信号处理电路310。

通过3D信号处理单元301，在HDMI接收单元303接收的立体图像数据或者在位流处理单元306获得的立体图像数据经历解码处理，且产生左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供到视频/图形处理电路307。在该视频/图形处理电路307，基于左眼图像数据和右眼图像数据产生用于显示立体图像的图像数据，并根据需要执行图像质量调整处理和叠加的信息数据的合成处理。

将在该视频/图形处理电路307获得的图像数据提供到面板驱动电路308。因此，在显示面板309上显示立体图像。例如，以时间共享方式在显示面板309上交替地显示根据左眼图像数据的左眼图像和根据右眼图像数据的右眼图像。观看者可以仅通过左眼观看左眼图像和仅通过右眼观看右眼图像，且因此可以通过佩戴快门眼镜感觉到立体图像，在快门眼镜中与显示面板309的显示同步地交替地打开左眼快门和右眼快门。

并且，在音频信号处理电路310，在HDMI接收单元303接收或者在位流处理单元306获得的音频数据经历必要的处理，比如D／A转换等。在音频放大器电路311放大该音频数据，随后提供到扬声器312。因此，从扬声器312输出与显示面板309的显示图像对应的音频。

<2.修改>

注意，对于上述实施例，立体图像显示系统10已经图示为由广播站100、机顶盒200和电视接收机300配置。但是，电视接收机300具有以与机顶盒200内的位流处理单元201相同的方式工作的位流处理单元306，如图36所示。因此，可想到由广播站100和电视接收机300配置的立体图像显示系统10A，如图37所示。

并且，对于上述实施例，已经图示了其中从广播站100广播包括立体图像数据（位流数据）的数据流的示例。但是，本发明可以类似地应用于其中数据流使用比如因特网等的网络分发到接收终端的配置的系统。

并且，对于上述实施例，已经图示了其中机顶盒200和电视接收机300通过HDMI数字接口连接的示例。但是，本发明可以类似地应用于其中通过类似于HDMI数字接口的数字接口连接的情况（除线缆连接之外，还包括无线连接）。

并且，对于上述实施例，已经图示了其中各字幕单元（各字幕）处理为叠加信息的示例。但是，本发明可以类似地应用于其中也处理比如其他图形信息、文本信息等叠加信息的布置。

工业应用性

本发明可应用于能够在图像上显示比如字幕的叠加信息的立体图像系统。

附图标记列表

10，10A 立体图像显示系统

100 广播站

110 传输数据产生单元

113 视频编码器

117 音频解码器

122 复用器

130 数据提取单元

130a 数据记录介质

131 视差信息创建单元

132 字幕产生单元

133 字幕编码器

200 机顶盒（STB)

201 位流处理单元

202 HDMI端子

203 天线端子

204 数字调谐器

205 视频信号处理电路

206HDMI 发送单元

207 音频信号处理电路

211 CPU

215 遥控接收单元

216 遥控发射器

221 去复用器

222 视频解码器

223 字幕解码器

224 立体图像字幕产生单元

225 视差信息提取单元

226 视频叠加单元

227 音频解码器

228 视差信息处理单元

300 电视接收机（TV)

3013D 信号处理单元

302HDMI 端子

303HDMI 接收器

304 天线端子

305 数字调谐器

306 位流处理单元

307 视频/图形处理电路

308 面板驱动电路

309 显示面板

310 音频信号处理电路

311 音频放大电路

312 扬声器

321 CPU

325 遥控接收单元

326 遥控发送单元

400HDMI 线缆

Claims (16)

1.一种立体图像数据发送装置，包括：

图像数据输出单元，配置为输出配置立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，配置为输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息的数据；

视差信息输出单元，配置为输出用于通过移位要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息来提供视差的视差信息；和

数据发送单元，配置为发送具有包括所述图像数据的第一数据流以及包括所述叠加信息的数据和所述视差信息的第二数据流的复用数据流；

其中，所述第二数据流具有用于发送用作所述叠加信息的管理信息的显示控制信息的数据单元；

且其中，所述视差信息插入所述数据单元中。

2.根据权利要求1的立体图像数据发送装置，其中，所述视差信息是在其期间显示所述叠加信息的预定数目的帧时段内公用的第一视差信息，或者所述第一不一致性信息和在所述预定数目的帧时段内顺序更新的第二视差信息；

且其中，指示所述第二视差信息的存在的标记信息插入所述数据单元中。

3.根据权利要求2的立体图像数据发送装置，其中，所述第二视差信息由所述预定数目的帧时段中的第一帧的视差信息和每个后续更新帧间隔的帧的视差信息组成。

4.根据权利要求3的立体图像数据发送装置，其中，所述第二视差信息已经对于所述每个更新帧间隔的每个帧，向其添加了指示是否存在所述视差信息的更新的标记信息。

5.根据权利要求3的立体图像数据发送装置，其中，所述第二视差信息已经对于所述每个更新帧间隔的每个帧，向其添加了用于调整所述更新帧间隔的信息。

6.根据权利要求3的立体图像数据发送装置，其中，所述数据单元具有指定插入到其的帧周期的信息。

7.根据权利要求1的立体图像数据发送装置，其中，插入所述数据单元中的视差信息是与在同一屏幕上显示的特定叠加信息对应的视差信息，或者与在同一屏幕上显示的多个叠加信息对应的视差信息。

8.根据权利要求2的立体图像数据发送装置，其中，所述数据单元已经在其中插入了在显示所述叠加信息时必需的指示关于所述视差信息的对应性级别的信息。

9.根据权利要求1的立体图像数据发送装置，其中，所述第二数据流在所述管理信息的层中包括指示所述第二数据流是否对应于所述叠加信息的扩展显示的标记信息。

10.根据权利要求1的立体图像数据发送装置，其中，所述叠加信息的数据是ARIB格式字幕文本数据；

且其中，在所述第二数据流中，所述视差信息插入字幕管理数据中包括的所述显示控制信息的数据单元中。

11.一种立体图像数据发送方法，包括：

图像数据输出步骤，输出配置立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出步骤，输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息的数据；

视差信息输出步骤，输出用于通过移位要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息来提供视差的视差信息；和

数据发送步骤，发送具有包括所述图像数据的第一数据流以及包括所述叠加信息的数据和所述视差信息的第二数据流的复用数据流；

其中，所述第二数据流具有用于发送用作所述叠加信息的管理信息的显示控制信息的数据单元；

且其中，所述视差信息插入所述数据单元中。

12.一种立体图像数据接收装置，包括：

数据接收单元，配置为接收具有第一数据流和第二数据流的复用数据流；

其中，所述第一数据流包括配置立体图像的左眼图像数据和右眼图像数据；

且其中，所述第二数据流包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息的数据，和用于通过移位要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息来提供视差的视差信息；

且其中，所述第二数据流具有用于发送用作所述叠加信息的管理信息的显示控制信息的数据单元，且所述视差信息插入所述数据单元中；

以及进一步包括

图像数据获得单元，配置为从所述复用数据流中包括的所述第一数据流获得所述左眼图像数据和所述右眼图像数据；

叠加信息数据获得单元，配置为从所述复用数据流中包括的所述第二数据流获得所述叠加信息的数据；

视差信息获得单元，配置为从所述复用数据流中包括的所述第二数据流获得所述视差信息；以及

图像数据处理单元，配置为使用所述左眼图像数据和所述右眼图像数据、所述视差信息和所述叠加信息的数据，向要叠加在左眼图像和右眼图像上的同一叠加信息提供视差，由此获得其上已经叠加所述叠加信息的左眼图像的数据和其上已经叠加所述叠加信息的右眼图像的数据。

13.根据权利要求12的立体图像数据接收装置，其中，插入所述数据单元中的视差信息是在其期间显示所述叠加信息的预定数目的帧时段内顺序更新的视差信息，且由所述预定数目的帧时段中的第一帧的视差信息和每个后续更新帧间隔的帧的视差信息组成。

14.根据权利要求13的立体图像数据接收装置，其中，所述图像数据处理单元关于组成在所述预定数目的帧时段内顺序更新的视差信息的多个帧的视差信息执行内插处理，并产生和使用所述预定数目的帧时段内任意帧间隔的视差信息。

15.根据权利要求14的立体图像数据接收装置，其中，所述内插处理涉及在时间方向上的低通滤波器处理。

16.一种立体图像数据接收方法，包括：

数据接收步骤，配置为接收具有第一数据流和第二数据流的复用数据流；

其中，所述第一数据流包括配置立体图像的左眼图像数据和右眼图像数据；

且其中，所述第二数据流包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息的数据，和用于通过移位要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息来提供视差的视差信息；

且其中，所述第二数据流具有用于发送用作所述叠加信息的管理信息的显示控制信息的数据单元，且所述视差信息插入所述数据单元中；

以及进一步包括

图像数据获得步骤，配置为从所述复用数据流中包括的所述第一数据流获得所述左眼图像数据和所述右眼图像数据；

叠加信息数据获得步骤，配置为从所述复用数据流中包括的所述第二数据流获得所述叠加信息的数据；

视差信息获得步骤，配置为从所述复用数据流中包括的所述第二数据流获得所述视差信息；以及

图像数据处理步骤，配置为使用所述左眼图像数据和所述右眼图像数据、所述视差信息和所述视差信息的数据，向要叠加在左眼图像和右眼图像上的同一叠加信息提供视差，由此获得其上已经叠加所述叠加信息的左眼图像的数据和其上已经叠加所述叠加信息的右眼图像的数据。

Images