CN103370942A - 发送设备、发送方法以及接收设备 - Google Patents

Abstract

配置一种3D接收设备，以便精确地获得冗余信息数据和对应的视差信息。复用的数据流被提供有包含冗余信息数据的第一私有数据流（2D流）和包含视差信息的第二私有数据流（3D扩展流）。在复用的数据流中插入用于将第一私有数据流和第二私有数据流与复用的数据流相关联的关联信息。例如，将对描述属于两个流的信息的描述符之间共享的识别信息被阐述为关联信息。基于该关联信息，接收侧上的3D接收设备能够有效并精确地提取和解码两个流。

Description

发送设备、发送方法以及接收设备

技术领域

本技术涉及一种发送设备、发送方法以及接收设备。具体地，本技术涉及一种与包括左眼图像数据和右眼图像数据的立体图像数据一起发送叠加信息和视差信息的数据的发送设备。

背景技术

例如，在专利文件1中，已经提出了一种使用电视广播波的立体图像数据的传输系统。在该传输系统中，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且执行使用双眼视差的立体图像显示。

图79图示了屏幕上的对象（主体）的水平显示位置与使用双眼视差的立体图像显示中其立体图像的再现位置之间的关系。例如，对于如在图中的屏幕上图示的、其左眼图像La被显示为向右侧移位并且右眼图像Ra被显示为向左侧移位的对象A，左视线和右视线在比屏幕表面靠前的一侧彼此相交，所以立体图像的再现位置位于比屏幕表面更靠前的一侧。DPa表示沿与对象A相关的水平方向上的视差矢量。

此外，例如，对于如在图中的屏幕上图示的、其左眼图像Lb和右眼图像Rb被显示在相同位置的对象B，左视线和右视线在屏幕表面上彼此相交，所以立体图像的再现位置在屏幕表面上。另外，例如，对于如在图中的屏幕上图示的、其左眼图像Lc被显示为向左侧移位并且右眼图像Rc被显示为向右侧移位的对象C，左视线和右视线在比屏幕表面更靠内的一侧彼此相交，所以立体图像的再现位置位于比屏幕表面更靠内的一侧。DPc表示沿与对象C相关的水平方向上的视差矢量。

引用列表

专利文档

专利文件1：日本专利公开No.2005-6114

发明内容

本发明要解决的问题

如上所述，当显示立体图像时，观看者通常利用双眼视差而感觉到立体图像的立体感觉。希望利用三维（3D）空间中的深度感觉以及二维（2D）空间、与立体图像显示相结合地渲染诸如子标题的叠加图像的叠加信息。例如，当将子标题显示为叠加图像（与图像重叠）时，如果在立体感觉方面没有将子标题显示在最近图像内的对象前，则观看者可能感到立体感觉中的不一致。

在该方面，可以考虑如下的技术：即将左眼图像和右眼图像数据之间的视差信息与叠加信息的数据一起发送，并且接收侧使得在左眼叠加信息和右眼叠加信息之间出现视差。在能够显示立体图像的接收侧，视差信息是有意义的信息。当广播站通过各个私有数据流（PES流）来发送叠加信息和视差信息的数据时，具有3D功能的接收设备需要容易地识别两个PES流的存在，并且与叠加信息的数据一起获取相应的视差信息。

本技术旨在使得具有3D功能的接收设备能够与叠加信息的数据一起适当地获取相应的视差信息。

对问题的解决方案

本技术的构思是一种发送设备，包括：

图像数据输出单元，所述图像数据输出单元输出构造立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，所述叠加信息数据输出单元基于所述左眼图像数据和所述右眼图像数据来输出叠加到图像的叠加信息的数据；

视差信息输出单元，所述视差信息输出单元输出基于所述左眼图像数据和所述右眼图像数据对叠加到所述图像的所述叠加信息进行移位并且使得出现视差的视差信息；以及

数据发送单元，所述数据发送单元发送复用的数据流，所述复用的数据流包含包括所述图像数据的视频数据流、包括所述叠加信息的数据的第一私有数据流和包括所述视差信息的第二私有数据流，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息。

在本技术中，图像数据输出单元输出构造立体图像的左眼图像数据和右眼图像数据。叠加信息数据输出单元基于左眼图像数据和右眼图像数据输出叠加图像的叠加信息的数据。这里，叠加信息是叠加到图像的诸如子标题、图形或文本的信息。视差信息输出单元输出基于左眼图像数据和右眼图像数据对叠加图像的叠加信息进行移位并且使得出现视差的视差信息。

数据发送单元发送复用的数据流。复用的数据流包含包括图像数据的视频数据流、包括叠加信息的数据的第一私有数据流和包括视差信息的第二私有数据流。在复用的数据流中包括将第一私有数据流与第二私有数据流相关联的关联信息。

在本技术中，例如，可以将对描述与第一私有数据流相关的信息的第一描述符和描述与第二私有数据流相关的信息的第二描述符是公共的识别信息描述为关联信息。在该情况下，可以通过表示存在第一私有数据流和第二私有数据流的特定值来定义公共识别信息。

另外，在本技术中，复用的数据流可以包括与多个语言服务中的每一个相对应的第一私有数据流和第二私有数据流，并且可以将与各语言服务相对应的多条公共的识别信息设置为彼此不同。因而，即使在多语言服务中，在接收侧具有3D功能的接收设备也可以适当地提取并解码对于每个语言服务彼此相关联的第一私有数据流和第二私有数据流。

另外，在本技术中，例如，叠加信息的数据可以是DVB格式的子标题数据，并且可以在与第一私有数据流相对应的第一子标题描述符和与第二私有数据流相对应的子标题描述符中描述公共的组成页ID。

另外，在本技术中，例如，可以在第一描述符和第二描述符中描述语言信息，并且可以将第二描述符中描述的语言信息设置为表示非语言。在该情况下，例如，表示非语言的语言信息可以是在表示ISO语言代码的“zxx”或“qaa”至“qrz”的空间中包括的语言代码中的任何一个。因而，具有遗留2D功能的接收设备可以防止提取和解码包括视差信息的第二私有数据流，并且防止视差信息干扰接收过程。

如上所述，在本技术中，在复用的数据流中包括将第一私有数据流与第二私有数据流相关联的关联信息。因而，在接收侧具有3D功能的接收设备可以有效并适当地基于关联信息来提取和解码彼此相关联的第一私有流和第二私有数据流。

另外，在本技术中，例如，可以将对描述与第一私有数据流相关的信息的第一描述符和描述与第二私有数据流相关的信息的第二描述符是公共的识别信息描述为关联信息，并且可以在第一描述符和第二描述符中描述表示用于立体图像显示的信息的类型信息。例如，叠加信息的数据可以是DVB格式的子标题数据，并且类型信息可以是子标题类型信息。

在该情况下，尽管描述了表示用于立体图像显示的信息的类型信息，但是由于在第一私有数据流中不包括视差信息，所以在接收侧具有3D功能的接收设备可以识别包括视差信息的第二私有数据流，基于公共识别信息来搜索包括视差信息的第二私有数据流，并且解码包括视差信息的第二私有数据流。

另外，在本技术中，例如，可以在复用的数据流中包括描述用于将第一私有数据流与第二私有数据流相链接的专用链接信息的描述符。例如，描述符可以是描述专用链接信息的专用描述符。替选地，可以扩展现有的描述符以描述关联信息。在该情况下，描述符包括分别与第一私有数据流和第二私有数据流相对应的第一描述符和第二描述符，以及描述了对第一描述符和第二描述符是公共的识别信息。

本技术的另一个构思是一种接收设备，包括：

数据接收单元，所述数据接收单元接收复用的数据流，所述复用的数据流包含包括构造立体图像的左眼图像数据和右眼图像数据的视频数据流、包括基于所述左眼图像数据和所述右眼图像数据叠加图像的叠加信息的数据的第一私有数据流、以及包括基于所述左眼图像数据和所述右眼图像数据对叠加所述图像的所述叠加信息进行移位并且使得出现视差的视差信息的第二私有数据流；

第一解码单元，所述第一解码单元从所述复用的数据流中提取所述视频数据流并且对所述视频数据流进行解码；以及

第二解码单元，所述第二解码单元从所述复用的数据流中提取所述第一私有数据流和所述第二私有数据流，并且对所述第一私有数据流和所述第二私有数据流进行解码，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息，以及

所述第二解码单元基于所述关联信息从所述复用的数据流中提取所述第一私有数据流和所述第二私有数据流。

在本技术中，数据接收单元接收包括视频数据流、第一私有数据流和第二私有数据流的复用的数据流。另外，第一解码单元从复用的数据流中提取所述视频数据流，并且对所述视频数据流进行解码。另外，第二解码单元从所述复用的数据流中提取所述第一私有数据流和所述第二私有数据流，并且对所述第一私有数据流和所述第二私有数据流进行解码。

这里，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息。因而，所述第二解码单元可以基于所述关联信息来适当地提取和解码彼此相关联的所述第一私有数据流和所述第二私有数据流，以及获取与其相对应的叠加信息和视差信息的数据。

发明效果

根据本技术，具有3D功能的接收设备可以与叠加信息一起容易地获取相对应的视差信息。

附图说明

图1是图示根据本发明的实施例的图像收发系统的构造示例的框图。

图2是图示在广播站中的发送数据生成单元的构造示例的框图。

图3是图示1920×1080的像素格式的图像数据的图。

图4是描述作为立体图像数据（3D图像数据）的传输格式的“上下”格式、“并排”格式和“帧顺序”格式的图。

图5是用于描述检测右眼图像到左眼图像的视差矢量的示例的图。

图6是用于描述通过块匹配方法获得的视差矢量的图。

图7是图示当将每个像素的视差矢量的值用作每个像素的亮度值时图像的示例的图。

图8是图示每个块的视差矢量的示例的图。

图9是用于描述由发送数据生成单元的视差信息创建单元执行的缩减（downsizing）过程的图。

图10是图示在子标题数据中在屏幕上定义的区域和在该区域中定义的子区域的示例的图。

图11是图示在传送流TS中包括的2D流和3D扩展流的构造的图。

图12是用于描述在2D流（PES1（1）：PES#1）和3D扩展流（PES2（2）：PES#2）的PES报头中包括的时间戳（PTS）值的关联的图。

图13是图示其中将2D流和3D扩展流的时间戳（PTS）值设置为彼此不同的值的示例的图。

图14是图示其中将2D流和3D扩展流的时间戳（PTS）值设置为彼此不同的值的另一示例的图。

图15是图示包括2D流和3D扩展流的传送流TS的构造示例的图。

图16是图示构造子标题数据的PCS（page_composition_segment，页组成分段）的结构的图。

图17是图示在“segment_type（分段类型）”的每个值和分段类型之间的对应关系的图。

图18是用于描述表示新定义的3D子标题的格式的信息（comonent_type=0×15,0×25）的图。

图19是图示提取在传送流中包括的子标题描述符（subtitling_descriptor）和组件描述符（component_descriptor）的图。

图20是图示提取在传送流中包括的PES流（2D流和3D扩展流）的图。

图21是图示将在作为ISO语言代码的“qaa”至“qrz”的空间中包括的语言代码中的任何一个用作表示非语言的ISO语言代码的图。

图22是图示ISO语言代码（ISO639-2代码）列表的概念的图。

图23是图示子标题数据流（2D流和3D扩展流）的流构造示例的图。

图24是图示组件描述符（component_descriptor）的句法的示例的图。

图25是图示子标题（subtitling_descriptor）的句法的示例的图。

图26是图示其中使用间隔时间段来更新视差信息的示例的图，其中间隔时间段是固定的，并且该时间段等于更新时间段。

图27是图示使用间隔时间段来更新视差信息的示例的图，其中将短时间段用作该间隔时间段。

图28是图示3D扩展流的构造示例的图。

图29是图示当依序发送DSS分段时视差信息的更新示例的图。

图30是图示其中通过多个用作单位时间的间隔时间段（ID：间隔持续）来表示更新帧间隔的视差信息（视差）的更新示例的图。

图31是图示其中在页区域（用于Page_default的Area）中包括用作子标题显示区域的两个区域的子标题的显示示例的图。

图32是图示当在DSS分段中包括区域单元的视差信息和包括所有区域的页单元的视差信息两者作为要在子标题显示时间段中依序更新的视差信息时每个区域和页的视差信息曲线的示例的图。

图33是图示其中发送页和每个区域的视差信息的结构的图。

图34是图示DSS的句法的示例的图（1/3）。

图35是图示DSS的句法的示例的图（2/3）。

图36是图示DSS的句法的示例的图（3/3）。

图37是图示指定DSS的内容（语义）的主要数据的图（1/4）。

图38是图示指定DSS的内容（语义）的主要数据的图（2/4）。

图39是图示指定DSS的内容（语义）的主要数据的图（3/4）。

图40是图示指定DSS的内容（语义）的主要数据的图（4/4）。

图41是图示当机顶盒和电视接收机是具有3D功能的设备时广播接收概念的图。

图42是图示当机顶盒和电视接收机是具有遗留2D功能的设备时广播接收概念的图。

图43是图示当接收机是具有遗留2D功能的设备（2D接收机）以及具有3D功能的设备（3D接收机）时广播接收概念的图。

图44是图示当提供双语言服务时子标题数据流（2D流和3D扩展流）的流构造示例的图。

图45是图示当提供双语言服务时传送流TS的构造示例的图。

图46是图示当将3D扩展流用作辅助页时子标题数据流（2D流和3D扩展流）的流构造示例的图。

图47是图示当将3D扩展流用作辅助页时传送流TS的构造示例的图。

图48是用于描述当执行3D服务确定时的信息的图。

图49是图示在接收机（机顶盒）中3D服务确定过程的示例的流程图。

图50是图示在接收机（机顶盒）中3D服务确定过程的另一示例的流程图。

图51是示意地图示当确定服务是3D服务时接收机（机顶盒）的过程流的流程图。

图52是图示3D PES流（3D流）的构造示例的图。

图53是图示在图像上的子标题（图形信息）和背景、近景对象和子标题的立体感觉的显示示例的图。

图54是图示在图像上的子标题、以及用于显示子标题的左眼子标题LGI和右眼子标题RGI的显示示例的图。

图55是图示构造图像收发系统的机顶盒的构造示例的框图。

图56是图示构造机顶盒的位流处理单元的构造示例（3D支持）的框图。

图57是图示用于将2D流与3D扩展流相关联的多解码描述符的句法的示例的框图。

图58是图示构造图像收发系统的电视接收机的构造示例的框图。

图59是图示当将2D流的“subtitling_type（子标题类型）”设置为3D时子标题数据流（2D流和3D扩展流）的流构造示例的框图。

图60是图示当将2D流的“subtitling_type”设置为3D时传送流的构造示例的框图。

图61是图示当提供双语言服务时子标题数据流（2D流和3D扩展流）的流构造示例的框图。

图62是示意地图示当将服务确定为3D服务时接收机（机顶盒）的过程流的流程图。

图63是图示当通过特定值（special_valueA）来定义组成页ID时子标题数据流（2D流和3D扩展流）的流构造示例的框图。

图64是图示当通过特定值（special_valueA）来定义组成页ID时传送流的构造示例的图。

图65是图示当提供双语言服务时子标题数据流（2D流和3D扩展流）的流构造示例的框图。

图66是示意地图示当将服务确定为3D服务时接收机（机顶盒）的过程流的流程图。

图67是图示当在描述符中描述用于链接3D扩展流的专用信箱（链接信息）时子标题数据流（2D流和3D扩展流）的流构造示例的图。

图68是图示流关联ID描述符的句法的示例的图。

图69是图示在流关联ID描述符的句法示例中的主信息的内容（语义）的图。

图70是图示扩展的组件描述符的句法的示例的图。

图71是图示在扩展的组件描述符的句法示例中的主要信息的内容（语义）的图。

图72是图示当在描述符中描述用于链接3D扩展流的专用信息（链接信息）时传送流TS的构造示例的图。

图73是图示当提供双语言服务时子标题数据流（2D流和3D扩展流）的流构造示例的图。

图74是图示当提供双语言服务时传送流TS的构造示例的图。

图75是示意地图示当将服务确定为3D服务时接收机（机顶盒）的过程流的流程图。

图76是图示构造图像收发系统的机顶盒的另一构造示例的框图。

图77是图示构造图像收发系统的电视接收机的另一构造示例的框图。

图78是图示图像收发系统的另一构造示例的框图。

图79是当使用双眼视差来显示立体图像时在屏幕上的对象的左图像和右图像的显示位置与立体图像的再现位置之间的关系的图。

具体实施方式

下面，将描述具体实施方式（下面称为“实施例”）。将以下面的次序呈现描述：

1.实施例

2.修改的示例

<实施例>

[图像收发系统的构造示例]

图1图示了根据实施例的图像收发系统10的构造示例。图像收发系统10包括广播站100、机顶盒（STB）200和电视接收机（TV）300。

机顶盒200通过HDMI（高清多媒体接口）的数字接口与电视接收机300相连接。机顶盒200使用HDMI线缆400与电视接收机300相连接。HDMI端子202被布置在机顶盒200中。HDMI端子302被布置在电视接收机300中。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，并且HDMI线缆400的另一端连接到电视接收机300的HDMI端子302。

[广播站的描述]

广播站100通过广播波发送传送流TS。广播站100包括生成传送流TS的发送数据生成单元110。传送流TS包括图像数据、音频数据、叠加信息的数据、视差信息等。这里，图像数据（下面被适当地称为“立体图像数据”）包括构造立体图像的左眼图像数据和右眼图像数据。立体图像数据具有预先确定的传输格式。叠加信息通常是指子标题、图形信息、文本信息等，但是在本实施例中是指子标题。

“发送数据生成单元的构造示例”

图2图示了在广播站100中的发送数据生成单元110的构造示例。

发送数据生成单元110通过与作为现有的广播标准之一的数字视频广播（DVB）方案兼容的数据结构来发送视差信息（视差矢量）。

发送数据生成单元110包括数据提取单元111、视频编码器112和音频编码器113。发送数据生成单元110进一步包括子标题生成单元114、视差信息创建单元115、子标题处理单元116、子标题编码器118和复用器119。

例如，数据记录介质111a被可拆卸地安装到数据提取单元111。在数据记录介质111a中，音频数据和视差信息与包括左眼图像数据和右眼图像数据的立体图像数据被相关联地记录。数据提取单元111从数据记录介质111a中提取立体图像数据、音频数据、视差信息等。数据记录介质111a的示例包括盘形记录介质和半导体存储器。

记录在数据记录介质111a中的立体图像数据是预先确定的传输格式的立体图像数据。将描述立体图像数据（3D图像数据）的传输格式的示例。这里，将描述第一至第三传输格式，但是可以使用任何其他传输格式。这里，将描述其中左眼（L）图像数据和右眼（R）图像数据中的每一个是具有预先确定的分辨率（例如图3中图示的1920×1080）的像素格式的图像数据作为示例。

第一传输格式是上下（top-and-bottom）格式，并且是如图4（a）中所示的其中在垂直方向的前一半中发送左眼图像数据的每一行的数据，并且在垂直方向的后一半中发送右眼图像数据的每一行的数据的格式。在这样的情况下，由于将左眼图像数据的行和右眼图像数据的行变薄为1/2，所以垂直分辨率变为原始信号的一半。

第二传输格式是并排（side-by-side）格式，并且是如图4（b）中所示的其中在水平方向的前一半中发送左眼图像数据的像素数据，并且在水平方向的后一半中发送右眼图像数据的像素数据的格式。在这样的情况下，在水平方向上将左眼图像数据和右眼图像数据中的每一个的像素数据变薄为1/2。水平分辨率变为原始信号的一半。

第三传输格式是帧顺序（frame sequential）格式或L/R非交织格式，并且是如图4（c）中所示的以帧为单位依序切换和发送左眼图像数据和右眼图像数据的格式。

该格式包括全帧格式或与2D格式服务兼容的格式。

例如，记录在数据记录介质111a中的视差信息是指构造图像的每个像素的视差矢量。将描述检测视差矢量的示例。这里，将描述其中检测右眼图像关于左眼图像的视差矢量的示例。如图5中所示，将左眼图像设置为检测图像，并且将右眼图像设置为参考图像。在该示例中，检测在位置（xi，yi）和（xj，yj）处的视差矢量。

将描述其中检测在位置（xi，yi）处的视差矢量的情况作为示例。在该情况下，在左眼图像中，将位于位置（xi，yi）处的像素设置为左上侧，并且例如设置4×4、8×8或16×16的像素块（视差检测块）Bi。然后，在右眼图像中，搜索与像素块Bi匹配的像素块。

在这样的情况下，在右眼图像中，设置以位置（xi，yi）为其中心的搜索范围，并且将该搜索范围内的各像素依序设置为感兴趣的像素，并且依序设置与上述的像素块Bi相同的例如4×4、8×8或16×16的像素块。

计算像素块Bi和依序设置的比较块的对应各像素之间的差的绝对值的和。这里，如图6中所示，当像素块Bi的像素值是L（x，y）并且比较块的像素值是R（x，y）时，将像素块Bi和特定比较块之间的差的绝对值之和表示为∑|L(x,y)-R(x,y)|。

当在右眼图像中设置的搜索范围中包括n个像素时，最终获得n个和S1至Sn，并且从它们中选择最小和Smin。然后，可以从自其获得和Smin的比较块获得位于左上侧的像素的位置（xi’，yi’）。因此，将在位置（xi，yi）处的视差矢量检测为（xi’-xi，yi’-yi）。尽管将不呈现详细描述，但是也对于在位置（xj，yj）处的视差矢量，将位于位置（xj，yj）处的像素设置为作为图像中的左上侧，并且设置例如4×4、8×8或16×16的像素块Bj，使得可以按类似过程检测视差矢量。

返回图2，视频编码器112使用MPEG4、MPEG2、VC-1等对从数据提取单元111提取的立体图像数据进行编码，并且生成视频数据流（视频基本流）。音频编码器113使用AC3、AAC等对从数据提取单元111提取的音频数据进行编码，并且生成音频数据流（音频基本流）。

子标题生成单元114生成子标题数据，其是DVB（数字视频广播）的子标题数据。子标题数据是2D子标题数据。子标题生成单元114构造叠加信息数据输出单元。

视差信息创建单元115对从数据提取单元111提取的每个像素或多个像素的视差矢量（水平方向的视差矢量）执行缩减过程，并且生成如下的每层的视差信息。视差信息不必必须由视差信息创建单元115来生成，并且可以从外部单独地提供。

图7图示了在如每个像素的亮度值给定的相关深度方向上的数据的示例。这里，可以通过预先确定的转换将相关深度方向上的数据处理为每个像素的视差矢量。在该示例中，人体部分具有高亮度值。这意味着人体部分具有较大的矢量值，因而意味着在立体图像显示中人体部分被识别为处于突出状态。另外，在该示例中，背景部分具有较小的亮度值。这意味着背景部分具有较小的视差矢量值，因而意味着在立体图像显示中背景部分被识别为凹陷状态。

图8图示了每个块的视差矢量的示例。块对应于在位于最低层的像素之上的层。对块进行构造，使得沿水平方向和垂直方向将图像（图片）区域划分成预先确定的大小。例如，将在块中存在的所有像素的视差矢量当中具有最大值的视差矢量选择为每个块的视差矢量。在该示例中，通过箭头来表示每个块的视差矢量，并且箭头的大小对应于视差矢量的大小。

图9图示了由视差信息创建单元115执行的缩减过程的示例。首先，如图9（a）中所示，视差信息创建单元115使用每个像素的视差矢量获得每个块的有符号的视差矢量。如上所述，块对应于在位于最低层的像素之上的层，并且通过沿水平方向和垂直方向将图像（图片）区域划分成预先确定的大小来构造。然后，例如，将在块中存在的所有像素的视差矢量当中具有最小值的视差矢量或具有其绝对值是最低的负值的视差矢量选择为每个块的视差矢量。

接下来，如图9（b）中所示，视差信息创建单元115使用每个块的视差矢量获得每个组（块组）的视差矢量。组对应于块的上层，并且通过将多个相邻块分组到一起来获得。在图9（b）的示例中，每个组被构造有由通过虚框划界的4个块。然后，例如，将在对应组的所有块的视差矢量当中具有最小值的视差矢量或具有其绝对值是最低的负值的视差矢量选择为每个组的视差矢量。

接下来，如图9（c）中所示，视差信息创建单元115使用每个组的视差矢量获得每个分区的视差矢量。分区对应于组的上层，并且通过将多个相邻组件组到一起来获得。在图9（c）的示例中，每个分区被构造有通过虚框划界的2个组。然后，例如，将在对应分区的所有组的视差矢量当中具有最小值的视差矢量或具有其绝对值是最低的负值的视差矢量选择为每个分区的视差矢量。

接下来，如图9（d）中所示，视差信息创建单元115使用每个分区的视差矢量获得位于最高层中的整个图片（整个图像）的视差矢量。在图9（d）的示例中，在整个图片中包括通过虚框划界的4个分区。然后，例如，将在整个图片中包括的所有分区的视差矢量当中具有最小值的视差矢量或具有其绝对值是最低的负值的视差矢量选择为每个整个图片的视差矢量。

以上述方式，视差信息创建单元115可以通过对位于最低层中的每个像素的视差矢量执行缩减过程来获得包括块、组、分区和整个图片的每个层的每个区域的视差矢量。在图9中图示的缩减过程的示例中，除了像素层外，最终获得块、组、分区和整个图片的四个层的视差矢量。然而，层的数目、每个层的区域划分方法、区域的数目不限于上述示例。

返回参考图2，子标题处理单元116可以基于由子标题生成单元114生成的子标题数据来定义区域内的子区域。另外，子标题处理单元116基于由视差信息创建单元115生成的视差信息来设置用于在左眼图像和右眼图像数据中对叠加信息的显示位置进行移位调整的视差信息。可以以子区域为单位、以区域为单位或以页为单位来设置视差信息。

图10（a）图示了在子标题数据中在屏幕上定义的区域和在该区域中定义的子区域的示例。在该示例中，在其中“Region_Starting Position（区域起始位置）”是R0的区域0中定义了两个子区域“SubRegion1”和“SubRegion2”。“SubRegion1”在水平方向上的位置x（水平位置）是SR1，并且“SubRegion2”在水平方向上的位置x（水平位置）是SR2。在该示例中，在子区域“SubRegion1”上设置视差信息“disparity1”，并且在子区域“SubRegion2”上设置视差信息“disparity2”。

图10（b）图示了基于视差信息在左眼图像中的子区域中的移位调整示例。在子区域“SubRegion1”上设置视差信息“disparity1”。由于该原因，在子区域“SubRegion1”上执行移位调整，使得在水平方向上的位置x（水平位置）是SR1-disparity1。另外，在子区域“SubRegion2”上设置视差信息“disparity2”。由于该原因，在子区域“SubRegion2”上执行移位调整，使得在水平方向上的位置x（水平位置）是SR2-disparity2。

图10（c）图示了基于视差信息在右眼图像中的子区域中的移位调整示例。在子区域“SubRegion1”上设置视差信息“disparity1”。由于该原因，沿与左眼图像相反的方向，在子区域“SubRegion1”上执行移位调整，使得在水平方向上的位置x（水平位置）是SR1+disparity1。另外，在子区域“SubRegion2”上设置视差信息“disparity2”。由于该原因，沿与左眼图像相反的方向，在子区域“SubRegion2”上执行移位调整，使得在水平方向上的位置x（水平位置）是SR2+disparity2。

子标题处理单元与由子标题生成单元114生成的子标题数据一起输出诸如子区域的区域信息的显示控制信息或视差信息。如上所述，可以以区域为单位或以页为单位以及以子区域为单位来设置视差信息。

子标题数据包括分段，诸如DDS、PCS、RCS、CDS、ODS、EDS等。DDS（显示分辨率分段）指定HDTV的显示大小。PCS（页组成分段）指定页中的区域位置。RCS（区域组成分段）指定区域的大小或对象的编码模式或指定对象的起始位置。

CDS（CLUT分辨率分段）指定CLUT内容。ODS（对象数据分段）包括编码的像素数据。EDS（显示设置分段的结束）表示从DDS分段开始的子标题数据的结束。在该实施例中，进一步定义DSS（视差信令分段）分段。DSS分段包括显示控制信息。

返回参考图2，子标题编码器118生成第一和第二私有数据流（第一和第二子标题数据流）。换句话说，子标题编码器118生成包括分段DDS、PCS、RCS、CDS、ODS和EDS的第一私有数据流（2D流）。另外，子标题编码器118生成包括分段DDS、DSS和EDS的第二私有数据流（3D扩展流）。

复用器119通过复用来自视频编码器112、音频编码器113和子标题编码器118的流来获得传送流TS作为复用的数据流。传送流TS包括视频数据流、音频数据流以及第一和第二私有数据流作为PES（分组化基本流）流。

图11图示了包括在传送流TS中的2D流和3D扩展流的构造。图11（a）图示了2D流，其中将PES报头安排在报头处并且随后安排包括分段DDS、PCS、RCS、CDS、ODS和EDS的PES有效载荷。

图11（b）图示了3D扩展流，其中将PES报头安排在报头处并且随后安排包括分段DDS、DSS和EDS的PES有效载荷。可以将3D扩展流配置为使得如图11（c）中所示，将分段DDS、PCS、DSS和EDS包括在PES有效载荷中。在该情况下，PCS的页状态是正常情况，并且叠加数据（位图）不改变。

这里，包括在2D流和3D扩展流中的分段具有相同的页ID（page_id）。因而，在接收侧具有3D功能的接收设备中，基于页ID而容易地彼此连接2D流的分段和3D扩展流的分段。

复用器119包括同步信息，其用于在2D流和3D扩展流中将基于在接收侧的叠加信息的数据的显示与基于视差信息（Disparity）的移位控制进行同步。特别地，将复用器119构造为如图12中所示，将包括在2D流的PES报头（PES1（1）：PES#1）中的时间戳（PTS：呈现时间戳）的值与包括在3D扩展流的PES报头（PES2（2）：PES#2）中的呈现时间戳的值相关联。

图12图示了其中将2D流和3D扩展流的时间戳（PTS）的值设置为同一值（即PTS1）的示例。在该情况下，在接收侧（解码侧），基于子标题数据（叠加信息的数据）的子标题图案的显示从PTS1开始，并且用于以3D方式显示子标题图案的基于视差信息的移位控制也从PTS1开始。

图12的示例图示了在3D扩展流中包括两条视差信息，即PTS1帧的视差信息和随后的预先确定的帧的视差信息。接收侧（解码侧）可以通过插值过程来获得在两个帧之间的任意帧的视差信息，并且动态地执行移位控制。

在图12中，包括在2D流中的“常规分段”是指分段DDS、PCS、RCS、CDS、ODS和EDS。另外，包括在3D扩展流中的“扩展分段”是指分段DDS、DSS和EDS、或者分段DDS、PCS、DSS和EDS。在图12中，2D流的“Elementary_PID（基本PID）”是ID1，并且3D扩展流的“Elementary_PID”是ID2。这类似地适用于图13和图14。

图13图示了其中将2D流和3D扩展流的时间戳（PTS）值设置为彼此不同的值的示例。换句话说，图13图示了其中将2D流的时间戳（PTS）值设置为PTS1、将3D扩展流的时间戳（PTS）值设置为在PTS1之后的PTS2。在该情况下，在接收侧（解码侧），基于子标题数据（重叠信息的数据）的子标题图案的显示从PTS1开始，并且用于以3D方式显示子标题图案的基于视差信息的移位控制也从PTS2开始。

图13的示例图示了在3D扩展流中包括PTS2帧的视差信息和多个随后的帧的视差信息。接收侧（解码侧）可以通过插值过程来获得在多个帧中的两个之间的任意帧的视差信息，并且动态地执行移位控制。

类似于图13，图14图示了其中将2D流和3D扩展流的时间戳（PTS）值设置为彼此不同的值的示例，并且存在具有不同的时间戳（PTS）值的多个3D扩展流。换句话说，在图14的示例中，将2D流的时间戳（PTS）值设置为PTS1。将多个3D扩展帧的时间戳（PTS）值设置为在PTS1之后的PTS2、PTS3、PTS4等。

在该情况下，在接收侧（解码侧），基于子标题数据（重叠信息的数据）的子标题图案的显示从PTS1开始。此外，用于以3D方式显示子标题图案的基于视差信息的移位控制也从PTS2开始，并且然后依序执行更新。图14的示例图示了在多个3D扩展流中的每一个中包括通过每个时间戳表示的帧的视差信息，并且接收侧（解码侧）可以通过插值过程来获得在多个帧中的两个之间的任意帧的视差信息，并且动态地执行移位控制。

将简要描述图2中图示的发送数据生成单元110的操作。从数据提取单元111提取的立体图像数据被提供给视频编码器112。视频编码器112使用MPEG4-AVC、MPEG2、VC-1等来对立体图像数据编码，并且生成包括编码的视频数据的视频数据流。将视频数据流提供给复用器119。

从数据提取单元111提取的音频数据被提供给音频编码器113。音频编码器113使用MPEG2Audio AAC、MPEG-4AAC等来对音频数据编码，并且生成包括编码的音频数据的音频数据流。将音频数据流提供给复用器119。

子标题生成单元114生成子标题（用于2D图形），其是DVB的子标题数据。将子标题数据提供给视差信息创建单元115和子标题处理单元116。

将从数据提取单元111提取的每个像素的视差矢量提供给视差信息创建单元115。视差信息创建单元115对每个像素或多个像素的视差矢量执行缩减过程，并且生成每个层的视差信息（视差）。视差信息被提供给子标题处理单元116。

例如，子标题处理单元116基于由子标题生成单元114生成的子标题数据来定义区域中的子区域。此外，子标题处理单元116基于由视差信息创建单元115生成的视差信息来设置用于对左眼图像和右眼图像数据中的重叠信息的显示位置进行移位调整的视差信息。在该情况下，以子区域为单位、以区域为单位或以页为单位来设置视差信息。

从子标题处理单元116输出的子标题数据和显示控制信息被提供给子标题编码器118。显示控制信息包括子标题区域的区域信息、视差信息等。子标题编码器118生成第一和第二私有数据流（基本流）。

换句话说，生成包括分段DDS、PCS、RCS、CDS、ODS和EDS的第一私有数据流（2D流）。此外，生成包括分段DDS、DSS和EDS的第二私有数据流（3D流）。如上面所描述的，分段DSS是包括显示控制信息的分段。

来自视频编码器112、音频编码器113、和子标题编码器118的数据流被提供给如上所述的复用器119。复用器119通过将每个数据流转换成PES分组并复用PES分组来获得传送流TS作为复用的数据流。传送流TS包括作为PES流的第一私有数据流（2D流）和第二私有数据流（3D扩展流）以及视频数据流和音频数据流。

图15图示了传送流TS的构造示例。在图15中，为了附图的简化，没有图示与视频和音频相关的部分。传送流TS包括通过分组化每个基本流而获得的PES分组。

在该构造示例中，包括2D流（第一私有数据流）的PES分组“子标题PES1”和3D扩展流（第二私有数据流）的PES分组“子标题PES2”。2D流（PES流）包括分段DDS、PCS、RCS、CDS、ODS和EDS（参见图11（a））。3D扩展流（PES流）包括分段DDS、DSS和EDS或分段DDS、PCS、DSS和EDS（图11（b）和11（c））。在该情况下，将2D流的“Elementary_PID”和3D扩展流的“Elementary_PID”设置为诸如PID1和PID2的不同ID，并且流是不同的PES流。

图16图示了PCS（page_composition_segment）的结构。如图17中所示，PCS的分段类型是“0x10”。“region_horizontal_address（区域水平地址）”和“region_vertical_address（区域垂直地址）”表示区域的起始位置。在图中未示出诸如DDS、RCS和ODS的其他分段的结构。如图17中所示，DDS的分段类型是“0x14”，RCS的分段类型是“0x11”，CDS的分段类型是“0x12”，ODS的分段类型是“0x13”，以及EDS的分段类型是“0x80”。另外，如图17中所示，DSS的分段类型是“0x15”。随后将详细描述DSS分段的详细结构。

返回参考图15，传送流TS包括作为PSI（节目特定信息）的PMT（节目映射表）。PSI是表示包括在传送流中的每个基本流所属于的节目的信息。传送流进一步包括作为SI（服务的信息）的EIT（事件信息表）以执行事件单元的管理。在EIT中描述了节目单元的元数据。

在PMT中包括表示子标题的内容的子标题描述符（subtitling_descriptor）。另外，在EIT中对于每个流包括表示传递内容的组件描述符（component_descriptor）。如图18中所示，当组件描述符的“stream_content”表示子标题时，“0x15”或“0x25”的“component_type”表示3D子标题，并且其他值表示2D子标题。如图15中所示，将子标题描述符的“subtitling_type”设置为与“component_type”相同的值。

在PMT中存在具有与子标题基本流相关联的信息的子标题基本循环（子标题ES循环）。在子标题基本循环中，对于每个流，不仅安排诸如分组标识符（PID）的信息，而且安排描述与对应的基本流相关联的信息的描述符。

在图19中，提取并图示了在图15中图示的子标题描述符（subtitling_descriptor）和组件描述符（component_descriptor）。在图20中，提取并图示了在图15中图示的PES流（2D流和3D扩展流）。

为了指定2D流和3D扩展流之间的关联，如下设置与每个流相对应的子标题描述符的组成页ID“composition_page_id”。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值（图19中的“0xXXXX”）。这里，“composition_page_id”配置关联信息。另外，编码两个PES流，使得每个相关联的分段的“page_id”具有相同的值（0xXXXX），从而包括在3D扩展流中的每个分段与2D流的每个分段相关联。

另外，例如，在子标题描述符和组件描述符中描述ISO语言代码（ISO_639_language_code）作为语言信息。与2D流相对应的描述符的ISO语言代码被设置为表示子标题的语言。在图示的示例中，设置了表示英语的“eng”。3D扩展流包括具有视差信息的DSS分段，但是不包括ODS分段，因而不依赖于语言。例如，将在与3D扩展流相对应的描述符中描述的ISO语言代码设置为表示非语言的“zxx”。

另外，可以将在作为ISO语言代码的“qaa”至“qrz”的空间中包括的语言代码中的任何一个用作表示非语言的ISO语言代码。图21图示了在该情况下的子标题描述符（subtitling_descriptor）和组件描述符（component_descriptor）。图22图示了ISO语言代码（ISO639-2Code）列表的摘录用于参考。

图23图示了子标题数据流（2D流和3D扩展流）的流构造示例。该示例是英语“eng”的单语言服务示例。利用与2D流公共的“composition_page_id=0xXXXX”来提取3D扩展流，并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流。通过“subtitling_type=2D”和“ISO_639_language_code=eng”来指定2D流。这里，“subtitling_type=3D”意指“subtitling_type”的值是“0x15”或“0x25”的情况。另外，“subtitling_type=2D”意指“subtitling_type”的值既不是“0x15”也不是“0x25”的情况。这在下面同样适用。

图24图示了组件描述符（component_descriptor）的句法的示例。8位字段“descriptor_tag（描述符标签）”表示描述符是组件描述。8位字段“descriptor_length（描述符长度）”表示在该字段之后的整体字节大小。

4位字段“stream_content（流内容）”表示诸如视频、音频或子标题的主流的流类型。4位字段“component_type（组件类型）”表示诸如视频、音频或子标题的主流的组件类型。

当主流是2D流时，即在与2D流相对应的组件描述符中，“steam_content”是“subtitle”，并且“component_type”是用于二维的“2D”。另外，当主流是3D扩展流时，即在与3D扩展流相对应的组件描述符中，“steam_content”是“subtitle”，并且“component_type”是用于三维的“3D”。

8位字段“component_tag（组件标签）”具有与在与主流相对应的流标识符描述符（stream_identifier描述符）中的“component_tag”相同的值。因而，流标识符描述符通过“component_tag”与组件描述符相关联。24位字段“ISO_639_language_code”表示ISO语言代码。

图25图示了子标题描述符（subtitling_descriptor）的句法的示例。8位字段“descriptor_tag”表示该描述符是子标题描述符。8位字段“descriptor_length”表示在该字段之后的整体字节大小。

24位字段“ISO_639_language_code”表示ISO语言代码。8位字段“subtitling_type（子标题类型）”表示子标题类型。当主流是2D流时，即在与2D流相对应的子标题描述符中，“subtitling_type”是“2D”。然而，当主流是3D扩展流时，即在与3D扩展流相对应的子标题描述符中，“subtitling_type”是“3D”。16位字段“composition_page_id（组成页id）”表示组成页ID，并具有与在主流中包括的分段的页ID“page_id”相同的值。

[视差信息的更新]

如上所述，通过3D扩展流来发送视差信息。将描述视差信息的更新。

图26和图27图示了使用间隔时间段来更新视差信息的示例。图26图示了其中间隔时间段是固定的示例，并且该时间段等于更新时间段。换句话说，更新时间段A-B、B-C和C-D中的每一个由一个间隔时间段组成。

图27图示了当使用短时间段（其可以例如是帧时间段）来作为（通常的）间隔时间段时更新视差信息的示例。在该情况下，更新时间段中的M、N、P、Q和R是间隔时间段的数目。另外，在图26和图27中，“A”表示子标题显示时间段的起始帧（起始时间点），并且“B”至“F”表示之后的更新帧（更新时间点）。

当在子标题显示时间段内依序更新的视差信息被发送到接收侧（机顶盒200等）时，接收侧能够通过对更新时间段间隔的视差信息执行插值过程来生成和使用任意帧间隔（例如一个帧间隔）的视差信息。

图28图示了3D扩展流的构造示例。该构造示例图示了在PES数据有效载荷中包括分段DDS、DSS、和EDS的情况，但是即使当在PES数据有效载荷中包括分段DDS、PCS、DSS和EDS时其同样适用。

图28（a）图示了其中包括仅仅一个DSS分段的示例。PES报头包括时间信息（PTS）。另外，包括分段DDS、DSS、和EDS作为PES有效载荷数据。在子标题显示时间段开始之前，共同地发送分段。要在子标题显示时间段中依序更新的多条视差信息被包括在一个DSS分段中。

替选地，可以在不将要在子标题显示时间段中依序更新的多条视差信息包括在一个DSS中的情况下，将多条视差信息发送到接收侧（机顶盒200等）。在该情况下，在执行更新的每个定时将DSS分段包括在3D扩展流中。图28（b）图示了在该情况下的3D扩展流的构造示例。

图29图示了当如图28（b）中图示地依序发送DSS分段时视差信息的更新示例。在图29中，“A”表示子标题显示时间段的起始帧（起始时间点），并且“B”至“F”表示之后的更新帧（更新时间点）。

即使当依序发送DSS分段并且将在子标题显示时间段中依序更新的视差信息发送到接收侧（机顶盒200等）时，也可以在接收侧执行与上面描述相同的过程。换句话说，即使在该情况下，接收侧也能够通过对更新时间段间隔的视差信息执行插值过程来生成和使用任意帧间隔（例如一个帧间隔）的视差信息。

图30图示了与图27类似的视差信息（视差）的更新示例。通过用作单位时间的多个间隔时间段（ID：间隔持续时间）来表示更新帧间隔。例如，通过“ID*M”来表示更新帧间隔“Division Period1（分割时段1）”，通过“ID*N”来表示更新帧间隔“Division Period2”，并且随后的更新帧间隔同样适用。在图30中图示的视差信息的示例中，更新帧间隔不是固定的，并且更新帧间隔被设置为与视差信息曲线相对应。

另外，在视差信息（视差）的更新示例中，在接收侧，通过在包括视差信息的PES流的报头中包括的PTS（呈现时间戳）来给出子标题显示时间段的起始帧（起始时间）T1_0。另外，在接收侧，基于间隔时间段的信息（单位时间的信息）——其是关于每一个更新帧间隔的信息和间隔时间段的数目的信息——来获得视差信息的每个更新时间。

在该情况下，通过下面的公式（1）从子标题显示时间段的起始帧（起始时间）T1_0依序获得每个更新时间。在该公式（1）中，“interval_count（间隔时间计数）”表示间隔时间段的数目，并且是与图30中的M、N、P、Q、R和S相对应的值。在该公式（1）中，“interval_time（间隔时间）”是与在图30中的间隔时间段（ID）相对应的值。

Tm_n=Tm_(n-1)+(interval_time*interval_count)---(1)

例如，在图30中图示的更新示例中，如下通过公式（1）来获得每个更新时间。换句话说，使用起始时间（T1_0）、间隔时间段（ID）和数目（M）来获得更新时间T1_1：“T1_1=T1_0+(ID*M)”。另外，使用更新时间（T1_1）、间隔时间段（ID）和数目（N）来获得更新时间T1_2：“T1_2=T1_1+(ID*N)”。以类似的方式获得随后的更新时间。

在图30中图示的更新示例中，接收侧对要在子标题显示时间段依序更新的视差信息执行插值过程，并且生成和使用在子标题显示时间段内的任意帧间隔（例如一个帧间隔）的视差信息。例如，作为插值过程，沿时间方向（帧方向）执行包括除了线性插值过程之外的低通滤波（LPF）的插值过程，因此在沿时间方向（帧方向）上已经经历插值过程的预定帧间隔的视差信息的改变变得很小。在图30中，虚线表示LPF输出示例。

图31图示了用作字幕的子标题的显示示例。在该显示示例中，用作子标题显示区域的两个区域（区域1和区域2）被包括在页区域（用于Page_default（页默认）的区域）中。区域包括一个或多个子区域。这里，一个子区域被包括在区域中，因而假定区域等于子区域。

图32图示了当区域单元的视差信息和页单元的视差信息两者都包括在DSS分段中作为要在子标题显示时间段中依序更新的视差信息（Disparity，视差）时每个区域和页的视差信息曲线。这里，将页的视差信息曲线形成为使得利用两个区域的视差信息曲线的最小值。

与区域1（region1）相关地存在起始时间T1_0和7条视差信息，即随后的更新时间T1_1至T1_6。与区域2（region2）相关地存在起始时间T2_0和8条视差信息，即随后的更新时间T2_1至T2_7。另外，与页（page_default）相关地存在起始时间T0_0和7条视差信息，即随后的更新时间T0_1至T0_6。

图33图示了其中发送图32中图示的页和每个区域的视差信息的结构。首先，将描述页层。在页层中安排“page_default_disparity（页默认视差）”，其是视差信息的固定值。另外，与要在子标题显示时间段中依序更新的视差信息相关地依序安排与起始时间和随后的更新时间相对应的表示间隔时间段的数目的“interval_count（间隔时间计数）”和表示“disparity_page_update（视差页更新）”。另外，假定起始时间的“interval_count”是零（0）。

接下来，将描述区域层。在区域1（子区域1）上安排作为视差信息的固定值的“subregion_disparity_integer_part（子区域视差整数部分）”和“subregion_disparity_fractional_part（子区域视差小数部分）”。这里，“subregion_disparity_integer_part”表示视差信息的整数部分，并且“subregion_disparity_fractional_part”表示视差信息的小数部分。

另外，与要在子标题显示时间段中依序更新的视差信息相关地依序安排与起始时间和随后的更新时间对应的、表示间隔时间段的数目的“interval_count”、表示视差信息的“disparity_region_update_integer_part”和“disparity_region_update_fractional_part”。这里，“disparity_region_update_integer_part”表示视差信息的整数部分，并且“disparity_region_update_fractional_part”表示视差信息的小数部分。另外，假定起始时间的“interval_count”是零（0）。

类似于区域1，在区域2（子区域2）上安排作为视差信息的固定值的“subregion_disparity_integer_part”和“subregion_disparity_fractional_part”。另外，与要在子标题显示时间段中依序更新的视差信息相关地依序安排与起始时间和随后的更新时间对应的、表示间隔时间段的数目的“interval_count”、表示视差信息的“disparity_region_update_integer_part”和“disparity_region_update_fractional_part”。

图34至图36图示了DSS（disparity_signaling_segment（视差信令分段））的句法的示例。图37至图40图示了指定DSS的内容（语义）的主要数据。该句法包括“sync_byte（句法字节）”、“segment_type（分段类型）”、“page_id（页id）”、“segment_length（分段长度）”和“dss_version_number（DSS版本号）”的信息。“segment_type”是表示分段类型的8位数据，并且被用作表示DSS的值。“segment_length”是表示随后的字节数目的8位数据。

1位标记“disparity_shift_update_sequence_page_flag（视差移位更新序列页标记）”表示是否存在要在子标题显示时间段中依序更新的、作为页单元的视差信息的视差信息。“1”表示存在要在子标题显示时间段中依序更新的、作为页单元的视差信息的视差信息，而“0”表示不存在要在子标题显示时间段中依序更新的、作为页单元的视差信息的视差信息。8位字段“page_default_disparity_shift（页默认视差移位）”表示页单元的固定视差信息，即在子标题显示时间段内共同使用的视差信息。当“disparity_page_update_sequence_flag（视差页更新序列标记）”的标记是“1”时，读出“disparity_shift_update_sequence()（视差移位更新序列）”。

图36图示“disparity_shift_update_sequence()”的句法的示例。“disparity_page_update_sequence_length（视差页更新序列长度）”是表示随后的字节数目的8位数据。24位字段“interval_duration[23..0]（间隔持续时间）”指定用作以90KHz为单位的单位时间的间隔时间段（间隔持续时间）（参见图30）。换句话说，在“interval_duration[23..0]”中，通过24位长度来表示通过以90KHz的时钟测量间隔时间段（间隔持续时间）而获得的值。

包括在PES的报头部分中的PTS具有33位而间隔时间段具有24位长度的原因如下。换句话说，33位长度可以表示超过24小时的时间，但是是作为在子标题显示时间段内的间隔时间段（间隔持续时间）不必要的长度。另外，使用24位，可以降低数据大小，并且可以执行紧凑传输。另外，24位是8×3位，并且容易执行字节对准。

8位字段“division_period_count（分割时间段计数）”表示视差信息所影响的时间段（分区时间段）的数目。例如，在图30中图示的更新示例的情况下，该数目是与起始时间T1_0和随后的更新时间T1_1至T1_6相对应的“7”。将随后的for循环重复与由“division_period_count”表示的数目相同的次数。

8位字段“interval_count”表示间隔时间段的数目。例如，在图30中图示的更新示例的情况下，“interval_count”与M、N、P、Q、R和S对应。8位字段“disparity_shift_update_integer_part”表示视差信息。假定“interval_count”是零（0），与起始时间的视差信息（视差信息的初始值）对应。换句话说，当“interval_count”是“0”时，“disparity_page_update”表示起始时间的视差信息（视差信息的初始值）。

当数据长度（processed_length）被处理直到达到分段数据长度（segment_length）为止时重复图34的while循环。在while循环中，安排区域中的区域单元或子区域单元的视差信息。这里，在区域中包括一个或多个子区域，并且子区域可以与区域相同。

在while循环中，包括“region_id（区域id）”的信息。1位标记“disparity_shift_update_sequence_region_flag（视差移位更新序列区域标记）”是表示对于区域中的所有子区域是否存在“disparity_shift_update_sequence()（视差移位更新序列）”的信息。2位字段“number_of_subregions_minus_1（子区域数目减1）”表示通过从区域中的子区域的数目减去一（1）而获得的值。在“number_of_subregions_minus_1=0”的情况下，区域包括具有与区域相同的大小的子区域。

在“number_of_subregions_minus_1>0”的情况下，区域包括沿水平方向划分的多个子区域。在图35的for循环中，包括与子区域的数目相对应的“subregion_horizontal_position（子区域水平位置）”和“subregion_width（子区域宽度）”的多条信息。16位字段“subregion_horizontal_position”表示子区域的左端的像素位置。“subregion_width”通过像素的数目来表示子区域在水平方向上的宽度。

8位字段“subregion_disparity_shift_integer_part（子区域视差移位整数部分）”表示区域单元（子区域单元）的固定视差信息的整数部分，即在子标题显示时间段中共同使用的视差信息的整数部分。4位字段“subregion_disparity_shift_fractional_part（子区域视差移位小数部分）”表示区域单元（子区域单元）的固定视差信息的小数部分，即在子标题显示时间段中共同使用的视差信息的小数部分。当“disparity_shift_update_sequence_region_flag”的标记是“1”时，读出“disparity_shift_update_sequence()”（参见图36）。

[广播接收概念]

图41图示了当机顶盒200和电视接收机300是具有3D功能的设备时的广播接收概念。在该情况下，广播站100定义区域“Region0（区域0）”中的子区域“SR00”，并且设置视差信息“Disparity1（视差1）”。这里，假定区域“Region0”和子区域“SR00”是相同的区域。将子标题数据和显示控制信息（子区域的区域信息“Position”和视差信息“Disparity1”）与立体图像数据从广播站100一起发送。

首先，将描述由作为具有3D功能的设备的机顶盒200执行接收的示例。在该情况下，机顶盒200从2D流中读取构造子标题数据的每个分段的数据，以及从3D扩展流中读取和使用包括诸如视差信息的显示控制信息的DSS分段的数据。

在该情况下，机顶盒200从传送流TS提取彼此相关联的2D流和3D扩展流，并且对2D流和3D扩展流进行解码。这时，机顶盒200有效地并且适当地基于在与每个流相对应的子标题描述（参见图15）中描述的公共组成页ID来提取两个相关联的流。

机顶盒200基于子标题数据生成用于显示子标题的区域的显示数据。另外，机顶盒200使得区域的显示数据叠加构造立体图像数据的左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分，并获得输出的立体图像数据。

这时，机顶盒200基于视差信息对叠加每个部分的显示数据的位置进行移位调整。另外，机顶盒200根据立体图像数据的传输格式（并排格式、上下格式、帧顺序格式、和其中每个视图具有全屏大小的格式）来适当地改变叠加位置、大小等。

机顶盒200例如通过HDMI数字接口向具有3D功能的电视接收机300发送如上所述获得的输出立体图像数据。电视接收机300对从机顶盒200发送的立体图像数据执行3D信号处理，并且生成子标题与其叠加的左眼图像和右眼图像的数据。另外，电视接收机300使得双眼视差图像（左眼图像和右眼图像）（用户通过其识别立体图像）被显示在诸如液晶显示器（LCD）的显示面板上。

接下来，将描述其中由作为具有3D功能的设备的电视接收机300执行接收的示例。在该情况下，电视接收机300从2D流中读取构造子标题数据的每个分段的数据，以及从3D扩展流中读取和使用包括诸如视差信息的显示控制信息的DSS分段的数据。类似于机顶盒200，电视接收机300基于公共组成页ID从传送流TS中提取彼此相关联的2D流和3D扩展。

电视接收机300基于子标题数据生成用于显示子标题的区域的显示数据。另外，电视接收机300使得区域的显示数据叠加到通过对立体图像数据执行与传输格式相对应的处理而获得的左眼图像数据和右眼图像数据上，并生成子标题与其叠加的左眼图像和右眼图像的数据。另外，电视接收机300使得双眼视差图像（左眼图像和右眼图像）（用户通过其识别立体图像）被显示在诸如LCD的显示面板上。

图42图示了当机顶盒200和电视接收机300是具有遗留2D功能的设备时的广播接收概念。在该情况下，类似于图41的示例，将子标题数据和显示控制信息（子区域的区域信息“Position”和视差信息“Disparity1”）与立体图像数据从广播站100一起发送。

首先，将描述由作为具有遗留2D功能的设备的机顶盒200执行接收的示例。在该情况下，机顶盒200从2D流中读取和使用构造子标题数据的每个分段的数据。在该情况下，机顶盒200基于在与每个分段相对应的子标题描述符（参见图15）中描述的子标题类型信息、语言信息等从传送流TS中提取2D流，并且对2D流进行解码。因此，机顶盒200不读取包括诸如视差信息的显示控制信息的DSS分段，并且因此可以避免干扰接收过程的读取。

如上所述，分别与2D流和3D扩展流相对应的子标题描述符被包括在传送流TS中（参见图15）。另外，将与2D流相对应的子标题描述符的子标题类型信息“subtitling_type”设置为“2D”。另外，将与3D流相对应的子标题描述符的子标题类型信息“subtitling_type”设置为“3D”。

此外，如上所述，在传送流TS中包括与2D流和3D扩展流中的每一个相对应的组件描述符和子标题描述符（参见图15）。另外，将与2D流相对应的描述符的语言信息（ISO语言代码）设置为表示语言，并且将与3D扩展流相对应的描述符的语言信息（ISO语言代码）设置为表示非语言。

由于机顶盒200是具有2D功能的设备，所以将与子标题类型“2D（HD，SD）”相对应的2D流决定为要基于子标题类型信息来提取的流。另外，机顶盒200决定由用户选择的或由设备自动选择的语言的2D流作为要提取的流。

机顶盒200基于子标题数据生成用于显示子标题的区域的显示数据。另外，机顶盒200使得区域的显示数据叠加到通过对立体图像数据执行与传输格式相对应的处理而获得的2D图像数据，并且获得输出的2D图像数据。

机顶盒200例如通过HDMI数字接口向电视接收机300输出如上所述获得的输出2D图像数据。电视接收机300基于从机顶盒200发送的2D图像数据来显示2D图像。

接下来，将描述其中由作为具有2D功能的设备的电视接收机300执行接收的示例。在该情况下，电视接收机300从2D流中读取并使用构造子标题数据的每个分段的数据。在该情况下，类似于机顶盒200，电视接收机300基于子标题类型信息和语音信息从传送流TS中提取由用户选择的语言的2D流，并且对2D流进行解码。换句话说，电视接收机300不读取包括诸如视差信息的显示控制信息的DSS分段，并且因此可以避免干扰接收过程的读取。

电视接收机300基于子标题数据生成用于显示子标题的区域的显示数据。电视接收机300使得区域的显示数据叠加到通过对立体图像数据执行与传输格式相对应的处理而获得的2D图像数据，并且获得输出的2D图像数据。因此，电视接收机300基于2D图像数据来显示2D图像。

图43图示了当上述的接收机（机顶盒200和电视接收机300）是具有遗留2D功能的设备（2D接收机）和具有3D功能的设备（3D接收机）时的广播接收概念。在图43中，假设立体图像数据（3D图像数据）的传输格式是并排格式。

另外，在具有3D功能的设备（3D接收机）中，可以选择3D模式或2D模式。当用户选择3D模式时，应用参考图41描述的概念。当用户选择2D模式时，类似地应用参考图42描述的具有2D功能的设备（2D接收机）。

在图2中图示的发送数据生成单元110中，在与2D流和3D扩展流中的每一个相对应地包括的子标题描述符中描述了公共组成页ID，并且阐明了与两个流的关联。因而，在接收侧具有3D功能的接收设备可以基于关联信息适当地提取和解码彼此相关联的2D流和3D扩展流，并与子标题数据一起获得视差信息。

另外，在图2中图示的发送数据生成单元110中，将子标题类型信息和语音信息设置到与2D流和3D扩展流中的每一个相对应地包括的组件描述符和子标题描述符中，使得识别各个流。因而，具有2D功能的接收设备可以以高精确度基于子标题类型信息和语音信息来容易地提取和解码2D图像。因而，具有2D功能的接收设备可以强有力地防止读取具有视差信息的DSS分段，并且避免干扰接收过程的处理。

另外，在图2中图示的发送数据生成单元110中，在传送流TS中包含的2D流和3D扩展流中包括的分段的页ID（page_id）相同。因而，在接收侧具有3D功能的接收设备可以基于页ID容易地将2D流的分段与3D扩展流的分段连接。

另外，在图2中图示的发送数据生成单元110中，由于可以发送包括在子标题显示时间段依序更新的视差信息，所以可以动态地控制左眼子标题和右眼子标题的显示位置。结果，接收侧可以结合图像内容的改变而动态地改变在左眼子标题和右眼子标题之间出现的视差。

另外，在图2中图示的发送数据生成单元110中，包括在由子标题解码器118获得的DSS分段中的每个更新帧间隔的帧的视差信息不是从先前的视差信息的偏移值，而是其自身的视差信息。因而，即使在插值过程中出现错误时，接收侧也可以在预定的延迟时间内从错误中恢复。

上面已描述了其中提供英语“eng”的一个语言服务的示例（参见图23）。然而，当然，本技术可以类似地应用于多语言服务。图44图示了当提供多语言服务时子标题数据流（2D流和3D扩展流）的流构造示例。例如，图44图示了英语“eng”和德语“ger”的双语言服务示例。

关于英语服务，通过与2D流公共的“composition_page_id==0xXXXX”来提取3D扩展流、通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流，以及通过“subtitling_type=2D”和“ISO_639_language_code=eng”来指定2D流。同时，对于德语服务，通过与2D流公共的“composition_page_id==0xYYYY”来提取3D扩展流并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流，以及通过“subtitling_type=2D”和“ISO_639_language_code=ger”来指定2D流。

如上所述，在多语言服务的情况下，将与各语言服务相对应的组成页ID（composition_page_id）设置为彼此不同。因而，即使在多语言服务中，在接收侧的3D接收设备也可以对于每个语言服务有效地并且适当地提取和解码彼此相关联的2D流和3D扩展流。

图45图示了传送流TS的构造示例。在图45中，为了附图的简化，没有图示与视频和音频相关的部分。传送流TS包括通过对每个基本流分组而获得的PES分组。

在该构造示例中，与英语服务相结合地包括2D流的PES分组“SubtitlePES1”和3D扩展流的PES分组“Subtitle PES2”。另外，与德语服务相结合地包括2D流的PES分组“Subtitle PES3”和3D扩展流的PES分组“SubtitlePES4”。2D流（PES流）包括分段DDS、PCS、RCS、CDS、ODS和EDS（参见图11（a））。3D扩展流（PES流）包括分段DDS、DSS和EDS分段或DDS、PCS、DSS和EDS（参见图11（b）和图11（c））。在该情况下，将各流的“Elementary_PID”设置为彼此不同，并且流是彼此不同的PES流。

具有与子标题基本流相关联的信息的子标题基本循环（子标题ES循环）存在于PMT中。在子标题基本循环中，对于每个流不仅安排诸如分组标识符（PID）的信息，而且安排描述与对应的基本流相关联的信息的描述符。

为了指定与英语服务相关的2D流和3D扩展流之间的关联，如下设置与每个流相对应的子标题描述符的组成页ID。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值（图44中的“0xXXXX”）。另外，编码两个PES流，使得每个相关联的分段的“page_id”具有相同的值（0xXXXX），从而包括在3D扩展流中的每个分段与2D流的每个分段相关联。

类似地，为了指定与德语服务相关的2D流和3D扩展流之间的关联，如下设置与每个流相对应的子标题描述符的组成页ID。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值（图44中的“0xYYYY”）。另外，编码两个PES流，使得每个相关联的分段的“page_id”具有相同的值（0xYYYY），从而包括在3D扩展流中的每个分段与2D流的每个分段相关联。

当传送流TS具有与上述的多语言相关的子标题数据流时，接收设备提取并解码与由用户选择的或自动选择的语言服务相关的子标题数据流。这时，具有3D功能的接收设备基于公共的组成页ID有效地并适当地提取与所选择的语言服务相关联的2D流和3D扩展流。同时，具有遗留2D功能的接收设备基于子标题类型信息和语言信息来提取并解码所选择的语言服务的2D流。

另外，图44中图示的流构造示例图示了将3D扩展流用作组成页（composition_page）。在该情况下，如上所述，在每个语言服务上存在2D流和3D扩展流。3D扩展流可以用作辅助页。在该情况下，可以将流配置为使得存在对于各语言服务公共的一个3D扩展流作为3D扩展流。因而，可以有效地使用PES流的波段。

图46图示了当3D扩展流被用作辅助页时子标题数据流（2D流和3D扩展流）的流构造示例。该示例是英语“eng”和德语“ger”的双语言服务示例。在该构造示例中，在每个语言服务期间不通过“composition_page_id”提取3D扩展流。在该构造示例中，通过对各语言服务公共的辅助页ID“ancillary_page_id”，从各语言服务公共地引用3D扩展流。

关于英语服务，通过“composition_page_id==0xXXXX”来提取2D流，并且通过“subtitling_type=2D”和“ISO_639_language_code=eng”来指定2D流。另外，通过“ancillary_page_id==0xZZZZ”来提取3D扩展流，并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流。类似地，对于德语服务，通过“composition_page_id==0xYYYY”来提取2D流，并且通过“subtitling_type=2D”和“ISO_639_language_code=ger”来指定2D流。另外，通过“ancillary_page_id==0xZZZZ”来提取3D扩展流，并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流。

图47图示了传送流TS的构造示例。在图47中，为了附图的简化，没有图示与视频和音频相关的部分。传送流TS包括通过对每个基本流分组而获得的PES分组。

在该构造示例中，与英语服务相结合地包括2D流的PES分组“SubtitlePES1”。另外，与德语服务相结合地包括2D流的PES分组“Subtitle PES2”。此外，与英语服务和德语服务相结合地包括3D扩展流的PES分组“SubtitlePES3”。2D流（PES流）包括分段DDS、PCS、RCS、CDS、ODS和EDS（参见图11（a））。3D扩展流（PES流）包括分段DDS、DSS和EDS（参见图11（b））。在该情况下，将各流的“Elementary_PID”设置为彼此不同，并且流是彼此不同的PES流。

具有与子标题基本流相关联的信息的子标题基本循环（子标题ES循环）存在于PMT中。在子标题基本循环中，对于每个流不仅安排诸如分组标识符（PID）的信息，而且安排描述与对应的基本流相关联的信息的描述符。

为了指定与英语服务相关的2D流和对于各语言服务公共的3D扩展流之间的关联，如下设置与每个流相对应的子标题描述符的组成页ID。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值（图46中的“0xXXXX”）。这时，在与3D扩展流相对应的子标题描述符中，将“ancillary_page_id”设置为与“composition_page_id”不同的值（图46中的“0xZZZZ”），并且将3D扩展流用作辅助页。

类似地，为了指定与德语服务相关的2D流和对于各语言服务公共的3D扩展流之间的关联，设置与每个流相对应的子标题描述符的组成页ID。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值（图46中的“0xYYYY”）。这时，在与3D扩展流相对应的子标题描述符中，将“ancillary_page_id”设置为与“composition_page_id”不同的值（图46中的“0xZZZZ”），并且将3D扩展流用作辅助页。

[机顶盒的描述]

返回参考图1，机顶盒200接收通过广播波从广播站100发送的传送流TS。传送流TS包括包含左眼图像数据和右眼图像数据的立体图像数据、以及音频数据。传送流TS进一步包括用于立体图像的子标题数据（包括显示控制信息）以用于显示子标题。

换句话说，传送流TS包括作为PES流的视频数据流、音频数据流、第一和第二私有数据流（子标题数据流）。如上所述，第一和第二私有数据流分别是2D流和3D扩展流（参见图11）。

机顶盒200包括位流处理单元201。当机顶盒200是具有3D功能的设备（3D STB）时，位流处理单元201从传送流TS中获取立体图像数据、音频数据和子标题数据（包括显示控制信息）。另外，位流处理单元201从2D流中获取构造子标题数据的每个分段的数据，以及从3D扩展流中获取包括诸如视差信息的显示控制信息的DSS分段的数据。

然后，位流处理单元201使用立体图像数据和子标题数据（包括显示控制信息）生成输出立体图像数据，其中子标题叠加到左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分中的每一个（参见图41）。在该情况下，可以使得在叠加左眼图像的子标题（左眼子标题）和叠加右眼图像的子标题（右眼子标题）之间出现视差。

例如，如上所述，视差信息被包括在添加到关于从广播站100发送的立体图像的子标题数据的显示控制信息中，并且可以基于视差信息使得在左眼子标题和右眼子标题之间出现视差。如上所述，通过使得在左眼子标题和右眼子标题之间出现视差，用户可以识别图像的子标题（subtitle）简略。

当确定服务是3D服务时，机顶盒200基于公共的组成页ID从传送流TS中提取彼此相关联的2D流和3D扩展流。另外，机顶盒200使用子标题数据和视差信息执行如上所述的将子标题粘贴在背景图像中的过程（叠加过程）。另外，当难以提取3D扩展流时，位流处理单元201执行根据接收机的逻辑将子标题粘贴在背景图像中的过程（叠加过程）。

例如，在下面的情况（1）至（3）中，机顶盒200确定服务是3D服务。

（1）在SDT中，服务描述符（service descriptor）的“service_type”是3D（0x1C、0x1D、0x1E=帧兼容）的情况（参见图48（a））。

（2）在SDT或EIT中，组件描述符的“stream_content”是MPEG4-AVC视频（0x05）、以及“component_type”是（0x80至0x83）的3D格式的情况（参见图48（b））。

（3）满足（1）和（2）两者的情况。

图49的流程图图示了在机顶盒200中的3D服务确定过程的示例。机顶盒200在步骤ST1中开始确定过程，并且然后前进到步骤ST2。在步骤ST2中，机顶盒200确定服务描述符的“service_type”是否是3D。当确定服务描述符的“service_type”是3D时，在步骤ST3中，机顶盒200确定服务是3D服务。

当在步骤ST2中确定“service_type”不是3D时，机顶盒200使得前进到步骤ST4。在步骤ST4中，机顶盒200确定组件描述符的“stream_content”是否是MPEG-AVC视频（0x05）以及“component_type”是否表示3D格式。当表示3D格式时，在步骤ST3中，机顶盒200确定服务是3D服务。然而，当不表示3D格式时，在步骤ST5中，机顶盒200确定提供2D服务。

图50的流程图图示了在机顶盒200中的3D服务确定过程的另一个示例。在步骤ST11中，机顶盒200开始确定过程，并且然后前进到步骤ST12。在步骤ST12中，机顶盒200确定服务描述符的“service_type”是否是3D。当服务描述符的“service_type”是3D时，机顶盒200使得该过程前进到步骤ST13。

在步骤ST13中，机顶盒200确定组件描述符的“stream_content”是否是MPEG-AVC视频（0x05）以及“component_type”是否表示3D格式。当表示3D格式时，在步骤ST14中，机顶盒200确定服务是3D服务。然而，当在步骤ST12中确定不表示3D格式或当在步骤ST13中确定不表示3D格式时，在步骤ST15中，机顶盒200确定提供2D服务。

图51的流程图示意性地图示了当确定服务是3D服务时机顶盒200的过程流。在步骤ST21中，机顶盒200确定服务是3D服务，并且然后使得该过程前进到步骤ST22。在步骤ST22中，机顶盒200确定其stream_type表示“0x03（子标题）”的第一流的组件描述符的“component_type”是否是3D。

当“component_type”是“3D”时，在步骤ST23中，机顶盒200确定目标PES流是3D PES流。这里，如图52中图示的，3D PES流（3D流）是包括具有视差信息等的DSS分段以及诸如DDS、PCS、RCS、CDS、ODS和EDS的构造叠加信息的数据（子标题数据）的分段。

接下来，在步骤ST24中，机顶盒200确定在目标PES流中存在3D扩展分段（DSS分段）。之后，在步骤ST25中，机顶盒200对2D分段进行解码，然后对3D扩展分段进行解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

当在步骤ST22中确定“component_type”不是“3D”时，在步骤ST26中，机顶盒200确定目标PES流是2D流。另外，在步骤ST27中，机顶盒200确定单独地存在3D扩展流。之后，在步骤ST28中，机顶盒200搜索共享组成页ID的另一个PES流，即3D扩展流。之后，机顶盒200使得过程前进到步骤ST29。

在步骤ST29中，机顶盒200确定是否单独地存在3D扩展流。当确定存在3D扩展流时，在步骤ST25中，机顶盒200对2D分段进行解码，然后对3D扩展分段进行解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

然而，当确定不存在3D扩展流时，在步骤ST30中，机顶盒200对2D分段进行解码，使得根据机顶盒200（接收机）的规范在子标题中出现视差，并且使得子标题叠加到背景图像（3D视频）。例如，子标题位于监视器位置处，而不使得在子标题中出现视差。另外，例如使得在子标题中出现固定视差，并且子标题位于监视器位置前面的位置处。

图53（a）图示了图像上的子标题的显示示例。在该显示示例中，子标题叠加到包括图像上的背景和近景对象的图像。图53（b）图示了背景、近景对象和子标题的立体感觉，并且子标题被识别为非常靠前。

图54（a）图示了在与图53（a）相同的图像上的子标题（字幕）的显示示例。图54（b）图示了左眼子标题LGI叠加到左眼图像且右眼子标题RGI叠加到右眼图像。图54（c）图示了使得在左眼子标题LGI和右眼子标题RGI之间出现视差，以使得子标题被识别为非常靠前。

另外，当机顶盒200是具有遗留2D功能的设备（2D STB）时，位流处理单元201从传送流TS中获取立体图像数据、音频数据和子标题数据（不包括显示控制信息的位图图案数据）。然后，位流处理单元201使用立体图像数据和子标题数据（参见图42）生成子标题数据叠加的2D图像数据。

在该情况下，位流处理单元201从2D流中获取构造子标题数据的每个分段的数据。换句话说，在该情况下，由于不从3D扩展流中读取DSS分段，所以能够避免干扰接收过程的读取。在该情况下，位流处理单元201以高精确度基于子标题类型信息和语言信息容易地从传送流TS提取2D流并对2D流进行解码。

[机顶盒的构造示例]

将描述机顶盒200的构造示例。图55图示了机顶盒200的构造示例。机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206以及音频信号处理电路207。机顶盒200进一步包括CPU211、闪速ROM212、DRAM213、内部总线214、远程控制接收单元（RC接收单元）215以及远程控制发送器（RC发送器）216。

天线端子203是接收天线（未图示）接收的数字广播信号所输入到的端子。数字调谐器204处理输入到天线端子203的电视广播信号，然后输出与用户选择的信道相对应的传送流TS（位流数据）。

位流处理单元201基于传送流TS输出子标题叠加到的输出立体图像数据和音频数据。当机顶盒200是具有3D功能的设备（3D STB）时，位流处理单元201从传送流TS中获取立体图像数据、音频数据、子标题数据（包括显示控制信息）。

位流处理单元201生成其中子标题叠加到构造立体图像数据的左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分中的每一个的输出立体图像数据。这时，可以基于视差信息使得在叠加到左眼图像的子标题（左眼子标题）和叠加到右眼图像的子标题（右眼子标题）之间出现视差。

换句话说，位流处理单元201基于子标题数据生成用于显示子标题的区域的显示数据。另外，位流处理单元201使得该区域的显示数据叠加到构造立体图像数据的左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分，并且获得输出立体图像数据。这时，位流处理单元201基于视差信息对叠加到每个位置的显示数据的位置进行移位调整。

另外，当机顶盒200是具有2D功能的设备（2D STB）时，位流处理单元201获取立体图像数据、音频数据、和子标题数据（不包括显示控制信息）。位流处理单元201使用立体图像数据和子标题数据来生成子标题叠加到的2D图像数据。

换句话说，位流处理单元201基于子标题数据来生成用于显示子标题的区域的显示数据。另外，位流处理单元201使得该区域的显示数据叠加到通过对立体图像数据执行与传输格式相对应的处理而获得的2D图像数据，并且获得输出2D图像数据。

视频信号处理电路205根据需要对位流处理单元201获取的图像数据执行例如图像质量调整过程，并且然后将所处理的图像数据提供给HDMI发送单元206。音频信号处理单元207根据需要对从位流处理单元201输出的音频数据执行例如声音质量调整过程，并且然后将所处理的音频数据提供给HDMI发送单元206.

HDMI发送单元206通过符合HDMI的通信经由HDMI端子202发送例如未压缩的图像数据和音频数据。在该情况下，由于通过HDMI的TMDS信道来发送图像数据和音频数据，所以将图像数据和音频数据打包并然后将其从HDMI发送单元206输出到HDMI端子202。

CPU211控制机顶盒200的每个组件的操作。闪速ROM212存储控制软件和数据。DRAM213提供CPU211的工作区。CPU211将从闪速ROM读取的软件或数据显现到DRAM213，激活该软件，并且控制机顶盒的每个组件。

RC接收单元215接收从RC发送器216发送的远程控制信号（远程控制代码），并且将远程控制信号提供给CPU211。CPU211基于远程控制代码控制机顶盒200的每个组件。CPU211、闪速ROM212和DRAM213连接到内部总线214.

将简单描述机顶盒200的操作。输入到天线端子203的数字广播信号被提供给数字调谐器204。数字调谐器204对数字广播信号进行处理，并且输出与用户选择的信道相对应的传送流（位流数据）TS。

从数字调谐器204输出的传送流（位流数据）TS被提供给位流处理单元201。位流处理单元201如下生成要输出到电视接收机300的输出图像数据。

当机顶盒200是具有3D功能的设备（3D STB）时，从传送流TS中获取立体图像数据、音频数据和子标题数据（包括显示控制信息）。然后，位流处理单元201生成其中子标题叠加到构造立体图像数据的左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分中的每一个的输出立体图像数据。这时，基于视差信息使得在叠加到左眼图像的左眼子标题和叠加到右眼图像的右眼子标题之间出现视差。

另外，当机顶盒200是具有2D功能的设备（2D STB）时，获取立体图像数据、音频数据和子标题数据（不包括显示控制信息）。然后，位流处理单元201使用立体图像数据和子标题数据来生成子标题叠加到的2D图像数据。

位流处理单元201获取的输出图像数据被提供给视频信号处理电路205。视频信号处理电路205根据需要对输出图像数据执行图像质量调整过程等。从视频信号处理电路205输出的处理后的图像数据被提供给HDMI发送单元206。

位流处理单元201获取的音频数据被提供给音频信号处理电路207。音频信号处理电路7对音频数据执行声音质量调整过程。从音频信号处理电路207输出的处理后的音频数据被提供给HDMI发送单元206。然后，通过HDMI的TMDS信道将提供给HDMI发送单元206的图像数据和音频数据从HDMI端子202发送到HDMI线缆400。

[位流处理单元的构造示例]

图56图示了当机顶盒200是具有3D功能的设备（3D STB）时位流处理单元201的构造示例。位流处理单元201具有与图2中图示的发送数据生成单元110相对应的构造。位流处理单元201包括解复用器221、视频解码器222和音频解码器229。

位流处理单元201进一步包括编码数据缓冲器223、子标题解码器224、像素缓冲器225、视差信息插值单元226、位置控制单元227和视频叠加单元228。这里，编码数据缓冲器223构造解码缓冲器。

解复用器221从传送流TS中提取视频数据流和音频数据流的分组，并且将分组传递到相应解码器用于解码。另外，解复用器221提取下面的流，并且使得所提取的流临时累积在编码数据缓冲器223中。在该情况下，当如上所述确定服务是3D服务时，解复用器221基于公共的组成页ID来提取由用户选择的或自动选择的语言的2D流和3D扩展流。在该情况下，存在很难提取的3D扩展流。

视频解码器222执行与发送数据生成单元110的视频编码器相反的处理。换句话说，视频解码器222根据解复用器221提取的视频分组重构视频数据，执行解码过程，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据的传输格式的示例包括并排格式、上下格式、帧顺序格式和每个视图占用全屏大小的视频传输格式。

子标题解码器224执行与发送数据生成单元110的子标题解码器125相反的处理。换句话说，子标题解码器224根据累积在编码数据缓冲器223中的每个流的分组重构每个流，执行解码过程，并且获取下面的分段数据。

换句话说，子标题解码器224对2D流解码，并且获取构造子标题数据的每个分段的数据。另外，子标题解码器224对3D扩展流解码，并且获取DSS分段的数据。如上所述，2D流和3D扩展流的分段的页ID（page_id）彼此相同。因而，子标题解码器224能够基于页ID容易地将2D流的分段与3D扩展流的分段相连接。

子标题解码器224基于构造子标题数据的每个分段的数据和子区域的区域信息而生成用于显示子标题的区域的显示数据（位图数据）。这里，向在区域内但是没有被子区域包围的区域分配透明色彩。像素缓冲器225暂时累积显示数据。

视频叠加单元228获得输出立体图像数据Vout。在该情况下，视频叠加单元228使得累积在像素缓冲器225中的显示数据叠加到由视频解码器222获得的立体图像数据的左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分中的每一个。在该情况下，视频叠加单元228根据立体图像数据的传输格式（并排格式、上下格式、帧顺序格式、MVC格式等）适当地改变叠加位置、大小等。视频叠加单元228向位流处理单元201的外部输出该输出立体图像数据Vout。

视差信息插值单元226将子标题解码器224获得的视差信息传递到位置控制单元227。视差信息插值单元226根据需要对视差信息执行插值过程，并且将处理结果传递到位置控制单元227。位置控制单元227基于视差信息对叠加到每个帧的显示数据进行移位调整（参见图41）。在该情况下，位置控制单元227通过基于视差信息以相反方向对叠加到左眼图像帧（frame0）部分的显示数据（子标题图案数据）和叠加到右眼图像数据帧（frame1）的显示数据（子标题图案数据）进行移位调整使得出现视差。如上所述，当不提取3D扩展流时，例如，基于固定视差信息使得出现适当的视差。

此外，显示控制信息包括在子标题显示时间段内公共使用的视差信息。另外，显示控制信息可以进一步包括在子标题显示时间段内依序更新的视差信息。如上所述，在子标题显示时间段内依序更新的视差信息包括第一帧的视差信息和每个随后的更新帧间隔的帧的视差信息。

位置控制单元227原样地使用在子标题显示时间段内公共使用的视差信息。同时，关于在子标题显示时间段内依序更新的视差信息，位置控制单元227使用已根据需要经历了视差信息插值单元226的插值过程的视差信息。例如，视差信息插值单元226生成任意帧间隔（例如在子标题显示时间段内的一个帧间隔）的视差信息。

例如，作为插值过程，视差信息插值单元226沿时间方向执行包括低通滤波（LPF）过程的插值过程，而不是线形插值过程。因而，在插值过程之后在时间方向（帧方向）上的预定帧间隔的视差信息中的改变变得很小。

音频解码器229执行与发送数据生成单元110的音频编码器113相反的处理。换句话说，音频解码器229根据解码器221提取的音频分组重构音频基本流，执行解码过程，并且获得输出音频数据Aout。然后，音频解码器229将输出音频数据Aout输出到位流处理单元201的外部。

将简要描述图56中图示的位流处理单元201的操作。从数字调谐器204（参见图55）输出的传送流TS被提供给解复用器221。解复用器221从传送流TS中提取视频数据流和音频数据流的分组，并且将分组传递给对应的解码器。另外，解复用器221进一步提取用户选择的语言的2D流和3D扩展流，并且将分组临时累积在编码数据缓冲器223中。

视频解码器222根据解码器221提取的视频数据分组重构视频数据流，执行解码过程，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据被提供给视频叠加单元228。

子标题解码器224从编码数据缓冲器223中读取2D流和3D扩展流的分组，并且对分组进行解码。然后，子标题解码器224基于构造子标题数据的每个分段的数据和子区域的区域信息生成用于显示子标题的区域的数据（位图数据）。将显示数据临时累积在像素缓冲器225中。

视频叠加单元228使得累积在像素缓冲器225中的显示数据叠加到由视频解码器222获得的立体图像数据的左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分中的每一个。在该情况下，根据立体图像数据的传输格式（并排格式、上下格式、帧顺序格式、MVC格式等）适当地改变叠加位置、大小等。将视频叠加单元228获得的输出立体图像数据Vout输出到位流处理单元201的外部。

另外，通过视差信息插值单元226将由子标题解码器224获得的视差信息传递到位置控制单元227。视差信息插值单元226根据需要执行插值过程。例如，视差信息插值单元226根据需要对在子标题显示时间段内依序更新的若干帧间隔的视差信息执行插值过程，并且生成任意帧间隔（例如一个帧间隔）的视差信息。

位置控制单元227通过视频叠加单元228基于视差信息沿相反的方向对叠加左眼图像帧（frame0）部分的显示数据（子标题图案数据）和叠加右眼图像数据帧（frame1）的显示数据（子标题图案数据）进行移位调整。结果，使得显示在左眼图像上的左眼子标题和显示在右眼图像数据上的右眼子标题之间出现视差。因而，实现了根据立体图像的内容的子标题的3D显示。

音频解码器229根据解码器221提取的音频分组重构音频基本流，执行解码过程，并且获取与显示立体图像数据Vout相对应的音频数据Aout。将音频数据Aout输出到位流处理单元201的外部。

图57图示了当机顶盒200是具有2D功能的设备（2D STB）时位流处理单元201的构造示例。在图57中，与图56相对应的组件通过相同的参考数字表示，并且将不进行其详细描述。在下面，为了便于描述，将图56中图示的位流处理单元201称为3D位流处理单元201，并且将图57中图示的位流处理单元201称为2D位流处理单元201。

在图56中图示的3D位流处理单元201中，视频解码器222根据解复用器221提取的视频分组重构视频数据，执行解码过程，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。另一方面，在图57中图示的2D位流处理单元201中，在获取立体图像数据之后，视频解码器222对左眼图像数据或右眼图像数据进行修剪，根据需要执行缩放过程等，并且获得2D图像数据。

另外，在图56中图示的3D位流处理单元201中，如上所述，解复用器221提取用户选择的或自动选择的语言的2D流和3D扩展流的分组，并且将分组传递到子标题解码器224。另一方面，在图57中图示的2D位流处理单元201中，如参考图42描述的，解复用器221提取用户选择的或自动选择的语言的2D流的分组，并且将分组传递到子标题解码器224。

在该情况下，解复用器221以高精确度基于子标题类型信息和语言信息从传送流TS容易地提取和解码2D流。换句话说，在传送流TS中包括与2D流和3D扩展流对应地包括的组件描述符和子标题描述符（参见图15）。

向描述符设置子标题类型信息“subtitling_type”和语言信息“ISO_639_language_code”，使得识别2D流和3D扩展流（参见图15和图19）。因而，解复用器221能够以高精确度基于子标题类型信息和语言信息容易地从传送流TS中提取2D流。

另外，在图56中图示的3D位流处理单元201中，如上所述，子标题解码器224从例如2D流中获取构造子标题数据的每个分段的数据，并且进一步从3D扩展流获取DSS分段的数据。

另一方面，在图57中图示的2D位流处理单元201中，子标题解码器224从2D流中仅仅获取构造子标题数据的每个分段的数据。另外，子标题解码器224基于每个分段的数据和子区域的区域信息生成用于显示子标题的区域的显示数据（位图数据），并且临时将显示数据累积在像素缓冲器225中。在该情况下，子标题解码器224不读取DSS分段的数据。因而，能够避免干扰接收过程的读取。

另外，在图56中图示的3D位流处理单元201中，视频叠加单元228获取输出立体图像数据Vout，并且将输出立体图像数据Vout输出到位流处理单元201的外部。在该情况下，通过使得累积在像素缓冲器225中的显示数据叠加到由视频解码器222获得的立体图像数据的左眼图像帧（frame0）部分和右眼图像数据帧（frame1）部分中的每一个来获得输出立体图像数据。然后，位置控制单元227基于视差信息沿相反方向对显示数据进行移位调整，并且因而在显示在左眼图像的左眼子标题和显示在右眼图像数据的右眼子标题之间出现视差。

另一方面，在图57中图示的2D位流处理单元201中，视频叠加单元228通过使得累积在像素缓冲器225中的显示数据叠加到由视频解码器222获得的2D图像数据来获得输出2D图像数据Vout。然后视频叠加单元228将输出2D图像数据Vout输出到位流处理单元201的外部。

将简要描述图57中图示的2D位流处理单元201的操作。音频系统的操作类似于图57中图示的3D位流处理单元201的操作，因此将不进行其描述。

将从数字调谐器204（参见图55）输出的传送流TS提供给解复用器221。解复用器221从传送流TS中提取视频数据流和音频数据流的分组，并且将所提取的分组提供给对应的解码器。另外，解复用器221进一步提取2D流的分组，并且将分组临时累积在编码数据缓冲器223中。

视频解码器222根据解复用器221提取的视频数据分组重构视频数据流，执行解码过程，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。

另外，视频解码器222进一步对来自立体图像数据的左眼图像数据或右眼图像数据进行修剪，根据需要执行缩放过程等，并且获得2D图像数据。将2D图像数据提供给视频叠加单元228。

另外，子标题解码器224从编码数据缓冲器223中读取2D流，并且对2D流进行解码。然后，子标题解码器224基于构造子标题的每个分段的数据来生成用于显示子标题的区域的显示数据（位图数据）。显示数据被临时累积在像素缓冲器225中。

视频叠加单元228通过使得累积在像素缓冲器225中的子标题的显示数据（位图数据）叠加到由视频解码器222获得的2D图像数据来获得输出2D图像数据Vout。将输出2D图像数据Vout输出到位流处理单元201的外部。

在图55中图示的机顶盒200中，与2D流和3D扩展流对应包括的子标题描述符描述了公共组成页ID，并且指定两个流之间的关联。因而，机顶盒200可以基于关联信息有效地并适当地提取和解码彼此相关联的2D流和3D扩展流，并且与子标题数据一起获得视差信息。

另外，在图55中图示的机顶盒200中，2D位流处理单元201（参见图57）的解复用器221容易地以高精确度基于子标题类型信息和语言信息仅从传送流TS中提取2D流。结果，子标题解码器224能够强烈地防止对包括具有视差信息的DSS分段的3D扩展流执行解码过程，并且因而避免干扰接收过程的该过程。

另外，在图55中图示的机顶盒200中，从数字调谐器204中输出的传送流TS包括显示控制信息以及立体图像数据和子标题数据。显示控制信息包括显示控制信息（子区域的区域信息、视差信息等）。因而，可以使得在左眼子标题和右眼子标题的显示位置处出现视差，并且将当显示子标题时与图像中的每个对象的透视感觉的一致性维持为最佳状态。

另外，在图55中图示的机顶盒200中，当在子标题显示时间段内依序更新的视差信息被包括在由3D位流处理单元201（参见图46）的子标题解码器224获取的显示控制信息中时，可以动态地控制左眼子标题和右眼子标题的显示位置。因而，可以结合图像内容的改变来动态地改变在左眼子标题和右眼子标题之间出现的视差。

另外，在图55中图示的机顶盒200中，3D位流处理单元201（参见图49）的视差信息插值单元226对构造在子标题显示时间段（预定数目帧的时间段）内依序更新的视差信息的多个帧的视差信息执行插值过程。在该情况下，即使当以更新帧间隔从发送侧发送视差信息时，也可以以微小间隔（例如在帧单元中）控制在左眼子标题和右眼子标题之间出现的视差。

另外，在图55中图示的机顶盒200中，可以执行3D位流处理单元201（参见图56）的视差信息插值单元226中的插值过程，以沿时间方向（帧方向）上由例如低通滤波器过程来实现。因而，即使当以更新帧间隔从发送侧发送视差信息之后，在插值过程之后的时间方向上的视差信息的改变可以变得很小，并且因而能够抑制当在左眼子标题和右眼子标题之间出现的视差的转变在更新帧间隔变得不连续时导致的不舒服感觉。

另外，尽管上面没有描述，但是可以提供其中机顶盒200是3D功能的设备、并且可以由用户选择2D显示模式和3D显示模式的构造。在该情况下，当选择3D显示模式时，位流处理单元201具有与3D位流处理单元201（参见图56）相同的构造并且执行与3D位流处理单元201相同的操作。同时，当选择2D模式时，位流处理单元201具有与2D位流处理单元201（参见图57）相同的构造并且执行与2D位流处理单元201相同的操作。

[电视接收机的描述]

返回参考图1，当电视接收机300是具有3D功能的设备时，电视接收机300通过HDMI线缆400接收从机顶盒200发送的立体图像数据。电视接收机300包括3D信号处理单元301。3D信号处理单元301对立体图像数据执行与传输格式相对应的过程（解码过程），并且因此生成左眼图像数据和右眼图像数据。

[电视接收机的构造示例]

将描述具有3D功能的电视接收机300的构造示例。图58图示了电视接收机300的构造示例。电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。

电视接收机300进一步包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。电视接收机300进一步包括CPU321、闪速ROM322、DRAM323、内部总线324、远程控制接收单元（RC接收单元）325以及远程控制发送器（RC发送器）326。

天线端子304是接收天线（未图示）接收的电视广播信号所输入到的端子。数字调谐器305处理输入到天线端子304的电视广播信号，然后输出与用户选择的信道相对应的传送流TS（位流数据）。

位流处理单元306基于传送流TS而输出子标题叠加到的输出立体图像数据和音频数据。尽管将不进行详细描述，但是位流处理单元201具有与机顶盒200的3D位流处理单元201（参见图56）相同的构造。位流处理单元306将左眼子标题和右眼子标题的显示数据与立体图像数据同步，并且生成和输出子标题叠加的输出立体图像数据。

另外，例如，当立体图像数据的传输格式是并排格式、上下格式等时，位流处理单元306执行缩放过程并且输出全分辨率的左眼图像数据和右眼图形数据。另外，位流处理单元306输出与图像数据相对应的音频数据。

HDMI接收单元303通过符合HDMI的通信经由HDMI线缆400接收提供到HDMI端子302的未压缩的图像数据和音频数据。HDMI接收单元303支持例如HDMI1.4a版本，并且可以处理立体图像数据。

3D信号处理单元301对由HDMI接收单元303接收的立体图像数据执行解码过程，并且生成全分辨率的左眼图像数据和右眼图像数据。3D信号处理单元301执行与TMDS发送数据格式相对应的解码过程。另外，3D信号处理单元301不对位流处理单元306获得的全分辨率的左眼图像数据和右眼图像数据执行任何过程。

视频/图形处理电路307基于3D信号处理单元301生成的左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据。另外，视频/图形处理电路307根据需要对图像数据执行图像质量调整过程。

另外，视频/图形处理电路307根据需要将图像数据与诸如菜单或节目表的叠加信息的数据同步。面板驱动电路308基于从视频/图形处理电路308输出的图像数据来驱动显示面板309。例如，显示面板309被构造有LCD（液晶显示器）、PDP（等离子显示面板）等。

视频信号处理电路310对HDMI接收单元303接收的或位流处理单元306获得的音频数据执行诸如数模（D/A）转换的必要过程。音频放大电路311放大从音频信号处理电路310输出的音频信号，并且将所放大的音频信号提供给扬声器312。

CPU321控制电视接收机300的每个组件的操作。闪速ROM322存储控制软件和数据。DRAM323提供CPU321的工作区。CPU321将从闪速ROM322读取的软件或数据显现到DRAM323，激活该软件，并且控制电视接收机300的每个组件。

RC接收单元325接收从RC发送器326发送的远程控制信号（远程控制代码），并且将远程控制信号提供给CPU321。CPU321基于远程控制代码控制电视接收机300的每个组件。CPU321、闪速ROM322和DRAM323连接到内部总线324.

将简单描述图58中图示的电视接收机300的操作。HDMI接收单元303通过HDMI线缆400接收从连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。HDMI接收单元303接收的立体图像数据被提供到3D信号处理单元301。HDMI接收单元303接收的音频数据被提供到音频信号处理电路310。

输入到天线端子304的电视广播信号被提供给数字调谐器305。数字调谐器305对电视广播信号进行处理，并且输出与用户选择的信道相对应的传送流（位流数据）TS。传送流TS被提供给位流处理单元306。

位流处理单元306基于视频数据流、音频数据流、2D流和3D扩展流获得子标题叠加的输出立体图像数据和音频数据。在该情况下，将左眼子标题和右眼子标题的显示数据与立体图像数据同步，并且因而生成子标题叠加的输出立体图像数据（全分辨率的左眼图像数据和右眼图像数据）。通过3D信号处理单元801将输出立体图像数据提供给视频/图形处理电路307。

3D信号处理单元301对HDMI接收单元303接收的立体图像数据执行解码过程，并且生成全分辨率的左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据被提供给视频/图形处理电路307。视频/图形处理电路307基于左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据，并且根据需要执行诸如OSD（对象屏幕显示）的叠加信息数据的图像质量调整过程和同步过程。

将视频/图形处理电路307获得的图像数据提供给面板驱动电路308。因而，通过显示面板309显示立体图像。例如，以时分的方式在显示面板309上交替显示基于左眼图像数据的左眼图像和基于右眼图像数据的右眼图像。例如，观看者可以通过戴其中与显示面板309的显示不同地交替开启左眼快门和右眼快门的快门眼镜并且然后用左眼仅观看左眼图像以及用右眼仅观看右眼图像来感觉到立体图像。

另外，将位流处理单元306获得的音频数据提供给音频信号处理电路310。音频信号处理电路310对HDMI接收单元303接收的或位流处理单元306获得的音频数据执行诸如D/A转换的必要过程。通过音频放大电路311放大音频数据并且然后将其提供给扬声器312。因而，从扬声器312输出与显示面板309的显示图像相对应的声音。

图58图示了具有如上所述的3D功能的电视接收机300。尽管没有进行详细描述，但是具有3D功能的电视接收机300具有与具有遗留2D功能的电视接收机几乎相同的构造。然而，在具有遗留2D功能的电视接收机的情况下，位流处理单元306具有与图57中图示的2D位流处理单元201相同的构造，并且执行与2D位流处理单元201相同的操作。另外，具有2D遗留功能的电视接收机不需要3D信号处理单元301。

另外，可用提供其中电视接收机300具有3D功能、并且可以由用户选择2D显示和3D显示模式的构造。在该情况下，当选择3D显示模式时，位流处理单元306具有如上所述的相同构造并执行相同操作。同时，当选择2D显示模式时，位流处理单元306具有如图57中图示的2D位流处理单元201相同的构造并且执行与2D位流处理单元201相同的操作。

<2.修改示例>

“第一修改示例”

在上面的实施例中，在与2D流相对应的子标题描述符中描述的“subtitling_type”被设置为2D。然而，可以将“subtitling_type”设置为3D。在该情况下，在接收侧具有3D功能的接收设备可以在PES流具有3D作为其类型但是不包括DSS分段时识别存在包括DSS分段的另一个PES流。

图59图示了在该情况下的子标题数据（2D流和3D扩展流）的流构造示例。该示例是英语“eng”的单语言服务示例。通过与2D流公共的“composition_page_id=0xXXXX”来提取3D扩展流，并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流。这里，通过“subtitling_type=3D”和“ISO_639_language_code=eng”来指定2D流。

图60图示了传送流TS的构造示例。在图60中，为了附图的简化，没有图示与视频和音频相关的部分。传送流TS包括通过对每个基本流分组而获得的PES分组。

在该构造示例中，包括2D流（第一私有数据流）的PES分组“SubtitlePES1”和3D扩展流（第二私有数据流）的PES分组“Subtitle PES2”。2D流（PES流）包括分段DDS、PCS、RCS、CDS、ODS和EDS（参见图11（a））。3D扩展流（PES流）包括分段DDS、DSS和EDS或分段DDS、PCS、DSS和EDS（参见图11（b）和图11（c））。在该情况下，将2D流的“Elementary_PID”和3D扩展流的“Elementary_PID”设置为诸如PID1和PID2的不同ID，并且流是不同的PES流。

在PMT中包括表示与2D流和3D扩展流相对应的内容的子标题描述符（subtitling_descriptor）。另外，对于每个流，在EIT中包括表示传递内容的组件描述符（component_descriptor）。当组件描述符的“stream_content”表示子标题时，“0x15”或“0x25”的“component_type”表示3D子标题，并且其他值表示2D子标题。将子标题描述符的“subtitling_type”设置为与“component_type”相同的值。

这里，将与3D扩展流相对应的组件描述符的“component_descriptor”和子标题描述符的“subtitling_type”设置为3D。另外，将与2D流相对应的组件描述符的“component_descriptor”和子标题描述符的“subtitling_type”也设置为3D。

为了指定2D流和3D扩展流之间的关联，设置与每个流相对应的子标题描述符的组成页ID“composition_page_id”。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值（图60中的“0xXXXX”）。这里，“composition_page_id”构造关联信息。另外，编码两个PES流，使得每个相关联的分段的“page_id”具有相同的值（0xXXXX），从而包括在3D扩展流中的每个分段与2D流的每个分段相关联。

另外，例如，在子标题描述符和组件描述符中描述ISO语言代码（ISO_639_language_code）作为语言信息。设置与2D流相对应的描述符的ISO语言代码以表示子标题的语言。在该示例中，将ISO语言代码设置为表示英语的“eng”。3D扩展流包括具有视差信息的DSS分段，但是不包括ODS分段，因而不依赖于语言。将在与3D扩展流相对应的描述符中描述的语言代码设置为例如表示非语言的“zxx”。

图59中图示的流构造示例图示了其中存在英语“eng”的单语言服务的示例（参见图23）。然而，当然本技术可以类似地应用于多语言服务。图61图示了当提供双语言服务时子标题数据流（2D流和3D扩展流）的流构造示例。该示例是英语“eng”和德语“ger”的双语言服务。

关于英语服务，通过与2D流公共的“composition_page_id==0xXXXX”来提取3D扩展流、通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流，以及通过“subtitling_type=3D”和“ISO_639_language_code=eng”来指定2D流。同时，对于德语服务，通过与2D流公共的“composition_page_id==0xYYYY”来提取3D扩展流并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流，以及通过“subtitling_type=3D”和“ISO_639_language_code=ger”来指定2D流。

接下来，将参考图62的流程图描述当将与2D流相对应的子标题描述符中描述的“subtitling_type”设置为3D以及具有3D功能的接收机确定服务是3D服务时的过程流。这里，将以其中接收机是机顶盒200的示例进行描述。

在步骤ST41中，机顶盒200确定服务是3D服务，并且然后使得过程前进到步骤ST42。在步骤ST42中，机顶盒200确定其stream_type表示“0x03（子标题）”的第一流的组件描述符的“component_type”是否是3D。

当“component_type”是“3D”时，在步骤ST43中，机顶盒200确定目标PES流是3D PES流。然后，机顶盒200使得过程前进到步骤ST44。在步骤ST44中，机顶盒200确定在目标PES流中是否存在3D扩展分段，即DSS分段。

当在目标PES流中存在DSS分段时，在步骤ST45中，机顶盒200确定在目标PES流中存在3D扩展流（DSS分段）（参见图52）。之后，在步骤ST46中，机顶盒200对2D流进行解码，然后对3D扩展分段进行解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

当在步骤ST44中确定在目标PES流中不存在DSS分段时，在步骤ST47中，机顶盒200确定目标PES流是2D流。然后，在步骤ST48中，机顶盒200确定单独地存在3D扩展流。

之后，在步骤ST49中，机顶盒200搜索共享组成页ID的另一PES流，即3D扩展流。然后，在步骤ST46中，机顶盒200对2D流解码，然后对3D扩展流解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

另外，当在步骤ST42中确定“component_type”不是“3D”时，在步骤ST50中，机顶盒200确定目标PES流是2D流。然后，在步骤ST51中，机顶盒200对2D流进行解码，然后对3D扩展分段解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

“第二修改示例”

已结合其中2D流和3D扩展流共享在子标题描述符中描述的组成页ID（composition_page_id）的示例描述了上面的实施例。另外，组成页ID可以通过表示存在彼此相关联的2D流和3D扩展流的特定值（special_calueA）来定义。

在该情况下，在接收侧具有3D功能的接收设备可以在组成页ID是特定值（special_calueA）时识别除了2D流外存在3D扩展流。换句话说，接收设备可以识别DSS分段被划分在另一个PES流中，并且当不存在3D扩展流时避免例如搜索3D扩展流的无用过程。

图63图示了在该情况下的子标题数据（2D流和3D扩展流）的流构造示例。该示例是英语“eng”的单语言服务示例。通过与2D流公共的“composition_page_id=special_calueA”来提取3D扩展流，并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流。另外，通过“subtitling_type=2D”和“ISO_639_language_code=eng”来指定2D流。

图64是传送流TS的构造示例。在图64中，为了附图的简化，没有图示与视频和音频相关的部分。传送流TS包括通过对每个基本流分组而获得的PES分组。

在该构造示例中，包括2D流的PES分组“Subtitle PES1”和3D扩展流的PES分组“Subtitle PES2”。2D流（PES流）包括分段DDS、PCS、RCS、CDS、ODS和EDS（参见图11（a））。3D扩展流（PES流）包括分段DDS、DSS和EDS或分段DDS、PCS、DSS和EDS（参见图11（b）和图11（c））。在该情况下，将各流的“Elementary_PID”设置为彼此不同，并且流是彼此不同的PES流。

在PMT中存在具有与子标题基本流相关联的信息的子标题基本循环（subtitling ES循环）。在子标题基本循环中，对于每个流不仅安排诸如分组标识符（PID）的信息而且安排了描述与对应的基本流相关联的信息的描述符。

为了指定2D流和3D扩展流之间的关联，设置与每个流相对应的子标题描述符的组成页ID。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值。该值是表示存在彼此相关联的2D流和3D扩展流的特定值（special_valueA）。另外，编码两个PES流，使得每个相关联的分段的“page_id”具有相同的值（special_valueA），从而包括在3D扩展流中的每个分段与2D流的每个分段相关联。

图63中图示的流构造示例图示了其中存在英语“eng”的单语言服务的示例。然而，当然本技术可以类似地应用于多语言服务。图65图示了当提供双语言服务时子标题数据流（2D流和3D扩展流）的流构造示例。该示例是英语“eng”和德语“ger”的双语言服务。

关于英语服务，通过与2D流公共的“composition_page_id=special_valueA”来提取3D扩展流、通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流，以及通过“subtitling_type=2D”和“ISO_639_language_code=eng”来指定2D流。同时，对于德语服务，通过与2D流公共的“composition_page_id=special_valueA”来提取3D扩展流并且通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流，以及通过“subtitling_type=2D”和“ISO_639_language_code=ger”来指定2D流。

接下来，将参考图66的流程图描述当将组成页ID（composition_page_id）设置为特定值以及具有3D功能的接收机确定服务是3D服务时的过程流。这里，将以其中接收机是机顶盒200的示例进行描述。

在步骤ST61中，机顶盒200确定服务是3D服务，并且然后使得过程前进到步骤ST62。在步骤ST62中，机顶盒200确定其stream_type表示“0x03（子标题）”的第一流的组件描述符的“component_type”是否是3D。

当“component_type”是“3D”时，在步骤ST63中，机顶盒200确定目标PES流是3D PES流。这里3D PES流（3D流）是除了包括诸如图52中图示的DDS、PCS、RCS、CDS、ODS和EDS的构造叠加信息的数据（子标题书记）的分段外还包括具有视差信息的DSS分段的PES流。

接下来，在步骤ST64中，机顶盒200确定在目标PES流中是否存在3D扩展分段（DSS分段）。之后，在步骤ST65中，机顶盒200对2D流进行解码，然后对3D扩展分段进行解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

另外，当在步骤ST62中确定“component_type”不是3D时，在步骤ST66中，机顶盒200确定目标PES流是2D流。然后，在步骤ST67中，机顶盒200确定表示目标PES流的子标题描述符的“composition_page_id”是否是表示双流（Dual流）的特定值。

当“composition_page_id”是特定值时，机顶盒200确定单独地存在3D扩展流。之后，在步骤ST69中，机顶盒200搜索共享组成页ID的另一PES流，即3D扩展流。然后，在步骤ST65中，机顶盒200对2D流解码，然后对3D扩展分段解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

当在步骤ST67中确定“composition_page_id”不是特定值时，在步骤ST70中，机顶盒200确定不存在与2D流相关的PES流。然后，在步骤ST71中，机顶盒200对2D分段进行解码，使得根据机顶盒200（接收机）的规范在子标题中出现视差，并且使得子标题叠加到背景图像（3D视频）。例如，子标题位于监视器位置处，而不使得在子标题中出现视差。另外，例如，使得在子标题中出现固定视差，并且子标题位于监视器位置前的位置处。

“第三修改示例”

已结合其中2D流和3D扩展流使用在子标题描述符中描述的组成页ID（composition_page_id）而彼此相关联的示例描述了上述实施例。可以在描述符中描述用于将2D流与3D扩展流相链接的专用信息（链接信息）。因而，可以更强烈地链接彼此相关联的2D流和3D扩展流。

图67图示了在该情况下的子标题数据流（2D流和3D扩展流）的流构造示例。该示例是英语“eng”的单语言服务示例。通过与2D流公共的“composition_page_id=0xXXXX”来提取3D扩展流、通过“subtitling_type=3D”和“ISO_639_language_code=zxx”来指定3D扩展流。另外，通过“subtitling_type=2D”和“ISO_639_language_code=eng”来指定2D流。

另外，通过在2D流和3D扩展流之间共享子标题描述符的组成页ID（composition_page_id），明确地表达两个流之间的关联。另外，通过在描述符中描述专用链接信息，指定两个流的链接。在该情况下，（1）新定义的描述符或（2）现有的描述符可以被用作描述符。

首先，将描述定义新描述符的示例。这里，新定义其中描述专用链接信息（association_id（关联id））的流关联ID描述符（stream_association_ID_descriptor）。

图68图示了流关联ID描述符的句法的示例。图69图示了在该句法示例中的主要信息的内容（语义）。8位字段“descriptor_tag（描述符标签）”表示描述符是流关联ID描述符。8位字段“descriptor_length（描述符长度）”表示该字段之后的整体字节大小。

4位字段“steam_content（流内容）”表示诸如视频、音频或子标题的主要流的流类型。4位字段“component_type（组件类型）”表示诸如视频、音频、或子标题的主要流的组件类型。“stream_content”和“component_type”被当作与在与主要流相对应的组件描述符内的“stream_content”和“component_type”相同的信息。

4位字段“association_id”表示链接信息。与要链接的每个组件（PES流）相对应的流关联ID描述符的“association_ID”具有相同的值。

接下来，将描述其中使用现有描述符的示例。这里，将描述其中定义和使用扩展组件描述符的示例。图70图示扩展描述符的句法的示例。图71图示了在该句法示例中的主要信息的内容（语义）。

1位字段“extended_flag（扩展标记）”表示描述符是否是扩展描述符。在该情况下，“1”表示扩展描述符，并且“0”表示非扩展描述符。当组件描述符是扩展描述符时，描述符具有用作链接信息的“association_ID”。

8位字段“extension_type（扩展类型）”表示扩展类型。这里，例如，当将“extension_type”设置为“0x01”时，意味着通过“association_ID”链接与组件描述符相对应的组件（PES流）。“extension_length（扩展长度）”表示该字段之后扩展的字节大小。另外，4位字段“association_ID”表示链接信息。如上所述，与要链接的每个组件（PES流）相对应的流关联ID描述符的“association_ID”具有相同的值。

图72图示了传送流TS的构造示例。在图72中，为了附图的简化，没有图示与视频和音频相关的部分。传送流TS包括通过对每个基本流分组而获得的PES分组。

在该构造示例中，包括2D流的PES分组“Subtitle PES1”和3D扩展流的PES分组“Subtitle PES2”。2D流（PES流）包括分段DDS、PCS、RCS、CDS、ODS和EDS（参见图11（a））。3D扩展流（PES流）包括分段DDS、DSS和EDS或分段DDS、PCS、DSS和EDS（参见图11（b）和图11（c））。在该情况下，将各流的“Elementary_PID”设置为彼此不同，并且流是彼此不同的PES流。

为了指定2D流和3D扩展流之间的关联，设置与每个流相对应的子标题描述符的组成页ID。换句话说，将2D流的“composition_page_id”和3D扩展流的“composition_page_id”设置为共享相同的值（图72中的“0xXXXX”）。另外，编码两个PES流，使得每个相关联的分段的“page_id”具有相同的值（0xXXXX），从而包括在3D扩展流中的每个分段与2D流的每个分段相关联。

另外，与2D流和3D扩展流中的每个相对应的组件描述符被扩展，并且将在每个组件描述符中描述的用作链接信息的“association_ID”设置为相同的值。因而，通过“association_ID”来链接彼此相关联的2D流和3D扩展流。

另外，与2D流和3D扩展流中的每个相对应的流关联ID描述符（stream_association_id描述符）包括在传送流TS中。另外，将在每个描述符中描述的用作链接信息的“association_ID”设置为相同的值。因而，通过“association_ID”来链接彼此相关联的2D流和3D扩展流。

此外，在图72中图示的传送流TS的构造示例中，执行组件描述符的扩展和流关联ID描述符的插入两者。然而，可以执行组件描述符的扩展和流关联ID描述符的插入中的任何一个。另外，当然，尽管未图示，根据需要通过“stream_identifier描述符”的“component_tag”执行“组件描述符”和“PID”的关联。

另外，图67中图示的流构造示例图示了其中存在英语“eng”的单语言服务的示例。然而，当然本技术可以类似地应用于多语言服务。图73图示了当提供双语言服务时子标题数据流（2D流和3D扩展流）的流构造示例。该示例是英语“eng”和德语“ger”的双语言服务。

在该情况下，在每个语言服务中，将2D流与3D扩展流相链接，使得在相应描述符中描述专用链接信息“association_ID”。这时，不同语言服务在“association_ID”的值方面是不同的。图74图示了在该情况下的传送流TS的构造示例。与英语的语言服务相关的“association_ID”是“association_ID_1”，以及与德语的语言服务相关的“association_ID”是“association_ID_2”。

接下来，将参考图75的流程图描述当在描述符中描述专用链接信息以及具有3D功能的接收机确定服务是3D服务时的过程流。这里，将以其中接收机是机顶盒200的示例进行描述。

在步骤ST81中，机顶盒200确定服务是3D服务，并且然后使得过程前进到步骤ST82。在步骤ST82中，机顶盒200确定在PMT或EIT的描述符中是否存在用作链接信息的“association_ID”。

当确定存在“association_ID”时，在步骤ST83中，机顶盒200将各PES流的“association_ID”彼此进行比较。然后，在步骤ST84中，机顶盒200识别2D流和3D扩展流的关联状态，即2D流和3D扩展流的链接。然后，在步骤ST85中，在步骤ST65中对2D流进行解码之后，机顶盒200对3D扩展分段进行解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

当在步骤ST82中确定不存在“association_ID”时，机顶盒200使得过程前进到步骤ST86。在步骤ST86中，机顶盒200确定其stream_type表示“0x03（子标题）”的第一流的组件描述符的“component_type”是否是3D。

当“component_type”是“3D”时，在步骤ST87中，机顶盒200确定目标PES流是3D PES流。这里，3D PES流（3D流）是包括除了诸如图52中图示的DDS、PCS、RCS、CDS、ODS和EDS的构造叠加信息的数据（子标题书记）的分段外还包括具有视差信息的DSS分段的PES流。

接下来，在步骤ST88中，机顶盒200确定在目标PES流中存在3D扩展分段（DSS分段）。之后，在步骤ST85中，机顶盒200对2D流进行解码，然后对3D扩展分段进行解码，并且根据视差信息使得子标题叠加到背景图像（3D视频）。

另外，当在步骤ST86中确定“component_type”不是3D时，在步骤ST89中，机顶盒200确定目标PES流是2D流。然后，在步骤ST90中，机顶盒200对2D分段解码，使得根据机顶盒200（接收机）的规范在子标题中出现视差，并且使得子标题叠加到背景图像（3D视频）。例如，子标题位于监视器位置处，而不使得在子标题中出现视差。另外，例如，使得在子标题中出现固定视差，并且子标题位于监视器位置前的位置处。

“其他”

在图55中图示的机顶盒200中，布置了连接到数字调谐器204的天线输入端子203。然而，也可以类似地构造接收通过线缆发送的RF信号的机顶盒。在该情况下，布置线缆端子来代替天线端子203。

另外，也可以类似地构造直接地或经由路由器连接到因特网或家庭网络的机顶盒。换句话说，在该情况下，传送流TS直接地、或经由路由器从因特网或家庭网络被发送到机顶盒。

图76图示了在该情况下的机顶盒200A的构造示例。在图76中，通过相同的参考数字表示与图55的组件相对应的组件。机顶盒200A包括连接到网络接口209的网络端子208。另外，来自网络接口209的传送流TS被输出并提供给位流处理单元201。尽管没有进行详细描述，但是机顶盒200A的其余组件在构造和操作上类似于图55中图示的机顶盒200。

另外，在图58中图示的电视接收机300中，布置了连接到数字调谐器204的天线输入端子304。然而，也可以类似地构造接收通过线缆发送的RF信号的电视接收机。在该情况下，布置线缆端子来代替天线端子304。

另外，也可以类似地构造直接地或经由路由器连接到因特网或家庭网络的电视接收机。换句话说，在该情况下，传送流TS直接地、或经由路由器从因特网或家庭网络被发送到电视接收机。

图77图示了在该情况下的电视接收机300A的构造示例。在图77中，通过相同的参考数字表示与图58的组件相对应的组件。电视接收机300A包括连接到网络接口314的网络端子313。另外，来自网络接口314的传送流TS被输出并提供给位流处理单元306。尽管没有进行详细描述，但是电视接收机300A的其余组件在构造和操作上类似于图58中图示的电视接收机300。

在其他示例中，将图像收发系统10构造为包括广播站100、机顶盒200和电视接收机300。然而，电视接收机300包括执行与图58中图示的机顶盒200的位流处理单元201相同的功能的位流处理单元306。因而，可以将图像收发系统10A构造有图78中图示的广播站100和电视接收机300。尽管没有进行详细描述，但是当确定服务是3D服务时，电视接收机300类似于机顶盒200来执行3D服务确定过程（图49和图50）和接收过程（图51、图62、图66和图75）。

另外，已结合其中存在组件描述符（参见图15）的示例描述了上面的实施例。然而，当不使用EPG时，不存在EIT，并且不存在组件描述符。即使当不存在组件描述符时，也实现本技术。换句话说，本技术可以通过安排在PMT中的子标题描述符（Subtitle_descriptor）、流关联ID描述符（stream_association_ID描述符）等来实现。

另外，已结合其中在3D扩展流中包括分段DDS、DSS或EDS或分段DDS、PCS、DSS和EDS（参见图11（b）和图11（c））的示例描述了上面的实施例。然而，3D扩展流的分段构造不限于该示例，并且可以包括任意其他分段。在该情况下，在3D扩展流中最多包括分段DDS、PCS、RCS、CDS、ODS、DSS和EDS。

另外，已结合其中机顶盒200通过HDMI的数字接口与电视接收机300相连接的示例描述了上面的实施例。然而，即使当机顶盒200经由执行与HDMI的数字接口相同的功能的数字接口（包括无线接口以及有线接口）与电视接收机300相连接时，也可以类似地应用本发明。

此外，已结合其中将子标题对待为叠加信息的示例描述了上面的实施例。然而，即使当音频流结合地处理自诸如图形信息或文本信息的叠加信息开始、被编码为使得彼此相关联地输出被划分成基本流和附加流的流的信息时，也可以类似地应用本发明。

另外，本技术可以具有下面的构造。

（1）一种发送设备，包括：

图像数据输出单元，所述图像数据输出单元输出构造立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，所述叠加信息数据输出单元基于所述左眼图像数据和所述右眼图像数据来输出叠加到图像的叠加信息的数据；

视差信息输出单元，所述视差信息输出单元输出基于所述左眼图像数据和所述右眼图像数据对叠加到所述图像的所述叠加信息进行移位并且使得出现视差的视差信息；以及

数据发送单元，所述数据发送单元发送复用的数据流，所述复用的数据流包含包括所述图像数据的视频数据流、包括所述叠加信息的数据的第一私有数据流和包括所述视差信息的第二私有数据流，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息。

（2）根据（1）的发送设备，

其中，将对描述与第一私有数据流相关的信息的第一描述符和描述与第二私有数据流相关的信息的第二描述符是公共的识别信息描述为关联信息。

（3）根据（2）的发送设备，

其中，通过表示存在第一私有数据流和第二私有数据流的特定值来定义公共的识别信息。

（4）根据（1）或（2）的发送设备，

其中，复用的数据流包括与多个语言服务中的每一个相对应的第一私有数据流和第二私有数据流，以及

将与各个语言服务相对应的多条公共的识别信息设置为彼此不同。

（5）根据（2）至（4）中的任何一个的发送设备，

其中，叠加信息的数据是DVB格式的子标题数据，以及

在与第一私有数据流相对应的第一子标题描述符和与第二私有数据流相对应的子标题描述符中描述公共的组成页ID。

（6）根据（2）至（5）中的任何一个的发送设备，

其中，在第一描述符和第二描述符中描述语言信息，以及

将第二描述符中描述的语言信息设置为表示非语言。

（7）根据（6）的发送设备，

其中，表示非语言的语言信息是在表示ISO语言代码的“zxx”或“qaa”至“qrz”的空间中包括的语言代码中的任何一个。

（8）根据（1）的发送设备，

其中，将对描述与第一私有数据流相关的信息的第一描述符和描述与第二私有数据流相关的信息的第二描述符是公共的识别信息描述为关联信息，以及

在第一描述符和第二描述符中描述表示用于立体图像显示的信息的类型信息。

（9）根据（8）的发送设备，

其中，叠加信息的数据是DVB格式的子标题数据，以及

类型信息是子标题类型信息。

（10）根据（8）或（9）的发送设备，

其中，在第一描述符和第二描述符中描述语言信息，以及

将在第二描述符中描述的语言信息设置为表示非语言。

（11）根据（10）的发送设备，

其中，表示非语言的语言信息是在表示ISO语言代码的“zxx”或“qaa”至“qrz”的空间中包括的语言代码中的任何一个。

（12）根据（1）的发送设备，

其中，在复用的数据流中包括描述用于将第一私有数据流与第二私有数据流相链接的专用链接信息的描述符。

（13）根据（12）的发送设备，

其中，描述符是描述专用链接信息的专用描述符。

（14）一种发送方法，包括步骤：

输出构造立体图像的左眼图像数据和右眼图像数据；

基于所述左眼图像数据和所述右眼图像数据输出叠加到图像的叠加信息的数据；

输出基于所述左眼图像数据和所述右眼图像数据对叠加到所述图像的所述叠加信息进行移位并且使得出现视差的视差信息；以及

发送复用的数据流，所述复用的数据流包含包括所述图像数据的视频数据流、包括所述叠加信息的数据的第一私有数据流和包括所述视差信息的第二私有数据流，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息。

（15）一种接收设备，包括：

数据接收单元，所述数据接收单元接收复用的数据流，所述复用的数据流包含包括构造立体图像的左眼图像数据和右眼图像数据的视频数据流、包括基于所述左眼图像数据和所述右眼图像数据叠加到图像的叠加信息的数据的第一私有数据流、以及包括基于所述左眼图像数据和所述右眼图像数据对叠加到所述图像的所述叠加信息进行移位并且使得出现视差的视差信息的第二私有数据流；

第一解码单元，所述第一解码单元从所述复用的数据流中提取所述视频数据流并且对所述视频数据流进行解码；以及

第二解码单元，所述第二解码单元从所述复用的数据流中提取所述第一私有数据流和所述第二私有数据流并且对所述第一私有数据流和所述第二私有数据流进行解码，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息，以及

所述第二解码单元基于所述关联信息从所述复用的数据流中提取所述第一私有数据流和所述第二私有数据流。

本技术的主要特征在于当发送包括2D分段（分段DDS、PCS、RCS、CDS、ODS和EDS）的2D流和与2D流单独的包括3D扩展分段（DSS分段）的3D扩展流时（参见图11），在传送流TS中包括用于将两个流彼此相关联的关联信息（公共的composition_page_id等）（参见图15），因而具有3D功能的接收设备能够有效并适当地提取和解码两个流。

参考符号列表

10、10A 图像收发系统

100 广播站

111 数据提取单元

111a 数据记录介质

112 视频编码器

113 音频编码器

114 子标题生成单元

115 视差信息创建单元

116 子标题处理单元

118 子标题编码器

119 复用器

200、200A 机顶盒（STB）

201 位流处理单元

202 HDMI端子

203 天线端子

204 数字调谐器

205 视频信号处理电路

206 HDMI发送单元

207 音频信号处理电路

208 网络端子

209 网络接口

211 CPU

215 远程控制接收单元

216 远程控制发送机

221 解复用器

222 视频解码器

223 编码数据缓冲器

224 子标题解码器

225 像素缓冲器

226 视差信息插值单元

227 位置控制单元

228 视频叠加单元

229 音频解码器

300、300A 电视接收机（TV）

301 3D信号处理单元

302 HDMI端子

303 HDMI接收单元

304 天线端子

305 数字调谐器

306 位流处理单元

307 视频/图形处理电路

308 面板驱动电路

309 显示面板

310 音频信号处理电路

311 音频放大电路

312 扬声器

Claims (15)

1.一种发送设备，包括：

图像数据输出单元，所述图像数据输出单元输出构造立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，所述叠加信息数据输出单元基于所述左眼图像数据和所述右眼图像数据输出叠加到图像的叠加信息的数据；

视差信息输出单元，所述视差信息输出单元输出基于所述左眼图像数据和所述右眼图像数据对叠加到所述图像的所述叠加信息进行移位并且使得出现视差的视差信息；以及

数据发送单元，所述数据发送单元发送复用的数据流，所述复用的数据流包含包括所述图像数据的视频数据流、包括所述叠加信息的数据的第一私有数据流和包括所述视差信息的第二私有数据流，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息。

2.根据权利要求1所述的发送设备，

其中，将对描述与所述第一私有数据流相关的信息的第一描述符和描述与所述第二私有数据流相关的信息的第二描述符是公共的识别信息描述为所述关联信息。

3.根据权利要求2所述的发送设备，

其中，通过表示存在所述第一私有数据流和所述第二私有数据流的特定值来定义所述公共的识别信息。

4.根据权利要求2所述的发送设备，

其中，所述复用的数据流包括与多个语言服务中的每一个相对应的所述第一私有数据流和所述第二私有数据流，以及

将与各个语言服务相对应的多条公共的识别信息设置为彼此不同。

5.根据权利要求2所述的发送设备，

其中，所述叠加信息的数据是DVB格式的子标题数据，以及

在与所述第一私有数据流相对应的第一子标题描述符和与所述第二私有数据流相对应的子标题描述符中描述公共的组成页ID。

6.根据权利要求2所述的发送设备，

其中，在所述第一描述符和所述第二描述符中描述语言信息，以及

将所述第二描述符中描述的语言信息设置为表示非语言。

7.根据权利要求6所述的发送设备，

其中，表示非语言的所述语言信息是在表示ISO语言代码的“zxx”或“qaa”至“qrz”的空间中包括的语言代码中的任何一个。

8.根据权利要求1所述的发送设备，

其中，将对描述与所述第一私有数据流相关的信息的第一描述符和描述与所述第二私有数据流相关的信息的第二描述符是公共的识别信息描述为所述关联信息，以及

在所述第一描述符和所述第二描述符中描述表示用于立体图像显示的信息的类型信息。

9.根据权利要求8所述的发送设备，

其中，所述叠加信息的数据是DVB格式的子标题数据，以及

所述类型信息是子标题类型信息。

10.根据权利要求8所述的发送设备，

其中，在所述第一描述符和所述第二描述符中描述语言信息，以及

将在所述第二描述符中描述的语言信息设置为表示非语言。

11.根据权利要求10所述的发送设备，

其中，表示非语言的所述语言信息是在表示ISO语言代码的“zxx”或“qaa”至“qrz”的空间中包括的语言代码中的任何一个。

12.根据权利要求1所述的发送设备，

其中，在所述复用的数据流中包括描述用于将所述第一私有数据流与所述第二私有数据流相链接的专用链接信息的描述符。

13.根据权利要求12所述的发送设备，

其中，所述描述符是描述所述专用链接信息的专用描述符。

14.一种发送方法，包括步骤：

输出构造立体图像的左眼图像数据和右眼图像数据；

基于所述左眼图像数据和所述右眼图像数据输出叠加到图像的叠加信息的数据；

输出基于所述左眼图像数据和所述右眼图像数据对叠加到所述图像的所述叠加信息进行移位并且使得出现视差的视差信息；以及

发送复用的数据流，所述复用的数据流包含包括所述图像数据的视频数据流、包括所述叠加信息的数据的第一私有数据流和包括所述视差信息的第二私有数据流，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息。

15.一种接收设备，包括：

数据接收单元，所述数据接收单元接收复用的数据流，所述复用的数据流包含包括构造立体图像的左眼图像数据和右眼图像数据的视频数据流、包括基于所述左眼图像数据和所述右眼图像数据叠加到图像的叠加信息的数据的第一私有数据流、以及包括基于所述左眼图像数据和所述右眼图像数据对叠加到所述图像的所述叠加信息进行移位并且使得出现视差的视差信息的第二私有数据流；

第一解码单元，所述第一解码单元从所述复用的数据流中提取所述视频数据流并且对所述视频数据流进行解码；以及

第二解码单元，所述第二解码单元从所述复用的数据流中提取所述第一私有数据流和所述第二私有数据流，并且对所述第一私有数据流和所述第二私有数据流进行解码，

其中，在所述复用的数据流中包括将所述第一私有数据流与所述第二私有数据流相关联的关联信息，以及

所述第二解码单元基于所述关联信息从所述复用的数据流中提取所述第一私有数据流和所述第二私有数据流。

Images