CN102369735B - 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法 - Google Patents

Abstract

在显示叠加信息中维持图像中的每个对象之间的透视感的兼容性。视差信息组创建单元(134)例如对位于底层的像素的视差矢量应用缩小化处理，找到通过分层划分图像区域获得的层次中的区域的视差信息，并且创建视差信息组，其中按照分层顺序安排基于由接收侧请求的视差矢量的空间密度、或发送频带等选择的层次中的区域的视差矢量。复用器(122)复用从编码器提供的流的分组，以便获得位流数据(BSD)作为包括视差信息组的发送数据。在接收侧，视差信息组用作叠加在左眼图像和右眼图像上的相同叠加信息，从而可以容易地显示已经根据图像中的每个对象之间的透视感应用视差调整的叠加信息。

Description

立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法

技术领域

本发明涉及立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法，具体涉及能够有利地执行叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)的显示的立体图像数据发送装置等。

背景技术

例如，在PTL 1中提出了一种用于使用电视无线电波发送立体图像数据的方法。在该情况下，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且在电视接收机中执行使用双眼视差的立体图像显示。

图66图示在使用双眼视差的立体图像显示中，屏幕上的对象的左和右图像的显示位置以及由其形成的立体图像的再现位置之间的关系。例如关于对象A，如图中所示，显示其左图像La以便偏移到右侧，并且显示其右图像Ra以便偏移到屏幕的左侧，左视线和右视线在屏幕表面前方交叉，因此其立体图像的再现位置在屏幕表面的前方。

此外，例如关于对象B，如图中所示，其左图像Lb和右图像Rb显示在屏幕上的相同位置，左视线和右视线在屏幕表面上交叉，并且其立体图像的再现位置在屏幕表面上。此外，例如，关于对象C，如图中所示，显示其左图像Lc以便偏移到屏幕的左侧，并且显示其右图像Rc以便偏移到屏幕的右侧，左视线和右视线在屏幕表面后方交叉，因此其立体图像的再现位置在屏幕表面的后方。

引用列表

专利文献

PTL 1：日本未审专利申请公开No.2005-6114

发明内容

如上所述，在立体图像显示中，观众通常使用双眼视差识别立体图像中的透视图。关于要叠加在图像上的叠加信息，如隐藏字幕信息、字幕信息、图形信息和文本信息，例如预期不仅在二维空间中，而且在三维透视图中与立体图像显示相结合地呈现。

例如，在执行图像上的字幕的叠加显示(重叠显示)的情况下，该字幕为隐藏字幕信息或字幕信息，观众可能感觉透视不一致，除非该字幕在透视图方面显示在图像中的最近对象的前方。此外，在执行图像上的其它图形信息或文本信息的叠加显示的情况下，预期要根据图像中的各个对象的透视图执行视差(disparity)调整，并且要维持透视一致性。

本发明的目的是在叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)的显示中维持图像中的各个对象之间的透视一致性。

本发明的构思在于一种立体图像数据发送装置，包括：视差信息创建单元，其创建视差信息组，在该视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层的各个区域中的左眼图像和右眼图像之一关于另一个的各条视差信息；以及数据发送单元，其将由视差信息创建单元创建的视差信息组与包括左眼图像数据和右眼图像数据的立体图像数据一起发送。

在本发明中，通过视差信息创建单元创建视差信息组。在该视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层的各个区域中的左眼图像和右眼图像之一关于另一个的各条视差信息。例如，给形成视差信息组的每条视差信息增加该条视差信息所属的底层(bottomlayer)的位置信息(块ID等)。由视差信息创建单元创建的视差信息组与包括左眼图像数据和右眼图像数据的立体图像数据一起由数据发送单元发送。

以此方式，在本发明中，左眼图像和右眼图像之一关于另一个的视差信息与包括左眼图像数据和右眼图像数据的立体图像数据一起发送，用于显示立体图像。因此，在接收器侧，其中已经根据图像中的各个对象的透视图执行视差调整的叠加信息可以用作要叠加在左眼图像和右眼图像上的相同叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)，使得在叠加信息的显示中可以维持图像中的各个对象之间的透视一致性。

此外，在该视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层中的各个区域的各条视差信息。因此，在接收器侧，可以容易地检索和使用对应于叠加信息的叠加位置的视差信息。也就是说，在接收机侧，用于获得对应于叠加信息的叠加位置的视差信息的计算等是不必要的，这实现了简单配置。

本发明的另一构思在于一种立体图像数据接收装置，包括：数据接收单元，其接收视差信息组以及包括左眼图像数据和右眼图像数据的立体图像数据，在该视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层的各个区域中的左眼图像和右眼图像之一关于另一个的各条视差信息；以及图像数据处理单元，其使用由数据接收单元接收的左眼图像数据和右眼图像数据以及由数据接收单元接收的视差信息组，将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息，从而获得其上叠加了叠加信息的左眼图像的数据和其上叠加了叠加信息的右眼图像的数据。

在本发明中，通过数据接收单元接收视差信息组以及包括左眼图像数据和右眼图像数据的立体图像数据。在该视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层的各个区域中的左眼图像和右眼图像之一关于另一个的各条视差信息。

使用左眼图像数据和右眼图像数据以及视差信息组，通过图像数据处理单元将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息，使得获得其上叠加了叠加信息的左眼图像的数据和其上叠加了叠加信息的右眼图像的数据。

以此方式，基于视差信息组将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息。因此，其中已经根据图像中的各个对象的透视图执行视差调整的叠加信息可以用作要叠加到左眼图像和右眼图像上的相同叠加信息，使得在叠加信息的显示中可以维持图像中的各个对象之间的透视一致性。

此外，在视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层中的各个区域的各条视差信息。因此，可以容易地检索和使用对应于叠加信息的叠加位置的视差信息。即，用于获得对应于叠加信息的位置的视差信息的计算不是必须的，这实现了简单配置。

此外，本发明的另一构思在于一种立体图像数据发送装置，包括：视差信息输出单元，其输出左眼图像和右眼图像之一关于另一个的视差信息；以及数据发送单元，其将从视差信息输出单元输出的视差信息与包括左眼图像数据和右眼图像数据的立体图像数据一起发送，其中从视差信息输出单元输出的视差信息包括图像数据的各个特定单元的各条视差信息。

在本发明中，通过数据发送单元将从视差信息输出单元输出的左眼图像和右眼图像之一关于另一个的视差信息与包括左眼图像数据和右眼图像数据的立体图像数据一起发送。在该情况下，从视差信息输出单元输出的视差信息包括图像数据的各个特定单元的各条视差信息。特定单元可以是例如画面的单元(帧)。

以此方式，在本发明中，将左眼图像和右眼图像之一关于另一个的视差信息与包括左眼图像数据和右眼图像数据的立体图像数据一起发送，用于显示立体图像。因此，在接收器侧，其中已经根据图像中的各个对象的透视图执行视差调整的叠加信息可以用作要叠加到左眼图像和右眼图像上的相同叠加信息，使得在叠加信息的显示中可以维持图像中的各个对象之间的透视一致性。

此外，在本发明中，从视差信息输出单元输出的视差信息包括图像数据的各个特定单元的各条视差信息。因此，在接收器侧，在叠加信息的叠加时段中，基于对应的一条视差信息的视差可以给到图像数据的每个特定单元中的叠加信息。即，给到叠加信息的视差可以结合图像内容的改变动态地改变。

此外，在本发明中，例如数据发送单元可以根据各个特定时段划分图像数据，并且在发送各个特定时段的各条图像数据之前，发送对应于各个特定时段的各条图像数据的各个特定单元的各条视差信息。在该情况下，在接收器侧，在叠加信息的发送时段中，基于从对应于叠加时段的视差信息中选择的特定一条视差信息的视差可以给到叠加信息。即，叠加信息的叠加时段中的最大视差可以给到叠加信息，而不管图像内容的改变。

此外，本发明的另一构思在于一种立体图像数据接收装置，包括：数据接收单元，其接收视差信息以及包括左眼图像数据和右眼图像数据的立体图像数据；以及图像数据处理单元，其使用由数据接收单元接收的左眼图像数据、右眼图像数据以及视差信息，将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息，从而获得其上叠加了叠加信息的左眼图像的数据和其上叠加了叠加信息的右眼图像的数据，其中由数据接收单元接收的视差信息包括图像数据的各个特定单元的各条视差信息，以及其中图像数据处理单元在叠加信息的叠加时段中，将基于对应的一条视差信息的视差给到图像数据的各个特定单元中的叠加信息。

在本发明中，使用由数据接收单元接收的视差信息以及包括左眼图像数据、右眼图像数据的立体图像数据，通过图像数据处理单元将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息，使得获得其上叠加了叠加信息的左眼图像的数据和其上叠加了叠加信息的右眼图像的数据。

在该情况下，由数据接收单元接收的视差信息包括图像数据的各个特定单元的各条视差信息。在图像数据处理单元中，在叠加信息的叠加时段中将基于对应的一条视差信息的视差给到图像数据的各个特定单元中的叠加信息。

以此方式，基于视差信息将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息。因此，其中已经根据图像中的各个对象的透视图执行视差调整的叠加信息可以用作要叠加到左眼图像和右眼图像上的相同叠加信息，使得在叠加信息的显示中可以维持图像中的各个对象之间的透视一致性。

此外，在图像数据处理单元中，在叠加信息的叠加时段中将基于对应的一条视差信息的视差给到图像数据的各个特定单元中的叠加信息。因此，给到叠加信息的视差可以结合图像内容的改变动态地改变。

此外，本发明的另一构思在于一种立体图像数据接收装置，包括：数据接收单元，其接收视差信息以及包括左眼图像数据和右眼图像数据的立体图像数据；以及图像数据处理单元，其使用由数据接收单元接收的左眼图像数据、右眼图像数据以及视差信息，将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息，从而获得其上叠加了叠加信息的左眼图像的数据和其上叠加了叠加信息的右眼图像的数据，其中由数据接收单元接收的视差信息包括图像数据的各个特定单元的各条视差信息，其中在叠加时段之前，数据接收单元至少接收对应于叠加信息的叠加时段的视差信息，以及其中图像数据处理单元在叠加信息的叠加时段中将基于从对应于叠加时段的视差信息中选择的特定的一条视差信息的视差给到叠加信息。

在本发明中，使用由数据接收单元接收的视差信息以及包括左眼图像数据、右眼图像数据的立体图像数据，通过图像数据处理单元将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息，使得获得其上叠加了叠加信息的左眼图像的数据和其上叠加了叠加信息的右眼图像的数据。

在该情况下，由数据接收单元接收的视差信息包括图像数据的各个特定单元的各条视差信息。在数据接收单元中，在叠加时段之前，至少接收对应于叠加信息的叠加时段的视差信息。此外，在图像数据处理单元中，在叠加信息的叠加时段中将基于从对应于叠加时段的视差信息中选择的特定的一条视差信息的视差给到叠加信息。例如，该特定的一条视差信息被当作指示对应于叠加时段的视差信息中的最大视差的视差信息。

以此方式，基于视差信息将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息。因此，其中已经根据图像中的各个对象的透视图执行视差调整的叠加信息可以用作要叠加到左眼图像和右眼图像上的相同叠加信息，使得在叠加信息的显示中可以维持图像中的各个对象之间的透视一致性。

此外，在图像数据处理单元中，在叠加信息的叠加时段中将基于从对应于叠加时段的视差信息中选择的特定的一条视差信息的视差给到叠加信息。因此，叠加信息的叠加时段中的最大视差可以给到叠加信息，而不管图像内容的改变。

此外，本发明的另一构思在于一种立体图像数据接收装置，包括：数据接收单元，其接收左眼图像和右眼图像之一关于另一个的视差信息以及包括左眼图像数据和右眼图像数据的立体图像数据；以及数据发送单元，其经由发送路径将由数据接收单元接收的左眼图像数据、右眼图像数据和视差信息发送到外部装置。

在本发明中，通过数据接收单元接收左眼图像和右眼图像之一关于另一个的视差信息以及包括左眼图像数据和右眼图像数据的立体图像数据。然后，经由发送路径，通过数据发送单元将接收的左眼图像数据、右眼图像数据和视差信息发送到外部装置。在本发明中，例如数据发送单元使用多个信道并使用差分信号经由发送路径将图像数据发送到外部装置，并且通过将视差信息插入图像数据的消隐时段将视差信息发送到外部装置。

此外，在本发明中，例如数据发送单元包括：发送数据生成单元，其生成其中视频场时段用作单元的发送数据，该视频场时段使用垂直同步信号划分，并且包括水平消隐时段、垂直消隐时段和有效视频时段；以及发送数据发送单元，其使用多个信道并使用差分信号经由发送路径将由发送数据生成单元生成的发送数据发送到外部装置。有效视频时段包括主要视频区域和辅助视频区域。发送数据生成单元将图像数据安排在主要视频区域中，并且将与主要视频区域中安排的图像数据有关的视差信息安排在辅助视频区域中。

以此方式，在本发明中，经由发送路径将左眼图像和右眼图像之一关于另一个的视差信息以及左眼图像数据和右眼图像数据发送到外部装置。因此，在外部装置中，例如在如电视接收机的图像显示装置中，其中已经根据图像中的各个对象的透视图执行视差调整的叠加信息可以用作要叠加到左眼图像和右眼图像上的相同叠加信息(如菜单和节目表)，并且在叠加信息的显示中可以维持图像中的各个对象之间的透视一致性。

根据本发明，在立体图像数据(左眼图像数据和右眼图像数据)的接收器侧，其中已经根据图像中的各个对象的透视图执行视差调整的叠加信息可以用作要叠加到左眼图像和右眼图像上的相同叠加信息，并且在叠加信息的显示中可以维持透视一致性。

附图说明

图1是图示作为本发明实施例的立体图像显示系统的示例配置的框图。

图2是图示广播站中的发送数据生成单元的示例配置的框图。

图3是图示1920×1080像素的像素格式的图像数据的图。

图4包括用于说明作为用于发送立体图像数据(3D图像数据)的方法的“上下”方法、“并排”方法和“帧顺序”方法的图。

图5是用于说明检测右眼图像关于左眼图像的视差矢量的示例的图。

图6是用于说明使用块匹配方法获得视差矢量的图。

图7包括图示由视差矢量检测单元检测的、在图像的特定位置的视差矢量VV的示例的图。

图8是图示视差矢量的发送内容的图。

图9包括图示视差检测块和该情况下视差矢量的发送内容的示例。

图10包括用于说明用于检测和发送视差矢量的定时的示例的图。

图11是用于说明用于检测和发送视差矢量的定时的示例的图。

图12是图示在发送数据生成单元中复用的各个数据流的示例的图。

图13是图示广播站中的发送数据生成单元的另一示例配置的框图。

图14图示在广播站中的发送数据生成单元中复用的各个流的示例。

图15是图示广播站中的发送数据生成单元的另一示例配置的框图。

图16图示在广播站中的发送数据生成单元中复用的各个流的示例。

图17包括用于说明在发送方法是第一发送方法(“上下”方法)的情况下，左眼图形信息和右眼图形信息的叠加位置等的图。

图18包括用于说明在发送方法是第一发送方法(“上下”方法)的情况下，用于生成左眼图形信息和右眼图形信息的方法的图。

图19包括用于说明在发送方法是第二发送方法(“并排”方法)的情况下，用于生成左眼图形信息和右眼图形信息的方法的图。

图20是用于说明在发送方法是第二发送方法(“并排”方法)的情况下、用于生成左眼图形信息和右眼图形信息的方法的图。

图21是图示广播站中的发送数据生成单元的另一示例配置的框图。

图22是图示广播站中的发送数据生成单元的另一示例配置的框图。

图23是图示在各个像素的视差矢量的值用作各个像素的亮度值的情况下的示例图像的图。

图24是图示各个块的视差矢量的示例的图。

图25包括图示在发送数据生成单元中的视差信息组创建单元中执行的缩小化(downsizing)处理的示例的图。

图26是用于说明在由视差信息组创建单元管理的各个层中的各个区域的视差矢量的图。

图27是图示视差信息组的内容的示例的图。

图28包括图示在发送方法是第二发送方法(“并排”方法)的情况下，左眼图形信息和右眼图形信息的叠加位置的图。

图29包括图示状态的图，该状态中基于从位流数据提取并使用传统方法发送的图形数据的图形图像照原样叠加在左眼图像和右眼图像上。

图30包括分别图示在时间T0、T1、T2和T3在三个对象位置处的视差矢量(观看矢量)的图。

图31包括图示图像上的字幕(图形信息)和背景、前景对象、和字幕的透视图的示例显示的图。

图32包括图示图像上的字幕(图形信息)和用于显示字幕的左眼图形信息LGI和右眼图形信息RGI的示例显示的图。

图33包括用于说明使用在图像中的多个位置检测的视差矢量中对应于叠加位置的视差矢量作为视差矢量的图。

图34包括图示在图像中存在各个对象A、B和C以及指示各个对象的注释的文本信息叠加在这些各个对象的附近的图。

图35是图示形成立体图像显示系统的机顶盒的示例配置的框图。

图36是图示形成机顶盒的位流处理单元的示例配置的框图。

图37是图示在视差矢量VV1在电视显示的方向上的左侧的视频对象中更大的情况下，扬声器输出控制的示例的图。

图38是图示从广播站发送的各个数据流和视差矢量之间的对应的图。

图39是图示从广播站发送的各个数据流和视差矢量之间的对应的图。

图40是图示形成机顶盒的位流处理单元的另一示例配置的框图。

图41是图示从广播站发送的各个数据流和视差矢量之间的对应的图。

图42是图示从广播站发送的各个数据流和视差矢量之间的对应的图。

图43是图示从广播站发送的各个数据流和视差矢量之间的对应的图。

图44是图示形成机顶盒的位流处理单元的另一示例配置的框图。

图45是图示形成机顶盒的位流处理单元的另一示例配置的框图。

图46是图示形成立体图像显示系统的电视接收机的示例配置的图。

图47是图示HDMI发送单元(HDMI源)和HDMI接收单元(HDMI宿)的示例配置的框图。

图48是图示形成HDMI发送单元的HDMI发送器和形成HDMI接收单元的HDMI接收器的示例配置的框图。

图49是图示TMDS发送数据(发送水平1920像素×垂直1080行的图像数据的情况)的示例结构的图。

图50是图示连接到源装置和宿装置的HDMI电缆的HDMI端子的引脚布局(类型A)的图。

图51是图示E-EDID的示例数据结构的图。

图52是图示供应商特定区域(HDMI供应商特定数据块)的示例数据结构的图。

图53是图示作为立体图像数据的TMDS发送数据结构之一的帧打包方法的3D视频格式的图。

图54是图示作为立体图像数据的TMDS发送数据结构之一的行交替方法的3D视频格式的图。

图55是图示作为立体图像数据的TMDS发送数据结构之一的并排(完整)方法的3D视频格式的图。

图56是图示形成立体图像显示系统的机顶盒的另一示例配置的框图。

图57是图示形成立体图像显示系统的电视接收机的另一示例配置的框图。

图58是图示从机顶盒发送到电视接收机的视差信息组的内容示例的图。

图59是用于说明通过将图像(画面)区域划分为九个块获得的各个块BK0到BK8以及在该情况下各个块的视差矢量的排列的图。

图60是图示在HDMI供应商特定信息帧用于发送视差信息组的情况下、HDMI供应商特定信息帧的示例分组结构的图。

图61是图示在有效空间区域用于发送视差信息组的情况下，HDMI供应商特定信息帧的示例分组结构的图。

图62是图示在有效空间区域中安排的视差信息组的配置的图。

图63是图示视差信息组结构的各条信息的内容的图。

图64包括用于说明根据块大小的每个视差矢量的信息组的排列的示例的图。

图65是图示立体图像显示系统的另一示例配置的图。

图66是图示在使用双眼视差的立体图像显示中，屏幕上对象的左和右图像的显示位置与其立体图像的再现位置之间的关系的图。

具体实施方式

以下，将描述执行本发明的实施例(以下称为“实施例”)。注意，将按照下面的顺序给出描述。

1.实施例

2.修改

<1.实施例>

[立体图像发送/接收系统的示例配置]

图1图示作为实施例的立体图像发送/接收系统10的示例配置。立体图像发送/接收系统10包括广播站100、机顶盒(STB)200和电视接收机300。

机顶盒200和电视接收机300经由HDMI(高清晰度多媒体接口)电缆400相互连接。机顶盒200提供有HDMI端子202。电视接收机300提供有HDMI端子302。HDMI电缆400的一端连接到机顶盒200的HDMI端子202，并且HDMI电缆400的另一端连接到电视接收机300的HDMI端子302。

[广播站的描述]

广播站100使用无线电波(airwaves)发送位流数据。位流数据包括包含左眼图像数据和右眼图像数据的立体图像数据、音频数据、叠加信息数据和另外的视差信息(视差矢量)等。这里，叠加信息数据可以是隐藏字幕数据、字幕数据、图形数据、文本数据等。

[发送数据生成单元的示例配置]

图2图示广播站100中的生成上述位流数据的发送数据生成单元110的示例配置。该示例配置是发送作为数字信息的视差矢量的示例。发送数据生成单元110包括照相机111L和111R、视频分帧(framing)单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器115。

此外，发送数据生成单元110包括麦克风116、音频编码器117、字幕/图形产生单元118、字幕/图形编码器119、文本产生单元120、文本编码器121和复用器122。注意，在该实施例中，文本产生单元120还用作用于产生隐藏字幕数据的单元。隐藏字幕数据可以是用于显示隐藏字幕的文本数据。

照相机111L捕获左眼图像，并获得用于显示立体图像的左眼图像数据。照相机111R捕获右眼图像，并获得用于显示立体图像的右眼图像数据。视频分帧单元112将由照相机111L获得的左眼图像数据和由照相机111R获得的右眼图像数据处理为根据发送方法的状态。

[用于发送立体图像数据的方法的示例]

这里，下面的第一到第三方法用作用于发送立体图像数据(3D图像数据)的方法，但是替代地可以使用其它发送方法。这里，将给出左眼(L)的图像数据和右眼(R)的图像数据的每个是例如1920×1080像素的像素格式的确定分辨率的图像数据的情况的描述，如图3所示。

第一发送方法是“上下”方法，即，用于从垂直方向的第一半发送左眼图像数据的每条线的数据并从垂直方向的后一半发送右眼图像数据的每条线的数据的方法，如图4(a)所示。在该情况下，左眼图像数据和右眼图像数据的线被稀疏为一半，使得垂直分辨率减少为原始信号的一半分辨率。

第二发送方法是“并排”方法，即，用于从水平方向的第一半发送左眼图像数据的像素数据并从水平方向的后一半发送右眼图像数据的像素数据的方法，如图4(b)所示。在该情况下，在左眼图像数据和右眼图像数据的每个中，水平方向上的像素数据被稀疏为一半，使得水平分辨率减少为当前信号的一半分辨率。

第三发送方法是“帧顺序方法”，即，用于通过对每场顺序地在左眼图像数据和右眼图像数据之间切换来发送左眼图像数据和右眼图像数据的方法，如图4(c)所示。

回来参考图2，视频编码器113对已经根据MPEG4-AVC、MPEG2、VC-1等通过视频分帧单元112处理的立体图像数据执行编码，从而获得编码视频数据。此外，视频编码器113包括后级中的流格式化器113a(formatter)。利用流格式化器113a，视频编码器113生成包括有效载荷部分中的编码视频数据的视频基本流。

视差矢量检测单元114基于左眼图像数据和右眼图像数据检测在图像中的特定位置处的视差矢量，该视差矢量是左眼图像和右眼图像之一关于另一个的视差信息。这里，图像中的特定位置可以是所有像素位置、由多个像素构成的各个区域的代表性位置、或要对其叠加叠加信息(这里如图形信息或文本信息)的区域的代表性位置。

[视差矢量的检测]

将描述检测视差矢量的示例。这里，将描述检测右眼图像关于左眼图像的视差矢量的示例。如图5所示，左眼图像被当作检测图像，并且右眼图像被当作参考图像。在该示例中，检测在位置(xi，yi)和(xj，yj)的视差矢量。

将描述检测在位置(xi，yi)的视差矢量的情况作为示例。在该情况下，设置例如8×8或16×16的像素块(视差检测块)Bi，其中在位置(xi，yi)处的像素在左眼图像中的左上。然后，在右眼图像中搜索匹配像素块Bi的像素块。

在该情况下，在右眼图像中设置具有位置(xi，yi)在中心的搜索范围，并且通过顺序地将搜索范围内的各个像素当作目标像素，顺序地设置例如类似于上述像素块Bi的8×8或16×16的比较块。

在像素块Bi和顺序设置的比较块之间获得相互对应的像素之间的差的绝对值的和。这里，如图6所示，当像素块Bi的像素值为L(x，y)并且比较块的像素值为R(x，y)时，像素块Bi和特定比较块之间的差的绝对值的和用∑|L(x，y)-R(x，y)|表示。

当在右眼图像中设置的搜索范围中包括n个像素时，最终获得n个和S1到Sn，并且从它们中选择最小和Smin。然后，从由其获得和Smin的比较块获得在左上的像素的位置(xi’，yi’)。因此，在位置(xi，yi)的视差矢量检测为(xi’-xi，yi’-yi)。尽管省略了详细描述，但是在位置(xj，yj)的视差矢量也以类似处理过程检测，其中例如设置8×8或16×16的像素块Bj，并且在位置(xj，yj)的像素在左眼图像中的左上。

图7(a)图示由视差矢量检测单元114检测的、在图像中的特定位置的视差矢量VV的示例。在该情况下，如图7(b)所示，左眼图像(检测图像)在该图像的特定位置处偏移视差矢量VV时，重叠在右眼图像(参考图像)上。

回来参考图2，视差矢量编码器115生成包括由视差矢量检测单元114检测的视差矢量的视差矢量的基本流。这里，视差矢量的基本流包括以下内容。即，ID(ID_Block)、垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和视差矢量(View_Vector)形成一组。然后，该一组重复视差检测块的数量，该数量为N。

图8图示视差矢量的发送内容。视差矢量包括垂直方向分量(View_Vector_Vertical)和水平方向分量(View_Vector_Horizontal)。注意，视差检测块的垂直和水平位置用作垂直方向和水平方向上从在图像的左上的原点到块的左上的像素的偏移值。在发送每个视差矢量时附接视差检测块的ID，以便建立到叠加在图像上的同时显示的叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)的模式的链接。

例如，当视差检测块A到F存在时，如图9(a)所示，发送内容包括视差检测块A到F的ID、垂直和水平位置信息、以及视差矢量，如图9(b)所示。例如，在图9(b)中，关于视差检测块A，ID2表示视差检测块A的ID，(Ha，Va)表示视差检测块A的垂直和水平位置信息，并且视差矢量a表示视差检测块A的视差矢量。

现在，将描述用于检测和发送视差矢量的定时。下面的第一到第四示例可用于该定时。

在第一示例中，定时与画面的编码同步，如图10(a)所示。在该情况下，以画面为单位发送视差矢量。画面是用于发送视差矢量的最小单位。在第二示例中，定时与视频的场景同步，如图10(b)所示。在该情况下，以场景为单位发送视差矢量。

在第三示例中，定时与编码视频的I画面(内画面)或GOP(画面组)同步，如图10(c)所示。在第四示例中，定时与叠加在图像上的同时显示的字幕信息、图形信息、文本信息等的显示开始定时同步，如图11所示。

回来参考图2，麦克风116检测对应于由照相机111L和111R捕获的图像的音频，从而获得音频数据。音频编码器117根据MPEG-2音频AAC等对由麦克风116获得的音频数据执行编码，从而生成音频基本流。

字幕/图形产生单元118产生要叠加在图像上的字幕信息或图形信息的数据(字幕数据或图形数据)。字幕信息可以是例如字幕。此外，图形信息可以是例如标识。字幕数据和图形数据是位图数据。字幕数据和图形数据添加有指示图像上的叠加位置的空闲(idling)偏移信息。

例如，空闲偏移信息指示在垂直方向和水平方向上、从在图像的左上的原点到在字幕信息或图形信息的叠加位置的左上的像素的偏移值。注意，用于发送作为位图数据的字幕数据的标准通过DVB标准化为DVB_Subtitling并进行操作，DVB是欧洲的数字广播标准。

字幕/图形编码器119输入通过字幕/图形产生单元118产生的字幕信息或图形信息的数据(字幕数据或图形数据)。然后，字幕/图形编码器119生成包括有效负载部分中的那些条数据的基本流。

文本产生单元120产生要叠加在图像上的文本信息的数据(文本数据)。文本信息可以是例如电子节目表或文本广播的内容。如同上述图形数据，文本数据添加有指示图像上的叠加位置的空闲偏移信息。例如，空闲偏移信息指示在垂直方向和水平方向上、从在图像的左上的原点到在文本信息的叠加位置的左上的像素的偏移值。注意，发送文本数据的示例包括美国数字地面标准ATSC的操作用于预约节目和CC_data(隐藏字幕)的EPG。

文本编码器121输入由文本产生单元120产生的文本数据。然后，文本编码器121产生包括有效载荷部分中的数据的基本流。

复用器122复用从编码器113、115、117、119和121输出的分组化的基本流。然后复用器122输出用作发送数据的位流数据(传送流)。

将简单描述图2所示的发送数据生成单元110的操作。通过照相机111L捕获左眼图像。将通过照相机111L捕获并用于显示立体图像的左眼图像数据提供到视频分帧单元112。此外，通过照相机111R捕获右眼图像。将通过照相机111R捕获并用于显示立体图像的右眼图像数据提供到视频分帧单元112。在视频分帧单元112中，将左眼图像数据和右眼图像数据处理为根据发送方法的状态，使得获得立体图像(见图4(a)到图4(c))。

通过视频分帧单元112获得的立体图像数据提供到视频编码器113。在视频编码器113中，根据MPEG4-AVC、MPEG2、VC-1等对立体图像数据执行编码，使得生成包括编码视频数据的视频基本流。该视频基本流提供到复用器122。

此外，通过照相机111L和111R获得的左眼图像数据和右眼图像数据经由视频分帧单元112提供到视差矢量检测单元114。在视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，在图像中的特定位置处设置视差检测块，并且检测用作左眼图像和右眼图像之一关于另一个的视差信息的视差矢量。

通过视差矢量检测单元114检测的图像中的特定位置处的视差矢量提供到视差矢量编码器115。在该情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组提供。在视差矢量编码器115中，生成包括视差矢量的发送内容(见图8)的视差矢量基本流。该视差矢量基本流提供到复用器122。

此外，在麦克风116中，检测对应于由照相机111L和111R捕获的图像的音频。通过麦克风116获得的音频数据提供到音频编码器117。在音频编码器117中，根据MPEG-2音频AAC等对音频数据执行编码，使得生成包括编码的音频数据的音频基本流。该音频基本流提供到复用器122。

此外，在字幕/图形产生单元118中，产生要叠加在图像上的字幕信息或图形信息的数据(字幕数据或图形数据)。该数据(位图数据)提供到字幕/图形编码器119。字幕/图形数据添加有指示图像上的叠加位置的空闲偏移信息。在字幕/图形编码器119中，对图形数据执行特定编码，使得生成包括编码数据的基本流。该基本流提供到复用器122。

此外，在文本产生单元120中，产生要叠加在图像上的文本信息的数据(文本数据)。该文本数据提供到文本编码器121。如同上述图形数据，文本数据添加有指示图像上的叠加位置的空闲偏移信息。在文本编码器121中，对文本数据执行特定编码，使得生成包括编码数据的基本流。该基本流提供到复用器122。

在复用器122中，复用从各个编码器提供的基本流的分组，使得获得作为发送数据的位流数据(传送流)BSD。

图12图示在图2所示的发送数据生成单元110中复用的各个数据流的示例。注意，该示例示出这样的情况，其中以视频场景为单位检测并且发送视差信息(见图10(b))。注意，各个流的分组添加有用于同步显示的时间戳，使得可以在接收器侧控制用于在图像上叠加字幕信息、图形信息、文本信息等的定时。

[发送数据生成单元的另一示例配置]

注意，图2所示的上述发送数据生成单元110具有用于将视差矢量的发送内容(见图8)作为独立的基本流发送到接收器侧的配置。然而，视差矢量的发送内容可以在嵌入另一流中的同时发送。例如，视差矢量的发送内容可以在作为用户数据嵌入视频流中的同时发送。此外，例如视差矢量的发送内容可以在嵌入字幕、图形或文本的流中的同时发送。

图13图示发送数据生成单元110A的示例配置。该示例也是发送作为数字信息的视差矢量的示例。发送数据生成单元110A具有用于通过将视差矢量的发送内容作为用户数据嵌入视频流中来发送视差示矢量的发送内容的配置。在图13中，对应于图2中的那些的部分用相同参考标号表示，并且省略其详细描述。

在发送数据生成单元110A中，通过视差矢量检测单元114检测的图像中的特定位置处的视差矢量提供到视频编码器113中的流格式化器113a。在该情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组提供。在流格式化器113a中，视差矢量的发送内容(见图8)作为用户数据嵌入视频流中。

除此以外，图13所示的发送数据生成单元110A与图2所示的发送数据生成单元110类似地配置，尽管省略了详细描述。

图14图示在图13中图示的发送数据生成单元110A中复用的图像数据流、字幕或图形数据流和文本数据流的示例。视差矢量(视差信息)在嵌入图像数据流中的同时被发送。

[发送数据生成单元的另一示例配置]

图15图示发送数据生成单元110B的示例配置。该示例也是发送作为数字信息的视差矢量的示例。发送数据生成单元110B具有用于通过将视差矢量的发送内容嵌入字幕或图形数据流中来发送视差示矢量的发送内容的配置。在图15中，对应于图2中的那些的部分用相同参考标号表示，并且省略其详细描述。

在发送数据生成单元110B中，通过视差矢量检测单元114检测的图像中的特定位置处的视差矢量提供到字幕/图形编码器119中的流格式化器119a。在该情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组提供。在流格式化器119a中，视差矢量的发送内容(见图8)嵌入字幕或图形数据流中。

除此以外，图15所示的发送数据生成单元110B与图2所示的发送数据生成单元110类似地配置，尽管省略了详细描述。

图16图示在图15中图示的发送数据生成单元110B中复用的图像数据流、字幕或图形数据流和文本数据流的示例。视差矢量(视差信息)在嵌入字幕或图形数据流中的同时被发送。

[发送数据生成单元的另一示例配置]

此外，图2、图13和图15中图示的上述发送数据生成单元110、110A和110B发送作为数字信息的视差矢量(见图8)。然而，替代发送作为数字信息的视差矢量，在发送信息视差之前，视差信息可以在发送器侧预先反映在要叠加在图像上的叠加信息(例如如字幕信息、图形信息和文本信息)的数据中。

例如，在将视差信息反映在图形信息的数据中的情况下，在发送器侧生成对应于应当叠加在左眼图像上的左眼图形信息和应当叠加在右眼图像上的右眼图形信息的图形数据。在该情况下，左眼图形信息和右眼图形信息是相同的图形信息。然而，例如右眼图形信息在图像中的显示位置关于左眼图形信息在水平方向上偏移对应于显示位置的视差矢量的水平方向分量。

例如，在图像中的多个位置处检测到的视差矢量当中对应于叠加位置的视差矢量用作视差矢量。此外，例如在图像中的多个位置处检测到的视差矢量当中在透视图方面识别的最接近位置处的视差矢量用作视差矢量。注意，这在将视差信息反映在字幕信息或图形信息的数据中的情况下相同，尽管省略了详细描述。

图17(a)图示在发送方法是上述第一发送方法(“上下”方法)的情况下的左眼图形信息和右眼图形信息的叠加位置。左眼图形信息和右眼图形信息是相同的图形信息。然而，叠加在右眼图像IR上的右眼图形信息RGI在关于叠加在左眼图像IL上的左眼图形信息LGI在水平方向上偏移视差矢量的水平方向分量VVT的位置处。

生成图形数据，使得各条图形信息LGI和RGI叠加在各个图像IL和IR上，如图17(a)所示。因此，观众可以观察具有视差的各条图形信息LGI和RGI以及各个图像IL和IR，如图17(b)所示，并且透视图也可在图形信息中识别。

例如，生成各条图形信息LGI和RGI的图形数据作为单个区域的数据，如图18(a)所示。在该情况下，不同于各条图形信息LGI和RGI的部分的数据可以生成为透明数据。此外，例如各条图形信息LGI和RGI的图形数据生成为分开区域的数据，如图18(b)所示。

图19(a)图示在发送方法是上述第二发送方法(“并排”方法)的情况下的左眼图形信息和右眼图形信息的叠加位置。左眼图形信息和右眼图形信息是相同的图形信息。然而，叠加在右眼图像IR上的右眼图形信息RGI在关于叠加在左眼图像IL上的左眼图形信息LGI在水平方向上偏移视差矢量的水平方向分量VVT的位置处。注意，IT是空闲偏移值。

生成图形数据，使得各条图形信息LGI和RGI叠加在各个图像IL和IR上，如图19(a)所示。因此，观众可以观察具有视差的各条图形信息LGI和RGI以及各个图像IL和IR，如图19(b)所示，并且透视图也可在图形信息中识别。

例如，生成各条图形信息LGI和RGI的图形数据作为单个区域的数据，如图20所示。在该情况下，不同于各条图形信息LGI和RGI的部分的数据可以生成为透明数据。

图21图示发送数据生成单元110C的示例配置。发送数据生成单元110C具有用于将视差信息反映在叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)的数据中并发送它的配置。在图21中，对应于图2中的那些的部分用相同参考标号表示，并且省略其详细描述。

在发送数据生成单元110C中，字幕/图形处理单元124插入在字幕/图形产生单元118和字幕/图形编码器119之间。此外，在发送数据生成单元110C中，文本处理单元125插入在文本产生单元120和文本编码器121之间。此外，由视差矢量检测单元114检测的图像中的特定位置处的视差矢量提供到字幕/图形处理单元124和文本处理单元125。

在字幕/图形处理单元124中，生成要叠加在左眼图像IL和右眼图像IR上的用于左眼和右眼的各条字幕或图形信息LGI和RGI的数据。在该情况下，基于由字幕/图形产生单元118产生的字幕数据或图形数据产生数据。用于左眼和右眼的各条字幕或图形信息是相同的信息。然而，例如右眼字幕信息或图形信息在图像中的叠加位置关于左眼字幕信息或图形信息在水平方向上偏移视差矢量的水平方向分量VVT(见图17(a)和图19(a))。

以此方式通过字幕/图形处理单元124生成的字幕数据或图形数据提供到字幕/图形处理编码器119。注意，字幕数据或图形数据添加有指示图像上的叠加位置的空闲偏移信息。在字幕/图形编码器119中，生成由字幕/图形处理单元124生成的字幕数据或图形数据的基本流。

此外，在文本处理单元125中，基于由文本产生单元120产生的文本数据，产生要叠加在左眼图像上的左眼文本信息和要叠加在右眼图像上的右眼文本信息。在该情况下，左眼文本信息和右眼文本信息是相同的文本信息，但是例如右眼文本信息在图像中的叠加位置关于左眼文本信息在水平方向上偏移视差矢量的水平方向分量VVT。

以此方式通过文本处理单元125生成的文本数据提供到文本编码器121。注意，文本数据添加有指示图像上的叠加位置的空闲偏移信息。在文本编码器121中，生成由文本处理单元生成的文本数据的基本流。

除此以外，图21所示的发送数据生成单元110C与图2所示的发送数据生成单元110类似地配置，尽管省略了详细描述。

[发送数据生成单元的另一示例配置]

在图2、图13和图15所示的发送数据生成单元110、110A和110B中，在视差矢量检测单元114中基于左眼图像数据和右眼图像数据检测图像中的特定位置处的视差矢量(视差信息)。发送数据生成单元110、110A和110B具有用于将由视差矢量检测单元114检测的图像中的特定位置处的视差信息照原样发送到接收器侧的配置。

然而，例如，可以以像素为单位通过视差矢量检测单元114检测视差矢量，可以对其执行缩小化处理，并且可以获得通过分层划分图像区域获得的各个层中的各个区域中的视差矢量。此外，可以创建视差信息组，其中按照分层顺序安排基于接收器侧请求的视差矢量的空间密度或发送频带选择的层中的各个区域的视差矢量，并且该视差信息组可以发送到接收器侧。

此外，各个像素的视差矢量(视差信息)可以与要发送的左眼图像数据和右眼图像数据一起记录在数据记录介质上。在该情况下，可以对其进行缩小化处理，并且可以获得通过分层划分图像区域获得的各个层中的各个区域的视差矢量。此外，可以创建视差信息组，其中在从数据记录介质读取后，按照分层顺序安排基于接收器侧请求的视差矢量的空间密度或发送频带选择的层中的各个区域的视差矢量，并且该视差信息组可以发送到接收器侧。

图22图示发送数据生成单元110D的示例配置。发送数据生成单元110D具有用于创建视差信息组并将该视差信息组发送到接收器侧的配置，在该视差信息组中，按照分层顺序安排选择的层中的各个区域的视差矢量。在图22中，对应于图2中的那些的部分用相同参考标号表示，并且适当地省略其详细描述。

发送数据生成单元110D包括照相机111L和111R、视频分帧单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器115。此外，发送数据生成单元110D包括麦克风116、音频编码器117、字幕/图形产生单元118、字幕/图形编码器119、文本产生单元120、文本编码器121和复用器122。此外，发送数据生成单元110D包括数据检索单元130、开关131到133、和视差信息组创建单元134。

数据记录介质130a例如以可移除方式加载到数据检索单元130。音频数据、叠加信息的数据和视差矢量与包括左眼图像数据和右眼图像数据的立体图像数据一起记录在数据记录介质130a中，同时相互关联。数据检索单元130从数据记录介质130a检索立体图像数据、音频数据、叠加信息的数据、视差矢量等，并且输出它们。

这里，记录在数据记录介质130a上的立体图像数据对应于通过视频分帧单元112获得的立体图像数据。此外，记录在数据记录介质130a上的叠加信息的数据是字幕数据、图形数据、文本数据等。此外，记录在数据记录介质130a上的视差矢量是例如位于底层中的各个像素的视差矢量。

视差矢量检测单元114基于左眼图像数据和右眼图像数据检测例如位于底层中的各个像素的视差矢量。开关131在现场模式中检索通过视频分帧单元112获得的立体图像数据，并且在再现模式中检索从数据检索单元130输出的立体图像数据，并且将其提供到视频编码器113。

开关132在现场模式中检索通过视差矢量检测单元114获得的视差矢量，并且在再现模式中检索从数据检索单元130输出的视差矢量，并且将其提供到视差信息组创建单元134。开关133在现场模式中检索通过麦克风116获得的音频数据，并且在再现模式中检索从数据检索单元130输出的音频数据，并且将其提供到音频编码器117。

视差信息组创建单元134对通过开关132检索的视差矢量(即，位于底层的各个像素的视差矢量)执行缩小化处理，并且获得通过分层划分图像(画面)区域获得的各个层中的各个区域的视差信息。

图23图示作为各个像素的亮度值给出的相对深度方向上的数据的示例。这里，相对深度方向上的数据通过使用特定转换可以处理为各个像素的视差矢量。在该示例中，亮度值在人的部分中大。这意味着视差矢量的值在人的部分中大，因此意味着人的部分在立体图像显示中被感受为弹出(pop up)。此外，在该示例中，亮度值在背景部分中小。这意味着视差矢量的值在背景部分中小，因此意味着背景部分在立体图像显示中被感受为在后侧。

图24图示各个块的视差矢量的示例。各块在位于底层中的像素的上层。这些块通过在水平方向和垂直方向上将图像(画面)区域划分为一定大小的区域来形成。例如，每个块的视差矢量通过从该块中存在的所有像素的视差矢量中选择最大值的视差矢量来获得。在该示例中，每个块的视差矢量用箭头表示，并且箭头的长度对应于视差矢量的大小。

图25图示在视差信息组创建单元134中执行的缩小化处理的示例。首先，视差信息组创建单元134使用各个像素的视差矢量获得各个块的视差矢量，如图25(a)所示。如上所述，各块在位于底层的像素的上层，并且通过在水平方向和垂直方向上将图像(画面)区域划分为一定大小的区域来形成。此外，例如每个块的视差矢量通过从该块中存在的所有像素的视差矢量中选择最大值的视差矢量来获得。

接着，视差信息组创建单元134使用各个块的视差矢量获得各个组(块的组)的视差矢量，如图25(b)所示。各组在各块的上层，并且通过将相互靠近的多个块分组来获得。在图25(b)中的示例中，每个组由通过虚线框定义的四个块构成。此外，例如每个组的视差矢量通过从该组中存在的所有块的视差矢量中选择最大值的视差矢量来获得。

接着，视差信息组创建单元134使用各个组的视差矢量获得各个层区(region)的视差矢量，如图25(c)所示。各层区在各组的上层，并且通过将相互靠近的多个组分组来获得。在图25(c)的示例中，每个层区由通过虚线框定义的两个组构成。此外，例如每个区间的视差矢量通过从该层区中存在的所有组的视差矢量中选择最大值的视差矢量来获得。

接着，视差信息组创建单元134使用各个层区的视差矢量获得位于顶层的整个画面(整个图像)的视差矢量，如图25(d)所示。在图25(d)所示的示例中，通过虚线框定义的四个层区包括在整个画面中。此外，例如整个画面的视差矢量通过从该整个画面中包括的所有层区的视差矢量中选择最大值的视差矢量来获得。在该情况下，除了视差矢量外，还可以获得其中获得整个画面的视差矢量的像素的原始位置的信息(用“+”指示)，并且该信息可以当作视差矢量的附加信息。这在获得上述块、组和层区的视差矢量的情况下相同。

以此方式，视差信息组创建单元134对位于底层的各个像素的视差矢量执行缩小化处理，从而能够获得各个层(即，块、组、层区和整个画面)中的各个区域的视差矢量。注意，在图25所示的缩小化处理的示例中，除了像素层外，最终获得四层(即，块、组、层区和整个画面)中的视差矢量，但是层数、用于划分每层中的区域的方法、和区域数不限于此。

此外，视差信息组创建单元134创建视差信息组，其中按照分层顺序安排基于接收器侧请求的视差矢量的空间密度或发送频带选择的层中的各个区域的视差矢量。

在视差信息组创建单元134中，通过上述缩小化处理获得各个层(例如，整个画面、层区、组、块和像素)中的各个区域的视差矢量。视差信息组创建单元134管理各个层中的各个区域的视差矢量。如图26所示，将块ID(BlockID)添加到各个层中的各个区域的视差矢量。该块ID表示目标视差矢量所属的底层的位置信息，并且允许在从上层观看时精确检测视差和位置。为了简化图示，图26只图示整个画面(DPall)的视差矢量的一部分和各个层区(DP0到DP3)。

在图26中，要理解的是整个画面(DPall)的视差矢量(DP_value0)是属于由块ID(ID0)表示的底层中的位置的视差矢量。此外，在图26中，要理解的是各个层区(DP0到DP3)的视差矢量(DP_value1到DP_value4)是属于由块ID(ID1到ID4)表示的底层中的位置的视差矢量。

注意，可以替代块ID或与块ID一起使用指示位置自身的信息。例如，该信息是从屏幕的左上到每个区域的左上的偏移值，并且以像素为单位表示。此外，如果各个像素的视差矢量按照扫描顺序(视频像素顺序)安排，则可以省略位置信息的添加。

在只选择作为顶层的整个画面的层作为发送层的情况下，例如，视差信息组创建单元134创建包括视差矢量(DP_value0)的视差信息组，其范围由图26中的箭头a指示。此外，选择整个画面和层区的层作为发送层的情况下，例如，视差信息组创建单元134创建包括视差矢量(DP_value0和DP_value1到DP_value4)的视差信息组，其范围由图26中的箭头b指示。

以下，视差信息组创建单元134以类似方式创建包括选择作为发送层的每个层中的各个区域的视差矢量的视差信息组。注意，不必包括整个画面的层作为发送层，并且可以选择层区层及以下或组层及以下。此外，关于每个层(如层区)中的每个区域的配置自身，不必说对在每个层中划分整个画面的方法、区域数等可以给予自由度。

在视差信息组创建单元134中，按照分层顺序(例如从较高层开始的顺序)，在视差信息组中安排选择作为发送层的各个层中的各个区域的视差矢量。图27图示视差信息组的内容的示例。

在该视差信息组中包括N个视差矢量的信息组。每个信息组由16位的块ID(ID_Block(i))、16位的垂直位置信息(Vertical_Position)、16位的水平位置信息(Horizontal_Position)、和16位的水平方向上的视差矢量(Disparity_Vector_Horizontal)构成。

注意，在接收器侧只用块ID(ID_Block(i))识别视差矢量所属的底层的位置的情况下，位置信息(Vertical_Position，Horizontal_Position)可以不需要。此外，在发送视差矢量时按照扫描顺序(视频像素顺序)安排各个像素的视差矢量的情况下，块ID和位置信息都可以不需要。

视频编码器113根据MPEG4-AVC、MPEG2、VC-1等对从开关131提供的立体图像数据执行编码，从而获得编码的视频数据。此外，视频编码器113生成包括在有效载荷部分中的编码的视频数据的视频基本流。视差矢量编码器115生成包括由视差信息组创建单元134创建的视差信息组的视差矢量的基本流。此外，音频编码器117根据MPEG-2音频AAC等对从开关133提供的音频数据执行编码，从而生成音频基本流。

除此以外，图22所示的发送数据生成单元110D与图2所示的发送数据生成单元110类似地配置，尽管省略了详细描述。

将简要描述图22所示的发送数据生成单元110D的操作。首先，将描述现场模式中的操作。在现场模式中，所有开关131到133连接到a侧。

通过视频分帧单元122获得的立体图像数据经由开关131提供到视频编码器113。在视频编码器113中，根据MPEG4-AVC、MPEG2、VC-1等对立体图像数据执行编码，使得生成包括编码的视频数据的视频基本流。该视频基本流提供到复用器122。

通过照相机111L和111R获得的左眼图像数据和右眼图像数据经由视频分帧单元112提供到视差矢量检测单元114。在视差矢量检测单元114中，例如基于左眼图像数据和右眼图像数据检测位于底层的各个像素的视差矢量。这些视差矢量经由开关132提供到视差信息组创建单元134。

在视差信息组创建单元134中，对视差矢量(即，位于底层的各个像素的视差矢量)执行缩小化处理，并且获得通过分层划分图像区域获得的各个层中的各个区域的视差信息。例如，在视差信息组创建单元134中，对位于底层的各个像素的视差矢量执行缩小化处理，使得获得各个层(即，块、组、层区和整个画面)中的各个区域的视差矢量。

同样在视差信息组创建单元134中，此外，在视差信息组创建单元134中，创建视差信息组，其中按照分层顺序安排基于接收器侧请求的视差矢量的空间密度或发送频带选择的层中的各个区域的视差矢量(见图27)。该视差信息组提供到视差矢量编码器115。在视差矢量编码器115中，生成包括视差信息组的视差矢量基本流。该视差矢量基本流提供到复用器122。

此外，通过麦克风116获得的音频数据经由开关133提供到音频编码器117。在音频编码器117中，根据MPEG-2音频AAC等对音频数据执行编码，使得生成包括编码的音频数据的音频基本流。该音频基本流提供到复用器122。

此外，包括字幕数据或图形数据的编码数据的基本流从字幕/图形编码器119提供到复用器122。此外，包括文本数据的编码数据的基本流从文本编码器121提供到复用器122。然后，在复用器122中，复用从各个编码器提供的基本流的分组，使得获得作为发送数据的位流数据(传送流)BSD。

接着，将描述再现模式中的操作。在再现模式中，所有开关131到133连接到b侧。通过数据检索单元130获得的立体图像经由开关131提供到视频编码器113。此外，通过数据检索单元130获得的视差矢量(即，位于底层的各个像素的视差矢量)经由开关132提供到视差信息组创建单元134。此外，通过数据检索单元130获得的音频数据经由开关133提供到音频编码器117。

再现模式中的其它操作类似于上述现场模式的操作，尽管省略了详细描述。

在图22所示的发送数据生成单元110D中，如上所述，在由视差信息组创建单元134创建的视差信息组中，按照分层顺序安排从通过分层划分图像(画面)获得的各个层中选择的层中的各个区域的视差矢量(视差信息)。因此，在接收器侧，可以容易地从该视差信息组检索对应于叠加信息的叠加位置的视差矢量，并且可以使用该视差矢量。即，在接收器侧，用于获得对应于叠加信息的叠加位置的视差矢量的计算等是不必要的，并且可以实现简单配置。

注意，在上面给出的图22所示的发送数据生成单元110D的描述中，已经给出这样的描述，即视差信息组创建单元134对底层中的各个像素的视差矢量执行缩小化处理以获得各个层中的各个区域的视差矢量。然而，可以通过视差矢量检测单元114检测或获得各个层中的各个区域的视差矢量，并且该视差矢量可以被视差信息组创建单元134使用。可替代地，各个层中的各个区域的视差矢量可以记录在数据记录介质130a上，并且该视差矢量可以被视差信息组创建单元134使用。

此外，在图22所示的发送数据生成单元110D的上述描述中，已经给出这样的描述，即视差信息组创建单元134对底层中的各个像素的视差矢量执行缩小化处理以获得各个层中的各个区域的视差矢量。然而，只有视差信息组创建单元134仅仅获得选择作为发送层的每个层中的各个区域的视差矢量是必须的。

此外，图22所示的发送数据生成单元110D具有利用复用器122复用包括视差信息的视差矢量基本流和其它流的配置。即，图22所示的发送数据生成单元110D具有对应于图2所示的发送数据生成单元110的配置。然而，如同图13和图15所示的发送数据生成单元110A和110B，发送数据生成单元110D具有用于将视差信息组插入其它流(如图像数据流)并且将其发送到接收器侧的配置。

[机顶盒的描述]

回来参考图1，机顶盒200接收使用无线电波从广播站100发送的位流数据(传送流)。位流数据包括立体图像数据(包括左眼图像数据和右眼图像数据)、音频数据、叠加信息数据和另外的视差信息(视差矢量)。这里，叠加信息数据可以是例如字幕数据、图形数据、文本数据(包括隐藏字幕数据)等。

机顶盒200包括位流处理单元201。位流处理单元201从位流数据提取立体图像数据、音频数据、叠加信息数据、视差矢量等。位流处理单元201使用立体图像数据、叠加信息数据(字幕数据、图形数据或文本数据)等生成其上叠加了叠加信息的左眼图像和右眼图像的数据。

这里，在视差矢量作为数字信息发送的情况下，基于视差矢量和叠加信息数据生成分别要叠加在左眼图像和右眼图像上的左眼叠加信息和右眼叠加信息。在该情况下，左眼叠加信息和右眼叠加信息是相同叠加信息。然而，例如右眼叠加信息在图像中的叠加位置关于左眼叠加信息在水平方向上偏移视差矢量的水平方向分量。

图28(a)图示在发送方法是上述第二发送方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的叠加位置。叠加在右眼图像IR上的右眼图形信息RGI在关于叠加在左眼图像IL上的左眼图形信息LGI在水平方向上偏移视差矢量的水平方向分量VVT的位置处。注意，IT是空闲偏移值。

在位流处理单元201中，生成图形数据，使得各条图形信息LGI和RGI以图28(a)所示的方式叠加在各个图像IL和IR上。位流处理单元201将生成的左眼图形数据和右眼图形数据与从位流数据提取的立体图像数据(左眼图像数据和右眼图像数据)组合，从而获得处理后的立体图像数据。根据立体图像数据，观众可以观察具有视差的各条图形信息IGL和IGR以及各个图像IL和IR，如图28(b)所示，并且在图形信息中也可以识别透视图。

注意，图29(a)图示这样的状态，其中基于从位流数据提取的图形数据的图形图像照原样叠加在各个图像IL和IR上。在该情况下，观众观察图形信息的左半以及左眼图像IL、以及图形信息的右半以及右眼图像IR，如图29(b)所示。因此，不能正确地识别图形信息。

图28图示图形信息的情况，并且这对于其它叠加信息(隐藏字幕信息、字幕信息、文本信息等)也一样。即，在视差矢量作为数字信息发送的情况下，基于视差矢量和叠加信息数据生成分别要叠加在左眼图像和右眼图像上的左眼叠加信息和右眼叠加信息。在该情况下，左眼叠加信息和右眼叠加信息是相同叠加信息。然而，例如右眼叠加信息在图像中的叠加位置关于左眼叠加信息在水平方向上偏移视差矢量的水平方向分量。

这里，下面的视差矢量可以用作给出左眼叠加信息和右眼叠加信息之间的视差的视差矢量。例如，在图像中的多个位置检测的视差矢量中在透视图方面识别的最近位置处的视差矢量可以用作视差矢量。图30(a)、30(b)、30(c)和30(d)分别图示在时间T0、T1、T2和T3在三个对象位置处的视差矢量(观看矢量)。

在时间T0，在对应于对象1(H0，V0)的位置处的视差矢量VV0-1是最大视差矢量MaxVV(T0)。在时间T1，在对应于对象1(H1，V1)的位置处的视差矢量VV1-1是最大视差矢量MaxVV(T1)。在时间T2，在对应于对象2(H2，V2)的位置处的视差矢量VV2-2是最大视差矢量MaxVV(T2)。在时间T3，在对应于对象1(H3，V3)的位置处的视差矢量VV3-0是最大视差矢量MaxVV(T3)。

以此方式，在图像中的多个位置检测的视差矢量中在透视图方面识别的最近位置处的视差矢量用作视差矢量，从而在透视图方面叠加信息可以显示在图像中的最近对象的前方。

图31(a)图示图像上的字幕(例如，隐藏字幕信息或字幕信息)的显示示例。在该示例显示中，字幕叠加在由背景和前景对象构成的图像上。图31(b)图示背景、前景对象和字幕构成的透视图，并且图示字幕被识别为最近。

图32(a)图示图像上的字幕(例如，隐藏字幕信息或字幕信息)的显示示例，如同图31(a)。图32(b)图示用于显示字幕的左眼字幕信息LGI和右眼字幕信息RGI。图32(c)图示给出视差到各条字幕信息LGI和RGI，使得字幕被识别为最近。

此外，在图像中的多个位置检测的视差矢量(包括视差信息组中包括的各个层中的各个区域的视差矢量)中，对应于叠加位置的视差矢量可以用作视差矢量。图33(a)图示基于从位流数据提取的图形数据的图形信息和基于从位流数据提取的文本数据的文本信息。

图33(b)图示左眼图形信息LGI和左眼文本信息LTI叠加在左眼图像上的状态。在该情况下，左眼图形信息LGI的叠加位置在水平方向上限制为空闲偏移值(IT-0)。此外，左眼文本信息LTI的叠加位置在水平方向上用空闲偏移值(IT-1)限制。

图33(c)图示右眼图形信息RGI和右眼文本信息RTI叠加在右眼图像上的状态。在该情况下，右眼图形信息RGI的叠加位置在水平方向上用空闲偏移值(IT-0)限制，并且还从左眼图形信息LGI的叠加位置偏移对应于该叠加位置的视差矢量的水平方向分量VVT-0。此外，右眼文本信息RTI的叠加位置在水平方向上用空闲偏移值(IT-1)限制，并且还从左眼文本信息LTI的叠加位置偏移对应于该叠加位置的视差矢量的水平方向分量VVT-1。

在上面描述中，已经给出这样的情况的描述，其中将基于从位流数据提取的图形数据的图形信息或基于从位流数据提取的文本数据的文本信息叠加在左眼图像和右眼图像上。除此以外，在机顶盒200中产生图形数据或文本数据并将基于该图形数据或文本数据的信息叠加在左眼图像和右眼图像上的情况是可用的。

在该情况下，同样可以使用在从位流数据中提取的图像中的特定位置处的视差矢量，在左眼图形信息和右眼图形信息之间或在左眼文本信息和右眼文本信息之间给出视差。因此，当显示图形信息和文本信息时，可以给出在图像中的各个对象之间维持透视一致性的适当的透视图。

图34(a)图示在图像中存在的各个对象A、B和C以及示出各个对象的注释的文本信息叠加在这些各个对象附近。图34(b)图示示出各个对象A、B和C的位置与在各位置的视差之间的对应的视差矢量列表，并且还图示各个视差矢量用于对示出各个对象A、B和C的注释的文本信息给出视差。例如，文本信息“文本”叠加在对象A的附近，并且在其左眼文本信息和右眼文本信息之间给出对应于在对象A的位置(Ha，Va)处的视差矢量VV-a的视差。注意，这对于在对象B和C附近叠加的文本信息也一样。

注意，图33图示叠加信息包括图形信息和文本信息的情况。此外，图34图示叠加信息包括文本信息的情况。这对于其它叠加信息(如隐藏字幕信息和字幕信息)的情况也一样，尽管省略了详细描述。

接着，将给出以下情况的描述，其中视差矢量在预先反映在叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)的数据中的同时被发送。在该情况下，从位流数据提取的叠加信息数据包括基于视差矢量对其给出视差的左眼叠加信息和右眼叠加信息的数据。

因此，位流处理单元201简单地组合从位流数据提取的叠加信息数据和从位流数据提取的立体图像数据(左眼图像数据和右眼图像数据)，从而获得处理后的立体图像数据。注意，对于文本数据(包括隐藏字幕数据)，需要将字符代码转换为位图数据等的处理。

[机顶盒的示例配置]

将描述机顶盒200的示例配置。图35图示机顶盒200的示例配置。机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206和音频信号处理电路207。此外，机顶盒200包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。

天线端子203是用于输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并且输出对应于用户选择的频道的特定位流数据(传送流)。

如上所述，位流处理单元201从位流数据提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、叠加信息数据、视差信息(视差矢量)等。叠加信息数据可以是字幕数据、图形数据、文本数据(包括隐藏字幕数据)等。位流处理单元201组合叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)的数据和立体图像数据，从而获得要显示的立体图像，如上所述。此外，位流处理单元201输出音频数据。下面将描述位流处理单元201的详细配置。

视频信号处理电路205根据需要对从位流处理单元201输出的立体图像数据等执行图像质量调整处理等，并且将处理后的立体图像数据提供到HDMI发送单元206。音频信号处理电路207根据需要对从位流处理单元201输出的音频数据执行音频质量调整处理等，并且将处理后的音频数据提供到HDMI发送单元206。

HDMI发送单元206通过与HDMI兼容的通信，从HDMI端子202发送基带的图像(视频)和音频的数据。在该情况下，使用HDMI的TMDS信道发送数据，因此封装图像和音频的数据，并且将其从HDMI发送单元206输出到HDMI端子202。下面将描述HDMI发送单元206的细节。

CPU 211控制机顶盒200的各个单元的操作。闪速ROM 212存储控制软件并存储数据。DRAM 213形成CPU 211的工作区。CPU 211将从闪速ROM212读取的软件和数据扩展到DRAM 213上，并且启动软件，并控制机顶盒200的各个单元。

遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控代码)，并将其提供到CPU 211。CPU 211基于该遥控代码控制机顶盒200的各个单元。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。

将简要描述机顶盒200的操作。输入天线端子203的电视广播信号提供到数字调谐器204。数字调谐器204处理电视广播信号，并且输出对应于用户选择的频道的特定位流数据(传送流)。

从数字调谐器204输出的位流数据提供到位流处理单元201。在位流处理单元201中，从位流数据提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。此外，在位流处理单元201中，叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)的数据和立体图像数据组合，使得生成要显示的立体图像数据。

通过位流处理单元201生成的要显示的立体图像数据根据需要在视频信号处理电路205中经历图像质量调整处理等，然后提供到HDMI发送单元206。此外，通过位流处理单元201获得的音频数据根据需要在音频信号处理电路207中经历音频质量调整处理等，然后提供到HDMI发送单元206。提供到HDMI发送单元206的立体图像数据和音频数据使用HDMI的TMDS信道从HDMI端子202发送到HDMI电缆400。

[位流处理单元的示例配置]

图36图示位流处理单元201的示例配置。位流处理单元201具有对应于图2和22中所示的上述发送数据生成单元110和110D的配置。位流处理单元201包括解复用器220、视频解码器221、字幕/图形解码器222、文本解码器223、音频解码器224和视差矢量解码器225。此外，位流处理单元201包括立体图像字幕/图形产生单元226、立体图像文本产生单元227、视频叠加单元228和多声道扬声器控制单元229。

解复用器220从位流数据BSD提取视频、音频、视差矢量、字幕或图形和文本的分组，并且将它们发送到各自的解码器。

视频解码器221执行由上述发送数据生成单元110的视频编码器113执行的处理的相反处理。即，视频解码器221从由解复用器220提取的视频分组重建视频基本流，执行解码处理，并且获得包括左眼图像和右眼图像的立体图像数据。用于发送立体图像数据的方法的示例为上述第一发送方法(“上下”方法)、第二发送方法(“并排”方法)、第三方法方法(“帧顺序”方法)的等(见图4(a)到4(c))。

字幕/图形解码器222执行由上述发送数据生成单元110的字幕/图形编码器119执行的处理的相反处理。即，字幕/图形解码器222从由解复用器220提取的字幕/图形分组重建字幕/图形基本流。然后，字幕/图形解码器222还执行解码处理以获得字幕数据或图形数据。

文本解码器223执行由上述发送数据生成单元110的文本编码器121执行的处理的相反处理。即，文本解码器223从由解复用器220提取的文本分组重建文本基本流，执行解码处理，并且获得文本数据(包括隐藏字幕数据)。

音频解码器224执行由上述发送数据生成单元110的音频编码器117执行的处理的相反处理。即，音频解码器224从由解复用器220提取的音频分组重建音频基本流，执行解码处理，并且获得音频数据。

视差矢量解码器225执行由上述发送数据生成单元110的视差矢量编码器115执行的处理的相反处理。即，视差矢量解码器225从由解复用器220提取的视差矢量分组重建视差矢量基本流，执行解码处理，并且获得在图像中特定位置的视差矢量。

立体图像字幕/图形产生单元226生成分别要叠加在左眼图像和右眼图像上的用于左眼和右眼的各条字幕信息或图形信息。基于由解码器222获得的字幕数据或图形数据以及由解码器225获得的视差矢量执行该生成处理。在该情况下，用于左眼和右眼的各条字幕信息或图形信息是相同的信息。然而，例如右眼字幕信息或图形信息在图像中的叠加位置关于左眼字幕信息或图形信息在水平方向上偏移视差矢量的水平方向分量。然后，立体图像字幕/图形产生单元226输出生成的用于左眼和右眼的各条字幕信息或图形信息的数据(位图数据)。

立体图像文本产生单元227基于通过解码器223获得的文本数据和通过解码器225获得的视差矢量，生成分别要叠加在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在该情况下，左眼文本信息和右眼文本信息是相同文本信息，但是例如右眼文本信息在图像中的叠加位置关于左眼文本信息在水平方向上偏移视差矢量的水平方向分量。然后，立体图像文本产生单元227输出生成的左眼文本信息和右眼文本信息的数据(位图数据)。

视频叠加单元228将由产生单元226和227产生的数据叠加在通过视频解码器221获得的立体图像数据(左眼图像数据和右眼图像数据)上，从而获得要显示的立体图像数据Vout。注意，叠加信息数据在立体图像数据(左眼图像数据和右眼图像数据)上的叠加根据系统层的时间戳来启动。

多声道扬声器控制单元229执行生成用于实现例如5.1声道环绕等的多声道扬声器的音频数据的处理，以及对通过音频解码器224获得的音频数据给出特定声场特性的处理。此外，多声道扬声器控制单元229基于通过解码器225获得的视差矢量控制多声道扬声器的输出。

视差矢量越大，立体效果越高。根据立体效果的程度控制多声道扬声器的输出，从而可以实现立体体验的进一步提供。

图37图示在电视显示的方向上来看在左侧的视频对象中视差矢量VV1更大的情况下的扬声器输出控制的示例。在该控制示例中，多声道扬声器的左后扬声器的音量高，左前扬声器的音量中等，此外右前和右后扬声器的音量低。以此方式，视频内容(立体图像数据)的视差矢量应用于接收器侧的其它媒体数据(如音频数据)，这使得观众能够全面地体验立体效果。

将简要描述图36中所示的位流处理单元201的操作。从数字调谐器204(见图35)输出的位流数据BSD提供到解复用器220。在解复用器220中，从位流数据BSD提取视频、音频、视差矢量、字幕或图形和文本的TS分组，并且将其提供到各自的解码器。

在视频解码器221中，从由解复用器220提取的视频分组重建视频基本流，此外执行解码处理，并且获得包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据提供到视频叠加单元228。此外，在视差矢量解码器225中，从由解复用器220提取的视差矢量分组重建视差矢量基本流，此外执行解码处理，并且获得在图像中的特定位置的视差矢量(见图8和图27)。

在字幕/图形解码器222中，从由解复用器220提取的字幕/图形分组重建字幕/图形基本流。此外，在字幕/图形解码器222中，对字幕/图形基本流执行解码处理，从而获得字幕数据或图形数据。字幕数据或图形数据提供到立体图像字幕/图形产生单元226。立体图像字幕/图形产生单元226还提供有由视差矢量解码器225获得的视差矢量。

在立体图像字幕/图形产生单元226中，生成分别要叠加在左眼图像和右眼图像上的用于左眼和右眼的各条字幕信息或图形信息的数据。基于由解码器222获得的字幕数据或图形数据以及由解码器225获得的视差矢量执行该生成处理。在该情况下，例如右眼字幕信息或图形信息在图像中的叠加位置关于左眼字幕信息或图形信息在水平方向上偏移视差矢量的水平方向分量。从立体图像字幕/图形产生单元226输出生成的用于左眼和右眼的各条字幕信息或图形信息的数据(位图数据)。

此外，在文本解码器223中，从由解复用器220提取的文本TS分组重建文本基本流，此外执行解码处理，并且获得文本数据。文本数据提供到立体图像文本产生单元227。立体图像文本产生单元227还提供有由视差矢量解码器225获得的视差矢量。

在立体图像文本产生单元227中，基于由解码器223获得的文本数据和由解码器225获得的视差矢量，生成分别要叠加在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在该情况下，左眼文本信息和右眼文本信息是相同的文本信息，但是例如右眼文本信息在图像中的叠加位置关于左眼文本信息在水平方向上偏移视差矢量的水平方向分量。从立体图像文本产生单元227输出生成的左眼文本信息和右眼文本信息的数据(位图数据)。

除了从上述视频解码器221输出的立体图像数据(左眼图像数据和右眼图像数据)外，从字幕/图形产生单元226和文本产生单元227输出的数据提供到视频叠加单元228。在视频叠加单元228中，由字幕/图形产生单元226和文本产生单元227产生的数据叠加在立体图像数据(左眼图像数据和右眼图像数据)上，使得获得要显示的立体图像数据Vout。要显示的立体图像数据Vout作为发送图像数据经由视频信号处理电路205提供到HDMI发送单元206(见图35)。

此外，在音频解码器224中，从由解复用器220提取的音频TS分组重建音频基本流，此外执行解码处理，并且获得音频数据。音频数据提供到多声道扬声器控制单元229。在多声道扬声器控制单元229中，对音频数据执行生成用于实现例如5.1声道等的多声道扬声器的音频数据的处理、以及给出特定声场特性的处理。

多声道扬声器控制单元229还提供有由视差矢量解码器225获得的视差矢量。此外，在多声道扬声器控制单元229中，基于视差矢量控制多声道扬声器的输出。通过多声道扬声器控制单元229获得的多声道音频数据作为发送音频数据经由音频信号处理电路207提供到HDMI发送单元206(见图35)。

[对叠加信息给出视差]

现在，将给出在图36所示的流处理单元201的立体图像字幕/图形产生单元226和立体图像文本产生单元227中对叠加信息给出视差进一步的描述。

如图38和39所示，例如从广播站100发送包括视差矢量的视差矢量流(见图8和图27)以及图像数据流、字幕或图形数据流和文本数据流。在该情况下，与各个特定时段(如编码视频的GOP(画面组)或I(内画面)画面、或场景)的开始定时同步地集体发送对应于各个特定时段的各个特定单元的视差矢量。作为特定单元，例如画面(帧)的单元或画面的整数倍的单元是可用的。

例如，在立体图像字幕/图形产生单元226和立体图像文本产生单元227中，在叠加信息的叠加时段期间，将基于对应的视差矢量(视差信息)的视差给到每个特定单元的叠加信息。给到图38中的字幕(图形)数据流和文本数据流的部分的箭头表示将视差给到每个特定单元的叠加信息的定时。在其中将视差给到叠加信息的这种配置中，给到叠加信息的视差可以结合图像内容的改变而动态地改变。

此外，例如在立体图像字幕/图形产生单元226和立体图像文本产生单元227中，在叠加信息的叠加时段期间，在将基于从叠加时段中的各视差矢量中选择的特定视差矢量(视差信息)的视差给到每个特定单元的叠加信息。例如，该特定视差矢量被当作指示叠加时段中的视差信息中的最大视差的视差信息。

给到图39中的字幕(图形)数据流和文本数据流的部分的箭头表示将视差给到叠加信息的定时。在该情况下，在叠加时段开始时将视差给到叠加信息，此后，对其给出视差的叠加信息用作应当叠加在左眼图像和右眼图像上的叠加信息。在将视差给到叠加信息的配置中，可以将叠加信息的叠加时段中的最大视差给到视差信息，而不管图像内容的改变。

[位流处理单元的另一示例配置]

图40所示的位流处理单元201A具有对应于图13所示的上述发送数据生成单元110A的配置。在图40中，对应于图36所示的那些的部分用相同参考标号表示，并且省略其详细描述。

替代图36所示的位流处理单元201的视差矢量解码器225，位流处理单元201A提供有视差矢量检索单元231。视差矢量检索单元231从通过视频解码器221获得的视频流中检索用户数据区中嵌入的视差矢量。然后，视差矢量检索单元231将检索的视差矢量提供到立体字幕/图形产生单元226、立体图像文本产生单元227和多声道扬声器控制单元229。

除此以外，图40所示的位流处理单元201A与图36所示的位流处理单元201类似地配置，并且与其类似地操作，尽管省略了详细描述。

[对叠加信息给出视差]

现在，将给出在图40所示的流处理单元201A的立体图像字幕/图形产生单元226和立体图像文本产生单元227中对叠加信息给出视差的进一步描述。

如图41所示，例如从广播站100发送图像数据流、字幕或图形数据流和文本数据流(见图1)。此外，视差矢量(见图8和图27)在嵌入图像数据流中的同时被发送。在该情况下，对应于特定单元的视差矢量在嵌入图像数据的每个特定单元的图像数据流中(例如，以编码视频的画面为单元)的同时被发送。

在立体图像字幕/图形产生单元226和立体图像文本产生单元227中，在叠加信息的叠加时段期间，将基于对应的视差矢量(视差信息)的视差给到每个特定单元的叠加信息。给到图41中的字幕(图形)数据流和文本数据流的部分的箭头表示将视差给到每个特定单元的叠加信息的定时。在其中将视差给到叠加信息的这种配置中，给到叠加信息的视差可以结合图像内容的改变而动态地改变。

此外，如图42和43所示，例如从广播站100发送图像数据流、字幕或图形数据流和文本数据流(见图1)。此外，视差矢量(见图8和图27)在嵌入图像数据流中的同时被发送。在该情况下，与各个特定时段(如编码视频的GOP(画面组)或I画面、或场景)的开始定时同步地集体发送对应于各个特定时段的各个特定单元的视差矢量。作为特定单元，例如画面(帧)的单元或画面的整数倍的单元是可用的。

例如，在立体图像字幕/图形产生单元226和立体图像文本产生单元227中，在叠加信息的叠加时段期间，将基于对应的视差矢量(视差信息)的视差给到每个特定单元的叠加信息。给到图42中的字幕(图形)数据流和文本数据流的部分的箭头表示将视差给到每个特定单元的叠加信息的定时。在其中将视差给到叠加信息的这种配置中，给到叠加信息的视差可以结合图像内容的改变而动态地改变。

此外，例如在立体图像字幕/图形产生单元226和立体图像文本产生单元227中，在叠加信息的叠加时段期间，将基于从叠加时段中的各视差矢量中选择的特定视差矢量(视差信息)的视差给到每个特定单元的叠加信息。例如特定视差信息的该特定视差矢量被当作指示叠加时段中的视差信息中的最大视差的视差信息。

给到图43中的字幕(图形)数据流和文本数据流的部分的箭头表示将视差给到叠加信息的定时。在该情况下，在叠加时段开始时将视差给到叠加信息，此后，对其给出视差的叠加信息用作应当叠加在左眼图像和右眼图像上的叠加信息。在将视差给到叠加信息的这种配置中，可以将叠加信息的叠加时段中的最大视差给到视差信息，而不管图像内容的改变。

[位流处理单元的另一示例配置]

图44所示的位流处理单元201B具有对应于图15所示的上述发送数据生成单元110B的配置。在图44中，对应于图36所示的那些的部分用相同参考标号表示，并且省略其详细描述。

替代图36所示的位流处理单元201的视差矢量解码器225，位流处理单元201B提供有视差矢量检索单元232。视差矢量检索单元232检索通过字幕/图形解码器222获得的字幕或图形流中嵌入的视差矢量。然后，视差矢量检索单元232将检索的视差矢量提供到立体字幕/图形产生单元226、立体图像文本产生单元227和多声道扬声器控制单元229。

不同于其，图44所示的位流处理单元201B与图36所示的位流处理单元201类似地配置，并且与其类似地操作，尽管省略了详细描述。注意，在图44中的位流处理单元201B中将视差给到叠加信息类似于上述图40中的位流处理单元201A中将视差给到叠加信息(见图41到图43)。

[位流处理单元的另一示例配置]

图45所示的位流处理单元201C具有对应于图21所示的上述发送数据生成单元110C的配置。在图45中，对应于图36所示的那些的部分用相同参考标号表示，并且省略其详细描述。

通过从图36所示的位流处理单元201移除视差矢量解码器225、立体图像字幕/图形产生单元226和立体图像文本产生单元227获得位流处理单元201C。在该情况下，视差矢量预先反映在字幕信息、图形信息和文本信息的数据中。

如上所述，发送的字幕数据或图形数据包括要叠加在左眼图像上的左眼字幕信息或图形信息的数据以及要叠加在右眼图像上的右眼字幕信息或图形信息的数据。类似地，如上所述，发送的文本数据包括要叠加在左眼图像上的左眼文本信息的数据以及要叠加在右眼图像上的右眼文本信息的数据。因此，视差矢量解码器225、立体图像字幕/图形产生单元226和立体图像文本产生单元227不是必须的。

注意，因为通过文本解码器223获得的文本数据是代码数据(字符代码)，所以需要将其转换为位图数据的处理。该处理例如在文本解码器223的最后级中或在视频叠加单元228的输入级中执行。

[电视接收机的描述]

回来参考图1，电视接收机300经由HDMI电缆400接收从机顶盒200发送的立体图像数据。电视接收机300包括3D信号处理单元301。3D信号处理单元301对立体图像数据执行对应于发送方法的处理(解码处理)，从而生成左眼图像数据和右眼图像数据。即，3D信号处理单元301执行由图2、图13、图15、图21和图22中所示的发送数据生成单元110、110A、110B、110C和110D中的视频分帧单元112执行的处理的相反处理。然后，3D信号处理单元301获得形成立体图像数据的左眼图像数据和右眼图像数据。

[电视接收机的示例配置]

将描述电视接收机300的示例配置。图46图示电视接收机300的示例配置。电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。

此外，电视接收机300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大器电路311和扬声器312。此外，电视接收机300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。

天线端子304是用于输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并且输出对应于用户选择的频道的特定位流数据(传送流)。

位流处理单元306与图35所示的机顶盒200的位流处理单元201类似地配置。位流处理单元306从位流数据提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、叠加信息数据、视差矢量(视差信息)等。叠加信息数据可以是字幕数据、图形数据、文本数据(包括隐藏字幕数据)等。位流处理单元306组合叠加信息数据和立体图像数据，从而获得要显示的立体图像数据。此外，位流处理单元306输出音频数据。

HDMI接收单元303通过与HDMI兼容的通信，经由HDMI电缆400接收提供到HDMI端子302的未压缩图像数据和音频数据。HDMI接收单元303的版本例如是HDMI 1.4，并且处于能够处理立体图像数据的状态。下面将描述HDMI接收单元303的细节。

3D信号处理单元301对通过HDMI接收单元303接收的或通过位流处理单元306获得的立体图像数据执行解码处理，从而生成左眼图像数据和右眼图像数据。在该情况下，3D信号处理单元301对通过位流处理单元306获得的立体图像数据执行对应于发送方法(见图4)的解码处理。此外，3D信号处理单元301对通过HDMI接收单元303接收的立体图像数据执行对应于TMDS发送数据结构(下面描述)的解码处理。

视频/图形处理电路307基于通过3D信号处理单元301生成的左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据。此外，视频/图形处理电路307根据需要对图像数据执行图像质量调整处理。此外，视频/图形处理电路307根据需要组合叠加信息的数据(如菜单和节目表)和图像数据。面板驱动电路308基于从视频/图形处理电路307输出的图像数据驱动显示面板309。显示面板309由LCD(液晶显示器)、PDP(等离子显示面板)等构成。

音频信号处理电路310对通过HDMI接收单元303接收的或通过位流处理单元306获得的音频数据执行必要的处理，如D/A转换。音频放大器电路311放大从音频信号处理电路310输出的音频信号，并将其提供到扬声器312。

CPU 321控制电视接收机300的各个单元的操作。闪速ROM 322存储控制软件并存储数据。DRAM 323形成CPU 321的工作区。CPU 321将从闪速ROM 322读取的软件和数据扩展到DRAM 323并启动软件，并且控制电视接收机300的各个单元。

遥控接收单元325接收从遥控发送器326发送的遥控信号(遥控代码)，并将其提供到CPU 321。CPU 321基于该遥控代码控制电视接收机300的各个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。

将简要描述图46所示的电视接收机300的操作。HDMI接收单元303接收从经由HDMI电缆400连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。通过HDMI接收单元303接收的立体图像数据提供到3D信号处理单元301。此外，通过HDMI接收单元303接收的音频数据提供到音频信号处理电路310。

输入天线端子304的电视广播信号提供到数字调谐器305。数字调谐器305处理电视广播信号，并且输出对应于用户选择的频道的特定位流数据(传送流)。

从数字调谐器305输出的位流数据提供到位流处理单元306。在位流处理单元306中，从位流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、叠加信息数据、视差矢量(视差信息)等。此外，在位流处理单元306中，叠加信息(隐藏字幕信息、字幕信息、图形信息和文本信息)的数据与立体图像数据组合，使得生成要显示的立体图像数据。

通过位流处理单元306生成的要显示的立体图像数据提供到3D信号处理单元301。此外，通过位流处理单元306获得的音频数据提供到音频信号处理电路310。

在3D信号处理单元301中，对通过HDMI接收单元303接收的或通过位流处理单元306获得的立体图像数据执行解码处理，使得生成左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据提供到视频/图形处理电路307。在视频/图形处理电路307中，基于左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据，并且根据需要执行图像质量调整处理和组合叠加信息数据的处理。

通过视频/图形处理电路307获得的图像数据提供到面板驱动电路308。因此，在显示面板309上显示立体图像。例如，基于左眼图像数据的左眼图像和基于右眼图像数据的右眼图像以时分方式在显示面板309上交替地显示。通过佩戴快门眼镜，观众只能用左眼观看左眼图像，并且只能用右眼观看右眼图像，在该快门眼镜中，左眼快门和右眼快门与显示面板309上的显示同步地交替打开，从而能够感受立体图像。

此外，在音频信号处理电路310中，对通过HDMI接收单元303接收的或通过位流处理单元306获得的音频数据执行必要的处理，如D/A转换。音频数据通过音频放大器电路311放大，然后提供到扬声器312。因此，对应于在显示面板309上显示的图像的音频从扬声器312输出。

[HDMI发送单元和HDMI接收单元的示例配置]

图47图示图1中的立体图像显示系统10中的机顶盒200的HDMI发送单元(HDMI源)206和电视接收机300的HDMI接收单元(HDMI宿)303的示例配置。

HDMI发送单元206在有效图像时段(以下根据需要也称为有效视频时段)中，使用多个信道以单向方式将对应于一个屏幕的未压缩图像的像素数据的差分信号发送到HDMI接收单元303。这里，通过从自一个垂直同步信号到下一个垂直同步信号的时段中移除水平消隐时段和垂直消隐时段来获得有效图像时段。此外，HDMI发送单元206在水平消隐时段或垂直消隐时段中，使用多个信道以单向方式将至少对应于伴随图像的音频数据和控制数据、其它辅助数据等的差分信号发送到HDMI接收单元303。

由HDMI发送单元206和HDMI接收单元303构成的HDMI系统中的发送信道包括下面的发送信道。即，存在三个TMDS信道#0到#2，其用作用于与像素时钟同步地、以单向方式从HDMI发送单元206串行地发送像素数据和音频数据到HDMI接收单元303的发送信道。此外，存在TMDS时钟信道，其用作用于发送像素时钟的发送信道。

HDMI发送单元206包括HDMI发送器81。发送器81将未压缩图像的像素数据转换为对应的差分信号，并且使用多个信道：例如三个TMDS信道#0、#1和#2，以单向方式将它们串行地发送到经由HDMI电缆400连接的HDMI接收单元303。

此外，发送器81将伴随未压缩图像的音频数据、必要的控制数据、其它辅助数据等转换为对应的差分信号，并且使用三个TMDS信道#0、#1和#2以单向方式将它们串行地发送到HDMI接收单元303。

此外，发送器81使用TMDS时钟信道，将与使用三个TMDS信道#0、#1和#2发送的像素数据同步的像素时钟发送到经由HDMI电缆400连接的HDMI接收单元303。这里，在一个TMDS信道#i(i＝0、1或2)中，在像素时钟的一个时钟中发送10位像素数据。

HDMI接收单元303在有效视频时段中，使用多个信道接收对应于以单向方式从HDMI发送单元206发送的像素数据的差分信号。此外，HDMI接收单元303在水平消隐时段或垂直消隐时段中，使用多个信道接收对应于以单向方式从HDMI发送单元206发送的音频数据和控制数据的差分信号。

即，HDMI接收单元303包括HDMI接收器82。HDMI接收器82使用TMDS信道#0、#1和#2接收以单向方式从HDMI发送单元206发送的对应于像素数据的差分信号和对应于音频数据和控制数据的差分信号。在该情况下，HDMI接收器82使用TMDS时钟信道接收与从HDMI发送单元206发送的像素时钟同步地的差分信号。

除了上述TMDS信道#0到#2以及TMDS时钟信道外，HDMI系统中的发送信道包括称为DDC(显示数据信道)83和CEC线84的发送信道。DDC 83由HDMI电缆400中包括的并且没有示出的两条信号线构成。DDC 83由HDMI发送单元206用来从HDMI接收单元303读取E-EDID(增强扩展显示标识数据)。

即，除了HDMI接收器81外，HDMI接收单元303包括存储E-EDID的EDID ROM(只读存储器)85，该E-EDID是关于其性能(配置/能力)的性能信息。例如，HDMI发送单元206响应于从CPU 211(见图35)提供的请求，使用DDC 83从经由HDMI电缆400连接的HDMI接收单元303读取E-EDID。

HDMI发送单元206将读取的E-EDID发送到CPU 211。CPU 211将E-EDID存储在闪速ROM 212或DRAM 213中。CPU 211可以基于E-EDID识别HDMI接收单元303的性能的设置。例如，CPU 211识别包括HDMI接收单元303的电视接收机300是否能够处理立体图像数据，如果能够处理，则识别电视接收机300是否与该TMDS发送数据结构兼容。

CEC线84由HDMI电缆400中包括的单个信号线(未示出)构成，并且用于执行HDMI发送单元206和HDMI接收单元303之间的控制数据的双向通信。CEC线84构成控制数据线。

此外，HDMI电缆400包括连接到称为HPD(热插拔检测)的管脚的线(HPD线)86。源装置可以使用线86检测宿装置的连接。注意，HPD线86也用作形成双向通信路径的HEAC-线。此外，HDMI电缆400包括用于从源装置提供电源给宿装置的线(电源线)87。此外，HDMI电缆400包括效用线88。该效用线88也用作形成双向通信路径的HEAC+线。

图48图示图47中的HDMI发送器81和HDMI接收器82的示例配置。HDMI发送器81包括分别对应于三个TMDS信道#0、#1和#2的三个编码器/串行化器81A、81B和81C。此外，编码器/串行化器81A、81B和81C的每个编码提供到其的图像数据、辅助数据和控制数据，将数据从并行数据转换为串行数据，并且作为差分信号发送数据。这里，在图像数据具有R、G和B的三个分量的情况下，B分量提供到编码器/串行化器81A，G分量提供到编码器/串行化器81B，并且R分量提供到编码器/串行化器81C。

此外，辅助数据包括例如音频数据和控制分组。例如，控制分组提供到编码器/串行化器81A，并且音频数据提供到编码器/串行化器81B和81C。此外，控制数据包括1位的垂直同步信号(VSYNC)、1位的水平同步信号(HSYNC)和1位的控制位CTL0、CTL1、CTL2和CTL3。垂直同步信号和水平同步信号提供到编码器/串行化器81A。控制位CTL0和CTL1提供到编码器/串行化器81B，并且控制位CTL2和CTL3提供到编码器/串行化器81C。

编码器/串行化器81A以时分方式发送提供到其的图像数据的B分量、垂直同步信号和水平同步信号、以及辅助数据。即，编码器/串行化器81A将提供到其的图像数据的B分量当作作为固定位数量的8位单元的并行数据。此外，编码器/串行化器81A编码该并行数据，将其转换为串行数据，并且使用TMDS信道#0发送它。

此外，编码器/串行化器81A编码提供到其的垂直同步信号和水平同步信号的2位的并行数据，将其转换为串行数据，并且使用TMDS信道#0发送它。此外，编码器/串行化器81A将提供到其的辅助数据当作4位单元的并行数据。然后，编码器/串行化器81A编码该并行数据，将其转换为串行数据，并且使用TMDS信道#0发送它。

编码器/串行化器81B以时分方式发送提供到其的图像数据的G分量、控制位CTL0和CTL1、以及辅助数据。即，编码器/串行化器81B将提供到其的图像数据的G分量当作作为固定位数量的8位单元的并行数据。此外，编码器/串行化器81B编码该并行数据，将其转换为串行数据，并且使用TMDS信道#1发送它。

此外，编码器/串行化器81B编码提供到其的控制位CTL0和CTL1的2位的并行数据，将其转换为串行数据，并且使用TMDS信道#1发送它。此外，编码器/串行化器81B将提供到其的辅助数据当作4位单元的并行数据。然后，编码器/串行化器81B编码该并行数据，将其转换为串行数据，并且使用TMDS信道#1发送它。

编码器/串行化器81C以时分方式发送提供到其的图像数据的R分量、控制位CTL2和CTL3、以及辅助数据。即，编码器/串行化器81C将提供到其的图像数据的R分量当作作为固定位数量的8位单元的并行数据。此外，编码器/串行化器81C编码该并行数据，将其转换为串行数据，并且使用TMDS信道#2发送它。

此外，编码器/串行化器81C编码提供到其的控制位CTL2和CTL3的2位的并行数据，将其转换为串行数据，并且使用TMDS信道#1发送它。此外，编码器/串行化器81C将提供到其的辅助数据当作4位单元的并行数据。然后，编码器/串行化器81C编码该并行数据，将其转换为串行数据，并且使用TMDS信道#2发送它。

HDMI接收器82包括分别对应于三个TMDS信道#0、#1和#2的三个恢复/解码器82A、82B和82C。恢复/解码器82A、82B和82C分别接收使用TMDS信道#0、#1和#2作为差分信号发送的图像数据、辅助数据和控制数据。此外，恢复/解码器82A、82B和82C的每个将图像数据、辅助数据和控制数据从串行数据转换为并行数据，解码它并输出它。

即，恢复/解码器82A接收使用TMDS信道#0作为差分信号发送到其的图像数据的B分量、垂直同步信号和水平同步信号、以及辅助数据。然后，恢复/解码器82A将图像数据的B分量、垂直同步信号和水平同步信号、以及辅助数据从串行数据转换为并行数据，解码它并输出它。

恢复/解码器82B接收使用TMDS信道#1作为差分信号发送到其的图像数据的G分量、控制位CTL0和CTL1、以及辅助数据。然后，恢复/解码器82B将图像数据的G分量、控制位CTL0和CTL1、以及辅助数据从串行数据转换为并行数据，解码它并输出它。

恢复/解码器82C接收使用TMDS信道#2作为差分信号发送到其的图像数据的R分量、控制位CTL2和CTL3、以及辅助数据。然后，恢复/解码器82C将图像数据的R分量、控制位CTL2和CTL3、以及辅助数据从串行数据转换为并行数据，解码它并输出它。

图49图示TMDS发送数据的示例结构。图49图示在使用TMDS信道#0、#1和#2发送水平1920像素×垂直1080行的图像数据的情况下的各条发送数据的时段。

在使用HDMI的三个TMDS信道#0、#1和#2发送发送数据的视频场中，根据发送数据的类型存在三种类型的时段。该三种类型的时段包括视频数据时段、数据岛时段和控制时段。

这里，视频场时段是从垂直同步信号的有效边缘到下一个垂直同步信号的有效边缘的时段。该视频场时段包括水平消隐时段、垂直消隐时段和有效视频时段。该有效视频时段是通过从视频场时段移除水平消隐时段和垂直消隐时段获得的时段。

视频数据时段分配给有效视频时段。在该视频数据时段中，发送对应于形成一个屏幕的未压缩图像数据的1920像素×1080行的有效像素的数据。

数据岛时段和控制时段分配给水平消隐时段和垂直消隐时段。在数据岛时段和控制时段中，发送辅助数据。即，数据岛时段分配给水平消隐时段和垂直消隐时段的一部分。在该数据岛时段中，发送辅助数据中与控制无关的数据，例如音频数据的分组等。

控制时段分配给水平消隐时段和垂直消隐时段的其它部分。在该控制时段中，发送辅助数据中与控制有关的数据，例如垂直同步信号和水平同步信号、控制分组等。

图50图示HDMI端子的管脚布局的示例。图50所示的管脚布局称为类型A。使用用作差分线的两条线发送作为TMDS信道#i的差分信号的TMDSData#i+和Data#i-。两条线连接到对其分配TMDS Data#i+的管脚(具有管脚号1、4和7的管脚)和对其分配TMDS Data#i-的管脚(具有管脚号3、6和9的管脚)。

此外，通过其发送用作用于控制的数据的CEC信号的CEC线84连接到具有管脚号13的管脚。此外，通过其发送如E-EDID的SDA(串行数据)信号的线连接到具有管脚号16的管脚。通过其发送作为用于在SDA信号的发送/接收时的同步的时钟信号的SCL(串行时钟)信号的线连接到具有管脚号15的管脚。上述DDC 83由通过其发送SDA信号的线和通过其发送SCL信号的线构成。

此外，如上所述，源装置用来检测宿装置的连接的HPD线(HEAC-线)86连接到具有管脚号19的管脚。此外，效用线(HEAC+线)88连接到具有管脚号14的管脚。此外，如上所述，用于供电的线87连接到具有管脚号18的管脚。

[E-EDID结构]

如上所述，例如HDMI发送单元206响应于从CPU 211(见图35)提供的请求，使用DDC 83从经由HDMI电缆400连接的HDMI接收单元303读取E-EDID。然后，CPU 211例如基于E-EDID识别HDMI接收单元303的性能的设置，例如是否能够处理立体图像数据。

图51图示E-EDID的数据结构的示例。E-EDID由基本块和扩展块构成。在基本块中，在报头安排通过“E-EDID1.3基本结构”表示的由E-EDID1.3标准定义的数据。在基本块中，随后是用“优选定时”表示的、用于保持与传统EDID的兼容性的定时信息。此外，在基本块中，随后是用“第二定时”表示的、用于保持与传统EDID的兼容性的不同于“优选定时”的定时信息。

此外，在基本块中，在“第二定时”后面是用“监视器名称”表示的指示显示设备的名称的信息。在基本块中，随后是用“监视器范围限制”表示的、指示在纵横比为4∶3和16∶9时可以显示的像素的数量的信息。

在扩展块的报头安排“短视频描述符”。这是指示可显示的图像大小(分辨率)、帧速率和隔行扫描或逐行扫描的信息。接着安排“短音频描述符”。这是指示可用于再现的音频编解码方法、采样频率、截止频带、编解码位的数量等的信息。接着，安排由“扬声器分配”表示的关于左和右扬声器的信息。

此外，在扩展块中，在“扬声器分配”后是用“厂商专用”表示的、为每个生产商唯一定义的数据。在扩展块中，随后是用“第三定时”表示的、用于保持与传统EDID的兼容性的定时信息。在扩展块中，再后面是用“第四定时”表示的、用于保持与传统EDID的兼容性的定时信息。

图52图示厂商专用区(HDMI厂商专用数据块)的数据结构的示例。在该厂商专用区中，提供一个字节的第0块到第N块。

在第0块中，安排由“厂商专用标签代码(＝3)”表示的、指示数据“厂商专用”的数据区的报头。此外，在该第0块中，安排由“长度(＝N)”表示的、指示数据“厂商专用”的长度的信息。此外，在第一到第三块中，安排由“24位IEEE登记标识符(0×000C03)LSB第一”表示的、指示为HDMI(R)登记的号码“0×000C03”的信息。此外，在第四和第五块中，安排分别用“A”、“B”、“C”和“D”表示的、指示24位的宿装置的的物理地址的信息。

在第六块中，安排用“支持AI”表示的、示出宿装置可兼容的功能的标志。此外，在该第六块中，安排分别由“DC-48位”、“DC-36位”和“DC-30位”表示的、指定每像素的位数的各条信息。此外，在该第六块中，安排由“DC-Y444”表示的、示出宿装置是否可兼容YCbCr 4:4:4的图像的发送的标志。此外，在该第六块中，安排用“DUV-Dual”表示的、示出宿装置是否兼容双DVI(数字视频接口)的标志。

此外，在第七块中，安排由“Max_TMDS_Clock”表示的、指示TMDS的像素时钟的最大频率的信息。此外，在第八块的第六位和第七位中，安排由“等待时间”表示的、示出视频和音频的延迟信息的存在/不存在的标志。此外，在第八块的第五位中，安排由“HDMI_Video_present”表示的、示出是否可以处理另外的HDMI视频格式(3D，4k×2k)。

此外，在第九块中，安排由“视频等待时间”表示的逐行扫描视频的延迟时间数据。在第十块中，安排由“音频等待时间”表示的伴随逐行扫描视频的音频的延迟时间数据。此外，在第十一块中，安排由“隔行扫描视频等待时间”表示的隔行扫描视频的延迟时间数据。此外，在第十二块中，安排由“隔行扫描音频等待时间”表示的伴随隔行扫描视频的音频的延迟时间数据。

此外，在第十三块的第七位中，安排由“3D_present”表示的、示出是否可以处理3D图像数据的标志。此外，在第十四块的第七位到第五位中，安排由“HDMI_VIC_LEN”表示的、指示在未示出的第十五块或此后的块中可以处理的数据结构以及安排的强制3D数据结构。此外，在第十四块的第四位到第0位安排由“HDMI_3D_LEN”表示的、在未示出的第十五块或此后的块中安排的并且指示可以处理4k×2k的视频格式的块的大小信息。

[立体图像数据的TMDS发送数据结构]

图53图示帧打包方法的3D视频格式，其是立体图像数据的TMDS发送数据结构之一。该3D视频格式是用于发送逐行扫描方法中的左眼(L)和右眼(R)图像数据作为立体图像数据的格式。

在该3D视频格式中，发送1920×1080像素和1080×720像素的像素格式的图像数据作为左眼(L)和右眼(R)图像数据。注意，图53图示这样的示例，其中左眼(L)图像数据和右眼(R)图像数据每个由1920行×1080像素构成。

利用该3D视频格式，生成视频场时段用作单元的发送数据，该视频场时段使用垂直同步信号划分，并且包括水平消隐时段(Hblank)、垂直消隐时段(Vblank)和有效视频时段(Hactive×Vactive)。在该3D视频格式中，有效视频时段具有两个有效视频区域(有效视频)和它们之间的一个有效空间区域(有效区域)。左眼(L)图像数据安排在第一有效视频区域中，并且右眼(R)图像数据安排在第二有效视频区域中。

图54图示行交替方法的3D视频格式，其是立体图像数据的TMDS发送数据结构之一。该3D视频格式是用于发送逐行扫描方法中的左眼(L)和右眼(R)图像数据作为立体图像数据的格式。在该3D视频格式中，发送1920×1080像素的像素格式的图像数据作为左眼(L)和右眼(R)图像数据。

利用该3D视频格式，生成视频场时段用作单元的发送数据，该视频场时段使用垂直同步信号划分，并且包括水平消隐时段(Hblank)、垂直消隐时段(2×Vblank)和有效视频时段(Hactive×2Vactive)。在该3D视频格式中，在有效视频时段中交替安排左眼图像数据的一行和右眼图像数据的一行。

图55图示并排(完全)方法的3D视频格式，其是是立体图像数据的TMDS发送数据结构之一。该3D视频格式是用于发送逐行扫描方法中的左眼(L)和右眼(R)图像数据作为立体图像数据的格式。在该3D视频格式中，发送1920×1080像素的像素格式的图像数据作为左眼(L)和右眼(R)图像数据。

利用该3D视频格式，生成视频场时段用作单元的发送数据，该视频场时段使用垂直同步信号划分，并且包括水平消隐时段(2×Hblank)、垂直消隐时段(Vblank)和有效视频时段(2Hactive×Vactive)。在该3D视频格式中，在有效视频时段中，左眼(L)图像数据安排在水平方向上的第一半中，并且右眼(R)图像数据安排的水平方向上的后一半中。

注意，尽管省略了详细描述，但是不同于图53到图55所示的上述3D视频格式的3D视频格式被定义为HDMI1.4中的立体图像数据的TMDS发送数据结构。例如，帧打包(用于隔行扫描格式的帧打包)方法、场交替方法、并排(一半)方法等。

[机顶盒和电视接收机的另一示例配置]

图35所示的机顶盒200配置为使用HDMI接口发送基带的立体图像数据和音频数据到电视接收机300。然而，在位流处理单元201中使用的全部或一些视差矢量(见图8和图27)可以使用HDMI接口作为视差信息组从机顶盒发送到电视接收机，并且可以使用。

图56图示发送视差信息组的机顶盒200A的示例配置。在图56中，对应于图35中的那些的部件用相同参考标号表示，并且适当地省略其详细描述。在机顶盒200A中，视差信息组从位流处理单元201提供到HDMI发送单元206。然后，该视差信息组与立体图像数据和音频数据一起通过HDMI发送单元206从HDMI端子202发送到HDMI电缆400。除此以外，机顶盒200A与图35所示的机顶盒200类似地配置，并且类似地操作。

此外，图57图示接收并使用视差信息组的电视接收机300A的示例配置。在图57中，对应于图46中的那些的部件用相同参考标号表示，并且适当地省略其详细描述。在电视接收机300A中，通过HDMI接收单元303接收的视差信息组提供到视频/图形处理电路307。在视频/图形处理电路307中，基于视差信息组中包括的视差矢量，将视差给到要粘贴到左眼图像和右眼图像的相同各条叠加信息(如菜单和节目表)。

即，在电视接收机300A中，已经根据图像中的各个对象的透视图执行视差调整的信息可以用作要叠加在左眼图像和右眼图像上的相同各条叠加信息(如菜单和节目表)，并且在显示叠加信息时，可以维持图像中的各个对象之间的透视一致性。除此以外，电视接收机300A与图46所示的电视接收机300类似地配置，并且类似地操作。

图58图示从机顶盒200A发送到电视接收机300A的视差信息组的内容的示例。该视差信息组包括N个视差矢量的信息组。每个信息组由十六位的块ID(ID_Block(i))和十六位的水平方向上的视差矢量(Dsiparity_Vector_Horizontal)构成。

这里，例如如图59所示，在视差信息组包括通过将图像(画面)区域划分为9个块获得的各个块BK0到BK8的视差矢量的情况下，首先安排具有最大值的视差矢量(即，该示例中的块BK4的视差矢量)，然后顺序地安排剩余块的视差矢量。

[HDMI中用于发送视差信息组的方法]

例如，下面的方法(1)和(2)可以用作用于使用HDMI接口发送视差信息组的方法。

(1)使用HDMI厂商专用信息帧的方法

(2)使用3D视频格式的有效空间的方法，如帧打包方法

首先，将描述(1)中使用HDMI厂商专用信息帧的方法。在该方法中，假设HDMI厂商专用信息帧分组中的HDMI_Video_Format＝“010”并且3D_Meta_present＝1，并且指定厂商专用信息帧扩展。在该情况下，例如3D_Metadata_type定义为未使用“010”，并且指定视差信息组(视差组)的信息。

图60图示HDMI厂商专用信息帧的分组结构。该HDMI厂商专用信息帧在CEA-861-D中定义，因此省略其详细描述。

在第四字节(PB4)的第七位到第五位中，安排指示图像数据的类型的3位信息“HDMI_Video_Format”。在图像数据是3D图像数据的情况下，该3位信息为“010”。此外，在图像数据是3D图像数据的情况下，在第五字节(PB5)的第七位到第四位中安排指示TMDS发送数据结构的4位的信息“3D_Structre”。例如，在帧打包方法(见图53)的情况下，4位的信息是“0000”。此外，例如在行交替方法(见图54)的情况下，4位的信息是“0010”。此外，例如在并排(完全)方法(见图55)的情况下，4位的信息是“0011”。

此外，在第五字节(PB5)的第三位中安排“3D_Meta_present”，并且在指定厂商专用信息帧扩展的情况下，该一位为“1”。此外，在第七字节(PB7)的第七位到第五位中安排“3D_Metadata_type”。在指定视差信息组(视差组)的信息的情况下，该3位信息是例如未使用“010”。此外，在第七字节(PB7)的第四位到第零位中安排“3D_Metadata_length”。该5位信息指示此后安排的3D_Metadata区域的长度。

构成视差信息组的视差矢量的每个信息组由十六位的块ID(ID_Block(i))和十六位的水平方向的视差矢量(Disparity_Vector_Horizontal)构成，如上面描述的图58所示。例如，当将1920×1080的图像(画面)区域划分为16×16像素的块时，块数为8100，并且各个块可以用十三位的ID表示。此外，要理解的是，在使用1920×1080的图像大小中的像素数量表示水平方向上的视差的情况下，通常可以使用十一位代码而没有问题。

因此，第一到第三字节的三个字节用于安排各个视差矢量的信息组。“ID_Block(i)”的上八位安排在第一字节中，并且“ID_Block(i)”的下五位安排在第二字节的第七位到第三位中。此外，“Disparity_Vector_Horizontal”的上三位安排在第二字节的第二位到第零位，并且“Disparity_Vector_Horizontal”的下八位安排在第三字节中。为了发送九块的视差矢量，如上面描述的图59中所示，使用3字节×9＝27字节的区域。

视差信息组中包括的从顶层开始的各层可以通过3D_Metadata_length指定。可替代地，定义可以添加到3D_Metadata_type的空白位，并且当3D_Metadata_type＝“010”时，其可以指定为插入第一层中(整个屏幕的最大视差)，并且当3D_Metadata_type＝“110”时插入第二层中(多个层区中的每个中的层区内最大视差)。

接着，将描述(2)中的使用有效空间的方法。在该方法中，如图示HDMI厂商专用信息帧的分组结构的图61所示，“ActiveSpce Enable”在现在作为保留位在第五字节(PB5)的第二位中定义，并且1位的信息为“1”。在该状态下，使用现在保留的有效空间区域新定义信息区域，并且在那里安排视差信息组。

有效空间区域与其中安排左眼图像数据和右眼图像数据的有效视频区域一起形成有效视频时段。这里，有效视频区域形成主要视频区域，并且有效空间区域形成辅助视频区域。有效空间区域取决于视频的图像大小变化，并且当图像大小为1920×1080时具有每帧45行(86400字节)的容量。

当1920×1080的图像(画面)区域划分为16×16像素的块时，块数为8100。在该情况下，使用三个字节来安排各个视差矢量的信息组，如上所述。即，十三位用于“ID_Block(i)”，并且十一位用于“Disparity_Vector_Horizontal”。因此，需要3字节×8100＝24300字节的容量来安排包括所有块的视差矢量的视差信息组。如上所述，有效空间区域具有86400字节的容量。因此，通过使用该有效空间区域，可以以帧为单位发送包括所有块的视差矢量的视差信息组。

此外，可能减少块的大小和增加视差矢量(视差信息)的空间密度。在该情况下，容量可以超过能够在一帧的有效空间区域中发送的容量。在该情况下，使用耦合信息明确地指定与下一帧的有效空间的耦合。

图62图示在有效空间区域中安排的视差信息组的结构。在第零字节中，安排三位的“Active_space_info_Type”、三位的“Blcok_size”和两位的“Connect_Info”。在第一字节和第二字节中，安排指示其中安排随后的视差信息组的区域的长度的、十六位的“Data_Length”的上八位和下八位。

使用三个字节的区域安排每个视差矢量的信息组。在第一字节中安排“ID_Block(i)”的上八位，并且在第二字节的第七位到第三位中安排“ID_Block(i)”的下五位。此外，在第二字节的第二位到第零位中安排“Disparity_Vector_Horizontal”的上三位，并且在第三字节中安排“Disparity_Vector_Horizontal”的下八位。

图63图示在图62中所示的视差信息组结构的每条信息的内容。信息“Active_space_info_Type”是表示视差信息组的标识信息。信息“Blcok_size”指示表示视差矢量(视差信息)的空间密度的块大小。“00”表示块大小为1×1像素，即，一个像素。“01”表示块大小为16×16像素。“10”表示块大小为32×32像素。

信息“Connect_Info”指示有效空间区域的连接信息。“00”表示该有效空间区域中安排的视差信息组在端部。“01”表示该有效空间区域中安排的视差信息组连接到随后的有效空间区域中安排的视差信息组。“10”表示该有效空间区域中安排的视差信息组连接到之前的有效空间区域中安排的视差信息组。“11”表示该有效空间区域中安排的视差信息组连接到之前和随后的有效空间区域中安排的视差信息组。

注意，重要的是在宿侧的处理方面，当最后连接的有效空间结束时的视频帧的定时安排为至少与用于发送目标图像数据的帧相同时间或更早地结束发送。

图64(a)图示在“Blcok_size”为“01”或“10”情况下的各个视差矢量的信息组的示例安排。在该情况下，每个视差矢量的信息组使用三个字节的区域来安排，如上所述。图64(b)图示在“Blcok_size”为“00”情况下的各个视差矢量的信息组的示例安排。在该情况下，通过按照扫描顺序(视频像素顺序)安排画面的所有像素，可以省略“ID_Block(i)”。即，在该情况下，使用两个字节的区域安排每个视差矢量的信息组。

注意，在该情况下，将十一位代码的“Disparity_Vector_Horizontal”信息规格化为八位代码，从而可以使用一个字节的区域安排每个视差矢量的信息组，如图64(c)所示，并且发送频带可以减半。

如上所述，在图1所示的立体图像显示系统10中，基于左眼图像和右眼图像之一关于另一个的视差信息，将视差给到要叠加在左眼图像和右眼图像上的相同各条叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)。因此，其中已经根据图像中的各个对象的透视图执行视差调整的信息可以用作要叠加在左眼图像和右眼图像上的相同各条叠加信息，并且在显示叠加信息时可以维持图像中的各个对象之间的透视一致性。

<2.修改>

注意，在上述实施例中，立体图像显示系统10由广播站100、机顶盒200和电视接收机300构成。然而，电视接收机300提供有位流处理单元201，其与机顶盒200中的位流处理单元201等效地起作用，如图46所示。因此，由广播站100和电视接收机300构成的立体图像显示系统10A是可用的，如图65所示。

此外，在上述实施例中，已经描述了这样的示例，其中包括立体图像数据的数据流(位流数据)通过广播站100广播。然而，本发明当然可以应用于具有这样的配置的系统，其中该数据流使用网络(如因特网)分发到接收端。

此外，在上述实施例中，已经描述了使用HDMI厂商专用信息帧的方法和使用有效空间的方法作为用于将视差信息组从机顶盒200A发送到电视接收机300A的方法。替代地，可以通过由HPD线86(HEAC-线)和效用线88(HEAC+线)构成的双向通信路径发送视差信息组。

此外，在上述实施例中，机顶盒200和200A经由HDMI的数字接口连接到电视接收机300和300A。然而，本发明当然可应用于这样的情况，其中这些经由类似于HDMI的数字接口的数字接口(包括无线和有线)连接。

此外，在上述实施例中，已经给出这样的示例的描述，其中使用HDMI接口将在位流处理单元201中使用的视差矢量的全部或一些(见图8和图27)作为视差信息组从机顶盒200A发送到电视接收机300A。然而，这样的经由HDMI接口发送视差信息组的技术当然可应用于其它源装置和宿装置的组合。例如，盘播放器(如BD和DVD)，此外游戏机可以用作源装置，并且监视器装置和投影仪装置可以用作宿装置。

产业可应用性

本发明可应用于立体图像显示系统等，其用于将叠加信息(如隐藏字幕信息、字幕信息、图形信息和文本信息)叠加在图像上，并且显示图像。

附图标记说明

10，10A…立体图像系统，100…广播站，110，110A到110D…发送数据生成单元，111L，111R…照相机，112…视频分帧单元，113…视频编码器，113a…流格式化器，114…视差矢量检测单元，115…视差矢量编码器，116…麦克风，117…音频编码器，118…字幕/图形产生单元，119…字幕/图形编码器，119a…流格式化器，120…文本产生单元，121-文本编码器，122…复用器，124…字幕/图形处理单元，125…文本处理单元，130…数据检索单元，130a…数据记录介质，131到133…开关，视差信息组创建单元，200，200A…机顶盒，201，201A，201B，201C…位流处理单元，202…HDMI端子，203…天线端子，204…数字调谐器，205…视频信号处理电路，206…HDMI发送单元，207…音频信号处理电路，211…CPU，212…闪速ROM，213…DRAM，214…内部总线，215…遥控接收单元，216…遥控发送器，220…解复用器，221-…视频解码器，222…字幕/图形解码器，223…文本解码器，224…音频解码器，225…视差矢量解码器，226…立体图像字幕/图形产生单元，227…立体图像文本产生单元，228…视频叠加单元，229…多声道扬声器控制单元，231…视差矢量提取单元，232…视差矢量检索检测单元，300，300A…电视接收机，301…3D信号处理单元，302…HDMI端子，303…HDMI接收单元，304…天线端子，305…数字调谐器，306…位流处理单元，307…视频/图形处理电路，308…面板驱动电路，309…显示面板，310…音频信号处理电路，311…音频放大器电路，312…扬声器，321…CPU，322…闪速ROM，323…DRAM，324…内部总线，325…遥控接收单元，326…遥控发送器，400…HDMI电缆。

Claims (4)

1.一种立体图像数据发送装置，包括：

视差信息创建单元，其创建视差信息组，在该视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层的各个区域中的左眼图像和右眼图像之一关于另一个的各条视差信息；以及

数据发送单元，其将由视差信息创建单元创建的视差信息组与包括左眼图像数据和右眼图像数据的立体图像数据一起发送，

其中像素位于底层，通过在水平方向和垂直方向上将图像区域划分为一定大小的区域获得所述底层的上层，并且通过分组所述上层的相互靠近的多个区域获得所述上层的更上一层。

2.如权利要求1所述的立体图像数据发送装置，

其中给形成由视差信息创建单元创建的视差信息组的每条视差信息增加该条视差信息所属的底层的位置信息。

3.一种立体图像数据发送方法，包括：

视差信息创建步骤，创建视差信息组，其中按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层的各个区域中的左眼图像和右眼图像之一关于另一个的各条视差信息；以及

数据发送步骤，将在视差信息创建步骤中创建的视差信息组与包括左眼图像数据和右眼图像数据的立体图像数据一起发送，

其中像素位于底层，通过在水平方向和垂直方向上将图像区域划分为一定大小的区域获得所述底层的上层，并且通过分组所述上层的多个区域获得所述上层的更上一层。

4.一种立体图像数据接收装置，包括：

数据接收单元，其接收视差信息组以及包括左眼图像数据和右眼图像数据的立体图像数据，在该视差信息组中，按照分层顺序安排从通过分层划分图像区域获得的各个层中选择的层的各个区域中的左眼图像和右眼图像之一关于另一个的各条视差信息；以及

图像数据处理单元，其使用由数据接收单元接收的左眼图像数据和右眼图像数据以及由数据接收单元接收的视差信息组，将视差给到要叠加到左眼图像和右眼图像上的相同叠加信息，从而获得其上叠加了叠加信息的左眼图像的数据和其上叠加了叠加信息的右眼图像的数据，

其中像素位于底层，通过在水平方向和垂直方向上将图像区域划分为一定大小的区域获得所述底层的上层，并且通过分组所述上层的多个区域获得所述上层的更上一层。