JP2011030176A - 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置 - Google Patents

Abstract

【課題】クローズド・キャプション表示等において画像内の各物体との間の遠近感の整合性を維持する。
【解決手段】ビデオフレーミング部１１２は、左眼画像データおよび右眼画像データを、伝送方式に応じた状態に加工して、送信用立体画像データを得る。ＣＣエンコーダ１２７は、クローズド・キャプションデータ（ＣＣデータ）を出力する。Ｚデータ部１２８は、クローズド・キャプション情報等の重畳情報のデータ毎に、対応付けされた視差情報を出力する。この対応付けをRegion_idを用いて行う。ＣＣデータおよび視差情報をビデオエンコーダ１１３のストリームフォーマッタ１１３ａに送り、ビデオのストリームに、ユーザデータとして埋め込こんで送信する。受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報（クローズド・キャプション情報等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。
【選択図】図１９

Description

この発明は、立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置に関し、特に、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示を良好に行い得る立体画像データ送信装置等に関する。

例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。

図５４は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。

また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。

特開２００５−６１１４号公報

上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えばクローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。

例えば、画像にクローズド・キャプション情報あるいはサブタイトル情報である字幕を重畳表示（オーバーレイ表示）する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。

この発明の目的は、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。

この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って符号化ビデオデータを得る符号化部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを発生する重畳情報データ発生部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報を出力する視差情報出力部と、
上記符号化部で得られた符号化ビデオデータ、上記重畳情報データ発生部で発生された重畳情報データおよび上記視差情報出力部から出力された視差情報を送信する送信部と
を備える立体画像データ送信装置にある。

この発明において、符号化部により、左眼画像データおよび右眼画像データを含む立体画像データに対して符号化が行われて符号化ビデオデータが得られる。例えば、符号化部では、ＭＰＥＧ２、Ｈ．２６４ ＡＶＣあるいはＶＣ−１等の符号化方式で、符号化が行われる。

また、重畳情報データ発生部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが発生される。ここで、重畳情報は、字幕を表示するクローズド・キャプション情報、サブタイトル情報、ロゴ等のグラフィクスを表示するグラフィクス情報、電子番組表（ＥＰＧ：Electronic Program Guide）、文字放送内容等を表示するテキスト情報など、画像に重畳表示される情報を意味している。

また、視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報に視差を付与するための視差情報が出力される。例えば、重畳情報データ発生部で発生される各重畳情報データには識別子が付加されており、視差情報出力部から出力される各重畳情報データの視差情報には、対応する重畳情報データに付与されている識別子に対応した識別子が付加される。このように重畳情報データおよび視差情報のそれぞれに識別子が付加されることで、重畳情報データと視差情報との対応付けが可能となる。ここで、対応した識別子とは、同じ識別子、あるいは関連付けされている識別子を意味する。

例えば、視差情報出力部は、重畳情報データ発生部で発生される重畳情報データ毎に、左眼画像データおよび右眼画像データによる画像の内容に応じて、視差情報を決定する視差情報決定部を有し、この視差情報決定部で決定された視差情報を出力する、ようにされる。この場合、例えば、視差情報決定部は、左眼画像データおよび右眼画像データに基づき、画像内の複数の位置において、左眼画像および右眼画像の一方に対する他方の視差情報を検出する視差情報検出部を有し、重畳情報データ毎に、この視差情報検出部で検出された複数の視差情報のうち重畳位置に対応した検出位置で検出された視差情報に決定する、ようにされる。

また、例えば、視差情報出力部は、重畳情報データ発生部で発生される重畳情報データ毎に、視差情報を設定する視差情報設定部を有し、この視差情報設定部で設定された視差情報を出力する、ようにされる。視差情報設定部では、例えば、所定のプログラム処理により、またはユーザのマニュアル操作により、重畳情報データ毎に視差情報の設定が行われる。例えば、重畳位置に応じて異なる視差情報が設定され、あるいは重畳位置によらずに共通の視差情報が設定され、あるいは重畳情報の種類別に異なる視差情報が設定される。ここで、重畳情報の種類とは、例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の種類である。また、この重畳情報の種類とは、例えば、重畳位置や重畳継続時間等により区分けされる種類である。

また、例えば、視差情報出力部は、重畳情報データ発生部で発生される重畳情報データ毎に、左眼画像データおよび右眼画像データによる画像の内容に応じて、視差情報を決定する視差情報決定部と、重畳情報データ発生部で発生される重畳情報データ毎に、視差情報を設定する視差情報設定部とを有し、視差情報決定部で決定された視差情報または視差情報設定部で設定された視差情報を選択的に出力する、ようにされる。

また、送信部により、符号化部で得られた符号化ビデオデータ、重畳情報データ発生部で発生された重畳情報データおよび視差情報出力部から出力された視差情報が送信される。例えば、視差情報出力部で出力された視差情報は、符号化部で得られた符号化ビデオデータをペイロード部に含むビデオエレメンタリーストリームのヘッダ部のユーザデータ領域に含めて送信される。また、例えば、重畳情報の重畳位置を示す情報および重畳情報の表示時間を示す情報のいずれかまたは両方が、視差情報に付加して送信される。視差情報に重畳位置および表示時間を示す情報を付加して送信することで、例えば、重畳情報データにそれらの情報を付加して送信しなくてもよくなる。

このように、この発明においては、左眼画像データおよび右眼画像データを含む立体画像データを符号化して得られた符号化ビデオデータと共に、重畳情報データおよび視差情報が送信される。そのため、受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

また、この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って得られた符号化ビデオデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報とを受信する受信部と、
上記受信部で受信された上記符号化ビデオデータに対して復号化を行って上記立体画像データを得る復号化部と、
上記受信部で受信された上記視差情報に基づいて、上記復号化部で得られた立体画像データに含まれる上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記受信部で受信された上記重畳情報データによる同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部と
を備える立体画像データ受信装置にある。

この発明においては、受信部により、左眼画像データおよび右眼画像データを含む立体画像データを符号化して得られた符号化ビデオデータと共に、重畳情報データおよび視差情報が送信される。そして、復号化部により、受信部で受信された符号化ビデオデータに対して復号化が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。

また、画像データ処理部により、復号化部で得られた立体画像データに含まれる左眼画像データと、受信部で受信された重畳情報データに基づいて、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。この場合、受信部で受信された視差情報に基づいて、左眼画像データおよび右眼画像データによる画像に重畳される重畳画像には、視差が付与される。そのため、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

この発明によれば、立体画像データの受信側で、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示において遠近感の整合性を維持することが可能となる。

この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。 視差ベクトルの伝送内容を示す図である。 視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。 視差ベクトルを検出して伝送するタイミングの例を説明するための図である。 視差ベクトルを検出して伝送するタイミングの例を説明するための図である。 送信データ生成部において多重化される各データのストリーム例を示す図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。 伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 「Location」、「Region大きさ」の情報を説明するための図である。 重畳情報毎の視差情報を出力するＺデータ部の構成例を示すブロック図である。 ビデオエレメンタリーストリームの構造例を概略的に示す図である。 ＭＰＥＧ２、Ｈ．２６４ ＡＶＣ、ＶＣ−１の各符号化方式におけるユーザデータの構成例を示す図である。 視差情報（視差ベクトル）を含む「user_structure」の構成例を示す図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。 左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。 時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。 視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。 画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。 立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 立体画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。 ＨＤＭＩ送信部を構成するＨＤＭＩトランスミッタと、ＨＤＭＩ受信部を構成するＨＤＭＩレシーバの構成例を示すブロック図である。 ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。 ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。 第１の伝送方式（「Top& Bottom」方式）のＴＭＤＳ伝送データ例を示す図である。 第２の伝送方式（「SideBy Side」方式）のＴＭＤＳ伝送データ例を示す図である。 第３の伝送方式（「FrameSequential」方式）のＴＭＤＳ伝送データ例を示す図である。 ＨＤＭＩ 1.4（New HDMI）での「Frame Sequential」方式と、ＨＤＭＩ 1.3（Legacy HDMI）での「FrameSequential」方式を説明するための図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 立体画像表示システムの他の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［立体画像送受信システムの構成例］
図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。

セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ（High Definition Multimedia Interface）ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

［放送局の説明］
放送局１００は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）などが含まれる。ここで、重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。

「送信データ生成部の構成例」
図２は、放送局１００において、上述のビットストリームデータを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７を有している。さらに、この送信データ生成部１１０は、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。

カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。

［立体画像データの伝送方式例］
ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１〜第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば１９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。

第１の伝送方式は、「Top& Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

第２の伝送方式は、「SideBy Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。

第３の伝送方式は、「FrameSequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。

図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、後段にストリームフォーマッタ１１３ａを備える。このストリームフォーマッタ１１３により、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。

視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、重畳情報、ここではグラフィック情報やテキスト情報を重畳する領域の代表位置等である。

［視差ベクトルの検出］
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。

右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。

図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、ＩＤ（ID_Block）、垂直位置情報（Vertical_Position）、水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、この１セットが視差検出ブロックの数であるＮ個分だけ繰り返される。図８は、視差ベクトルの伝送内容を示している。視差ベクトルには、垂直方向成分（View_Vector_Vertical）および水平方向成分（View_Vector_Horizontal）が含まれている。

なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示させるサブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。

例えば、図９（ａ）に示すように、Ａ〜Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ〜ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。

ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１〜第４の例が考えられる。

第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。

第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ(Intrapicture)、またはＧＯＰ（Group Of Pictures）に同期させる。第４の例においては、図１１に示すように、画像に重畳表示されるサブタイトル情報、グラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。

図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。

サブタイトル・グラフィクス発生部１１８は、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を発生する。サブタイトル情報は、例えば字幕である。また、グラフィクス情報は、例えばロゴなどである。このサブタイトルデータおよびグラフィクスデータは、ビットマップデータである。このサブタイトルデータおよびグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。

このアイドリングオフセット情報は、例えば、画像の左上の原点から、サブタイトル情報やグラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢでDVB_Subtitlingとして規格化され、運用されている。

サブタイトル・グラフィクスエンコーダ１１９は、サブタイトル・グラフィクス発生部１１８で発生されたサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を入力する。そして、このサブタイトル・グラフィクスエンコーダ１１９は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。

テキスト発生部１２０は、画像に重畳するテキスト情報のデータ（テキストデータ）を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。

テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータを入力する。そして、テキストエンコーダ１２１は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。

マルチプレクサ１２２は、エンコーダ１１３，１１５，１１７，１１９，１２１から出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。

ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。

また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。

視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ１２２に供給される。

また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。

また、サブタイトル・グラフィクス発生部１１８では、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）が発生される。このデータ（ビットマップデータ）は、サブタイトル・グラフィクスエンコーダ１１９に供給される。このサブタイトル・グラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。

また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。

マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。

図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。

「送信データ生成部の他の構成例」
なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、サブタイトル、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。

図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。

この送信データ生成部１１０Ａにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、ビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１３ａでは、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。

詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。

「送信データ生成部の他の構成例」
また、上述の図２に示す送信データ生成部１１０および上述の図１３に示す送信データ生成部１１０Ａは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、サブタイトル情報、グラフィクス情報、テキスト情報等）のデータに送信側で視差情報を予め反映させて送信する。

例えば、グラフィクス情報のデータに反映させる場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。

例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。なお、詳細説明は省略するが、サブタイトル情報やグラフィクス情報のデータに視差情報を反映させる場合も同様である。

図１４（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。

各画像ＩＬ，ＩＲに対して、図１４（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１４（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。

例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ｂ）に示すように、別領域のデータとして生成される。

図１６（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。

各画像ＩＬ，ＩＲに対して、図１６（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１６（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。

例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１７に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。

図１８は、送信データ生成部１１０Ｂの構成例を示している。この送信データ生成部１１０Ｂは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに視差情報を反映させて送信する構成となっている。この図１８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。

この送信データ生成部１１０Ｂでは、サブタイトル・グラフィクス発生部１１８とサブタイトル・グラフィクスエンコーダ１１９との間に、サブタイトル・グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｂでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクス処理部１２４およびテキスト処理部１２５に供給される。

サブタイトル・グラフィクス処理部１２４では、左眼画像ＩＬ、右眼画像ＩＲに重畳される、左眼、右眼のサブタイトルやグラフィクスの情報ＬＧＩ，ＲＧＩのデータが生成される。この場合、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータやグラフィクスデータに基づいて発生される。左眼および右眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１４（ａ）、図１６（ａ）参照）。

このようにサブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータは、サブタイトル・グラフィクスエンコーダ１１９に供給される。なお、このサブタイトルデータやグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、サブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータのエレメンタリーストリームが生成される。

また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。

このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。

詳細説明は省略するが、この図１８に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。

「送信データ生成部の他の構成例」
図２に示す送信データ生成部１１０は、視差ベクトル検出部１１４で検出された視差ベクトルに基づく伝送内容（図８参照）を、重畳情報データの個々に対応させることなく、そのまま受信側に伝送する構成となっている。しかし、重畳情報データ毎に対応付けされた視差情報を伝送することも考えられる。

図１９は、送信データ生成部１１０Ｃの構成例を示している。この送信データ生成部１１０Ｃは、重畳情報データ毎に対応付けされた視差情報を伝送する構成となっている。この図１９において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。この送信データ生成部１１０Ｃは、コントローラ１２６と、ＣＣ（Closed Caption）エンコーダ１２７と、Ｚデータ部１２８を有している。

ＣＣエンコーダ１２７は、ＣＥＡ−７０８準拠のエンコーダであって、クローズド・キャプションの字幕表示をするためのＣＣデータ（クローズド・キャプション情報のデータ）を出力する。コントローラ１２６は、このＣＣエンコーダ１２７を制御する。例えば、コントローラ１２６からＣＣエンコーダ１２７に、「Region_ID（WindowID）」、「Location（AnchorID）」、「Region大きさ（SetPenAttribute）」の情報セットが与えられる。

ここで、「Location（AnchorID）」の情報は、図２０に示すように、「Region_ID（WindowID）」で識別されるクローズド・キャプションの字幕表示を画像（Picture）のどの位置に表示するかを示す。また、「Region大きさ（SetPenAttribute）」の情報は、図２０に示すように、「Region_ID（WindowID）」で識別されるクローズド・キャプションの字幕表示を行う領域の大きさを示す。

Ｚデータ部１２８は、重畳情報データ毎に対応付けされた視差情報（視差ベクトル）を出力する。すなわち、このＺデータ部１２８は、クローズド・キャプション情報に関しては、ＣＣエンコーダ１２７から出力されるＣＣデータに含まれるWindowID毎に、対応付けされた視差情報を出力する。また、このＺデータ部１２８は、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報に関しても、重畳情報データ毎に対応付けされた視差情報を出力する。

図２１は、Ｚデータ部１２８の構成例を示している。Ｚデータ部１２８は、コントローラ１２６によって指定される Region_id 毎に視差情報を出力する。ここで、 Region_id について説明する。このRegion_idは、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報などの各重畳情報と視差情報との対応付けを行うための識別子となる。

例えば、Region_idの０〜７は、ＣＥＡ−７０８規定のＣＣデータのWindow０〜７に対応した視差情報を識別するために割り当てられる。また、Region_idの８〜１５は、将来の拡張用にリザーブされる。また、Region_idの１６以降は、クローズド・キャプション情報以外の他の重畳情報（サブタイトル情報、グラフィクス情報、テキスト情報など）に対応した視差情報を識別するために割り当てられる。

なお、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータやグラフィクスデータ、およびテキスト発生部１２０で発生されるテキストデータには、上述のRegion_idに対応した識別子が付与されている。ここで、Region_idに対応した識別子とは、このRegion_idと同じ識別子、あるいはこのRegion_idに関連付けされている識別子を意味する。これにより、受信側で、サブタイトル情報、グラフィクス情報、テキスト情報の各重畳情報と、その重畳情報に対して使用すべき視差情報との対応付けが可能となる。

Ｚデータ部１２８は、上述したようにRegion_id毎に視差情報を出力する。Ｚデータ部１２８は、例えば、ユーザ操作に基づくコントローラ１２６の切り換え制御により、決定視差ベクトルまたは設定視差ベクトルを、視差情報として選択的に出力する。決定視差ベクトルは、視差ベクトル検出部１１４で検出された複数個の視差ベクトルに基づいて決定された視差ベクトルである。設定視差ベクトルは、例えば、所定のプログラム処理、またはユーザのマニュアル操作によって設定された視差ベクトルである。

最初に、決定視差ベクトルを視差情報として出力する場合について説明する。この場合、クローズド・キャプション情報に関連して、コントローラ１２６からＺデータ部１２８に、上述した「Region_ID（WindowID）」、「Location（AnchorID）」、「Region大きさ（SetPenAttribute）」の情報セットが供給される。また、サブタイトル情報、グラフィクス情報、テキスト情報などの各重畳情報に関連して、コントローラ１２６からＺデータ部１２８に、「Region_ID」、「Location」、「Region大きさ」の情報セットが供給される。

また、視差ベクトル検出部１１４からＺデータ部１１４に、複数個、ここではＮ個の視差ベクトルＤｖ０〜ＤｖＮが入力される。このＮ個の視差ベクトルＤｖ０〜ＤｖＮは、視差ベクトル検出部１１４において、左眼画像データおよび右眼画像データに基づいて、画像内のＮ個の位置で検出された視差ベクトルである。

Ｚデータ部１２８は、Region_id毎に、Ｎ個の視差ベクトルＤｖ０〜ＤｖＮから、「Location」および「Region大きさ」の情報で決定される重畳情報の表示領域に関連する視差ベクトルを抽出する。例えば、表示領域に関連する視差ベクトルとしては、検出位置が表示領域内にある一つまたは複数の視差ベクトルが存在するときは、その視差ベクトルが選択される。また、例えば、表示領域に関連する視差ベクトルとしては、検出位置が表示領域内にある一つまたは複数の視差ベクトルが存在しないときは、表示領域の近傍に位置する一つまたは複数の視差ベクトルが選択される。図示の例では、表示領域に関連する視差ベクトルとして、Ｄｖ２〜Ｄｖｎが選択されている。

そして、Ｚデータ部１２８は、表示領域に関連する視差ベクトルから、例えば、符号付きの値が最大のものを選択して、決定視差ベクトルＤｚＤとする。上述したように、視差ベクトルは、垂直方向成分（View_Vector_Vertical）と水平方向成分（View_Vector_Horizontal）からなっているが、ここでの符号付きの値としては、例えば水平方向成分の値だけが用いられる。受信側において、左眼画像および右眼画像に重畳するクローズド・キャプション情報等の重畳情報を視差情報に基づいて水平方向にずらす処理を行うものであり、水平方向成分が重要だからである。

なお、上述したようにRegion_id毎に決定された決定視差ベクトルＤｚＤには、クローズド・キャプション情報以外の他の重畳情報に対応するものにあっては、コントローラ１２６の制御により、重畳位置を示す情報と表示時間を示す情報が付加される。重畳位置を示す情報は、例えば、垂直方向位置情報（Vertical_Position）および水平方向位置情報（Horizontal_Position）である。また、表示時間を示す情報は、例えば、表示継続時間に対応したフレーム数情報（Duration_Counter）である。クローズド・キャプション情報の場合には、ＣＣデータ内に重畳位置および表示時間の制御データが含まれているので、これらの情報を別途送る必要はない。

次に、設定視差ベクトルを視差情報として出力する場合について説明する。この場合、コントローラ１２６は、所定のプログラム処理、またはユーザのマニュアル操作によって、Region_id毎に視差ベクトルを設定する。例えば、重畳情報の重畳位置に応じて異なる視差ベクトルを設定し、あるいは重畳位置によらずに共通の視差情報を設定し、あるいは重畳情報の種類別に異なる視差情報を設定する。Ｚデータ部１２８は、このように設定されたRegion_id毎の視差ベクトルを、設定視差ベクトルＤｚＤ′とする。ここで、重畳情報の種類とは、例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の種類である。また、この重畳情報の種類とは、例えば、重畳位置や重畳継続時間等により区分けされる種類である。

なお、コントローラ１２６によりRegion_id毎に設定される視差ベクトルは、実質的には水平方向成分のみを設定すればよい。これは、上述したように、受信側において、左眼画像および右眼画像に重畳するクローズド・キャプション情報等の重畳情報を視差情報に基づいて水平方向にずらす処理を行うものであり、水平方向成分が重要だからである。また、この設定視差ベクトルＤｚＤ′にも、上述した決定視差ベクトルＤｚＤと同様に、クローズド・キャプション情報以外の他の重畳情報に対応するものにあっては、コントローラ１２６の制御により、重畳位置を示す情報と表示時間を示す情報が付加される。

図１９に戻って、ＣＣエンコーダ１２７から出力されるＣＣデータおよびＺデータ部１２８から出力される視差情報（ＤｚＤ／ＤｚＤ′、必要に応じて重畳位置情報、表示時間情報を含む）は、ビデオエンコーダ１１３のストリームフォーマッタ１１３ａに送られる。ストリームフォーマッタ１１３ａでは、ビデオエレメンタリーストリームに、ＣＣデータおよび視差情報がユーザデータとして埋め込まれる。

図２２は、ビデオエレメンタリーストリーム（Video Elementary Stream）の構造例を概略的に示している。ビデオエレメンタリーストリームには、先頭に、シーケンス単位のパラメータを含むシーケンスヘッダ部が配置されている。このシーケンスヘッダ部に続いて、ピクチャ単位のパラメータおよびユーザデータを含むピクチャヘッダが配置されている。このピクチャヘッダ部に続いてピクチャーデータを含むペイロード部が配置される。以下、ピクチャヘッダ部およびペイロード部が繰り返し配置されている。

上述したようにＣＣデータおよび視差情報は、ピクチャヘッダ部のユーザデータ領域に埋め込まれる。図２３は、ユーザデータの構成例を示している。図２３（ａ）は、符号化方式がＭＰＥＧ２である場合のユーザデータの構成を示している。図２３（ｂ）は、符号化方式がＨ．２６４ ＡＶＣ（ＭＰＥＧ４−ＡＶＣ）である場合のユーザデータの構成を示している。さらに、図２３（ｃ）は、符号化方式がＶＣ−１である場合のユーザデータの構成を示している。

詳細説明は省略するが、各方式のユーザデータの構成はほぼ同様の構成となっている。すなわち、最初に、ユーザデータの開始を示すコードが配置され、その後に、データの種類を示す識別子「user_identifier」が配置され、さらにその後に、データ本体「user_structure」が配置されている。

図２４は、「user_structure」の構成例を示している。「Data_Length」は、この「user_structure」のデータサイズを示す。「Page_id」は、データグループＩＤとして字幕言語識別に利用される場合もあるが、字幕データのパターンに対応するもので、この「user_structure」のページを識別する識別子である。「Number_of_ViewBlocks N」は、この「user_structure」に、Ｎ個のRegion_idの視差情報等が含まれていることを示す。

「ID_Block(i)」は、Region_id(i)を示す。「2D_object_posion_flag」は、ID_Block(i)の情報として含まれている重畳位置情報（２Ｄ用の重畳情報の表示位置の情報）を参照するか否かを示すフラグである。このフラグが立っている場合には、この重畳位置情報を参照することを示す。この場合、ID_Block(i)の情報として、重畳位置情報（「Vertical_Position」、「Horizontal_Position」）が含まれる。「Vertical_Position」は、２Ｄ用の重畳情報の垂直方向位置を示す。「Horizontal_Position」は、２Ｄ用の重畳情報の水平方向位置を示す。

上述のＣＣエンコーダ１２７から出力されるＣＣデータ内に重畳位置の制御データが含まれている。そのため、例えば、ID_Block(i)がクローズド・キャプション情報に対応している場合、「2D_object_posion_flag」は立っていない。そして、ID_Block(i)の情報として重畳位置情報（「Vertical_Position」、「Horizontal_Position」）は、含まれない。

「3D_disparity_flag」は、ID_Block(i)の情報として、視差情報（視差ベクトル）が含まれているか否かを示す。このフラグが立っている場合には、視差情報が含まれていることを示す。「View_Vector_Vertical」は、視差ベクトルの垂直方向成分を示す。「View_Vector_Horizontal」は、視差ベクトルの水平方向成分を示す。なお、この例では、「View_Vector_Vertical」および「View_Vector_Horizontal」の双方が含まれている。しかし、水平方向成分だけを使用するときには、「View_Vector_Horizontal」だけが含まれるようにしてもよい。

「Status_Count_flag」は、ID_Block(i)の情報として、重畳情報の表示時間情報を参照するか否かを示すフラグである。このフラグが立っている場合には、表示時間情報を参照することを示す。この場合、ID_Block(i)の情報として、例えば、表示継続時間に対応したフレーム数を示す情報「Duration_Counter」が含まれる。受信側において、重畳情報の表示はシステムレイヤのタイムスタンプで開始されるが、この表示継続時間に対応したフレーム数の経過後に、重畳情報の表示（視差情報による効果を含む）がリセットされる。これにより、同じ情報をピクチャ毎に繰り返し送る必要はなくなる。

上述のＣＣエンコーダ１２７から出力されるＣＣデータ内に表示時間の制御データが含まれている。そのため、ID_Block(i)がクローズド・キャプション情報に対応している場合、「Status_Count_flag」は立っておらず、ID_Block(i)の情報として情報「Duration_Counter」は含まれない。
詳細説明は省略するが、この図１９に示す送信データ生成部１１０Ｃのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。

「送信データ生成部の他の構成例」
図１９に示す送信データ生成部１１０Ｃは、Ｚデータ部１２８からの視差情報をビデオエレメンタリーストリームにユーザデータとして埋め込まれて伝送される。しかし、このＺデータ部１２８からの視差情報を独立したエレメンタリーストリームとして受信側に伝送することも考えられる。

図２５は、送信データ生成部１１０Ｄの構成例を示している。この図２５において、図１９と対応する部分には同一符号を付し、その詳細説明は省略する。この送信データ生成部１１０Ｄは、視差情報エンコーダ１２９を有している。Ｚデータ部１２８から出力されるRegion_id毎の視差情報（ＤｚＤ／ＤｚＤ′、必要に応じて位置情報、時間情報を含む）は、視差情報エンコーダ１２９に送られる。

この視差情報エンコーダ１２９では、視差情報を含む視差情報エレメンタリーストリームが生成される。この視差情報エレメンタリーストリームはマルチプレクサ１２２に供給される。そして、マルチプレクサ１２２では、視差情報エンコーダ１２９を含む各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。

詳細説明は省略するが、この図２５に示す送信データ生成部１１０Ｄのその他は、図１９に示す送信データ生成部１１０と同様に構成され、同様に動作する。

「送信データ生成部の他の構成例」
図１８に示す送信データ生成部１１０Ｂは、重畳情報としてサブタイトル情報、グラフィクス情報およびテキスト情報を扱っている。この図１８に示す送信データ生成部１１０Ｂと同様の構成で、さらにクローズド・キャプション情報を扱う構成も考えられる。

図２６は、送信データ生成部１１０Ｅの構成例を示している。この例は、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等）のデータに視差情報を反映させて伝送する構成となっている。この図２６において、図１８および図１９と対応する部分には同一符号を付し、その詳細説明は省略する。

この図２６の送信データ生成部において、ＣＣエンコーダ１２７とストリームフォーマッタ１１３ａとの間に、ＣＣデータ処理部１３０が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、ＣＣデータ処理部１３０に供給される。

ＣＣデータ処理部１３０では、ＣＣエンコーダ１２７で発生されるＣＣデータに基づいて、左眼画像上に重畳される左眼クローズド・キャプション情報のデータおよび右眼画像上に重畳される右眼クローズド・キャプション情報のデータが生成される。この場合、左眼クローズキャプション情報および右眼クローズキャプション情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼クローズド・キャプション情報に対して、右眼クローズド・キャプション情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。

このようにＣＣデータ処理部１３０で処理された後のＣＣデータは、ビデオエンコーダ１１３のストリームフォーマッタ１１３ａに供給される。ストリームフォーマッタ１１３ａでは、ＣＣデータ処理部１３０からのＣＣデータがビデオエレメンタリーストリームにユーザデータとして埋め込まれる。

詳細説明は省略するが、この図２６に示す送信データ生成部１１０Ｅのその他は、図１８に示す送信データ生成部１１０Ｂと同様に構成され、同様に動作する。

［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）が含まれる。ここで、重畳情報データは、例えばクローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータ等である。

セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、重畳情報データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、重畳情報データ（サブタイトルデータ、グラフィクスデータ、テキストデータ、ＣＣ（Closed Caption）データ）等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。

ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳グ情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。

図２７（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。

ビットストリーム処理部２０１では、各画像ＩＬ，ＩＲに対して各グラフィクス情報ＬＧＩ，ＲＧＩが図２７（ａ）に示すように重畳されるように、グラフィクスデータが生成される。ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図２７（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。

なお、図２８（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図２８（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。

図２７は、グラフィクス情報の場合を示したが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報、テキスト情報など）に関しても同様である。すなわち、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。

ここで、左眼重畳情報と右眼重畳情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図２９（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。

時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。

このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体よりも手前に、重畳情報を表示できる。

図３０（ａ）は、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３０（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。

図３１（ａ）は、図３０（ａ）と同じ、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。図３１（ｂ）は、字幕を表示するための左眼サブタイトル情報ＬＧＩと、右眼サブタイトル情報ＲＧＩを示している。図３１（ｃ）は、字幕が最も近くにあるように認識されるために、各サブタイトル情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。

また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することが考えられる。図３２（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。

図３２（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。

図３２（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。

上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。

その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。

図３３（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。図３３（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。

なお、図３２は、重畳情報がグラフィクス情報およびテキスト情報である場合を示している。また、図３３は、畳情報がテキスト情報である場合を示している。詳細説明は省略するが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報など）の場合も同様である。

次に、視差ベクトルが、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータに予め反映されて送信されてくる場合について説明する。この場合、ビットストリームデータから抽出された重畳情報データには、視差ベクトルにより視差が与えられた、左眼重畳情報および右眼重畳情報のデータが含まれている。

そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出された重畳情報データを単に合成して、処理後の立体画像データを取得する。なお、クローズド・キャプションデータやテキストデータに関しては、キャラクタコードをビットマップデータに変換する等の処理は必要である。

［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図３４は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。

アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。

ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。

映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。このＨＤＭＩ送信部２０６の詳細は後述する。

ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。

デジタルチューナ２０４から出力されるビットストリームデータは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータが合成され、表示用立体画像データが生成される。

ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

「ビットストリーム処理部の構成例」
図３５は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、サブタイトル・グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用サブタイトル・グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。

デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクスおよびテキストのパケットを抽出し、各デコーダに送る。

ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）〜（ｃ）参照）。

サブタイトル・グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のサブタイトル・グラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このサブタイトル・グラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームを再構成する。そして、このサブタイトル・グラフィクスデコーダ２２２は、さらに復号化処理を行って、サブタイトルデータやグラフィクスデータを得る。

テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータを得る。

オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。

視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。

立体画像用サブタイトル・グラフィクス発生部２２６は、左眼画像および右眼画像にそれぞれ重畳する左眼および左眼のサブタイトル情報やグラフィクス情報を生成する。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用サブタイトル・グラフィクス発生部２２６は、生成された左眼および左眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）を出力する。

立体画像用テキスト発生部２２７は、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。

ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、発生部２２６，２２７で発生されたデータを重畳し、表示用立体画像データＶoutを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。

マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、デコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。

視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。

図３６は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。

図３５に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図３４参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクス、およびテキストのパケットが抽出され、各デコーダに供給される。

ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８参照）。

サブタイトル・グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームが再構成される。サブタイトル・グラフィクスデコーダ２２２では、さらに、サブタイトルやグラフィクスのエレメンタリーストリームに対して復号化処理が行われて、サブタイトルデータやグラフィクスデータが得られる。このサブタイトルデータやグラフィクスデータは、立体画像用サブタイトル・グラフィクス発生部２２６に供給される。この立体画像用サブタイトル・グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。

この立体画像用サブタイトル・グラフィクス発生部２２６では、左眼画像、右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報のデータが生成される。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、画像内の重畳位置が、例えば、左眼のサブタイトル情報や左眼グラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用サブタイトル・グラフィクス発生部２２６からは、生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）が出力される。

また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。

この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。

ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図３４参照）に、送信画像データとして供給される。

また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。

このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図３４参照）に、送信音声データとして供給される。

「ビットストリーム処理部の他の構成例」
図３７に示すビットストリーム処理部２０１Ａは、上述の図１３に示す送信データ生成部１１０Ａに対応させた構成となっている。この図３７において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。

このビットストリーム処理部２０１Ａは、図３５に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。

詳細説明は省略するが、この図３７に示すビットストリーム処理部２０１Ａのその他は、図３５に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。

「ビットストリーム処理部の他の構成例」
また、図３８に示すビットストリーム処理部２０１Ｂは、上述の図１８に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図３８において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。

このビットストリーム処理部２０１Ｂは、図３５に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７が除かれたものである。この場合、視差ベクトルは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに予め反映されている。

送信されてくるサブタイトルデータやグラフィクスデータには、上述したように、左眼画像に重畳される左眼のサブタイトル情報やグラフィクス情報のデータ、および右眼画像に重畳される右眼のサブタイトル情報やグラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７は不要となる。

なお、テキストデコーダ２２３で得られるテキストデータはコードデータ（キャラクタコード）であるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。

「ビットストリーム処理部の他の構成例」
また、図３９に示すビットストリーム処理部２０１Ｃは、上述の図１９に示す送信データ生成部１１０Ｃに対応させた構成となっている。この図３９において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。

このビットストリーム処理部２０１Ｃは、視差情報取り出し部２３２、ＣＣデコーダ２３３および立体画像用クローズド・キャプション発生部２３４を有している。上述したように、図１９に示す送信データ生成部１１０Ｃのビデオエンコーダ１１３から出力されるビデオエレメンタリーストリームには、ＣＣ（クローズド・キャプション）データおよびRegion_id毎の視差情報が、ユーザデータとして埋め込まれている。

視差情報取り出し部２３２では、ビデオデコーダ２２１を通じて得られるビデオエレメンタリーストリームからRegion_id毎の視差情報が取り出される。視差情報取り出し部２３２から立体画像用クローズド・キャプション発生部２３４には、取り出されたRegion_id毎の視差情報のうち、クローズド・キャプション情報に対応した視差情報（重畳位置情報、表示時間情報を含まない）が供給される。

また、視差情報取り出し部２３２から立体画像用サブタイトル・グラフィクス発生部２２６には、取り出されたRegion_id毎の視差情報のうち、サブタイトル情報やグラフィクス情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。さらに、視差情報取り出し部２３２から立体画像用テキスト発生部２２７には、取り出されたRegion_id毎の視差情報のうち、テキスト情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。

ＣＣデコーダ２３３では、ビデオデコーダ２３３を通じて得られるビデオエレメンタリーストリームからＣＣデータ（クローズド・キャプションデータ）が取り出される。さらに、ＣＣデコーダ２３３では、このＣＣデータからWindow毎にクローズド・キャプションデータ（字幕のキャラクタコード）、さらには重畳位置および表示時間の制御データが取得される。そして、このＣＣデコーダ２３３から立体画像用クローズド・キャプション発生部２３４に、クローズド・キャプションデータと、重畳位置および表示時間の制御データが供給される。

立体画像用クローズド・キャプション発生部２３４では、Window毎に、左眼画像、右眼画像にそれぞれ重畳する左眼クローズド・キャプション情報（字幕）、右眼クローズド・キャプション情報（字幕）のデータが生成される。この生成処理は、ＣＣデコーダ２３３で得られたクローズド・キャプションデータおよび重畳位置制御データと、視差情報取り出し部２３２から供給された視差情報（視差ベクトル）に基づいて行われる。この場合、左眼および右眼のクローズド・キャプション情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼クローズド・キャプション情報に対して、右眼クローズド・キャプション情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。

このように、立体画像用クローズド・キャプション発生部２３４でWindow毎に生成された左眼および右眼のクローズド・キャプション情報のデータ（ビットマップデータ）は、表示時間の制御データと共に、ビデオ重畳部２２８に供給される。

また、立体画像用サブタイトル・グラフィクス発生部２２６では、左眼画像および右眼画像にそれぞれ重畳する左眼および左眼のサブタイトル情報やグラフィクス情報が生成される。この生成処理は、サブタイトル・グラフィクスデコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、視差情報取り出し部２３２から供給される視差情報（視差ベクトル）に基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。

このように、立体画像用サブタイトル・グラフィクス発生部２３４で生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）は、表示時間情報（フレーム数情報）と共に、ビデオ重畳部２２８に供給される。

また、立体画像用テキスト発生部２２７では、左眼画像および右眼画像にそれぞれ重畳する左眼および左眼のテキスト情報が生成される。この生成処理は、テキストデコーダ２２３で得られたテキストデータと、視差情報取り出し部２３２から供給される視差情報（視差ベクトル）に基づいて行われる。この場合、左眼および左眼のテキスト情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のテキスト情報に対して、右眼のテキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。

このように、立体画像用テキスト発生部２２７で生成された左眼および右眼のテキスト情報のデータ（ビットマップデータ）は、表示時間情報（フレーム数情報）と共に、ビデオ重畳部２２８に供給される。

ビデオ重畳部２２８では、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、各デコーダから供給される重畳情報データが重畳され、表示用立体画像データＶoutが得られる。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。また、その重畳継続時間は、クローズド・キャプション情報に関しては表示時間の制御データに基づいて、サブタイトル情報、グラフィクス情報、テキスト情報等に関しては表示時間情報に基づいて制御される。

詳細説明は省略するが、この図３９に示すビットストリーム処理部２０１Ｃのその他は、図３５に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。

「ビットストリーム処理部の他の構成例」
また、図４０に示すビットストリーム処理部２０１Ｄは、上述の図２５に示す送信データ生成部１１０Ｄに対応させた構成となっている。この図４０において、図３５および図９と対応する部分には同一符号を付し、その詳細説明は省略する。

ビットストリーム処理部２０１Ｄは、視差情報デコーダ２３５を有している。図２５に示す送信データ生成部１１０Ｄでは、視差情報エンコーダ１２９によりＺデータ部１２８から視差情報を含む視差情報エレメンタリーストリームが生成される。そして、マルチプレクサ１２２では、視差情報エンコーダ１２９を含む各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。

視差情報デコーダ２３５には、デマルチプレクサ２２０で抽出された視差情報のパケットから視差情報のエレメンタリーストリームが再構成され、さらに復号化処理が行われて、Region_id毎の視差情報が得られる。この視差情報は、図３９のビットストリーム処理部２０１Ｃの視差情報取り出し部２３２で取り出される視差情報と同じものである。

この視差情報デコーダ２３５では、ビデオデコーダ２２１を通じて得られるビデオエレメンタリーストリームからRegion_id毎の視差情報が取り出される。視差情報デコーダ２３５から立体画像用クローズド・キャプション発生部２３４には、取り出されたRegion_id毎の視差情報のうち、クローズド・キャプション情報に対応した視差情報（重畳位置情報、表示時間情報を含まない）が供給される。

また、視差情報デコーダ２３５から立体画像用サブタイトル・グラフィクス発生部２２６には、取り出されたRegion_id毎の視差情報のうち、サブタイトル情報やグラフィクス情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。さらに、視差情報デコーダ２３５から立体画像用テキスト発生部２２７には、取り出されたRegion_id毎の視差情報のうち、テキスト情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。

詳細説明は省略するが、この図４０に示すビットストリーム処理部２０１Ｄのその他は、図３９に示すビットストリーム処理部２０１Ｃと同様に構成され、同様の動作をする。

「ビットストリーム処理部の他の構成例」
また、図４１に示すビットストリーム処理部２０１Ｅは、上述の図２６に示す送信データ生成部１１０Ｅに対応させた構成となっている。この図４１において、図３５および図３８と対応する部分には同一符号を付し、その詳細説明は省略する。

このビットストリーム処理部２０１Ｅは、ＣＣデコーダ２３６を有している。図２６に示す送信データ生成部１１０ＥのＣＣデータ処理部１３０では、ＣＣデータに基づいて、左眼画像上に重畳される左眼クローズド・キャプション情報のデータおよび右眼画像上に重畳される右眼クローズド・キャプション情報のデータが生成されている。そして、ＣＣデータ処理部１３０で処理された後のＣＣデータがビデオエンコーダ１１３のストリームフォーマッタ１１３ａに供給され、ビデオのストリームにユーザデータとして埋め込まれている。

ＣＣデコーダ２３６では、ビデオデコーダ２２１を通じて得られるビデオエレメンタリーストリームからＣＣデータが取り出され、さらに、このＣＣデータからWindow毎に左眼および右眼のクローズド・キャプション情報のデータが取得される。そして、このＣＣデコーダ２３６で取得される左眼および右眼のクローズド・キャプション情報のデータは、ビデオ重畳部２２８に供給される。

ビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、ＣＣデコーダ２３６、サブタイトル・グラフィクスデコーダ２２２およびテキストデコーダ２２３で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。

詳細説明は省略するが、この図４１に示すビットストリーム処理部２０１Ｅのその他は、図３８に示すビットストリーム処理部２０１Ｂと同様に構成され、同様に動作する。

［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１８、図１９、図２５、図２６に示す送信データ生成部１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ，１１０Ｅにおけるビデオフレーミング部１１２とは逆の処理を行う。そして、この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。

［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図４２は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。また、このテレビ受信機３００は、映像信号処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。

アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。

ビットストリーム処理部３０６は、図３４に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等を抽出する。重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータ等である。そして、このビットストリーム処理部３０６は、立体画像データに対し、重畳情報データを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。

ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データ（立体画像データ）および音声データを受信する。このＨＤＭＩ受信部３０３の詳細は後述する。３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。

映像信号処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像信号処理回路は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路３０８は、映像信号処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。

音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。

リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

図４２に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。

アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。

デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。

ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。

３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像信号処理部回路３０７に供給される。この映像信号処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成される。そのため、表示パネル３０９により立体画像が表示される。

また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から音声が出力される。

［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図４３は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。

ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。

ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。

ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。

また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。

さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。

ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。

すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。

ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２の他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。このＤＤＣ８３は、ＨＤＭＩ送信部２０６がＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。

すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３４参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、当該ＨＤＭＩ受信部３０３のＥ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。

ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が対応可能な画像データのフォーマット（解像度、フレームレート、アスペクト等）を認識する。

ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。

また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン８７が含まれている。さらに、ＨＤＭＩケーブル４００には、リザーブライン８８が含まれている。

図４４は、図４３のＨＤＭＩトランスミッタ８１とＨＤＭＩレシーバ８２の構成例を示している。ＨＤＭＩトランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃを有する。そして、エンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ，Ｇ，Ｂの３成分を有する場合、Ｂ成分はエンコーダ／シリアライザ８１Ａに供給され、Ｇ成分はエンコーダ／シリアライザ８１Ｂに供給され、Ｒ成分はエンコーダ／シリアライザ８１Ｃに供給される。

また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ８１Ａに供給され、音声データは、エンコーダ／シリアライザ８１Ｂ，８１Ｃに供給される。さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットＣＴＬ０，ＣＴＬ１，ＣＴＬ２，ＣＴＬ３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ８１Ａに供給される。制御ビットＣＴＬ０，ＣＴＬ１はエンコーダ／シリアライザ８１Ｂに供給され、制御ビットＣＴＬ２，ＣＴＬ３はエンコーダ／シリアライザ８１Ｃに供給される。

エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。

また、エンコーダ／シリアライザ８１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。さらに、エンコーダ／シリアライザ８１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。

エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。

また、エンコーダ／シリアライザ８１Ｂは、そこに供給される制御ビットＣＴＬ０，ＣＴＬ１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。さらに、エンコーダ／シリアライザ８１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。

エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。

また、エンコーダ／シリアライザ８１Ｃは、そこに供給される制御ビットＣＴＬ２，ＣＴＬ３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。さらに、エンコーダ／シリアライザ８１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。

ＨＤＭＩレシーバ８２は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃを有する。そして、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、ＴＭＤＳチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。

すなわち、リカバリ／デコーダ８２Ａは、ＴＭＤＳチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ８２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。

リカバリ／デコーダ８２Ｂは、ＴＭＤＳチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを受信する。そして、リカバリ／デコーダ８２Ｂは、その画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。

リカバリ／デコーダ８２Ｃは、ＴＭＤＳチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを受信する。そして、リカバリ／デコーダ８２Ｃは、その画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。

図４５は、ＴＭＤＳ伝送データの構造例を示している。この図４５は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。

ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。

ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である

ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。

データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。

コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。

図４６は、ＨＤＭＩ端子２１１，２５１のピン配列の一例を示している。図４６に示すピン配列はタイプＡ（type-A）と呼ばれている。

ＴＭＤＳチャネル＃ｉの差動信号を伝送する差動線である２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。

また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続され、ピン番号が１４のピンは空き（Reserved）ピンとなっている。また、Ｅ−ＥＤＩＤ等のＳＤＡ(SerialData)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。また、ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。

また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン８６は、ピン番号が１９であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。

［立体画像データの各方式におけるＴＭＤＳ伝送データ例］
ここで、立体画像データの各方式におけるＴＭＤＳ伝送データ例を説明する。図４７は、第１の伝送方式（「Top & Bottom」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第１の方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、垂直方向のラインが１／２に間引かれる。ここで、伝送すべき左眼画像データは奇数ラインまたは偶数ラインのいずれかであり、同様に、伝送すべき右眼画像データは奇数ラインまたは偶数ラインのいずれかである。

図４８は、第２の伝送方式（「Side By Side」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第２の伝送方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。

図４９は、第３の伝送方式（「Frame Sequential」方式）におけるＴＭＤＳ伝送データ例を示している。この場合、奇数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の左眼（Ｌ）画像データが配置される。また、偶数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の右眼（Ｒ）画像データが配置される。

なお、図４９に示す「Frame Sequential」方式におけるＴＭＤＳ伝送データ例は、ＨＤＭＩ 1.4（New HDMI）での「FrameSequential」方式を示している。この場合、図５０（ａ）に示すように、各フレーム期間Ｖfreqにおいて、奇数フィールドに左眼画像データが配置され、偶数フィールドに右眼画像データが配置されている。

しかし、ＨＤＭＩ 1.3（Legacy HDMI）での「Frame Sequential」方式の場合には、図５０（ｂ）に示すように、フレーム期間Ｖfreq毎に、左眼画像データと右眼画像データとは交互に伝送される。この場合、フレーム毎に伝送される画像データが左眼画像データ、右眼画像データのいずれであるかを示す情報（Ｌ，Ｒのsignaling情報）を、ソース機器はシンク機器に送ることが必要となる。

「Top &Bottom」方式、「Side By Side」方式、「FrameSequential」方式の立体画像データをシンク機器に送信する場合、ソース機器側で方式を指定する。さらに、「FrameSequential」方式の場合には、Ｌ，Ｒをフレーム毎にsignalingする。

例えば、以下のシンタクスをLegacyＨＤＭＩ仕様のブランキングに定義されているVendor Specific、あるいはAVI InfoFrame、もしくはReservedの一つを新規定義して、伝送する。

ＨＤＭＩ 1.3の場合、ブランキング期間で送る情報としては、次のものが定義されている。
InfoFrame Type # (8bits)
--------------------------
0x01: Vendor Specific
0x02: AVI InfoFrame
0x03: Source ProductDescription
0x04: Audio InfoFrame
0x05: MPEG Source
0x06 - 0xFF Reserved

このうちの、VendorSpecific、あるいはAVI InfoFrame、もしくは未使用領域の一つを新規定義して、以下のようにする。

3DVideoFlag 1bit (0:2D, 1: 3D)
if (3DVideoFlag) {
3DVideoFormat 3bits (0x0:Frame Packing Left View
0x1:Frame Packing Right View
0x2:Side by Side
0x4:Top & Bottom by Frame
0x6:Top & Bottom by Field
0x3,5,7:Reserved )
Reserved 4bits (0x0)
}
else {
Reserved 7bits (0x0)
}

上述の情報には、３次元画像データ（立体画像データ）および２次元画像データの切り替え情報（１ビットの3DVideoFlag情報）が含まれている。また、上述の情報には、３次元画像データのフォーマットの指定あるいは左眼画像データおよび右眼画像データの切り替えの情報（３ビットの3DVideoFormat情報）が含まれている。

なお、この情報は、同様の内容が放送されるビットストリームの中において、ピクチャヘッダあるいはそれに相当するタイミングで送られる補助情報に定義されるべきものである。この場合、このビットストリームには、３次元画像データ（左眼画像データおよび右眼画像データからなる立体画像データ）または２次元画像データが択一的に含まれる。
受信機（セットトップボックス２００）では、そのストリームを受信した際に、このシグナリング情報を後段のデジタルインタフェースへ送ることで、表示ディスプレイ（テレビ受信機３００）において正確な３Ｄ変換が行えるようにとり図る。

受信機は、切り替え情報（１ビットの3DVideoFlag情報）が３次元画像データを示すとき、データストリームに含まれる３次元画像データを処理するためのソフトウェアを放送サーバ等の外部機器からダウンロードしてインストールするようにしてもよい。

例えば、上述の３Ｄ情報を伝送するため、ＨＤＭＩ１．３対応のシステム上に追加で対応すること、あるいはＨＤＭＩ１．４対応のシステムのソフトウェアを更新することが必要となる。そのため、ソフトウェアのアップデートの際には、例えば、上述の３Ｄ情報を伝送するために必要なファームウェア、ミドルウェア関係のソフトウェアがアップデートの対象となる。

上述したように、図１に示す立体画像表示システム１０においては、視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報（クローズド・キャプション情報、サブタイトル情報など）に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体（オブジェクト）の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

＜２．変形例＞
なお、上述実施の形態においては、放送局１００側からセットトップボックス２００に画像内の所定位置の視差ベクトルが送信されてくる。この場合、セットトップボックス２００は、受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づいて視差ベクトルを得ることを必要とせず、セットトップボックス２００の処理が簡単となる。

しかし、立体画像データの受信側、上述の実施の形態ではセットトップボックス２００に、図２の送信データ生成部１１０における視差ベクトル検出部１１４と同等の視差ベクトル検出部を配置することも考えられる。この場合、視差ベクトルが送られてこなくても、視差ベクトルを用いた処理が可能となる。

図５１は、例えば、セットトップボックス２００に設けられるビットストリーム処理部２０１Ｆの構成例を示している。この図５１において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。このビットストリーム処理部２０１Ｆでは、図３５に示すビットストリーム処理部２０１における視差ベクトルデコーダ２２５の代わりに、視差ベクトル検出部２３７が配置されている。

この視差ベクトル検出部２３７は、ビデオデコーダ２２１で得られる立体画像データを構成する左眼画像データおよび右眼画像データに基づいて、画像内の所定位置における視差ベクトルを検出する。そして、この視差ベクトル検出部２３７は、検出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカ出力制御部２２９に供給する。

詳細説明は省略するが、この図５１に示すビットストリーム処理部２０１Ｆのその他は、図３５に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。

また、図５２は、例えば、セットトップボックス２００に設けられるビットストリーム処理部２０１Ｇの他の構成例を示している。この図５２において、図３５、図３９と対応する部分には同一符号を付し、その詳細説明は省略する。このビットストリーム処理部２０１Ｇでは、図３９に示すビットストリーム処理部２０１Ｃにおける視差情報取り出し部２３２視差ベクトルデコーダ２２５の代わりに、視差ベクトル検出部２３７が配置されている。

この視差ベクトル検出部２３７は、ビデオデコーダ２２１で得られる立体画像データを構成する左眼画像データおよび右眼画像データに基づいて、画像内の所定位置における視差ベクトルを検出する。視差ベクトル検出部２３７は、検出した視差ベクトルを、立体画像用クローズド・キャプション発生部２３４、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。

詳細説明は省略するが、この図５２に示すビットストリーム処理部２０１Ｇのその他は、図３９に示すビットストリーム処理部２０１Ｃと同様に構成され、同様に動作する。

また、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図４２に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図５３に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。

また、上述実施例においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。

この発明は、グラフィクス情報、テキスト情報等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。

１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ〜１００Ｅ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１３ａ・・・ストリームフォーマッタ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・サブタイトル・グラフィクス発生部、１１９・・・サブタイトル・グラフィクスエンコーダ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２４・・・サブタイトル・グラフィクス処理部、１２５・・・テキスト処理部、１２６・・・コントローラ、１２７・・・ＣＣエンコーダ、１２８・・・Ｚデータ部、１２９・・・視差情報エンコーダ、１３０・・・ＣＣデータ処理部、２００・・・セットトップボックス、２０１，２０１Ａ〜２０１Ｇ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２２０・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・サブタイトル・グラフィクスデコーダ、２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２５・・・視差ベクトルデコーダ、２２６・・・立体画像用サブタイトル・グラフィクス発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１・・・視差ベクトル取り出し部、２３２・・・視差情報取り出し部、２３３・・・ＣＣデコーダ、２３４・・・立体画像用クローズド・キャプション発生部、２３５・・・視差情報取り出し部、２３６・・・ＣＣデコーダ、２３７・・・視差ベクトル検出部、３００・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像信号処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル

Claims (12)

1. 左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って符号化ビデオデータを得る符号化部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを発生する重畳情報データ発生部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報を出力する視差情報出力部と、
   上記符号化部で得られた符号化ビデオデータ、上記重畳情報データ発生部で発生された重畳情報データおよび上記視差情報出力部から出力された視差情報を送信する送信部と
   を備える立体画像データ送信装置。
2. 上記重畳情報データ発生部で発生される各重畳情報データには識別子が付加されており、
   上記視差情報出力部から出力される各重畳情報データの視差情報には、対応する重畳情報データに付与されている識別子に対応した識別子が付加される
   請求項１に記載の立体画像データの送信装置。
3. 上記視差情報出力部は、
   上記重畳情報データ発生部で発生される重畳情報データ毎に、上記左眼画像データおよび上記右眼画像データによる画像の内容に応じて、上記視差情報を決定する視差情報決定部を有し、
   上記視差情報決定部で決定された視差情報を出力する
   請求項１または請求項２に記載の立体画像データ送信装置。
4. 上記視差情報決定部は、
   上記左眼画像データおよび上記右眼画像データに基づき、画像内の複数の位置において、左眼画像および右眼画像の一方に対する他方の視差情報を検出する視差情報検出部を有し、
   上記重畳情報データ毎に、上記視差情報検出部で検出された複数の視差情報のうち重畳位置に対応した検出位置で検出された視差情報に決定する
   請求項３に記載の立体画像データ送信装置。
5. 上記視差情報出力部は、
   上記重畳情報データ発生部で発生される重畳情報データ毎に、上記視差情報を設定する視差情報設定部を有し、
   上記視差情報設定部で設定された視差情報を出力する
   請求項１または請求項２に記載の立体画像データ送信装置。
6. 上記視差情報出力部は、
   上記重畳情報データ発生部で発生される重畳情報データ毎に、上記左眼画像データおよび上記右眼画像データによる画像の内容に応じて、上記視差情報を決定する視差情報決定部と、上記重畳情報データ発生部で発生される重畳情報データ毎に、上記視差情報を設定する視差情報設定部とを有し、
   上記視差情報決定部で決定された視差情報または上記視差情報設定部で設定された視差情報を選択的に出力する
   請求項１または請求項２に記載の立体画像データ送信装置。
7. 上記送信部は、
   上記視差情報出力部で出力された視差情報を、上記符号化部で得られた符号化ビデオデータをペイロード部に含むビデオエレメンタリーストリームのヘッダ部のユーザデータ領域に含めて送信する
   請求項１に記載の立体画像データ送信装置。
8. 上記送信部は、
   上記視差情報出力部から出力された視差情報を送信する際に、上記重畳情報の重畳位置を示す情報および上記重畳情報の表示時間を示す情報のいずれかまたは両方を、上記視差情報に付加して送信する
   請求項１に記載の立体画像データ送信装置。
9. 上記重畳情報のデータは字幕または番組情報を表示するためのキャラクタコードである
   請求項１に記載の立体画像データ送信装置。
10. 上記重畳情報のデータは、サブタイトルまたはグラフィクスを表示するためのビットマップデータである
    請求項１に記載の立体画像データ送信装置。
11. 左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って符号化ビデオデータを得る符号化ステップと、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを発生する重畳情報データ発生ステップと、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報を出力する視差情報出力ステップと、
    上記符号化ステップで得られた符号化ビデオデータ、上記重畳情報データ発生ステップで発生された重畳情報データおよび上記視差情報出力ステップで出力された視差情報を送信する送信ステップと
    を備える立体画像データ送信方法。
12. 左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って得られた符号化ビデオデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報とを受信する受信部と、
    上記受信部で受信された上記符号化ビデオデータに対して復号化を行って上記立体画像データを得る復号化部と、
    上記受信部で受信された上記視差情報に基づいて、上記復号化部で得られた立体画像データに含まれる上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記受信部で受信された上記重畳情報データによる同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部と
    を備える立体画像データ受信装置。