以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.第1の実施の形態
2.変形例
<1.実施の形態>
[立体画像送受信システムの構成例]
図1は、実施の形態としての立体画像送受信システム10の構成例を示している。この立体画像送受信システム10は、放送局100と、セットトップボックス(STB:Set Top Box)200と、テレビ受信機300を有している。
セットトップボックス200およびテレビ受信機300は、HDMI(High Definition Multimedia Interface)ケーブル400を介して接続されている。セットトップボックス200には、HDMI端子202が設けられている。テレビ受信機300には、HDMI端子302が設けられている。HDMIケーブル400の一端はセットトップボックス200のHDMI端子202に接続され、このHDMIケーブル400の他端はテレビ受信機300のHDMI端子302に接続されている。
[放送局の説明]
放送局100は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、グラフィクスデータ、テキストデータ、さらには視差情報としての視差ベクトルが含まれる。
図2は、放送局100において、上述のビットストリームデータを生成する送信データ生成部110の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部110は、カメラ111L,111Rと、ビデオフレーミング部112と、ビデオエンコーダ113と、ビデオエンコーダ113と、視差ベクトル検出部114と、視差ベクトルエンコーダ115を有している。また、この送信データ生成部110は、マイクロホン116と、オーディオエンコーダ117と、グラフィクス発生部118と、グラフィクスエンコーダ119と、テキスト発生部120と、テキストエンコーダ121と、マルチプレクサ122を有している。
カメラ111Lは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ111Rは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部112は、カメラ111Lで得られる左眼画像データおよびカメラ111Rで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
[立体画像データの伝送方式例]
ここでは、立体画像データ(3D画像データ)の伝送方式として、以下の第1〜第3の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図3に示すように、左眼(L)および右眼(R)の画像データが、それぞれ、決められた解像度、例えば 1920×1080pのピクセルフォーマットの画像データである場合を例にとって説明する。
第1の伝送方式は、「Top & Bottom」方式で、図4(a)に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが1/2に間引かれることから原信号に対して垂直解像度は半分となる。
第2の伝送方式は、「Side By Side」方式で、図4(b)に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれる。現信号に対して、水平解像度は半分となる。
第3の伝送方式は、「Frame Sequential」方式で、図4(c)に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
図2に戻って、ビデオエンコーダ113は、ビデオフレーミング部112で加工処理された立体画像データに対して、MPEG4−AVC、あるいはMPEG2等の圧縮符号化を施し、ビデオのエレメンタリーストリームを生成する。さらに、ビデオエンコーダ113は、このビデオのエレメンタリーストリームを分割してビデオのPES(Packetized Elementary Stream)パケットを生成し、最終的にビデオのTS(Transport Stream)パケットを生成する。あるいは、MP4などのファイルコンテナに多重化され、またはリアルタイム用のパケットをコンテナとして伝送されるよう生成がなされる。
視差ベクトル検出部114は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、グラフィック情報やテキスト情報を重畳する領域の代表位置等である。
[視差ベクトルの検出]
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図5に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、(xi,yi)および(xj,yj)の位置における視差ベクトルが検出される。
(xi,yi)の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、(xi,yi)の位置の画素を左上とする、例えば8×8あるいは16×16の画素ブロック(視差検出ブロック)Biが設定される。そして、右眼画像において、画素ブロックBiとマッチングする画素ブロックが探索される。
この場合、右眼画像に、(xi,yi)の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックBiと同様の例えば8×8あるいは16×16の比較ブロックが順次設定されていく。
画素ブロックBiと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図6に示すように、画素ブロックBiの画素値をL(x,y)とし、比較ブロックの画素値をR(x,y)とするとき、画素ブロックBiと、ある比較ブロックとの間における差分絶対値の総和は、Σ|L(x,y)−R(x,y)|で表される。
右眼画像に設定される探索範囲にn個の画素が含まれているとき、最終的にn個の総和S1〜Snが求められ、その中で最小の総和Sminが選択される。そして、この総和Sminが得られた比較ブロックから左上の画素の位置が(xi′,yi′)が得られる。これにより、(xi,yi)の位置における視差ベクトルは、(xi′−xi,yi′−yi)のように検出される。詳細説明は省略するが、(xj,yj)の位置における視差ベクトルについても、左眼画像に、(xj,yj)の位置の画素を左上とする、例えば8×8あるいは16×16の画素ブロックBjが設定されて、同様の処理過程で検出される。
図7(a)は、視差ベクトル検出部114で検出される、画像内の所定位置おける視差ベクトルVVの一例を示している。この場合、図7(b)に示すように、この画像内の所定位置においては、左眼画像(検出画像)を視差ベクトルVVだけずらすと、右眼画像(参照画像)と重なることを意味する。
図2に戻って、視差ベクトルエンコーダ115は、視差ベクトル検出部114で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。視差ベクトルエレメンタリーストリームはビデオのエレメンタリーストリームなどと共にTSパケットを構成する。
ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、視差検出ブロックのID(ID_Block)、視差検出ブロックの垂直位置情報(VerticaL_Position)、視差検出ブロックの水平位置情報(Horizontal_Position)、視差ベクトル(View_Vector)が1セットとされる。そして、このセットが視差検出ブロックの数Nの分だけ繰り返される。図8は、視差ベクトルの伝送内容を示している。
なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのIDを付すのは、画像に重畳表示させるグラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
例えば、図9(a)に示すように、A〜Fまでの視差検出ブロックが存在するとき、伝送内容には、図9(b)に示すように、その視差検出ブロックA〜FのIDと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図9(b)において、視差検出ブロックAに関しては、ID2は視差検出ブロックAのIDを示し、(Ha,Va)は視差検出ブロックAの垂直、水平の位置情報を示し、視差ベクトルaは視差検出ブロックAの視差ベクトルを示している。
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第1〜第4の例が考えられる。
第1の例においては、図10(a)に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第2の例においては、図10(b)に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
第3の例においては、図10(c)に示すように、符号化ビデオのIピクチャ(Intra picture)に同期させる。第4の例においては、図11に示すように、画像に重畳表示されるグラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
図2に戻って、マイクロホン116は、カメラ111L,111Rで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ117は、マイクロホン116で得られた音声データに対して、MPEG−2Audio AAC等の圧縮符号化を施し、オーディオのエレメンタリーストリームを生成する。さらに、オーディオエンコーダ117は、このオーディオのエレメンタリーストリームを分割してオーディオのPESパケットを生成し、最終的にTSパケットを生成する。
グラフィクス発生部118は、画像に重畳するグラフィクス情報のデータ(グラフィクスデータ)を発生する。グラフィクス情報は、例えば字幕などである。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるDVBでDVB_Subtitlingとして規格化され、運用されている。
グラフィクスエンコーダ119は、グラフィクス発生部118で発生されたグラフィクスデータのエレメンタリーストリームを生成する。そして、グラフィクスエンコーダ119は、最終的に上述のTSパケットを生成する。
テキスト発生部120は、画像に重畳するテキスト情報のデータ(テキストデータ)を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているEPG、アメリカのデジタル地上波規格ATSCのCC_data(Closed Caption)がある。
テキストエンコーダ121は、テキスト発生部120で発生されたテキストデータのエレメンタリーストリームを生成する。
マルチプレクサ122は、ビデオエンコーダ113、視差ベクトルエンコーダ115、オーディオエンコーダ117,グラフィクスエンコーダ119およびテキストエンコーダ121の各エンコーダから出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ122は、伝送データとしてのビットストリームデータ(トランスポートストリーム)BSDを出力する。
図2に示す送信データ生成部110の動作を簡単に説明する。カメラ111Lでは、左眼画像が撮影される。このカメラ111Lで得られる立体画像表示のための左眼画像データはビデオフレーミング部112に供給される。また、カメラ111Rでは、右眼画像が撮影される。このカメラ111Rで得られる立体画像表示のための右眼画像データはビデオフレーミング部112に供給される。ビデオフレーミング部112では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる(図4(a)〜(c)参照)。
ビデオフレーミング部112で得られる立体画像データはビデオエンコーダ113に供給される。このビデオエンコーダ113では、立体画像データに対してMPEG4−AVC、あるいはMPEG2等の圧縮符号化が施され、ビデオのエレメンタリーストリームが生成され、最終的にビデオパケットは、マルチプレクサ122に供給される。
また、カメラ111L,111Rで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部112を通じて、視差ベクトル検出部114に供給される。この視差ベクトル検出部114では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
視差ベクトル検出部114で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ115に供給される。この場合、視差検出ブロックのID、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが1セットとして渡される。視差ベクトルエンコーダ115では、視差ベクトルの伝送内容(図8参照)を含む視差ベクトルのエレメンタリーストリームが生成され、マルチプレクサ122に供給される。
また、マイクロホン116では、カメラ111L,111Rで撮影された画像に対応した音声が検出される。このマイクロホン116で得られる音声データはオーディオエンコーダ117に供給される。このオーディオエンコーダ117では、音声データに対して、MPEG−2Audio AAC等の圧縮符号化が施され、オーディオのエレメンタリーストリームが生成され、マルチプレクサ122に供給される。
また、グラフィクス発生部118では、画像に重畳するグラフィクス情報のデータ(グラフィクスデータ)が発生される。このグラフィクスデータ(ビットマップデータ)は、グラフィクスエンコーダ119に供給される。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ119では、このグラフィクスデータに対して所定の圧縮符号化が施されてエレメンタリーストリームが生成され、マルチプレクサ122に供給される。
また、テキスト発生部120では、画像に重畳するテキスト情報のデータ(テキストデータ)が発生される。このテキストデータは、テキストエンコーダ121に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ121では、このテキストデータに対して所定の圧縮符号化が施されてエレメンタリーストリームが生成され、最終的にテキストのTSパケットが得られる。このテキストのTSパケットは、マルチプレクサ122に供給される。
マルチプレクサ122では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ(トランスポートストリーム)BSDが得られる。
図12は、図2に示す送信データ生成部110において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合(図10(b)参照)を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
なお、上述の図2に示す送信データ生成部110は、視差ベクトルの伝送内容(図8参照)を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
図13は、送信データ生成部110Aの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部110Aは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図13において、図2と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部110Aは、ビデオエンコーダ113とマルチプレクサ122との間に、ストリームフレーミング部123が挿入されている。視差ベクトル検出114で検出された画像内の所定位置における視差ベクトルは、ストリームフレーミング部123に供給される。この場合、視差検出ブロックのID、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが1セットとして渡される。
ストリームフレーミング部123では、ビデオのストリームに、視差ベクトルの伝送内容(図8参照)が、ユーザデータとして埋め込まれる。
詳細説明は省略するが、この図13に示す送信データ生成部110Aのその他は、図2に示す送信データ生成部110と同様に構成されている。
また、上述の図2に示す送信データ生成部110および上述の図13に示す送信データ生成部110Aは、視差ベクトルを数値情報として送信する(図8参照)。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報(例えば、グラフィクス情報、テキスト情報等)のデータに含めて送信することも考えられる。
例えば、グラフィクス情報のデータに含めて送信する場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
また、例えば、テキスト情報のデータに含めて送信する場合、送信側で、左眼画像に重畳すべき左眼テキスト情報と右眼画像に重畳すべき右眼テキスト情報の双方に対応したテキストデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報である。しかし、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。
図14(a)は、伝送方式が上述の第1の伝送方式(「Top & Bottom」方式)である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像IL上に重畳される左眼グラフィクス情報LGIに対して、右眼画像IR上に重畳される右眼グラフィクス情報RGIは、視差ベクトルの水平方向成分VVTだけ水平方向にずれた位置とされている。
各画像IL,IRに対して、図14(a)に示すように、各グラフィクス情報LGI,RGIが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図14(b)に示すように、各画像IL,IRと共に、各グラフィクス情報LGI,RGIを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
例えば、各グラフィクス情報LGI,RGIのグラフィクスデータは、図15(a)に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報LGI,RGI以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報LGI,RGIのグラフィクスデータは、図15(b)に示すように、別領域のデータとして生成される。
図16(a)は、伝送方式が上述の第2の伝送方式(「Side By Side」方式)である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像IL上に重畳される左眼グラフィクス情報LGIに対して、右眼画像IR上に重畳される右眼グラフィクス情報RGIは、視差ベクトルの水平方向成分VVTだけ水平方向にずれた位置とされている。なお、ITは、アイドリングオフセット値である。
各画像IL,IRに対して、図16(a)に示すように、各グラフィクス情報LGI,RGIが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図16(b)に示すように、各画像IL,IRと共に、各グラフィクス情報LGI,RGIを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
例えば、各グラフィクス情報LGI,RGIのグラフィクスデータは、図17に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報LGI,RGI以外の部分のデータは、透明データとして生成されればよい。
図18は、送信データ生成部110Bの構成例を示している。この送信データ生成部110Bは、視差ベクトルを、グラフィクス情報、テキスト情報のデータに含めて送信する構成となっている。この図18において、図2と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部110Bでは、グラフィクス発生部118とグラフィクスエンコーダ119との間に、グラフィクス処理部124が挿入されている。また、この送信データ生成部110Bでは、テキスト発生部120とテキストエンコーダ121との間に、テキスト処理部125が挿入されている。そして、視差ベクトル検出114で検出された画像内の所定位置における視差ベクトルは、グラフィクス処理部124およびテキスト処理部125に供給される。
グラフィクス処理部124では、グラフィクス発生部118で発生されるグラフィクスデータに基づいて、左眼画像IL上に重畳される左眼グラフィクス情報LGIのデータおよび右眼画像IR上に重畳される右眼グラフィクス情報RGIのデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分VVTだけ、水平方向にずれるようにされる(図14(a)、図16(a)参照)。
このようにグラフィクス処理部124で生成されたグラフィクスデータは、グラフィクスエンコーダ119に供給される。なお、このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ119では、グラフィクス処理部124で生成されたグラフィクスデータのエレメンタリーストリームが生成される。
また、テキスト処理部125では、テキスト発生部120で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分VVTだけ、水平方向にずれるようにされる。
このようにテキスト処理部125で生成されたテキストデータは、テキストエンコーダ121に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ121では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
詳細説明は省略するが、この図18に示す送信データ生成部110Bのその他は、図2に示す送信データ生成部110と同様に構成されている。
[セットトップボックスの説明]
図1に戻って、セットトップボックス200は、放送局100から放送波にのせて送信されてくるビットストリームデータ(トランスポートストリーム)を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、グラフィクスデータ、テキストデータ、さらには視差情報としての視差ベクトルが含まれる
セットトップボックス200は、ビットストリーム処理部201を有している。このビットストリーム処理部201は、ビットストリームデータから、立体画像データ、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。また、このビットストリーム処理部201は、立体画像データ、グラフィクスデータ、テキストデータ等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルとグラフィクスデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報を生成する。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
図19(a)は、伝送方式が上述の第2の伝送方式(「Side By Side」方式)である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。
左眼画像IL上に重畳される左眼グラフィクス情報LGIに対して、右眼画像IR上に重畳される右眼グラフィクス情報RGIは、視差ベクトルの水平方向成分VVTだけ水平方向にずれた位置とされている。なお、ITは、アイドリングオフセット値である。
各画像IL,IRに対して、図19(a)に示すように、各グラフィクス情報LGI,RGIが重畳されるように、グラフィクスデータが生成される。
ビットストリーム処理部201は、ビットストリームデータから抽出された立体画像データ(左眼画像データ、右眼画像データ)に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図19(b)に示すように、各画像IL,IRと共に、各グラフィクス情報LGI,RGIを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
なお、図20(a)は、各画像IL,IRに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図20(b)に示すように、左眼画像ILと共にグラフィクス情報の左半分、右眼画像IRと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
また、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルとテキストデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報である。しかし、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
ビットストリーム処理部201は、ビットストリームデータから抽出された立体画像データ(左眼画像データ、右眼画像データ)に対して、生成された左眼テキスト情報および右眼テキスト情報のデータ(ビットマップデータ)を合成して、処理後の立体画像データを得る。この立体画像データによれば、視聴者は、上述したグラフィクス情報の場合と同様に、左眼画像、右眼画像と共に、各テキスト情報を、視差をもって観察でき、テキスト情報にも、遠近感を認知可能となる。
この場合、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図21(a),(b),(c),(d)は、それぞれ時刻T0,T1,T2,T3における3つのオブジェクト位置の視差ベクトル(View Vector)を示している。
時刻T0では、オブジェクト1に対応した位置(H0,V0)における視差ベクトルVV0-1が最大の視差ベクトルMaxVV(T0)となっている。時刻T1では、オブジェクト1に対応した位置(H1,V1)における視差ベクトルVV1-1が最大の視差ベクトルMaxVV(T1)となっている。時刻T2では、オブジェクト2に対応した位置(H2,V2)における視差ベクトルVV2-2が最大の視差ベクトルMaxVV(T2)となっている。時刻T3では、オブジェクト1に対応した位置(H3,V3)における視差ベクトルVV3-0が最大の視差ベクトルMaxVV(T3)となっている。
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体(オブジェクト)よりも手前に、グラフィクス情報、テキスト情報を表示することが可能となる。
図22(a)は、画像上における字幕(グラフィクス情報)の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図22(b)は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
図23(a)は、図22(a)と同じ、画像上における字幕(グラフィクス情報)の表示例を示している。図23(b)は、字幕を表示するための左眼グラフィクス情報LGIと、右眼グラフィクス情報RGIを示している。そして、図23(c)は、字幕が最も近くにあるように認識されるために、各グラフィクス情報LGI,RGIに視差が与えられることを示している。
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することが考えられる。図24(a)は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
図24(b)は、左眼画像に、左眼グラフィクス情報LGIおよび左眼テキスト情報LTIが重畳された状態を示している。この場合、左眼グラフィクス情報LGIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-0)で規制されている。また、左眼テキスト情報LTIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-1)で規制されている。
図24(c)は、右眼画像に、右眼グラフィクス情報RGIおよび右眼テキスト情報RTIが重畳された状態を示している。この場合、右眼グラフィクス情報RGIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-0)で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分VVT-0だけ、左眼グラフィクス情報LGIの重畳位置よりずらされている。また、右眼テキスト情報RTIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-1)で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分VVT-1だけ、左眼テキスト情報LTIの重畳位置よりずらされている。
なお、上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス200内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体(オブジェクト)の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
図25(a)は、画像内にA,B,Cの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。
図25(b)は、A,B,Cの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、A,B,Cの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Aのオブジェクトの近傍には「Text」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Aのオブジェクトの位置(Ha,Va)における視差ベクトルVV-aに対応した視差が与えられる。なお、B,Cのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
次に、視差ベクトルが、グラフィクス情報、テキスト情報のデータに含めて送信されてくる場合を説明する。この場合、ビットストリームデータから抽出されたグラフィクスデータには、視差ベクトルにより視差が与えられた、左眼グラフィクス情報および右眼グラフィクス情報のデータが含まれている。同様に、ビットストリームデータから抽出されたテキストデータには、視差ベクトルにより視差が与えられた、左眼テキスト情報および右眼テキスト情報のデータが含まれている。
そのため、ビットストリーム処理部201は、ビットストリームデータから抽出された立体画像データ(左眼画像データ、右眼画像データ)に対して、ビットストリームデータから抽出されたグラフィクスデータ、テキストデータを単に合成して、処理後の立体画像データを取得する。なお、テキストデータに関しては、テキストデータ(コードデータ)をビットマップデータに変換することは必要である。
[セットトップボックスの構成例]
セットトップボックス200の構成例を説明する。図26は、セットトップボックス200の構成例を示している。このセットトップボックス200は、ビットストリーム処理部201と、HDMI端子202と、アンテナ端子203と、デジタルチューナ204と、映像信号処理回路205と、HDMI送信部206と、音声信号処理回路207を有している。また、このセットトップボックス200は、CPU211と、フラッシュROM212と、DRAM213と、内部バス214と、リモコン受信部215と、リモコン送信機216を有している。
アンテナ端子203は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ204は、アンテナ端子203に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)を出力する。
ビットストリーム処理部201は、上述したように、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。そして、このビットストリーム処理部201は、上述したように、立体画像データに対し、重畳情報(グラフィクス情報、テキスト情報)のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部201は、音声データを出力する。ビットストリーム処理部201の詳細構成は後述する。
映像信号処理回路205は、ビットストリーム処理部201から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをHDMI送信部206に供給する。音声信号処理回路207は、ビットストリーム処理部201から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをHDMI送信部206に供給する。
HDMI送信部206は、HDMIに準拠した通信により、ベースバンドの画像(映像)と音声のデータを、HDMI端子202から送出する。この場合、HDMIのTMDSチャネルで送信するため、画像および音声のデータがパッキングされて、HDMI送信部206からHDMI端子202に出力される。このHDMI送信部206の詳細は後述する。
CPU211は、セットトップボックス200の各部の動作を制御する。フラッシュROM212は、制御ソフトウェアの格納およびデータの保管を行う。DRAM213は、CPU211のワークエリアを構成する。CPU211は、フラッシュROM212から読み出したソフトウェアやデータをDRAM213上に展開してソフトウェアを起動させ、セットトップボックス200の各部を制御する。
リモコン受信部215は、リモコン送信機216から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU211に供給する。CPU211は、このリモコンコードに基づいて、セットトップボックス200の各部を制御する。CPU211、フラッシュROM212およびDRAM213は内部バス214に接続されている。
セットトップボックス200の動作を簡単に説明する。アンテナ端子203に入力されたテレビ放送信号はデジタルチューナ204に供給される。このデジタルチューナ204では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)が出力される。
デジタルチューナ204から出力されるビットストリームデータは、ビットストリーム処理部201に供給される。このビットストリーム処理部201では、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部201では、立体画像データに対し、重畳情報(グラフィクス情報、テキスト情報)のデータが合成され、表示用立体画像データが生成される。
ビットストリーム処理部201で生成される表示用立体画像データは、映像信号処理回路205で必要に応じて画質調整処理等が行われた後に、HDMI送信部206に供給される。また、ビットストリーム処理部201で得られる音声データは、音声信号処理回路207で必要に応じて音質調整処理等が行われた後に、HDMI送信部206に供給される。HDMI送信部206に供給された立体画像データおよび音声データは、HDMIのTMDSチャネルにより、HDMI端子202からHDMIケーブル400に送出される。
[ビットストリーム処理部の構成例]
ビットストリーム処理部201の構成例を説明する。図27は、ビットストリーム処理部201の構成例を示している。このビットストリーム処理部201は、上述の図2に示す送信データ生成部110に対応させた構成となっている。このビットストリーム処理部201は、デマルチプレクサ220と、ビデオデコーダ221と、グラフィクスデコーダ222と、テキストデコーダ223と、オーディオデコーダ224と、視差ベクトルデコーダ225を有している。また、このビットストリーム処理部201は、立体画像用グラフィクス発生部226と、立体画像用テキスト発生部227と、ビデオ重畳部228と、マルチチャネルスピーカコントロール部229を有している。
デマルチプレクサ220は、ビットストリームデータBSDから、ビデオ、オーディオ、視差ベクトル、グラフィクスおよびテキストのTSパケットを抽出し、各デコーダに送る。
ビデオデコーダ221は、上述の送信データ生成部110のビデオエンコーダ113とは逆の処理を行う。すなわち、このビデオデコーダ221は、デマルチプレクサ220で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第1の伝送方式(「Top & Bottom」方式)、第2の伝送方式は(「Side By Side」方式)、第3の伝送方式(「Frame Sequential」方式)などである(図4(a)〜(c)参照)。
グラフィクスデコーダ222は、上述の送信データ生成部110のグラフィクスエンコーダ119とは逆の処理を行う。すなわち、このグラフィクスデコーダ222は、デマルチプレクサ220で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリーストリームを再構成し、復号化処理を行って、グラフィクスデータを得る。
テキストデコーダ223は、上述の送信データ生成部110のテキストエンコーダ121とは逆の処理を行う。すなわち、このテキストデコーダ223は、デマルチプレクサ220で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータを得る。
オーディオデコーダ224は、上述の送信データ生成部110のオーディオエンコーダ117とは逆の処理を行う。すなわち、このオーディオデコーダ224は、デマルチプレクサ220で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
視差ベクトルデコーダ225は、上述の送信データ生成部110の視差ベクトルエンコーダ115とは逆の処理を行う。すなわち、この視差ベクトルデコーダ225は、デマルチプレクサ220で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
立体画像用グラフィクス発生部226は、デコーダ222で得られたグラフィクスデータと、デコーダ225で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報を生成する。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用グラフィクス発生部226は、生成された左眼グラフィクス情報および右眼グラフィクス情報のデータ(ビットマップデータ)を出力する。
立体画像用テキスト発生部227は、デコーダ223で得られたテキストスデータと、デコーダ225で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部227は、生成された左眼テキスト情報および右眼テキスト情報のデータ(ビットマップデータ)を出力する。
ビデオ重畳部228は、ビデオデコーダ221で得られた立体画像データ(左眼画像データ、右眼画像データ)に対して、グラフィクス発生部226で発生されるデータ、およびテキスト発生部227で発生されるデータを重畳し、表示用立体画像データVoutを得る。
マルチチャネルスピーカコントロール部229は、オーディオデコーダ224で得られる音声データに対して、例えば5.1chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部229は、デコーダ225で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
図28は、視差ベクトルVV1が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right,Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ(立体画像データ)の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
図27に示すビットストリーム処理部201の動作を簡単に説明する。デジタルチューナ204(図26参照)から出力されるビットストリームデータBSDは、デマルチプレクサ220に供給される。このデマルチプレクサ220では、ビットストリームデータBSDから、ビデオ、オーディオ、視差ベクトル、グラフィクスおよびテキストのTSパケットが抽出され、各デコーダに供給される。
ビデオデコーダ221では、デマルチプレクサ220で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部228に供給される。また、視差ベクトルデコーダ225では、デマルチプレクサ220で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる(図8参照)。
グラフィクスデコーダ222では、デマルチプレクサ220で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、グラフィクスデータが得られる。このグラフィクスデータは、立体画像用グラフィクス発生部226に供給される。この立体画像用グラフィクス発生部226には、視差ベクトルデコーダ225で得られた視差ベクトルも供給される。
この立体画像用グラフィクス発生部226では、デコーダ222で得られたグラフィクスデータと、デコーダ225で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報が生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用グラフィクス発生部226からは、生成された左眼グラフィクス情報および右眼グラフィクス情報のデータ(ビットマップデータ)が出力される。
また、テキストデコーダ223では、デマルチプレクサ220で抽出されたテキストのTSパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部227に供給される。この立体画像用テキスト発生部227には、視差ベクトルデコーダ225で得られた視差ベクトルも供給される。
この立体画像用テキスト発生部227では、デコーダ223で得られたテキストスデータと、デコーダ225で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部227からは、生成された左眼テキスト情報および右眼テキスト情報のデータ(ビットマップデータ)が出力される。
ビデオ重畳部228には、上述したビデオデコーダ221からの立体画像データ(左眼画像データ、右眼画像データ)の他に、グラフィクス発生部226およびテキスト発生部227から出力されるデータが供給される。このビデオ重畳部228では、立体画像データ(左眼画像データ、右眼画像データ)に対して、グラフィクス発生部226およびテキスト発生部227で発生されたデータが重畳され、表示用立体画像データVoutが得られる。この表示用立体画像データVoutは、映像信号処理回路205を介して、HDMI送信部206(図26参照)に、送信画像データとして供給される。
また、オーディオデコーダ224では、デマルチプレクサ220で抽出されたオーディオのTSパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部229に供給される。このマルチチャネルスピーカコントロール部229では、音声データに対して、例えば5.1chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
このマルチチャネルスピーカコントロール部229には、視差ベクトルデコーダ225で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部229では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部229で得られるマルチチャネル音声データは、音声信号処理回路207を介してHDMI送信部206(図26参照)に、送信音声データとして供給される。
なお、上述の図27に示すビットストリーム処理部201は、上述の図2に示す送信データ生成部110に対応させた構成となっている。図29に示すビットストリーム処理部201Aは、上述の図13に示す送信データ生成部110Aに対応させた構成となっている。この図29において、図27と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部201Aは、図27に示すビットストリーム処理部201の視差ベクトルデコーダ225の代わりに、視差ベクトル取り出し部231が設けられる。この視差ベクトル取り出し部231は、ビデオデコーダ221を通じて得られるビデオのストリームから、そのユーザデータに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部231は、取り出した視差ベクトルを、立体画像用グラフィクス発生部206、立体画像用テキスト発生部227およびマルチチャネルスピーカコントロール部229に供給する。
詳細説明は省略するが、この図29に示すビットストリーム処理部201Aのその他は、図27に示すビットストリーム処理部201と同様に構成されている。
また、図30に示すビットストリーム処理部201Bは、上述の図18に示す送信データ生成部110Bに対応させた構成となっている。この図30において、図27と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部201Bは、図27に示すビットストリーム処理部201から、視差ベクトルデコーダ225、立体画像用グラフィクス発生部206および立体画像用テキスト発生部207が除かれたものである。この場合、視差ベクトルは、グラフィクス情報、テキスト情報のデータに含めて送信されてくる。また、送信されてくるグラフィクスデータには、上述したように、左眼画像に重畳される左眼グラフィクス情報のデータおよび右眼画像に重畳される右眼グラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ225、立体画像用グラフィクス発生部206および立体画像用テキスト発生部207は不要となる。
なお、テキストデコーダ223で得られるテキストデータはコードデータであるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ223の最終段で行われるか、あるいはビデオ重畳部228の入力段で行われる。
[テレビ受信機の説明]
図1に戻って、テレビ受信機300は、セットトップボックス200からHDMIケーブル400を介して送られてくる立体画像データを受信する。このテレビ受信機300は、3D信号処理部301を有している。この3D信号処理部301は、立体画像データに対して、伝送方式に対応した処理(デコード処理)を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この3D信号処理部301は、図2、図13、図18に示す送信データ生成部110,110A,110Bにおけるビデオフレーミング部112とは逆の処理を行って、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
[テレビ受信機の構成例]
テレビ受信機300の構成例を説明する。図31は、テレビ受信機300の構成例を示している。このテレビ受信機300は、3D信号処理部301と、HDMI端子302と、HDMI受信部303と、アンテナ端子304と、デジタルチューナ305と、ビットストリーム処理部306を有している。また、このテレビ受信機300は、映像信号処理回路307と、パネル駆動回路308と、表示パネル309と、音声信号処理回路310と、音声増幅回路311と、スピーカ312を有している。また、このテレビ受信機300は、CPU321と、フラッシュROM322と、DRAM323と、内部バス324と、リモコン受信部325と、リモコン送信機326を有している。
アンテナ端子304は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ305は、アンテナ端子304に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)を出力する。
ビットストリーム処理部306は、図26に示すセットトップボックス200のビットストリーム処理部201と同様の構成とされている。このビットストリーム処理部306は、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。そして、このビットストリーム処理部306は、立体画像データに対し、重畳情報(グラフィクス情報、テキスト情報)のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部306は、音声データを出力する。
HDMI受信部303は、HDMIに準拠した通信により、HDMIケーブル400を介してHDMI端子302に供給される非圧縮の画像データ(立体画像データ)および音声データを受信する。このHDMI受信部303の詳細は後述する。3D信号処理部301は、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた立体画像データに対して、伝送方式に対応した処理(デコード処理)を行って、左眼画像データおよび右眼画像データを生成する。
映像信号処理回路307は、3D信号処理部301で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像信号処理回路は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路308は、映像信号処理回路307から出力される画像データに基づいて、表示パネル309を駆動する。表示パネル309は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)等で構成されている。
音声信号処理回路310は、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた音声データに対してD/A変換等の必要な処理を行う。音声増幅回路311は、音声信号処理回路310から出力される音声信号を増幅してスピーカ312に供給する。
CPU321は、テレビ受信機300の各部の動作を制御する。フラッシュROM322は、制御ソフトウェアの格納およびデータの保管を行う。DRAM323は、CPU321のワークエリアを構成する。CPU321は、フラッシュROM322から読み出したソフトウェアやデータをDRAM323上に展開してソフトウェアを起動させ、テレビ受信機300の各部を制御する。
リモコン受信部325は、リモコン送信機326から送信されたリモートコントロール信号(リモコンコード)を受信し、CPU321に供給する。CPU321は、このリモコンコードに基づいて、テレビ受信機300の各部を制御する。CPU321、フラッシュROM322およびDRAM323は、内部バス324に接続されている。
図31に示すテレビ受信機300の動作を簡単に説明する。HDMI受信部303では、HDMI端子302にHDMIケーブル400を介して接続されているセットトップボックス200から送信されてくる、立体画像データおよび音声データが受信される。このHDMI受信部303で受信された立体画像データは、3D信号処理部301に供給される。また、このHDMI受信部303で受信された音声データは音声信号処理回路310に供給される。
アンテナ端子304に入力されたテレビ放送信号はデジタルチューナ305に供給される。このデジタルチューナ305では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)が出力される。
デジタルチューナ305から出力されるビットストリームデータは、ビットストリーム処理部306に供給される。このビットストリーム処理部306では、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部306では、立体画像データに対し、重畳情報(グラフィクス情報、テキスト情報)のデータが合成され、表示用立体画像データが生成される。
ビットストリーム処理部306で生成される表示用立体画像データは、3D信号処理部301に供給される。また、このビットストリーム処理部306で得られる音声データは、音声信号処理回路310に供給される。
3D信号処理部301では、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた立体画像データに対して、伝送方式に対応した処理(デコード処理)が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像信号処理部回路307に供給される。この映像信号処理回路307では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成される。そのため、表示パネル309により立体画像が表示される。
また、音声信号処理回路310では、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた音声データに対してD/A変換等の必要な処理が施される。この音声データは、音声増幅回路311で増幅された後に、スピーカ312に供給される。そのため、スピーカ312から音声が出力される。
[HDMI送信部、HDMI受信部の構成例]
図32は、図1の立体画像表示システム10における、セットトップボックス200のHDMI送信部(HDMIソース)206と、テレビ受信機300のHDMI受信部(HDMIシンク)303の構成例を示している。
HDMI送信部206は、有効画像区間(以下、適宜、アクティブビデオ区間ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部303に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、HDMI送信部206は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部303に一方向に送信する。
HDMI送信部206とHDMI受信部303とからなるHDMIシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、HDMI送信部206からHDMI受信部303に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、3つのTMDSチャネル#0乃至#2がある。また、ピクセルクロックを伝送する伝送チャネルとしての、TMDSクロックチャネルがある。
HDMI送信部206は、HDMIトランスミッタ81を有する。トランスミッタ81は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル400を介して接続されているHDMI受信部303に、一方向にシリアル伝送する。
また、トランスミッタ81は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMI受信部303に、一方向にシリアル伝送する。
さらに、トランスミッタ81は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル400を介して接続されているHDMI受信部303に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
HDMI受信部303は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部206から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このHDMI受信部303は、水平帰線区間または垂直帰線区間において、複数のチャネルで、HDMI送信部206から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、HDMI受信部303は、HDMIレシーバ82を有する。このHDMIレシーバ82は、TMDSチャネル#0,#1,#2で、HDMI送信部206から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、HDMI送信部206からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
HDMI送信部206とHDMI受信部303とからなるHDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルの他に、DDC(Display Data Channel)83やCECライン84と呼ばれる伝送チャネルがある。DDC83は、HDMIケーブル400に含まれる図示しない2本の信号線からなり、HDMI送信部206が、HDMIケーブル400を介して接続されたHDMI受信部303から、E−EDID(Enhanced Extended Display Identification Data)を読み出すために使用される。
すなわち、HDMI受信部303は、HDMIレシーバ81の他に、自身の性能(Configuration/capability)に関する性能情報であるE−EDIDを記憶している、EDID ROM(Read Only Memory)85を有している。HDMI送信部206は、例えば、CPU211(図26参照)からの要求に応じて、HDMIケーブル400を介して接続されているHDMI受信部303から、当該HDMI受信部303のE−EDIDを、DDC83を介して読み出す。HDMI送信部206は、読み出したE−EDIDをCPU211に送る。CPU211は、このE−EDIDを、フラッシュROM212あるいはDRAM213に格納する。
CPU211は、E−EDIDに基づき、HDMI受信部303の性能の設定を認識できる。例えば、CPU211は、HDMI受信部303を有するテレビ受信機300が対応可能な画像データのフォーマット(解像度、フレームレート、アスペクト等)を認識する。
CECライン84は、HDMIケーブル400に含まれる図示しない1本の信号線からなり、HDMI送信部206とHDMI受信部303との間で、制御用のデータの双方向通信を行うために用いられる。このCECライン84は、制御データラインを構成している。
また、HDMIケーブル400には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン(HPDライン)86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル400には、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブル400には、リザーブライン88が含まれている。
図33は、図32のHDMIトランスミッタ81とHDMIレシーバ82の構成例を示している。HDMIトランスミッタ81は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのエンコーダ/シリアライザ81A,81B,81Cを有する。そして、エンコーダ/シリアライザ81A,81B,81Cのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばR,G,Bの3成分を有する場合、B成分はエンコーダ/シリアライザ81Aに供給され、G成分はエンコーダ/シリアライザ81Bに供給され、R成分はエンコーダ/シリアライザ81Cに供給される。
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ/シリアライザ81Aに供給され、音声データは、エンコーダ/シリアライザ81B,81Cに供給される。さらに、制御データとしては、1ビットの垂直同期信号(VSYNC)、1ビットの水平同期信号(HSYNC)、および、それぞれ1ビットの制御ビットCTL0,CTL1,CTL2,CTL3がある。垂直同期信号および水平同期信号は、エンコーダ/シリアライザ81Aに供給される。制御ビットCTL0,CTL1はエンコーダ/シリアライザ81Bに供給され、制御ビットCTL2,CTL3はエンコーダ/シリアライザ81Cに供給される。
エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
また、エンコーダ/シリアライザ81Aは、そこに供給される垂直同期信号および水平同期信号の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。さらに、エンコーダ/シリアライザ81Aは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分、制御ビットCTL0,CTL1、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
また、エンコーダ/シリアライザ81Bは、そこに供給される制御ビットCTL0,CTL1の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。さらに、エンコーダ/シリアライザ81Bは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分、制御ビットCTL2,CTL3、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
また、エンコーダ/シリアライザ81Cは、そこに供給される制御ビットCTL2,CTL3の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。さらに、エンコーダ/シリアライザ81Cは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
HDMIレシーバ82は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのリカバリ/デコーダ82A,82B,82Cを有する。そして、リカバリ/デコーダ82A,82B,82Cのそれぞれは、TMDSチャネル#0,#1,#2で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ/デコーダ82A,82B,82Cのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
すなわち、リカバリ/デコーダ82Aは、TMDSチャネル#0で差動信号により送信されてくる画像データのB成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ/デコーダ82Aは、その画像データのB成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ/デコーダ82Bは、TMDSチャネル#1で差動信号により送信されてくる画像データのG成分、制御ビットCTL0,CTL1、補助データを受信する。そして、リカバリ/デコーダ82Bは、その画像データのG成分、制御ビットCTL0,CTL1、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ/デコーダ82Cは、TMDSチャネル#2で差動信号により送信されてくる画像データのR成分、制御ビットCTL2,CTL3、補助データを受信する。そして、リカバリ/デコーダ82Cは、その画像データのR成分、制御ビットCTL2,CTL3、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
図34は、TMDS伝送データの構造例を示している。この図34は、TMDSチャネル#0,#1,#2において、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
HDMIの3つのTMDSチャネル#0,#1,#2で伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Islandperiod)、およびコントロール区間(Control period)である。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間(horizontal blanking)、垂直ブランキング期間(verticalblanking)、並びに、アクティブビデオ区間(Active Video)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
図35は、HDMI端子211,251のピン配列の一例を示している。図35に示すピン配列はタイプA(type-A)と呼ばれている。
TMDSチャネル#iの差動信号であるTMDS Data#i+とTMDS Data#i−が伝送される差動線である2本のラインは、TMDS Data#i+が割り当てられているピン(ピン番号が1,4,7のピン)と、TMDS Data#i−が割り当てられているピン(ピン番号が3,6,9のピン)に接続される。
また、制御用のデータであるCEC信号が伝送されるCECライン84は、ピン番号が13であるピンに接続され、ピン番号が14のピンは空き(Reserved)ピンとなっている。また、E−EDID等のSDA(SerialData)信号が伝送されるラインは、ピン番号が16であるピンに接続され、SDA信号の送受信時の同期に用いられるクロック信号であるSCL(Serial Clock)信号が伝送されるラインは、ピン番号が15であるピンに接続される。上述のDDC83は、SDA信号が伝送されるラインおよびSCL信号が伝送されるラインにより構成される。
また、上述したようにソース機器がシンク機器の接続を検出するためのHPDライン86は、ピン番号が19であるピンに接続される。また、上述したように電源を供給するためのライン87は、ピン番号が18であるピンに接続される。
[立体画像データの各方式におけるTMDS伝送データ例]
ここで、立体画像データの各方式におけるTMDS伝送データ例を説明する。図36は、第1の伝送方式(「Top & Bottom」方式)のTMDS伝送データ例を示している。この場合、1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータ(左眼(L)画像データおよび右眼(R)画像データの合成データ)が配置される。この第1の方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、垂直方向のラインが1/2に間引かれる。ここで、伝送すべき左眼画像データは奇数ラインまたは偶数ラインのいずれかであり、同様に、伝送すべき右眼画像データは奇数ラインまたは偶数ラインのいずれかである。
図37は、第2の伝送方式(「Side By Side」方式)のTMDS伝送データ例を示している。この場合、1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータ(左眼(L)画像データおよび右眼(R)画像データの合成データ)が配置される。この第2の伝送方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれる。
図38は、第3の伝送方式(「Frame Sequential」方式)におけるTMDS伝送データ例を示している。この場合、奇数フィールドの1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)の左眼(L)画像データが配置される。また、偶数フィールドの1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)の右眼(R)画像データが配置される。
なお、図38に示す「Frame Sequential」方式におけるTMDS伝送データ例は、HDMI 1.4(New HDMI)での「Frame Sequential」方式を示している。この場合、図39(a)に示すように、各フレーム期間Vfreqにおいて、奇数フィールドに左眼画像データが配置され、偶数フィールドに右眼画像データが配置されている。
しかし、HDMI 1.3(Legacy HDMI)での「FrameSequential」方式の場合には、図39(b)に示すように、フレーム期間Vfreq毎に、左眼画像データと右眼画像データとは交互に伝送される。この場合、フレーム毎に伝送される画像データが左眼画像データ、右眼画像データのいずれであるかを示す情報(L,Rのsignaling情報)を、ソース機器はシンク機器に送ることが必要となる。
「Top& Bottom」方式、「Side By Side」方式、「Frame Sequential」方式の立体画像データをシンク機器に送信する場合、ソース機器側で方式を指定し、さらに「Frame Sequential」方式の場合には、L,Rをフレーム毎にsignalingする。
例えば、以下のシンタクスをLegacy HDMI仕様のブランキングに定義されているVendor Specific、あるいはAVI InfoFrame、もしくはReservedの一つを新規定義して、伝送する。
HDMI 1.3の場合、ブランキング期間で送る情報としては、次のものが定義されている。
InfoFrameType # (8bits)
--------------------------
0x01:Vendor Specific
0x02:AVI InfoFrame
0x03:Source Product Description
0x04: AudioInfoFrame
0x05: MPEGSource
0x06 -0xFF Reserved
このうちの、Vendor Specific、あるいはAVI InfoFrame、もしくは未使用領域の一つを新規定義して、以下のようにする。
3DVideoFlag 1bit (0:2D, 1: 3D)
if(3DVideoFlag) {
3DVideoFormat 3bits (0x0:Frame Packing Left View
0x1:Frame Packing Right View
0x2:Side by Side
0x4:Top & Bottom by Frame
0x6:Top & Bottom by Field
0x3,5,7:Reserved )
Reserved 4bits (0x0)
}
else {
Reserved 7bits (0x0)
}
上述の情報には、3次元画像データおよび2次元画像データの切り替え情報(1ビットの3DVideoFlag情報)と、3次元画像データのフォーマットの指定あるいは左眼画像データおよび右眼画像データの切り替えの情報(3ビットの3DVideoFormat情報)が含まれている。
なお、この情報は、同様の内容が放送されるビットストリームの中において、ピクチャーヘッダあるいはそれに相当するタイミングで送られる補助情報に定義されるべきものである。この場合、このビットストリームには、3次元画像データ(左眼画像データおよび右眼画像データからなる立体画像データ)または2次元画像データが択一的に含まれる。
受信機(セットトップボックス200)では、そのストリームを受信した際に、このシグナリング情報を後段のデジタルインタフェースへ送ることで、表示ディスプレイ(テレビ受信機300)において正確な3D変換が行えるようにとり図る。
また、受信機は、切り替え情報(1ビットの3DVideoFlag情報)が3次元画像データを示すとき、つまりデータストリームが3次元画像データを含むとき、この3次元画像データを処理するためのソフトウェアを放送サーバ等の外部機器からダウンロードしてインストールするようにしてもよい。
例えば、上述の3D情報を伝送するため、HDMI1.3対応のシステム上に追加で対応すること、あるいはHDMI1.4対応のシステムのソフトウェアを更新することが必要となる。そのため、ソフトウェアのアップデートの際には、例えば、上述の3D情報を伝送するために必要なファームウェア、ミドルウェア関係のソフトウェアがアップデートの対象となる。
上述したように、図1に示す立体画像表示システム10においては、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報(グラフィクス情報、テキスト情報など)に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体(オブジェクト)の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
<2.変形例>
なお、上述実施の形態においては、放送局100側からセットトップボックス200に画像内の所定位置の視差ベクトルが送信されてくる。この場合、セットトップボックス200は、受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づいて視差ベクトルを得ることを必要とせず、セットトップボックス200の処理が簡単となる。
しかし、立体画像データの受信側、上述の実施の形態ではセットトップボックス200に、図2の送信データ生成部110における視差ベクトル検出部114と同等の視差ベクトル検出部を配置することも考えられる。この場合、視差ベクトルが送られてこなくても、視差ベクトルを用いた処理が可能となる。
図40は、例えば、セットトップボックス200に設けられるビットストリーム処理部201Cの構成例を示している。この図40において、図27と対応する部分には同一符号を付し、その詳細説明は省略する。このビットストリーム処理部201Cでは、図27に示すビットストリーム処理部201における視差ベクトルデコーダ225の代わりに、視差ベクトル検出部233が配置されている。
この視差ベクトル検出部233は、ビデオデコーダ221で得られる立体画像データを構成する左眼画像データおよび右眼画像データに基づいて、画像内の所定位置における視差ベクトルを検出する。そして、この視差ベクトル検出部233は、検出した視差ベクトルを、立体画像用グラフィクス発生部206、立体画像用テキスト発生部227およびマルチチャネルスピーカ出力制御部229に供給する。
詳細説明は省略するが、この図40に示すビットストリーム処理部201Cのその他は、図27に示すビットストリーム処理部201と同様に構成されている。
また、上述実施の形態においては、立体画像表示システム10が、放送局100、セットトップボックス200およびテレビ受信機300で構成されているものを示した。しかし、テレビ受信機300は、図31に示すように、セットトップボックス200内のビットストリーム処理部201と同等に機能するビットストリーム処理部201を備えている。したがって、図41に示すように、放送局100およびテレビ受信機300で構成される立体画像表示システム10Aも考えられる。
また、上述実施例においては、立体画像データを含むデータストリーム(ビットストリームデータ)が放送局100から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。