JP2012120143A - 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 - Google Patents

Abstract

【課題】重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報を送る際に、この視差情報のデータ量の低減を図る。
【解決手段】サブタイトル表示期間内で順次更新される視差情報を含むセグメントを送信する。受信側においては、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることができる。この視差情報は、サブタイトル表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる。そのため、送信データ量を低減でき、また、受信側において、視差情報を保持するためのメモリ容量の大幅な節約が可能となる。
【選択図】図２

Description

この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、立体画像データと共に字幕などの重畳情報のデータを送信する立体画像データ送信装置等に関する。

例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式では、左眼用画像データおよび右眼用画像データを持つ立体画像データが送信され、両眼視差を利用した立体画像表示が行われる。

図９５は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。

また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。

特開２００５−６１１４号公報

上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を知覚することが普通である。画像に重畳される重畳情報、例えば字幕等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。例えば、画像に字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。

そこで、重畳情報のデータと共に、左眼画像および右眼画像の間の視差情報を送信し、受信側で、左眼重畳情報および右眼重畳情報との間に視差を付与することが考えられる。この場合、立体画像の変化に合わせて、左眼重畳情報および右眼重畳情報との間に付与すべき視差をダイナミックに変化させるためには、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報を送ることが必要となる。

この発明の目的は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報を送る際に、この視差情報のデータ量の低減を図ることにある。

この発明の概念は、
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データ、上記重畳情報データ出力部から出力される重畳情報データおよび上記視差情報出力部から出力される視差情報を送信するデータ送信部とを備え、
上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
立体画像データ送信装置にある。

この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データが出力される。例えば、立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などである。

重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。

視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。この視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、この所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものとされる。例えば、この視差情報は、同一画面に表示される特定の重畳情報に対応した視差情報および／または同一画面に表示される複数の重畳情報に共通に対応した視差情報とされる。

そして、データ送信部により、上述の立体画像データ、重畳情報データおよび視差情報が送信される。例えば、重畳情報のデータはＤＶＢ方式のサブタイトルデータであり、データ送信部では、視差情報が、サブタイトルデータが含まれるサブタイトルデータストリームに含めて送信される。例えば、視差情報は、リージョン単位、あるいはこのリージョンに含まれるサブリージョン単位の視差情報である。また、例えば、視差情報は、全てのリージョンを含むページ単位の視差情報である。

また、例えば、重畳情報のデータは、ＡＲＩＢ方式の字幕データであり、データ送信部では、視差情報が、字幕データが含まれる字幕データストリームに含めて送信される。また、例えば、重畳情報のデータは、ＣＥＡ方式のクローズド・キャプションデータであり、データ送信部では、視差情報が、クローズド・キャプションデータが含まれるビデオデータストリームのユーザデータ領域に含めて送信される。

このように、この発明においては、立体画像データおよび重畳情報のデータと共に、この立体画像データに対応した視差情報が送信される。そして、この視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、この所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものとされる。そのため、受信側において、立体画像の変化に合わせて、左眼重畳情報および右眼重畳情報との間に付与すべき視差をダイナミックに変化させることができる。この場合、各フレームの視差情報を全て送信するものではなく、視差情報のデータ量の低減が図られる。

なお、この発明において、視差情報には、各更新フレーム間隔の情報として、単位期間の情報およびこの単位期間の個数の情報が付加されていてもよい。視差情報に各更新フレーム間隔の情報が付加されることで、更新フレーム間隔を固定ではなく、視差情報カーブに応じた更新フレーム間隔の設定が可能となる。また、更新フレーム間隔の情報として単位期間の情報およびこの単位期間の個数の情報が付加されることで、各更新フレーム間隔を「単位期間＊個数」の計算により簡単に求めることができる。

例えば、単位期間の情報は、単位期間を９０ＫＨｚのクロックで計測した値を２４ビット長で表した情報とされる。ＰＥＳのヘッダ部に挿入されているＰＴＳが３３ビット長であるのに対して、２４ビット長とされているのは、以下の理由からである。すなわち、３３ビット長では２４時間分を超える時間を表現できるが、字幕などの重畳情報の表示期間としては不必要な長さである。また、２４ビットとすることで、データサイズを縮小でき、コンパクトな伝送を行うことができる。また、２４ビットは８×３ビットであり、バイトアラインが容易となる。

また、この発明において、例えば、視差情報には、更新フレーム間隔毎のフレームのそれぞれについて、視差情報の更新の有無を示すフラグ情報が付加されていてもよい。この場合、視差情報の時間方向の変化が同様となる期間が続く場合には、このフラグ情報を用いてその期間内の視差情報の伝送を省略でき、視差情報のデータ量を抑制することが可能となる。

また、この発明において、例えば、視差情報には、更新フレーム期間毎のフレームのそれぞれについて、更新フレーム間隔を調整する情報が付加されていてもよい。この場合、この調整情報に基づいて、更新フレーム間隔を短くする方向あるいは長くする方向に任意に調整することが可能となり、受信側に、視差情報の時間方向の変化をより的確に伝えることが可能となる。

また、この発明において、例えば、視差情報には、フレーム周期を指定する情報が挿入されていてもよい。これにより、送信側で意図する視差情報の更新フレーム間隔を、受信側に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。

また、この発明において、例えば、視差情報には、重畳情報の表示の際に必須の、視差情報に対する対応レベルを示す情報が挿入されていてもよい。この場合、この情報により、受信側における視差情報に対する対応を制御することが可能となる。

また、この発明の他の概念は、
左眼画像データおよび右眼画像データを含む立体画像データと、上記左眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を受信するデータ受信部を備え、
上記受信部で受信される上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなり、
上記データ受信部で受信される上記左眼画像データおよび上記右眼画像データと、上記重畳情報のデータと、上記視差情報とを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像データを得る画像データ処理部をさらに備える
立体画像データ受信装置にある。

この発明において、データ受信部により、左眼画像データおよび右眼画像データを含む立体画像データと共に、重畳情報のデータおよび視差情報が受信される。重畳情報のデータは、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータである。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。視差情報は、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するためのものである。この視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、この所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものとされる。

そして、画像データ処理部により、左眼画像データおよび右眼画像データと、重畳情報のデータと、視差情報とが用いられ、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与され、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。

このように、この発明においては、立体画像データおよび重畳情報のデータと共に、この立体画像データに対応した視差情報が受信される。そして、この視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、この所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなっている。そのため、立体画像の変化に合わせて、左眼重畳情報および右眼重畳情報との間に付与すべき視差をダイナミックに変化させることができる。また、各フレームの視差情報が全て送信されてくるものではなく、視差情報を保持するためのメモリ容量の大幅な節約が可能となる。

なお、この発明において、例えば、画像データ処理部は、所定数のフレーム期間内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理を施し、所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する、ようにされてもよい。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、重畳情報に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

この場合、補間処理は、線形補間処理であってもよいが、例えば、時間方向（フレーム方向）のローパスフィルタ処理を伴うようにされてもよい。これにより、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、重畳情報に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。

また、この発明において、例えば、視差情報には、更新フレーム間隔の情報として、単位期間の情報および該単位期間の個数の情報が付加されており、画像データ処理部は、重畳情報の表示開始時刻を基準として、視差情報の各更新時刻を、各更新フレーム間隔の情報である単位期間の情報および個数の情報に基づいて求める、ようにされてもよい。

この場合、画像データ処理部では、重畳情報の表示開始時刻から順次各更新時刻を求めることができる。例えば、ある更新時刻に対して次の更新時刻は、ある更新時刻に、次の更新フレーム間隔の情報である単位期間の情報および個数の情報を用いて、単位期間×個数の時間を加算することで、簡単に求められる。なお、重畳情報の表示開始時刻は、例えば、視差情報が含まれるＰＥＳストリームのヘッダ部に挿入されているＰＴＳで与えられる。

この発明によれば、立体画像データおよび重畳情報のデータと共に、この立体画像データに対応した視差情報が送信され、この視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、この所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものとされる。そのため、受信側において、立体画像の変化に合わせて、左眼重畳情報および右眼重畳情報との間に付与すべき視差をダイナミックに変化させることができる。また、送信側において、各フレームの視差情報を全て送信するものではなく、送信データ量を低減できる。また、受信側において、視差情報を保持するためのメモリ容量の大幅な節約が可能となる。

この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０のピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。 ブロック（Block）毎の視差ベクトルの一例を示す図である。 送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。 ビデオエレメンタリストリーム、サブタイトルエレメンタリストリーム、オーディオエレメンタリストリームを含むトランスポートストリーム（ビットストリームデータ）の構成例を示す図である。 サブタイトルデータを構成するＰＣＳ（page_composition_segment）の構造を示す図である。 「segment_type」の各値とセグメントタイプとの対応関係を示す図である。 新たに定義される３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。 立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 ＳＣＳ（Subregion composition segment）の構造例（syntax）を示す図である。 ＳＣＳに含まれる「Subｒegion_payload()」の構造例（syntax）を示す図である。 ＳＣＳの主要なデータ規定内容（semantics）を示す図である。 ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示す図である。 「disparity_temporal_extension（）」の構造例（syntax）を示す図である。 「disparity_temporal_extension（）」の構造例における主要なデータ規定内容（semantics）を示している。 ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示す図である。 放送局からセットトップボックスを介してテレビ受信機に至る、あるいは放送局から直接テレビ受信機に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示す図である。 放送局からセットトップボックスを介してテレビ受信機に至る、あるいは放送局から直接テレビ受信機に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示す図である。 放送局からセットトップボックスを介してテレビ受信機に至る、あるいは放送局から直接テレビ受信機に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示す図である。 画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。 立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 字幕表示期間内で順次更新される視差情報を構成する複数フレームの視差情報に対してローパスフィルタ処理を伴った補間処理を行って任意のフレーム間隔の視差情報（補間視差情報）を生成する一例を示す図である。 立体画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 字幕データストリームの構成例とキャプション・ユニット（字幕）の表示例を示す図である。 字幕エンコーダで生成される字幕データストリームの構成例と、その場合の視差ベクトルの作成例を示す図である。 字幕エンコーダで生成される字幕データストリームの他の構成例と、その場合の視差ベクトルの作成例を示す図である。 字幕エンコーダで生成される字幕データストリームの構成例と、その場合の視差ベクトルの作成例を示す図である。 字幕エンコーダで生成される字幕データストリームの他の構成例と、その場合の視差ベクトルの作成例を示す図である。 第１、第２のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合を説明するための図である。 字幕文データグループのＰＥＳストリームに含まれる字幕符号のパケット構造を示す図である。 字幕管理データグループのＰＥＳストリームに含まれる制御符号のパケット構造を示す図である。 字幕データストリーム（ＰＥＳストリーム）内のデータグループの構造を示す図である。 字幕管理データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕管理データの構造を概略的に示す図である。 字幕管理データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕データの構造を概略的に示す図である。 字幕文データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕データの構造を概略的に示す図である。 字幕文データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕管理データの構造を概略的に示す図である。 字幕データストリームに含まれるデータユニット（data_unit）の構造（Syntax）を示す図である。 データユニットの種類と、データユニットパラメータおよび機能を示す図である。 拡張表示制御のデータユニット（data_unit）の構造（Syntax）を示す図である。 字幕管理データグループのＰＥＳストリームが有する拡張表示制御のデータユニットにおける「Advanced_Rendering_Control」の構造（Syntax）を示す図である。 字幕分データグループのＰＥＳストリームが有する拡張表示制御のデータユニットにおける「Advanced_Rendering_Control」の構造（Syntax）を示す図である。 「Advanced_Rendering_Control」の構造、および「disparity_information」の構造における主要なデータ規定内容を示す図である。 字幕文データグループに含まれる拡張表示制御のデータユニット（data_unit）内の「Advanced_Rendering_Control」における「disparity_information」の構造（Syntax）を示す図である。 「disparity_information」の構造を示す図である。 ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、字幕エレメンタリストリームを含む一般的なトランスポートストリーム（多重化データストリーム）の構成例を示す図である。 データコンテンツ記述子の構造例（Syntax）を示す図である。 「arib_caption_info」の構造例（Syntax）を示す図である。 ＰＭＴの配下にフラグ情報を挿入する場合におけるトランスポートストリーム（多重化データストリーム）の構成例を示す図である。 データ符号化方式記述子の構造例（Syntax）を示す図である。 「additional_arib_caption_info」の構造例（Syntax）を示す図である。 セットトップボックスのビットストリーム処理部の構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 ビデオのエレメンタリストリームの先頭にシーケンス単位のパラメータを含むシーケンスヘッダ部が配置されていることを示す図である。 ＣＥＡテーブルを概略的に示す図である。 拡張コマンドを構成するByte1”, “Byte2”, “Byte3”の３バイトフィールドの構造例を示す図である。 ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示す図である。 ＣＥＡテーブルを概略的に示す図である。 “Header(Byte1)”“Byte2”, “Byte3”, “Byte4”の４バイトフィールドの構造例を示す図である。 従来のクローズド・キャプションデータ（ＣＣデータ）の構造例（Syntax）を示す図である。 視差情報（disparity）対応のために修正されたクローズド・キャプションデータ（ＣＣデータ）の構造例（Syntax）を示す図である。 「cc_data_1」、「cc_data_2」の２フィールドを制御する「extended_control」の２ビットフィールドを説明するための図である。 「caption_disparity_data()」の構造例（syntax）を示す図である。 「disparity_temporal_extension（）」の構造例（syntax）を示す図である。 「caption_disparity_data()」の構造例における主要なデータ規定内容（semantics）を示す図である。 ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、字幕エレメンタリストリームを含む一般的なトランスポートストリーム（多重化データストリーム）の構成例を示す図である。 セットトップボックスのビットストリーム処理部の構成例を示すブロック図である。 「disparity_temporal_extension（）」の他の構造例（syntax）を示す図である。 「disparity_temporal_extension（）」の構造例に関連する主要なデータ規定内容（semantics）を示している。 disparity_temporal_extension（）」の他の構造例を用いた場合における、視差情報の更新例を示す図である。 disparity_temporal_extension（）」の他の構造例を用いた場合における、視差情報の更新例を示す図である。 サブタイトルデータストリームの構成例を示す図である。 ＳＣＳセグメントを順次送信する場合における、視差情報の更新例を示す図である。 更新フレーム間隔が単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される視差情報（disparity）の更新例を示す図である。 ＰＥＳペイロードデータとしてＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＤＳＳ、ＥＯＳの各セグメントが含まれているサブタイトルデータストリームの構成例を示す図である。 ページ領域（Area for Page_default）に字幕表示領域としてのリージョン（Region）が２つ含まれているサブタイトルの表示例を示す図である。 ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報と全てのリージョンを含むページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示す図である。 ページおよび各リージョンの視差情報がどのような構造で送られるかを示す図である。 ＤＳＳの構造例（syntax）を示す図（１／４）である。 ＤＳＳの構造例を示す図（２／４）である。 ＤＳＳの構造例を示す図（３／４）である。 ＤＳＳの構造例を示す図（４／４）である。 ＤＳＳの主要なデータ規定内容（semantics）を示ず図（１／２）である。 ＤＳＳの主要なデータ規定内容を示ず図（２／２）である。 画像送受信システムの他の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［画像送受信システムの構成例］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。

セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)のデジタルインタフェースで接続されている。セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩケーブル４００を用いて接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、重畳情報のデータ、視差情報などが含まれる。立体画像データは所定の伝送フォーマットを有し、立体画像を表示するための左眼画像データおよび右眼画像データを持っている。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においては字幕である。

「送信データ生成部の構成例」
図２は、放送局１００における送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＤＶＢ（Digital Video Broadcasting）方式に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３を有している。また、この送信データ生成部１１０は、サブタイトル発生部１１４と、視差情報作成部１１５と、サブタイトル処理部１１６と、サブタイトルエンコーダ１１８と、マルチプレクサ１１９を有している。

データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１１１は、データ記録媒体１１１ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。

データ記録媒体１１１ａに記録されている立体画像データは、所定の伝送方式の立体画像データである。立体画像データ（３Ｄ画像データ）の伝送方式の一例を説明する。ここでは、以下の第１〜第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。

第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。

第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（BackwardCompatible）方式と称される場合もある。

また、データ記録媒体１１１ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８あるいは１６×１６の比較ブロックが順次設定されていく。

画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。

右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

ビデオエンコーダ１１２は、データ取り出し部１１１から取り出された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１１３は、データ取り出し部１１１から取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。

サブタイトル発生部１１４は、ＤＶＢ（Digital Video Broadcasting）方式の字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、二次元画像用のサブタイトルデータである。このサブタイトル発生部１１４は、重畳情報データ出力部を構成している。

視差情報作成部１１５は、データ取り出し部１１１から取り出されたピクセル（画素）毎の視差ベクトル（水平方向視差ベクトル）に対して、ダウンサイジング処理を施し、サブタイトルに適用すべき視差情報（水平方向視差ベクトル）を作成する。この視差情報作成部１１５は、視差情報出力部を構成している。なお、サブタイトルに適用する視差情報は、ページ単位、リージョン単位、あるいはオブジェクト単位で付すことが可能である。また、この視差情報は必ずしも視差情報作成部１１５で生成される必要はなく、外部から別途供給される構成も可能である。

図７は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。

図８は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。

図９は、視差情報作成部１１５で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部１１５は、図９（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１１５は、図９（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図９（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１１５は、図９（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図９（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１１５は、図９（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図９（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

このようにして、視差情報作成部１１５は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図９に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。

図２に戻って、サブタイトル処理部１１６は、サブタイトル発生部１１４で発生されたサブタイトルデータを、データ取り出し部１１１から取り出される立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータに変換する。このサブタイトル処理部１１６は、重畳情報データ処理部を構成し、変換後の立体画像データ用のサブタイトルデータは、送信用重畳情報データを構成する。

この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。ここで、左眼サブタイトルのデータは、上述の立体画像データに含まれる左眼画像データに対応したデータであり、受信側において、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを発生するためのデータである。また、右眼サブタイトルのデータは、上述の立体画像データに含まれる右眼画像データに対応したデータであり、受信側において、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを発生するためのデータである。

この場合、サブタイトル処理部１１６は、視差情報作成部１１５からのサブタイトルに適用すべき視差情報（水平方向視差ベクトル）に基づき、少なくとも、左眼サブタイトルまたは右眼サブタイトルをシフトさせて、左眼サブタイトルと右眼サブタイトルとの間に視差を付与することもできる。このように左眼サブタイトルと右眼サブタイトルとの間に視差を付与することで、受信側においては、視差を付与する処理を行わなくても、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

このサブタイトル処理部１１６は、表示制御情報生成部１１７を備えている。この表示制御情報生成部１１７は、サブリージョン（Subregion）に関連した表示制御情報を生成する。ここで、サブリージョンは、リージョン内にのみ定義される領域である。このサブリージョンには、左眼サブリージョン（左眼ＳＲ）および右眼サブリージョン（右眼ＳＲ）がある。以下、適宜、サブリージョンを左眼ＳＲと呼び、右眼サブリージョンを右眼ＳＲと呼ぶ。

左眼サブリージョンは、送信用重畳情報データの表示領域であるリージョン内に、左眼サブタイトルの表示位置に対応して設定された領域である。また、右眼サブリージョンは、送信用重畳情報データの表示領域であるリージョン内に、右眼サブタイトルの表示位置に対応して設定された領域である。例えば、左眼サブリージョンは第１の表示領域を構成し、右眼サブリージョンは第２の表示領域を構成する。これら左眼ＳＲおよび右眼ＳＲの領域は、サブタイトル発生部１１６で発生されるサブタイトルデータ毎に、例えば、ユーザ操作に基づいて、あるいは自動的に設定される。なお、この場合、左眼ＳＲ内の左眼サブタイトルと右眼ＳＲ内の右眼サブタイトルとが対応したものとなるように、左眼ＳＲおよび右眼ＳＲの領域が設定される。

表示制御情報には、左眼ＳＲの領域情報と、右眼ＳＲの領域情報とが含まれる。また、この表示制御情報には、左眼ＳＲに含まれる左眼サブタイトルを表示するターゲットフレームの情報と、右眼ＳＲに含まれる右眼サブタイトルを表示するターゲットフレームの情報とが含まれる。ここで、左眼ＳＲに含まれる左眼サブタイトルを表示するターゲットフレームの情報は左眼画像のフレームを示し、右眼ＳＲに含まれる右眼サブタイトルを表示するターゲットフレームの情報は右眼画像のフレームを示す。

また、この表示制御情報には、左眼ＳＲに含まれる左眼サブタイトルの表示位置をシフト調整する視差情報（disparity）と、右眼ＳＲに含まれる右眼サブタイトルの表示位置をシフト調整する視差情報とが含まれる。これら視差情報は、左眼ＳＲに含まれる左眼サブタイトルと右眼ＳＲに含まれる右眼サブタイトルとの間に視差を付与するためのものである。

この場合、表示制御情報生成部１１７は、視差情報作成部１１５で作成された例えばサブタイトルに適用すべき視差情報（水平方向視差ベクトル）に基づいて、上述の表示制御情報に含ませるシフト調整のための視差情報を取得する。ここで、左眼ＳＲの視差情報「Disparity1」および右眼ＳＰの視差情報「Disparity2」は、それらの絶対値が等しく、しかもそれらの差が、サブタイトルに適用すべき視差情報（Disparity）に対応した値となるように、決定される。例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合には、視差情報（Disparity）に対応した値は、“Disparity／２”である。また、例えば、立体画像データの伝送フォーマットがトップ・アンド・ボトム（Top & Bottom）方式の場合には、視差情報（Disparity）に対応した値は、“Disparity”とされる。

なお、サブタイトルデータは、ＤＤＳ、ＰＣＳ、ＲＳＣ、ＣＤＳ、ＯＤＳなどのセグメントを持つ。ＤＤＳ（display definition segment）は、ＨＤＴＶ用の表示（display）サイズを指定する。ＰＣＳ（page composition segment）は、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳ（region compositionsegment）は、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。ＣＤＳ（CLUT definition segment）は、ＣＬＵＴ内容の指定をする。ＯＤＳ（objectdata segment）は、符号化ピクセルデータ（Pixeldata）を含む。

この実施の形態においては、ＳＣＳ（Subregion composition segment）のセグメントが新たに定義される。このＳＣＳのセグメントに、上述したように表示制御情報生成部１１７で生成された表示制御情報が挿入される。サブタイトル処理部１１６の処理の詳細ついては、さらに、後述する。

図２に戻って、サブタイトルエンコーダ１１８は、サブタイトル処理部１１６から出力される立体画像用のサブタイトルデータおよび表示制御情報を含むサブタイトルデータストリーム（サブタイトルエレメンタリストリーム）を生成する。マルチプレクサ１１９は、ビデオエンコーダ１１９、オーディオエンコーダ１２０およびサブタイトルエンコーダ１２５からの各データストリームを多重化し、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームを得る。

なお、この実施の形態において、マルチプレクサ１１９は、サブタイトルデータストリームに、立体画像用のサブタイトルデータが含まれることを識別する識別情報を挿入する。具体的には、ＥＩＴ（Event Information Table）の配下に挿入されているコンポーネント・デスクリプタ（Component_Descriptor）に、Stream_content(‘0x03’=DVB subtitles) ＆ Component_type(for 3D target)が記述される。Component_type(for3D target)は、立体画像用のサブタイトルデータを示すために新たに定義される。

図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から取り出された立体画像データは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１１９に供給される。

データ取り出し部１１１で取り出された音声データはオーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ、あるいは、ＭＰＥＧ−４ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１１９に供給される。

サブタイトル発生部１１４では、ＤＶＢの字幕データであるサブタイトルデータ（二次元画像用）が発生される。このサブタイトルデータは、視差情報作成部１１５およびサブタイトル処理部１１６に供給される。

データ取り出し部１１１から取り出されたピクセル（画素）毎の視差ベクトルは、視差情報作成部１１５に供給される。この視差情報作成部１１５では、ピクセル毎の視差ベクトルに対してダウンサイジング処理が施され、サブタイトルに適用すべき視差情報（水平方向視差ベクトル＝Disparity）が作成される。この視差情報は、サブタイトル処理部１１６に供給される。

サブタイトル処理部１１６では、サブタイトル発生部１１４で発生された二次元画像用のサブタイトルデータが、上述のデータ取り出し部１１１から取り出された立体画像データの伝送フォーマットに対応した立体画像用のサブタイトルデータに変換される。この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。この場合、サブタイトル処理部１１６では、視差情報作成部１１５からの、サブタイトルに適用すべき視差情報に基づき、少なくとも、左眼サブタイトルまたは右眼サブタイトルをシフトさせて、左眼サブタイトルと右眼サブタイトルとの間に視差が付与される場合もある。

サブタイトル処理部１１６の表示制御情報生成部１１７では、サブリージョン（Subregion）に関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が生成される。サブリージョンには、上述したように、左眼サブリージョン（左眼ＳＲ）および右眼サブリージョン（右眼ＳＲ）が含まれる。そのため、表示制御情報として、左眼ＳＲ、右眼ＳＲのそれぞれの領域情報、ターゲットフレーム情報、視差情報が生成される。

上述したように、左眼ＳＲは、例えば、ユーザ操作に基づいて、あるいは自動的に、送信用重畳情報データの表示領域であるリージョン内に、左眼サブタイトルの表示位置に対応して設定される。同様に、右眼ＳＲは、例えば、ユーザ操作に基づいて、あるいは自動的に、送信用重畳情報データの表示領域であるリージョン内に、右眼サブタイトルの表示位置に対応して設定される。

サブタイトル処理部１１７で得られる立体画像用のサブタイトルデータおよび表示制御情報は、サブタイトルエンコーダ１１８に供給される。このサブタイトルエンコーダ１１８では、立体画像用のサブタイトルデータおよび表示制御情報を含むサブタイトルデータストリームが生成される。このサブタイトルデータストリームには、立体画像用のサブタイトルデータが挿入されたＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ等のセグメントと共に、表示制御情報を含む新たに定義されたＳＣＳのセグメントが含まれる。

マルチプレクサ１１９には、上述したように、ビデオエンコーダ１１２、オーディオエンコーダ１１３およびサブタイトルエンコーダ１１８からの各データリストリームが供給される。そして、このマルチプレクサ１１９では、各データストリームがパケット化されて多重され、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームが得られる。

図１０は、トランスポートストリーム（ビットストリームデータ）の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリストリームのＰＥＳパケット「AudioPES」、サブタイトルエレメンタリストリームのＰＥＳパケット「「Subtitle PES」が含まれている。

この実施の形態において、サブタイトルエレメンタリストリーム（サブタイトルデータストリーム）には、立体画像用のサブタイトルデータおよび表示制御情報が含まれる。このストリームには、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳなどの従来周知のセグメントと共に、新たに定義された表示制御情報を含むＳＣＳのセグメントが含まれる。

図１１は、ＰＣＳ（page_composition_segment）の構造を示している。このＰＣＳのセグメントタイプは、図１２に示すように、「0x10」である。「region_horizontal_address」、「region_vertical_address」は、リージョン（region）の開始位置を示す。なお、ＤＤＳ、ＲＳＣ、ＯＤＳなどのその他のセグメントについては、その構造の図示は省略する。図１２に示すように、ＤＤＳのセグメントタイプは「0x14」であり、ＲＣＳのセグメントタイプは「0x11」であり、ＣＤＳのセグメントタイプは「0x12」であり、ＯＤＳのセグメントタイプは「0x13」である。例えば、図１２に示すように、ＳＣＳのセグメントタイプは「0x40」とされる。このＳＣＳのセグメントの詳細構造については、後述する。

図１０に戻って、また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、サブタイトルエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。

ＥＩＴの配下に、コンポーネント・デスクリプタ（Component_Descriptor）が挿入されている。この実施の形態において、このコンポーネント・デスクリプタに、Stream_content(‘0x03’=DVB subtitles) ＆ Component_type(for 3Dtarget)が記述される。これにより、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされる。この実施の形態においては、図１３に示すように、配信内容を示す「component_descriptor」の「stream_content」がサブタイトル（subtitle）を示す場合に、３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）が新たに定義される。

［サブタイトル処理部の処理］
図２に示す送信データ生成部１１０のサブタイトル処理部１１６の処理の詳細を説明する。このサブタイトル処理部１１６は、上述したように、二次元画像用のサブタイトルデータを立体画像用のサブタイトルデータに変換する。また、このサブタイトル処理部１１６は、上述したように、表示制御情報生成部１１７において、表示制御情報（左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含む）を生成する。

図１４は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図１４（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに３つのオブジェクト（object）が含まれている。

最初に、サブタイトル処理部１１６は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図１４（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１１６は、図１４（ｃ）に示すように、サイズ変換後のビットマップデータを、立体画像用のサブタイトルデータにおけるリージョン（region）の構成要素とする。つまり、サイズ変換後のビットマップデータを、リージョン内の左眼サブタイトルに対応したオブジェクトとすると共に、リージョン内の右眼サブタイトルに対応したオブジェクトとする。

サブタイトル処理部１１６は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳなどのセグメントを作成する。

次に、サブタイトル処理部１１６は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図１４（ｃ）に示すように、左眼ＳＲおよび右眼ＳＲを設定する。左眼ＳＲは、左眼サブタイトルに対応したオブジェクトを含む領域に設定される。右眼ＳＲは、右眼サブタイトルに対応したオブジェクトを含む領域に設定される。

サブタイトル処理部１１６は、上述したように設定された左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含むＳＣＳのセグメントを作成する。例えば、サブタイトル処理部１１６は、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を共通に含むＳＣＳを作成するか、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報をそれぞれ含むＳＣＳのセグメントを作成する。

図１５は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図１５（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに３つのオブジェクト（object）が含まれている。

最初に、サブタイトル処理部１１６は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図１５（ｂ）に示すように、トップ・アンド・ボトム方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１１６は、図１５（ｃ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータのリージョン（region）の構成要素とする。つまり、サイズ変換後のビットマップデータを、左眼画像（leftview ）側のリージョンのオブジェクトとすると共に、右眼画像（Right view ）側のリージョンのオブジェクトとする。

サブタイトル処理部１１６は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳなどのセグメントを作成する。

次に、サブタイトル処理部１１６は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図１５（ｃ）に示すように、左眼ＳＲおよび右眼ＳＲを設定する。左眼ＳＲは、左眼画像側のリージョン内のオブジェクトを含む領域に設定される。右眼ＳＲは、左眼画像側のリージョン内のオブジェクトを含む領域に設定される。

サブタイトル処理部１１６は、上述したように設定された左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含むＳＣＳのセグメントを作成する。例えば、サブタイトル処理部１１６は、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を共通に含むＳＣＳを作成するか、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報をそれぞれ含むＳＣＳのセグメントを作成する。

図１６は、立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図１６（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに１つのオブジェクト（object）が含まれている。立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合、この二次元画像用のサブタイトルデータをそのまま立体画像用のサブタイトルデータとする。この場合、二次元画像用のサブタイトルデータに対応したＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントが、そのまま立体画像用のサブタイトルデータに対応したＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントとなる。

次に、サブタイトル処理部１１６は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図１６（ｂ）に示すように、左眼ＳＲおよび右眼ＳＲを設定する。左眼ＳＲは、左眼サブタイトルに対応したオブジェクトを含む領域に設定される。右眼ＳＲは、右眼サブタイトルに対応したオブジェクトを含む領域に設定される。

サブタイトル処理部１１６は、上述したように設定された左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含むＳＣＳのセグメントを作成する。例えば、サブタイトル処理部１１６は、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を共通に含むＳＣＳを作成するか、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報をそれぞれ含むＳＣＳのセグメントを作成する。

図１７、図１８は、ＳＣＳ（Subregion Composition segment）の構造例（syntax）を示している。図１９は、ＳＣＳの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＳＣＳを示す「0x40」とされる（図１２参照）。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。

図１８は、ＳＣＳの実質的な情報を含む部分を示している。この構造例では、左眼ＳＲ、右眼ＳＲの表示制御情報、つまり左眼ＳＲ、右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報、表示オンオフコマンド情報を伝送できる。なお、この構造例では、任意の個数のサブリージョンの表示制御情報を持つことができる。

「region_id」は、リージョン（region）の識別子を示す８ビット情報である。「subregion_id」は、サブリージョン（Subregion）の識別子を示す８ビット情報である。「subregion_visible_flag」は、対応するサブリージョンの表示（重畳）のオンオフを制御する１ビットのフラグ情報（コマンド情報）である。「subregion_visible_flag=1」は、対応するサブリージョンの表示オンを示すと共に、その前に表示されていた対応するサブリージョンの表示オフを示す。

「subregion_extent_flag」は、サブリージョンとリージョンとが、サイズおよび位置に関して、同じか否かを示す１ビットのフラグ情報である。「subregion_extent_flag=1」は、サブリージョンとリージョンとが、サイズおよび位置に関して、同じであることを示す。一方、「subregion_extent_flag=0」は、サブリージョンはリージョンより小さいことを示す。

「subregion_position_flag」は、続くデータにサブリージョンの領域（位置およびサイズ）の情報を含むか否かを示す１ビットのフラグ情報である。「subregion_position_flag=1」は、続くデータにサブリージョンの領域（位置およびサイズ）の情報を含むことを示す。一方、「subregion_position_flag=0」は、続くデータにサブリージョンの領域（位置およびサイズ）の情報を含まないことを示す。

「target_stereo_frame」は、対応するサブリージョンのターゲットフレーム（表示対象フレーム）を指定する１ビットの情報である。この「target_stereo_frame」は、ターゲットフレーム情報を構成する。「target_stereo_frame=0」は、対応するサブリージョンがフレーム０（例えば、左眼フレーム、あるいはベースビューフレームなど）に表示されるものであることを示す。一方、「target_stereo_frame=1」は、対応するサブリージョンがフレーム1（例えば、右眼フレーム、あるいはノンベースビューフレームなど）に表示されるものであることを示す。

「rendering_level」は、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す。“００”は、視差情報を用いた字幕の３次元表示は任意（optional）であることを示す。“０１”は、字幕表示期間内で共通に使用される視差情報（default_disparity）による字幕の３次元表示が必須であることを示す。“１０”は、字幕表示期間内で順次更新される視差情報（disparity_update）による字幕の３次元表示が必須であることを示す。

「temporal_extension_flag」は、字幕表示期間内で順次更新される視差情報（disparity_update）の存在の有無を示す１ビットのフラグ情報である。この場合、“１”は存在することを示し、“０”は存在しないことを示す。「shared_disparity」は、全てのリージョン（region）に跨る共通の視差情報（disparity）制御を行うかどうかを示す。“１”は、以後の全てのリージョンに対して、一つの共通の視差情報（disparity）が適用されることを示す。“０”は、視差情報（Disparity）は、一つのリージョンにのみ適用されることを示す。

「subregion_disparity」の８ビットフィールドは、デフォルトの視差情報を示す。この視差情報は、更新をしない場合の視差情報、つまり字幕表示期間内において共通に使用される視差情報である。「subregion_position_flag=1」のとき、以下のサブリージョンの領域（位置およびサイズ）の情報が含まれる。

「subregion_horizontal_position」は、矩形領域であるサブリージョンの左端の位置を示す１６ビット情報である。「subregion_vertical_position」は、矩形領域であるサブリージョンの上端の位置を示す１６ビット情報である。「subregion_width」は、矩形領域であるサブリージョンの水平方向のサイズ（ピクセル数）を示す１６ビット情報である。「subregion_height」は、矩形領域であるサブリージョンの垂直方向のサイズ（ピクセル数）を示す１６ビット情報である。これらの位置情報およびサイズ情報は、サブリージョンの領域情報を構成している。

「temporal_extension_flag」が“１”である場合、「disparity_temporal_extension（）」を有する。ここには、基本的に、ベースセグメント期間（ＢＳＰ：Base Segment Period）毎に更新すべき視差情報が格納される。図２０は、ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示している。ここで、ベースセグメント期間は、更新フレーム間隔を意味する。この図からも明らかなように、字幕表示期間内で順次更新される視差情報は、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。

なお、図２１は、「disparity_temporal_extension（）」の構造例（syntax）を示している。図２２は、その主要なデータ規定内容（semantics）を示している。「temporal_division_size」の２ビットフィールドは、ベースセグメント期間（更新フレーム間隔）に含まれるフレーム数を示す。“００”は、１６フレームであることを示す。“０１”は、２５フレームであることを示す。“１０”は、３０フレームであることを示す。さらに、“１１”は、３２フレームであることを示す。

「temporal_division_count」の５ビットフィールドは、字幕表示期間に含まれるベースセグメントの個数を示す。「disparity_curve_no_update_flag」は、視差情報の更新の有無を示す１ビットのフラグ情報である。“１”は対応するベースセグメントのエッジで視差情報の更新を行わない、つまりスキップすることを示し、“０”は対応するベースセグメントのエッジで視差情報の更新を行うことを示す。

図２３は、ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示している。図において、「skip」が付されたベースセグメントのエッジでは視差情報の更新は行われない。このフラグ情報が存在することで、視差情報のフレーム方向の変化が同様となる期間が長く続く場合、視差情報の更新を行わないようにして、その期間内の視差情報の伝送を省略でき、視差情報のデータ量を抑制することが可能となる。

「disparity_curve_no_update_flag」が“０”で視差情報の更新を行う場合、対応するベースセグメントの「shifting_interval_counts」が含まれる。一方、「disparity_curve_no_update_flag」が“１”で視差情報の更新を行わない場合、「disparity_update」は含まれない。「shifting_interval_counts」の６ビットフィールドは、ベースセグメント期間(更新フレーム間隔)を調整するドローファクタ（Draw factor）、つまり差し引きフレーム数を示す。

図２３のベースセグメント期間（ＢＳＰ）毎の視差情報の更新例において、時点Ｃ〜Ｆの視差情報の更新タイミングに関しては、ドローファクタ（Draw factor）により、ベースセグメント期間が調整されている。この調整情報が存在することで、ベースセグメント期間(更新フレーム間隔)を調整することが可能となり、受信側に、視差情報の時間方向（フレーム方向）の変化をより的確に伝えることが可能となる。

なお、ベースセグメント期間(更新フレーム間隔)の調整としては、上述した差し引きフレーム数で短くする方向に調整する他に、加算フレーム数で長くする方向に調整することも考えられる。例えば、「shifting_interval_counts」の５ビットフィールドを符号付き整数とすることで、双方向の調整が可能となる。

「disparity_update」の８ビットフィールドは、対応するベースセグメントの視差情報を示す。なお、ｋ＝０における「disparity_update」は、字幕表示期間内において更新フレーム間隔で順次更新される視差情報の初期値、つまり、字幕表示期間における最初のフレームの視差情報である。

図２４は、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、あるいは放送局１００から直接テレビ受信機３００に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示している。この場合、放送局１００ではサイド・バイ・サイド（Side-by-Side）方式に合わせた立体画像用のサブタイトルデータが生成される。立体画像データはビデオデータストリームに含まれて送信され、立体画像用のサブタイトルデータはサブタイトルデータストリームに含まれて送信される。

最初に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００がレガシーの２Ｄ対応機器（Legacy 2D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成し、この表示データを立体画像データに重畳して、出力立体画像データを得る。この場合の重畳位置は、リージョンの位置である。

セットトップボックス２００は、この出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side-by-Side）方式とされる。

テレビ受信機３００は、３Ｄ対応機器（3D TV）である場合、セットトップボックス２００から送られてくるサイド・バイ・サイド方式の立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

次に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００が３Ｄ対応機器（3D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、このリージョンの表示データから、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

そして、セットトップボックス２００は、左眼ＳＲ、右眼ＳＲに対応した表示データを、立体画像データに重畳して、出力立体画像データを得る。この場合、左眼ＳＲに対応した表示データは、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるフレーム部分(左眼画像フレーム部分)に重畳される。また、右眼ＳＲに対応した表示データは、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるフレーム部分（右眼画像フレーム部分）に重畳される。

この場合、左眼ＳＲに対応した表示データは、サイド・バイ・サイド方式の立体画像データの、左眼ＳＲの領域情報であるPosition1で示される位置を、この左眼ＳＲの視差情報であるDisparity1の半分だけずらした位置に、重畳される。また、左眼ＳＲに対応した表示データは、サイド・バイ・サイド方式の立体画像データの、右眼ＳＲの領域情報であるPosition2で示される位置を、この左眼ＳＲの視差情報であるDisparity2の半分だけずらした位置に、重畳される。

そして、セットトップボックス２００は、上述のようにして得られた出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side-by-Side）方式とされる。

テレビ受信機３００は、３Ｄ対応機器（3D TV）である場合、セットトップボックス２００から送られてくるサイド・バイ・サイド方式の立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

次に、放送局１００からテレビ受信機３００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このテレビ受信機３００が３Ｄ対応機器（3D TV）である場合について説明する。テレビ受信機３００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、このリージョンの表示データから、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データ（右眼表示データ）を抽出する。

テレビ受信機３００は、左眼ＳＲに対応した表示データを水平方向に２倍にスケーリングしてフル解像度対応の左眼表示データを得る。そして、テレビ受信機３００は、この左眼表示データを、この左眼ＳＲのターゲットフレーム情報であるframe0に対応したフル解像度の左眼画像データに重畳する。すなわち、テレビ受信機３００は、この左眼表示データを、サイド・バイ・サイド方式の立体画像データの左眼画像部分を水平方向に２倍にスケーリングして得られたフル解像度の左眼画像データに重畳して、サブタイトルが重畳された左眼画像データを生成する。

テレビ受信機３００は、右眼ＳＲに対応した表示データを水平方向に２倍にスケーリングしてフル解像度対応の右眼表示データを得る。そして、テレビ受信機３００は、この右眼表示データを、この右眼ＳＲのターゲットフレーム情報であるframe1に対応したフル解像度の右眼画像データに重畳する。すなわち、テレビ受信機３００は、この右眼表示データを、サイド・バイ・サイド方式の立体画像データの右眼画像部分を水平方向に２倍にスケーリングして得られたフル解像度の右眼画像データに重畳して、サブタイトルが重畳された右眼画像データを生成する。

この場合、左眼表示データは、フル解像度の左眼画像データの、左眼ＳＲの領域情報であるPosition1が２倍とされる位置を、この左眼ＳＲの視差情報であるDisparity1分だけずらした位置に、重畳される。また、この場合、右眼表示データは、フル解像度の右眼画像データの、右眼ＳＲの領域情報であるPosition2からＨ／２を差し引いて２倍とされる位置を、この左眼ＳＲの視差情報であるDisparity2分だけずらした位置に、重畳される

テレビ受信機３００は、上述のように生成したサブタイトルが重畳された左眼画像データおよび右眼画像データに基づいて、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

図２５は、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、あるいは放送局１００から直接テレビ受信機３００に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示している。この場合、放送局１００では、ＭＶＣ（Multi-view Video Coding）方式に合わせた立体画像用のサブタイトルデータが生成される。この場合、ベースビューの画像データ（左眼画像データ）およびノンベースビューの画像データ（右眼画像データ）により立体画像データが構成される。この立体画像データはビデオデータストリームに含まれて送信され、立体画像用のサブタイトルデータはサブタイトルデータストリームに含まれて送信される。

最初に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００がレガシーの２Ｄ対応機器（Legacy 2D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成し、この表示データをベースビュー（左眼画像データ）に重畳して、出力画像データを得る。この場合の重畳位置は、リージョンの位置である。

セットトップボックス２００は、この出力画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。テレビ受信機３００は、２Ｄ対応機器（2D TV）あるいは３Ｄ対応機器（3D TV）のいずれであっても、表示パネルに２Ｄ画像を表示する。

次に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００が３Ｄ対応機器（3D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、このリージョンの表示データから、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

セットトップボックス２００は、左眼ＳＲに対応した表示データを、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるベースビュー(左眼画像)の画像データに重畳して、左眼サブタイトルが重畳されたベースビュー(左眼画像)の出力画像データを得る。この場合、左眼ＳＲに対応した表示データは、ベースビュー(左眼画像)の画像データの、左眼ＳＲの領域情報であるPosition1で示される位置を、この左眼ＳＲの視差情報であるDisparity1分だけずらした位置に、重畳される。

また、セットトップボックス２００は、右眼ＳＲに対応した表示データを、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるノンベースビュー(右眼画像)の画像データに重畳して、右眼サブタイトルが重畳されたノンベースビュー(左眼画像)の出力画像データを得る。この場合、右眼ＳＲに対応した表示データは、ノンベースビュー(右眼画像)の画像データの、右眼ＳＲの領域情報であるPosition2で示される位置を、この右眼ＳＲの視差情報であるDisparity2分だけずらした位置に、重畳される。

そして、セットトップボックス２００は、上述のようにして得られたベースビュー(左眼画像)およびノンベースビュー(右眼画像)の画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、フレームパッキング（Frame Packing）方式とされる。

テレビ受信機３００は、３Ｄ対応機器（3D TV）である場合、セットトップボックス２００から送られてくるフレームパッキング方式の立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

次に、放送局１００からテレビ受信機３００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このテレビ受信機３００が３Ｄ対応機器（3D TV）である場合について説明する。テレビ受信機３００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、このリージョンの表示データから、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

テレビ受信機３００は、左眼ＳＲに対応した表示データを、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるベースビュー(左眼画像)の画像データに重畳して、左眼サブタイトルが重畳されたベースビュー(左眼画像)の出力画像データを得る。この場合、左眼ＳＲに対応した表示データは、ベースビュー(左眼画像)の画像データの、左眼ＳＲの領域情報であるPosition1で示される位置を、この左眼ＳＲの視差情報であるDisparity1分だけずらした位置に、重畳される。

また、テレビ受信機３００は、右眼ＳＲに対応した表示データを、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるノンベースビュー(右眼画像)の画像データに重畳して、右眼サブタイトルが重畳されたノンベースビュー(左眼画像)の出力画像データを得る。この場合、右眼ＳＲに対応した表示データは、ノンベースビュー(右眼画像)の画像データの、右眼ＳＲの領域情報であるPosition2で示される位置を、この右眼ＳＲの視差情報であるDisparity2分だけずらした位置に、重畳される。

テレビ受信機３００は、上述のように生成したサブタイトルが重畳されたベースビュー(左眼画像)およびノンベースビュー(右眼画像)の画像データに基づいて、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

なお、上述では、左眼ＳＲおよび右眼ＳＲの表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が別個に作成される例を示した。しかし、これら左眼ＳＲおよび右眼ＳＲのうち、いずれか一方、例えば左眼ＳＲの表示制御情報のみを作成することも考えられる。その場合、この左眼ＳＲの表示制御情報には、右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報のうち、領域情報は含まれないが、ターゲットフレーム情報、視差情報は含まれる。

図２６は、その場合における、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、あるいは放送局１００から直接テレビ受信機３００に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れの一例を概略的に示している。この場合、放送局１００ではサイド・バイ・サイド（Side-by-Side）方式に合わせた立体画像用のサブタイトルデータが生成される。立体画像データはビデオデータストリームに含まれて送信され、立体画像用のサブタイトルデータはサブタイトルデータストリームに含まれて送信される。

最初に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００がレガシーの２Ｄ対応機器（Legacy 2D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成し、この表示データを立体画像データに重畳して、出力立体画像データを得る。この場合の重畳位置は、リージョンの位置である。

セットトップボックス２００は、この出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side-by-Side）方式とされる。

テレビ受信機３００は、３Ｄ対応機器（3D TV）である場合、セットトップボックス２００から送られてくるサイド・バイ・サイド方式の立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

次に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００が３Ｄ対応機器（3D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、このリージョンの表示データから、左眼ＳＲに対応した表示データを抽出する。

そして、セットトップボックス２００は、左眼ＳＲに対応した表示データを、立体画像データに重畳して、出力立体画像データを得る。この場合、左眼ＳＲに対応した表示データは、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるフレーム部分(左眼画像フレーム部分)に重畳される。また、左眼ＳＲに対応した表示データは、右眼ＳＲのターゲットフレーム情報であるframe1で示されるフレーム部分（右眼画像フレーム部分）に重畳される。

この場合、左眼ＳＲに対応した表示データは、サイド・バイ・サイド方式の立体画像データの、領域情報であるPositionで示される位置を、この左眼ＳＲの視差情報であるDisparity1の半分だけずらした位置に、重畳される。また、左眼ＳＲに対応した表示データが、サイド・バイ・サイド方式の立体画像データの、領域情報であるPosition＋H／２で示される位置を、右眼ＳＲの視差情報であるDisparity2の半分だけずらした位置に、重畳される。

そして、セットトップボックス２００は、上述のようにして得られた出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side-by-Side）方式とされる。

テレビ受信機３００は、３Ｄ対応機器（3D TV）である場合、セットトップボックス２００から送られてくるサイド・バイ・サイド方式の立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

次に、放送局１００からテレビ受信機３００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このテレビ受信機３００が３Ｄ対応機器（3D TV）である場合について説明する。テレビ受信機３００は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、このリージョンの表示データから、左眼ＳＲに対応した表示データを抽出する。

テレビ受信機３００は、左眼ＳＲに対応した表示データを水平方向に２倍にスケーリングしてフル解像度対応の左眼表示データを得る。そして、テレビ受信機３００は、この左眼表示データを、ターゲットフレーム情報であるframe0に対応したフル解像度の左眼画像データに重畳する。すなわち、テレビ受信機３００は、この左眼表示データを、サイド・バイ・サイド方式の立体画像データの左眼画像部分を水平方向に２倍にスケーリングして得られたフル解像度の左眼画像データに重畳して、サブタイトルが重畳された左眼画像データを生成する。

また、テレビ受信機３００は、左眼ＳＲに対応した表示データを水平方向に２倍にスケーリングしてフル解像度対応の右眼表示データを得る。そして、テレビ受信機３００は、この右眼表示データを、ターゲットフレーム情報であるframe1に対応したフル解像度の右眼画像データに重畳する。すなわち、テレビ受信機３００は、この右眼表示データを、サイド・バイ・サイド方式の立体画像データの右眼画像部分を水平方向に２倍にスケーリングして得られたフル解像度の右眼画像データに重畳して、サブタイトルが重畳された右眼画像データを生成する。

この場合、左眼表示データは、フル解像度の左眼画像データの、領域情報であるPositionが２倍とされる位置を、視差情報であるDisparity1分だけずらした位置に、重畳される。また、この場合、右眼表示データは、フル解像度の右眼画像データの、領域情報であるPositionが２倍とされる位置を、視差情報であるDisparity2分だけずらした位置に、重畳される

テレビ受信機３００は、上述のように生成したサブタイトルが重畳された左眼画像データおよび右眼画像データに基づいて、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

図２に示す送信データ生成部１１０において、マルチプレクサ１１９から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、受信側においては、このサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、処理の容易化が図られる。

また、図２に示す送信データ生成部１１０において、マルチプレクサ１１９から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、左眼ＳＲおよび右眼ＳＲに関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が含まれている。

そのため、受信側においては、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルのみをそれぞれターゲットフレームに重畳表示することが容易となる。そして、これら左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

また、図２に示す送信データ生成部１１０において、サブタイトル処理部１２３からは、サブタイトル表示期間において順次更新される視差情報を含むＳＣＳセグメントを送信できるので、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図２に示す送信データ生成部１１０において、サブタイトル処理部１１６で作成されるＳＣＳのセグメントに含まれる視差情報は、サブタイトル表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものとされる。そのため、送信データ量を低減でき、また、受信側において、視差情報を保持するためのメモリ容量の大幅な節約が可能となる。

また、図２に示す送信データ生成部１１０において、サブタイトル処理部１１６で作成されるＳＣＳのセグメントに含まれる更新フレーム間隔毎のフレームの視差情報は、前回の視差情報からのオフセット値ではなく、視差情報そのものである。そのため、受信側において、補間過程でエラーが生じても、一定遅延時間内にエラーからの復帰が可能になる。

また、図２に示す送信データ生成部１１０において、サブタイトル処理部１１６で作成されるＳＣＳのセグメントに含まれる視差情報は整数画素精度とされている。そのため、受信機毎の能力差は生じにくく、よって、時間経過に伴って異なる受信機同士で差が開くことはない。また、更新フレーム間隔の間の補間は受信機性能によって自由度が与えられているため、受信機設計の自由度があがる。

［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、このビットストリームデータＢＳＤには、サブタイトル（字幕）を表示するための立体画像用のサブタイトルデータ（表示制御情報を含む）が含まれている。

セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、サブタイトルデータを抽出する。そして、このビットストリーム処理部２０１は、立体画像データ、サブタイトルデータ等を用いて、サブタイトルが重畳された立体画像データを生成する。

この場合、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間に視差を付与できる。例えば、上述したように、放送局１００から送信する立体画像用のサブタイトルデータを、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されるように生成できる。また、例えば、上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータに付加されている表示制御情報には、視差情報が含まれており、この視差情報に基づいて、左眼サブタイトルと右眼サブタイトルとの間に視差を付与できる。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル（字幕）を画像の手前に認識可能となる。

図２７（ａ）は、画像上におけるサブタイトル（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図２７（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。

図２８（ａ）は、図２７（ａ）と同じ、画像上におけるサブタイトル（字幕）の表示例を示している。図２８（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図２８（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。

［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図２９は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。

アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報を含む）等を抽出する。ビットストリーム処理部２０１は、音声データを出力する。また、このビットストリーム処理部２０１は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを得る。表示制御情報は、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含んでいる。

この場合、ビットストリーム処理部２０１は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、このリージョンの表示データから、左眼ＳＲおよび右眼ＳＲの領域情報に基づいて、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

そして、ビットストリーム処理部２０１は、左眼ＳＲ、右眼ＳＲに対応した表示データを、立体画像データに重畳して、出力立体画像データ（表示用立体画像データ）を得る。この場合、左眼ＳＲに対応した表示データは、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるフレーム部分(左眼画像フレーム部分)に重畳される。また、右眼ＳＲに対応した表示データは、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるフレーム部分（右眼画像フレーム部分）に重畳される。この際、ビットストリーム処理部２０１は、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置（重畳位置）を、視差情報に基づいて、シフト調整する。

映像信号処理回路２０５は、ビットストリーム処理部２０１で得られた出力立体画像データに対して必要に応じて画質調整処理などを行い、処理後の出力立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。

例えば、放送局１００からの立体画像データの伝送フォーマットがサイド・バイ・サイド方式であるとき、ＴＭＤＳ伝送フォーマットはサイド・バイ・サイド方式とされる（図２４参照）。また、例えば、放送局１００からの立体画像データの伝送フォーマットがトップ・アンド・ボトム方式であるとき、ＴＭＤＳ伝送フォーマットはトップ・アンド・ボトム方式とされる。また、例えば、放送局１００からの立体画像データの伝送フォーマットがＭＶＣ方式であるとき、ＴＭＤＳ伝送フォーマットはフレームパッキング方式とされる（図２５参照）。

ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報を含む）等が抽出される。ビットストリーム処理部２０１では、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が合成され、サブタイトルが重畳された出力立体画像データが得られる。

ビットストリーム処理部２０１で得られた出力立体画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、出力立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像信号処理回路２０５から出力される処理後の出力立体画像データは、ＨＤＭＩ送信部２０６に供給される。

また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

［ビットストリーム処理部の構成例］
図３０は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、オーディオデコーダ２２９を有している。また、このビットストリーム処理部２０１は、サブタイトルデコーダ２２３と、立体画像用サブタイトル発生部２２４と、表示制御部２２５と、表示制御情報取得部２２６と、視差情報処理部２２７と、ビデオ重畳部２２８を有している。

デマルチプレクサ２２１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、サブタイトルのパケットを抽出し、各デコーダに送る。なお、デマルチプレクサ２２１は、ビットストリームデータＢＳＤに挿入されているＰＭＴ、ＥＩＴ等の情報を抽出し、ＣＰＵ２１１に送る。上述したように、ＥＩＴの配下にあるコンポーネント・デスクリプタに,Stream_content(‘0x03’=DVB subtitles) ＆ Component_type(for 3Dtarget)が記述されている。これにより、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされている。したがって、ＣＰＵ２１１は、この記述により、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることを識別できる。

ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、ＭＶＣ方式などである。

サブタイトルデコーダ２２３は、上述の送信データ生成部１１０のサブタイトルエンコーダ１１８とは逆の処理を行う。すなわち、このサブタイトルデコーダ２２３は、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームを再構成し、復号化処理を行って、立体画像用のサブタイトルデータ（表示制御情報を含む）を得る。立体画像用サブタイトル発生部２２４は、立体画像用のサブタイトルデータ（表示制御情報を除く）に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を発生する。この立体画像用サブタイトル発生部２２４は、表示データ発生部を構成している。

表示制御部２２５は、表示制御情報（左眼ＳＲ、右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報）に基づいて、立体画像データに重畳する表示データを制御する。すなわち、表示制御部２２５は、左眼ＳＲ、右眼ＳＲの領域情報に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）から、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

また、表示制御部２２５は、左眼ＳＲ、右眼ＳＲに対応した表示データを、ビデオ重畳部２２８に供給して、立体画像データに重畳する。この場合、左眼ＳＲに対応した表示データは、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるフレーム部分(左眼画像フレーム部分)に重畳される。また、右眼ＳＲに対応した表示データは、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるフレーム部分（右眼画像フレーム部分）に重畳される。この際、表示制御部２２５は、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置（重畳位置）を、視差情報に基づいて、シフト調整して、左眼サブタイトルおよび右眼サブタイトルの間に視差を付与する。

表示制御情報取り出し部２２６は、サブタイトルデータストリームから表示制御情報（領域情報、ターゲットフレーム情報、視差情報）を取得する。この表示制御情報には、字幕表示期間内で共通に使用される視差情報（図１８の「subregion_disparity」参照）が含まれる。また、この表示制御情報には、さらに、字幕表示期間内で順次更新される視差情報（図２１の「disparity_update」参照）が含まれることもある。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。

視差情報処理部２２７は、表示制御情報に含まれる領域情報およびターゲットフレーム情報、さらに、字幕表示期間内で共通に使用される視差情報に関しては、そのまま表示制御部２２５に送る。一方、視差情報処理部２２７は、字幕表示期間内で順次更新される視差情報に関しては、補間処理を施して、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して、表示制御部２２５に送る。

視差情報処理部２２７は、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行って、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）を変化がなだらかになるようにしている。図３１は、視差情報処理部２２７における上述のＬＰＦ処理を伴った補間処理の一例を示している。この例では、上述の図２３の視差情報の更新例に対応している。

ここで、上述の表示制御部２２５は、視差情報処理部２２７から字幕表示期間内で共通に使用される視差情報（視差ベクトル）のみが送られてくる場合、その視差情報を使用する。また、表示制御部２２５は、視差情報処理部２２７から、さらに字幕表示期間内で順次更新される視差情報も送られてくる場合には、いずれかを使用する。

いずれを使用するかは、例えば、上述したように、拡張表示制御のデータユニットに含まれている、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す情報（図１８の「rendering_level」参照）に拘束される。その場合、例えば、“００”であるときは、ユーザ設定による。字幕表示期間内で順次更新される視差情報を用いることで、左眼サブタイトルおよび右眼サブタイトルに付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

ビデオ重畳部２２８は、出力立体画像データＶoutを得る。この場合、ビデオ重畳部２２８は、ビデオデコーダ２２２で得られた立体画像データに対し、表示制御部２２５でシフト調整された左眼ＳＲ、右眼ＳＲの表示データ（ビットマップデータ）を、対応するターゲットフレーム部分に、重畳する。そして、ビデオ重畳部２２８は、この出力立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。

また、オーディオデコーダ２２９は、上述の送信データ生成部１１０のオーディオエンコーダ１１３とは逆の処理を行う。すなわち、このオーディオデコーダ２２９は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２２９は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。

図３０に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図２９参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよびサブタイトルのパケットが抽出され、各デコーダに供給される。

ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２６に供給される。

また、サブタイトルデコーダ２２３では、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームが再構成され、さらに復号化処理が行われて、立体画像用のサブタイトルデータ（表示制御情報を含む）が得られる。このサブタイトルデータは、立体画像用サブタイトル発生部２２４に供給される。

立体画像用サブタイトル発生部２２４では、立体画像用のサブタイトルデータ（表示制御情報を除く）に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が発生される。この表示データは、表示制御部２２５に供給される。

また、表示制御情報取得部２２６では、サブタイトルデータストリームから表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が取得される。この表示制御情報は、視差情報処理部２２７を通じて表示制御部２２５に供給される。この際、視差情報処理部２２７では、字幕表示期間内で順次更新される視差情報に関して、以下の処理が行われる。すなわち、視差情報処理部２２７では、時間方向（フレーム方向）のＬＰＦ処理を伴った補間処理が施されて、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて、表示制御部２２５に送られる。

表示制御部２２５では、表示制御情報（左眼ＳＲ、右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報）に基づいて、立体画像データに対する表示データの重畳が制御される。すなわち、立体画像用サブタイトル発生部２２４で発生された表示データから、左眼ＳＲ、右眼ＳＲの表示データが抽出されて、シフト調整される。その後に、シフト調整された左眼ＳＲ、右眼ＳＲの表示データが、立体画像データのターゲットフレームに重畳されるように、ビデオ重畳部２２８に供給される。

ビデオ重畳部２２８では、ビデオデコーダ２２２で得られた立体画像データに対し、表示制御部２２５でシフト調整された表示データが重畳され、出力立体画像データＶoutが得られる。この出力立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。

また、オーディオデコーダ２２９では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。

図２９に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、ビットストリーム処理部２０１の立体画像用サブタイトル発生部２２４では、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを容易に発生できる。また、ビットストリーム処理部２０１の立体画像用サブタイトル発生部２２４では、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、処理の容易化が図られる。

また、図２９に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、左眼ＳＲおよび右眼ＳＲに関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が含まれている。そのため、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルのみをそれぞれターゲットフレームに重畳表示することが容易となる。また、これら左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

また、図２９に示すセットトップボックス２００において、ビットストリーム処理部２０１の表示制御情報取得部２２６で取得される表示制御情報に字幕表示期間内で順次更新される視差情報が含まれる場合、表示制御部２２５により、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置を動的に制御できる。これにより、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図２９に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報処理部２２７で、字幕表示期間（所定数のフレーム期間）内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理が施される。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

また、図２９に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報処理部２２７における補間処理は、例えば、時間方向（フレーム方向）のローパスフィルタ処理を伴うようにされる。そのため、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、左眼サブタイトルおよび右眼サブタイトルの間に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。

［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送フォーマットに対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。

［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図３２は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。

また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。

アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。ビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報も含む）等を抽出する。

また、このビットストリーム処理部３０６は、セットトップボックス２００のビットストリーム処理部２０１と同様に、構成される。このビットストリーム処理部３０６は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを生成して出力する。なお、このビットストリーム処理部３０６は、例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの場合、スケーリング処理を施し、フル解像度の左眼画像データおよび右眼画像データを出力する（図２４〜図２６のテレビ受信機３００の部分参照）。また、ビットストリーム処理部３０６は、音声データを出力する。

ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。

３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対して、デコード処理を行って、フル解像度の左眼画像データおよび右眼画像データを生成する。３Ｄ信号処理部３０１は、ＴＭＤＳ伝送データフォーマットに対応したデコード処理を行う。なお、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られたフル解像度の左眼画像データおよび右眼画像データに対しては何もしない。

映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。

音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

図３２に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。

アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報も含む）等を抽出する。また、このビットストリーム処理部３０６では、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データが合成されて、サブタイトルが重畳された出力立体画像データ（フル解像度の左眼画像データおよび右眼画像データ）が生成される。この出力立体画像データは、３Ｄ信号処理部３０１通って、映像・グラフィック処理回路３０７に供給される。

３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された立体画像データに対してデコード処理が行われて、フル解像度の左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、ＯＳＤ（オンスクリーンディスプレイ）等の重畳情報データの合成処理も行われる。

この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。

また、ビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。この音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。

［送信データ生成部およびビットストリーム処理部の他の構成例（１）］
「送信データ生成部の構成例」
図３３は、放送局１００（図１参照）における送信データ生成部１１０Ａの構成例を示している。この送信データ生成部１１０Ａは、既存の放送規格の一つであるＡＲＩＢ（Association of Radio Industries and Businesses）方式に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０Ａは、データ取り出し部（アーカイブ部）１２１と、ビデオエンコーダ１２２と、オーディオエンコーダ１２３と、字幕発生部１２４と、視差情報作成部１２５と、字幕エンコーダ１２６と、マルチプレクサ１２７を有している。

データ取り出し部１２１には、データ記録媒体１２１ａが、例えば、着脱自在に装着される。このデータ記録媒体１２１ａには、図２に示す送信データ生成部１１０のデータ取り出し部１１１におけるデータ記録媒体１１１ａと同様に、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１２１は、データ記録媒体１２１ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１２１ａは、ディスク状記録媒体、半導体メモリ等である。

図３３に戻って、字幕発生部１２４は、字幕データ（ＡＲＩＢ方式の字幕文データ）を発生する。字幕エンコーダ１２６は、字幕発生部１２４で発生された字幕データを含む字幕データストリーム（字幕エレメンタリストリーム）を生成する。図３４（ａ）は、字幕データストリームの構成例を示している。この例は、図３４（ｂ）に示すように、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例を示している。

字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データが挿入される。なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのデータとして、字幕データストリームに挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

視差情報作成部１２５は、ビューワ機能を持っている。この視差情報作成部１２５は、データ取り出し部１２１から出力される視差情報、すなわちピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、所定の領域に属する視差ベクトルを生成する。視差情報作成部１２５は、詳細説明は省略するが、上述した図２に示す送信データ生成部１１０の視差情報作成部１１５と同様のダウンサイジング処理を行う。

視差情報作成部１２５は、上述したダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトルを作成する。この場合、視差情報作成部１２５は、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）を作成するか、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）を作成する。この選択は、例えば、ユーザの設定による。

視差情報作成部１２５は、個別視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に基づき、上述のダウンサイジング処理によって、その表示領域に属する視差ベクトルを求める。また、視差情報作成部１２５は、共通視差ベクトルを作成する場合、上述のダウンサイジング処理によって、ピクチャ全体（画像全体）の視差ベクトルを求める（図９（ｄ）参照）。なお、視差情報作成部１２５は、共通視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に属する視差ベクトルを求め、最も値の大きな視差ベクトルを選択してもよい。

字幕エンコーダ１２６は、上述したように視差情報作成部１２５で作成された視差ベクトル（視差情報）を、字幕データストリームに含める。この場合、字幕データストリームには、字幕文データグループのＰＥＳストリームに、字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、この字幕データストリームには、字幕管理データのＰＥＳストリームに、あるいは、字幕文データグループのＰＥＳストリームに、字幕の表示制御情報として、視差ベクトル（視差情報）が挿入される。

ここで、視差情報作成部１２５で個別視差ベクトルが作成される場合であって、字幕管理データのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。

視差情報作成部１２５は、図３５（ｂ）に示すように、各キャプション・ユニットに対応した個別視差ベクトルを作成する。「Disparity 1」は、「1st Caption Unit」に対応した個別視差ベクトルである。「Disparity 2」は、「2nd Caption Unit」に対応した視差ベクトルである。「Disparity 3」は、「3rd Caption Unit」に対応した個別視差ベクトルである。

図３５（ａ）は、字幕エンコーダ１２６で生成される字幕データストリーム（ＰＥＳストリーム）の構成例を示している。字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報と、それぞれの字幕文情報に関連付けられた拡張表示制御情報（データユニットＩＤ）が挿入される。また、字幕管理データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報にそれぞれ対応した拡張表示制御情報（視差情報）が挿入される。

字幕文データグループの拡張表示制御情報（データユニットＩＤ）は、字幕管理データグループの各拡張表示制御情報（視差情報）を、字幕文データグループの各字幕文情報に対応付けするために必要とされる。この場合、字幕管理データグループの各拡張表示制御情報としての視差情報は、対応するキャプション・ユニットの個別視差ベクトルである。なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理データ（制御符号）として、挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

図３５（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図３５（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに対応した個別視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

次に、視差情報作成部１２５で共通視差ベクトルが作成される場合であって、字幕管理データのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。視差情報作成部１２５は、図３６（ｂ）に示すように、各キャプション・ユニットに共通の共通視差ベクトル「Disparity」を作成する。

図３６（ａ）は、字幕エンコーダ１２６で生成される字幕データストリーム（ＰＥＳストリーム）の構成例を示している。字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報が挿入される。また、字幕管理データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報に共通に対応した拡張表示制御情報（視差情報）が挿入される。この場合、字幕管理データグループの拡張表示制御情報としての視差情報は、各キャプション・ユニットの共通視差ベクトルである。

なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理データ（制御符号）として、挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

図３６（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図３６（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに共通の共通視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

次に、視差情報作成部１２５で個別視差ベクトルが作成される場合であって、字幕文データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。

視差情報作成部１２５は、図３７（ｂ）に示すように、各キャプション・ユニットに対応した個別視差ベクトルを作成する。「Disparity 1」は、「1st Caption Unit」に対応した個別視差ベクトルである。「Disparity 2」は、「2nd Caption Unit」に対応した視差ベクトルである。「Disparity 3」は、「3rd Caption Unit」に対応した個別視差ベクトルである。

図３７（ａ）は、字幕エンコーダ１２６で生成される字幕データストリーム（ＰＥＳストリーム）のうち、字幕文データグループのＰＥＳストリームの構成例を示している。この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報（字幕文データ）が挿入される。また、この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報にそれぞれ対応した表示制御情報（視差情報）が挿入される。この場合、各表示制御情報としての視差情報は、上述したように視差情報作成部１２５で作成された個別視差ベクトルとなる。

なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理データ（制御符号）として、挿入される。また、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

図３７（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図３７（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに対応した個別視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

次に、視差情報作成部１２５で共通視差ベクトルが作成される場合であって、字幕文データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。視差情報作成部１２５は、図３８（ｂ）に示すように、各キャプション・ユニットに共通の共通視差ベクトル「Disparity」を作成する。

図３８（ａ）は、字幕エンコーダ１２６で生成される字幕データストリーム（ＰＥＳストリーム）のうち、字幕文データグループのＰＥＳストリームの構成例を示している。この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報（字幕文データ）が挿入される。また、この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報に共通に対応した表示制御情報（視差情報）が挿入される。この場合、表示制御情報としての視差情報は、上述したように視差情報作成部１２５で作成された共通視差ベクトルとなる。

なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理情報（制御符号）として、挿入される。また、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

図３８（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図３８（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに共通の共通視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

なお、図３５（ｃ），（ｄ）、図３６（ｃ），（ｄ）、図３７（ｃ），（ｄ）、図３８（ｃ），（ｄ）の例は、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせている。しかし、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせる場合、あるいは、双方のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合も考えられる。

図３９（ａ），（ｂ）は、第１のビューおよび第２のビューに重畳するキャプション・ユニットの双方の位置をシフトさせる場合を示している。この場合、各キャプション・ユニットに対応した視差ベクトル「Disparity」の値“disparity[i]”から、第１のビュー、第２のビューにおける各キャプション・ユニットのシフト値（オフセット値）Ｄ[i]が、以下のように求められる。

すなわち、disparity[i]が偶数の場合には、第１のビューでは、「Ｄ[i]＝- disparity[i]/2」と求められ、第２のビューでは、「Ｄ[i]＝disparity[i]/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「disparity[i]/2」だけシフトされる。また、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に(disparity[i]/2)だけシフトされる。

また、disparity(i)が奇数の場合には、第１のビューでは、「Ｄ[i]＝- (disparity[i]+1)/2」と求められ、第２のビューでは、「Ｄ[i]＝(disparity[i]-1)/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「(disparity[i]+1)/2」だけシフトされる。また、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に「(disparity[i]-1)/2」だけシフトされる。

ここで、字幕符号および制御符号のパケット構造を簡単に説明する。最初に、字幕文データグループのＰＥＳストリームに含まれる字幕符号の基本的なパケット構造について説明する。図４０は、字幕符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示し、ここでは、字幕文データグループであることを示す。なお、字幕文データグループを示す「Data_group_id」は、さらに、言語を特定する。例えば、「Data_group_id==0x21」とされ、字幕文データグループであって、字幕文（第１言語）であることが示される。

「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕文データグループである場合、このデータグループデータは、字幕文データ（caption_data）である。この字幕文データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_parameter）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、字幕符号が配置される。

次に、制御符号のパケット構造について説明する。図４１は、字幕管理データグループのＰＥＳストリームに含まれる制御符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示す。ここでは、字幕管理データグループであることを示し、「Data_group_id==0x20」とされる。「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕管理データグループである場合、このデータグループデータは、字幕管理データ（caption_management_data）である。

この字幕管理データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_parameter）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、制御符号が配置される。この実施の形態において、視差ベクトルの値は、８単位符号として与えられる。「ＴＣＳ」は２ビットのデータであり、文字符号化方式を示す。ここでは、「ＴＣＳ==00」とされ、８単位符号であることが示される。

図４２は、字幕データストリーム（ＰＥＳストリーム）内のデータグループの構造を示している。「data_group_id」の６ビットのフィールドは、データグループ識別を示し、字幕管理データ、字幕文データの種類を識別する。「data_group_size」の１６ビットのフィールドは、このデータグループフィールドにおいて、後続のデータグループデータのバイト数を示す。「data_group_data_byte」に、データグループデータが格納される。「CRC_16」は、１６ビットのサイクリック・リダンダンシー・チェック符号である。このＣＲＣ符号の符号化区間は、「data_group_id」の先頭から「data_group_data_byte」の終端までである。

字幕管理データグループの場合、図４２のデータグループ構造における「data_group_data_byte」は、字幕管理データ（caption_management_data）となる。また、字幕文データグループの場合、図４２のデータグループ構造における「data_group_data_byte」は、字幕データ（caption_data）となる。

図４３は、字幕管理データのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕管理データの構造を概略的に示している。「advanced_rendering_version」は、この実施の形態で新たに定義された、字幕の拡張表示に対応しているか否かを示す１ビットのフラグ情報である。受信側においては、このように管理情報のレイヤに配置されるフラグ情報に基づいて、字幕の拡張表示に対応しているか否かを容易に把握可能となる。「data_unit_loop_length」の２４ビットフィールドは、この字幕管理データフィールドにおいて、後続のデータユニットのバイト数を示す。「data_unit」に、この字幕管理データフィールドで伝送するデータユニットが格納される。

図４４は、字幕管理データのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕データの構造を概略的に示している。「data_unit_loop_length」の２４ビットフィールドは、この字幕データフィールドにおいて、後続のデータユニットのバイト数を示す。「data_unit」に、この字幕データフィールドで伝送するデータユニットが格納される。なお、この字幕データの構造には、「advanced_rendering_version」のフラグ情報はない。

図４５は、字幕文データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕データの構造を概略的に示している。「advanced_rendering_version」は、この実施の形態で新たに定義された、字幕の拡張表示に対応しているかを示す１ビットのフラグ情報である。受信側においては、このようにデータユニットの上位レイヤに配置されるフラグ情報に基づいて、字幕の拡張表示に対応しているか否かを容易に把握可能となる。「data_unit_loop_length」の２４ビットフィールドは、この字幕文データフィールドにおいて、後続のデータユニットのバイト数を示す。「data_unit」に、この字幕文データフィールドで伝送するデータユニットが格納される。

図４６は、字幕文データグループのＰＥＳストリームに視差ベクトル（視差情報）が挿入される場合における字幕管理データの構造を概略的に示している。「data_unit_loop_length」の２４ビットフィールドは、この字幕管理データフィールドにおいて、後続のデータユニットのバイト数を示す。「data_unit」に、この字幕管理データフィールドで伝送するデータユニットが格納される。なお、この字幕管理データの構造には、「advanced_rendering_version」のフラグ情報はない。

図４７は、字幕データストリームに含まれるデータユニット（data_unit）の構造（Syntax）を示している。「unit_separator」の８ビットフィールドは、データユニット分離符号を示し、“0x1F”とされている。「data_unit_parameter」の８ビットフィールドは、データユニットの種類を識別するデータユニットパラメータである。

図４８は、データユニットの種類と、データユニットパラメータおよび機能を示している。例えば、本文のデータユニットを示すデータユニットパラメータは“0x20”とされている。また、例えば、ジオメトリックのデータユニットを示すデータユニットパラメータは“0x28”とされている。また、例えば、ビットマップのデータユニットを示すデータユニットパラメータは“0x35”とされている。この実施の形態において、表示制御情報（拡張表示制御情報）を格納する拡張表示制御のデータユニットを新たに定義し、このデータユニットを示すデータユニットパラメータを、例えば“0x4F”とする。

「data_unit_size」の２４ビットのフィールドは、このデータユニットフィールドにおいて、後続のデータユニットデータのバイト数を示す。「data_unit_data_byte」に、データユニットデータが格納される。図４９は、拡張表示制御のデータユニット（data_unit）の構造（Syntax）を示している。この場合、データユニットパラメータは“0x4F”であり、「data_unit_data_byte」としての「Advanced_Rendering_Control」に、表示制御情報が格納される。

図５０は、上述の図３５、図３６の例において、字幕管理データグループのＰＥＳストリームが有する拡張表示制御のデータユニットにおける「Advanced_Rendering_Control」の構造（Syntax）を示している。また、この図５０は、上述の図３７、図３８の例において、字幕分データグループのＰＥＳストリームが有する拡張表示制御のデータユニットにおける「Advanced_Rendering_Control」の構造（Syntax）を示している。すなわち、この図５０は、表示制御情報として、ステレオビデオの視差情報を挿入する場合の構造を示している。

「start_code」の８ビットフィールドは、「Advanced_Rendering_Control」の始まりを示す。「data_unit_id」の１６ビットフィールドは、データユニットＩＤを示す。「data_length」の１６ビットフィールドは、このアドバンスレンダリングコントロールのフィールドにおいて、後続のデータバイト数を示す。「Advanced_rendering_type」の８ビットフィールドは、表示制御情報の種類を指定するアドバンスレンダリングタイプである。ここでは、データユニットパラメータは、例えば“0x01”であり、表示制御情報が「ステレオビデオの視差情報」であることが示される。「disparity_information」に、ディスパリティインフォメーションが格納される。

図５１は、上述の図３５の例において、字幕分データグループのＰＥＳストリームが有する拡張表示制御のデータユニットにおける「Advanced_Rendering_Control」の構造（Syntax）を示している。すなわち、図５１は、表示制御情報として、データユニットＩＤを挿入する場合の構造を示している。

「start_code」の８ビットフィールドは、「Advanced_Rendering_Control」の始まりを示す。「data_unit_id」の１６ビットフィールドは、データユニットＩＤを示す。「data_length」の１６ビットフィールドは、このアドバンスレンダリングコントロールのフィールドにおいて、後続のデータバイト数を示す。「Advanced_rendering_type」の８ビットフィールドは、表示制御情報の種類を指定するアドバンスレンダリングタイプである。ここでは、データユニットパラメータは、例えば“0x00”であり、表示制御情報が「データユニットＩＤ」であることが示される。

なお、図５３は、上述の「Advanced_Rendering_Control」の構造における、さらには、後述の図５２に示す「disparity_information」の構造における主要なデータ規定内容を示している。

図５２は、字幕文データグループに含まれる拡張表示制御のデータユニット（data_unit）内の「Advanced_Rendering_Control」における「disparity_information」の構造（Syntax）を示している。「sync_byte」の８ビットフィールドは、「disparity_information」の識別情報であり、この「disparity_information」の始まりを示す。「interval_PTS[32..0]」は、視差情報（disparity）の更新フレーム間隔におけるフレーム周期（１フレームの間隔）を９０ＫＨｚ単位で指定する。つまり、「interval_PTS[32..0]」は、フレーム周期を９０ＫＨｚのクロックで計測した値を３３ビット長で表す。

ディスパリティインフォメーションにおいて、「interval_PTS[32..0]」によりフレーム周期を指定することで、送信側で意図する視差情報の更新フレーム間隔を、受信側に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。

「rendering_level」は、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す。“００”は、視差情報を用いた字幕の３次元表示は任意（optional）であることを示す。“０１”は、字幕表示期間内で共通に使用される視差情報（default_disparity）による字幕の３次元表示が必須であることを示す。“１０”は、字幕表示期間内で順次更新される視差情報（disparity_update）による字幕の３次元表示が必須であることを示す。

「temporal_extension_flag」は、字幕表示期間内で順次更新される視差情報（disparity_update）の存在の有無を示す１ビットのフラグ情報である。この場合、“１”は存在することを示し、“０”は存在しないことを示す。「default_disparity」の８ビットフィールドは、デフォルトの視差情報を示す。この視差情報は、更新をしない場合の視差情報、つまり字幕表示期間内において共通に使用される視差情報である。

「shared_disparity」は、データユニット（Data_unit）に跨る共通の視差情報（disparity）制御を行うかどうかを示す。“１”は、以後の複数のデータユニット（Data_unit）に対して、一つの共通の視差情報（disparity）が適用されることを示す。“０”は、視差情報（Disparity）は、一つのデータユニット（data_unit）にのみ適用されることを示す。

「temporal_extension_flag」が“１”である場合、ディスパリティインフォメーションは、「disparity_temporal_extension（）」を有する。この「disparity_temporal_extension（）」の構造例（Syntax）については、上述したと同様であるので、ここでは、その説明を省略する（図２１、図２２参照）。

なお、上述の図５２に示す「disparity_information」の構造（Syntax）においては「interval_PTS[32..0]」が付加されている。しかし「interval_PTS[32..0]」が付加されていない「disparity_information」の構造（Syntax）も考えられる。その場合、「disparity_information」の構造は、図５４に示すようになる。

図３３に戻って、ビデオエンコーダ１２２は、データ取り出し部１２１から供給される立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオエレメンタリストリームを生成する。オーディオエンコーダ１２３は、データ取り出し部１２１から供給される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオエレメンタリストリームを生成する。

マルチプレクサ１２７は、ビデオエンコーダ１２２、オーディオエンコーダ１２３および字幕エンコーダ１２６から出力される各エレメンタリストリームを多重化する。そして、このマルチプレクサ１２７は、伝送データ（多重化データストリーム）としてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

図３３に示す送信データ生成部１１０Ａの動作を簡単に説明する。データ取り出し部１２１から出力される立体画像データは、ビデオエンコーダ１２２に供給される。このビデオエンコーダ１２２では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。このビデオエレメンタリストリームはマルチプレクサ１２７に供給される。

また、字幕発生部１２４では、ＡＲＩＢ方式の字幕データが発生される。この字幕データは、字幕エンコーダ１２６に供給される。この字幕エンコーダ１２６では、字幕発生部１２４で発生された字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）が生成される。この字幕エレメンタリストリームはマルチプレクサ１２７に供給される。

また、データ取り出し部１２１から出力されるピクセル（画素）毎の視差ベクトルは、視差情報作成部１２５に供給される。この視差情報作成部１２５では、ダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトル（水平方向視差ベクトル）が作成される。この場合、視差情報作成部１２５では、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは全てのキャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が作成される。

視差情報作成部１２５で作成された視差ベクトルは、字幕エンコーダ１２６に供給される。字幕エンコーダ１２６では、視差ベクトルが、字幕データストリームに含められる（図３５〜図３８参照）。字幕データストリームには、字幕文データグループのＰＥＳストリームに、字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、この字幕データストリームには、字幕管理データグループのＰＥＳストリームに、あるいは字幕分データグループのＰＥＳストリームに、字幕の表示制御情報として、視差ベクトル（視差情報）が挿入される。この場合、視差ベクトルは、新たに定義された表示制御情報を送出する拡張表示制御のデータユニットに挿入される（図４９参照）。

また、データ取り出し部１２１から出力される音声データはオーディオエンコーダ１２３に供給される。このオーディオエンコーダ１２３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１２７に供給される。

マルチプレクサ１２７には、上述したように、ビデオエンコーダ１２２、オーディオエンコーダ１２３および字幕エンコーダ１２６からのエレメンタリストリームが供給される。そして、このマルチプレクサ１２７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。

図５５は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、字幕エレメンタリストリームを含む一般的なトランスポートストリーム（多重化データストリーム）の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」が含まれている。また、この構成例では、オーディオエレメンタリストリームのＰＥＳパケット「Audio PES」および字幕エレメンタリストリームのＰＥＳパケット「SubtitlePES」が含まれている。

また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、サブタイトルエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。

この実施の形態において、マルチプレクサ１２７（図３３参照）から出力されるトランスポートストリーム（多重化データストリーム）には、字幕データストリームが、字幕の拡張表示制御に対応しているか否かを示すフラグ情報が挿入されている。ここで、字幕の拡張表示制御は、例えば視差情報を用いた３次元字幕表示などである。この場合、受信側（セットトップボックス２００）においては、字幕データストリーム内のデータを開くことなく、この字幕データストリームが字幕の拡張表示制御に対応しているか否かを把握可能となる。

マルチプレクサ１２７は、このフラグ情報を、例えば、上述のＥＩＴの配下に挿入する。図５５の構成例では、ＥＩＴの配下に、データコンテンツ記述子が挿入されている。このデータコンテンツ記述子に、フラグ情報「Advanced_Rendering_support」が含まれている。図５６は、データコンテンツ記述子の構造例（Syntax）を示している。「descriptor_tag」は、デスクリプタ（記述子）のタイプを示す８ビットのデータであり、ここでは、データコンテンツ記述子であることを示す。「descriptor _length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。

「component_tag」は、字幕のエレメンタリストリームとの関連付けを行う８ビットのデータである。この「component_tag」の後に、「arib_caption_info」が定義されている。図５７（ａ）は、この「arib_caption_info」の構造例（Syntax）を示している。「Advanced_Rendering_support」は、図５７（ｂ）に示すように、字幕データストリームが字幕の拡張表示制御に対応しているか否かを示す１ビットのフラグ情報である。“１”は、字幕の拡張表示に対応していることを示す。“０”は、字幕の拡張表示制御に対応していないことを示す。

なお、マルチプレクサ１２７は、ＰＭＴの配下に、上述のフラグ情報を挿入することもできる。図５８は、その場合におけるトランスポートストリーム（多重化データストリーム）の構成例を示している。この構成例では、ＰＭＴの字幕ＥＳループの配下にデータ符号化方式記述子が挿入されている。このデータ符号化方式記述子に、フラグ情報「Advanced_Rendering_support」が含まれている。

図５９は、データ符号化方式記述子の構造例（Syntax）を示している。「descriptor_tag」は、デスクリプタ（記述子）のタイプを示す８ビットのデータであり、ここでは、データコンテンツ記述子であることを示す。「descriptor _length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。

「component_tag」は、字幕のエレメンタリストリームとの関連付けを行う８ビットのデータである。「data_component_id」は、ここでは、字幕データを示す“0x0008”とされる。この「data_component_id」の後に、「additional_arib_caption_info」が定義されている。図６０は、この「additional_arib_caption_info」の構造例（Syntax）を示している。「Advanced_Rendering_support」は、上述の図５７（ｂ）に示すように、字幕データストリームが字幕の拡張表示制御に対応しているか否かを示す１ビットのフラグ情報である。“１”は、字幕の拡張表示に対応していることを示す。“０”は、字幕の拡張表示制御に対応していないことを示す。

上述したように、図３３に示す送信データ生成部１１０Ａにおいては、マルチプレクサ１２７から出力されるビットストリームデータＢＳＤは、ビデオデータストリームと字幕データストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、字幕データストリームには、ＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差ベクトル（視差情報）が含まれている。

また、字幕管理データグループのＰＥＳストリーム内、あるいは字幕文データグループのＰＥＳストリーム内の字幕表示制御情報を送出するデータユニットに視差情報が挿入され、字幕文データ（字幕文情報）と視差情報との対応付けが行われている。そのため、受信側（セットトップボックス２００）においては、左眼画像および右眼画像に重畳されるキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図３３に示す送信データ生成部１１０Ａにおいては、新たに定義された拡張表示制御のデータユニットに、字幕表示期間内で共通に使用される視差情報（図５２の「default_disparity」参照）が挿入される。また、このデータユニットに、字幕表示期間内で順次更新される視差情報（図２１の「disparity_update」参照）の挿入が可能とされている。そして、この拡張表示制御のデータユニットには、字幕表示期間内で順次更新される視差情報の存在を示すフラグ情報が挿入される（図５２の（「temporal_extension_flag」参照）。

そのため、字幕表示期間内で共通に使用される視差情報のみを送信するか、さらに、字幕表示期間内で順次更新される視差情報を送信するかを選択することが可能となる。字幕表示期間内で順次更新される視差情報を送信することで、受信側（セットトップボックス２００）において、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図３３に示す送信データ生成部１１０Ａにおいて、拡張表示制御のデータユニットに含まれる視差情報は、サブタイトル表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものとされる。そのため、送信データ量を低減でき、また、受信側において、視差情報を保持するためのメモリ容量の大幅な節約が可能となる。

また、図３３に示す送信データ生成部１１０Ａにおいて、拡張表示制御のデータユニットに挿入される「disparity_temporal_extension()」は、上述のＳＣＳのセグメントに含まれる「disparity_temporal_extension()」と同じ構造のものである（図２１参照）。そのため、詳細説明は省略するが、図３３に示す送信データ生成部１１０Ａは、この「disparity_temporal_extension()」の構造により、図２に示す送信データ生成部１１０と同様の効果を得ることができる。

「ビットストリーム処理部の構成例」
図６１は、上述の図３３に示す送信データ生成部１１０Ａに対応した、セットトップボックス２００のビットストリーム処理部２０１Ａの構成例を示している。このビットストリーム処理部２０１Ａは、上述の図３３に示す送信データ生成部１１０Ａに対応した構成となっている。このビットストリーム処理部２０１Ａは、デマルチプレクサ２３１と、ビデオデコーダ２３２と、字幕デコーダ２３３を有している。さらに、このビットストリーム処理部２０１Ａは、立体画像用字幕発生部２３４と、視差情報取り出し部２３５と、視差情報処理部２３６と、ビデオ重畳部２３７と、オーディオデコーダ２３８を有している。

デマルチプレクサ２３１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、字幕のパケットを抽出し、各デコーダに送る。ビデオデコーダ２３２は、上述の送信データ生成部１１０Ａのビデオエンコーダ１２２とは逆の処理を行う。すなわち、デマルチプレクサ２３１で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４参照）。

字幕デコーダ２２３は、上述の送信データ生成部１１０の字幕エンコーダ１３３とは逆の処理を行う。すなわち、字幕デコーダ２３３は、デマルチプレクサ２３１で抽出された字幕のパケットから字幕エレメンタリストリーム（字幕データストリーム）を再構成し、復号化処理を行って、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）を得る。

視差情報取り出し部２３５は、字幕デコーダ２３３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差情報）を取り出す。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる（図３５〜図３８参照）。

上述したように、字幕データストリームには、ＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差情報（視差ベクトル）が含まれている。そして、視差情報は、字幕の表示制御情報を送出するデータユニットに挿入されている。そのため、視差情報取り出し部２３５は、各キャプション・ユニットの字幕データと対応付けて、視差情報（視差ベクトル）を取り出すことができる。

視差情報取り出し部２３５は、字幕表示期間内で共通に使用される視差情報（図５２の「default_disparity」参照）を取得する。また、この視差情報取り出し部２３５は、さらに、字幕表示期間内で順次更新される視差情報（図２１の「disparity_update」参照）を取得することもある。視差情報取り出し部２３５は、この視差情報（視差ベクトル）を、視差情報処理部２３６を通じて、立体画像用字幕発生部２３４に送る。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。

視差情報処理部２３６は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま立体画像用字幕発生部２３４に送る。一方、視差情報処理部２３６は、字幕表示期間内で順次更新される視差情報に関しては、補間処理を施して、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して、立体画像用字幕発生部２３４に送る。視差情報処理部２３６は、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行って、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化をなだらかにしている（図３１参照）。

立体画像用字幕発生部２３４は、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータを生成する。この生成処理は、字幕デコーダ２３３で得られた各キャプション・ユニットの字幕データと、視差情報処理部２３６を通じて供給される視差情報（視差ベクトル）に基づいて行われる。そして、この立体画像用字幕発生部２３４は、左眼字幕および左眼字幕のデータ（ビットマップデータ）を出力する。

この場合、左眼および左眼の字幕（キャプション・ユニット）は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼の字幕と右眼の字幕とは、視差ベクトル分だけ、水平方向にずれるようにされる。これにより、左眼画像および右眼画像に重畳される同一の字幕として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、この字幕の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。

ここで、立体画像用字幕発生部２３４は、視差情報処理部２３６から字幕表示期間内で共通に使用される視差情報（視差ベクトル）のみが送られてくる場合、その視差情報を使用する。また、立体画像用字幕発生部２３４は、視差情報処理部２３６から、さらに字幕表示期間内で順次更新される視差情報も送られてくる場合には、いずれかを使用する。

いずれを使用するかは、例えば、上述したように、拡張表示制御のデータユニットに含まれている、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す情報（図５２の「rendering_level」参照）に拘束される。その場合、例えば、“００”であるときは、ユーザ設定による。字幕表示期間内で順次更新される視差情報を用いることで、左眼および右眼に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

ビデオ重畳部２３７は、ビデオデコーダ２３２で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、立体画像用字幕発生部２３４で発生された左眼および左眼の字幕のデータ（ビットマップデータ）を重畳し、表示用立体画像データＶoutを得る。そして、このビデオ重畳部２３７は、表示用立体画像データＶoutを、ビットストリーム処理部２０１Ａの外部に出力する。

また、オーディオデコーダ２３８は、上述の送信データ生成部１１０Ａのオーディオエンコーダ１２３とは逆の処理を行う。すなわち、このオーディオデコーダ２３８は、デマルチプレクサ２３１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２３８は、音声データＡoutを、ビットストリーム処理部２０１Ａの外部に出力する。

図６１に示すビットストリーム処理部２０１Ａの動作を簡単に説明する。デジタルチューナ２０４（図２９参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２３１に供給される。このデマルチプレクサ２３１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよび字幕のパケットが抽出され、各デコーダに供給される。

ビデオデコーダ２３２では、デマルチプレクサ２３１で抽出されたビデオのパケットからビデオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２３７に供給される。

また、字幕デコーダ２３３では、デマルチプレクサ２３１で抽出された字幕のパケットから字幕エレメンタリストリームが再構成され、さらに復号化処理が行われて、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）が得られる。この各キャプション・ユニットの字幕データは、立体画像用字幕発生部２３４に供給される。

また、視差情報取り出し部２３５では、字幕デコーダ２３３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差情報）が取り出される。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる。

また、視差情報取り出し部２３５では、字幕表示期間内で共通に使用される視差情報、または、これと共に字幕表示期間内で順次更新される視差情報が取得される。視差情報取り出し部２３５で取り出された視差情報（視差ベクトル）は、視差情報処理部２３６を通じて、立体画像用字幕発生部２３４に送られる。視差情報処理部２３６では、字幕表示期間内で順次更新される視差情報に関して、以下の処理が行われる。すなわち、視差情報処理部２３６では、時間方向（フレーム方向）のＬＰＦ処理を伴った補間処理が施されて、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて、立体画像用字幕発生部２３４に送られる。

立体画像用字幕発生部２３４では、各キャプション・ユニットの字幕データと、各キャプション・ユニットに対応した視差ベクトルに基づいて、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータ（ビットマップデータ）が生成される。この場合、画像内の重畳位置が、例えば、左眼の字幕に対して、右眼の字幕は、視差ベクトル分だけ、水平方向にずれるようにされる。この左眼字幕および左眼字幕のデータはビデオ重畳部２３７に供給される。

ビデオ重畳部２３７では、ビデオデコーダ２３２で得られた立体画像データに対し、立体画像用字幕発生部２３４で発生された左眼字幕および右眼字幕のデータ（ビットマップデータ）が重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、ビットストリーム処理部２０１Ａの外部に出力される。

また、オーディオデコーダ２３８では、デマルチプレクサ２３１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１Ａの外部に出力される。

上述したように、図６１に示すビットストリーム処理部２０１Ａに供給されるビットストリームデータＢＳＤに含まれる字幕データストリームに、字幕（キャプション・ユニット）のデータおよび視差ベクトル（視差情報）が含まれている。そして、字幕文データグループのＰＥＳストリーム内の字幕表示制御情報を送出するデータユニットに視差ベクトル（視差情報）が挿入され、字幕データと視差ベクトルとが対応付けられている。

そのため、ビットストリーム処理部２０１Ａでは、左眼画像および右眼画像に重畳されるキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図６１に示すビットストリーム処理部２０１Ａの視差情報取り出し部２３５では、字幕表示期間内で共通に使用される視差情報、または、これと共に字幕表示期間内で順次更新される視差情報が取得される。立体画像用字幕発生部２３４では、字幕表示期間内で順次更新される視差情報が使用されることで、左眼および右眼の字幕に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図６１に示すビットストリーム処理部２０１Ａの視差情報処理部２３６では、字幕表示期間内で順次更新される視差情報に対して補間処理が施されて字幕表示期間内における任意のフレーム間隔の視差情報が生成される。この場合、送信側（放送局１００）から１６フレーム等のベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、左眼および右眼の字幕に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

また、図６１に示すビットストリーム処理部２０１Ａの視差情報処理部２３６では、時間方向（フレーム方向）のローパスフィルタ処理を伴った補間処理が行われる。そのため、送信側（放送局１００）からベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向（フレーム方向）の変化をなだらかにできる（図３１参照）。したがって、左眼および右眼の字幕に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。

［送信データ生成部およびビットストリーム処理部の他の構成例（２）］
「送信データ生成部の構成例」
図６２は、放送局１００（図１参照）における送信データ生成部１１０Ｂの構成例を示している。この送信データ生成部１１０Ｂは、既存の放送規格の一つであるＣＥＡ方式に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０Ｂは、データ取り出し部（アーカイブ部）１３１と、ビデオエンコーダ１３２と、オーディオエンコーダ１３３を有している。また、この送信データ生成部１１０Ｂは、クローズド・キャプションエンコーダ（ＣＣエンコーダ）１３４と、視差情報作成部１３５と、マルチプレクサ１３６を有している。

データ取り出し部１３１には、データ記録媒体１３１ａが、例えば、着脱自在に装着される。このデータ記録媒体１３１ａには、図２に示す送信データ生成部１１０のデータ取り出し部１１１におけるデータ記録媒体１１１ａと同様に、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１３１は、データ記録媒体１３１ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１３１ａは、ディスク状記録媒体、半導体メモリ等である。

ＣＣエンコーダ１３４は、ＣＥＡ−７０８準拠のエンコーダであって、クローズド・キャプションの字幕表示をするためのＣＣデータ（クローズド・キャプション情報のデータ）を出力する。この場合、ＣＣエンコーダ１３４は、時系列的に表示される各クローズド・キャプション情報のＣＣデータを順次出力する。

視差情報作成部１３５は、データ取り出し部１３１から出力される視差ベクトル、すなわちピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、上述のＣＣエンコーダ１３４から出力されるＣＣデータに含まれる各ウインドウＩＤ（WindowID）に対応付けされた視差情報（視差ベクトル）を出力する。視差情報作成部１３５は、詳細説明は省略するが、上述した図２に示す送信データ生成部１１０の視差情報作成部１１５と同様のダウンサイジング処理を行う。

視差情報作成部１３５は、上述したダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトルを作成する。この場合、視差情報作成部１３５は、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）を作成するか、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）を作成する。この選択は、例えば、ユーザの設定による。この視差情報には、左眼画像に重畳するクローズド・キャプション情報および右眼画像に重畳するクローズド・キャプション情報のうち、この視差情報に基づいてシフトさせるクローズド・キャプション情報を指定するシフト対象指定情報も付加されている。

視差情報作成部１３５は、個別視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に基づき、上述のダウンサイジング処理によって、その表示領域に属する視差ベクトルを求める。また、視差情報作成部１３５は、共通視差ベクトルを作成する場合、上述のダウンサイジング処理によって、ピクチャ全体（画像全体）の視差ベクトルを求める（図９（ｄ）参照）。なお、視差情報作成部１３５は、共通視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に属する視差ベクトルを求め、最も値の大きな視差ベクトルを選択してもよい。

この視差情報は、例えば、クローズド・キャプション情報が表示される所定数のフレーム期間（字幕表示期間）内で共通に使用される視差情報、あるいはこの字幕表示期間内で順次更新される視差情報である。そして、字幕表示期間内で順次更新される視差情報は、所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものである。

ビデオエンコーダ１３２は、データ取り出し部１３１から供給される立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１３２は、後段に備えるストリームフォーマッタ１３２ａにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリストリームを生成する。

上述のＣＣエンコーダ１３４から出力されるＣＣデータおよび上述の視差情報作成部１３５で作成された視差情報は、ビデオエンコーダ１３２内のストリームフォーマッタ１３２ａに供給される。ストリームフォーマッタ１３２ａは、ビデオのエレメンタリストリームに、ＣＣデータおよび視差情報を、ユーザデータとして埋め込む。つまり、ビデオのエレメンタリストリームのペイロード部に立体画像データが含まれると共に、そのヘッダ部のユーザデータ領域にＣＣデータおよび視差情報が含まれる。

図６３に示すように、ビデオのエレメンタリストリームは、先頭に、シーケンス単位のパラメータを含むシーケンスヘッダ部が配置されている。このシーケンスヘッダ部に続いて、ピクチャ単位のパラメータおよびユーザデータを含むピクチャヘッダが配置されている。このピクチャヘッダ部に続いてピクチャーデータを含むペイロード部が配置される。以下、ピクチャヘッダ部およびペイロード部が繰り返し配置されている。上述したＣＣデータおよび視差情報は、例えば、ピクチャヘッダ部のユーザデータ領域に埋め込まれる。この視差情報のユーザデータ領域への埋め込み（挿入）方法の詳細については、後述する。

オーディオエンコーダ１３３は、データ取り出し部１３１から取り出された音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。マルチプレクサ１３６は、ビデオエンコーダ１３２およびオーディオエンコーダ１３３から出力される各エレメンタリストリームを多重化する。そして、このマルチプレクサ１３６は、伝送データ（多重化データストリーム）としてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

図６２に示す送信データ生成部１１０Ｂの動作を簡単に説明する。データ取り出し部１３１から出力される立体画像データは、ビデオエンコーダ１３２に供給される。このビデオエンコーダ１３２では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。このビデオエレメンタリストリームはマルチプレクサ１３６に供給される。

また、ＣＣエンコーダ１３４では、クローズド・キャプションの字幕表示をするためのＣＣデータ（クローズド・キャプション情報のデータ）が出力される。この場合、ＣＣエンコーダ１３４では、時系列的に表示される各クローズド・キャプション情報のＣＣデータが順次出力される。

また、データ取り出し部１３１から出力されるピクセル（画素）毎の視差ベクトルは、視差情報作成部１３５に供給される。この視差情報作成部１３５では、この視差ベクトルにダウンサイジング処理等が施されて、上述のＣＣエンコーダ１３４から出力されるＣＣデータに含まれる各ウインドウＩＤ（WindowID）に対応付けされた視差情報（視差ベクトル）が出力される。

ＣＣエンコーダ１３４から出力されるＣＣデータおよび視差情報作成部１３５で作成される視差情報は、ビデオエンコーダ１３２のストリームフォーマッタ１３２ａに供給される。このストリームフォーマッタ１３２ａでは、ビデオのエレメンタリストリームのヘッダ部のユーザデータ領域に、ＣＣデータおよび視差情報が挿入される。この場合、視差情報の埋め込み、あるいは挿入は、後述するように、例えば、（Ａ）既存のテーブル（CEA table）の範囲内で拡張を行う方法、（Ｂ）パッディングバイトとして読み飛ばされていたバイトを新たに拡張定義する方法などで行われる。

また、データ取り出し部１３１から出力される音声データはオーディオエンコーダ１３３に供給される。このオーディオエンコーダ１３３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１３６に供給される。このマルチプレクサ１３６では、各エンコーダから供給されるエレメンタリストリームが多重化され、伝送データとしてのビットストリームデータＢＳＤが得られる。

［視差情報のユーザ領域への埋め込み（挿入）方法］
次に、視差情報のユーザデータ領域への埋め込み方法の詳細について説明する。（Ａ）既存のテーブル（CEA table）の範囲内で拡張を行う方法、（Ｂ）パッディングバイトとして読み飛ばされていたバイトを新たに拡張定義する方法などが考えられる。（Ａ）の方法は、拡張コマンドＥＸＴ１とその後の値で拡張バイト数を示し、パラメータを後続挿入する方法である。以下、各方法を説明する。

「（Ａ）既存のテーブル（table）の範囲内で拡張を行う方法（１）」
図６４は、ＣＥＡテーブルを概略的に示している。このＣＥＡテーブルの中で拡張を行う場合、Ｃ０テーブル中の０ｘ１０(EXT1)コマンドで拡張コマンドの開始を宣言した後、拡張コマンドのバイト長によって、Ｃ２テーブル（C2 Table）、Ｃ３テーブル（C3 Table）、Ｇ２テーブル（G2 Table）、Ｇ３テーブル（G3 Table）のアドレスを指定する。ここでは、３バイトのコマンドを構成するので、Ｃ２テーブルのうち、３バイト後続することを示す、以下のバイト列が定義される。なお、Ｃ２テーブル中の０ｘ１８〜０ｘ１Ｆのアドレス空間は３バイト後続を示すことが、ＣＥＡの規格で決められている。

この場合のトータルの拡張コマンドは以下のとおりになる。
拡張コマンド：EXT1(0x10） ＋ 0x18(3バイト後続)
＋ [Byte1] + [Byte2] + [Byte3]

図６５は、“Byte1”, “Byte2”, “Byte3”の３バイトフィールドの構造例を示している。“Byte1”の第７ビットから第５ビットまでの３ビットフィールドには、「window_id」が配置されている。この「window_id」により、この拡張コマンドの情報が適用されるウインドウ（window）との関連付けが行われる。また、“Byte1”の第４ビットから第０ビットまでの５ビットフィールドには、「temporal_division_count」が配置されている。この「temporal_division_count」は、字幕表示期間に含まれるベースセグメントの個数を示す（図２２参照）。

“Byte2”の第７ビットおよび第６ビットの２ビットフィールドには、「temporal_division_size」が配置されている。この「temporal_division_size」は、ベースセグメント期間（更新フレーム間隔）に含まれるフレーム数を示す。“００”は、１６フレームであることを示す。“０１”は、２５フレームであることを示す。“１０”は、３０フレームであることを示す。さらに、“１１”は、３２フレームであることを示す（図２２参照）。

“Byte2”の第５ビットの１ビットフィールドには、「shared_disparity」が配置される。この「shared_disparity」は、全てのウインドウ（window）に跨る共通の視差情報（disparity）制御を行うかどうかを示す。“１”は、以後の全てのウインドウに対して、一つの共通の視差情報（disparity）が適用されることを示す。“０”は、視差情報（Disparity）は、一つのウインドウにのみ適用されることを示す（図１９参照）。

“Byte2”の第４ビットから第０ビットまでの５ビットフィールドには、「shifting_interval_counts」が配置される。この「shifting_interval_counts」は、ベースセグメント期間(更新フレーム間隔)を調整するドローファクタ（Draw factor）、つまり差し引きフレーム数を示す（図２２参照）。

図６６のベースセグメント期間（ＢＳＰ）毎の視差情報の更新例において、時点Ｃ〜Ｆの視差情報の更新タイミングに関しては、ドローファクタ（Draw factor）により、ベースセグメント期間が調整されている。この調整情報が存在することで、ベースセグメント期間(更新フレーム間隔)を調整することが可能となり、受信側に、視差情報の時間方向（フレーム方向）の変化をより的確に伝えることが可能となる。

なお、ベースセグメント期間(更新フレーム間隔)の調整としては、上述した差し引きフレーム数で短くする方向に調整する他に、加算フレーム数で長くする方向に調整することも考えられる。例えば、「shifting_interval_counts」の５ビットフィールドを符号付き整数とすることで、双方向の調整が可能となる。

“Byte3”の第７ビットから第０ビットまでの８ビットフィールドには、「disparity_update」が配置される。この「disparity_update」は、対応するベースセグメントの視差情報を示す。なお、ｋ＝０における「disparity_update」は、字幕表示期間内において更新フレーム間隔で順次更新される視差情報の初期値、つまり、字幕表示期間における最初のフレームの視差情報である。

上述した５バイトの拡張コマンドをユーザデータ領域に含めて繰り返し送信することで、字幕表示期間で順次更新される視差情報およびそれに付加された更新フレーム間隔の調整情報などの伝送（送信）が可能となる。

「（Ａ）既存のテーブル（table）の範囲内で拡張を行う方法（２）」
図６７は、ＣＥＡテーブルを概略的に示している。このＣＥＡテーブルの中で拡張を行う場合、Ｃ０テーブル中の０ｘ１０(EXT1)コマンドで拡張コマンドの開始を宣言した後、拡張コマンドのバイト長によって、Ｃ２テーブル（C2 Table）、Ｃ３テーブル（C3 Table）、Ｇ２テーブル（G2 Table）、Ｇ３テーブル（G3 Table）のアドレスを指定する。ここでは、可変長コマンドを構成するので、Ｃ３テーブルのうち、以下のバイト列が定義される。なお、Ｃ３テーブル中の０ｘ９０〜０ｘ９Ｆのアドレス空間は３バイト後続を示すことが、ＣＥＡの規格で決められている。

この場合のトータルの拡張コマンドは以下のとおりになる。
拡張コマンド：EXT1 (0x10) ＋ EXTCode(0x90)
＋ [Header(Byte1)] ＋ [Byte2] ＋・・・＋ [ByteN]

図６８は、“Header(Byte1)”“Byte2”, “Byte3”, “Byte4”の４バイトフィールドの構造例を示している。“Header(Byte1)”の第７ビットおよび第６ビットの２ビットフィールドには、「type_field」が配置される。この「type_field」は、コマンドタイプを示す。“００”は、コマンドの開始（ＢＯＣ：Beginning of Comand）を示す。“０１”は、コマンドの継続（ＣＯＣ：Continueationof Command）を示す。“１０”は、コマンドの終了（ＥＯＣ： End Of Command）を示す。

“Header(Byte1)”の第４ビットから第０ビットまでの５ビットフィールドは、「Length_field」が配置される。この「Length_field」は、この拡張コマンドの以降のバイト数を示す。１つのサービスブロック（service block）内では最大２８バイト分に決められている。この範囲内で、Byte2〜 Byte４をループで繰り返すことで、視差情報（disparity）の更新が可能となる。この場合、１つのサービスブロックでは、最大９セットの視差情報の更新を行うことができる。

“Byte2”の第７ビットから第５ビットまでの３ビットフィールドには、「window_id」が配置されている。この「window_id」により、この拡張コマンドの情報が適用されるウインドウ（window）との関連付けが行われる。また、“Byte2”の第４ビットから第０ビットまでの５ビットフィールドには、「temporal_division_count」が配置されている。この「temporal_division_count」は、字幕表示期間に含まれるベースセグメントの個数を示す（図２２参照）。

“Byte3”の第７ビットおよび第６ビットの２ビットフィールドには、「temporal_division_size」が配置されている。この「temporal_division_size」は、ベースセグメント期間（更新フレーム間隔）に含まれるフレーム数を示す。“００”は、１６フレームであることを示す。“０１”は、２５フレームであることを示す。“１０”は、３０フレームであることを示す。さらに、“１１”は、３２フレームであることを示す（図２２参照）。

“Byte3”の第５ビットの１ビットフィールドには、「shared_disparity」が配置される。この「shared_disparity」は、全てのウインドウ（window）に跨る共通の視差情報（disparity）制御を行うかどうかを示す。“１”は、以後の全てのウインドウに対して、一つの共通の視差情報（disparity）が適用されることを示す。“０”は、視差情報（Disparity）は、一つのウインドウにのみ適用されることを示す（図１９参照）。

“Byte3”の第４ビットから第０ビットまでの５ビットフィールドには、「shifting_interval_counts」が配置される。この「shifting_interval_counts」は、ベースセグメント期間(更新フレーム間隔)を調整するドローファクタ（Draw factor）、つまり差し引きフレーム数を示す（図２２参照）。

“Byte4”の第７ビットから第０ビットまでの８ビットフィールドには、「disparity_update」が配置される。この「disparity_update」は、対応するベースセグメントの視差情報を示す。なお、ｋ＝０における「disparity_update」は、字幕表示期間内において更新フレーム間隔で順次更新される視差情報の初期値、つまり、字幕表示期間における最初のフレームの視差情報である。

上述した可変長の拡張コマンドをユーザデータ領域に含めて送信することで、字幕表示期間で順次更新される視差情報およびそれに付加された更新フレーム間隔の調整情報などの伝送（送信）が可能となる。

「（Ｂ）パッディングバイトを新たに拡張定義する方法」
図６９は、従来のクローズド・キャプションデータ（ＣＣデータ）の構造例（Syntax）を示している。「cc_valid = 0」、「cc_type = 00」の場合、受信側（デコーダ）では、「cc_data_1」、「cc_data_2」のフィールドを読み飛ばすことになっている。ここでは、この空間を利用し、視差情報（disparity）伝送のための拡張を定義する。

図７０は、視差情報（disparity）対応のために修正されたクローズド・キャプションデータ（ＣＣデータ）の構造例（Syntax）を示している。「extended_control」の２ビットフィールドは、「cc_data_1」、「cc_data_2」の２フィールドを、制御する情報である。図７１（ａ）に示すように、「cc_valid = 0」、「cc_type = 00」の場合、「extended_control」の２ビットフィールドが“０１”、“１０”のときは、「cc_data_1」、「cc_data_2」の２フィールドを視差情報（disparity）伝送用に使用するものとする。

この場合、図７１（ｂ）に示すように、「extended_control = 01」のとき、「cc_data_1」のフィールドは、“Start of Extended Packet”を意味し、最初の拡張パケットデータ（１バイト）が挿入されたものとなる。また、このとき、「cc_data_2」のフィールドは、“Extended Packet Data”を意味し、続く拡張パケットデータ（１バイト）が挿入されたものとなる。

また、図７１（ｂ）に示すように、「extended_control = 10」のとき、「cc_data_1」、「cc_data_2」の各フィールドは、Extended Packet Data”を意味し、続く拡張パケットデータ（１バイト）が挿入されたものとなる。なお、図７１（ｂ）に示すように、「extended_control = 00」のとき、「cc_data_1」、「cc_data_2」の各フィールドは、“Padding”を意味するものとされる。

そして、“Extended Packet Data ”が「caption_disparity_data()」のトランスポートとして定義される。図７２、図７３は、「caption_disparity_data()」の構造例（syntax）を示している。図７４は、「caption_disparity_data()」の構造例における主要なデータ規定内容（semantics）を示している。

「service_number」は、サービスタイプを示す１ビットの情報である。「shared_windows」は、全てのウインドウ（window）に跨る共通の視差情報（disparity）制御を行うかどうかを示す。“１”は、以後の全てのウインドウに対して、一つの共通の視差情報（disparity）が適用されることを示す。“０”は、視差情報（Disparity）は、一つのウインドウにのみ適用されることを示す。

「caption_window_count」は、キャプション・ウインドウの数を示す３ビットの情報である。「caption_window_id」は、キャプション・ウインドウを識別する３ビットの識別情報である。「temporal_extension_flag」は、対応するウインドウにおいて、字幕表示期間内で順次更新される視差情報（disparity_update）の存在の有無を示す１ビットのフラグ情報である。この場合、“１”は存在することを示し、“０”は存在しないことを示す。

「rendering_level」は、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す。“００”は、視差情報を用いた字幕の３次元表示は任意（optional）であることを示す。“０１”は、字幕表示期間内で共通に使用される視差情報（default_disparity）による字幕の３次元表示が必須であることを示す。“１０”は、字幕表示期間内で順次更新される視差情報（disparity_update）による字幕の３次元表示が必須であることを示す。

「select_view_shift」は、シフト対象指定情報を構成する２ビットの情報である。この「select_view_shift」は、左眼画像に重畳するクローズド・キャプション情報および右眼画像に重畳するクローズド・キャプション情報のうち、視差情報に基づいてシフトさせるクローズド・キャプション情報を指定する。「select_view_shift=00」はリザーブとされる。「select_view_shift=01」であるとき、右眼画像に重畳するクローズド・キャプション情報のみを、視差情報（disparity）分だけ、水平方向にシフトさせることを示す。

また、「select_view_shift=10」であるとき、左眼画像に重畳するクローズド・キャプション情報のみを、視差情報（disparity）分だけ、水平方向にシフトさせることを示す。さらに、「select_view_shift=11」であるとき、左眼画像に重畳するクローズド・キャプション情報および右眼画像に重畳するクローズド・キャプション情報の双方を、水平方向の互いに逆の方向にシフトさせることを示す。

「default_disparity」の８ビットフィールドは、デフォルトの視差情報を示す。この視差情報は、更新をしない場合の視差情報、つまり字幕表示期間内において共通に使用される視差情報である。「temporal_extention_flag=1」が“１”である場合、「caption_disparity_data()」は、「disparity_temporal_extension（）」を有する。ここには、基本的に、ベースセグメント期間（ＢＳＰ：Base Segment Period）毎に更新すべき視差情報が格納される。

上述したように、図２０は、ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示している。そして、ベースセグメント期間は、更新フレーム間隔を意味する。この図からも明らかなように、字幕表示期間内で順次更新される視差情報は、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。

図７３は、「disparity_temporal_extension（）」の構造例（syntax）を示している。「temporal_division_size」の２ビットフィールドは、ベースセグメント期間（更新フレーム間隔）に含まれるフレーム数を示す。“００”は、１６フレームであることを示す。“０１”は、２５フレームであることを示す。“１０”は、３０フレームであることを示す。さらに、“１１”は、３２フレームであることを示す。

「temporal_division_count」は、字幕表示期間に含まれるベースセグメントの個数を示す。「disparity_curve_no_update_flag」は、視差情報の更新の有無を示す１ビットのフラグ情報である。“１”は対応するベースセグメントのエッジで視差情報の更新を行わない、つまりスキップすることを示し、“０”は対応するベースセグメントのエッジで視差情報の更新を行うことを示す。

上述の図２３のベースセグメント期間（ＢＳＰ）毎の視差情報の更新例において、「skip」が付されたベースセグメントのエッジでは視差情報の更新は行われない。このフラグ情報が存在することで、視差情報のフレーム方向の変化が同様となる期間が長く続く場合、視差情報の更新を行わないようにして、その期間内の視差情報の伝送を省略でき、視差情報のデータ量を抑制することが可能となる。

「disparity_curve_no_update_flag」が“０”で視差情報の更新を行う場合、ディスパリティインフォメーションは、対応するベースセグメントの「shifting_interval_counts」を含む。また、「disparity_curve_no_update_flag」が“０”で視差情報の更新を行う場合、ディスパリティインフォメーションは、「disparity_update」を含む。「shifting_interval_counts」の６ビットフィールドは、ベースセグメント期間(更新フレーム間隔)を調整するドローファクタ（Draw factor）、つまり差し引きフレーム数を示す。

上述の図２３のベースセグメント期間（ＢＳＰ）毎の視差情報の更新例において、時点Ｃ〜Ｆの視差情報の更新タイミングに関しては、ドローファクタ（Draw factor）により、ベースセグメント期間が調整されている。この調整情報が存在することで、ベースセグメント期間(更新フレーム間隔)を調整することが可能となり、受信側に、視差情報の時間方向（フレーム方向）の変化をより的確に伝えることが可能となる。

なお、ベースセグメント期間(更新フレーム間隔)の調整としては、上述した差し引きフレーム数で短くする方向に調整する他に、加算フレーム数で長くする方向に調整することも考えられる。例えば、「shifting_interval_counts」の５ビットフィールドを符号付き整数とすることで、双方向の調整が可能となる。

上述したように、パッディングバイトとして読み飛ばされていたバイトを新たに拡張定義することで、字幕表示期間で順次更新される視差情報およびそれに付加された更新フレーム間隔の調整情報などの伝送（送信）が可能となる。

図７５は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、字幕エレメンタリストリームを含む一般的なトランスポートストリーム（多重化データストリーム）の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」が含まれている。また、この構成例では、オーディオエレメンタリストリームのＰＥＳパケット「Audio PES」および字幕エレメンタリストリームのＰＥＳパケット「SubtitlePES」が含まれている。

また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、サブタイトルエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。

図６２に示す送信データ生成部１１０Ｂでは、視差情報（disparity）は、図７５に示すように、ビデオエレメンタリストリームの視差情報のユーザデータ領域に埋め込まれて伝送（送信）される。

図６２に示す送信データ生成部１１０Ｂにおいては、立体画像を表示するための左眼画像データおよび右眼画像データを含む立体画像データがビデオエレメンタリストリームのペイロード部に含まれて送信される。また、ＣＣデータおよびそのＣＣデータによるクローズド・キャプション情報に視差を付与するための視差情報が、ビデオエレメンタリストリームのヘッダ部のユーザデータ領域に挿入されて送信される。

そのため、受信側（セットトップボックス２００）においては、このビデオエレメンタリストリームから、立体画像データを取得できる他に、ＣＣデータおよび視差情報を容易に取得できる。また、受信側においては、左眼画像および右眼画像に重畳される同一のクローズド・キャプション情報に、視差情報を用いて、適切な視差を付与できる。そのため、クローズド・キャプション情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図６２に示す送信データ生成部１１０Ｂにおいては、字幕表示期間内で順次更新される視差情報（図６５、図６８、図７３の「disparity_update」参照）の挿入が可能とされている。そのため、受信側（セットトップボックス２００）において、クローズド・キャプション情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図６２に示す送信データ生成部１１０Ｂにおいて、字幕表示期間内で順次更新される視差情報は、字幕（クローズド・キャプション情報）の表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるものとされる。そのため、送信データ量を低減でき、また、受信側において、視差情報を保持するためのメモリ容量の大幅な節約が可能となる。

また、図６２に示す送信データ生成部１１０Ｂにおいて、「caption_disparity_data()」に含まれる「disparity_temporal_extension()」は、上述のＳＣＳのセグメントに含まれる「disparity_temporal_extension()」と同じ構造のものである（図２１参照）。そのため、詳細説明は省略するが、図６２に示す送信データ生成部１１０Ｂは、この「disparity_temporal_extension()」の構造により、図２に示す送信データ生成部１１０と同様の効果を得ることができる。

「送信データ生成部の構成例」
図７６は、上述の図６２に示す送信データ生成部１１０Ｂに対応した、セットトップボックス２００のビットストリーム処理部２０１Ｂの構成例を示している。このビットストリーム処理部２０１Ｂは、上述の図６２に示す送信データ生成部１１０Ｂに対応した構成となっている。このビットストリーム処理部２０１Ｂは、デマルチプレクサ２４１と、ビデオデコーダ２４２と、ＣＣデコーダ２４３を有している。また、このビットストリーム処理部２０１Ｂは、立体画像用ＣＣ発生部２４４と、視差情報取り出し部２４５と、視差情報処理部２４６と、ビデオ重畳部２４７と、オーディオデコーダ２４８を有している。

デマルチプレクサ２４１は、ビットストリームデータＢＳＤから、ビデオ、オーディオのパケットを抽出し、各デコーダに送る。ビデオデコーダ２４２は、上述の送信データ生成部１１０Ｂのビデオエンコーダ１３２とは逆の処理を行う。すなわち、このビデオデコーダ２４２は、デマルチプレクサ２４１で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。

この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）〜（ｃ）参照）。ビデオデコーダ２４２は、この立体画像データを、ビデオ重畳部２４７に送る。

ＣＣデコーダ２４３は、ビデオデコーダ２４２で再構成されたビデオビデオエレメンタリストリームからＣＣデータが取り出す。そして、ＣＣデコーダ２４３は、このＣＣデータから、キャプション・ウインドウ（Caption Window）毎の、クローズド・キャプション情報（字幕のキャラクタコード）、さらには重畳位置および表示時間の制御データを取得する。

視差情報取り出し部２４５は、ビデオデコーダ２４２を通じて得られるビデオエレメンタリストリームから視差情報を取り出す。この視差情報は、上述のＣＣデコーダ２４３で取得されるキャプション・ウインドウ（Caption Window）毎のクローズド・キャプションデータ（字幕のキャラクタコード）に対応付けられている。この視差情報は、キャプション・ウインドウ毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ウインドウに共通の視差ベクトル（共通視差ベクトル）である。

視差情報取り出し部２４５は、字幕表示期間内で共通に使用される視差情報、あるいは字幕表示期間内で順次更新される視差情報を取得する。視差情報取り出し部２４５は、この視差情報を、視差情報処理部２４６を通じて、立体画像用ＣＣ発生部２４４に送る。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。

視差情報処理部２４６は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま立体画像用ＣＣ発生部２４４に送る。一方、視差情報処理部２４６は、字幕表示期間内で順次更新される視差情報に関しては、補間処理を施して、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して、立体画像用ＣＣ発生部２４４に送る。視差情報処理部２４６は、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行って、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化をなだらかにしている（図３１参照）。

立体画像用ＣＣ発生部２４４は、キャプション・ウインドウ（Caption Window）毎に、左眼画像、右眼画像にそれぞれ重畳する左眼クローズド・キャプション情報（字幕）、右眼クローズド・キャプション情報（字幕）のデータを生成する。この生成処理は、ＣＣデコーダ２４３で得られたクローズド・キャプションデータおよび重畳位置制御データと、視差情報取り出し部２４５から視差情報２４６を通じて送られる視差情報（視差ベクトル）に基づいて行われる。そして、この立体画像用ＣＣ発生部２４４は、左眼字幕および左眼字幕のデータ（ビットマップデータ）を出力する。

この場合、左眼および左眼の字幕は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼の字幕と右眼の字幕とは、視差ベクトル分だけ、水平方向にずれるようにされる。これにより、左眼画像および右眼画像に重畳される同一の字幕として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、この字幕の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。

ここで、立体画像用ＣＣ発生部２４４は、例えば、視差情報処理部２４６から字幕表示期間内で共通に使用される視差情報（視差ベクトル）のみが送られてくる場合、その視差情報を使用する。また、立体画像用ＣＣ発生部２４４は、例えば、視差情報処理部２４６から、字幕表示期間内で順次更新される視差情報（視差ベクトル）のみが送られてくる場合、その視差情報を使用する。また、立体画像用ＣＣ発生部２４４は、例えば、視差情報処理部２４６から、さらに字幕表示期間内で順次更新される視差情報も送られてくる場合には、いずれかを使用する。

いずれを使用するかは、例えば、上述したように、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す情報（図７２の「rendering_level」参照）に拘束される。その場合、例えば、“００”であるときは、ユーザ設定による。字幕表示期間内で順次更新される視差情報を用いることで、左眼および右眼に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

ビデオ重畳部２４７は、ビデオデコーダ２４２で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、立体画像用ＣＣ発生部２４４で発生された左眼および左眼の字幕のデータ（ビットマップデータ）を重畳し、表示用立体画像データＶoutを得る。そして、このビデオ重畳部２４７は、表示用立体画像データＶoutを、ビットストリーム処理部２０１Ｂの外部に出力する。

また、オーディオデコーダ２４８は、上述の送信データ生成部１１０Ｂのオーディオエンコーダ１３３とは逆の処理を行う。すなわち、このオーディオデコーダ２４８は、デマルチプレクサ２４１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２４８は、音声データＡoutを、ビットストリーム処理部２０１Ｂの外部に出力する。

図７６に示すビットストリーム処理部２０１Ｂの動作を簡単に説明する。デジタルチューナ２０４（図２９参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２４１に供給される。このデマルチプレクサ２４１では、ビットストリームデータＢＳＤから、ビデオおよびオーディオのパケットが抽出され、各デコーダに供給される。ビデオデコーダ２４２では、デマルチプレクサ２４１で抽出されたビデオのパケットからビデオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２４７に供給される。

また、ビデオデコーダ２４２で再構成されたビデオビデオエレメンタリストリームはＣＣデコーダ２４３に供給される。このＣＣデコーダ２４３では、ビデオエレメンタリストリームからＣＣデータが取り出される。このＣＣデコーダ２４３では、ＣＣデータから、キャプション・ウインドウ（Caption Window）毎の、クローズド・キャプション情報（字幕のキャラクタコード）、さらには重畳位置および表示時間の制御データが取得される。このクローズド・キャプション情報と、重畳位置および表示時間の制御データは、立体画像用ＣＣ発生部２４４に供給される。

また、ビデオデコーダ２４２で再構成されたビデオビデオエレメンタリストリームは視差情報取り出し部２４５に供給される。視差情報取り出し部２４５では、ビデオエレメンタリストリームから視差情報が取り出される。この視差情報は、上述のＣＣデコーダ２４３で取得されるキャプション・ウインドウ（Caption Window）毎のクローズド・キャプションデータ（字幕のキャラクタコード）に対応付けられている。この視差情報は、視差情報処理部２４６を通じて、立体画像用ＣＣ発生部２４４に供給される。

視差情報処理部２４６では、字幕表示期間内で順次更新される視差情報に関して、以下の処理が行われる。すなわち、視差情報処理部２４６では、時間方向（フレーム方向）のＬＰＦ処理を伴った補間処理が施されて、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて、立体画像用ＣＣ発生部２４４に送られる。

立体画像用ＣＣ発生部２４４では、キャプション・ウインドウ（Caption Window）毎に、左眼画像、右眼画像にそれぞれ重畳する左眼クローズド・キャプション情報（字幕）、右眼クローズド・キャプション情報（字幕）のデータが生成される。この生成処理は、ＣＣデコーダ２４３で得られたクローズド・キャプションデータおよび重畳位置制御データと、視差情報取り出し部２４５から視差情報処理部２４６を通じて供給された視差情報（視差ベクトル）に基づいて行われる。

立体画像用ＣＣ発生部２４４では、左眼クローズド・キャプション情報および右眼クローズド・キャプション情報のいずれか、あるいは双方に対して、視差を付与するためのシフト処理が行われる。この場合、視差情報処理部２４６を通じて供給された視差情報が、各フレームで共通に使用される視差情報であるとき、左眼画像、右眼画像に重畳されるクローズド・キャプション情報に、この共通の視差情報に基づいて視差が付与される。また、その視差情報が、各フレームで順次更新される視差情報であるとき、左眼画像、右眼画像に重畳されるクローズド・キャプション情報に、フレーム毎に更新された視差情報に基づいて視差が付与される。

このように、立体画像用ＣＣ発生部２４４でキャプション・ウインドウ（Caption Window）毎に生成された左眼および右眼のクローズド・キャプション情報のデータ（ビットマップデータ）は、表示時間の制御データと共に、ビデオ重畳部２４７に供給される。ビデオ重畳部２４７では、ビデオデコーダ２４２で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、立体画像用ＣＣ発生部２４４から供給されるクローズド・キャプション情報のデータが重畳され、表示用立体画像データＶoutが得られる。

また、オーディオデコーダ２４８では、デマルチプレクサ２４１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１Ａの外部に出力される。

図７６に示すビットストリーム処理部２０１Ｂにおいては、ビデオエレメンタリストリームのペイロード部から立体画像データを取得でき、また、そのヘッダ部のユーザデータ領域からＣＣデータおよび視差情報を取得できる。そのため、左眼画像および右眼画像に重畳されるクローズド・キャプション情報に、このクローズド・キャプション情報に合った視差情報を用いて、適切な視差を付与できる。したがって、クローズド・キャプション情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図７６に示すビットストリーム処理部２０１Ｂの視差情報取り出し部２４５では、字幕表示期間内で共通に使用される視差情報、または、これと共に字幕表示期間内で順次更新される視差情報が取得される。立体画像用ＣＣ発生部２４４では、字幕表示期間内で順次更新される視差情報が使用されることで、左眼画像および右眼画像に重畳されるクローズド・キャプション情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図７６に示すビットストリーム処理部２０１Ｂの視差情報処理部２４６では、字幕表示期間内で順次更新される視差情報に対して補間処理が施されて字幕表示期間内における任意のフレーム間隔の視差情報が生成される。この場合、送信側（放送局１００）から１６フレーム等のベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、左眼画像および右眼画像に重畳されるクローズド・キャプション情報に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

また、図７６に示すビットストリーム処理部２０１Ｂの視差情報処理部２４６では、時間方向（フレーム方向）のローパスフィルタ処理を伴った補間処理が行われる。そのため、送信側（放送局１００）からベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向（フレーム方向）の変化をなだらかにできる（図３１参照）。したがって、左眼画像および右眼画像に重畳されるクローズド・キャプション情報に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。

＜２．変形例＞
なお、図７７は、「disparity_temporal_extension（）」の他の構造例（Syntax）を示している。また、図７８は、その構造例に関連する主要なデータ規定内容（semantics）を示している。「disparity_update_count」の８ビットフィールドは、視差情報（disparity）の更新回数を示す。そして、この視差情報の更新回数で規制されたforループが存在する。

「interval_count」の８ビットフィールドは、更新期間を、後述する「interval_PTS」で示されるインターバル期間（Interval period）の倍数で示す。「disparity_update」の８ビットフィールドは、対応する更新期間の視差情報を示す。なお、ｋ＝０における「disparity_update」は、字幕表示期間内において更新フレーム間隔で順次更新される視差情報の初期値、つまり、字幕表示期間における最初のフレームの視差情報である。

なお、図２１に示す構造の「disparity_temporal_extension（）」の代わりに、図７７に示す構造の「disparity_temporal_extension（）」を用いる場合、例えば、図１８に示すＳＣＳ（Subregion Composition segment）の実質的な情報を含む部分に、「interval_PTS」の３３ビットフィールドが設けられる。この「interval_PTS」は、インターバル期間（Interval period）を９０ＫＨｚ単位で指定する。つまり、「interval_PTS」は、このインターバル期間（Interval period）を９０ＫＨｚのクロックで計測した値を３３ビット長で表す。

図７９、図８０は、図７７に示す構造の「disparity_temporal_extension（）」を用いた場合における、視差情報の更新例を示している。図７９は、「interval_PTS」で示されるインターバル期間（Interval period）が固定で、しかも、その期間が更新期間と等しい場合を示している。この場合、「interval_count」は、「１」となる。

一方、図８０は、一般的なもので、「interval_PTS」で示されるインターバル期間（Interval period）を短期間（例えば、フレーム周期でもよい）とした場合の、視差情報の更新例を示している。この場合、「interval_count」は、各更新期間において、Ｍ，Ｎ，Ｐ，Ｑ，Ｒとなる。なお、図７９、図８０において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。

図７７に示す構造の「disparity_temporal_extension（）」を用いて、字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合も、受信側においては、上述したと同様の処理が可能である。すなわち、この場合も、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。

図８１（ａ）は、図７７に示す構造の「disparity_temporal_extension（）」を用いる場合のサブタイトルデータストリームの構成例を示している。ＰＥＳヘッダには、時間情報（ＰＴＳ）が含まれている。また、ＰＥＳペイロードデータとして、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＳＣＳ、ＥＯＳの各セグメントが含まれている。これらは、サブタイトル表示期間の開始前に一括送信される。なお、上述していないが、図２１に示す構造の「disparity_temporal_extension（）」を用いる場合のサブタイトルデータストリームの構成例も同様となる。

なお、ＳＣＳセグメントに「disparity_temporal_extension（）」を含めずに、字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送ることもできる。この場合、「temporal_extension_flag = 0」とされ、ＳＣＳセグメントでは、「subregion_disparity」のみが符号化される（図１８参照）。この場合、サブタイトルデータストリームに、更新を行うタイミング毎にＳＣＳセグメントが挿入される。その場合には、各更新タイミングのＳＣＳセグメントには、図示は省略するが、時間情報として、時間差分値（delta_PTS）が付加される。

図８１（ｂ）は、その場合のサブタイトルデータストリームの構成例を示している。ＰＥＳペイロードデータとして、最初に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＳＣＳの各セグメントが送信される。その後に、更新を行うタイミングで、時間差分値（delta_PTS）および視差情報が更新された所定個数のＳＣＳセグメントが送信される。最後には、ＳＣＳセグメントと共にＥＯＳセグメントも送信される。

図８２は、上述したようにＳＣＳセグメントを順次送信する場合における、視差情報の更新例を示している。なお、図８２において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。

ＳＣＳセグメントを順次送信して、字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合も、受信側においては、上述したと同様の処理が可能である。すなわち、この場合も、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。

なお、上述した図７７に示す構造の「disparity_temporal_extension（）」を用いることを、図２に示す送信データ生成部１１０の説明（図２１など）を用いて行っている。しかし、詳細説明は省略するが、このことは、ＤＶＢ方式だけでなく、ＡＲＩＢ方式およびＣＥＡ方式においても、同様に可能であることは勿論である。

図８３は、上述の図８０と同様の、視差情報（disparity）の更新例を示している。更新フレーム間隔は、単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される。例えば、更新フレーム間隔「DivisionPeriod 1」は“ＩＤ＊Ｍ”で表され、更新フレーム間隔「Division Period 2」は“ＩＤ＊Ｎ”で表され、以下の各更新フレーム間隔も同様に表される。図８３に示す視差情報の更新例においては、更新フレーム間隔は固定ではなく、視差情報カーブに応じた更新フレーム間隔の設定が行われている。

また、この視差情報（disparity）の更新例において、受信側では、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0は、この視差情報が含まれるＰＥＳストリームのヘッダに挿入されているＰＴＳ（PresentationTime Stamp）で与えられる。そして、受信側では、視差情報の各更新時刻が、各更新フレーム間隔の情報であるインターバル期間の情報（単位期間の情報）およびそのインターバル期間の個数の情報に基づいて求められる。

この場合、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0から、以下の（１）式に基づいて、順次各更新時刻が求められる。この（１）式において、「interval_count」はインターバル期間の個数を示し、図８３におけるＭ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓに相当する値である。また、この（１）式において、「interval_time」は、図８３におけるインターバル期間（ＩＤ）に相当する値である。

Tm_n= Tm_(n-1) + (interval_time * interval_count) ・・・（１）

例えば、図８３に示す更新例においては、この（１）式に基づいて、各更新時刻が以下のように求められる。すなわち、更新時刻Ｔ1_1は、開始時刻（Ｔ1_0）と、インターバル期間（ＩＤ）と、個数（Ｍ）が用いられて、「T1_1 = T1_0 + (ID * M) 」のように求められる。また、更新時刻Ｔ1_2は、更新時刻（Ｔ1_1）と、インターバル期間（ＩＤ）と、個数（Ｎ）が用いられて、「T1_2 = T1_1+ (ID * N) 」のように求められる。以降の各更新時刻も同様に求められる。

図８３に示す更新例において、受信側では、字幕表示期間内で順次更新される視差情報に関して、補間処理が施され、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて使用される。例えば、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理が行われることで、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）を変化がなだらかとされる。図８３の破線ａはＬＰＦ出力例を示している。

図８４は、サブタイトルデータストリームの構成例を示している。ＰＥＳヘッダには、時間情報（ＰＴＳ）が含まれている。また、ＰＥＳペイロードデータとして、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＤＳＳ（Display Signaling Segment）、ＥＯＳの各セグメントが含まれている。これらは、サブタイトル表示期間の開始前に一括送信される。

ＤＳＳのセグメントには、上述の図８３に示すような視差情報更新を実現するための、視差情報が含まれている。すなわち、このＤＳＳには、字幕表示期間の開始フレーム（開始時刻）の視差情報と、その後の更新フレーム間隔毎のフレームの視差情報が含まれる。また、この視差情報には、更新フレーム間隔の情報として、インターバル期間の情報（単位期間の情報）およびそのインターバル期間の個数の情報が付加されている。これにより、受信側においては、各更新フレーム間隔を「単位期間＊個数」の計算により簡単に求めることができる。

また、ＤＳＳのセグメントには、字幕表示期間に順次更新される視差情報として、リージョン単位、あるいはこのリージョンに含まれるサブリージョン単位の視差情報と、全てのリージョンを含むページ単位の視差情報のいずれか、あるいは双方が選択的に含まれる。また、このＤＳＳには、字幕表示期間で固定の視差情報として、リージョン単位、あるいはこのリージョンに含まれるサブリージョン単位の視差情報と、全てのリージョンを含むページ単位の視差情報とが含まれる。

図８５は、字幕としてのサブタイトルの表示例を示している。この表示例においては、ページ領域（Area for Page_default）に、字幕表示領域としてのリージョン（Region）が２つ（リージョン１、リージョン２）含まれている。リージョンには１つまたは複数のサブリージョンが含まれている。ここでは、リージョンに１つのサブリージョンが含まれており、リージョン領域とサブリージョン領域とが等しいものとする。

図８６は、ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報とページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示している。ここで、ページの視差情報カーブは、２つのリージョンの視差情報カーブの最小値を採るような形とされている。

リージョン１（Region1）に関しては、開始時刻であるＴ1_0と、その後の更新時刻であるＴ1_1，Ｔ1_2，Ｔ1_3，・・・，Ｔ1_6の７個の視差情報が存在する。また、リージョン２（Region2）に関しては、開始時刻であるＴ2_0と、その後の更新時刻であるＴ2_1，Ｔ2_2，Ｔ2_3，・・・，Ｔ2_7の８個の視差情報が存在する。さらに、ページ（Page_default）に関しては、開始時刻であるＴ0_0と、その後の更新時刻であるＴ0_1，Ｔ0_2，Ｔ0_3，・・・，Ｔ0_6の７個の視差情報が存在する。

図８７は、図８６に示すページおよび各リージョンの視差情報がどのような構造で送られるかを示している。最初にページレイヤについて説明する。このページレイヤには、視差情報の固定値である「page_default_disparity」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_page_updete」が、順次配置される。なお、開始時刻の「interval_count」は“０”とされる。

次に、リージョンレイヤについて説明する。リージョン１（サブリージョン１）については、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。ここで、「subregion_disparity_integer_part」は視差情報の整数部分を示し、「subregion_disparity_fractional_part」は視差情報の小数部分を示している。

そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。ここで、「disparity_region_updete_integer_part」は視差情報の整数部分を示し、「disparity_region_updete_fractional_part」は視差情報の小数部分を示している。なお、開始時刻の「interval_count」は“０”とされる。

リージョン２（サブリージョン２）については、上述のリージョン１と同様であり、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。

図８８〜図９１は、ＤＳＳ（Disparity_Signaling_ Segment）の構造例（syntax）を示している。図９２、図９３は、ＤＳＳの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」、「dss_version_number」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＤＳＳを示す値とされる。「segment_length」は、以降のバイト数を示す８ビットのデータである。

「disparity_page_update_sequence_flag」の１ビットフラグは、ページ単位の視差情報として字幕表示期間に順次更新される視差情報があるか否かを示す。“１”は存在することを示し、“０”は存在しないことを示す。「disparity_region_update_sequence_present_flag」の１ビットフラグは、リージョン単位（サブリージョン単位）の視差情報として字幕表示期間に順次更新される視差情報があるか否かを示す。“１”は存在することを示し、“０”は存在しないことを示す。なお、「disparity_region_update_sequence_present_flag」は、while ループの外側にあって、少なくとも一つのリージョン（region）に関する“disparity update”が存在するかどうかを簡単に分からせる目的で送られる。この「disparity_region_update_sequence_present_flag」を送るかどうかは送信側の自由である。

「page_default_disparity」の８ビットフィールドは、ページ単位の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報を示す。上述した「disparity_page_update_sequence_flag」のフラグが“１”であるとき、「disparity_page_update_sequence()」の読み出しが行われる。

図９０は、「disparity_page_update_sequence() 」の構造例（Syntax）を示している。「disparity_page_update_sequence_length」は、以降のバイト数を示す８ビットのデータである。「segment_NOT_continued_flag」は、現在のパケット内で完結しているか否かを示す。“１”は現在のパケットで完結していることを示す。“０”は現在のパケットで完結しておらず、次のパケットに続きの部分があることを示す。

「interval_time[23..0]」の２４ビットフィールドは、単位期間としてのインターバル期間（Interval Duration）（図８３参照）を９０ＫＨｚ単位で指定する。つまり、「interval_time[23..0]」は、このインターバル期間（Interval Duration）を９０ＫＨｚのクロックで計測した値を２４ビット長で表す。

ＰＥＳのヘッダ部に挿入されているＰＴＳが３３ビット長であるのに対して、２４ビット長とされているのは、以下の理由からである。すなわち、３３ビット長では２４時間分を超える時間を表現できるが、字幕表示期間内のこのインターバル期間（Interval Duration）としては不必要な長さである。また、２４ビットとすることで、データサイズを縮小でき、コンパクトな伝送を行うことができる。また、２４ビットは８×３ビットであり、バイトアラインが容易となる。

「division_period_count」の８ビットフィールドは、視差情報を送信する期間（Division Period）の数を示す。例えば、図８３に示す更新例の場合には、開始時刻であるＴ1_0とその後の更新時刻であるＴ1_1〜Ｔ1_6に対応して、この数は“７”となる。この「division_period_count」の８ビットフィールドが示す数だけ、以下のforループが繰り返される。

「interval_count」の８ビットフィールドは、インターバル期間の個数を示す。例えば、図８３に示す更新例の場合には、Ｍ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓが相当する。「disparity_page_update」の８ビットフィールドは、視差情報を示す。開始時刻の視差情報（視差情報の初期値）に対応して「interval_count」は“０”とされる。つまり、「interval_count」が“０”であるとき、「disparity_page_update」は開始時刻の視差情報（視差情報の初期値）を示す。

図８９のwhileループは、それまでに処理したデータ長（processed_length）が、セグメントデータ長（segment_length）に達していないとき、繰り返される。このwhileループ中に、リージョン単位、あるいはリージョン内のサブリージョン単位の視差情報が配置される。ここで、リージョンには１つまたは複数のサブリージョンが含まれ、サブリージョン領域とリージョン領域とが同じ場合もある。

このwhileループ中に、「region_id 」および「subregion_id 」の情報が含まれている。サブリージョン領域がリージョン領域と同じ場合、「subregion_id 」は“０”とされる。そのため、「subregion_id 」が“０”でないとき、このwhileループ中に、サブリージョン領域を示す、「subregion_horizontal_position」の位置情報、「subregion_width 」の幅情報が含まれる。

「disparity_region_update_sequence_flag」の１ビットフラグは、リージョン単位（サブリージョン単位）の視差情報として字幕表示期間に順次更新される視差情報があるか否かを示す。“１”は存在することを示し、“０”は存在しないことを示す。「subregion_disparity_integer_part 」の８ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の整数部分を示す。「subregion_disparity_fractional_part 」の４ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の小数部分を示す。

上述した「disparity_region_update_sequence_flag」のフラグが“１”であるとき、「disparity_region_update_sequence()」の読み出しが行われる。図９１は、「disparity_page_update_sequence() 」の構造例（Syntax）を示している。「disparity_region_update_sequence_length」は、以降のバイト数を示す８ビットのデータである。「segment_NOT_continued_flag」は、現在のパケット内で完結しているか否かを示す。“１”は現在のパケットで完結していることを示す。“０”は現在のパケットで完結しておらず、次のパケットに続きの部分があることを示す。

「interval_time[23..0]」の２４ビットフィールドは、単位期間としてのインターバル期間（Interval Duration）（図８３参照）を９０ＫＨｚ単位で指定する。つまり、「interval_time[23..0]」は、このインターバル期間（Interval Duration）を９０ＫＨｚのクロックで計測した値を２４ビット長で表す。２４ビット長とされているのは、上述の「disparity_page_update_sequence() 」の構造例（Syntax）で説明したと同様である。

「division_period_count」の８ビットフィールドは、視差情報を送信する期間（Division Period）の数を示す。例えば、図８３に示す更新例の場合には、開始時刻であるＴ1_0とその後の更新時刻であるＴ1_1〜Ｔ1_6に対応して、この数は“７”となる。この「division_period_count」の８ビットフィールドが示す数だけ、以下のforループが繰り返される。

「interval_count」の８ビットフィールドは、インターバル期間の個数を示す。例えば、図８３に示す更新例の場合には、Ｍ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓが相当する。「disparity_region_update_integer_part」の８ビットフィールドは、視差情報の整数部分を示す。「disparity_region_update_fractional_part」の４ビットフィールドは、視差情報の小数部分を示す。開始時刻の視差情報（視差情報の初期値）に対応して「interval_count」は“０”とされる。つまり、「interval_count」が“０”であるとき、「disparity_region_update_integer_part」、「disparity_region_update_fractional_part」は、開始時刻の視差情報（視差情報の初期値）を示す。

また、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図３２に示すように、セットトップボックス２００内のビットストリーム処理部２０１（２０１Ａ、２０１Ｂ）と同様に機能するビットストリーム処理部３０６を備えている。したがって、図９４に示すように、放送局１００およびテレビ受信機３００で構成される画像送受信システム１０Ａも考えられる。

また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。

また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。

また、上述実施の形態においては、重畳情報としてサブタイトル（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報を扱うものにも、この発明を同様に適用できる。

この発明は、立体画像に重ねてサブタイトル（字幕）などの重畳情報の表示を行い得る画像送受信システムに適用できる。

１０，１０Ａ・・・画像送受信システム
１００・・・放送局
１１０，１１０Ａ，１１０Ｂ・・・送信データ生成部
１１１，１２１，１３１・・・データ取り出し部
１１２，１２２，１３２・・・ビデオエンコーダ
１３２ａ・・・ストリームフォーマッタ
１１３，１２３，１３３・・・オーディオエンコーダ
１１４・・・サブタイトル発生部
１１５，１２５，１３５・・・視差情報作成部
１１６・・・サブタイトル処理部
１１７・・・表示制御情報生成部
１１８・・・サブタイトルエンコーダ
１１９，１２７，１３６・・・マルチプレクサ
１２４・・・字幕発生部
１２６・・・字幕エンコーダ
１３４・・・ＣＣエンコーダ
１２６・・・マルチプレクサ
２００・・・セットトップボックス（ＳＴＢ）
２０１，２０１Ａ，２０１Ｂ・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２１１・・・ＣＰＵ
２１５・・・リモコン受信部
２１６・・・リモコン送信機
２２１，２３１，２４１・・・デマルチプレクサ
２２２，２３２，２４２・・・ビデオデコーダ
２２３・・サブタイトルデコーダ
２２４・・・立体画像用サブタイトル発生部
２２５・・・表示制御部
２２６・・・表示制御情報取得部
２２７，２３６，２４６・・視差情報処理部
２２８，２３７，２４７・・・ビデオ重畳部
２２９，２３８，２４８・・・オーディオデコーダ
２３３・・・字幕デコーダ
２３４・・・立体画像用字幕発生部
２３５，２４５・・・視差情報取り出し部
２４３・・・ＣＣデコーダ
２４４・・・立体画像用ＣＣ発生部
３００・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３２１・・・ＣＰＵ
３２５・・・リモコン受信部
３２６・・・リモコン送信機
４００・・・ＨＤＭＩケーブル

Claims (22)

1. 左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
   上記画像データ出力部から出力される立体画像データ、上記重畳情報データ出力部から出力される重畳情報データおよび上記視差情報出力部から出力される視差情報を送信するデータ送信部とを備え、
   上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
   立体画像データ送信装置。
2. 上記視差情報には、各更新フレーム間隔の情報として、単位期間の情報および該単位期間の個数の情報が付加されている
   請求項１に記載の立体画像データ送信装置。
3. 上記単位期間の情報は、該単位期間を９０ＫＨｚのクロックで計測した値を２４ビット長で表した情報である
   請求項２に記載の立体画像データ送信装置。
4. 上記視差情報には、上記更新フレーム間隔毎のフレームのそれぞれについて、上記視差情報の更新の有無を示すフラグ情報が付加されている
   請求項１に記載の立体画像データ送信装置。
5. 上記視差情報には、上記更新フレーム間隔毎のフレームのそれぞれについて、上記更新フレーム間隔を調整する情報が付加されている
   請求項１に記載の立体画像データ送信装置。
6. 上記視差情報には、フレーム周期を指定する情報が付加されている
   請求項１に記載の立体画像データ送信装置。
7. 上記視差情報は、同一画面に表示される特定の重畳情報に対応した視差情報および／または同一画面に表示される複数の重畳情報に共通に対応した視差情報である
   請求項１に記載の立体画像データ送信装置。
8. 上記視差情報には、上記重畳情報の表示の際に必須の、該視差情報に対する対応レベルを示す情報が付加されている
   請求項１に記載の立体画像データ送信装置。
9. 上記重畳情報のデータはＤＶＢ方式のサブタイトルデータであり、
   上記データ送信部は、上記視差情報を、上記サブタイトルデータが含まれるサブタイトルデータストリームに含めて送信する
   請求項１に記載の立体画像データ送信装置。
10. 上記視差情報は、リージョン単位、あるいは該リージョンに含まれるサブリージョン単位の視差情報である
    請求項９に記載の立体画像データ送信装置。
11. 上記視差情報は、全てのリージョンを含むページ単位の視差情報である
    請求項９に記載の立体画像データ送信装置。
12. 上記重畳情報のデータは、ＡＲＩＢ方式の字幕データであり、
    上記データ送信部は、上記視差情報を、上記字幕データが含まれる字幕データストリームに含めて送信する
    請求項１に記載の立体画像データ送信装置。
13. 上記重畳情報のデータは、ＣＥＡ方式のクローズド・キャプションデータであり、
    上記データ送信部は、上記視差情報を、上記クローズド・キャプションデータが含まれるビデオデータストリームのユーザデータ領域に含めて送信する
    請求項１に記載の立体画像データ送信装置。
14. 上記重畳情報のデータは、上記ユーザデータ領域に配置されるＣＥＡテーブルに基づく拡張コマンド内に挿入される
    請求項１３に記載の立体画像データ送信装置。
15. 上記重畳情報のデータは、上記ユーザデータ領域に配置される上記クローズド・キャプションデータ内に挿入される
    請求項１３に記載の立体画像データ送信装置。
16. 左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
    上記画像データ出力ステップで出力される立体画像データ、上記重畳情報データ出力ステップで出力される重畳情報データおよび上記視差情報出力ステップで出力される視差情報を送信するデータ送信ステップとを備え、
    上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
    立体画像データ送信方法。
17. 左眼画像データおよび右眼画像データを含む立体画像データと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を受信するデータ受信部を備え、
    上記受信部で受信される上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなり、
    上記データ受信部で受信される上記左眼画像データおよび上記右眼画像データと、上記重畳情報のデータと、上記視差情報とを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像データを得る画像データ処理部をさらに備える
18. 立体画像データ受信装置。
    上記画像データ処理部は、上記所定数のフレーム期間内で順次更新される複数フレームの視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する
    請求項１７に記載の立体画像データ受信装置。
19. 上記補間処理は、時間方向のローパスフィルタ処理を伴う
    請求項１８に記載の立体画像データ受信装置。
20. 上記視差情報には、上記更新フレーム間隔の情報として、単位期間の情報および該単位期間の個数の情報が付加されており、
    上記画像データ処理部は、
    上記重畳情報の表示開始時刻を基準として、上記視差情報の各更新時刻を、上記各更新フレーム間隔の情報である上記単位期間の情報および上記個数の情報に基づいて求める
    請求項１７に記載の立体画像データ送信装置。
21. 上記重畳情報の表示開始時刻は、上記視差情報が含まれるＰＥＳストリームのヘッダ部に挿入されているＰＴＳで与えられる
    請求項２０に記載の立体画像データ送信装置。
22. 左眼画像データおよび右眼画像データを含む立体画像データと、上記左眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を受信するデータ受信ステップを備え、
    上記受信ステップで受信される上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなり、
    上記データ受信ステップで受信される上記左眼画像データおよび上記右眼画像データと、上記重畳情報のデータと、上記視差情報とを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像データを得る画像データ処理ステップをさらに備える
    立体画像データ受信方法。