JP2012507968A - ステレオスコピック画像を同期化する装置及び方法と、これを利用したステレオスコピック画像提供装置及び方法 - Google Patents

Abstract

本発明は、ステレオスコピック画像を同期化して提供する技術に関するものであって、従来のデジタル放送との互換性を維持しつつ、デジタル放送の限定された周波数帯域幅内で高画質のステレオスコピックデジタル放送サービスを 提供しようとする。このために、本発明のステレオスコピック画像提供装置は、第１の画像を格納する格納部と、第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信する受信部と、第１の画像と第２の画像とを同期化する同期化制御部と、同期化された２つの画像を出力する出力部とを備える。

Description

本発明は、画像を同期化して提供する技術に関し、特に、ステレオスコピック画像を同期化して提供する装置及び方法に関する。

ステレオスコピックコンテンツを提供する技術に対する標準化が進行されつつ、デジタルＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）、携帯電話、デジタルカメラ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）などのような様々なデジタル画像機器を中心としてステレオスコピックコンテンツ関連技術が速く発展している。ステレオスコピックコンテンツは、立体感と現実感に優れ、かつ、自然な画像を提供する。ステレオスコピックコンテンツの取得、生成、及びディスプレイ技術が発展しつつ、ステレオスコピックコンテンツを利用した応用サービス及び関連機器に対する技術も共に発展している。

従来、ステレオスコピック画像の構成方法として、サイドバイサイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）方式がある。Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式のステレオスコピック画像の構成方法は、ステレオスコピックコンテンツを構成する左右の画像を各々半分に縮小して１つのフレーム内に含めてサービスする方法である。

例えば、左の画像の奇数番目の垂直ラインのみ集めて左の画像を半分に縮小し、右の画像の偶数番目の垂直ラインのみ集めて右の画像を半分に縮小して縮小された２つの画像を１つのフレームに入れるものである。この方法は、１つのフレームに左の画像と右の画像との両方が含まれるため、左右の画像間の同期化を容易にすることができるという長所がある。しかし、この方法は、基本画像を縮小するため、最初画像より解像度が減少し、従来のデジタル放送との互換性を提供することができない。

従来、ステレオスコピック画像の他の構成方法として、フレームシーケンシャル（Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ）方法がある。この方法は、ステレオスコピックコンテンツを構成する左右の画像を交互に符号化してサービスする方法であって、基本画像と同様に、フル（ｆｕｌｌ）解像度を有するステレオスコピック画像を提供することができる。

しかし、左右の画像間の同期化が難しくなり、左右の画像のうち、いずれか１つの画像が壊れる場合、他の１つの画像を無視し、サービスしなければならないという問題があり、従来のデジタル放送との互換性に劣る。

従来のデジタル放送との互換性を維持しつつ、ステレオスコピックコンテンツを提供するために、互いに異なるコーデック（例えば、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−２）とＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ））とを用いて左右の画像を各々符号化する方法がある。

もう１つの方法として、左右の画像間の相互連関関係を介した符号化技法を利用して符号化する方法がある。

上記の方法は、従来のデジタル放送システムとの互換性を維持するが、左右の画像を別に符号化し、復号化するための追加コーデックが求められ、システムの複雑度が高いという短所がある。また、デジタル放送帯域幅の限界のため、ＨＤ級以上の高画質デジタル放送サービスには適用され難い。

したがって、本発明の目的は、ステレオスコピック画像を効率的に同期化して提供することにある。

また、本発明の他の目的は、従来のデジタル放送との互換性を維持しつつ、デジタル放送の限定された周波数帯域幅内で高画質のステレオスコピックデジタル放送サービスを提供することにある。

本発明の目的は、上述した目的に制限されず、記載されていない本発明の他の目的及び長所は、下記の説明によって理解されることができ、本発明の実施形態によってより明らかに分かるはずである。また、本発明の目的及び長所は、特許請求の範囲に表わした手段及びその組み合わせによって実現され得ることが容易に分かるであろう。

上記の目的を達成するための本発明のステレオスコピック画像を提供する方法は、第１の画像を格納するステップと、第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信するステップと、第１の画像と第２の画像とを同期化するステップと、同期化された２つの画像を出力するステップとを含むことを特徴とする。

また、上記の目的を達成するための本発明のステレオスコピック画像を提供する装置は、第１の画像を格納する格納部、第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信する受信部と、第１の画像と第２の画像とを同期化する同期化制御部と、同期化された２つの画像を出力する出力部とを備えることを他の特徴とする。

さらに、上記の目的を達成するための本発明のステレオスコピック画像を同期化する方法は、第１の画像を格納するステップと、第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信するステップと、第１の画像と第２の画像とを同期化するステップとを含むことをさらに他の特徴とする。

さらに、上記の目的を達成するための本発明のステレオスコピック画像を同期化する装置は、第１の画像を格納する格納部と、第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信する受信部と、第１の画像と第２の画像とを同期化する同期化制御部とを備えることをさらに他の特徴とする。

前述したような本発明によれば、ステレオスコピック画像を効率的に同期化して提供することができる。特に、従来のデジタル放送との互換性を維持しつつ、デジタル放送の限定された周波数帯域幅内で高画質のステレオスコピックデジタル放送サービスを提供することができる。

本発明の一実施形態に係るステレオスコピック画像提供装置１００の構成図である。 図１に示された同期化制御部１０６の詳細構成図である。 本発明の一実施形態に係るデジタル放送サービスシステム３００の構成図である。 本発明の一実施形態に係る３次元放送プログラムの構成図である。 本発明の一実施形態によってステレオスコピック画像を提供する方法のフローチャートである。 図５に示された同期化ステップ５０６の詳細フローチャートである。 本発明の一実施形態に係るステレオスコピック画像提供装置７００の構成図である。 本発明の一実施形態に係るステレオスコピック画像ストリームの構成図である。 本発明の一実施形態によって放送プログラム情報を表すＰｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ９００の構成図である。

上述の目的、特徴、及び長所は、添付した図面を参照して詳しく後述され、それにより、本発明の属する技術分野における通常の知識を有した者が本発明の技術的思想を容易に実施できるであろう。また、本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不明にすると判断される場合には、その詳細な説明を省略する。以下、添付された図面を参照して、本発明に係る好ましい実施形態を詳細に説明する。ステレオスコピック画像を提供するためには、左の画像と右の画像の２つの画像が必要である。以下の説明において、第１の画像と第２の画像とは、各々左の画像または右の画像のいずれかを意味する。

図１は、本発明の一実施形態に係るステレオスコピック画像提供装置１００の構成図である。ステレオスコピック画像提供装置１００は、３次元立体放送サービスのための端末またはセットトップで実現されることができる。

同図に示すように、ステレオスコピック画像提供装置１００は、格納部１０２、受信部１０４、同期化制御部１０６、及び出力部１０８を備える。

まず、格納部１０２は、第１の画像を格納し、受信部１０４は、第１の画像と対応する第２の画像を受信する。第２の画像は、第１の画像と連関されてステレオスコピック画像を形成する画像であって、第１の画像が右の画像である場合、第２の画像は左の画像である。

また、第１の画像と第２の画像とは、各々独立して再生される場合、２次元画像に表示されることもある。第１の画像は、受信部１０４が外部から受信した画像であるか、放送信号を介して予め受信した画像でありうる。同期化制御部１０６は、予め格納されている第１の画像と受信部１０４により受信された第２の画像とを同期化し、出力部１０８は、同期化された画像をステレオスコピック画像に構成して出力する。

ステレオスコピック画像提供装置１００は、ステレオスコピック画像を構成する２つの画像のいずれかを予め格納し、他の１つの画像を別に受信するため、画像受信に使用される伝送帯域幅を効率的に利用する。

例えば、第１の画像と第２の画像とのうち、少なくとも１つがデジタル放送プログラムである場合、格納部１０２は、デジタル放送プログラムが放送される時間以前に第１の画像を格納する。このとき、第１の画像は、受信部１０４によって受信されるか、放送チャネル、インターネット、衛星通信などを介して外部装置によって受信されて、別のメモリ装置に格納された後、ステレオスコピック画像提供装置１００に入力されることができる。

ステレオスコピック画像を提供する事業者は、視聴者に放送プログラム目録を予め提供し、視聴者をして視聴しようとするステレオスコピック放送を選択して第１の画像を予め受信できるようにサービスを提供することができる。受信部１０４は、デジタル放送プログラムが放送される時間に第２の画像を受信し、同期化制御部１０６と出力部１０８とが第１の画像と第２の画像とを各々同期化して出力する。

こうすることにより、ステレオスコピック画像提供装置１００は、従来のデジタル放送システムとの互換性を維持しつつ、高画質のステレオスコピックデジタル放送コンテンツを視聴者にリアルタイムで提供することができる。この場合、ステレオスコピック画像提供装置１００は、従来のＨＤ級以上のステレオスコピックデジタル放送を提供するときに発生する伝送帯域幅の限界の問題 なく、ステレオスコピック画像をフル解像度で提供することができる。

図２は、図１に示された同期化制御部１０６の詳細構成図である。同図に示すように、同期化制御部１０６は、プログラム識別情報抽出部２０２、画像制御部２０４、及び画像連関部２０６を備えることができ、時間基準値抽出部２０８と同期化部２１０とを備える。

プログラム識別情報抽出部２０２は、第１の画像からプログラム識別情報を抽出する。プログラム識別情報は、第１の画像に与えられた第１の画像の固有なインデックスである。画像制御部２０４は、第２の画像からステレオスコピック画像を形成するか否かを確認する。

画像制御部２０４が第２の画像からステレオスコピック画像を形成するものと確認した場合、画像連関部２０６は、プログラム識別情報抽出部２０２によって抽出されたプログラム識別情報を利用して第１の画像と第２の画像とを連関させる。第２の画像は、独立して２次元画像に表示されることができるので、画像制御部２０４は、第２の画像に含まれたステレオスコピック画像が形成されるか否かの情報を確認して画像の出力方法を決定する。

画像制御部２０４でステレオスコピック画像を形成するものと確認された場合、第２の画像に対応する第１の画像を探して、これらを同期化しなければならない。第１の画像は、ステレオスコピック画像提供装置１００に予め格納されているため、ステレオスコピック画像提供装置１００は、種々の放送プログラムに対する左の画像または右の画像のいずれかを格納していることができる。

このうち、第２の画像と対応する第１の画像は１つだけであるため、画像連関部２０６は、第１の画像で抽出されたプログラム識別情報を利用して第２の画像と対応する第１の画像を探すことができる。

時間基準値抽出部２０８は、第１の画像と第２の画像との時間基準値を各々抽出する。同期化部２１０は、時間基準値抽出部２０８によって抽出された時間基準値を用いて第１の画像と第２の画像とを同期化する。このとき、同期化部２１０は、画像連関部２０６によって第１の画像と第２の画像との連関情報を利用して対応する２つの画像を確認することができる。同期化部２１０は、第１の画像と第２の画像から抽出された時間基準値のいずれか１つを他の１つと一致するように修正して、２つの画像を同期化することができる。

第１の画像が受信されて格納される時点と第２の画像が受信される時点とが異なるため、第１の画像と第２の画像との時間基準値が異なることがあるためである。同期化部２１０は、抽出された時間基準値を用いて第１の画像または第２の画像のタイムスタンプを修正する方法によって２つの画像を同期化することができる。

さらに、同期化部２１０は、抽出された時間基準値に応じて第２の画像を構成するパケットまたはフレームをカウントし、第１の画像を構成するパケットまたはフレームのカウント番号を、第２の画像を構成するパケットのカウント番号と一致するように修正することができる。

図３は、本発明の一実施形態に係るデジタル放送サービスシステム３００の構成図であり、図４は、本発明の一実施形態に係る３次元放送プログラムの構成図である。デジタル放送サービスシステム３００は、ステレオスコピックコンテンツで構成された放送プログラムを視聴者に提供する。

左の画像と右の画像とは、各々独立的に２次元画像に再生されることができ、他の１つとともにステレオスコピック画像に再生されることができる。また、左の画像と右の画像とは、各々独立したり、従属した形態のストリームで構成されることができる。ここで、独立の意味は、従来の放送との互換性を維持するために、２次元画像に再生され得るストリームを意味し、従属の意味は、独立形態のストリームに基づいて再生され得るストリームを意味する。したがって、以下の説明において、放送プログラムが放送される以前に予め伝送されて格納される第１の画像を３次元付加画像といい、放送プログラムが放送される時間に伝送される第２の画像をメイン画像という。

まず、３Ｄコンテンツサーバ３０６は、３次元ビデオ３０２とオーディオ３０４とで構成されたステレオスコピックコンテンツを放送局３０８に伝達する。放送局３０８は、３次元ビデオをメイン画像と３次元付加画像とに分けて伝送する。ネットワークサーバ３１０は、３次元付加画像を予め受信してメイン画像が放送される以前に視聴者のコンピュータ３１２または３ＤＴＶ受信機３１６に送信する。

このとき、３次元付加画像は、インターネットを介して送信されることができ、視聴者は、コンピュータ３１２によって受信された３次元付加画像をメモリ装置３１４を介して３ＤＴＶ受信機３１６に移って格納する。３ＤＴＶ受信機３１６が３次元付加画像を受信できる能力がある場合、コンピュータ３１２とメモリ装置３１４とは不要で、３ＤＴＶ受信機３１６が３次元付加画像を直接受信して格納することができる。放送局３０８からメイン画像が放送されれば、３ＤＴＶ受信機３１６はこれを受信し、これを既に格納されている３次元付加画像と同期化して３次元放送３２０で出力する。従来のＤＴＶ受信機３１８を使用する他の視聴者は、ＤＴＶ受信機３１８を介してメイン画像のみで構成された２次元放送３２２を視聴することができる。

このように放送される３次元放送プログラムは、図４に示されたようにサービスされることができる。期間４０２において２次元放送のサービスタイプで提供される放送プログラムを提供し、所定の期間４０４の間、３次元放送のサービスタイプで放送プログラムを提供する。３次元放送プログラムの提供が終わった後、期間４０６に再度２次元放送プログラムを提供する。２次元放送は、ビデオとオーディオストリームとで構成され、３次元放送は、メイン画像と、３次元付加画像と、オーディオストリームとで構成される。３ＤＴＶ受信機が３次元付加画像を格納できる格納空間によって３次元放送プログラムが提供され得る期間４０４が変わることがある。このように、３次元で提供される放送プログラムの例示として、広告、場面ハイライト、スポーツ中継などを挙げることができる。広告と場面ハイライトは、比較的短い時間の間再生され、３次元放送プログラムで提供される場合、放送の効果が大きい。また、スポーツ中継は、３次元で提供される場合、放送の現場感と立体感が大きく、様々な関連情報が３次元画面に共に表示されることができるので、効果的な放送になり得る。

この実施形態において、３次元付加画像は、従来の商用ビデオコーデックを用いて符号化され、ＭＰＥＧ−２規格を利用して多重化されたストリームであって、ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（ＴＳ）に格納される。また、３次元付加画像は、ＭＰＥＧ−２ ＴＳが含まれた他の形態の格納フォーマットで格納されることができ、符号化されて、符号化ストリームとして別の格納ファイルフォーマットまたは伝送プロトコルに格納されることもできる。ＴＳは、ＭＰＥＧ−２規格のプログラム制御情報であるＰｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ（ＰＳＩ）を含むことができ、プログラム制御情報なしでメディアストリーム（例えば、３次元付加画像自体のストリーム）のみ含むこともできる。

ＴＳにＰＳＩが含まれても３ＤＴＶ受信機３１６はリアルタイムで放送されるメイン画像ストリームとの同期化のために、メイン画像のＰＳＩのみを利用し、３次元付加画像のＰＳＩを無視することができる。３次元付加画像の格納フォーマットがメイン画像の伝送ストリームと類似した形態で格納されると、他の格納フォーマットを使用するよりも３ＤＴＶ受信機３１６の複雑度が低く実現され得る。

また、３次元付加画像が別の格納ファイルフォーマットで格納される場合、リアルタイムで放送されるメイン画像ストリームとの同期化のために、格納ファイルフォーマットのタイムスタンプをメイン画像ストリームのタイムスタンプと一致させるように３ＤＴＶ受信機３１６を実現することができる。この場合、３ＤＴＶ受信機３１６が３次元付加画像をＴＳに格納するときに発生するシステムのオーバーヘッド（ｏｖｅｒｈｅａｄ）を減らすことができるという長所がある。

図５は、本発明の一実施形態によってステレオスコピック画像を提供する方法のフローチャートである。

まず、第１の画像が格納（Ｓ５０２）された後、第１の画像と対応する第２の画像が受信（Ｓ５０４）される。第２の画像は、第１の画像と連関されてステレオスコピック画像を形成することができる。次に、受信された第２の画像を予め格納されている第１の画像と同期化するステップ（Ｓ５０６）が行われる。２つの画像が同期化されると、２つの画像は、ステレオスコピック画像として出力（Ｓ５０８）される。前述したように、第１の画像と第２の画像とは、各々独立して２次元画像に表示されることができ、第２の画像のみ別に２次元画像に表示されることができる。

また、第１の画像と第２の画像のうち、少なくとも１つがデジタル放送プログラムである場合、第１の画像は、デジタル放送プログラムが放送される以前に格納され、第２の画像は、デジタル放送プログラムが放送される時間に受信されることができる。例えば、第２の画像がデジタル放送プログラムである場合、第１の画像は、デジタル放送プログラムに従属されて第２の画像とともにステレオスコピック画像を構成する３次元付加画像になり得る。第２の画像は、デジタル放送プログラムを構成する一般の２次元画像で、メイン画像であり、第１の画像とともにステレオスコピック画像に表示されるか、第２の画像が独立的に２次元画像に表示されることができる。

図６は、図５に示された同期化ステップ（Ｓ５０６）の詳細フローチャートである。

第１の画像と第２の画像とを同期化するステップ（Ｓ５０６）は、まず、第１の画像からプログラム識別情報を抽出するステップ（Ｓ６０２）と、第２の画像からステレオスコピック画像を形成するか否かを確認するステップ（Ｓ６０４）とを含む。ステップ（Ｓ６０４）でステレオスコピック画像を形成するものと確認された場合、第１の画像と第２の画像とを連関させるステップ（Ｓ６０６）が行われる。第１の画像と第２の画像とを連関させるステップ（Ｓ６０６）は、ステップ（Ｓ６０２）で抽出されたプログラム識別情報を利用して第１の画像を検索することにより行われることができる。第１の画像と第２の画像とが連関（Ｓ６０６）されると、第１の画像と第２の画像とから時間基準値が抽出（Ｓ６０８）される。抽出された時間基準値を用いて第１の画像と第２の画像との同期化（Ｓ６１０）が行われる。

同期化ステップ（Ｓ６１０）で第１の画像と第２の画像とから抽出された時間基準値のいずれか１つが他の１つと一致するように修正されるか、抽出された時間基準値を用いて第１の画像または第２の画像のタイムスタンプが修正され得る。さらに、同期化ステップ（Ｓ６１０）で時間基準値に応じて第２の画像を構成するパケットまたはフレームがカウントされ、第１の画像を構成するパケットまたはフレームのカウント番号が第２の画像を構成するパケットまたはフレームのカウント番号と一致するように修正され得る。このとき、、時間基準値は、Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（ＰＣＲ）でありうるし、タイムスタンプは、Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ（ＤＴＳ）またはＰｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（ＰＴＳ）のいずれかでありうる。

図７は、本発明の一実施形態に係るステレオスコピック画像提供装置７００の構成図である。

同図に示すように、ステレオスコピック画像提供装置７００は、逆多重化器７０４と復号化器７０６とを備える。逆多重化器７０４は、ＰＳＩ分析モジュール７１２、ＴＳ分析モジュール７１４、ＰＥＳ分析モジュール７１６、Ｒｅ＿ｔｉｍｅｓｔａｍｐｉｎｇモジュール７１８、及びＲｅ＿ｃｏｕｎｔｉｎｇモジュール７２０を備え、復号化器７０６は、復号化モジュール７２２とステレオスコピック画像生成モジュール７２４とを備える。以下において、メイン画像は、前述したステレオスコピック画像提供装置７００に受信される第２の画像であり、３次元付加画像は、ステレオスコピック画像提供装置７００に予め格納される第１の画像である。

まず、３次元付加画像ストリーム７０２が逆多重化器７０４に入力されれば、ＰＳＩ分析モジュール７１２はＰＳＩを抽出する。ＴＳ分析モジュール７１４は、ＴＳのヘッダに含まれている時間基準値であるＰＣＲとプログラム識別情報（Ｐｒｏｇｒａｍ ＩＤ：ＰＩＤ）とを抽出する。ＰＥＳ分析モジュール７１６は、Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ（ＰＥＳ）ヘッダに含まれたパケットカウンタまたはＰＥＳ Ｐｒｉｖａｔｅ ｄａｔａを分析する。逆多重化器７０４は、分析されたパケットカウンタまたはＰＥＳ Ｐｒｉｖａｔｅ ｄａｔａを用いて３次元付加画像のパケットまたはフレームをカウントすることができる。Ｒｅ＿ｔｉｍｅｓｔａｍｐｉｎｇモジュール７１８は、抽出されたＰＣＲ、ＤＴＳ、ＰＴＳなど、すなわち、時間基準値またはタイムスタンプによって３次元付加画像ストリームのタイムスタンプを修正する。

また、３次元付加画像ストリーム７０２がＴＳでない別の格納ファイルフォーマットで格納される場合、Ｒｅ＿ｔｉｍｅｓｔａｍｐｉｎｇモジュール７１８は、格納されたファイルフォーマットのタイムスタンプを抽出された時間基準値に応じて修正する。Ｒｅ＿ｃｏｕｎｔｉｎｇモジュール７２０は、ＰＣＲによってメイン画像と付加画像ストリームとのカウント番号が一致するように修正する。Ｒｅ＿ｔｉｍｅｓｔａｍｐｉｎｇモジュール７１８は、ＴＳ分析モジュール７１４に含まれることができ、Ｒｅ＿ｃｏｕｎｔｉｎｇモジュール７２０は、ＰＥＳ分析モジュール７１６に含まれることができる。

復号化器７０６は、復号化モジュール７２２を介して同じタイムスタンプを有するメイン画像及び３次元付加画像ストリームのみを復号化し、ステレオスコピック画像生成モジュール７２４を介してこれらをステレオスコピック画像で出力する。従来の２次元放送を再生する場合には、ステレオスコピック画像生成モジュール７２４を使用しない。

図８は、本発明の一実施形態に係るステレオスコピック画像ストリームの構成図である。図８を参照してメイン画像と３次元付加画像を同期化する方法を説明する。

ステレオスコピック画像提供装置は、一般に、デジタル放送でＡＶ同期化のために使用されるＰＣＲを用いてメイン画像と３次元付加画像とを同期化する。ＰＣＲは、復号化及び再生時間を合わせるための時間基準値であって、ＭＰＥＧ−２ ＴＳのヘッダ８０６を介して伝送される。ステレオスコピックコンテンツを再生するためには、メイン画像と３次元付加画像との同期化が必須である。

しかし、３次元付加画像は、メイン画像より予め伝送されて格納されるため、２つの画像は互いに異なる時間値を有するようになり、これを同じ時間基準値またはタイムスタンプに再調整する。

ステレオスコピック画像提供装置は、メイン画像ストリーム８０２で３次元放送が始まる時点のＰＣＲ、すなわち、初期ＰＣＲ値を用いて３次元付加画像ストリーム８０４との同期化を行う。すなわち、３次元付加画像ストリーム８０４のタイムスタンプを、メイン画像ストリーム８０２のＰＣＲ値を基準として修正（Ｒｅ−ｔｉｍｅｓｔａｍｐｉｎｇ）するためである。タイムスタンプは、各パケットのＤＴＳまたはＰＴＳになり得る。例えば、３次元付加画像ストリーム８０４の開始ＴＳパケットのＰＣＲ値が１０００であり、メイン画像ストリーム８０２で３次元放送が始まる時点のＰＣＲ値が２０００である場合を説明する。この場合、２つのＰＣＲ値の差である１０００の分だけ、３次元付加画像ストリーム８０４の開始ＴＳパケットのＰＣＲ値を２０００に修正する。

また、修正されたＰＣＲ値に基づいて、次に連続されるパケットのＤＴＳとＰＴＳ値を修正する。このようにタイムスタンプを修正すれば、ＰＴＳを介して２つの画像ストリーム８０２、８０４の同期化がなされ、ステレオスコピック画像で再生されることができる。３次元放送サービス期間８１６内に視聴者がテレビをつけてサービスを提供され始める場合があり得るため、メイン画像ストリーム８０２は、３次元放送サービス期間８１６内にも常に３次元放送が始まる時点及びこれに該当するＰＣＲ値を含む必要がある。このように構成される場合、ステレオスコピック画像提供装置は、３次元放送サービス期間８１６中にもメイン画像ストリーム８０２の３次元放送開始初期時点及び該当ＰＣＲ値を分かることができるので、３次元付加画像ストリーム８０４との同期化を行うことができる。

さらに、最も正確な同期化のために、ＰＥＳヘッダ内に含まれるｐｒｏｇｒａｍ＿ｐａｃｋｅｔ＿ｓｅｑｕｅｎｃｅ＿ｃｏｕｎｔｅｒフィールドまたはＰＥＳ Ｐｒｉｖａｔｅ ｄａｔａフィールドが使用され得る。これは、連続的なＰＥＳパケットのカウンタ役割を果たすものであって、３次元放送が始まる時点にＰＥＳヘッダのｐｒｏｇｒａｍ＿ｐａｃｋｅｔ＿ｓｅｑｕｅｎｃｅ＿ｃｏｕｎｔｅｒ＿ｆｌａｇは１になり、メイン画像ストリーム８０２のＰＥＳパケットに対するカウントがｐｒｏｇｒａｍ＿ｐａｃｋｅｔ＿ｓｅｑｕｅｎｃｅ＿ｃｏｕｎｔｅｒを介して行われる。３次元付加画像ストリーム８０４を構成するＰＥＳパケットのカウント番号がメイン画像ストリーム８０２で３次元放送が始まる時点の初めのＰＥＳパケットカウント番号と同一に修正される。

例えば、メイン画像ストリーム８０２の３次元放送が始まる時点のＰＥＳパケットカウント番号が１００である場合、３次元付加画像ストリーム８０４の初めのＰＥＳパケットカウント番号が１００に修正される。また、ＰＥＳ Ｐｒｉｖａｔｅ ｄａｔａフィールドを用いてパケットまたはフレームごとに番号を割り当てることができる。この方法によって３次元付加画像ストリーム８０４を構成するＰＥＳパケットまたはフレームの番号がメイン画像ストリーム８０２で３次元放送が始まる時点の初めのＰＥＳパケットまたはフレーム番号と同一に修正され得る。

Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ（ＰＭＴ）８１４は、このような同期化を行うために必要な情報を含むことができる。同期化のために、３次元放送開始部分のＰＣＲ値であるｉｎｉｔｉａｌ＿ＰＣＲ８０８、３次元放送開始部分のパケットカウント番号であるｉｎｉｔｉａｌ＿ｐａｃｋｅｔ＿ｓｅｑｕｅｎｃｅ＿ｃｏｕｎｔｅｒ８１０、プログラム識別情報であるＳｕｂＰＩＤ８１２が使用され得る。これに対するより詳細な説明は、図９を参照して以下において説明する。

図９は、本発明の一実施形態によって放送プログラム情報を表すＰＭＴ９００の構成図である。

ＰＭＴ９００は、ＭＰＥＧ−２システム上でデジタル放送プログラムに対する基本的な情報を表現する。ＰＭＴ９００内に含まれる記述子（ｄｅｓｃｒｉｐｔｏｒ）として、２次元／３次元放送有無、メイン画像と３次元付加画像との連関情報、及び初期ＰＣＲを含む３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ９０２と３Ｄ＿ｄｅｐｅｎｄｅｎｃｙ＿ｄｅｓｃｒｉｐｔｏｒ９０４とを定義する。３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ９０２は、放送プログラムの２次元放送期間と３次元放送期間に関する情報を含む。ｐｒｏｇｒａｍ＿ｉｎｆｏ＿ｌｅｎｇｔｈの次には全体放送プログラムに対して付加的に求められる記述子が追加され得るため、３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ９０２は、ｐｒｏｇｒａｍ＿ｉｎｆｏ＿ｌｅｎｇｔｈの次に配置される。

図９に示すように、Ｎ１ ｌｏｏｐは、大別してメイン画像９０６及びオーディオ９０８に関する情報を入れるビットストリームに分けられる。３Ｄ＿ｄｅｐｅｎｄｅｎｃｙ＿ｄｅｓｃｒｉｐｔｏｒ９０４は、メイン画像と３次元付加画像との連関性情報を含む。ＥＳ＿ｉｎｆｏ＿ｌｅｎｇｔｈの次には放送プログラムを構成するメイン画像に連関された付加情報が追加され得るため、３Ｄ＿ｄｅｐｅｎｄｅｎｃｙ＿ｄｅｓｃｒｉｐｔｏｒ９０４は、ＥＳ＿ｉｎｆｏ＿ｌｅｎｇｔｈの次に配置される。３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ９０２と３Ｄ＿ｄｅｐｅｎｄｅｎｃｙ＿ｄｅｓｃｒｉｐｔｏｒ９０４とは、ＰＭＴ９００の内部に含まれるものに限定されず、他の放送サービスに適用される様々なテーブルに独立した記述子として含まれることができる。

また、３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ９０２と３Ｄ＿ｄｅｐｅｎｄｅｎｃｙ＿ｄｅｓｃｒｉｐｔｏｒ９０４との名称とＰＭＴ９００内における位置は実施形態によって変更され得るし、これらの各々に含まれて記述されたフィールドは、他の記述子に含まれるか、独立した記述子として実現され得る。

表１は、３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒの一例を表すものであって、３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒは、２次元／３次元放送有無及び初期ＰＣＲ情報を含む。

表１において、３ＤＳｅｒｖｉｃｅ＿ｆｌａｇは、２次元または３次元放送有無を区分するためのものであって、値が「０」である場合に２次元放送を表し、「１」である場合に３次元放送を表すものと定義されることができる。ｉｎｉｔｉａｌ＿ＰＣＲは、３次元放送が始まる時点の時間基準値である初期ＰＣＲ値を表す。

表２は、３Ｄ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒの他の一例を表す。

ｉｎｉｔｉａｌ＿ｐａｃｋｅｔ＿ｓｅｑｕｅｎｃｅ＿ｃｏｉｕｎｔｅｒは、３次元放送が始まる時点でＰＥＳパケットのカウント番号を表すか、ＰＥＳ Ｐｒｉｖａｔｅ ｄａｔａフィールドに割り当てられたフレームのカウント番号を表す。

３Ｄ＿ａｕｘｉｌｉａｒｙ＿ｄａｔａＴｙｐｅは、ステレオスコピック画像提供装置に格納された３次元付加画像ストリームの画像構成タイプを表す。同期化された左の画像と右の画像とをステレオスコピック画像に表示するには種々の方法がある。左右の画像を重ねて表示する偏光方式、左右の画像のフレームを交互に繰り返して再生するフレームシーケンシャル（Ｆｒａｍｅ ｓｅｑｕｅｎｔｉａｌ）方式、左右の画像のフィールド画像を交互に繰り返して再生するフィールドシーケンシャル（Ｆｉｅｌｄ ｓｅｑｕｅｎｔｉａｌ）方式、左の画像の奇数ラインと右の画像の偶数ラインとをライン単位としてインターリービングして再生する方式、左の画像の奇数列と右の画像の偶数列とをピクセル単位としてインターリービングして再生する方式などが主に利用される。３次元付加画像は、ステレオスコピックコンテンツ再生時にのみ利用され得るため、、この場合、画像に対する大きさ情報が必要である。なぜなら、偏光方式やフレームシーケンシャル方式は、メイン画像と同じサイズの画像が必要であるが、残りの方式は、メイン画像と対比して水平または垂直方向に半分サイズの画像が必要なためである。

表３は、３Ｄ＿ａｕｘｉｌｉａｒｙ＿ｄａｔａＴｙｐｅを表す。３Ｄ＿ａｕｘｉｌｉａｒｙ＿ｄａｔａＴｙｐｅは、３次元付加画像の大きさ情報を含み、深さ画像または変移画像に対するメタデータを含む。深さ画像または変移画像に対するメタデータは、左の画像と右の画像とをステレオスコピック画像で表示するときに用いられる。

表４は、３Ｄ＿ｄｅｐｅｎｄｅｎｃｙ＿ｄｅｓｃｒｉｐｔｏｒ９０４の構造を表す。

３Ｄ＿ｄｅｐｅｎｄｅｎｃｙ＿ｄｅｓｃｒｉｐｔｏｒ９０４は、２次元／３次元放送有無が３次元放送である場合に用いられ、メイン画像と３次元付加画像との連関情報を含む。ＳｕｂＰＩＤは、ステレオスコピック画像を再生するために、メイン画像ストリームと連関された３次元付加画像ストリームのＰＩＤを表す。また、ＳｕｂＰＩＤは、メイン画像ストリームと連関された３次元付加画像ストリームの特定インデックスを表すことができる。３Ｄ＿ａｕｘｉｌｉａｒｙＤａｔａ＿ｓｔｒｅａｍｔｙｐｅは、ステレオスコピック画像提供装置に格納された３次元付加画像のストリームタイプ（例えば、ＭＰＥＧ−２ ｓｔｒｅａｍまたはＡＶＣ ｓｔｒｅａｍなど）を表す。

本発明は前述した実施形態に限定されず、様々な実施形態に置換、変形される得る。例えば、高画質ステレオスコピックサービスの他に、マルチャンネルオーディオサービスの場合は、本発明によって容易に実現されることができる。一実施形態として、２０．１チャンネルサービスを提供する場合、ステレオスコピック画像提供装置は、１５チャンネルを予め受信して格納し、５．１チャンネルをメイン放送が放送されるときに受信するように実現されることができる。この場合、ステレオスコピック画像提供装置は、この２つを統合して２０．１チャンネルサービスを使用者に提供することができる。

本明細書において記載したモジュール（ｍｏｄｕｌｅ）という用語は、特定の機能や動作を処理する装置を表す１つの単位をいい、これは、ハードウェアやソフトウェア、またはハードウェア及びソフトウェアの結合で実現されることができる。

前述した装置及びシステムは、ハードウェア、ソフトウェア、またはこれらの組み合わせによって実現され得る。ハードウェアの実現において、ステレオスコピック画像の同期化のために用いられたモジュールは、１つ以上の注文型集積回路ＡＳＩＣ、デジタル信号プロセッサＤＳＰ、デジタル信号処理装置ＤＳＰＤ、プログラム可能論理装置ＰＬＤ、フィールドプログラム可能ゲートアレイＦＰＧＡ、プロセッサ、制御機、マイクロ−制御機、マイクロプロセッサ、ここに記述した機能を行うように設計された他の電子ユニットまたはこれらの組み合わせによって実現されることができる。ソフトウェアは、ここに記述された機能を行うモジュールによって実現されることができる。ソフトウェアコードは、メモリユニットに格納され、プロセッサによって実行され得る。メモリユニットは、プロセッサ内部または外部で実現されることができ、この場合に、メモリは、公知された様々な手段によってプロセッサと接続されることができる。

一方、前述したような本発明の方法は、コンピュータプログラムによって作成が可能である。そして、前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論され得る。また、前記作成されたプログラムは、コンピュータが読み出すことのできる記録媒体（情報格納媒体）に格納され、コンピュータによって読み取られ、実行されることにより、本発明の方法を実現する。そして、前記記録媒体は、コンピュータが読み取り可能なあらゆる形の記録媒体（ＣＤ、ＤＶＤのような有形的媒体だけでなく、搬送波のような無形的媒体）を含む。

前述した本発明は、本発明の属する技術分野における通常の知識を有した者にとって、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であるため、前述の実施形態及び添付した図面によって限定されるものではない。

Claims (20)

1. ステレオスコピック画像を提供する方法であって、
   第１の画像を格納するステップと、
   前記第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信するステップと、
   前記第１の画像と前記第２の画像とを同期化するステップと、
   前記同期化された２つの画像を出力するステップと、
   を含むことを特徴とするステレオスコピック画像提供方法。
2. 前記第１の画像と前記第２の画像とのうち、少なくとも１つがデジタル放送プログラムであり、
   前記第１の画像格納ステップで前記第１の画像が、前記デジタル放送プログラムが放送される時間以前に格納され、
   前記第２の画像受信ステップで前記第２の画像が、前記デジタル放送プログラムが放送される時間に受信されることを特徴とする請求項１に記載のステレオスコピック画像提供方法。
3. 前記第１の画像と前記第２の画像とが、各々独立して２次元画像に表示され得ることを特徴とする請求項１に記載のステレオスコピック画像提供方法。
4. 前記同期化ステップが、
   前記第１の画像と前記第２の画像との時間基準値を各々抽出するステップと、
   前記抽出された時間基準値を用いて前記第１の画像と前記第２の画像とを同期化するステップと、
   を含むことを特徴とする請求項１に記載のステレオスコピック画像提供方法。
5. 前記同期化ステップが、
   前記第１の画像からプログラム識別情報を抽出するステップと、
   前記第２の画像からステレオスコピック画像が形成されるか否かを確認するステップと、
   前記確認ステップでステレオスコピック画像を形成するものと確認された場合、前記抽出されたプログラム識別情報に応じて前記第１の画像と前記第２の画像とを連関させるステップと、
   をさらに含むことを特徴とする請求項４に記載のステレオスコピック画像提供方法。
6. 前記時間基準値を用いた同期化ステップが、前記抽出された時間基準値のいずれか１つを他の１つと一致するように修正することを特徴とする請求項４に記載のステレオスコピック画像提供方法。
7. 前記時間基準値を用いた同期化ステップが、前記抽出された時間基準値に応じて前記第１の画像または前記第２の画像のうち、少なくとも１つのタイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）を修正することを特徴とする請求項４に記載のステレオスコピック画像提供方法。
8. 前記時間基準値を用いた同期化ステップが、
   前記抽出された時間基準値に応じて前記第２の画像を構成するパケットをカウントし、前記第１の画像を構成するパケットのカウント番号を前記第２の画像を構成するパケットのカウント番号と一致するように修正することを特徴とする請求項４に記載のステレオスコピック画像提供方法。
9. ステレオスコピック画像を提供する装置であって、
   第１の画像を格納する格納部と、
   前記第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信する受信部と、
   前記第１の画像と前記第２の画像とを同期化する同期化制御部と、
   前記同期化された２つの画像を出力する出力部と、
   を備えることを特徴とするステレオスコピック画像提供装置。
10. 前記第１の画像と前記第２の画像とのうち、少なくとも１つがデジタル放送プログラムであり、
    前記格納部が、前記第１の画像を前記デジタル放送プログラムが放送される時間以前に格納し、
    前記受信部が、前記第２の画像を前記デジタル放送プログラムが放送される時間に受信することを特徴とする請求項９に記載のステレオスコピック画像提供装置。
11. 前記第１の画像と前記第２の画像とが、各々独立して２次元画像に表示され得ることを特徴とする請求項９に記載のステレオスコピック画像提供装置。
12. 前記同期化制御部が、
    前記第１の画像と前記第２の画像との時間基準値を各々抽出する時間基準値抽出部と、
    前記抽出された時間基準値を用いて前記第１の画像と第２の画像とを同期化する同期化部と、
    を備えることを特徴とする請求項９に記載のステレオスコピック画像提供装置。
13. 前記同期化制御部が、
    前記第１の画像からプログラム識別情報を抽出するプログラム識別情報抽出部と、
    前記第２の画像からステレオスコピック画像が形成されるか否かを確認する画像制御部と、
    前記画像制御部でステレオスコピック画像を形成するものと確認された場合、前記抽出されたプログラム識別情報に応じて前記第１の画像と前記第２の画像とを連関させる画像連関部と、
    をさらに備えることを特徴とする請求項１２に記載のステレオスコピック画像提供装置。
14. 前記同期化部が、前記抽出された時間基準値のいずれか１つを他の１つと一致するように修正することを特徴とする請求項１２に記載のステレオスコピック画像提供装置。
15. 前記同期化部が、前記抽出された時間基準値に応じて前記第１の画像または前記第２の画像のうち、少なくとも１つのタイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）を修正することを特徴とする請求項１２に記載のステレオスコピック画像提供装置。
16. 前記同期化部が、
    前記抽出された時間基準値に応じて前記第２の画像を構成するパケットをカウントし、前記第１の画像を構成するパケットのカウント番号を前記第２の画像を構成するパケットのカウント番号と一致するように修正することを特徴とする請求項１２に記載のステレオスコピック画像提供装置。
17. ステレオスコピック画像を同期化する方法であって、
    第１の画像を格納するステップと、
    第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信するステップと、
    前記第１の画像と前記第２の画像とを同期化するステップと、
    を含むことを特徴とする同期化方法。
18. 前記第１の画像と前記第２の画像とのうち、少なくとも１つがデジタル放送プログラムであり、
    前記第１の画像格納ステップで前記第１の画像が、前記デジタル放送プログラムが放送される時間以前に格納され、
    前記第２の画像受信ステップで前記第２の画像が、前記デジタル放送プログラムが放送される時間に受信されることを特徴とする請求項１７に記載の同期化方法。
19. ステレオスコピック画像を同期化する装置であって、
    第１の画像を格納する格納部と、
    前記第１の画像と連関されてステレオスコピック画像を形成できる第２の画像を受信する受信部と、
    前記第１の画像と前記第２の画像とを同期化する同期化制御部と、
    を備えることを特徴とする同期化装置。
20. 前記第１の画像と前記第２の画像とのうち、少なくとも１つがデジタル放送プログラムであり、
    前記格納部が、前記第１の画像を前記デジタル放送プログラムが放送される時間以前に格納し、
    前記受信部が、前記第２の画像を前記デジタル放送プログラムが放送される時間に受信することを特徴とする請求項１９に記載の同期化装置。

Images