JP5955851B2 - ３ｄ画像データの転送 - Google Patents

Description

本発明は三次元(3D)画像データを転送する方法に関し、当該方法は、3Dソース装置において、画像フレームを有する3D表示信号を生成するためにソース画像データを処理して、前記3D表示信号を出力し、3Dターゲット装置において、3D画像データを抽出して、3D表示信号に基づいて出力を提供する。

本発明はさらに、上記3Dソース装置、3D表示信号及び3Dターゲット装置に関する。

本発明は、例えば3Dを目的としたDVBのための拡張として、圧縮された形態で、又は、高速デジタル・インタフェイス(例えばHDMI)を介して非圧縮で、三次元(3D)画像データを転送する分野に関する。

(静止画又は動画の)三次元画像を表示するためのさまざまな方式が知られている。１つの既知の方式は、異なる光学偏光又は色(例えば赤及び緑)によって左目及び右目に対して符号化される２つの画像を同時に表示する。観察者は、左及び右目の前にレンズを有する一対の特別な眼鏡を着用する。レンズは、その目を対象とする画像のみを通過するように用意され、すなわち、左目はその目を対象とした画像のみを見る。他の立体表示技術は、左目を対象とする画像及び右目を対象とする画像を順番に示す。ユーザは、表示される画像に同期するシャッターを備える特別な眼鏡を着用し、左目のシャッターは左目用の画像が表示されている期間に開き、右目のシャッター右目用の画像が表示されている期間に開く。

自動立体表示技術は、観察者が特別な眼鏡を着用する必要性を無くす。１つの既知の方式は、表示素子の前に取り付けられた複数の傾斜するレンチキュラレンズを有するフラットパネルディスプレイを用いる。この種のディスプレイの例は、WO07/069195A2に開示される。

2Dビデオ・データを供給するための装置が知られている(例えばDVDプレーヤーのようなビデオ・プレーヤー又はデジタルビデオ信号を提供するセットトップボックス)。ソース装置は、TVセット又はモニタのような表示装置に接続される。画像データは、ソース装置から、適切なインタフェイス(好ましくはHDMIのような高速デジタル・インタフェイス)を介して転送される。現在、3Dブルーレイ・プレーヤーのような3D拡張装置が市場に登場している。ソース装置から表示装置へ3Dビデオ信号を転送するために、例えば既存のHDMI規格に基づいてそれと互換性がある、新たな高データ速度のデジタル・インタフェイス規格が開発されている。通常、2Dデジタル画像信号を表示装置へ転送することは、フレーム毎にビデオ・ピクセル・データを送ることを含み、これらのフレームは順次表示される。そのようなフレームは、プログレッシブ・ビデオ信号(フルフレーム)のビデオ・フレームを表すことができ、又は、（あるフレームが奇数ラインを提供し、次のフレームが引き続き表示される偶数ラインを提供する、周知のライン・インタレーシングに基づいて）インタレース・ビデオ信号でビデオ・フレームを表すことができる。

同様に、エンドユーザへの2Dコンテンツの配信は、DVBから知られる。3Dブルーレイ装置の市場導入によって、立体視コンテンツが利用可能になり、ケーブル又は衛星のような他の手段によっても、このコンテンツの配信を可能にするという要求が存在している。適応するために、業界は、DVBを通じた3Dコンテンツの配信を可能にするために、DVBフレームワークを拡張している。

本発明は、従来の技術によって言及されていない態様において、三次元画像データ(3D)を配信する他の態様を提供することを試みる。

請求の範囲は、本発明の実施の形態を定める。本発明によれば、マルチビュー画像データを有する三次元画像信号を出力するための3Dソース装置が提供され、当該3Dソース装置は、
-画像データを受信するための入力、
-画像データに基づいて三次元画像信号を生成するための生成器を有し、
前記三次元画像信号は、
立体視表示に用いられる複数の2D画像を含む第１コンポーネント、
オーバレイ・データを含む第２コンポーネント、
複数の2D画像のそれぞれに画像データをオーバレイするために用いられる視差シグナリング情報を定める第３コンポーネントであって、時間変動する視差プロファイルを有する視差情報を定めるパラメータを含む第３コンポーネント、
前記三次元画像信号における前記第３コンポーネントより後の時間において、前記複数の2D画像のそれぞれに画像データをオーバレイするために用いられる新たな視差シグナリング情報を定める、更なる第３コンポーネントを有し、
前記更なる第３コンポーネントは、新たな時間変動する視差プロファイルを有する新たな視差情報を定める更なるパラメータを含み、
前記更なる第３コンポーネント中の前記新たな視差シグナリング情報は、第３コンポーネント中の視差シグナリング情報をくつがえす。

さらに、本発明によれば、マルチビュー画像データを有する三次元画像信号を受信するための3Dターゲット装置が提供され、当該3Dターゲット装置は、
-三次元画像信号を受信するための受信機、
-三次元画像信号を、少なくとも、
立体視表示に用いられる複数の2D画像を含む第１コンポーネント、
オーバレイ・データを含む第２コンポーネント
複数の2D画像のそれぞれに画像データをオーバレイするために用いられる視差シグナリング情報を定める第３コンポーネントであって、時間変動する視差プロファイルを有する視差情報を定めるパラメータを含む第３コンポーネント、
前記三次元画像信号における前記第３コンポーネントより後の時間において、前記複数の2D画像のそれぞれに画像データをオーバレイするために用いられる新たな視差シグナリング情報を定める、更なる第３コンポーネント、
へと、逆多重化するための逆多重化装置を有し、
前記更なる第３コンポーネントは、新たな時間変動する視差プロファイルを有する新たな視差情報を定める更なるパラメータを含み、前記更なる第３コンポーネント中の前記新たな視差シグナリング情報は、第３コンポーネント中の視差シグナリング情報をくつがえし、当該3Dターゲット装置はさらに、
立体視表示に用いられるそれぞれの2D画像を生成するための生成器を有し、
オーバレイ・データは、視差シグナリング情報内で定められるように、オーバレイされる。

第１コンポーネントがステレオ対を有することができることが留意されるべきである。

3Dブルーレイ・ディスクのためのような予め編集されたコンテンツと一般的にDVBを通じて放送されるコンテンツとの間には相当な差異が存在することが、本発明者らの洞察である。DVBを通じて放送されるコンテンツは、非常に多くの場合、ニュース、スポーツ・ゲームのようなライブのコンテンツ、又は、3Dブルーレイ・ディスク上のコンテンツのように大がかりなオーサリングのコストを正当化するにはコスト的に魅力のないコンテンツを含む。

2Dのライブ・コンテンツにとっては難しくない特定のオーサリング・タスクは、3Dのライブ・コンテンツのためには実施するのがより難しい。そのようなオーサリング・タスクの例は、リアルタイム映像のための字幕の生成である。2Dでは、手動又はコンピュータ支援による字幕生成によって、オンザフライで字幕を挿入することは可能であるが、3Dコンテンツに字幕を入れるタスクが更なる課題を提供するという点で、複雑化要因が存在する。第３コンポーネントにおいて、視差シグナリング情報は、オーバレイの視差が時間とともにどのように変化することが予想されるか示すための予測値を提供する。更なる第３コンポーネントにおいて、オーバレイの視差が時間とともにどのように変化することが予想されるか示すための更なる予測値が、それ以前の予測値をくつがえす。

観察者の不快感を低減するために、字幕は、三次元(3D)画像データによって提供される深さの印象を損なわないように配置される必要がある。更なる複雑化要因は、一旦、3Dターゲット装置が三次元(3D)画像データを受信して、エンドユーザへの表示のための出力データを生成すると、装置は、次に、そのユーザインタフェイスのためのオン・スクリーン表示（On-Screen-Display：OSD）の形で更なるグラフィクスをオーバレイすることを必要とする場合があることである。

これらの問題に対処するために、本発明は、三次元画像信号を生成する方法を提案し、当該三次元画像信号はマルチビュー画像データの形の第１コンポーネント、マルチビュー画像データにオーバレイするためのデータを表す第２コンポーネント、及び、視差情報を通知するメタデータの形の第３コンポーネントを含み、視差シグナリング情報は、画像の(サブ)領域のための、この領域における視差が時間とともにどのように変化すると予想されるかを示す予測値を提供する。

好ましくは、予測値は、単一の予測値である。この予測値を用いて、3Dターゲット装置が、しかるべくそれぞれの字幕及び/又はグラフィクス情報を適切に移動させることによって、字幕及び/又はグラフィクス情報を正しくオーバレイすることが可能である。そのような(サブ)領域におけるグラフィクスの移動は、好ましくは、隣接するビューに分配され、例えば、ステレオ対の場合、グラフィクスの移動は、好ましくは、左画像と右画像との間で等しく分配されることは、当業者にとって明らかである。

予測値を用いて、異なる時点間で、より漸進的な視差の変化を提供することが可能である。さらに、予測が不正確であると判明した場合（ライブ映像を符号化するときに起こり得る）、多くのオーバーヘッドを導入することなく、補正値を通知することが可能である。

好ましくは、視差シグナリング情報は、ランダムな時点においてストリームにアクセスすることの容易さを改善するように、画像領域の視差の現在の値の表示を提供する。

一実施例において、視差シグナリング情報は、第１プレゼンテーション・タイムスタンプのための第１視差値、及び、時間にわたる視差値の変動を示す係数を定める。この係数は、フレームあたりのピクセル又はピクセル割合の変化で特定されるか、あるいは、3Dソース及び3Dターゲット装置の両方で利用可能なシステム・クロックに基づくことができる。

オプションとして、時間変動する視差プロファイルを定めるパラメータは、時間である。

オプションとして、第３コンポーネントは、少なくとも２つの視差値を定める情報を含む。さらに、第３コンポーネントは、少なくとも２つの視差値の第１視差値から少なくとも２つの視差値の第２視差値への遷移のための時間間隔を定めることができる。

他の実施例において、視差シグナリング情報は、第１プレゼンテーション・タイムスタンプのための第１視差値及び第２プレゼンテーション・タイムスタンプのための第２視差値を定める。この情報は、さらに、字幕/グラフィクス情報の表示のための視差値を決定する可能性を3Dターゲット装置に提供する。シグナリング・ユニットが送信などにおいて失われる場合に、視差の過剰な変化が防止されることができるという点で、２つの十分に定義されたポイントの使用は安全機能を提供する。

更なる改良において、視差シグナリング情報予測値は、プロファイルの事前に決められたセットから選択される視差プロファイルをさらに含むことができ、それによって、視差シグナリングの微調整を可能にする。後者は、より漸進的な変化を可能にし、これは、コンテンツが字幕を入れられる前に時間遅延を通過するときに実施されることができる。オプションとして、第３コンポーネントは、事前に決められた視差遷移プロファイルのうちの１つを選択するパラメータを含む。オプションとして、選択された事前に決められた視差遷移プロファイルは少なくとも１つのパラメータによってパラメータ化され、第２コンポーネントは時間変動する視差プロファイルを定めるためのパラメータを更に有する。

当業者にとって明らかであるように、三次元信号を生成する方法は、視差情報を通知するメタデータを有する三次元信号を受信する方法としての対応する方法を伴う。

三次元画像信号を受信する方法は、視差シグナリング・コンポーネントに沿って視差値によって指定された領域において第１コンポーネントからの三次元画像信号上に第２コンポーネント中に含まれるオーバレイ・データをオーバレイするために三次元画像信号中の第３コンポーネントを用いるステップを有する。

本発明はさらに、マルチビュー画像データを受信するための受信機、三次元画像信号を生成するための生成器を有する3Dソース装置に関し、三次元画像信号は、マルチビュー画像データの形の第１コンポーネント、マルチビュー画像データにオーバレイするためのデータを表す第２コンポーネント、視差情報を通知するメタデータの形の第３コンポーネントを有し、視差シグナリング情報は、画像の(サブ)領域のための、この領域中の視差が時間とともにどのように変化することが予想されるかを示す単一の予測値を提供する。

本発明はさらに、本発明による三次元信号を受信するための3Dターゲット装置に関し、当該3Dターゲット装置は、本発明による三次元信号を受信するための受信機、視差シグナリング・コンポーネントに沿った視差値によって、視差シグナリング情報において特定されるように指定された領域に第１コンポーネント中に含まれるそれぞれの画像上に第２コンポーネント中に含まれるオーバレイ・データをオーバレイするためのオーバレイ生成器を有する。

本発明はさらに本発明による三次元画像信号に関する。

本発明は、さらに、本発明による三次元信号を生成又は受信するための方法を実施するためのソフトウェアに関する。

本発明は、さらに、コンピュータ上で実施されるときに、本発明による三次元信号を生成又は受信する方法を実施する命令を含むコンピュータ・プログラムに関する。

上記がDVB(デジタル・ビデオ放送)での3Dビデオ信号の送信を参照して説明されたが、いうまでもなく、本発明は、ATSC(Advanced Television Systems Committee)のような他の放送方式の環境にも適用されることができる。同様に、言及された実施例はDVB(圧縮ビデオ・データを含む)に関係するが、本発明は、物理装置インタフェイス(例えばHDMI(High-Definition Multimedia Interface)又はディスプレイ・ポート）の文脈でも同様に適用可能であることに留意されるべきである。

上記を考慮して、したがって、本発明が3D-DVBからのインタフェイスに最初に用いられることが可能であり、放送装置の形の3Dソース装置は、セットトップ・ボックス(STB)の形の3Dターゲット装置に本発明による第１三次元画像信号を送る。そして、STBは、例えば、入力信号上にOSDをオーバレイすることができ、それに基づいて、本発明に従って第２三次元画像信号を生成し、HDMIインタフェイス上でそれを3Dテレビジョン・セットに送信することができる（すなわち、ここではSTBが3Dソース装置として機能する）。

本発明の実施の形態は、単なる例として、添付の図面を参照して説明される。

領域、部分領域及びオブジェクトを含む、グラフィクスのオーバレイを参照するときに、本出願の全体にわたって使用されるいくつかのコンセプトを説明する図。 ある領域のための視差設定がステレオ・ペアの左及び右画像をそれぞれ生成するためにどのように用いられることができるかについて説明する図。 オーバレイのための視差を定めるための従来技術のメカニズムを示す図。 本発明による実施の形態においてオーバレイのための視差値がどのように定められることができるかについて示す図。 本発明による他の実施の形態においてオーバレイのための視差値がどのように定められることができるかについて示す図。 従来技術に対する本発明の利点を説明する図。 本発明による3Dソース装置のブロック図を示す図。 本発明による3Dターゲット装置のブロック図を示す図。 本発明による3Dソース装置及び3Dシンク装置を用いるシステムを示す図。

本発明は、従来技術によって対処されない態様において、三次元画像データ(3D)を送る他の態様を提供する。本発明は、三次元画像信号の配信に対処することを目的とし、記録されたコンテンツ等と同様にライブのコンテンツのために用いられることができる。

従来技術とは対照的に、本発明は、リアルタイムで字幕をつけることに関する問題に対処する。3Dブルーレイ・ディスクのためのような予めオーサリングされるコンテンツと、一般的にDVB上で放送されるコンテンツとの間には、相当な差異が存在し、DVB上で放送されるコンテンツは、多くの場合、ニュース、スポーツのような、すなわち詳細なオーサリングを実行するための時間が無いコンテンツである、ライブのコンテンツを含むことが、本発明者らの洞察である。

図1Aを参照して、グラフィクスをオーバレイすることを参照するときに、図1Aは、本出願の全体にわたって参照されるいくつかのコンセプトを説明する。マルチビュー画像のためのオーバレイを生成するために必要とされる情報を参照する際の本発明の文脈の内で、この情報は、ページ定義として示される。ここで、ページ定義は、例えばタイム・シーケンシャル・ステレオ表示のために、表示装置の表示領域と一致する画像リファレンス400を用いて記述され、この領域は、表示装置のピクセル・アレイを反映する。

ページ定義は、例えば領域定義を含み、これらの領域定義は、画像リファレンス400の中で領域405を定める（ここではグラフィクスがオーバレイされることができる矩形の領域）。更に、この実施例のページ定義は、領域410内にオーバレイされることができるオブジェクト410を定めるオブジェクト定義を含む。

実施例のオブジェクト410は「Text」という語を示すが、そのようなオブジェクト定義は多くのオブジェクトのうちの１つであることが留意されるべきである。例えば、オブジェクトは、以下に列挙されるものの任意の１つの組み合わせとしても定められることができる。
・テキスト文字ストリング
・テキスト文字ストリング及びフォント選択（オプションとして、従来の2D書体から知られている、例えば、書体スタイル、サイズ、イタリック体、ボールド体を定める更なる属性を伴う）。例えばフォント深さ値のような及び/又はエンボス・フォント・スタイルの選択を通した、深さ属性を有するテキスト文字列を提供する更なる特徴が提供されることができる。
・ビットマップ・グラフィックス(オプションとして特定の深さを有する)
・アニメーションのビットマップ・グラフィックス(再びオプションとして特定の深さを有する)。

実施例は、１つの領域405中に位置し、破線によって境界を定められる２つのいわゆる部分領域415の定義をさらに示す。

領域405中に正しくオブジェクト410をオーバレイするために、更なる定義、視差シグナリング定義が必要とされ、視差シグナリング定義は、視差シグナリング・セグメントの形でストリーム中に提供されることができる。

その最も単純な形態において、本発明によって提供される視差シグナリング・セグメントは、ページ・レベルでの視差値を定める。その結果、例えばステレオ・ディスプレイの場合、左及び右画像を生成するとき、オーバレイ領域中に提供される全ての情報は、同じ伸張によって変位する。

ページ・レベル方式を用いる利点は、オーバレイ機能を有する装置が比較的単純に保たれることができることである。

より進化した方式では、視差シグナリング定義は、領域及び/又は部分領域のための視差値を提供する。このようにして、より進化したオーバレイが実現されることができる。例えば、会話のための字幕が提供される必要があり、会話をする２人が異なる場所に位置し、１人がカメラの近くの左に、１人がカメラから離れて右にいる状況を考える。より進化した視差シグナリング方式は、この更に複雑な字幕を入れる方式を可能にすることができる。

特定の深さを有するグラフィクスをオーバレイするときに、グラフィクスのそれぞれの部分の移動は、その深さに基づいて適応されなければならないが、これは、当業者にとって明らかである。

図1Bは、3D画像信号内の視差シグナリングが、この場合には左画像(450)及び右画像(460)を生成するためにどのように用いられることができるかについて示す。左画像450及び右画像460は、図1Aに説明されるようなページ定義に基づく。この例では、オブジェクト410を備えた領域405のみが、ゼロ以外の視差値を与えられる。
結果的に、左画像450を生成するときに、この例では、オブジェクト410は、２で割られた視差値によって定められる左の方へ変位し、右画像450を生成するときに、２で割られた視差値によってオブジェクト410は右の方へ変位する。

左画像のため及び右画像のための変位の合計として視差値を符号化するという選択は任意であり、他の符号化によって容易に置き換えられることができることは、当業者にとって明らかである。

グラフィクスをオーバレイするためのページ定義を提供することは簡単であると思われるかもしれないが、例えば、字幕又はオーバレイは、オーバレイされる下にある映像中に提供される情報と必ずしも同期しないことによって、ページ定義を生成する実際のプロセスは複雑である。

例えば、特定の人がライブのイベントにおいてインタビューされる状況を考える。特定の時点において、インタビュアは、インタビューを終えて、会話の最後の文を話す。その時点において、ディレクタは他のカメラへと切り替える。しかしながら、視聴者が字幕を読むために、字幕が新たなカット・シーンの上にオーバレイされる。

この問題に対処するために、従来技術の方式は、オーバレイの時間変動する位置決めを提案する。図2は、従来技術プロセスを説明する。例えば視差シグナリングがページ・レベルで発生する状況を考える。ページ定義は、時刻t0において使用される視差値はd0であるべきであり、時刻t1において使用される視差値はd1であるべきであり、時刻t2において使用される視差値はd2であることなどを定める。3Dターゲット装置が正しく視差情報を用いることを可能にするために、情報は、それが用いられる必要がある少し前に、三次元画像データ中で送られて、それが用いられるべき時点において、すなわちペア(t0,d0)はt1に対応するプレゼンテーション・タイムスタンプの前に、3Dターゲット装置によって受信されなければならない。言い換えると、そのプレゼンテーション・タイムスタンプのためのページ定義全体は、プレゼンテーション・タイムスタンプの前に揃っていなければならない。

この特定のアプローチは例えばシーン変化に応じた字幕視差の適応を可能にするが、視差値の変化は、階段状の視差の変化によって証明されるようにかなり粗雑であることが、本発明の発明者らの洞察である。

この問題に対処するために、本発明者らは、視差シグナリング情報が、この領域の視差が時間にわたってどのように変化することが予想されるかを示す、画像の(サブ)領域のための予測値を含むという、代わりのアプローチを案出した。

この方式の例が図3Aに提供される。視差制御がページ・レベルで発生する状況を再び考える。特定の時点TAにおいて、第１時刻表示t0及び関連する視差値d0が提供される。第１時刻表示は、現在の時点に近い近未来内の時刻に関する。加えて、第２時刻表示t1及び関連する第２視差値d1が提供される。

後の時刻TBにおいて、情報(t1,d1)及び(t2,d2)が受信される。さらに後の時刻TCにおいて、情報(t3,d3)及び(t4,d4)が受信される。この更新情報中に現在の及び次の視差値を提供することによって、三次元画像信号を受信する3Dターゲット装置は、これら２つの時点間を補間することができ、それによって、図3Aに示されるような線形補間を可能にする。

他の方式が図3Bに提供され、ここでは事実上、図3Bに関して実行されたのと同じ情報が提供されるが、視差シグナリング情報のフォーマットが異なる。ここでは時刻TAにおいて、３つの値、すなわち、上述の(t0, d0)、及び、時間にわたる視差の変化量を定めるc0が提供される。

図3A及び3Bを参照した上記両方の実施例は、入力三次元画像信号を解析する3Dターゲット装置が冗長情報を受信し、原則として、第１ペアのデータ(t0,d0)以外の全ては２回通知される点において、冗長データを含むことが留意されるべきである。厳密に言うと、3Dターゲット装置が受信データに基づいてこれらの値を追跡することが可能であるので、これは必ずしも必要ではない。

しかしながら、より堅牢なシステムを生成して、コンテンツに適切にアクセスするために必要とされる時間を短縮するために、折に触れてデータを繰り返すことは有益でありえる。

本発明の更なる利点が図3Cに説明される。視差シグナリングがページ・レベルである状況をもう一度考える。例えば三次元画像信号がライブのイベントのために生成される状況を考える。ある時点TAにおいて、第１時刻表示t0の前に、ページ・レベル視差はd0に設定される(t0,d0)。シーン中に適度な変化率が存在することを考慮して、更なる時点、第２時刻表示t1において、ページ・レベル視差はd1であるべきであることが予想される(t1,d1)。両方のペアは、視差シグナリング・セグメント中に提供される。

しかしながら、t0とt1との間の時点t0'において、シーンの変化の結果として、視差レベルの以前の予測値(t1,d1)は誤っていると考えられる。結果的に、本発明は、以前の予測を「くつがえし」、新たな視差シグナリング情報を送信することを提案し、新たな視差シグナリング情報は以前に送られた情報をくつがえす。

上記の態様において、本発明は、先だって送信された予測が新たな予測によってくつがえされることを可能にする。しかしながら、上記のシナリオにおいて、(t0',d0')が(t0,d0)と(t1,d1)との間のライン上にあることが更に留意されるべきである。しかしながら、これは必須ではない。実際、状況が必要とする場合、視差ジャンプを挿入することが可能であるが、これは目立ってしまうので、適度に実行されるべきである。新たな予測(t1,d1')がこの例では第２時点t1と一致することが更に留意されるべきであるが、これは必ずしもそのようである必要はない。

なお、時点の定義に関して、例えば3Dターゲット装置で利用可能である、90KHzインクリメントのようなクロックに基づいて時点を特定することが可能であるが、代わりに、フレーム番号に基づくこともできる。フレーム番号によって提供される分解能は、適切な視差シグナリングを提供するために十分である。

上述されるように、一度決定された視差信号情報は、三次元画像信号に含めるためにデータセグメントにパッケージ化されることを必要とする場合がある。表1は、視差シグナリング・セグメントの例示的な記述を提供する。表1は、ページ・レベル視差アップデート及び/又は(サブ)領域視差アップデートの使用を明確に示す。上述されるように、(サブ)領域視差アップデートをサポートしない装置はこれらのフィールドを無視して、ページ・レベル視差のみをサポートすることが可能である。ここでページ・レベル視差は、フィールドpage_default_disparity中に提供される。

なお、視差シグナリング・セグメントは、領域又はオブジェクトを定めず、主として視差シグナリングに重点を置く。部分領域は、しかしながら、DVBとの下位互換性を可能にするために、このセグメント中に定められることができる。

表1は、各々の領域内に複数の分離した部分領域が存在する場合があることを示す。この場合、subregion_idの値はゼロと異なる。

subregion_id=0場合、(整数及び分数を伴う)subregion_disparityは全ての領域に適用される。そうでない場合、複数の(ゼロより大きい異なるidを有する)部分領域が存在し、部分領域ごとに視差が与えられる。

領域ループは、ページ・デフォルト視差と異なる領域及び(あてはまる場合)部分領域あたりの全ての視差情報を含む。

視差情報は、視差シグナリング・セグメントを含むPESパケットによって供給されるプレゼンテーション・タイムスタンプ(PTS)によって決定される時点において適用可能になる。

視差シグナリング・セグメント中の各々の視差値に、第２の(異なる)値、及び、いつ（例えば何フレーム後に）その第２の値に達することが想定されるかを示す時間値を追加することが提案される。適切な中間的な値を計算することは、3Dターゲット装置の実施態様である。実施態様は、このためにサブピクセル精度を用いることを選択することもできる。視差シグナリング・セグメントの新たなバージョンは、視差値の現在の(中間的な)状態をくつがえすことがいつ適用されるかを示すPTSとともに、復号器に送られることができる。視差があらかじめ知られている場合、アップデートは、前のアップデートがその最終的な値に達した時点に同期することができる。ライブの送信のために、アップデートは、一定の間隔で送られることができるか(例えば毎秒一回)、又は、それらは、現在の方向を修正するために、インターバルの終了の前に送られることができる。

表２及び３は、それぞれpage_disparity_updates及びsubregion_disparity_updatesのための可能な構文を示す。

表２において、インターバルは、例えばend_page_default_disparityに達するまでのフレームの数で特定されることができ、end_page_default_disparityは、インターバルの終わりの視差値と一致する。

表３において、インターバルは、end_subregion_default_disparityまでのフレーム数に対応する。そして、end_subregion_disparity_integer_part及びend_subregion_disparity_fractional_partの値は、サブピクセル精度のインターバル端での視差を表す。

三次元画像信号におけるデータのフォーマットは重要であるが、それぞれ表４、５及び６によって以下で示されるようなバリエーションが想定されることができる。

ここで図4を参照すると、図4は、本発明による3Dソース装置50のブロック図を示す。3Dソース装置は、３つの機能ユニット、マルチビュー画像データ51を受信するために配置される受信機RCV、深さ情報を確立する検査ユニットINSP、及び、三次元画像信号を生成するための生成ユニットGENを含む。マルチビュー画像データ51のソースは、ライブカメラから供給されることができる（但しそれに限定されない）。本発明は、ライブ供給のためのビデオ遅延ライン、又は、さらに言えば、従来の記憶装置に由来するコンテンツに用いられることもできる。本発明は特にライブのコンテンツに適しているが、予め記録されたコンテンツのために用いられることもできる。

マルチビュー画像データ51は、圧縮された又は圧縮されていないステレオ・ペアのうちの１つの形のステレオ・ビデオを例えば表すことができる。あるいは、マルチビューは、２つを超えるビューを含む。示された例において、マルチビュー画像データ51は、ステレオ・ペアを含む圧縮されていないビデオ・ストリームである。この特定のケースにおける受信ブロックは、入力マルチビュー画像データ51を圧縮し、それによって、マルチビュー画像データを含む第１のコンポーネント52を形成する。

圧縮されていない画像データ51は、検査ユニットに送られて、ここで検査ユニットは、オンザフライで深さマップを確立するように配置される。あるいは、入力ストリームは、例えば範囲検出器又は深さカメラを用いて確立された深さマップを備えることができる。検査ユニットは、マルチビュー画像データ51をオーバレイするためのオーバレイ・データ53を受信する。例示的な実施態様において、オーバレイ・データ53は、例えば手動で入力されるか又は音声認識に基づいて生成されることができ、マルチビュー画像データと組み合わせられるべき字幕情報である。

検査ユニットは、生成された三次元信号56中に含めるための視差シグナリング情報の形の第３コンポーネント56を出力する。検査ユニットがマルチビュー情報に存在する深さ情報にアクセスして、(この例では)字幕の位置に関する情報を有するので、マルチビュー画像データ中のオブジェクトの前に字幕を配置することが可能である。字幕を収容するために利用可能な深さレンジが不十分である場合、検査ユニットは、深さ範囲全体を採用するように例えば左画像及び右画像を切り取るために、圧縮ブロックにクロッピング情報59をさらに提供することができる。その後、検査ユニットは繰り返し、出力信号中に含めるための視差シグナリング情報を作成することができる。

続いて、生成ユニットは、マルチビュー画像データ52の形の第１コンポーネント、オーバレイ・データ53及び視差シグナリング・セグメントに基づいて、3Dソース装置による出力として三次元画像信号56を生成するように配置される。

図4を参照して本願明細書において上述された圧縮及びクロッピング制御は、この特定の実施の形態に利点を追加するが、それらは本発明に必須と言う訳ではないことは、当業者にとって明らかである。

次に図5を参照して、図5は、本発明による3Dターゲット装置60のブロック図を示す。3Dターゲット装置は、本発明による三次元画像信号56を受信するための受信機RCVを含む。受信機は、例えばDVB受信機又はHDMI表示インタフェイス・ユニットであることができる。入力信号56は、続いて、それぞれのコンポーネントを三次元画像信号から抽出して、更なる処理ダウンストリームのためのコンポーネントを用意する逆多重化装置DMXを通過する。この例示的な実施の形態では、受信第１コンポーネント61、受信第２コンポーネント62及び受信第３コンポーネント63。

受信された第１コンポーネント61はマルチビュー画像データを含み、第２コンポーネントはオーバレイ・データを含み、第３コンポーネントは視差シグナリング情報を含む。これらの３つのコンポーネントは、それぞれのステレオ・ペアの左及び右画像に対応する２つの出力画像68及び69を生成するために、生成器GENによって続いて用いられる。左及び右画像は、図1A及び1Bを参照して説明されたような視差シグナリング情報に従って領域中に位置するオブジェクトを正しく変位させることによって生成されることができる。

上述されるように、本発明による三次元画像信号は、マルチビュー映像上のオーバレイの配置に関する情報を提供する。一実施例において、そのような三次元画像信号は、放送装置により、ブロードキャスト、ユニキャスト又はマルチキャストされる。信号は、例えば本発明による視差シグナリング情報を含む3D準拠DVB-Tバージョンを用いてブロードキャストされることができる。そのような三次元画像信号がSTBによって受信され、STBが字幕を正しくオーバレイするために視差シグナリング情報を用いるとき、STBは、さらに下流の装置(例えば表示装置) にも、視差シグナリング情報を転送することができる。

上述のケースでは、表示装置は、例えばそのOSDを生成するときに、表示装置OSDが(オーバレイされる字幕を含む)テレビによって受信されるステレオ画像と衝突しないように、視差シグナリング情報を用いることができる。

本発明は、STBがさらにそのOSDをステレオ画像にオーバレイすることを選択するときに用いられることもでき、この場合、STBは、表示装置が受け入れることができるように、しかるべく視差シグナリング情報を適応させるべきである。

本発明は例えばDVB又はATSCを用いて放送されるコンテンツを参照して主として説明されたが、インターネット上でコンテンツを配信するときに本発明を用いることも可能である。

ここで図7を参照して、図7は、本発明による3Dソース装置BCST並びに２つのターゲット装置STB及びTV2を用いるシステムを示す。本発明による三次元画像信号は、２つのターゲット装置STV及びTV2へと、媒体71(例えば放送波、インターネット又はケーブル接続)を通して、3Dソース装置によって送信される。この場合、3Dターゲット装置STBは、表示装置TV1に3D機能があるHDMIインタフェイスによって接続される。

なお、本出願は、好ましくは組み合わせられる２つの発明のコンセプトを記載する。第１のコンセプトは、三次元画像信号におけるオーバレイに用いられる視差シグナリング中の１つの視差予測値の使用に関する。重要な利点として、１つの予測値の使用により、ライブのコンテンツ上に情報をオーバレイするときに、大きなオーバーヘッドを必要とせずに、滑らかな視差遷移が実現されることができる。第２のコンセプトは、本発明が１つ以上の予測値を用いた視差シグナリングを用いることを提案し、１つ以上のこれらの予測値は新たな予測値によってくつがえされることができることである。このようにして、依然としてライブの映像に対応するための柔軟性を提供しつつ、滑らかな視差プロファイルを実現するために予測値を用いることは可能なままである。さらに、１つの予測値のみが用いられると、滑らかな視差プロファイルが実現されることができ、予測値がくつがえされるときの効率ペナルティは低いままである。

本願のテキスト全体で視差情報が参照されるが、深さと視差が関連していることは当業者にとって周知である。実際、視差に対する深さのマッピングに関する情報が利用可能である場合、視差シグナリングの代わりに深さシグナリングを用いることが可能である。

上記を考慮して、深さ値を視差値にマップするための情報が提供されるならば、本願中の視差シグナリングは深さシグナリングを含むことが理解される。

しかしながら、マッピング機能が不要であるという視差シグナリングを用いることの明らかな利点を考慮して、本出願及び請求の範囲は、視差シグナリングのみを参照して記載されている。

なお、本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアとして実施されることができ、例えば、実装は、全面的に又は部分的に、専用のHW、ASIC、FPGA及び/又はPCに基づいて想定されることができる。

図面、開示及び添付の請求の範囲の検討から、開示された実施の形態に対する他のバリエーションは、請求された発明を実施する際に、当業者によって理解され、遂行されることができる。請求の範囲において、「有する」「含む」等の用語は、他の要素又はステップを除外せず、単数表現は複数を除外しない。単一のプロセッサ又は他のユニットが請求項中に列挙されるいくつかのアイテムの機能を実現することができる。単に特定の手段が相互に異なる従属請求項中に列挙されているからといって、これらの手段の組み合わせが有効に用いられることができないことを意味しない。請求の範囲におけるいかなる参照符号も、その範囲を制限するものとして解釈されるべきでない。

Claims (13)

1. マルチビュー画像データを有する三次元画像信号を出力するための3Dソース装置であって、
   画像データを受信するための入力、
   前記画像データに基づいて前記三次元画像信号を生成するために用意される生成器、
   を有し、
   前記三次元画像信号は、
   立体視表示に用いるための複数の2D画像を有する第１コンポーネント、
   オーバレイ・データを有する第２コンポーネント、
   前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための視差シグナリング情報を定める第３コンポーネントであって、時間変動する視差プロファイル持つ視差情報を定めるパラメータを有する第３コンポーネント、及び
   前記三次元画像信号中で前記第３コンポーネントよりも後の時刻において送信され、前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための新たな視差シグナリング情報を定める更なる第３コンポーネントであって、新たな時間変動する視差プロファイルを持つ新たな視差情報を定める更なるパラメータを有する更なる第３コンポーネント、
   を有し、
   前記更なる第３コンポーネント中の前記新たな視差シグナリング情報は、前記第３コンポーネント中の前記視差シグナリング情報を覆す、3Dソース装置。
2. 前記第３コンポーネントは、前記複数の2D画像のそれぞれの領域にオーバレイ・データをオーバレイするために用いるための視差シグナリング情報を有する、請求項１に記載の装置。
3. 前記第３コンポーネントは複数の領域及び/又は前記領域の部分領域に対するシグナリングを可能にする、請求項１又は請求項２に記載の装置。
4. 前記時間変動する視差プロファイルのための前記視差シグナリング情報は、視差シグナリング・セグメント中に提供され、セグメントは１つの予測値を有する、請求項１に記載の装置。
5. マルチビュー画像データを有する三次元画像信号を受信するための3Dターゲット装置であって、
   前記三次元画像信号を受信するための受信機、
   前記三次元画像信号を、少なくとも、
   立体視表示に用いるための複数の2D画像を有する第１コンポーネント、
   オーバレイ・データを有する第２コンポーネント、
   前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための視差シグナリング情報を定める第３コンポーネントであって、時間変動する視差プロファイル持つ視差情報を定めるパラメータを有する第３コンポーネント、及び
   前記三次元画像信号中で前記第３コンポーネントよりも後の時刻において受信され、前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための新たな視差シグナリング情報を定める更なる第３コンポーネントであって、新たな時間変動する視差プロファイルを持つ新たな視差情報を定める更なるパラメータを有する更なる第３コンポーネント、へと逆多重化するための逆多重化装置、並びに
   立体視表示に用いるためのそれぞれの2D画像を生成するための生成器、
   を有し、
   前記更なる第３コンポーネント中の前記新たな視差シグナリング情報は、前記第３コンポーネント中の前記視差シグナリング情報を覆し、
   前記オーバレイ・データは、前記視差シグナリング情報内で定められるようにオーバレイされる、3Dターゲット装置。
6. 前記第３コンポーネントは、前記複数の2D画像のそれぞれの領域にオーバレイ・データをオーバレイするために用いるための視差シグナリング情報を有する、請求項５に記載の装置。
7. 前記第３コンポーネントは複数の分離領域及び/又は部分領域に対するシグナリングを可能にする、請求項５又は請求項６に記載の装置。
8. 前記時間変動する視差プロファイルのための前記視差シグナリング情報は、視差シグナリング・セグメント中に提供され、セグメントは１つの予測値を有する、請求項５に記載の装置。
9. 前記受信機は、
   3D IP TV受信機、
   3D ATSC 受信機、
   3D DVB受信機、
   3D HDMI受信機インタフェイス、
   のうちのいずれかである、請求項５から請求項８のいずれか一項に記載の装置。
10. 三次元画像信号を生成する方法であって、
    画像データを受信し、
    前記画像データに基づいて三次元画像信号を生成し、前記三次元画像信号は、
    立体視表示に用いるための複数の2D画像を有する第１コンポーネント、
    オーバレイ・データを有する第２コンポーネント、
    前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための視差シグナリング情報を定める第３コンポーネントであって、時間変動する視差プロファイル持つ視差情報を定めるパラメータを有する第３コンポーネント、及び
    前記三次元画像信号中で前記第３コンポーネントよりも後の時刻において送信され、前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための新たな視差シグナリング情報を定める更なる第３コンポーネントであって、新たな時間変動する視差プロファイルを持つ新たな視差情報を定める更なるパラメータを有する更なる第３コンポーネント、
    を有し、
    前記更なる第３コンポーネント中の前記新たな視差シグナリング情報は、前記第３コンポーネント中の前記視差シグナリング情報を覆す、方法。
11. 三次元画像信号を使用する方法であって、
    前記三次元画像信号を受信し、
    前記三次元画像信号を、少なくとも、
    立体視表示に用いるための複数の2D画像を有する第１コンポーネント、
    オーバレイ・データを有する第２コンポーネント、
    前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための視差シグナリング情報を定める第３コンポーネントであって、時間変動する視差プロファイル持つ視差情報を定めるパラメータを有する第３コンポーネント、及び
    前記三次元画像信号中で前記第３コンポーネントよりも後の時刻において受信され、前記複数の2D画像のそれぞれに画像データをオーバレイするために用いるための新たな視差シグナリング情報を定める更なる第３コンポーネントであって、新たな時間変動する視差プロファイルを持つ新たな視差情報を定める更なるパラメータを有する更なる第３コンポーネント、へと逆多重化し、
    立体視表示に用いるためのそれぞれの2D画像を生成し、
    前記更なる第３コンポーネント中の前記新たな視差シグナリング情報は、前記第３コンポーネント中の前記視差シグナリング情報を覆し、
    前記オーバレイ・データは、前記視差シグナリング情報内で定められるようにオーバレイされる、方法。
12. コンピュータ上で実行されて、当該コンピュータに請求項１０又は請求項１１に記載の方法を実行させる命令を有するコンピュータ・プログラム。
13. コンピュータ上で実行されて、当該コンピュータに請求項１０又は請求項１１に記載の方法を実行させる命令を有するコンピュータ・プログラムが記録されたコンピュータ可読媒体。

Images