JP2015534745A - 立体画像の生成、送信、及び受信方法、及び関連する装置 - Google Patents

Abstract

本発明は、右画像（Ｒ）及び左画像（Ｌ）、並びに少なくとも１つの奥行きマップについての情報を含む複数の合成画像（Ｃ）を含む立体視ビデオストリーム（１０１）の生成方法に関する。方法に従って、複数のピクセルが右画像（Ｒ）及び左画像（Ｌ）から選択され、そして選択された複数のピクセルは立体視ビデオストリームの合成画像（Ｃ）へと入力される。方法は、右画像（Ｒ）の全てのピクセル、及び左画像（Ｌ）の全てのピクセルを、該２つの画像のうちの一方は変えないままとし、かつ他方は、複数のピクセルを含む複数の領域（Ｒ１、Ｒ２、Ｒ３）へ分割して、合成画像（Ｃ）へと入力する段階を与える。それから、（複数の）奥行きマップの複数のピクセルが、合成画像の、右画像及び左画像の複数のピクセルが占有しない領域へと入力される。本発明は、合成画像をもとにして右画像及び左画像を再構成する方法、並びに該方法の実施を可能にする複数の装置にも関する。

Description

本発明は、複数の立体視ビデオストリーム、すなわち、可視化装置において適切に処理された場合に、観察者が３次元であると認識する複数の画像シーケンスを生成する複数のビデオストリームの、生成、格納、送信、受信、及び再生に関する。

３次元の認識が、一方は観察者の右目用、他方は観察者の左目用である２つの画像を再生することによって得ることができることは公知である。

よって立体視ビデオストリームは、オブジェクトまたはシーンの右視点及び左視点に対応する２つの画像シーケンスについての情報を運ぶ。そのようなストリームは補足の情報も運ぶ。

ＷＯ２０１１／０７７３４３Ａ１として２０１１年６月３０日に公開された国際特許出願第ＰＣＴ／ＩＢ２０１０／０５５９１８号には、水平方向の解像度と垂直方向の解像度との間のバランスの維持を可能にする、左／右画像の多重化方法及び逆多重化方法（関連する複数の装置も同様に）についての記載があり、これによって、「サイドバイサイド」及び「トップアンドボトム」等の複数の既知の技術に勝る複数の利点を提供する。

２つのいわゆる７２０ｐ画像が１０８０ｐのコンテナフレームへ入力される場合を示している図１に示すように、該多重化方法に従って、第１の画像（例えば、左画像）の複数のピクセルは、変えられることなく合成画像へ入力され、一方で第２の画像は複数の領域へ分割され、これらの領域の複数のピクセルは合成画像の複数の自由なエリアに配置される。

受信の際、複数の領域に分割された画像は再構成され、そしてディスプレイへと送信される。例えば、いわゆる「フレームオルタネイト（ｆｒａｍｅ ａｌｔｅｒｎａｔｅ）」原理に従い動作する、すなわち、２つの画像Ｌ及び画像Ｒを時間的に連続して見せるディスプレイが複数知られている。立体視のために、いわゆる「アクティブ」眼鏡、すなわち、連続する画像Ｌ及び画像Ｒに同調して、目の一方の水晶体を陰にし、他方の水晶体を見える状態に保ち、それぞれの目がそれに対して向けられた画像のみを見ることができるようにする眼鏡、を着用しなくてはならない。

そのような複数のディスプレイを通した立体視は、見る人によっては不快感があることが分かっている。その人たちのために、複数の画像の奥行きを変更する（減らす）可能性を提供して、彼らの主観的な好み及びスクリーンのサイズに適合させることが望ましいであろう。そのためには、ディスプレイ内に、送信される複数の画像の間の複数の中間画像の合成を提供する必要があり、これらの中間画像は、実際に送信された複数の画像に変わって表示されるであろう。送信された複数の画像に関連付けられた１または複数の奥行きマップが利用可能な場合、複数の既知の技術を使用してそのような再構成が成され得る。

さらに、複数のいわゆる自己立体視ディスプレイが最近になって市場に出回るようになり、眼鏡を使用する必要がなくなった。また、複数のそのようなディスプレイは複数の未送信画像の合成を実行するので、そのような合成に必要な情報を提供する少なくとも１つの奥行きマップが必要である。

そのため、複数の立体ストリームの生成、搬送、及び再構成のための新たなフォーマットの導入が必要となってきた。このフォーマットは、複数の従来の２Ｄの受信再生装置及び現在の２視点立体３Ｄ受信再生装置（奥行き調整有りまたは無し）用に使用でき、２より多い視点を使用する、複数の将来の自己立体視装置用にも使用できて、一方でそれと同時に、現在使用される、ビデオストリームの生成及び配信の複数のインフラストラクチャ及び装置との最大のフォーマット互換性を保つ。

故に、本発明の目的は、上述の複数の要求事項を満たすことを目指した、複数の立体画像の生成、送信、及び受信方法、及び関連する装置の提案にある。

本発明は、単一合成フレーム内で、１または複数の奥行きマップと共に、右視点及び左視点（以後、右画像及び左画像という）に関する２つの画像を多重化する方法及び装置に関する。

本発明は、該合成画像を逆多重化する、すなわち、多重化装置が入力した右画像及び左画像、並びに（複数の）奥行きマップを抽出する、方法及び装置にも関する。

図１ａに見ることができるように、上記の国際特許出願（いわゆる「タイルフォーマット」）に関して、合成画像には、水平方向及び垂直方向の両方において、寸法が、２つの画像、画像Ｌ及び画像Ｒの寸法の半分であるような未使用領域（Ｃ５）がある。本発明の一実施可能形態に従って、図１ｂに示すように、少なくとも１つの奥行きマップ（ＤＭ）が該未使用領域に入力され得る。

画像ｘに関する奥行きマップは、各ピクセルがピクセル自身の奥行き、すなわち座標「ｚ」、に比例した輝度値を有するグレースケール画像として理解される。慣例として、値ｚ＝０はスクリーン上の位置に対応し、正の値のｚはピクセルがスクリーンの後に配置されることに対応し、一方で、負の値はピクセルがスクリーンの前に配置されることに対応するとみなされる。合成画像の未使用領域は、画像Ｌ及び画像Ｒの寸法の半分である水平方向寸法及び垂直方向寸法を有するので、本発明の一実施形態において、対応する画像の半分に等しい、水平方向及び垂直方向の解像度を有する奥行きマップ（画像Ｌ及び画像Ｒの２つの画像のうちの１つに関する）をそのような領域に入力することが可能である。複数の奥行きマップが一般的に計算され得る、または測定され得る不正確さを考えると、複数のピクセル値の間で複数の補間をすることにより、複数のフル解像度マップに複数のアンダーサンプリング処理を施すことは、そのような処理はノイズ成分を低減することができ、より質の高い複数の再構成された画像をもたらすという点で好ましいので、解像度のそのような損失は害を及ぼさないことが認められている。

本発明の複数の他の実施形態に従って、２つの奥行きマップを該未使用領域（Ｃ５）に入力することが可能である。

上記の国際特許出願にはまた、奥行きマップを入力するために利用可能とされるスペースはより小さいので効果は劣るが、本発明の方法が同様に適用可能な、立体画像Ｌ及び画像Ｒの多重化及び逆多重化の複数の他の形態の記載もある。結果的に、該マップの解像度はさらに低下するであろう。本発明の複数の一般的原理に含まれる限りは、複数のそのような代替的実装は本明細書においては記載されないであろう。

本説明の不可欠な部分である添付の特許請求の範囲において提示するように、複数の立体画像を生成、送信、及び受信する方法、及び関連する装置を提供することが、本発明の具体的な目的である。

本発明の更なる複数の目的及び利点が、付属の複数の図面を参照して非限定的な例として供給される少数の実施形態の以下の説明より明らかとなるであろう。

従来技術のフォーマット（タイルフォーマット）における合成フレームを示す。 本発明による、合成フレームの一例を示す。 右画像、左画像、及び奥行きマップを合成画像へ多重化する装置のブロック図を示す。 図２の装置により実行される方法のフローチャートである。 合成画像へ入力される画像の分割の１つの可能な形態を示す。 左画像、右画像、及び奥行きマップを合成フレームから抽出する装置のブロック図を示す。 図５の装置により実行される方法のフローチャートである。

図２は、本発明の変形例による、少なくとも１つの奥行きマップを有する立体視ビデオストリーム１０１を生成する装置１００のブロック図を示す。

図２において、装置１００は２つの画像シーケンス１０２および１０３、例えば、それぞれ左目（Ｌ）及び右目（Ｒ）に対して向けられた２つのビデオストリームと、立体視ビデオストリームに関連付けられた３次元コンテンツに関する奥行きマップのシーケンス１０６とを受信する。

シーケンス１０６の奥行きマップは、それぞれシーケンス１０２および１０３に属する右画像及び左画像の２つの画像のうちの１つに関連付けられてよく、または、右画像及び左画像の複数の奥行きマップ間の補間として、すなわち、シーンの中間視点に関して生成されてよい。

以下に説明されるであろうこの第１の実施形態において、奥行きマップは当技術分野において既知の複数のアルゴリズムのうちの任意の１つによって生成される。この複数のアルゴリズムは、例えば右画像と左画像との間の比較に基づいており、マトリックス（すなわち、奥行きマップ）を返す。このマトリックスのサイズは２つの比較された画像のうちの１つの画像の複数のピクセル数に等しく、マトリックスの複数の要素は、該画像の各ピクセルの奥行きに比例する値を有する。別の奥行きマップ生成技術は、シーン中のオブジェクトの、シーンを撮影している一ペアのビデオカメラからの距離の測定に基づく。この距離はレーザによって容易に測定できる。複数の電子コンピュータの助けを借りて生成された複数の人工的なビデオストリームの場合、複数のビデオカメラは、それらが、コンピュータが人工的に生成する特定のシーンの２つの視点から成るという点で、仮想のものである。そのような場合、複数の奥行きマップはコンピュータが生成し、非常に正確なものである。

図２の例の代替として、シーケンス１０６の奥行きマップは装置１００内で生成されてよい。この場合、外部から奥行きマップのシーケンスを受信する代わりに、装置１００は、画像Ｌのシーケンス１０２及び画像Ｒのシーケンス１０３が入力され、それから複数の対応する奥行きマップを算出する適切なモジュール（図面には図示せず）を備える。

装置１００により、２つのシーケンス１０２および１０３の２つの画像、及びシーケンス１０６の奥行きマップを多重化する方法の実装が可能になる。

装置１００は、右画像及び左画像、並びに奥行きマップを多重化する方法を実装すべく、入力画像（図１ｂの例における右画像）を、各々が、受信した画像の一領域に対応する複数の副画像に分割するディスアセンブラモジュール１０４と、奥行きマップを処理するアンダーサンプリング及びフィルタリングモジュール１０７と、奥行きマップを含む複数の受信した画像の複数のピクセルを、自身の出力において提供される単一の合成画像に入力可能なアセンブラモジュール１０５と、を備える。シーケンス１０６の処理が必要でない場合、モジュール１０７は省かれてよい。これは、例えば、奥行きマップがレーザにより生成されたものであって、そもそも、画像Ｌおよび画像Ｒのものよりも低い解像度を有する場合であってよい。

装置１００が実装する多重化方法の一例が図３を参照してこれより説明される。

方法はステップ２００から開始する。続いて（ステップ２０１）、２つの入力画像（右または左）のうちの１つは、図４に示すように、複数の領域に分割される。図４の例において、分割された画像は、７２０ｐのビデオストリームのフレームＲ、すなわち、１２８０×７２０ピクセルの解像度を有するプログレッシブフォーマットである。

図４のフレームＲは右目に向けられた複数の画像を搬送するビデオストリーム１０３に由来するものであり、Ｒ１、Ｒ２、及びＲ３の３つの領域に、好ましくは矩形状に、分割される。

画像Ｒの分割は、それを同じサイズの２つの部分に分割し、続いてこれらの部分のうちの１つを同じサイズの２つの部分に細分割することにより得られる。

領域Ｒ１は、６４０×７２０ピクセルのサイズを有し、各行の全ての最初の６４０ピクセルを取り出して得られる。領域Ｒ２は、６４０×３６０ピクセルのサイズを有し、最初の３６０行の６４１〜１２８０のピクセルを取り出して得られる。領域Ｒ３は、６４０×３６０ピクセルのサイズを有し、画像Ｒの残りのピクセル、すなわち最後の３６０行の６４１〜１２８０のピクセル、を取り出して得られる。

図２の例において、画像Ｒを分割するステップは、入力画像Ｒ（フレームＲの場合）を受信し、３つの領域Ｒ１、Ｒ２、及びＲ３に対応する３つの副画像（すなわち３つのピクセル群）を出力するモジュール１０４によって実行される。

続いて（ステップ２０２、２０３および２０４）、合成画像Ｃが構成される。合成画像Ｃは、右画像及び左画像の両方、並びに受信された奥行きマップに関連する情報を含み、本明細書において説明される例においては、該合成画像Ｃは出力の立体視ビデオストリームのフレームなので、コンテナフレームとも呼ばれる。

まず（ステップ２０２）、装置１００が受信し、装置１００が分割しない入力画像（図２の例における左画像Ｌ）は、両方の入力画像の全ピクセルを含むようなサイズのコンテナフレームの未分割エリアに、変えられることなく入力される。例えば、入力画像が１２８０×７２０ピクセルのサイズを有する場合、両方を含むのに適したコンテナフレームは、１９２０×１０８０ピクセルのフレーム、例えば、１０８０ｐタイプのビデオストリームのフレームであろう（１９２０×１０８０ピクセルのプログレッシブフォーマット）。

図１の例において、左画像ＬはコンテナフレームＣに入力され、左上隅に配置される。これは、画像Ｌの１２８０×７２０ピクセルを、コンテナフレームＣの最初の７２０行の最初の１２８０ピクセルから成るエリアＣ１にコピーして得られる。

次のステップ２０３において、モジュール１０４によってステップ２０１において分割された画像はコンテナフレームに入力される。これは、モジュール１０５によって、分割された画像の複数のピクセルを、コンテナフレームＣ内の、画像Ｌによって占有されていない、すなわちエリアＣ１外の複数のエリアにコピーすることにより実現される。

圧縮を最適化し、及びビデオストリームを解凍するときの複数のアーチファクトの発生を低減させるべく、モジュール１０４が出力する複数の副画像の複数のピクセルは、それぞれの空間的関係性を保ちつつコピーされる。 言い換えると、領域Ｒ１、Ｒ２、及びＲ３は、いかなるデフォルメーションをも施すことなく、もっぱら並進処理によって、フレームＣのそれぞれのエリアにコピーされる。

モジュール１０５が出力するコンテナフレームＣの例を図１ｂに示す。

領域Ｒ１は、最初の７２０行の最後の６４０ピクセル（エリアＣ２）、すなわち、既にコピーされた画像Ｌの隣、にコピーされる。

領域Ｒ２及びＲ３は、エリアＣ１の下、すなわち、それぞれエリアＣ３及びエリアＣ４、にコピーされる。エリアＣ３及びエリアＣ４はそれぞれ、最後の３６０行の、最初の６４０ピクセル及びその次の６４０ピクセルを含む。

コンテナフレームに画像Ｌ及びＲを入力する複数の処理は、水平方向の解像度と垂直方向の解像度との間のバランスに対するいかなる変更も示唆しない。

コンテナフレームＣに画像Ｌ及びＲを入力する上述の技術を、以下において、タイルフォーマットタイプと定義する。

フレームＣの複数の自由なピクセルにおいて、すなわち、エリアＣ５において、モジュール１０５は、ステレオペアＬ及びＲに関する奥行きマップ（ＤＭ）を画像の形態で入力する（ステップ２０４）。ステップ２０４の前に、モジュール１０７は奥行きマップＤＭに、アンダーサンプリング、フィルタリング、または更なる処理を施してよい。

奥行きマップは、グレースケール画像としてコード化されるのが好ましい。よってこのグレースケール画像の情報内容は輝度信号のみによって搬送され得る。クロミナンスは用いられず、例えば、０であってよい。これによりコンテナフレームＣの効果的な圧縮を得ることが可能になる。

好適な実施形態においては、奥行きマップＤＭは６４０×３６０ピクセルの解像度を有し、これは１２８０×７２０ピクセルの解像度を有する元の奥行きマップの４対１のアンダーサンプリング（またはデシメーション）に対応し、画像Ｌ及びＲの解像度に匹敵する。アンダーサンプリングされたマップＤＭの各ピクセルは元のマップの２×２ピクセルの領域に対応する。アンダーサンプリング処理は通常、当技術分野において公知である複数の手順を使用して実行される。

このようにして得られたフレームＣは、続いて圧縮され、記憶媒体（例えば、ＤＶＤ）に送信または保存される。この目的のために、画像またはビデオ信号の圧縮に適合した複数の圧縮手段が、圧縮された画像またはビデオ信号を記録及び／または送信する手段とともに提供される。

図５は、受信したコンテナフレームを解凍（圧縮されていた場合）し、右画像及び左画像の２つの画像を再構成し、３Ｄコンテンツを実現可能な可視化装置（例えば、テレビ受像機）によるそれらの利用を可能にするレシーバ１１００のブロック図を示している。 レシーバ１１００は、テレビ受像機内に組み込まれたセットトップボックスまたはレシーバであってよい。

レシーバ１１００対して述べられる同様のことが、読み取り機が読み取るコンテナフレーム（おそらく圧縮された）に入力された右画像及び左画像に対応する一ペアのフレームを得るべく、コンテナフレーム（おそらく圧縮された）を読み取り、処理する保存された画像の読み取り機（例えば、ＤＶＤ読み取り機）にも適用可能である。

図５に戻って、レシーバは圧縮された立体視ビデオストリーム１１０１を受信し（ケーブルまたはアンテナを用いて）、それを解凍モジュール１１０２によって解凍する。それにより、複数のフレームＣに対応する一連のフレームＣ´を含むビデオストリームを得る。理想的なチャネルの場合、または複数のコンテナフレームが大容量メモリまたはデータ媒体（ブルーレイ、ＣＤ、ＤＶＤ）から読み取られている場合、複数のフレームＣ´は、圧縮処理がもたらす全てのアーチファクトを除く、右画像及び左画像、並びに奥行きマップについての情報を搬送する複数のコンテナフレームＣに対応する。

これらのフレームＣ´は、次に再構成モジュール１１０３に供給される。再構成モジュール１１０３は、図６を参照して以下で説明するように、画像の再構成及び奥行きマップ抽出方法を実行する。

ビデオストリームが圧縮されていない場合は、解凍モジュール１１０２を省いてよく、ビデオ信号は直接再構成モジュール１１０３に供給されてよいことは明らかである。

再構成処理は、解凍されたコンテナフレームＣ´が受信されるステップ１３００から開始する。

再構成モジュール１１０３は、解凍されたフレームの最初の７２０×１０８０の連続するピクセルを、コンテナフレームより小さな新しいフレーム、例えば、７２０ｐのストリームのフレームにコピーすることによって、左画像Ｌを抽出する（ステップ１３０１）。 このようにして再構成された画像Ｌは、レシーバ１１００の出力へ送信される（ステップ１３０２）。

「連続するピクセル」という用語は、フレームの未分割エリアに属する、変えられていない画像の複数のピクセルを指す。

続いて、この方法はコンテナフレームＣ´から右画像を抽出する。

右画像を抽出するステップ（図４も参照）は、フレームＣ´に存在するエリアＲ１をコピーすることにより（ステップ１３０３）開始する。より詳細には、Ｒ１の６４０列の複数のピクセルは、再構成された画像Ｒｏｕｔを表す新しいフレームの対応する最初の６４０列へとコピーされる。続いてＲ２が抽出される（ステップ１３０４）。解凍されたフレームＣ´（前述のように、図１ｂのフレームＣに対応）から、エリアＣ３の複数のピクセル（元の領域Ｒ２に対応）が選択される。この時点で、複数のピクセルからなる６４０列は、Ｒ１からコピーされたばかりの列に隣接する自由な列へとコピーされる。

Ｒ３が関与する限り（ステップ１３０５）、エリアＣ４の複数のピクセルは、フレームＣ´から抽出され、再構成されたフレームの左下隅の最後の自由な列へとコピーされる。

この時点で、右画像Ｒｏｕｔは完全に再構成され、出力され得る（ステップ１３０６）。

最後に、再構成モジュール１１０３は、エリアＣ５に対応する、解凍されたコンテナフレームＣ´の最後の６４０×３２０ピクセルの複数の輝度値をメモリエリアへとコピーすることによって、奥行きマップを抽出する（ステップ１３０７）。該メモリエリアのコンテンツは、レシーバ１１００に出力され（ステップ１３０８）、立体視ビデオストリームにおいては送信されない複数の補間画像を生成すべく、ディスプレイによって使用されるであろう。コンテナフレームＣ´に含まれる、右画像及び左画像、並びに奥行きマップを再構成する処理は、このようにして完了する（ステップ１３０９）。該処理は、レシーバ１１００が受信するビデオストリームの各フレームについて繰り返されて、出力が、それぞれ右画像及び左画像に対する２つのビデオストリーム１１０４及び１１０５と、奥行きマップに対応する１つのビデオストリーム１１０６と、から成るようにする。

画像合成のための、右画像及び左画像、並びに奥行きマップを再構成する上述の処理は、どのようにしてコンテナフレームＣが構築されたかをデマルチプレクサ１１００が知っており、ゆえに、デマルチプレクサは右画像及び左画像、並びに合成奥行きマップを抽出し得る、という仮定に基づいている。

言うまでもなく、これは多重化方法が標準化されている場合に可能である。

添付の特許請求の範囲の主題である解決方法を使用する複数の方法のうちのいずれか１つに従ってコンテナフレームが生成され得るという事実を考慮に入れるべく、デマルチプレクサは好ましくは、メタデータの形態で合成画像の予め定義された領域、またはビデオストリームに含まれるシグナリング情報を用いる。シグナリング情報は、合成画像のコンテンツの展開方法と、右画像及び左画像、並びに補足の複数の立体画像の合成用の奥行きマップの再構成方法と、を知るべく生成されるビデオストリームのタイプを特定する。

シグナリングをデコードした後、デマルチプレクサは、変えられていない画像（例えば、上述の複数の例における左画像）の位置と共に、その他の画像が分割された（例えば、上述の複数の例における右画像）、複数の領域の位置、並びに奥行きマップの位置も知るであろう。

この情報によって、デマルチプレクサは変えられていない画像（例えば、左画像）及び奥行きマップを抽出でき、分割された画像（例えば、右画像）を再構成できる。

本発明は、幾つかの好適な及び有利な実施形態を参照してこれまで説明されてきたが、本発明がそのような複数の実施形態に限定されるものではないこと、及び、オブジェクトまたはシーンの２つの異なる視点（右及び左）に関する２つの画像、並びに関連付けられた奥行きマップを合成画像に組み合わせたい当業者が、多数の変更を成しうることは明らかである。

可能な変形例において、例えば、２つの画像のうちの１つに関する奥行きマップを合成フレームＣに入力する代わりに、いわゆる「視差マップ」または「変位マップ」が入力される。適切な仮定（同一の光学系を備えたビデオカメラでの撮影）の下では、そのようなマップは、それが容易に関連付けられ得る奥行きマップから容易に導出され得る。右画像及び左画像の２つの画像が同じディスプレイ上に重ね合わせて表示され、それらを分離すべく眼鏡を用いない場合、一方の画像を他方の画像から得るためには、オブジェクトを特定の量だけ移動させる必要があることに気付き得る。 より正確には、左画像をもとにして右画像を得るためには、スクリーンの後ろに位置する複数のオブジェクトを、そのような複数のオブジェクトが配置される奥行きに応じて増加する量だけ右に移動させる必要がある。丁度スクリーン上に配置された複数のオブジェクトは、移動させる必要がない。一方でスクリーンの前に配置された複数のオブジェクトは、スクリーンからの距離に応じて増加する量だけ左に移動させる必要がある。

前述の複数の状況において、奥行きＰと視差Ｄとの間に以下のタイプの関係が存在する。
Ｄ＝Ｉ＊Ｐ／（Ｐ＋Ｐ０）
ここで、Ｉは眼間距離であり、Ｐ０は観察者のスクリーンからの距離である。Ｐが無限大に近ければ、ＤはほぼＩになり、Ｐ＝０（オブジェクトがスクリーン上に配置される）ならばＤは０に等しくなることに留意すべきである。

言うまでもなく、左画像と右画像との間の中間画像を再構成すべく、上述した同じ手順を採用することが可能である。しかし、複数の視差値に、中間視点の基準画像（この場合左画像）の視点からの距離に応じた、０と１との間の係数ｃが乗算されなくてならないであろう。

上記説明に従って右画像が左画像をもとにして再構成される場合、または中間画像が再構成される場合、右画像に存在し左画像には存在しない複数のオブジェクトの複数のピクセルに対応する幾つかのエリアは、それらの前にある複数の他のオブジェクトの陰になっているので（いわゆる、「オクルージョン」）、カバーされないままであることに留意すべきである。

ゆえに、中間画像を完全に再構成するには、右画像及び左画像の両方、並びに奥行きまたは視差マップの両方も利用可能にする必要があるだろう。このようにして、実際、他の画像から複数の対応するピクセルを取り出すことによって、かつ、係数１−ｃが乗算された相対的な視差に等しい量だけそれらを移動させることによって、複数の欠けた（塞がれた）エリアが埋められる。

上記説明から理解できるように、本発明の別の可能な変形例は、１つではなく２つの奥行きまたは視差マップの入力を必要としてよい。そのようなマップは、それぞれ左画像及び右画像に関連しており、例えばサイドバイサイドまたはトップアンドボトムなどの既知のフレームパッキング技術を使用して先の場合において単一のマップが入力されたのと同じスペースに入力され得る。前者の場合では、両方のマップの水平方向の解像度がさらに半減し、一方で後者の場合においては垂直方向の解像度が半減する。上で「タイルフォーマット」と定義したフレームパッキング技術の更なる変形例も使用可能である。

生成側で２つのマップを入力する手順、及び受信側で２つのマップを抽出する手順は、当業者には周知の複数の明らかな変形形態と共に、単一マップの場合を参照して説明される複数の手順から容易に導出され得る。

言うまでもなく、ビデオストリームに存在するシグナリングは１または２つのマップの存在を知ることもできなくてはならない。結果、該シグナリングは以下に挙げる複数のタイプの合成フレームのうちの少なくとも２つを区別することを可能にすべく適合される情報を含まなくてはならない。
１）奥行きまたは視差マップを有さないタイルフォーマットタイプの合成フレーム（図１ａの場合）；
２）１つの奥行きまたは視差マップを有するタイルフォーマットタイプの合成フレーム（図１ｂの場合）；
及び場合によっては、
３）トップアンドボトム構成で、２つの奥行きまたは視差マップを有するタイルフォーマットタイプの合成フレーム；
４）サイドバイサイド構成で、２つの奥行きまたは視差マップを有するタイルフォーマットタイプの合成フレーム；
５）タイルフォーマット構成で、２つの奥行きまたは視差マップを有するタイルフォーマットタイプの合成フレーム。

レシーバは、シグナリング情報に基づき、以下に挙げる複数の処理のうち１または複数を実行すべく適合された１または複数の処理ブロックを備えるのが好ましい。
−上述したように、３次元ビデオコンテンツの右画像及び左画像の２つの画像を適切に再構成する目的で、受信されるフレームのタイプを認識する；
−１または２つの奥行きまたは視差マップの存在、及びその構成タイプを認識する；
−２つの奥行きまたは視差マップがある場合にその２つのマップの各々を取得する；
−複数のマップの複数の寸法を、ビデオコンテンツの複数の画像の複数の寸法に等しい値にすべく適合された複数の処理を、複数の奥行きまたは視差マップに実行する；
これらの処理は、例えば複数の補間処理などのアンダーサンプリングとは、例えば逆のタイプであってよい。

複数の他の変形例が、本発明の物理的実装に関係しうる。例えば、複数の上述の装置を実装する複数の電子モジュール、具体的には装置１００及びレシーバ１１００、は、多様に細分割及び分散されてよく、さらに、それらは、複数のハードウェアモジュールの形態で、または、プロセッサ、具体的には複数の受信した入力フレームを一時的に格納する適切なメモリエリアを備えるビデオプロセッサ、が実装する複数のソフトウェアアルゴリズムとして、設けられてよい。ゆえに、これらのモジュールは、本発明による画像の多重化及び逆多重化方法の複数のビデオ処理ステップのうち１または複数をパラレルに、または連続して実行しうる。 複数の好適な実施形態は、２つの７２０ｐのビデオストリームの、１つの１０８０ｐのビデオストリームへの多重化を参照しているが、他のフォーマットも同様に使用してよいことは明らかである。

明らかに、図３および６に示す多重化及び逆多重化の複数の手順が実行される順序は単なる例示にすぎない。その方法の本質を変化させなければ、任意の理由による変更が可能である。

本発明は特定のタイプの合成画像の構成に限定されるものではない。なぜなら、合成画像の生成方法が異なれば、それぞれにおいて特定の利点及び／または欠点を提供しうるからである。

本発明は、その全ての変形例と共に、任意のタイプの現在または将来のディスプレイ上での３Ｄコンテンツの生成、搬送、及び、再生のためのユニバーサルフォーマットを提案する。

２Ｄ再生装置の場合は、再生装置のビデオプロセッサは、レシーバ１１００の出力に存在しうる複数の画像Ｒ及び複数の奥行きマップ（ＤＭまたはＤＭ１及びＤＭ２）はただ捨てるだけで、画像Ｌのシーケンスのみをスケーリングを施して、関連付けられた可視化装置に表示するであろう。

同様なことが、ユーザが２Ｄディスプレイモードを作動させた３Ｄ再生装置の場合に当てはまる。

３Ｄディスプレイモードを作動させた３Ｄ再生装置は、シーンの奥行きが調整（小さく）され得るか、調節され得ないかに応じて２つの異なる挙動を示す。前者の場合、ビデオプロセッサは画像Ｌ及び画像Ｒの２つのシーケンスを用いて３Ｄ効果を生み出すであろう。後者の場合、ビデオプロセッサは、立体画像Ｒ及び画像Ｌの各ペアに関連付けられた合成フレームＣ´に含まれる複数の奥行きマップ（１つまたは２つ）を用いて、ＬとＲとの間の複数の中間像を生成し、それによって、Ｌ及びＲから得られるものよりも低い可変奥行きを有する複数の３次元画像を得るであろう。

最後の場合は、複数の自己立体視プレーヤによって表される。これらの自己立体視プレーヤは、ディスプレイの前の空間における複数の異なる地点に位置する観察者らに対して３Ｄ効果を生み出すべく、非常に多くの（数十）像を必要とする。この場合、ビデオプロセッサは、合成フレームＣ´に含まれる複数の奥行きマップ（１つまたは２つ）を画像Ｌ及び画像Ｒ自身とともに用いて、一連の他の画像を合成するであろう。ディスプレイの前には、多数のレンズまたはバリアがあり、立体視が可能な空間における任意の地点において観察者は複数の該画像の一ペアだけを認識するであろう。

ゆえに、再生装置のビデオプロセッサは２つの画像シーケンスをディスプレイに送信すべく適合された手段を備えてよい。これらの画像シーケンスのうち少なくとも１つは、複数の送信された像のうち少なくとも１つと、少なくとも１つの奥行きマップと、をもとに合成された複数の画像から成る。この場合、それは、より多い又はより少ない近接視点に関する複数の画像シーケンスを観察者が選択できるようにして、奥行き感を変更すべく適合された手段も備えることが好ましい。

再生装置のビデオプロセッサは、複数の更なる像に対応する複数の更なる画像を生成して、空間の異なる地点に位置する観察者らが、関連付けられた自己立体視ディスプレイを通して複数の異なる画像シーケンスを見ることができるようにすべく適合された手段も備えてよい。

水平方向の解像度と垂直方向の解像度とのバランス、及び、複数の立体画像及び関連付けられた複数の奥行きマップへの適切な解像度の割り当てに関して非常に良好な再生品質を変わらず保証すると同時に、そのような柔軟性及び使用の幅広さを提供することは、現在までに提案されたフォーマットのなかでは１つもない。

上述の複数の再構成処理は、部分的にレシーバ装置において実行され、かつ部分的にディスプレイ装置において実行されてよい。

本発明は、上述の複数の方法の１または複数のステップを実施するコーディング手段を備える複数のコンピュータプログラムによって、コンピュータがそのような複数のプログラムを実行するとき、少なくとも部分的には有利に実現され得る。ゆえに、保護範囲は該複数のコンピュータプログラムまでにも、コンピュータが該プログラムを実行するとき、上述の複数の方法の１または複数のステップを実施するプログラムコーディング手段を備え、複数の録画メッセージを含む、コンピュータ可読手段までにも、広がることが理解されよう。 上述の実施形態の例は、当業者には既知の全ての等価な設計を含みながら、本発明の保護範囲から逸脱することなく複数の変形を受けうる。

様々な好適な実施形態に示した複数の要素及び複数の特徴は、しかしながら、本発明の保護範囲から逸脱することなく共に組み合わされうる。

上記の説明から、当業者は、これ以上の実装の詳細を導入することなく、本発明の目的を生み出すことが可能であろう。

Claims (31)

1. 複数の合成画像を含む立体視ビデオストリームを生成する方法であって、前記複数の合成画像は３次元ビデオコンテンツの右画像及び左画像についての情報を含み、前記右画像の複数のピクセル及び前記左画像の複数のピクセルが選択され、前記選択された複数のピクセルは前記立体視ビデオストリームの合成画像へと入力され、
   前記方法は、前記右画像及び前記左画像のうちの一方の画像は変化させないままとし、他方の画像を、合計したエリアが前記他方の画像のエリアと等しい複数の領域へと分割し、かつ、前記複数の領域を前記合成画像へ入力することにより、前記右画像の全てのピクセル及び前記左画像の全てのピクセルを前記合成画像へと入力することを特徴とし、
   前記合成画像の複数の寸法は、前記左画像及び前記右画像の全てのピクセルを入力するために必要とされるものより大きく、
   前記入力のあとに残った、前記合成画像の複数のピクセルには、前記３次元ビデオコンテンツの複数のピクセルの奥行きまたは視差に関する少なくとも１つの奥行きまたは視差マップが入力され、複数の前記マップは、受信の際、前記立体視ビデオストリームにおいて送信されない複数の画像を再構成するためのものである
   方法。
2. 前記少なくとも１つの奥行きまたは視差マップはグレースケール画像としてコード化される
   請求項１に記載の方法。
3. 前記少なくとも１つの奥行きまたは視差マップのビデオ情報内容は、クロミナンス信号を使用することなく、単一の輝度信号によって搬送される
   請求項２に記載の方法。
4. 前記少なくとも１つの奥行きまたは視差マップは、元のバージョンよりも低い解像度を有し、後者の解像度は、前記左画像及び前記右画像の解像度と等しい
   請求項１から３の何れか一項に記載の方法。
5. 前記少なくとも１つの奥行きまたは視差マップは、前記元の奥行きマップに４対１のアンダーサンプリングを施すことにより得られる
   請求項４に記載の方法。
6. 前記少なくとも１つの奥行きまたは視差マップは、右及び左の２つの画像のうちの１つに関連付けられた奥行きまたは視差マップ、または、前記左画像と前記右画像との間の中間視点に関連付けられた奥行きまたは視差マップである
   請求項１から５の何れか一項に記載の方法。
7. 前記少なくとも１つの奥行きまたは視差マップは、右画像に関連付けられた奥行きまたは視差マップ、および、左画像に関連付けられた奥行きまたは視差マップを含む
   請求項１から６の何れか一項に記載の方法。
8. 右画像及び左画像に関連付けられた複数の前記奥行きまたは視差マップは、フレームパッキング技術によって、前記合成画像の前記残りの複数のピクセルへと入力される
   請求項７に記載の方法。
9. 前記複数の領域の数が３つである場合、前記複数の領域は、
   −前記他方の画像を、同じ水平方向寸法を有する２つの部分へと分割する段階と、
   −前記２つの部分のうちの１つを、同じ垂直方向寸法を有する２つの部分へと分割する段階と、の複数の段階を通して得られる
   請求項１から８の何れか一項に記載の方法。
10. 生成されたビデオストリームのタイプを特定するシグナリング情報はメタデータとして前記合成画像または前記立体視ビデオストリームへと入力される
    請求項１から９の何れか一項に記載の方法。
11. 前記シグナリング情報は、以下の複数のタイプの合成フレーム、
    −奥行きマップを有さないタイルフォーマットタイプの合成フレーム；
    −１つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −サイドバイサイド構成で２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −トップアンドボトム構成で２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −タイルフォーマット構成で２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；のうちの少なくとも２つの区別を可能にする
    請求項１０に記載の方法。
12. 複数の合成画像を含む立体視ビデオストリームを生成する装置であって、前記複数の合成画像は右画像、左画像についての情報を含み、請求項１から１１の何れか一項に記載の前記方法の複数の段階を実施する手段を備える
    装置。
13. 合成画像をもとにして立体視ビデオストリームの少なくとも１つのペアの画像を再構成する方法であって、前記合成画像は右画像、左画像についての情報を含み、前記方法は
    前記合成画像の第１の領域から複数の連続するピクセルからなる単一群をコピーして、前記右画像及び前記左画像のうちの第１の画像を生成する段階；
    前記合成画像の、前記第１の領域とは異なる別個の複数の領域から、複数の連続するピクセルからなる複数の他の群をコピーして、前記右画像及び前記左画像のうちの残りの画像を生成する段階；
    前記合成画像の、前記第１の領域及び前記別個の複数の領域とは異なる更なる領域から、複数の連続するピクセルからなる少なくとも１つの群をコピーして、少なくとも１つの奥行きまたは視差マップを生成する段階；を含む
    方法。
14. 前記複数の領域の数が３つである場合、
    前記合成画像の前記複数の領域のうちの１つは、前記第１の領域と同じ垂直方向寸法、および前記第１の領域の半分の水平方向寸法を有し；
    前記合成画像の前記複数の領域のうちの残りの２つは、等しい水平方向寸法及び垂直方向寸法を有し、前記第１の領域の半分の垂直方向寸法を有する
    請求項１３に記載の方法。
15. 前記少なくとも１つの奥行きまたは視差マップは、前記更なる領域の前記複数の連続するピクセルに含まれた輝度信号から得られるグレースケール画像をもとに生成される
    請求項１３に記載の方法。
16. 前記少なくとも１つの奥行きまたは視差マップの水平方向寸法及び垂直方向寸法を、前記右画像及び前記左画像の寸法と等しくなるまで増大させる段階を含む
    請求項１５に記載の方法。
17. 前記合成画像から、または前記ビデオストリームから、生成されるビデオストリームのタイプを認識するシグナリング情報を取得する段階を含む
    請求項１３に記載の方法。
18. 前記シグナリング情報は、以下の複数のタイプの合成フレーム、
    −奥行きマップを有さないタイルフォーマットタイプの合成フレーム；
    −１つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −サイドバイサイド構成で、２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −トップアンドボトム構成で、２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −タイルフォーマット構成で、２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；のうちの少なくとも２つの区別を可能にする
    請求項１７に記載の方法。
19. 合成画像をもとにして立体視ビデオストリームの少なくとも１つのペアの画像を再構成する装置であって、前記合成画像は右画像、左画像についての情報を含み、前記装置は、
    前記合成画像の第１の領域から複数の連続するピクセルからなる単一群をコピーして、前記右画像及び前記左画像のうちの第１の画像を生成する手段；
    前記合成画像の、前記第１の領域とは異なる別個の複数の領域から、複数の連続するピクセルからなる複数の他の群をコピーして、前記右画像及び前記左画像のうちの残りの画像を生成する手段；
    前記合成画像の、前記第１の領域及び前記別個の複数の領域とは異なる更なる領域から、複数の連続するピクセルからなる少なくとも１つの群をコピーして、少なくとも１つの奥行きまたは視差マップを生成する手段；を含む
    装置。
20. 前記複数の領域の数が３つである場合、
    −前記合成画像の前記複数の領域のうちの１つは、前記第１の領域と同じ垂直方向寸法、および前記第１の領域の半分の水平方向寸法を有し；
    −前記合成画像の前記複数の領域のうちの残りの２つは、等しい水平方向寸法及び垂直方向寸法、および前記第１の領域の半分の垂直方向寸法を有する
    請求項１９に記載の装置。
21. 少なくとも１つの奥行きまたは視差マップを生成する前記手段は、前記更なる領域の前記複数の連続するピクセルに含まれた輝度信号から得られるグレースケール画像を使用する
    請求項１９に記載の装置。
22. 前記少なくとも１つの奥行きまたは視差マップの水平方向寸法及び垂直方向寸法を、前記右画像及び前記左画像の寸法と等しくなるまで増大させる手段を含む
    請求項２１に記載の装置。
23. 受信されたビデオストリームのタイプを、前記合成画像、または前記ビデオストリームに含まれる、前記ビデオストリームのタイプを特定するシグナリング情報に基づき認識する手段を備える
    請求項１９に記載の装置。
24. 前記シグナリング情報は、以下の複数のタイプの合成フレーム、
    −奥行きマップを有さないタイルフォーマットタイプの合成フレーム；
    −１つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −サイドバイサイド構成で、２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −トップアンドボトム構成で、２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；
    −タイルフォーマット構成で、２つの奥行きマップを有するタイルフォーマットタイプの合成フレーム；のうちの少なくとも２つの区別を可能にする
    請求項２３に記載の装置。
25. 合成フレームのタイプの区別に有用な前記情報に基づき、
    −前記右画像及び前記左画像のうちの前記第１の画像のみ；または
    −前記右画像及び前記左画像のうちの前記第１の画像及び第２の画像；または
    −前記右画像及び前記左画像のうちの前記第１の画像及び前記第２の画像、及び前記少なくとも１つの奥行きまたは視差マップ、を出力する手段を備える
    請求項２４記載の装置。
26. 前記シグナリング情報に基づき、以下の複数の処理、
    −３次元ビデオコンテンツの右画像及び左画像の２つの画像を適切に再構成する目的で、受信されたフレームのタイプを認識する処理；
    −１または２つの奥行きまたは視差マップの存在、及びその構成タイプを認識する処理；
    −２つの奥行きまたは視差マップがある場合、２つの前記マップの各々を取得する処理；
    −複数の前記マップの複数の寸法を、前記ビデオコンテンツの複数の画像の複数の寸法に等しい値にする複数の処理を、複数の前記奥行きまたは視差マップに実行する処理；のうち１または複数を実行する手段を備える
    請求項２３に記載の装置。
27. 前記右画像及び前記左画像をもとにして、かつ、複数の前記奥行きまたは視差マップを使用して、複数の更なる像に対応する複数の更なる画像を生成する手段を備える
    請求項１９に記載の装置。
28. ２つの画像シーケンスを表示する手段を備え、前記２つの画像シーケンスのうち少なくとも１つは、複数の送信された像のうち少なくとも１つと、少なくとも１つの奥行きマップと、をもとにして合成された複数の画像を含む
    請求項２７に記載の装置。
29. 奥行き感を変更すべく、より多い又はより少ない近接視点に関する複数の画像シーケンスを観察者が選択できるようにする手段を備える
    請求項２８に記載の装置。
30. 自己立体視ディスプレイを備え、かつ、空間における複数の異なる地点に位置する観察者らが複数の異なる画像シーケンスを見ることを可能にすべく、複数の更なる像に対応する前記複数の更なる画像を使用する手段を備える
    請求項２７に記載の装置。
31. 請求項１から１１の何れか一項に記載の前記方法によって生成される、少なくとも１つの合成画像を備える
    立体視ビデオストリーム。

Images