JP2011511532A - ２ｄ画像データを立体画像データに変換する方法およびシステム - Google Patents

Abstract

２次元画像シーケンスを３次元画像に変換するシステムおよび方法を提供する。一実施形態では、２次元画像シーケンスを３次元画像に変換する方法は、リファレンス２Ｄ画像のモノスコピック・シーケンス中の、現在のリファレンス画像と隣接する画像とを含む連続する画像間のカメラ・モーション・パラメータを決定するステップ（２０１）と、カメラ・モーション・パラメータを用いて、ターゲット画像の水平ディスパリティ・マップを決定するステップ（２０２）と、ディスパリティ・マップの各ディスパリティ・ベクトルのディスパリティ確率値を決定するステップ（２０３，２０４）と、ターゲット画像と現在のリファレンス画像とが立体画像対を構成するように、ディスパリティ確率値を用いて、現在のリファレンス画像中の画素値の重み付け平均としてターゲット画像を決定するステップ（２０５）とを含む。

Description

本発明は、立体画像すなわち３次元画像を生成する方法およびシステムに関し、より詳しくは、一般的なカメラ・モーションを含む２次元モノスコピック画像の単一のシーケンス（例えば２Ｄビデオ画像シーケンス）から立体画像対を生成する方法およびシステムに関する。

一般に、立体画像変換は、２次元（２Ｄ）の画像または映像を３次元（３Ｄ）の立体画像または立体映像に変換することを伴うプロセスである。１つの従来のプロセスでは、異なる位置に置いた２つの別個のカメラによって取得した２つのモノスコピック像（左右の目の視点の像）を結合することによって、立体画像を生成することができる。各カメラは所与のシーンの２Ｄ視点画像（左右の目で見た像）を取得し、これによって、２つの２Ｄ視点画像が結合されて３Ｄすなわち立体画像が形成される。他の従来の方法では、単一のビデオ・カメラによって取得したオリジナル２Ｄモノスコピック画像から３Ｄすなわち立体画像を生成する。この方法では、オリジナル２Ｄ画像から抽出した情報を用いて、対応する２Ｄモノスコピック画像対が推定される。このような方法では、オリジナル２Ｄ画像が立体画像対の第１の像を生成する左視点像として定められる一方で、対応する右視点画像は、対応する立体画像対の第２の像を生成するためにオリジナル２Ｄ画像から加工された画像である。

１つの特定の従来の方式では、２Ｄ／３Ｄ変換システムは、ソース画像データに含まれる連続した２Ｄ画像間で推定されるカメラ・モーション・データを用いて、２Ｄモノスコピック画像の単一のシーケンス（例えば、２Ｄビデオ画像シーケンス）から立体画像対を生成するように構成することができる。そのような技術では、入力２Ｄ画像データは、カメラ・モーションで取得したビデオ・セグメントであることが多い。カメラ・モーションを解析した後で、入力ビデオ中の２Ｄ画像および推測したカメラ・モーションから、右画像を抽出することができる。２Ｄ／３Ｄ変換システムを使用して、２Ｄフォーマットの画像およびビデオ・データ（映画、ホーム・ビデオ、ゲームなど）を立体画像に変換し、２Ｄフォーマットのソース画像データを３Ｄとして視聴することを可能にすることができる。第１の画像シーケンスと第２の画像シーケンスとが左または右の目に送られると、第１の画像シーケンスと第２の画像シーケンスとによって、本来は２次元の画像が３次元に見えるようになる。

カメラ・モーションを使用して２Ｄ画像シーケンスから立体画像対を生成する従来の手法では、カメラでビデオ画像データから計算された奥行きマップを使用して、対応する立体画像対をレンダリング／生成する。一般に、これらの技術では、２Ｄ画像のモノスコピック・シーケンス中の連続した２つの２Ｄ画像がカノニカルな（ｃａｎｏｎｉｃａｌ）ステレオ対となるように、それらの２Ｄ画像間のカメラ・モーションを推定した後に、推定したカメラ・モーションを用いて奥行きの推定を行って、これらの２つ以上の連続した画像から奥行きマップを抽出する。次いで、推定した奥行きマップを使用して、左目画像を右目画像にレンダリングし直す。より詳しくは、連続する２つの２Ｄ画像Ｌ_ｉおよびＬ_ｉ＋１を想定し、入力２Ｄ画像シーケンスが左目視点像を提供するものとすると、奥行きマップＤに対するコスト関数Ｆ（Ｄ｜Ｌ_ｉ，Ｌ_ｉ＋１）を最小にすることにより、これらの２Ｄ画像から奥行きマップを推定することができる。最適な奥行きマップが

であるとすると、レンダリング関数

によって、右画像をレンダリングすることができる。

この従来の手法は、奥行きマップを正確に推定することができれば、理論上はうまく機能する。この手法の利点は、カメラ・モーションがどのようなものであってもよい点である。しかし、実際には、奥行き推定プロセスに問題があり、ほとんどの場合には、奥行きマップがノイズによって劣化する。その結果、推定した奥行きマップには、ノイズ成分

が含まれることになる。ここで、Ｄ_ｉは真の奥行きマップ（ｔｒｕｅ ｄｅｐｔｈ ｍａｐ）であり、

は、エラー成分である。右目画像をレンダリングする際に、このエラー成分がレンダリング関数によって伝播し、ほとんどの場合にはレンダリング関数によって増幅されて、望ましくないアーチファクトを生じることになる。

カメラ・モーションに基づく従来の方法としては、他に、平面変換技術を使用して奥行きマップの計算を回避するものもあるが、これらの手法は、一般的な任意のカメラ・モーションを含むビデオ・データへの適用が、かなり制限される。一般に、平面変換技術では、例えば隣接するフレームを使用して基本行列を計算することによって、入力ビデオ・シーケンスからカメラ・モーションを推定する。次いで、推定したカメラ・モーションのパラメータを使用して、入力ビデオ画像シーケンス中の現在の画像から仮想右目画像への変換に使用する平面変換行列を導出する。ただし、この変換行列を導出することができるのは、カメラ・モーションが水平の動きしか含まない場合のみである。カメラが垂直方向にも動く場合には、垂直視差が発生することになり、垂直視差は、平面変換で除去することができない。見る人の目は、通常はほぼ水平な平面内で離間しており、２つの目の間の距離のステレオ・ベースに従って各視点の像を見ているので、大抵の奥行きの知覚（すなわち、例えば光景を見るときの３Ｄすなわちステレオ効果）は、垂直平面内ではなくほぼ水平な平面内で得られる。従って、一対の連続する画像間の垂直の動きすなわち垂直ディスパリティ（ｄｉｓｐａｒｉｔｙ）が、２Ｄ／３Ｄ変換システムによって、奥行きを示す動きとして誤って解釈される可能性がある。ただし、平面変換は、カメラの回転およびズーミングは除去することができるので、カノニカルな立体画像対を生成することができる（すなわち、焦点距離が同じになり、かつ焦点面が平行になるように、左右の画像が位置合わせされる）。この条件下では、カメラ・モーションが水平移動に制限される場合に、２Ｄ画像の入力ビデオ・ストリームを、離間間隔の小さな一連のステレオ画像対として扱うことができる。

本明細書に記載する様々な実施形態は、任意のカメラ・モーションを含む２Ｄ画像のモノキュラ・シーケンスから立体画像対を生成する方法およびシステムを含み、ターゲット画像を生成するプロセスがディスパリティ・マップの推定ノイズの影響を受けにくくなるように、ターゲット画像上のディスパリティ・マップは、カメラ・モーションとディスパリティ・マップ生成の誤差を考慮に入れた最適化技術とを用いて直接推定される。

本発明の１つの例示的な実施形態では、２Ｄ／３Ｄ変換方法は、２Ｄ画像のモノスコピック・シーケンス中の、現在のリファレンス画像と隣接する画像とを含む連続する画像間のカメラ・モーション・パラメータを決定するステップと、カメラ・モーション・パラメータを用いて、ターゲット画像の水平ディスパリティ・マップを決定するステップと、ディスパリティ・マップの各ディスパリティ・ベクトルのディスパリティ確率値を決定するステップと、ターゲット画像と現在のリファレンス画像とが立体画像対を構成するように、ディスパリティ確率値を用いて、現在のリファレンス画像中の画素値の重み付け平均としてターゲット画像を決定するステップとを含む。

例えば、本発明の一実施形態では、水平ディスパリティ・マップは、水平ディスパリティ・マップの下で現在のリファレンス画像中の画素と隣接する画像中の画素とをマッチングするコストを決定する画素マッチング・コスト関数成分と、平滑な水平ディスパリティ・マップを得るために水平ディスパリティ・マップ中の近接する画素位置のディスパリティ値の類似性を考慮する平滑化コスト関数成分とを含むコスト関数を構築することによって決定される。

さらに、本発明の一実施形態では、ディスパリティ・マップのディスパリティ・ベクトルのディスパリティ確率値は、各画素のディスパリティ・ベクトルの値が、複数の離散値のうちの１つであることができる乱数値であるとみなされる、水平ディスパリティ・マップの確率関数モデルを構築することによって決定される。確率関数モデルは、コスト関数のコスト関数成分を、確率モデルに関連付けられた対応するエネルギー関数に変換することによって構築することができる。

さらに、例示的な一実施形態では、確率関数モデルはマルコフ確率場モデルであり、マルコフ確率場モデルは、第１及び第２のエネルギー関数によって規定され、第１のエネルギー関数はマッチング・コスト関数に対応し、第２のエネルギー関数は平滑化コスト関数に対応する。確率伝播アルゴリズムなどの確率的推論アルゴリズムを使用して、ディスパリティ・マップの各ディスパリティ・ベクトルのディスパリティ確率値を決定することもできる。

本発明の一実施形態では、ディスパリティ・マップを推定する前に、カメラ・モーション・パラメータを用いて、現在のリファレンス画像と隣接する画像との間の垂直カメラ・モーションの量を決定することができる。垂直モーションの量が所定のしきい値未満である場合には、平面変換を用いて、現在のリファレンス画像からターゲット画像を計算することができる。

本発明の代替の実施形態では、２次元画像シーケンスを３次元画像に変換するシステムは、２Ｄ画像の第１のモノスコピック・シーケンス中の、現在のリファレンス画像および隣接する画像を含む連続する画像を記憶する画像データ・バッファと、画像データ処理システムとを備える。一実施形態では、画像データ処理システムは、画像データ・バッファに記憶された連続する画像間のカメラ・モーション・パラメータを決定するカメラ・モーション推定モジュールと、カメラ・モーション・パラメータを用いてターゲット画像の水平ディスパリティ・マップを決定し、ディスパリティ・マップの各ディスパリティ・ベクトルのディスパリティ確率値を決定するディスパリティ・マップ推定モジュールと、ターゲット画像と現在のリファレンス画像とが立体画像対を構成するように、ディスパリティ確率値を用いて、現在のリファレンス画像中の画素値の重み付け平均としてターゲット画像を決定する画像レンダリング・モジュールとを有する。

本原理の教示は、以下の詳細な説明を添付の図面と併せて検討することにより、容易に理解することができる。

本発明の一実施形態による、２Ｄ画像シーケンスを３Ｄ立体画像に変換するシステムを示すハイレベル・ブロック図である。 本発明の一実施形態による、２Ｄ画像シーケンスを３Ｄ立体画像に変換する方法を示すフローチャートである。 本発明の代替の実施形態による、２Ｄ画像シーケンスを３Ｄ立体画像に変換する方法を示すフローチャートである。

図面は、本発明の概念を例示するためのものであり、本発明を説明することができる構成は、必ずしも図面に示すものだけではないことを理解されたい。理解し易いように、各図面に共通する同一の構成要素は、可能な限り同じ参照番号を用いて示している。

本発明は、一般的なカメラ・モーションを含む２次元（２Ｄ）モノスコピック画像の単一のシーケンス（例えば、２Ｄビデオ画像シーケンス）から立体画像対を生成する方法およびシステムを有利に提供する。左画像がリファレンス画像であり右画像がターゲット画像である２Ｄ画像を３Ｄ立体画像に変換する具体的なシステムに主に関連して本発明を説明するが、本発明の具体的な実施形態は、本発明の範囲を制限するものとして扱われるべきではない。例えば、本発明の代替の実施形態では、任意の第１の画像をリファレンス画像（すなわち右画像または左画像）として使用して、立体画像対を得ることができる。

本発明の様々な実施形態によれば、２Ｄから３Ｄへの変換技術は、入力ストリーム中の連続した２Ｄ画像（すなわちリファレンス画像）から決定されるカメラ・モーション・パラメータと、ディスパリティ・マップ生成の誤差を考慮する最適化技術を使用して、右目画像（ターゲット）上のディスパリティ・マップを推定するようになっており、それにより、推定したディスパリティ・マップを用いてオリジナル２Ｄ（リファレンス画像）から右画像（ターゲット）を生成するプロセスが、ディスパリティ・マップの推定ノイズの影響を受けにくくなっている。

一実施形態では、右画像上に規定されるディスパリティ場が推定される。ディスパリティ場は、左目画像Ｌ_ｉの画素がどのようにして右画像Ｒ_ｉに伝達されるかを記述する。例えば、ディスパリティ場がＤ^ｒで表される場合には、右目画像を数式（１）によって左目画像からに変換することができる。
Ｒ_ｉ（ｘ，ｙ）＝Ｌ_ｉ（ｘ＋Ｄ^ｒ（ｘ，ｙ），ｙ） （１）
ディスパリティ場Ｄ^ｒは、右目画像内の対応する画素を得るために、左目画像Ｌ_ｉ内の画素に適用されるシフトの量を指定するベクトル・データを含む。ベクトル・データは、２つの立体画像の間の視点の変化と、各カメラから撮影対象シーンの各対象物までの距離とに関係している。ディスパリティ場は水平成分のみを有するので、ディスパリティ場（またはディスパリティ・マップ）は、Ｌ_ｉ中の各画素の位置（ｘ，ｙ）に適用されると右視点ステレオ画像Ｒ_ｉ中の対応する画素の位置（ｘ＋ｄ，ｙ）を生じる、左視点ステレオ画像（リファレンス）中の各画素の変位値ｄを含むことに留意されたい。この点で、ディスパリティ・マップは変位値の行列とみなすことができ、この行列は、各ステレオ画像中の画素数と同じ大きさを有するので、ステレオ画像の一方に含まれる各画素ごとに１つの１次元変位値を含む。

図１は、本発明の一実施形態による、２Ｄ画像シーケンスを３Ｄ立体画像に変換するシステム１００のハイレベル・ブロック図を示す。一般に、システム１００は、以下で述べるように、２Ｄディジタル画像の第１の入力シーケンス（モノスコピック）１２０を処理し、様々な画像処理および最適化方法を用いて、この２Ｄ画像の第１のモノキュラ・シーケンス１２０から２Ｄディジタル画像の第２のシーケンス（モノスコピック）１３０を生成するように構成された画像データ・プロセッサ１１０を備える。図１に示す例示的な実施形態では、２Ｄ画像の第１のシーケンス１２０は、例えば立体画像対の左目視点像であるとみなされる２Ｄリファレンス画像のシーケンスＬ_ｉ，Ｌ_ｉ＋１，Ｌ_ｉ＋２，…を含み、２Ｄ画像１２０の第２のシーケンス１３０は、例えば立体画像対の対応する右目視点像であるとみなされる２Ｄ合成（ターゲット）画像のシーケンスＲ_ｉ，Ｒ_ｉ＋１，Ｒ_ｉ＋２，…を含む。一実施形態では、入力１２０は、カメラ・モーションで取得したビデオ・セグメントであってもよい。

２Ｄ画像の第１のシーケンス１２０と２Ｄ画像の第２のシーケンス１３０とを、画像結合モジュール１４０で結合して、立体画像シーケンス１５０を生成することができる。立体画像シーケンス１５０は、別個だが同期している左右の画像ストリームを含むことができ、これらの左右の画像ストリームが立体画像対ストリームを構成する。立体画像対ストリームは、対応する立体対がインタレースされて３Ｄ画像を形成している単一の３Ｄ画像ストリームである。

図１に示す実施形態では、画像データ・プロセッサ１１０は、入力画像バッファ１１１、カメラ・モーション推定モジュール１１２、コスト関数および確率関数生成モジュール１１３、平面変換生成モジュール１１４、ディスパリティ場推定モジュール１１５、および画像生成器１１６を例示的に備えている。画像データ・プロセッサ１１０を構成するシステム構成要素／モジュールは、（図２および図３のフローチャートを参照して後述するように）２次元画像シーケンス１２０中の隣接する連続した画像の間のカメラ・モーション・ベクトルを測定し、このモーション・ベクトルを使用して右目画像の水平ディスパリティ・マップを推定および最適化し、確率モデル化を行ってディスパリティ・マップ推定誤差を最小限に抑えることによって２Ｄ右目画像シーケンス１３０を生成する、様々な例示的な動作モードを実施する。

図１の実施形態では、画像バッファ１１１は、２Ｄ画像の入力シーケンス中の複数の隣接する画像フレームを受信して記憶する。カメラ・モーション推定モジュール１１２は、２Ｄ画像の第１のモノスコピック・シーケンス１２０中の連続する画像間のカメラ・モーション・パラメータ、例えば、現在のリファレンス画像Ｌ_ｉと隣接する画像Ｌ_ｉ＋１との間のカメラ・モーション・パラメータを決定する。本発明の様々な実施形態では、カメラ・モーション推定モジュール１１２は、さらに、現在のリファレンス画像Ｌ_ｉおよび隣接する画像Ｌ_ｉ＋１を修正および調整して、現在のリファレンス画像および隣接する画像がカノニカルなステレオ画像対になるようにする、画像修正および調整モジュールとしても動作する。

関数生成モジュール１１３は、最適ディスパリティ・マップを計算するために使用されるコスト関数（例えば後述の数式２または数式４）を生成する。以下に説明するように、コスト関数は、水平ディスパリティ・マップ（すなわちターゲット画像の水平ディスパリティ・マップ）を、隣接するリファレンス画像Ｌ_ｉとＬ_ｉ＋１との間のディスパリティに変換するために使用される水平モーション変換関数および垂直モーション変換関数の一方の関数によって、ディスパリティ・マップの下で、現在のリファレンス画像Ｌ_ｉおよび隣接する画像Ｌ_ｉ＋１の中の対応する画素のマッチングを行うコストを考慮する画素マッチング・コスト関数を決定する第１のコスト成分と、近接する画素のディスパリティのディスパリティ値の類似性を考慮する平滑化成分とで構成される。

関数モジュール１１３は、画素のディスパリティ値が当該画素について見込まれるディスパリティを表すｎ個の離散状態のうちの１つであってもよい乱数値である、ターゲット画像ディスパリティ・マップの確率モデルを規定する確率関数を生成する。関数生成モジュール１１３は、コスト関数を確率関数に変換することによって、確率関数を生成することができる。

ディスパリティ場推定モジュール１１５は、関数生成モジュール１１３が生成したコスト関数、確率関数、およびパラメータを用いて、ターゲット画像のディスパリティ場（またはディスパリティ・マップ）を推定および最適化する。以下に説明するように、例示的な一実施形態では、ディスパリティ・マップ推定モジュール１１５は、コスト関数またはコスト関数から導出した確率モデルのエネルギー関数を最小にして、ディスパリティ・マップのディスパリティ値の確率を求め、これらのディスパリティの確率値を重み値として使用して、リファレンス画像中の画素値の重み付け平均としてターゲット画像の画素値を計算することによって、初期ディスパリティ・マップを決定する。画像レンダリング・モジュール１１６は、推定したディスパリティ・マップを用いて２Ｄ画像（例えばターゲット画像）の第２のシーケンスを生成して出力し、対応するターゲット画像１３０とリファレンス画像１２０とが立体画像対を構成する。平面変換モジュール１１４を使用して、カメラ・モーションが垂直方向のカメラ・モーションを全く含まない、またはごくわずかしか含まない状況下で、リファレンス画像からターゲット画像を計算するために使用される平面変換行列を計算することができる。

図１のシステムは、様々な形態のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せによって実施することができる。本明細書に記載するシステムの構成要素および処理ステップは、１つまたは複数のプログラム記憶装置（例えば、磁気フロッピー（登録商標）・ディスク、ＲＡＭ、ＣＤ ＲＯＭ、ＲＯＭ、フラッシュ・メモリなど）に実装され、適当なアーキテクチャを備えた任意の装置、マシンまたはプラットフォームによって実行することができるプログラム命令を含むアプリケーションとして、ソフトウェアで実施することができる。さらに、本明細書に記載するシステム構成要素および方法ステップの一部はソフトウェアで実施することが好ましいので、システム構成要素間（またはプロセス・ステップ間）の実際の接続は、本原理の例示的な実施形態をプログラミングする方法によって異なっていてもよいことを理解されたい。

図２は、本発明の実施形態による、２Ｄ画像シーケンスを３Ｄ立体画像に変換する方法を示すフローチャートである。図２の方法は、図１に示すシステムの１つの例示的な動作モードを示しているに過ぎないことを理解されたい。この方法では、最初にステップ２００で、例えば２次元画像シーケンスの現在のフレームＬ_ｉおよび以前のフレームＬ_ｉ＋１を含む複数の隣接するフレームを、一時的にバッファリングする。この方法は、次いで、ステップ２０１に進む。

ステップ２０１で、隣接するフレーム間のカメラ・モーションの量および方法を推定する。上述したように、対応する右目画像Ｒｉを推定して立体対を形成するために、現在の２Ｄ画像Ｌｉに適用される水平ディスパリティ・マップを推定するプロセスにおいて、カメラ・モーション・パラメータが使用される。このプロセスでは、入力モノスコピック・シーケンスの連続する２つの２Ｄソース画像間のカメラ・モーションを推定することにより、右画像Ｒｉを計算することが可能になる。ここで、画像Ｒｉは、現在の左画像Ｌｉに連続する画像に類似しており、ディスパリティ・ベクトルＤは、推定したカメラ・モーション・ベクトルに類似している。

例えば、隣接する画像ＬｉとＬ_ｉ＋１との間のカメラ・モーションは、例えば、隣接するフレームを用いて基本行列を計算することによって推定することができる。当技術分野で知られているように、基本行列は、１つの画像中の点を、他の画像中の対応する点と関連付けるものであり、２つの連続する入力画像間のディスパリティ・マッピングは、基本行列を用いてこれらのフレーム間のカメラ・モーションをモデル化することによって決定することができる。この方法は、次いで、ステップ２０２に進む。

ステップ２０２で、コスト関数を構築して、カメラ・モーションに基づいてターゲット（例えば右）画像の最適ディスパリティ・マップを推定する。水平ディスパリティ・マップは、以下の数式（２）に従ってコスト関数を最小にすることによって生成することができる。

数式（２）において、ｄ（.,.）は、画素差、例えばユークリッド距離を表す。Ｈ_ｘ，Ｈ_ｙは、決定した水平（ｘ）方向および垂直（ｙ）方向のカメラ・モーションをそれぞれ表す変換関数であり、これらの変換関数を使用して、右目水平ディスパリティ・マップを、Ｌ_ｉとＬ_ｉ＋１との間のディスパリティに変換し、画素差を計算することができるようにする。数式（２）のコスト関数の式では、モーション変換関数を用いて、画像の修正（ｒｅｃｔｉｆｉｃａｔｉｏｎ）および調整（ｃａｌｉｂｒａｔｉｏｎ）が考慮に入れられる。さらに、数式（２）において、Ｓ（Ｄ^ｒ（ｘ，ｙ））は、ディスパリティ場で規定される平滑化制約を示す。平滑化制約は、以下の数式（３）で特徴付けることができる。
比較的単純な例をとると、カメラ・モーションが垂直並進運動である場合には、Ｌ_ｉとＬ_ｉ＋１の間には垂直視差しか存在しない。Ｌ_ｉおよびＬ_ｉ＋１を修正した場合には、Ｄ^ｒ（ｘ，ｙ）のディスパリティは、

によって、Ｌ_ｉ上のディスパリティ場に変換することができる。数式（２）中のコスト関数は、例えばダイナミック・プログラミングおよび確率伝搬法などの最適化手法によって最小にすることができる。

代替の実施形態では、画像の修正および調整をカメラ・モーション推定プロセスの一部として行うことによって、ディスパリティ場推定を行うことができ、さらに簡略なコスト関数を構築することができる。すなわち、画像の修正および調整をカメラ・モーション推定プロセスの一部として行うと仮定すると、２つの連続する画像Ｌ_ｉ−１およびＬ_ｉは、修正対Ｌ’_ｉ−１およびＬ’_ｉに変換されることになり、ディスパリティ・マップＤ^ｒは、以下の数式（４）によるコスト関数を最小限にすることによって推定することができる。

ここで、ｄ（.,.）は、画素差であり、Ｓ（Ｄ^ｒ（ｘ，ｙ））は、数式（２）で定義される平滑化制約である。数式（２）のコスト関数と比較すると、隣接するリファレンス画像の修正および調整がカメラ・モーション推定プロセスの一部として既に行われているので、数式（４）のコスト関数は、水平ディスパリティ・マップを推定するための画像修正成分および画像調整成分を含んでいない。

一般に、数式（２）および（４）のコスト関数は、水平ディスパリティ・マップの下で現在のリファレンス画像中の画素と隣接する画像中の画素とのマッチングのコストを決定する画素マッチング・コスト関数成分と、平滑な水平ディスパリティ・マップを得るために水平ディスパリティ・マップ中の近接する画素位置のディスパリティ値の類似性を考慮する平滑化コスト関数成分とを含む。コスト関数を最小にすることによって最適な水平ディスパリティ・マップを推定することができるが、単に数式（２）又は数式（４）を用いただけの水平ディスパリティ・マップの推定は、ディスパリティ推定誤差がある場合に右目画像に伝搬する誤差を生じ、アーチファクトを生じる可能性につながるおそれがある。

従って、ディスパリティ推定の確率（信頼性）を用いて、ディスパリティ推定の不確実性を考慮する。ディスパリティ値の確率がＷ（ｘ，ｙ，ｄ）であると仮定すると、右画像の画素値は、以下の数式（５）により、左目画像中の画素値の重み付け平均として設定することができる。

図２の方法は、次いで、ステップ２０３に進む。

ステップ２０３で、数式（４）のコスト関数の式を確率式に変換し、その後、確率的推論アルゴリズムを適用することによって、重みＷ（ｘ，ｙ，ｄ）（すなわち、ディスパリティ・ベクトルの確率値）を決定することができる。このフレームワークでは、各画素の真のディスパリティ値は、各画素位置の確率変数である。各変数は、その画素位置において見込まれるディスパリティを表すｎ個の離散状態のうちの１つをとることができる。見込まれるディスパリティ値それぞれに対して、ある画素を当該ディスパリティ値を有する対応するステレオ画像中の対応する画素へマッチングさせることに関連するコストがある。ここで、当該コストは、２つの画素間の強度差に基づいていることが好ましい。

図２を再び参照すると、数式（４）中のコスト関数は、以下の数式（６）によって等価な確率式に変換することができる。

ここで、ｄはディスパリティ値であり、ｉおよびｊは、画像中の一点を特定する別個の指標である。例えば、画像のサイズが３２０×２４０である場合には、ｉ＝０は（０，０）に位置する画素を表し、ｉ＝３２１は（１，１）に位置する画素を表し、その他同様である。従って、ｄ_ｉは、数式（３）中のＤ^ｒ（ｘ，ｙ）に対応する。数式（４）と数式（６）とを比較すると、その結果は、以下のようになる。
（ｉ）全体としてのコスト関数は、Ｃ＝ｌｏｇｐ（ｄ（．））、
（ｉｉ）画素マッチング・コスト関数は、

、
（ｉｉｉ）平滑化コスト関数は、

。ただし、

であり、ここで、±が用いられているのは、符号が画素の近傍によって決まるからである。ｌｏｇＺの項は、数式（６）および数式（４）の等価性に影響を及ぼさない、ディスパリティ・マップに対する定数である。この変換により、数式（４）のコスト関数を最小にすることは、数式（６）の確率関数を最大にすることと等価になる。ここで、数式（５）は、マルコフ確率場として知られており、φ_ｉおよびΨ_ｉｊは、マルコフ確率場のポテンシャル関数である。

図２の方法に戻ると、ステップ２０４で、コスト関数を確率モデル（例えばマルコフ確率場）に変換した後で、所与の画素のディスパリティｂ（ｄ_ｉ＝ｗ）の確率値を、確率的推論アルゴリズムを用いて得ることができる。例えば、本発明に従ってディスパリティを計算するために使用することができる１つの推論アルゴリズムは、確率伝搬アルゴリズムであり、ｂ（ｄ_ｉ＝ｗ）は、値ｗを有する点ｉ（座標ｘ，ｙ）におけるディスパリティ値の確率である真の確率ｐ（ｄ_ｉ＝ｗ）に近似される。ここで、ｗは、１からＭの整数である（Ｍは最大ディスパリティ値）。この方法は、次いで、ステップ２０５に進む。

ステップ２０５で、現在のソース画像Ｌｉに関連する２Ｄステレオ画像Ｒｉを、推定したディスパリティ確率値を用いて、現在の画像Ｌｉ中の画素の重み付け平均として計算することができる。特に、数式（５）を参照すると、重みＷ（ｘ，ｙ，ｄ）の値は、所与の画素のディスパリティ値の近似確率値ｂ（ｄ_ｉ＝ｗ）と等しくなるように設定することができる。ここで、指標ｉは、座標（ｘ，ｙ）の画素に対応する。これで、この方法を終了することができる。

図２の方法は、一般的なカメラ・モーション（水平および垂直のカメラ・モーション）に適用することができる。水平ディスパリティ・マップを構築し、これを使用してターゲット画像（例えば右目像）をレンダリングするので、カメラ・モーションが垂直成分を含む可能性があるにもかかわらず、自然なステレオ画像が生成される。しかし、カメラ・モーションが水平成分の他に、垂直成分をほとんど、または全く含まない場合には、平面モーション変換を使用して、右目水平ディスパリティ・マップを計算し、ターゲット画像をレンダリングすることができる。

例えば、図３は、本発明の代替の実施形態による、２Ｄ画像シーケンスを３Ｄ立体画像に変換する方法を示すフローチャートである。図３の方法は、図１に示すシステムによって実行することができる２Ｄ画像シーケンスを３Ｄ立体画像に変換する方法の代替の実施形態を表すものである。図３の方法では、初期のステップ３００および３０１は、図２のステップ２００および２０１と同様である。より詳しくは、ステップ３００で、例えば２次元画像シーケンスの現在のフレームＬ_ｉおよびそれ以前のフレームＬ_ｉ＋１を含む複数の隣接するフレームを一時的にバッファリングする。次いで、この方法は、ステップ３０１に進む。

ステップ３０１で、図２の方法のステップ２０１に関連して上述したように、隣接するフレーム間のカメラ・モーションの量および方向を推定する。次いで、この方法は、ステップ３０２に進む。

ステップ３０２で、垂直視差検出プロセスを実行して、存在する可能性のある垂直視差が存在する場合にはその量を決定する。一実施形態では、垂直視差検出は、入力シーケンス中の２つの画像（Ｌ_ｉおよびＬ_ｉ＋１）を修正しようと試みることによって実現することができる。修正変換を計算した後で、その修正が画像Ｌ_ｉの回転を含む場合には、垂直視差が存在しているはずである。従って、ここでは、回転角を、垂直視差を特定するための尺度として使用することができる。次いで、この方法は、ステップ３０３に進む。

ステップ３０３で、垂直視差の量が既定のしきい値より小さいかどうかを判定する。すなわち、本発明の一実施形態では、検出器が、検出した垂直視差の量を示す値を出力する。垂直視差の量が既定のしきい値未満である場合（ステップ３０３が肯定の結果である場合）には、この方法は、ステップ３０４に進む。

ステップ３０４で、平面変換プロセスを実行して、ターゲット画像Ｒ_ｉを推定する。詳細には、例えば平面変換を構築する既知の方法を用い、カメラ・モーション・パラメータを用いて、平面変換を構築する。次いで、この方法は、ステップ３０５に進む。

ステップ３０５で、現在のリファレンス画像Ｌ_ｉに平面変換を適用して、関連するターゲット画像Ｒｉを計算する。これで、この方法を終了することができる。

ステップ３０４および３０５では、カメラ・モーション・パラメータを使用して、リファレンス画像Ｌｉをターゲット画像Ｒｉに変換するために使用することができる平面変換行列を導出することができる。しかし、この変換行列は、カメラ・モーションが水平運動のみを含む場合にしか導出することができない。カメラ・モーションが垂直成分を含む場合には、垂直視差が生じることになり、垂直視差は、どのような平面変換によっても除去することはできない。しかし、平面変換は、カメラの回転およびズーミングは除去することができるので、カノニカルなステレオ対を生成することができる（すなわち、左右の画像が位置合わせされ、焦点距離が同じになり、焦点面が平行になる）。

図３のステップ３０３に戻ると、垂直視差が既定のしきい値未満ではない場合（ステップ３０３が否定の結果である場合）には、この方法は、ステップ３０６にジャンプする。ステップ３０６は、上述した図２のステップ２０２と同様である。

すなわち、ステップ３０６で、図２のステップ２０２に関連して上述したように、コスト関数を構築して、カメラ・モーションに基づいてターゲット（例えば右）画像の最適ディスパリティ・マップを推定する。ステップ３０６の後で、図３の方法は、ステップ３０７に進む。

ステップ３０７で、図２のステップ２０３に関連して上述したように、コスト関数を確率モデルに変換する。ステップ３０７の後で、図３の方法は、ステップ３０８に進む。

ステップ３０８で、図２のステップ２０４に関連して上述したように、確率的推論アルゴリズムを確率モデルに適用して、ディスパリティ・モデルの確率を求める。ステップ３０８の後で、図３の方法は、ステップ３０９に進む。

ステップ３０９で、図２のステップ２０５に関連して上述したように、推定したディスパリティ確率値を用いて、現在のソース画像Ｌｉに関連する２Ｄステレオ画像Ｒｉを、現在の画像Ｌｉ中の画素の重み付け平均として計算することができる。これで、この方法を終了することができる。

一般的なカメラ・モーションを含む２次元（２Ｄ）モノスコピック画像の単一のシーケンス（例えば、２Ｄビデオ画像シーケンス）から立体画像対を生成する方法およびシステムの好ましい実施形態について（制限ではなく例示を目的として）説明してきたが、当業者であれば、上記の教示に照らして様々な修正および変形を行うことができることに留意されたい。従って、添付の特許請求の範囲に概説する本発明の範囲および趣旨内で、開示した本発明の具体的な実施形態に様々な変更を加えることができることを理解されたい。前述の内容は、本発明の様々な実施形態に関するものであるが、本発明の基本的な範囲を逸脱することなく、本発明のその他の実施形態を考案することができる。

Claims (18)

1. ２次元画像シーケンスを３次元画像に変換する方法であって、
   ２Ｄ画像のモノスコピック・シーケンス中の、現在のリファレンス画像と隣接する画像とを含む連続する画像間のカメラ・モーション・パラメータを決定するステップ（２０１）と、
   前記カメラ・モーション・パラメータを用いて、ターゲット画像の水平ディスパリティ・マップを決定するステップ（２０２）と、
   前記ディスパリティ・マップの各ディスパリティ・ベクトルのディスパリティ確率値を決定するステップ（２０３，２０４）と、
   ターゲット画像と現在のリファレンス画像とが立体画像対を構成するように、前記ディスパリティ確率値を用いて、前記現在のリファレンス画像中の画素値の重み付け平均としてターゲット画像を決定するステップ（２０５）と、
   を含む前記方法。
2. 水平ディスパリティ・マップを決定する前記ステップが、前記水平ディスパリティ・マップの下で前記現在のリファレンス画像中の画素と前記隣接する画像中の画素とをマッチングするコストを決定する画素マッチング・コスト関数成分と、平滑な水平ディスパリティ・マップを得るために前記水平ディスパリティ・マップ中の近接する画素位置のディスパリティ値の類似性を考慮する平滑化コスト関数成分とを含むコスト関数を構築するステップ（２０２）を含む、請求項１に記載の方法。
3. 前記ディスパリティ・マップの前記ディスパリティ・ベクトルのディスパリティ確率値を決定する前記ステップが、
   各画素のディスパリティ・ベクトルの値が、複数の離散値のうちの１つであることができる乱数値であるとみなされる、前記水平ディスパリティ・マップの確率モデルを決定するステップ（２０３）と、
   確率的推論アルゴリズムを使用して、前記ディスパリティ・マップ中の各ディスパリティ・ベクトルについて最も確率の高いディスパリティ値を決定するステップ（２０４）と、
   前記最も確率の高いディスパリティ値に関連する確率値を、所与の画素の重み値として適用するステップ（２０４）とを含む、請求項１に記載の方法。
4. 前記水平ディスパリティ・マップの確率モデルを決定する前記ステップが、
   前記水平ディスパリティ・マップの下で前記現在のリファレンス画像中の画素を前記隣接する画像中の画素とマッチングするコストを決定する画素マッチング・コスト関数成分と、平滑な水平ディスパリティ・マップを得るために前記水平ディスパリティ・マップ中の近接する画素位置のディスパリティ値の類似性を考慮する平滑化コスト関数成分とを含むコスト関数を構築するステップ（２０２）と、
   前記コスト関数を対応するエネルギー関数に変換するステップ（２０３）とを含む、請求項３に記載の方法。
5. 前記確率モデルはマルコフ確率場モデルである、請求項３に記載の方法。
6. 前記マルコフ確率場が第１及び第２のエネルギー関数によって規定され、前記第１のエネルギー関数はマッチング・コスト関数に対応し、前記第２のエネルギー関数は平滑化コスト関数に対応する、請求項５に記載の方法。
7. 前記確率的推論アルゴリズムは確率伝搬アルゴリズムである、請求項３に記載の方法。
8. 前記カメラ・モーション・パラメータを用いて前記現在のリファレンス画像と前記隣接する画像との間の垂直カメラ・モーションの量を決定するステップ（３０１）と、
   前記垂直モーションの量が所定のしきい値未満である場合に、前記現在のリファレンス画像からターゲット画像を計算するために平面変換を実行するステップ（３０４）と、
   をさらに含む、請求項１に記載の方法。
9. 前記カメラ・モーション・パラメータを用いてターゲット画像の水平ディスパリティ・マップを決定する前記ステップの前に、前記現在のリファレンス画像および前記隣接する画像を修正するステップをさらに含む、請求項１に記載の方法。
10. ２次元画像シーケンスを３次元画像に変換するシステム（１００）であって、
    ２Ｄ画像の第１のモノスコピック・シーケンス中の、現在のリファレンス画像および隣接する画像を含む連続する画像を記憶する画像データ・バッファ（１１１）と、
    画像データ処理システム（１１０）と、
    を有し、前記画像データ処理システムは、
    前記画像データ・バッファに記憶された前記連続する画像間のカメラ・モーション・パラメータを決定するカメラ・モーション推定モジュール（１１２）と、
    前記カメラ・モーション・パラメータを用いてターゲット画像の水平ディスパリティ・マップを決定し、かつ前記ディスパリティ・マップの各ディスパリティ・ベクトルのディスパリティ確率値を決定するディスパリティ・マップ推定モジュール（１１５）と、
    ターゲット画像と現在のリファレンス画像とが立体画像対を構成するように、前記ディスパリティ確率値を用いて、前記現在のリファレンス画像中の画素値の重み付け平均としてターゲット画像を決定する画像レンダリング・モジュール（１１６）と、
    を有する前記システム。
11. 前記画像データ処理システム（１１０）が、前記水平ディスパリティ・マップを決定するために前記ディスパリティ・マップ推定モジュールによって使用されるコスト関数を構築するコスト関数生成モジュール（１１３）を備えており、前記コスト関数は、前記水平ディスパリティ・マップの下で前記現在のリファレンス画像中の画素と前記隣接する画像中の画素とをマッチングするコストを決定する画素マッチング・コスト関数成分と、平滑な水平ディスパリティ・マップを得るために前記水平ディスパリティ・マップ中の近接する画素位置のディスパリティ値の類似性を考慮する平滑化コスト関数成分とを含む、請求項１０に記載のシステム。
12. 前記画像データ処理システムが、各画素のディスパリティ・ベクトルの値が、複数の離散値のうちの１つであることができる乱数値であるとみなされる、前記水平ディスパリティ・マップの確率モデルを決定する確率関数生成モジュール（１１３）を備え、
    前記ディスパリティ・マップ推定モジュール（１１５）は、確率的推論アルゴリズムを使用して、前記ディスパリティ・マップ中の各ディスパリティ・ベクトルについて最も確率の高いディスパリティ値を決定し、前記最も確率の高いディスパリティ値に関連する確率値を、所与の画素の重み値として適用する、請求項１０に記載のシステム。
13. 前記確率モデルはマルコフ確率場モデルである、請求項１２に記載のシステム。
14. 前記マルコフ確率場が第１及び第２のエネルギー関数によって規定され、前記第１のエネルギー関数がマッチング・コスト関数に対応し、前記第２のエネルギー関数が平滑化コスト関数に対応する、請求項１３に記載のシステム。
15. 前記確率的推論アルゴリズムは確率伝搬アルゴリズムである、請求項１３に記載のシステム。
16. 前記画像データ処理システムが、
    前記水平ディスパリティ・マップの下で前記現在のリファレンス画像中の画素を前記隣接する画像中の画素とマッチングするコストを決定する画素マッチング・コスト関数成分と、平滑な水平ディスパリティ・マップを得るために前記水平ディスパリティ・マップ中の近接する画素位置のディスパリティ値の類似性を考慮する平滑化コスト関数成分とを含むコスト関数を構築するコスト関数生成モジュール（１１３）と、
    各画素のディスパリティ・ベクトルの値が、複数の離散値のうちの１つであることができる乱数値であるとみなされる、前記水平ディスパリティ・マップの確率関数モデルを構築する確率関数生成モジュール（１１３）とを備え、
    前記確率関数モデルは、前記コスト関数の前記コスト関数成分を、前記確率モデルに関連付けられた対応するエネルギー関数に変換することによって構築される、請求項１０に記載のシステム。
17. 前記カメラ・モーション推定モジュール（１１２）は、前記カメラ・モーション・パラメータを用いて前記現在のリファレンス画像と前記隣接する画像との間の垂直カメラ・モーションの量を決定し、前記システムは、前記カメラ・モーション推定モジュールが前記垂直モーションの量が所定のしきい値未満であると判定した場合に、平面変換関数を計算し、該平面変換関数を用いて前記現在のリファレンス画像からターゲット画像を計算する平面変換生成モジュール（１１４）をさらに有する、請求項１０に記載のシステム。
18. 前記現在のリファレンス画像および前記隣接する画像がカノニカルなステレオ画像対となるように、前記現在のリファレンス画像および前記隣接する画像を修正および調整する画像修正および調整モジュール（１１２）をさらに備える、請求項１０に記載のシステム。