JP2001501348A - ３次元シーンの再構成方法と、対応する再構成装置および復号化システム - Google Patents

Abstract

(57)【要約】 本発明は、３次元シーンの再構成の新たな方法に関係する。慣例的な方法が、しばしば、関係するオブジェクトの境界体積の３Ｄ再構成に限定される一方、各光景において隠れている部分についての情報を与える、１台のカメラによって撮られた２Ｄ光景から３Ｄ幾何学的モデルを再生する本提案方法は、サブシステム（１１）において実行され、初期化サブステップおよび投影サブステップとその後の精密化プロセスとを含む第１深さラベル付けステップと、サブシステム（１２）において実行される第２再構成ステップとにしたがって実行される。１シーンの２光景に対してこのようにして得られた３Ｄ深さマップの緊密な協働によって、３Ｄモデルを識別し、抽出する。用途は、マルチメディアサービスにおける付加的な機能である。

Description

【発明の詳細な説明】 ３次元シーンの再構成方法と、対応する再構成装置および復号化システム 本発明は、リアルシーンのＮの連続する画像に対応する２次元ビデオシーケン スから、３次元シーンを再構成する方法と、対応する再構成装置および復号化シ ステムに関係する。 科学技術における最近の進歩をかんがみて(グラフィックおよびビデオ材料を 、空間および時間において所定の関係を有するオブジェクトとして符号化する手 段を与えようとする未来のＭＰＥＧ−４標準に関係するすべての計画において) 、立体画像および仮想環境に関するすべては、例えば工学、設計または製造にお いて、重要な道具になってきている。通常は、同じシーンを２つのわずかに異な った視野角で記録することによって発生される立体画像は、前記画像が対として 見なされ、立体対の各々の画像がその個々の目によって見られる場合、３次元（ ３Ｄ）において知覚される。さらに、このような立体および仮想現実の状況にお いて、形成された環境内を自由に歩き回ることが求められており、可能である。 この仮想環境の形成を、代表的に以下のステップに従う画像合成ツールによって 行なう。 （ａ）(例えば、面表現を使用することによる)関係するシーンの３Ｄ幾何学的 モデルの回復ステップ。 （ｂ）特定の視点に従い、すべての既知の要素（例えば、光、前記面の反射特 性、実際の光景の要素間の対応...）を考慮する光景を計算させるレンダリング ステップ。 しかしながら、３Ｄ幾何学的モデルの再構成は、すべての利用可能な光景中で 画像マッチングを行なうことを必要とする。１９８３年３月のＩＥＥＥ Ｔｒａ ｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉ ｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．ＰＡＭＩ−５，ｎ°２，１５９〜１７４ペー ジのＲ．Ｙ．Ｔｓａｉによる論文「多フレーム画像点マッチングおよび３Ｄ表面 再構成」は、このような対応問題を、（規定されたサーチウィンドウ内で、入力 画像の標本化グリッドに対応する軸に沿って）すべての他の光景の情報を１本の 経 路において考慮する相関関数を計算し、このようにしてノイズおよび周期的構造 に対してより堅牢な方法を与えることによって解決する。この関数の最小値は、 前記サーチウィンドウの中心における画素の深さの推定値を与える。あいにく、 この深さ推定値は、前記標本化グリッドに対して非線型的な依存性（最も簡単な 場合において１／ｘ）を有する。さらに、ある画像から得られた表面に関する深 さマップ推定を、他の画像から得られた同じ表面の深さマップ推定と容易に比較 することは、これらが同じ基準グリッドを共有しない（これらは、これらの個々 の標本化グリッドに関係するだけである）ため、できない。 本発明の第１の目的は、これらの欠点をもはや示さないシーン再構成方法を提 案することである。 この目的のため、本発明は、この記載の序章において規定したような再構成方 法において、三角形領域にセグメント化された各画像に対する、 （Ａ）各光景を連続３Ｄシートの投影とみなし、前記３Ｄシートの深さマップ に対応する相違マップを得るために、多光景マッチングを、各光景において独立 して行う第１深さラベル付けステップと、 （Ｂ）３Ｄ空間のオクトツリー再分割を行い、すべての３Ｄ深さシートの交線 において位置するボクセル（体積要素）を保持する第２ ３Ｄモデル抽出ステッ プとのシーケンスの組を具えることをさらに特徴とする方法に関係する。オクト ツリーは、境界立方体によって囲み、各々の立方体を１個の大きい立方体である ルートノードにおいて開始する８個のサブ立方体に反復的に再分割することによ って構成された２値化体積データを記述するために使用されるツリー構造表現で あり、オクトツリーは、代表的なオブジェクトにおける隣接するボクセル間には 大きい程度の一致性が存在するため、多くの体積問題に対して効率的な表現であ る。 このようなアプローチによって、（ユーザによって自由自在に与えられる深さ 標本化グリッドを構成する）３Ｄ世界座標系における深さの標本値に対応する軸 に沿った相関関数を、すべての光景を考慮して計算し、この関数の最小値は、前 記座標系における深さの正確な値に直接関係する(これは、多数の深さ推定が異 なった視点から得られる場合、大きな利点である)。この深さ標本化グリッドを は、 ユーザによって自由自在に与えられ、有利には等間隔で、しかしながら、（例え ば、室内光景の場合である、前記表面が予め決められた境界ボックス内にあるこ とが既知である場合）再構成すべき表面についてのいくつかの予備知識を考慮し て選択される。 文献ＵＳＰ ５５９８５１５は、本発明の場合においては収束が得られるまで 連続的な精密化を行う大幅により簡単な手順に置き換えられる複雑な手順にした がって、３次元シーンまたはこのようなシーンの要素を、前記シーンの複数の２ 次元画像から再構成するシステムおよび方法を記載している。 本発明によれば、前記深さラベル付けステップは、第１反復中、関係する画像 の予備３Ｄ深さシートを規定する初期化サブステップと、各領域の各頂点に関し て、各々の標本化深さに関する、前記頂点に対して特別に規定されたウィンドウ における（Ｎ画像のシーケンスに対して）(Ｎ−１)対の光景の各々間の相互に関 係するコストの和に対応するエラーベクトルを規定し、最低相関コストを与える インデックスを格納する精密化サブステップとを連続して具え、前記第１反復後 に前記初期化サブステップと置き換える追加の動作を、画像取得装置のそのパラ メータにしたがう位置および視野と画像面に近い頂点マップとを調節し、各頂点 に関して視線方向において該頂点および前記取得装置の光学中心を通過するライ ンと交差するボクセルをリスト化し、前記画像面に最も近いボクセルを選択する 投影サブステップとする。前記３Ｄモデル抽出ステップに関して、好適には、前 記ボクセルグリッドの解像度を規定する解像度規定サブステップと、各光景に関 して、各深さマップによって与えられる空でない空間の内側にあるボクセルを保 持し、次に、すべての空でない空間の交線において位置するボクセルのみを保持 するボクセル選択サブステップとを具える。 本発明の他の目的は、この方法を実行することができる再構成装置を提案する ことである。 この目的のため、本発明は、リアルシーンのＮ連続画像に対応する２次元ビデ オシーケンスから３次元シーンを再構成する装置において、 （Ｉ）前記シーケンスのＮ画像の各々を三角形領域にセグメント化し、 （ＩＩ）該装置が、前記シーケンスの各画像を処理する、 （Ａ）それ自身が、 （１）第１反復中、標本化深さの組に関して、（Ｎ−１）対の光景の各々間 の相互に関係するコストの和に対応するエラーべクトルと、最低相関コストを与 えるインデックスとを規定し、前記領域の各頂点の深さ値を、隣接する前記領域 に対して得られた深さ間の補間によって計算する初期化装置と、 （２）各頂点に対して同様に、予め境界を定められたウィンドウにおけるエ ラーベクトルと、対応して、前記最低相関コストを与えるインデックスとを規定 する精密化装置とを具える深さラベル付けサブシステムと、 （Ｂ）ボクセルグリッドの解像度を選択し、各光景に対して、各深さマップに よって与えられる空でない空間の内側にあるボクセルを保持し、最終的に、すべ ての空でない空間の交線において位置するボクセルのみを保持する再構成サブシ ステムとを具え、 （ＩＩＩ）前記深さラベル付けサブシステムが、その後の反復中に、前記初期 化装置に置き換わり、画像取得装置の位置および視野と、画像面にきわめて近い 頂点マップとを調節し、視線方向において各頂点に関して該頂点および前記取得 装置の光学中心を通過するラインと交差するボクセルをリスト化し、前記画像面 に最も近いボクセルを選択する投影装置も具えることを特徴とする装置に関係す る。本発明は、このような再構成装置を含むビデオ復号化システムにも関係する 。 本発明の利点は、以下の説明および添付図面の参照によってよりよく理解され るであろう。 図１は、本発明による再構成装置の全体的な配置を示す。 図２は、図１の装置の初期化装置において行われる動作を説明する。 図３は、図１の装置の精密化装置において行われる動作を説明する。 図４は、図１の装置の３Ｄ再構成サブシステムにおいて行われる動作を説明す る。 図５は、図１の装置の投影装置において行われる動作を説明する。 図１に示す装置は、本発明によって、３次元形態（３Ｄ）におけるシーンの、 該シーンのＮの連続２次元画像（２Ｄ）のシーケンスに基づいた再構成を行うこ とを目的とする。前記再生は、反復することを目的とする２つのステップにおけ る実装にしたがう２つのサブシステム１１および１２において実現される。第１ ステップは、深さラベル付けステップであり、各光景を連続的な３Ｄシートの投 影とみなし、多光景マッチングを各光景において独立して行い、その相違マップ を得て、このとき、各相違マップは、前記３Ｄシートの深さマップに対応する( その測定が深さ推定を与える前記相違は、左（右）の画像におけるパッチの右（ 左）の画像に対するシフトであり、なんらかの対応問題の出力は、相違マップで ある)。第２ステップは、３Ｄモデル抽出ステップであり、３Ｄ空間のオクトツ リー再分割を行い、すべての３Ｄ深さシートの交線においてあるボクセルを保持 する。 図１の装置は、したがって２つの部分、すなわち、前記第１深さラベル付けス テップを実行する深さラベル付けサブシステム１１と、前記第２モデル抽出ステ ップを実行する３Ｄ再構成サブシステム１２とに再分割される。深さラベル付け サブシステム１１それ自体は、初期化装置と、投影装置１１２と、精密化装置１ １３とを具える。 図１において説明するような初期化装置は、テスト回路１１１１と、その後段 の初期化回路１１１２とを具える。テスト回路１１１１は、手順の開始時におけ る前記反復が最初の反復の場合に回路１１１２（ＹＥＳ）の方に、または、前記 初期化がすでに行われている場合に装置１１２（ＮＯ）の方に切り替える。 Ｉが、深さシートと多光景マッチングに使用される画像Ｉ０ないしＩＮとを再 生したい画像である場合、ＩをＩの画像面と平行に位置するとする三角形領域に セグメント化する。次に、各領域Ｒ（Ｉ）に関して、現在の視野においてこの領 域の深さを予め決められた深さＤ１，Ｄ２,...，Ｄｉ,...，ＤＭの組Ｓの範囲内 で得るために、３つの動作をサブステップ１１１２ａ、１１１２Ｂおよび１１１ ２ｃにおいて連続的に実行する。 サブステップ１１１２ａ（図２上方部）は、各領域に関して、規定された長さ のエラーベクトルＶ（ｉ）を計算し、前記ベクトルは、各標本化深さ（Ｃは、基 準光学的中心）に関して、（Ｎ−１）対の光景（画像ｉ，画像ｊ）の各々間の相 関コストの和に対応し、 によって表してもよい。Ｖ（ｉ）の各座標ｉは、各光景における深さＤｉにおい て直面するエラーの和に対応する。相関測定ｅｒｒ（ｉ）[Ｉｉ，Ｉｊ]は、Ｒ( ｉ)の画素と、深さＤｉにおいて位置すると仮定された画像Ｉｊにおける領域Ｒ （Ｉｉｊ）の画素との間の二乗平均されたエラーであり、光景ＩおよびＩｊの座 標系に関係する投影行列を使用して得られる。サブステップ１１１２ｂ（図２中 央部分）は、各領域に関して、前記最低相関コストを与えるインデックスを見つ け、サブステップ１１１２ｃ（図２下方部分）は、各領域の各頂点に関して、そ の深さ値を、隣接する領域に対して得られる深さ間の補間によって計算する(す なわち、前記三角形領域の各頂点の深さは、該頂点を共有する領域の深さの平均 である)。 前記初期化によって、予備３Ｄ深さシートが、画像Ｉに対して得られる。各領 域Ｒ（Ｉ）は、ここで、その３つの頂点の３Ｄ座標によって与えられるその３Ｄ 位置および方向の推定を得る。しかしながら、前記領域の方向は、これらが画像 Ｉの画像面に平行に位置するという初期仮定にもはや従わない。 前記初期化装置を反復的に使用し、画像Ｉにおける各領域の方向の新たな推定 を考慮する間、再度動作させてもよい。最終的には他のアプローチが好適であり 、各領域において別々にエラーベクトルを探索する代わりに、エラーベクトルを 、Ｉにおける頂点に関して別々に探索する(ここで、深さ推定を、該深さ推定が 変化していない隣接する頂点において残っている間、各頂点に対して探索する) 。このアプローチを、精密化装置１１３において実行する。 図１において（および、実行されるサブステップを示す図３において）説明す るように、回路１１１２の出力部において利用可能な深さマップを受けるこの装 置１１３は、第１に、ベクトル計算回路１１３１を具え、このベクトル計算回路 １１３１において、各頂点に対して、相関コストを測定するウィンドウＷを規定 する(図３上方部分)。次に、各頂点に対して、エラーベクトルを計算し(図３中 央部分)、このエラーベクトルは、各々の標本化深さに関して、前記境界を定め たウィンドウにおける（Ｎ−１）対の光景（画像ｉ，画像ｊ）の各々間の相関コ ストの和に対応する。次に、決定回路１１３２において、前記各頂点に対する最 低相関コストを与えるインデックスを見つける（図３下方部分）。ここで、精密 化さ れた３Ｄ深さシートが利用できる。 装置１１３の出力部において利用可能な前記深さマップは、深さラベル付けサ ブシステム１１の出力信号であり、３Ｄ再構成サブシステム１２の方に送られ、 この３Ｄ再構成サブシステムは、図１において（および、この装置において実行 されるサブステップを示す図４において）説明するように、解像度規定装置１１ ２と、その後段に直列で続くボクセル選択装置１１２およびテスト回路１２３と を具える。装置１２１において、前記ボクセルグリッドの解像度を選択する(図 ４上方部分)。装置１２２において、各光景に対して、各深さマップによって与 えられる空でない空間の内側にあるボクセルを保持し(図４中央部分)、すべての 空でない空間の交線において位置するボクセルのみを最終的に保持する(図４下 方部分)。次に、収束のテストをテスト回路１２３において行ない、前のステッ プのいくつかを、前記収束が得られるまで反復しなければならない。 前記初期化が、上述した第１反復中に行われているため、第２反復の開始時に 、テスト回路１１１１は、投影装置１１２の方に切り替わる。回路１１１２にお いて実行される第１サブステップ１１１２ａ、１１１２ｂ、１１１２ｃに関して 、装置１１２において与えられ、図５において説明するサブステップ１１２１ａ 、１１２１ｂは、（ａ）カメラパラメータに従うカメラの位置および視野と、前 記画像面にきわめて近い頂点マップとを調節し(図５上方部分)、各頂点に対して 、視線方向において、該頂点と前記カメラの光学的中心とを通過するラインと交 差するボクセルをリスト化し、前記画像面に最も近いボクセルを選択する(図５ 中央部分)。次に、図５下方部分において説明する前記装置１１２の出力を、（ 前記第１反復の場合において装置１１２の出力として）上述したように機能する 精密化装置１１３の方に送る。

Claims (1)

1. 【特許請求の範囲】 １．リアルシーンのＮの連続する画像に対応する２次元ビデオシーケンスから、 ３次元シーンを再構成する方法において、三角形領域にセグメント化された各画 像に対する、 （Ａ）各光景を連続３Ｄシートの投影とみなし、前記３Ｄシートの深さマップ に対応する相違マップを得るために、多光景マッチングを、各光景において独立 して行う第１深さラベル付けステップと、 （Ｂ）３Ｄ空間のオクトツリー再分割を行い、すべての３Ｄ深さシートの交線 において位置するボクセルを保持する第２ ３Ｄモデル抽出ステップとのシーケ ンスの組を具えることをさらに特徴とする方法。 ２．請求の範囲１に記載の方法において、前記深さラベル付けステップが、第１ 反復中、関係する画像の予備３Ｄ深さシートを規定する初期化サブステップと、 各領域の各頂点に関して、各々の標本化深さに関する、前記頂点に対して特別に 規定されたウィンドウにおける（Ｎ−１）対の光景の各々間の相互に関係するコ ストの和に対応するエラーベクトルを規定し、最低相関コストを与えるインデッ クスを格納する精密化サブステップとを連続して具え、前記第１反復後に前記初 期化サブステップと置き換える追加の動作を、画像取得装置のそのパラメータに したがう位置および視野と画像面に近い頂点マップとを調節し、各頂点に関して 視線方向において該頂点および前記取得装置の光学中心を通過するラインと交差 するボクセルをリスト化し、前記画像面に最も近いボクセルを選択する投影サブ ステップとすることを特徴とする方法。 ３．請求の範囲２に記載の方法において、前記３Ｄモデル抽出ステップが、前記 ボクセルグリッドの解像度を規定する解像度規定サブステップと、各光景に関し て、各深さマップによって与えられる空でない空間の内側にあるボクセルを保持 し、次に、すべての空でない空間の交線において位置するボクセルのみを保持す るボクセル選択サブステップとを具えることを特徴とする方法。 ４．リアルシーンのＮ連続画像に対応する２次元ビデオシーケンスから３次元シ ーンを再構成する装置において、 （Ｉ）前記シーケンスのＮ画像の各々を三角形領域にセグメント化し、 （ＩＩ）該装置が、前記シーケンスの各画像を処理する、 （Ａ）それ自身が、 （１）第１反復中、標本化深さの組に関して、（Ｎ−１）対の光景の各々間 の相互に関係するコストの和に対応するエラーベクトルと、最低相関コストを与 えるインデックスとを規定し、前記領域の各頂点の深さ値を、隣接する前記領域 に対して得られた深さ間の補間によって計算する初期化装置と、 （２）各頂点に対して同様に、予め境界を定められたウィンドウにおけるエ ラーベクトルと、対応して、前記最低相関コストを与えるインデックスとを規定 する精密化装置とを具える深さラベル付けサブシステムと、 （Ｂ）ボクセルグリッドの解像度を選択し、各光景に対して、各深さマップに よって与えられる空でない空間の内側にあるボクセルを保持し、最終的に、すべ ての空でない空間の交線において位置するボクセルのみを保持する再構成サブシ ステムとを具え、 （ＩＩＩ）前記深さラベル付けサブシステムが、その後の反復中に、前記初期 化装置に置き換わり、画像取得装置の位置および視野と、画像面にきわめて近い 頂点マップとを調節し、視線方向において各頂点に関して該頂点および前記取得 装置の光学中心を通過するラインと交差するボクセルをリスト化し、前記画像面 に最も近いボクセルを選択する投影装置も具えることを特徴とする装置。 ５．請求の範囲４に記載の再構成装置を具えるビデオ復号化システム。