JP2010519629A - 画像内の３次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも１つのキー画像を創出する方法及びデバイス - Google Patents

Abstract

本発明は、物体の総称的な３次元モデルを取得するステップと、少なくとも１つの２次元の表示として総称的な３次元モデルを投影して、３次元物体のポーズに関する情報のそれぞれの２次元の表示を関連させるステップと、画像内の物体に２次元の表示の選択・配置するステップと、少なくとも選択した２次元の表示に関連するポーズ情報から画像内の物体の３次元ポーズを決定するステップとを有することを特徴とする画像内の３次元物体のポーズを決定する方法及びデバイスに関する。
【選択図】図５

Description

本発明は、拡張現実としても公知である、リアルタイムでの現実及び仮想画像の合成に関する。より詳細には、画像内の３次元物体のポーズを決定する方法及びデバイス並びに３次元物体に対応する少なくとも１つのキー画像を創出する方法及びデバイスに関する。

拡張現実の物体は、ビデオストリームの画像の中に１つ以上の仮想物体を挿入できる。アプリケーションの種類によって、３次元物体の位置及び方向は、例えば、ゲームのシナリオなどから直接得た座標など、画像に表された場面外のデータ、又はプレーヤの手など場面内の特定の点の座標など、場面の特定の要素に関係したデータによって決定できる。場面の特定の要素と関係するデータによって位置と方向とが決められる場合は、カメラの動作の関数、又は場面の中のこれらの要素自体の動きの関数として、これらの要素を追跡する必要がある。要素を追跡する動作と、現実画像に仮想物体をはめ込む動作とは、別のコンピュータ、又は同一のコンピュータで実行できる。

画像ストリーム内の要素を追跡する多くの方法がある。ターゲット追跡アルゴリズムとも称される、要素を追跡するアルゴリズムにおいては、一般に目視できるマーカ、若しくは高周波又は赤外線などの他の手段のマーカを使用する。また、形状認識を使用して画像ストリーム内の特定の画像を追跡するアルゴリズムもある。

ローザンヌ連邦理工科大学は、マーカを使用しない視覚追跡アルゴリズムを開発した。この新規な点は、ビデオストリームの現画像と、キー画像との特定の点をマッチすることにある。キー画像は、キーフレームと称され、システムの初期化においてユーザから提供され、視覚追跡の間に更新される。

この視覚追跡の目的は、画像解析によって、現実場面内で３次元メッシュ（three-direction meshing）に利用する物体のポーズを見つけること、即ち物体の位置及び方向を見つけること、又は、その物体を撮影する固定カメラからその物体に関する付帯的な位置及び方向パラメータを見つけることである。

ビデオの現画像は、記憶された１つ以上のキー画像と比較されて、物体のポーズを推定するためにこれらの画像対の間の非常に多くのマッチを見つける。この目的を達成するために、キー画像は、ビデオストリームから捕捉した画像と、その画像内に現れる３次元モデルのポーズ（方向及び位置）との２つの要素から構成される。「オフライン」キー画像と「オンライン」キー画像との間を区別する必要がある。オフラインキー画像は、マウスなどのポインティングデバイス、又はドイプファー社製のコンピュータのポケットダイアル（商標）などの調整機器を使用して、追跡する物体が配置されるビデオストリームから手動で抽出する画像である。好適には、オフラインキー画像は、多くの画像で同一の物体のポーズを特徴付ける。オフラインキー画像は、「オフライン」で、実行されている。すなわち、アプリケーションが動作している状態（ongoing regime）以外で創出・記憶される。オンライン画像は、追跡プログラムの実行と同時に記憶される。オンラインキー画像は、エラーが小さいとき、すなわちＰＯＩ（point of interest）のマッチの間の距離が短いときに計算される。オンラインキー画像は、アプリケーションの初期化に使用したオフラインキー画像を置き換える。オンラインキー画像を使用する目的は、ドリフトとして知られ、カメラと物体との間の初期の相対的な位置から大きく移動したときに、大きくなるオフセットを減らすことである。また、新しいオンラインキー画像を取得することにより、アプリケーションは、外部光の変化、及びカメラの色彩測定の変化に対して、より強いロバストを有するようになる。しかしながら、時間が経つと物体のポーズに「振動」効果が入るという不利な点がある。新しいオンラインキー画像を取得することにより、その画像は、先のオフライン又はオンラインキー画像を置き換えて、最新のキー画像として使用される。

オフライン又はオンラインキー画像はそれぞれ、物体が存在する画像と、その物体及び画像内の物体を特徴付ける多くのＰＯＩの配置を特徴付けるポーズとを有する。例えば、ＰＯＩは、ハリスのポイント検出器（Harris points detector）を使用して構成され、画像内の高い方向性勾配値を有する位置を表す。

アプリケーションを初期化する前に、１つ以上のオフラインキー画像を決定する必要がある。一般に画像は、追跡する物体を有するビデオストリームから抽出され、その物体の３次元モデルの位置及び方向に関係する。このため、操作をする人は、ワイヤモデルと現実の物体とをマッチするための手動操作を行う。したがって、手動の準備段階は、ビデオストリームから抽出される画像内の物体のポーズの最初の推定を見つけることに含まれる。これは、物体に付された基準系とカメラに関する基準系との間を変換する行列に対応する初期のアフィン変換Ｔ_O→Cをフォーマットすることを意味する。初期のアフィン変換は、場面の中心など物体の初期位置に関する変換、即ちカメラの基準系と物体の基準系との間の基準系の変更に関係した第１の変換Ｔ_P→Oと、場面の中心に位置する初期位置から物体が実際にキー画像において位置している位置及び方向に物体の移動および回転に関する第２の変換Ｔ_p→Cとに分けることができる。ここで、Ｔ_O→C＝Ｔ_P→O・Ｔ_p→Cである。α、β、及びγが画像の中心の初期の位置からキー画像の位置への物体の転換に対応し、θ、φ、及びψがＸ、Ｙ、及びＺ軸に関して画像の中心の初期の位置からー画像の位置への物体の回転に対応する場合、変換Ｔ_P→Oは、以下の行列の形式で表される。

このモデルを使用することによって、物体の基準系で表された物体の３次元モデルの座標点と、カメラの基準系の座標点との間の関係が確立する。

アプリケーションの初期化において、オフラインキー画像を処理して、アプリケーションの起動時に選択するパラメータの関数としてＰＯＩを配置する。これらのパラメータは、使用するアプリケーションの種類をそれぞれ実験的に特定し、マッチする方向の中心を調整し、現実環境の特性に従って物体のポーズを推測する高い質を生み出す。そして、現画像における現実物体がオフラインキー画像の１つの同一画像のポーズと近接するポーズを有する場合は、マッチ数は多くなる。そして、現実物体に対して物体の仮想３次元モデルの鍵となるアフィン変換を見つけることが可能になる。

このようなマッチが見つかった場合、アルゴリズムは、動作状態に進む。物体の移動は、１つのフレームから他のフレームに追跡され、ドリフトは、初期化時に含まれたオフラインキー画像と、アプリケーションの実行時に計算されたオンラインキー画像とに含まれる情報を使用して補償される。

追跡アプリケーションは、ハリスのポイント検出器の修正版などのＰＯＩの検出、及び３次元モデルに配置されたＰＯＩを画像面に再投影技術の２種類のアルゴリズムを組み合わせる。この再投影は、１つのフレームから他のフレームへの空間変換の結果を予測する。これら２つのアルゴリズムを組み合わせることにより、６自由度である、ロバスト物体追跡が提供される。

一般的に言えば、画像の点Ｐは、現実場面の点Ｐの投射である。ここで、Ｐ〜Ｐ_I・Ｐ_E・Ｔ_P→C・Ｐとなり、ここでＰ_Iは、カメラの固有パラメータの行列、即ちカメラの焦点値、画像の中心、及びオフセットを示し、Ｐ_Eは、カメラの外因性パラメータの行列、即ち現実空間におけるカメラの位置を示し、Ｔ_P→Cは、追跡物体に関する基準系とカメラの基準系との間を変換するアファイン行列を示す。ここでは、物体の相対的な位置をカメラの相対的な位置に相対することのみを考える。これは、カメラの光学的中心に現実場面の基準系を位置することを意味する。これにより、式Ｐ〜Ｐ_I・Ｔ_P→C・Ｐとなる。ここで、Ｔ_P→Cは、カメラの基準系における物体のポーズの行列である。行列Ｐ_Iは公知であるので、追跡の問題は、行列Ｔ_P→Cを決定することである。

なお、しかしながら、エラー測定結果が多すぎる場合、即ち、現キー画像と現画像との間のマッチ数が少なすぎる場合は、追跡は、非同期化され（物体のポーズの推定がもはや十分にコヒーレントではないと考えられ）、同一のオフラインキー画像を使用した初期化段階が必要となる。

物体のポーズは、ビデオストリームからの現画像のＰＯＩと、現キー画像のＰＯＩと、ビデオストリームからの予測画像のＰＯＩとの間のマッチに従って推定される。これらの動作は、マッチング段階と称される。もっとも重要な相関関係から、ソフトウェアは、観測結果にもっとも対応した物体のポーズを算出する。

図１及び２は、この追跡アプリケーションを説明する。

多くの場合、提案されるソリュージョンは、研究に起因し、商業的システムを構築する際の制約を考慮しない。具体的には、ロバスト性に関する問題、追跡システムの初期化のために必要な１つ又はいくつかのオフラインキー画像を創出する手動段階を必要とせずに早急にアプリケーションを起動する必要性の問題、「非同期化」エラー検出（追跡する物体を「見失った」とき）の問題、及びそのようなエラーのあとにリアルタイムで再度自動初期化する問題については、多くの場合考慮されていない。

本発明は、上述の問題の少なくとも１つを解消する。

したがって、本発明は、画像内の３次元物体のポーズ決定方法であって、
物体の総称的な３次元モデルを取得するステップと、
少なくとも１つの２次元の表示として総称的な３次元モデルを投射して、３次元物体のポーズに関する情報のそれぞれの２次元の表示を関連させるステップと、
画像内の物体に２次元の表示を選択・配置するステップと、
少なくとも選択した２次元の表示に関連するポーズ情報から画像内の物体の３次元ポーズを決定するステップと、
を有することを特徴とする。

したがって、特にビデオストリームの３次元物体の自動追跡を使用する拡張現実アプリケーションの初期化キー画像を創出する観点から、本発明に係る方法は、画像内の３次元物体のポーズを自動的に決定する。この決定は、物体モデルの取得と、少なくとも１つの２次元の表示としての後の投射に基づき、画像内の物体の表示を配置して物体のポーズを決定する。

１つの特定の特徴に従うと、本発明に係る方法は、３次元物体から物体の総称的な３次元モデルを構成する準備ステップを有する。

１つの特定の特徴に従うと、総称的な３次元モデルは、物体のメッシュである。

１つの実施形態では、本発明に係る方法は、画像内の物体を３次元に配置する準備ステップを有する。

この特徴は、画像内の物体の２次元の表示に配置することを容易にする。

他の実施形態では、本発明に係る方法は、画像内の物体の特徴点を決定するステップを有する。

この特徴は、画像内の物体の２次元の表示を配置すること、及び２次元の表示が配置されるときに画像内の物体の３次元ポーズを決定することを容易にする。

１つの特定の特徴に従うと、本発明に係る方法は、物体の総称的な３次元モデルの特徴点を決定する準備ステップを有する。

この特徴に従うと、２次元の表示を配置するステップは、２次元の表示が配置されたとき、画像内の物体の３次元のポーズを決定することを容易にする。

他の特定の特徴に従うと、画像内の物体の３次元ポーズを決定するステップは、さらにそのように決定された物体の総称的な３次元モデルの特徴点と、そのように決定された画像内の物体の特徴点との間の距離に依存する。

また、本発明は、３次元環境内の少なくとも１つの３次元物体を表す画像を有する少なくとも１つのキー画像を創出する方法であって、
特定の初期化位置において物体を表す少なくとも１つの画像を取得するステップと、
画像内の３次元物体のポーズを決定する本発明の方法によって、少なくとも１つの画像内の３次元物体のポーズを決定するステップと、
少なくとも１つの取得した画像と、環境内の物体の関連するポーズとから少なくとも１つのキー画像を創出するステップと、
を有することを特徴とする。

したがって、本発明に係る方法は、特にビデオストリームの３次元物体の自動追跡を使用する拡張現実アプリケーションの初期化又は再初期化の観点から、キー画像の創出を自動化する。

さらに、本発明は、画像内の３次元物体のポーズを決定するデバイスであって、
物体の総称的な３次元モデルを取得する手段と、
少なくとも１つの２次元の表示として総称的な３次元モデルを投影して、３次元物体のポーズに関する情報のそれぞれの２次元の表示を関連させる手段と、
画像内の物体に２次元の表示の選択・配置する手段と、
少なくとも選択した２次元の表示に関連するポーズ情報から画像内の物体の３次元ポーズを決定する手段と、
を有することを特徴とする。

同様に、本発明は、３次元環境内の少なくとも１つの３次元物体を表す画像を有する少なくとも１つのキー画像を創出するデバイスであって、
特定の初期化位置において物体を表す少なくとも１つの画像を取得する手段と、
画像内の３次元物体のポーズを決定するデバイスによって少なくとも１つの画像内の３次元物体のポーズを決定する手段と、
少なくとも１つの取得した画像と、環境内の物体の関連するポーズとから少なくとも１つのキー画像を創出する手段と、
を有することを特徴とするデバイスを提案する。

これらのデバイスは、詳細に上述した方法と同じ利点を有している。したがって、ここでは繰り返して説明しない。

また、本発明は、コンピュータ、又はマイクロプロセッサによって部分的に、又は全体的に読み出し可能であり、着脱可能な、又は着脱不可能な記憶手段であって、それぞれの上述の方法のステップを実行するコンピュータプログラムのコード化された命令を含む記憶手段を有する。

さらに、本発明は、それぞれの上述の方法のステップを実行するのに適応する命令を含むコンピュータプログラムを有する。

本発明の他の利点、目的、及び特徴は、添付した図面を参照することによって限定されない例を以下の詳細な説明によって明らかになる。

ローザンヌ連邦理工科大学で開発された物体追跡アプリケーションの本質的概念を概略的に示す図である。 キー画像からのビデオストリームと、ビデオストリームからの先の画像とから画像内の物体のポーズを決定する方法の特定のステップを示す図である。 本発明を使用する環境において任意の形状の３次元物体の１つ以上のキー画像の創出を概略的に示す図である。 本発明の少なくとも一部を実施するデバイスの一例を示す図である。 本発明に係る画像解析に基づく総称的アルゴリズムを示す図である。 顔のキー画像を創出する本発明の画像解析アルゴリズムを示す図である。 顔の総称的３次元メッシュから得られる２次元モデルの創出を示す図である。

本発明の方法の特有の目的は、物体追跡アプリケーションとビデオストリームの画像との非同期化の後に起こる初期化及び再初期化の段階を自動化する観点から、環境内の少なくとも１つの３次元物体の少なくとも１つのキー画像を、特に自動的に、創出することである。

１つの実施形態では、１つのキー画像は、非常に正確な画像解析手段によって画像内の物体のポーズがリアルタイムで見つかるときは特に、初期化及び再初期化段階を自動化するのに十分である。

また、それにも関わらず、多くのキー画像は、追跡する物体とカメラとの間のどんな関係のポーズのアプリケーションでも初期化が可能である。

図３は、本発明に係る物体追跡アプリケーションを使用する環境において、初期化キー画像としても知られる、物体の１つ以上のキー画像を創出する全体的なスキームを示す図である。

図３に示すように、環境内の物体の少なくとも１つのキー画像の創出、及びこれらのキー画像を使用する追跡アプリケーションの実行（３００）は、１つ、又はいくつかの初期化キー画像を創出する段階（Ｉ）、先に創出した画像又はキー画像を使用する追跡初期化段階（ＩＩ）、アプリケーションが動作している状態であって、新しい初期化キー画像の創出に使用する物体追跡段階（ＩＩＩ）、という相互に関係した３つの段階を有する。

第１のキー画像を創出する段階（Ｉ）は、主として初期位置における３次元物体を表す画像の取得を有する。この取得は、特にビデオカメラ、又はスチルカメラのような画像形成手段を使用してもたらされる。３次元物体を有する画像を取得する（ステップ３０５）と、取得した第１の画像の一部、及び画像の視点に従って環境内の関連がある物体のポーズを有する第１のキー画像が創出される（ステップ３２０）。通常、この第１のキー画像を構成するために、後で画像内の物体に対応する３次元メッシュを手動で配置する必要がある。しかしながら、このステップは、煩雑である。

したがって、本発明は、キー画像の創出に先立ち、画像解析モジュールを導入して（ステップ３１０）、ユーザが介することなく画像内の物体のポーズを見つける。この目的を達成するために、本発明に従って、画像内に見つかる物体の種類の予備知識と、それに関するいくつかの特性の知識により、現実空間の物体のポーズを推定することが可能になる。

このアプローチは、画像内の顔のポーズを取り出す問題などのときに、特に有益である。目や口のような顔の形状を使用して物体のポーズを決定することができる。

より強いロバストを有する追跡アルゴリズムを作成するために、カメラと物体の間の複数の相対的なポーズと対応する一連のキー画像を捕捉することがしばしば重要になる。

したがって、この段階Ｉのステップは、ユーザが介する必要なく反復して複数のキー画像を創出できる。

初期化段階（ＩＩ）の間、追跡アプリケーションは、追跡する物体を有するビデオストリーム内の物体を表すキー画像を段階Ｉの間に創出された１つ以上の初期化キー画像から探索することによって初期化される（ステップ３２０）。

物体のポーズがビデオストリームからの第１の画像において決定され、現キー画像が構成されているとき（ステップ３２０）、追跡アプリケーションは、追跡機構（ステップ３２５）を使用してビデオストリームの一連の画像内の物体を見つけることができる（段階ＩＩＩ）。この機構によると、物体の移動（場面内での物体の移動、又はカメラの移動により生じた場面内の移動）は、１つのフレームから他のフレームに追跡され、初期化時に保持された初期化キー画像と、適用できるときはアプリケーションの実行で算出される初期化キー画像とに含まれる情報を使用して補償されるドリフトとなる。後に、これらの画像自体を初期化キー画像として使用して再度アプリケーションを自動的に初期化できる。

計測されたエラーが非常に大きい場合は、追跡は非同期化して、再初期化する段階が必要となる。再初期化は、上述の初期化段階（ステップ３２０）と同様である。

なお、１つ又はいくつかのキー画像を創出するスキームは、画像内に存する他の物体にも対応する新しいキー画像を繰り返して創出できることは重要である。それぞれの物体の少なくとも１つのキー画像の創出が終了すると、ビデオストリームの中の多くの物体を追跡することが可能になる。

図４は、本発明を実施するように構成されるデバイスを概略的に示す図である。デバイス４００は、マイクロコンピュータ、ワークステーション、又はゲーム制御盤などである。

好適には、デバイス４００は、通信バス４０２を有し、これは以下と接続される。
‐中央処理装置（ＣＰＵ）、又はマイクロプロセッサ４０４。
‐オペレーティングシステム及びプログラム「プログ」を有するリードオンリメモリ（ＲＯＭ）４０６。
‐変数を記憶するように構成されるレジスタと、上述のプログラムを実行するときに創出・修正されるパラメータを有するランダムアクセスメモリ、又はキャッシュメモリ４０８。
‐カメラと接続するビデオ取得カード４１０。
‐スクリーン又はプロジェクタ４１８と接続するグラフィックカード４１６。

また、デバイス４００は、オプションとして以下を有することができる。
‐上述のプログラム（「プログ」）と、本発明に従って処理されたデータ、又は将来処理されるデータとを有するハードディスク４２０。
‐キーボード４２２と、マウス４２４、若しくは本発明に係るプログラムとユーザとが相互に作用できるライトペン、タッチスクリーン、又は遠方制御などの他のポインティングデバイス。
‐インタネットなどの分散型通信ネットワーク４２８と接続してデータを送受信するように構成された通信インタフェース４２６。
‐センサ（図示せず）と接続するデータ取得カード４１４
‐本発明に従って処理されたデータ、又は将来処理されるデータを書き込み、読み出すように構成されたメモリカードリーダ（図示せず）。

通信バスは、デバイス４００に含まれる様々な素子、又はデバイス４００と接続される様々な素子との間の通信及び相互作用を提供する。バスの説明は、本発明を限定するものではなく、特に中央処理装置は、直接的に又はデバイス４００の他の素子を介して、デバイス４００の他の素子に命令を通信できる。

プログラミングデバイスが本発明に係る方法を実施することができるそれぞれのプログラムの実行コードは、ハードディスク４２０、又はリードオンリメモリ４０６などに記憶される。

また、プログラムの実行コードは、通信ネットワーク４２８を介して、インタフェース４２６を介して受信して、上述の方法と全く同じ方法で記憶できる。

メモリカードは、コンパクトディスク（ＣＤ又はＤＶＤ）などの情報媒体と置き換えることができる。一般に、メモリカードは、コンピュータ、又はマイクロプロセッサにより読み取り可能であり、デバイスに組み入れられ、又はデバイスに組み入れられず、場合によっては着脱可能である、本発明に係る方法を実行する１つ以上のプログラムを記憶するように構成された情報記憶媒体と置き換えることができる。

より一般的には、プログラムは、実行する前にデバイス４００の記憶手段の１つにロードできる。

中央処理装置４０４は、本発明に係るプログラムの命令又はソフトウェアコード部分の実行を制御・命令する。プログラムの命令は、ハードディスク４２０、若しくはリードオンリメモリ４０６、又は上述の他の記憶素子に記憶される。電源を入れると、ハードディスク４２０、又はリードオンリメモリ４０６などの不揮発性メモリに記憶されたプログラムは、本発明の実施に必要な変数及びパラメータを記憶するレジスタとともに、本発明のプログラムの実行コードを有するランダムアクセスメモリ４０８に転送される。

なお、本発明に係るデバイスを有する通信デバイスは、同様にプログラミングされたデバイスにできる。そして、そのデバイスは、特定用途用集積回路（ＡＳＩＣ）に固定してプログラミングされるなどしたコンピュータプログラムのコードを有する。

また、ビデオカード４１６からの画像は、通信インタフェース４２６と、分散型通信ネットワーク４２８とを介してスクリーン又はプロジェクタ４１８に転送できる。同様に、カメラ４１２は、デバイス４００と分離されたビデオ取得カード４１０´と接続して、通信インタフェース４２６と、分散型通信ネットワーク４２８とを介してデバイス４００にカメラ４１２の画像を転送できる。

本発明に係る方法で提供される実施の単純化によって、キー画像は、専門家によらないで創出できる。キー画像のセットを創出した後に、追跡アプリケーションは、そのセットの基準で初期化され、標準的な方法で使用してビデオストリームから一連の画像の中の物体を追跡する。例えば、物体の位置及び方向を考慮して場面の物体に動画像列を埋め込み、また場面の物体の解析に従ってカメラの動きを決定する。この場合、物体は、場面の一部であるため、場面の中の物体のポーズを見つけることは、物体に関連するカメラのポーズを見つけることを意味する。そして、物体と、場面の幾何学的モデルとの間の幾何学的変換が公知であれば、場面の仮想要素を付加することが可能になる。これはその場合である。したがって、このアプローチによって、場面の配置に応じて動く動画仮想物体（animated virtual objects）を有する現実場面が拡張する。

画像解析を使用する本発明に係る総称的アルゴリズムは、次に図５を参照しながら説明される。このアルゴリズムは、２つの段階を有し、一方はオフラインで実行され、他方はオンラインで実行される。特に、第２の段階は、物体追跡アルゴリズムの初期化又は再初期化のそれぞれの段階で実行される。

オフラインで実行するステップ５０５から５２０までは、はじめに画像内の追跡物体の形状情報を取得するステップ（ステップ５０５）が含まれる。この情報は、ビデオストリーム内の追跡物体の種類に特に関係する。

例えば、この情報は、環境内に位置する１つ以上の顔の物体に関係し、又は風景の中の１つ以上の木に関係することができる。

そして、ステップ５１０では、物体の３次元の総称的モデルは、現実の物体、とりわけ物体のメッシュにできる、ビデオストリームで見つけられる現実の物体の総称的構造から構成される。

ステップ５１５において、このメッシュの物体の特徴要素は、特に手動によって識別・配置される。顔に関しては、これは特に鼻、目、及び口を参照する。

そして、識別された特徴要素を有するメッシュは、１つ以上の２次元の表示上に投影され、３次元物体を表すポーズに関して、これらの表示情報のそれぞれに関連する（ステップ５２０）。したがって、２次元の表示は、３次元物体にできる１つのポーズとそれぞれ対応する。

この段階の間、メッシュは、可能性がある複数の位置、方向、及び大きさでサンプリングされる。このため、（使用に応じて）パラメータ空間内のランダムな、又は非ランダムな様々な値に対応する多くのモデルが構成される。これらのパラメータは、特に３次元空間に規定される。この空間は、Ｚ軸の回転に対応するヨー→ψ、Ｘ軸の回転に対応するピッチ→θ、Ｙ軸の回転に対応するロール→φ、という方向パラメータを有する。また、パラメータは、画像のメッシュの投影上にサンプリングできる。この投影は、位置パラメータ（ｔｘ、ｔｙ）と、２つのスケール因子（ｓｘ、ｓｙ）とを有して、追跡される物体の一般的な形状を考慮に入れる。

さらに２次元における対応する特性要素の配置は、２次元における総称的なメッシュの表示に関連する。

アルゴリズムの第２の段階は、「オンライン」で実行される。

このため、先に生成された３次元物体の全ての２次元の表示は、利用可能になる（ステップ５２５）。

画像は、ビデオ、又は他の捕捉用周辺機器による画像のストリームから抽出される（ステップ５３０）。

後続のステップにおいて物体のポーズの探索を単純化するために、抽出された画像において、画像内の物体は、２次元又は３次元において場所をほぼ特定される（ステップ５３５、画像内の物体の大きさは、深度情報を生じさせることができる）。

例えば、ハール離散ウェーブレット技術（Haar discrete wavelet technique）を使用して、同種類でわずかな違いを有する数百の物体からあらかじめ取得した類似するモデルの画像を検索できる。このステップが終了すると、例えば、画像内で探索される物体を包含するフレーム、及び画像内で探索される物体の一部を包含するフレームが特定される。

このステップに続いて、画像内の物体の特徴要素を探索するステップ５４０がある。

これらの特徴要素は、物体の一部である点、線分、又は曲線にできる。物体の位置及び方向における重要な情報は、これらの要素から推定できる。画像解析がこれに関係する。例えば、階調度の解析、異なる色空間における色彩測定のしきい値の決定、ＬｏＧ（Laplacian of Gaussian）フィルタ又はソーベルフィルタなどのフィルタの適用、エネルギの最小化、特に画像内で見つけられる物体の色などを考慮して２次元において物体の輪郭を見つける輪郭（曲線）抽出などの動作をもたらす。

一方において２次元の表示のセットから、他方において画像から、２次元の表示を画像から物体に選択・配置して、その後画像内の物体のポーズを決定する（ステップ５５０）。特に、配置は、２次元の表示と画像内の物体との間のマッチの探索に対応する。

ポーズは、少なくとも選択された２次元の表示に関するポーズ情報から決定される。

また、ポーズは、見つかった特徴要素の間の距離からも決定される。

このステップの最後に、物体の方向及び位置を特に含む３次元物体のポーズが決定される。

図３のステップ３２０において、この情報を使用して、リアルタイムでビデオストリーム内の物体の追跡するアプリケーションのための初期化キー画像を創出する。

１つの実施形態では、アプリケーションは、リアルタイムでビデオストリーム内の顔などの３次元物体のポーズを見つけて、追跡する物体の質を高めることができる。この種のアプリケーションは、ビデオストリーム中に存在するいずれの種類の「顔」の物体にも機能する。

例としてここでは顔について考察するが、ユーザは、監視スクリーンなどを使用して、様々な合成の３次元物体によって質が高められた顔、具体的には、帽子又は眼鏡を現実の顔に付加した顔を見ることができる。このようにして、ユーザは、既知の仮想の特徴又はユーザが先にモデル化した選択の特徴を抽象化できる。

顔の追跡の初期化の際に、ビデオストリームからの画像の抽出と、総称的な顔に対応するメッシュの配置を手動で行う（初期化キー画像の手動での創出する）従来技術と異なり、本発明に係る方法は、アプリケーションを起動するときにメッシュを自動的に配置する。

なお、この種の実施形態では、画像解析手段によってアプリケーションの初期化の際に直接創出されるため、ただ１つの初期化キーのみが必要であることは重要である。ユーザが自分自身を捕捉用周辺機器の前に位置したときに、画像解析は、初期化キー画像を構成する。

しかしながら、第１のキー画像と同様な方法、又は非同期化イベントにおける再初期化段階の間など、「オンライン」で創出された初期化キー画像を再使用できる動作状態の間のいずれか一方で新しいキー画像を創出することが同様に可能である。

したがって、本発明によれば、総称的な顔に対応するメッシュは、人の顔の一般的な集団におけるデータを使用してあらかじめモデル化される。

これらの集団は、個々が非常に類似するので、アルゴリズムは、アプリケーションと相互作用する種々のユーザに対して、より強いロバストを有する。

本発明は、特に画像解析ソリュージョンを使用して画像内の特定の特徴点を見つけることによって、初期化段階を自動化する。一例を考えると、特徴点は、目、口、鼻、眉、及び顎とすることができる。ここでは非包括的に説明され、実行するアプリケーションの種類に応じて特定されるこの情報は、顔に対応するメッシュを自動的、写実的、且つ正確に配置する。メッシュの初期位置調整の推定におけるオフセットは、後続の追跡アプリケーションの実行に非常に悪い影響を与えるおそれがある。

図６は、本発明に係る、顔のキー画像を創出する画像解析アルゴリズムを示す図である。

探索画像解析は、初めにビデオストリームの画像における顔の位置をより正確に見つける（ステップ６００）。この目的を達成するために、画像解析は、ハール離散ウェーブレット技術などを使用して、数百の異なる顔からあらかじめ取得した類似するモデルの画像を探索する。このステップが終了すると、画像内で決定された顔を包含するフレームと、顔の特定の特徴エリア（目又は口の周りなど）を特定する限られたフレームとが特定される。そして、これによって、より正確な顔の要素の探索が可能になる。顔の特定要素の位置についてのこの第１の近似は、これらの特徴要素を正確に検出するには不十分である可能性がある。

したがって、次のステップ（ステップ６０５）は、これらの領域において、顔の位置及び方向に関して重要な情報となる、顔の特徴的な点、線分、及び曲線をより正確に決定することを有する。例えば、鼻の軸、目、眉、及び口が問題となる。これらの要素は、画像解析手段によって見つかる。この目的を達成するために、階調度解析、単純な形状の認証（目の周りの卵形）、色彩測定しきい値の決定（口の色彩を特徴付けるようなもの）、（顔の輪郭を際立たせる）Ｌｏｇフィルタ（ガウスのラプラシアンフィルタ）、又は（特徴点を取り出す）ソーベルフィルタなどのフィルタの適用、エネルギの最小化、特に肌の色などを考慮した輪郭（曲線）の抽出などの動作を生じる。

また、画像内のこれらの要素の探索は、顔の総称的な寸法特性における一般的な情報を用いて単純化できる。

様々な位置における総称的な３次元メッシュを取得して種々の要因に対応する段階は、次に説明する（図７）。

この段階では、メッシュは、複数の位置、方向、及び寸法からサンプリングされる。このため、（使用によって）様々なランダム又は非ランダムな値に対応する多くのモデルがパラメータ空間に構成される。これらのパラメータは、具体的には３次元空間に規定される。その空間は、ヨー、ピッチ、及びロールといった種々の方向パラメータを有する。これらのパラメータは、非常に小さくできる。ユーザは、おおよそカメラの正面に位置すると考えられる。また、パラメータは、画像内のメッシュの投射上でサンプリングできる。この投射は、ユーザの頭の一般的な形状を考慮して、位置パラメータ（ｔｘ、ｔｙ）と、２つの寸法要因（ｓｘ、ｓｙ）とを有することができる。これらのパラメータも非常に小さくできる。

したがって、図７に示すように、この取得するステップは、総称的な３次元メッシュから取得した、単純化され且つ投影された２次元モデルを創出する。ここで、３次元ポーズパラメータは、キー画像の創出に関連する。

図６を再び参照すると、アルゴリズムは、総称的なメッシュの調整を続けて（ステップ６１０）、３次元物体のポーズを自動的に探索する（ステップ６１５）。このため、メッシュは、調整され、全ての投射に基づいて見つかる画像内の３次元物体のポーズは、顔の総称的なメッシュと適切な情報とに対応する。

したがって、投射され且つ単純化されたメッシュは、距離関数によって顔における適切な情報、つまり点、線分、及び曲線と比較される。

最終的には、相関関係動作は、ビデオストリームから抽出した初期画像内のユーザの顔のポーズ及び寸法を予測する。３次元の総称的なメッシュと追跡に使用するメッシュとの間を変換する行列の取り出しに関する全てのパラメータは、公知である。

ビデオストリームから抽出した画像内の顔のポーズは、知られているので、第１の初期化キー画像は、創出される。これを直接使用して、顔を追跡するアプリケーションを自動的に初期化できる。このキー画像に含まれるポーズにユーザが近接する毎に、初期化が起動される。それにも関わらず、複数の初期化キー画像を創出して、カメラに対する顔の様々なポーズにおいて、よりロバストが強い初期化をすることが可能である。

さらに、画像内の顔の重要なエリアの位置検出の不正確さを克服するために、ユーザがキー画像を創出するときなどに、ユーザは、カメラと向き合わなければならない可能性がある。これにより、物体のポーズの自動探索の間の自由度の変動が減少する。そのためには、カメラに向き合う正しい位置をユーザに理解させるスクリーンターゲットを付加することも可能である。

幾何学的見地から、総称的なメッシュの初期位置と変更した位置との間の変換行列は、式Ｓ．Ｒ．Ｔで表すことができる。ここで、Ｓはスケーリング行列を示し、Ｒはローテーション行列を示し、Ｔはトランスレーション行列を示す。

なお、本発明に関して、画像内の顔のポーズを推定する動作を繰り返してビデオストリームに多くのユーザを見つけることができることは重要である。

当然のことながら、特定の要件を充足したとき、本発明に係る分野の当業者は、先の説明に修正を加えることができる。

Claims (20)

1. 画像内の３次元物体のポーズ決定方法であって、
   前記物体の総称的な３次元モデルを取得するステップと、
   少なくとも１つの２次元の表示として前記総称的な３次元モデルを投射して、前記３次元物体の前記ポーズに関する情報のそれぞれの２次元の表示を関連させるステップと、
   前記画像内の前記物体に２次元の表示を選択・配置するステップと、
   少なくとも前記選択した２次元の表示に関連する前記ポーズ情報から前記画像内の前記物体の前記３次元ポーズを決定するステップと、
   を有することを特徴とするポーズ決定方法。
2. 前記３次元物体から前記物体の総称的な３次元モデルを構成する準備ステップを有する請求項１に記載のポーズ決定方法。
3. 前記総称的な３次元モデルは、前記物体のメッシュである請求項１又は請求項２に記載のポーズ決定方法。
4. 前記画像内の前記物体を３次元に配置する準備ステップを有する請求項１〜請求項３の何れか一項に記載のポーズ決定方法。
5. 前記画像内の前記物体の特徴点を決定するステップを有する請求項１〜請求項４の何れか一項に記載のポーズ決定方法。
6. 前記物体の前記総称的な３次元モデルの特徴点を決定する準備ステップを有する請求項５に記載のポーズ決定方法。
7. 前記画像内の前記物体の前記３次元ポーズを決定するステップは、さらにそのように決定された前記物体の前記総称的３次元モデルの前記特徴点と、そのように決定された前記画像内の前記物体の前記特徴点との間の距離に依存する請求項６に記載のポーズ決定方法。
8. ３次元環境内の少なくとも１つの３次元物体を表す画像を有する少なくとも１つのキー画像を創出する方法であって、
   特定の初期化位置において前記物体を表す少なくとも１つの画像を取得するステップと、
   画像内の３次元物体のポーズを決定する請求項１〜請求項７の何れか記載された方法によって、前記少なくとも１つの画像内の前記３次元物体の前記ポーズを決定するステップと、
   前記少なくとも１つの取得した画像と、環境内の前記物体の前記関連するポーズとから少なくとも１つのキー画像を創出するステップと、
   を有することを特徴とする画像創出方法。
9. 画像内の３次元物体のポーズを決定する請求項１〜請求項７の何れか記載された前記方法のそれぞれのステップを実行するように構成される命令を有するコンピュータプログラム。
10. 少なくとも１つのキー画像を創出する請求項８に記載された前記方法のそれぞれのステップを実行するように構成される命令を有するコンピュータプログラム。
11. 画像内の３次元物体のポーズを決定する請求項１〜請求項７の何れか記載された前記方法のそれぞれのステップを実行するコンピュータプログラムの命令コードを有するコンピュータ、又はマイクロプロセッサによって部分的に、又は全体的に読み出し可能であり、着脱可能な、又は着脱不可能な情報記憶手段。
12. 少なくとも１つのキー画像を創出する請求項８に記載された前記方法のそれぞれのステップを実行するコンピュータプログラムの命令コードを有するコンピュータ、又はマイクロプロセッサによって部分的に、又は全体的に読み出し可能であり、着脱可能な、又は着脱不可能な情報記憶手段。
13. 画像内の３次元物体のポーズを決定するデバイスであって、
    前記物体の総称的な３次元モデルを取得する手段と、
    少なくとも１つの２次元の表示として前記総称的な３次元モデルを投影して、前記３次元物体の前記ポーズに関する情報のそれぞれの２次元の表示を関連させる手段と、
    前記画像内の前記物体に２次元の表示を選択・配置する手段と、
    少なくとも前記選択した２次元の表示に関連する前記ポーズ情報から前記画像内の前記物体の前記３次元ポーズを決定する手段と、
    を有することを特徴とするデバイス。
14. 前記３次元物体から前記物体の総称的な３次元モデルを構成する手段を有する請求項１３に記載のデバイス。
15. 前記総称的な３次元モデルは、前記物体のメッシュである請求項１３又は請求項１４に記載のデバイス。
16. 前記画像内の前記物体を３次元に配置する手段を有する請求項１３〜請求項１５の何れか一項に記載のデバイス。
17. 前記画像内の前記物体の特徴点を決定する手段を有する請求項１３〜請求項１６の何れか一項に記載のデバイス。
18. 前記物体の前記総称的な３次元モデルの特徴点を決定する手段を有する請求項１７に記載のデバイス。
19. 前記画像内の前記物体の前記３次元ポーズを決定する手段は、そのように決定された前記物体の前記総称的な３次元モデルの前記特徴点と、そのように決定された前記画像内の前記物体の前記特徴点との間の距離にも依存して、前記画像内の前記物体の前記３次元ポーズを決定するように構成される、請求項１８に記載のデバイス。
20. ３次元環境内の少なくとも１つの３次元物体を表す画像を有する少なくとも１つのキー画像を創出するデバイスであって、
    特定の初期化位置において前記物体を表す少なくとも１つの画像を取得する手段と、
    画像内の３次元物体のポーズを決定する請求項１３〜請求項１９の何れかに記載の前記デバイスによって前記少なくとも１つの画像内の前記３次元物体の前記ポーズを決定する手段と、
    前記少なくとも１つの取得した画像と、環境内の前記物体の前記関連するポーズとから少なくとも１つのキー画像を創出する手段と、
    を有することを特徴とするデバイス。

Images