JP2011238222A5 - - Google Patents

Claims (15)

1. 多関節オブジェクトモデル（４）のポーズを推定するためのコンピュータ実行方法であって、多関節オブジェクトモデル（４）は、１つ以上のソースカメラ（９）によって観察される実世界オブジェクト（１４）のコンピュータベースの三次元モデル（１）であり、多関節オブジェクトモデル（４）は、複数の関節（２）および関節（２）を連結する複数の連結部（３）を表し、多関節オブジェクトモデル（４）のポーズは関節（２）の空間的な場所によって規定され、前記方法は、
   ・ソースカメラ（９）によって記録される実世界オブジェクト（１４）のビューを含むビデオストリームから少なくとも１つのソース画像（１０）を得るステップと、
   ・少なくとも１つのソース画像（１０）を処理して、画像背景から分離された実世界オブジェクト（１４）のビューを含む対応のソース画像セグメント（１３）を抽出するステップと、
   ・コンピュータ読取可能形態のデータベースに参照シルエットのセットを維持するステップとを備え、各参照シルエットは、多関節オブジェクトモデル（４）およびこの多関節オブジェクトモデル（４）の特定の参照ポーズに関連付けられており、前記方法はさらに、
   ・少なくとも１つのソース画像セグメント（１３）を参照シルエットと比較し、参照シルエットごとに、
   参照シルエットがソース画像セグメント（１３）にどれほどよくマッチしているかを示すマッチングエラー、および／または
   参照ポーズが、ビデオストリームの先行および後続のソース画像（１０）のうちの少なくとも１つから推定して、同一の実世界オブジェクト（１４）のポーズとどれほど整合しているかを示す一貫性エラー
   を考慮することによって、予め定められた数の参照シルエットを選択するステップと、
   ・選択された参照シルエットに関連付けられた多関節オブジェクトモデル（４）の参照ポーズを取出すステップと、
   ・選択された参照シルエットの参照ポーズから、多関節オブジェクトモデル（４）のポーズの推定値を計算するステップとを備える、方法。
2. 少なくとも１つのソース画像セグメント（１３）を参照シルエットと比較する前記ステップは、ソース画像セグメント（１３）が比較される参照シルエットごとに、
   ・特にソース画像セグメント（１３）を参照シルエットと同じサイズになるようにスケール変更することによって、ソース画像セグメント（１３）を参照シルエット上にマッピングする射影変換を決定するステップと、
   ・マッチングエラーを、マッピングされたソース画像セグメント（１３）と参照シルエットが重複しない画像領域の相対サイズに比例するとして、またはスケール変更されたソース画像セグメント（１３）と参照シルエットの輪郭同士の間の距離の測定値として計算するステップとを含み、マッチングエラーは任意に、射影変換のパラメータにも依存しており、前記ステップはさらに、
   ・このマッチングエラーを、ソース画像セグメント（１３）と参照シルエットがどれほどよくマッチしているかについての測定値として用いるステップを含む、請求項１に記載の方法。
3. ・スケール変更する前記ステップは、ソース画像セグメント（１３）または参照シルエットまたは両方を再サンプリングして同一の画素サイズのバウンディングボックスを有することによって達成され、
   ・ソース画像セグメント（１３）および参照シルエットの両方は、同一の画素寸法を有する２値画像によって表され、値の異なるソース画像セグメント（１３）および参照シルエットから対応する画素数を数えることによってエラー値を計算する、請求項２に記載の
   方法。
4. 少なくとも１つのソース画像セグメント（１３）を参照シルエットと比較する前記ステップは、ソース画像セグメント（１３）が比較される参照シルエットごとに、
   ・ビデオストリームの先行のソース画像（１０）から推定される同一の実世界オブジェクト（１４）のポーズを取出すステップと、
   ・一貫性エラーを、この先行のポーズ推定と参照シルエットの参照ポーズとの差異に比例しているとして計算し、この一貫性エラーを、先行のソース画像（１０）との整合性の測定値として用いるステップとを含む、請求項１〜３のいずれか１項に記載の方法。
5. 選択された参照シルエットの参照ポーズから、多関節オブジェクトモデル（４）のポーズの推定値を計算する前記ステップは、
   ・さらなるソースカメラ（９）からの１つ以上のさらなるビデオストリームからの１つ以上のさらなるソース画像（１０）について上述のステップを繰返すステップを含み、さらなるソース画像（１０）の各々は、同時に異なる視点から記録された同一の実世界オブジェクト（１４）のビューを含み、この結果、さらなるソース画像（１０）ごとに、予め定められた数の選択された参照シルエットおよび関連付けられた選択された参照ポーズが得られ、前記ステップはさらに、
   ・異なるソース画像（１０）について選択された参照ポーズの組合せごとに、
   この組合せの選択された参照ポーズの関節（２）を三次元空間に投射し、関節（２）の三次元位置を推定し、関節ごとに、推定された三次元関節位置が選択された参照ポーズからの関節（２）の投射にどれほどよくマッチしているかを表す関節整合性測定値を計算し、
   すべての関節の関節整合性測定値を組合せて総合関節整合性測定値を得ることによって、
   総合関節整合性測定値を計算することによって、ソース画像（１０）ごとに最も妥当な参照ポーズを選択するためのの最適化を実行するステップと、
   ・総合関節整合性測定値を最適化する異なるソース画像（１０）について参照ポーズの組合せを選択するステップとを含む、請求項１〜４のいずれか１項に記載の方法。
6. 最適化を実行する前記ステップはさらに、ソースカメラ（９）の較正エラーを訂正するために、関連付けられたソース画像（１０）の平面内の各シルエットの二次元オフセットを変化させて最適化するステップを含む、請求項５に記載の方法。
7. 推定関節位置が重畳された少なくとも１つのソース画像（１０）を表示装置に表示し、１つ以上の関節位置を反復して修正するためのユーザ入力を受付けるステップをさらに備える、請求項１〜６のいずれか１項に記載の方法。
8. ソース画像（１０）に関連付けられた所与の二次元ポーズにマッチする三次元ポーズを求めるために、
   ・所与の二次元ポーズから、二次元ポーズに関連付けられたソース画像（１０）の画像平面内に投射されると、二次元ポーズの対応する関節（２）の位置に近似的にマッチする近似の関節（２）の位置を含む近似の三次元ポーズを計算するステップと、
   ・関節（２）ごとに、関節（２）の位置を、近似の関節（２）の位置から、カメラから、ソース画像（１０）の画像平面と平行な平面を有するソース画像（１０）における関節（２）の位置を通過し、近似の関節（２）の位置を通過する光線の交差によって規定される位置まで動かすことによって、近似の三次元ポーズが二次元ポーズに厳密にマッチするように修正するステップとが実行される、請求項１〜７のいずれか１項に記載の方法。
9. 多関節オブジェクトモデル（４）は、２つ以上のソースカメラ（９）によって観察される実世界オブジェクト（１４）のコンピュータベースの三次元モデル（１）であり、多関節オブジェクトモデル（４）は、複数の関節（２）および関節（２）を連結する複数の連結部（３）を表し、多関節オブジェクトモデル（４）のポーズは、三次元関節位置と称される関節（２）の空間的な場所によって規定され、前記方法は、
   ・三次元ポーズの当初推定値、すなわち多関節オブジェクトモデル（４）の三次元関節位置を求めるステップと、
   ・各連結部（３）を１つ以上の投射面（５）に関連付けるステップとを備え、投射面（５）は三次元モデルにおいて規定される表面であり、各投射面（５）の位置および向きは、関連付けられた連結部（３）の位置および向きによって決定され、前記方法はさらに、
   ・関節（２）ごとに、
   その三次元関節位置に割当てられた位置スコアを計算し、位置スコアは、関節（２）に隣接した連結部（３）の投射面（５）に投射されると、異なるソースカメラ（９）からの画像セグメントが互いに整合している程度の測定値であり、さらに、
   最適な位置スコアが達成されるまで関節（２）の三次元関節位置を変化させることによって、
   三次元関節位置を反復して適応させるステップと、
   ・予め定められた回数だけ、または位置スコアが収束するまで、すべての関節（２）について三次元関節位置を反復して適応させる前記ステップを繰返すステップとを備える、請求項１〜８のいずれか１項に記載の方法。
10. 関節（２）の三次元関節位置を変化させる前記ステップは、人体測定制約を受ける三次元関節位置を変化させ、人体測定制約は、
    ・関節が地上または地面上方にある
    ・トポロジ的に対称の連結部の長さが１０％よりも大きく異なっていない
    ・連結部の長さが人体測定標準内である
    ・連結部によって接続されていない関節同士の距離が人体測定標準内である
    のうちの少なくとも１つである、請求項９に記載の方法。
11. 投射面（５）は、連結部（３）ごとに、ビルボード（６）のファン（７）を含み、各ビルボード（６）はソースカメラ（９）に関連付けられており、各ビルボードは、関連付けられた連結部（３）と、この連結部（３）および連結部（３）の一点をソースカメラ（９）に接続する線の両方に対して垂直であるベクトルとがまたがる平面である、請求項９または１０に記載の方法。
12. 関節（２）の三次元関節位置の位置スコアは、関節（２）に隣接した連結部（３）ごとに、
    ・異なるソースカメラ（９）からの画像を連結部（３）の関連付けられた投射面（５）に投射し、そこから仮想カメラ（１１）によって見られる仮想画像（１２）内に投射するステップと、
    ・これらの投射面（５）の仮想画像（１２）内への投射に対応する領域（１２）について、異なるソースカメラ（９）からの画像セグメントが重複して同様の色を有する程度に従って、この連結部についての部分的位置スコアを計算するステップと、
    ・部分的位置スコアを組合せて位置スコアを得るステップと
    によって計算される、請求項９または１０または１１に記載の方法。
13. 部分的位置スコアを計算して組合せる前記ステップは、
    ・仮想画像（１２）に寄与するソースカメラ（９）の対ごとに部分的位置スコアを計算
    するステップと、
    ・これら部分的位置スコアを、加算し、ソースカメラ（９）の関連付けられた対の視覚方向同士の間の角度に従って部分的位置スコアの各々を重み付けすることによって組合せるステップとを含む、請求項１２に記載の方法。
14. 多関節オブジェクトモデル（４）を与えられて、仮想カメラ（１１）から見た仮想画像（１２）をレンダリングするためのコンピュータ実行方法であって、多関節オブジェクトモデル（４）は、２つ以上のソースカメラ（９）によって観察される実世界オブジェクト（１４）のコンピュータベースの三次元モデル（１）であり、多関節オブジェクトモデル（４）は、複数の関節（２）および関節（２）を連結する複数の連結部（３）を表し、多関節オブジェクトモデル（４）のポーズは関節（２）の空間的な場所によって規定され、前記方法は、
    ・三次元ポーズの推定値、すなわち多関節オブジェクトモデル（４）の三次元関節位置を求めるステップと、
    ・各連結部（３）を１つ以上の投射面（５）に関連付けるステップとを備え、投射面（５）は三次元モデルにおいて規定される表面であり、各投射面（５）の位置および向きは、関連付けられた連結部（３）の位置および向きによって決定され、
    ・投射面（５）は、連結部（３）ごとに、ビルボード（６）のファン（７）を含み、各ビルボード（６）はソースカメラ（９）に関連付けられており、各ビルボードは、関連付けられた連結部（３）と、この連結部（３）および連結部（３）の一点をソースカメラ（９）に接続する線の両方に対して垂直であるベクトルとがまたがる平面であり、前記方法はさらに、
    ・ソースカメラ（９）ごとに、関連付けられたソース画像（１０）のセグメントを関連付けられたビルボード（６）に投射してビルボード画像を形成するステップと、
    ・連結部（３）ごとに、ビルボード画像を仮想画像（１２）内に投射し、ビルボード画像をブレンドして、仮想画像（１２）の対応部分を形成するステップとを備える、方法。
15. ・ソースカメラ（９）によって記録される実世界オブジェクト（１４）のビューを含むビデオストリームから少なくとも１つのソース画像（１０）を得るステップと、
    ・少なくとも１つのソース画像（１０）を処理して、画像背景から分離された実世界オブジェクト（１４）のビューを含む対応のソース画像セグメント（１３）を抽出するステップと、
    ・コンピュータ読取可能形態のデータベースに参照シルエットのセットを維持するステップとを備え、各参照シルエットは参照セグメント化に関連付けられており、参照セグメント化は参照シルエットのサブセグメントを規定し、各サブセグメントには一意のラベルが割当てられており、前記方法はさらに、
    ・ソース画像セグメント（１３）に最もよく似ているマッチング参照シルエットを求め、参照シルエットの参照セグメント化を取出すステップと、
    ・サブセグメントごとに、より厚いおよびより薄いバージョンのサブセグメントの両方をソース画像セグメント（１３）に重ね合せ、より厚いおよびより薄いバージョンの両方の内部に存在するソース画像画素にサブセグメントのラベルでラベル付するステップと、
    ・ソース画像セグメント（１３）のすべての残りの画素を不確信とラベル付するステップと、
    ・サブセグメントごとに、サブセグメントのラベルでラベル付された画素の色を表す色モデルを決定するステップと、
    ・各不確信画素を、色モデルが不確信画素の色に最もよくフィットするサブセグメントに割当てることによって、色モデルに従って不確信画素をラベル付するステップとを備える、請求項１〜１４のいずれか１項に記載の方法。