JP2015011032A - ３次元物体形状及び姿勢の推定並びに追跡の方法及び装置 - Google Patents

Abstract

【課題】３次元物体形状及び姿勢の推定並びに追跡方法及び装置を提供すること。
【解決手段】関連する物体の大きさ及び形状が異なる複数の３Ｄ物体モデルが取得され，位置揃えされ，拡大縮小され，ボクセル化されて，主成分分析モデルをトレーニングするための３Ｄモデルの２Ｄ高さマップが生成される。ホスト車両に搭載された少なくとも一つセンサが３Ｄ物体画像を取得する。トレーニングされた主成分分析モデルを用いて，プロセッサがプログラム命令を実行して，検出された３Ｄ物体の形状及び姿勢が一つの主成分分析モデルに一致するまで，検出された３Ｄ物体の形状及び姿勢を推定する。検出された３Ｄ物体の形状及び姿勢の出力は，一つの車両制御機能に用いられる。
【選択図】図７

Description

本発明は、３次元物体識別及び追跡の方法及び装置に関する。

カメラのような画像検出器から２次元（２Ｄ）及び３次元（３Ｄ）画像への実時間写像（ｍａｐｐｉｎｇ）は、物体識別に用いられる。

製造業においては，製品の品質を測定するために，物体の既知の２Ｄ形状又は輪郭（ｅｄｇｅ）を実際の物体形状と比較する。

しかし，３Ｄ物体認識もまた，ある状況においては必要である。３Ｄ物体の分割及び追跡方法が自律車両応用に提案されている。しかし，そのような方法は不変３Ｄ形状を有する物体に限定されている。ほかの方法は，２Ｄ形状，すなわち（２Ｄにおける物体の輪郭）の変化を扱う試みをしている。しかし，これらの方法は３Ｄ形状の形状変化をモデル化する能力を欠いている。

このような３Ｄ形状変化のモデル化は，自律車両応用において必要なことがある。盲点及び後方（ｂａｃｋｕｐ）の物体検出応用のような単純な物体検出を必要とするいくつかの場合には，ある物体，すなわち，道路上のほかの自動車の状態を疎推定することで十分なことがある。例えば，車両が別の車両の前で曲がるとき，又は駐車しようとしている車両における駐車している車両の位置が走行しているホスト車両に対して変化するとき，３Ｄ物体，すなわち車両の形状，大きさ及び姿勢が変化するため，物体の状態についてより詳細な情報が必要と考えられる。

３Ｄ物体の形状及び姿勢を推定する方法は，プロセッサを用い，少なくとも一つ画像センサを使用して，ホスト車両の外部にある３Ｄ物体を検出して，ホスト車両及び３Ｄ物体のうち少なくとも一つが互いに位置を変えたとき，検出された３Ｄ物体の形状及び姿勢のうち少なくとも一つを推定するステップと，３Ｄ物体の形状及び姿勢の出力を提供するステップとを含む。

この方法はさらに，プロセッサを用いて，物体の種類に関係するが，形状及び大きさが異なる，複数の３Ｄ物体モデルを取得して，３Ｄ物体モデルを位置合わせ及び拡大縮小（ｓｃａｌｅ）するステップと，位置合わせされ，拡大縮小された３Ｄ物体モデルをボクセル化するステップと，ボクセル化した３Ｄ物体モデルの２Ｄ高さマップを生成するステップと，複数の３Ｄ物体モデルの形状ごとに，主成分分析モデルをトレーニングするステップと，を有する。

方法はメモリに３Ｄ物体モデルを記憶させる。

３Ｄ物体の連続する画像ごとに，方法は，３Ｄ物体のモデルが検出された３Ｄ物体の形状及び姿勢と一致するまで，物体の形状及び姿勢の推定を反復する。

ホスト車両に対する３Ｄ物体の形状及び姿勢を推定する装置は，車両の周辺にある３Ｄ物体を感知する，車両内に搭載された少なくとも一つセンサと，少なくとも一つセンサに接続されたプロセッサとを含む。プロセッサは，少なくとも一つセンサから３Ｄ物体画像を取得し，３Ｄ物体画像内の物体の形状を推定し，３Ｄ物体画像内の３Ｄ物体の姿勢を推定し，推定した３Ｄ物体の形状及び姿勢が３Ｄ物体画像と実質的に一致するまで，３Ｄ物体の推定した形状及び姿勢を最適化し，最適化された３Ｄ物体の形状及び姿勢を出力する。

この装置は，少なくとも一つの車両機能を制御するために，車両に搭載された制御部を含み，プロセッサによって，３Ｄ物体の最適化された形状及び姿勢の出力を，更なる処理のために車両制御部に送信する。

本発明の種々の特徴，利点及びほかの利用法は，以降の詳細な説明及び図面を参照することによってより明白になるであろう。

３次元物体形状及び姿勢の推定並びに追跡の方法及び装置を実現した車両の図である。 本発明の方法及び装置の運転入力及び出力を示すブロック図である。 ３Ｄ形状のＰＣＡ潜在空間モデルをトレーニングするシーケンスを示すブロック図である。 記憶された物体モデルの図である。 物体の原３Ｄモデルと，位置合わせ及び拡大縮小した３Ｄモデルと，ボクセル化した位置合わせ後のモデルと，ＰＣＡモデルをトレーニングするために用いられるモデルの２Ｄ高さマップとを示す，方法及び装置の実施例の図である。 車両の３Ｄ形状の学習したＰＣＡ潜在空間を示す図である。 本発明の方法及び装置に用いられる最適化シーケンスのブロック図である。 上から下，左から右の順に，検出器によって推定された初期姿勢及び検出された車両の最適な姿勢を探す一連の勾配降下探索を示す，車両の分割及び姿勢推定に関する，ＰＷＰ３Ｄの応用を示す一連の図である。 旋回する車両の検出された映像に対する本発明の方法及び装置の連続する一連の画像分割結果を示す図である。

ここで図１〜７を参照すると，３次元物体形状及び姿勢の推定並びに物体追跡の方法及び装置が示されている。

例として，方法及び装置はホスト車両１０で実行されるものとして示されている。ホスト車両１０は，乗用車，トラック，バス，ゴルフカート，航空機，列車，等のような，移動中又は静止した任意の種類の輸送手段であってよい。

計算ユニット又は制御部１２が，方法を実行するために車両（以下，「ホスト車両」と呼ぶ）に搭載される。計算ユニット１２は，プロセッサ又は中央プロセッサを用いる任意の種類の計算ユニットであってよく，データ及び命令を記憶するＲＡＭ又はＲＯＭのいずれかであるメモリと，表示装置と，マウス，キーボード，マイクロホン，などのタッチスクリーン又はほかの利用者入力装置若しくはインタフェースと，種々の入力及び出力インタフェースなど，通常計算機と共に用いられるすべての部品と組み合わせられる。以降説明する車両応用においては，計算ユニット１２はホスト車両１０に搭載された独立型（ｓｔａｎｄ−ａｌｏｎｅ）又は個別型（ｄｉｓｃｒｅｔｅ）計算ユニットであってよい。代替として，計算ユニット１２は，車両で用いられる１又は複数の計算ユニットのいずれかであって，計算ユニット１２と連携するメモリ１４に記憶された，後で説明するＰＷＰ３Ｄエンジン１６制御プログラムを有する計算ユニットであってよい。

ＰＷＰ３Ｄエンジン１６は，車線検出，盲点検出，後方物体距離検出器，走行及び駐車する自律車両，衝突回避，など，ホスト車両１０に見られるほかの応用と組み合わせて用いてもよい。

ＰＷＰ３Ｄエンジン１６を実現する制御プログラムは，メモリ１４に記憶され，計算ユニット１２で実行されるソフトウェアプログラム又は任意のプログラム言語，ソースコード，オブジェクトコード，機械語，等で書かれた命令セットを含んでもよい。

図示していないが，計算ユニット１２は，車両速度，ナビゲーション，制動及び通知応用を制御するホスト車両１０内のほかの計算ユニットと接続されてもよい。

本発明の方法と関係して，本発明の装置は，ホスト車両１０に搭載されたセンサ１８からの入力を含み，ＰＷＰ３Ｄエンジン１６を実行する計算ユニット１２に入力データを供給する。本例において，このようなセンサ１８は，ホスト車両１０の１又は複数の場所に搭載された，図２に示す１又は複数のカメラを含んでもよい。単一カメラ２０応用においては，カメラ２０は，焦点及び視野を含む適切な応用範囲を備えている。複数カメラ応用においては，各カメラは比較的同一の位置又は異なる位置に搭載してもよく，視野及び焦点を含む同一又は異なる応用範囲を備えてもよい。

本発明の方法及び装置によれば，図３に示すように，開始（ｓｅｔ ｕｐ）シーケンスの第１ステップ３０は，３Ｄ空間形状における最適化を実行するようになっている。方法は最初に，３Ｄ形状の主成分分析（ＰＣＡ）潜在空間モデルをトレーニングする。

この最適化はステップ３０（図３）を含み，３Ｄ物体モデルの集合が得られる。図４に示すように，このようなモデルは，バン，ＳＵＶ，セダン，ハッチバック，クーペ，スポーツカーなどの複数の３Ｄ車両のような，複数の，異なるが関係する物体を示すために，インターネット，データファイル，などの情報源から得ることができる。物体画像は種類は関係するが，大きさ及び／又は形状が異なる。

次に，ステップ３２において，ステップ３０で得られた３Ｄモデルにｔｒｉｍｅｓｈが適用され，３Ｄモデルを位置合わせし，拡大縮小する。図５の第２モデル３３を参照されたい。

次に，ステップ３４において，ステップ３２で得られた３Ｄモデルデータが，図５の水平軸３のモデルで示されるとおり，ボクセル化される。

次に，ステップ３６において，ステップ３４で得られた３Ｄボクセル化モデルの２Ｄ高さマップが，ステップ３０で得られたモデル２８ごとに生成されて，図５に示すモデル３７になる。

最後に，ステップ３８において，ステップ３６で得られた２Ｄ高さマップを用いて，ＰＣＡ及び潜在変数モデルがトレーニングされる。

図６において，車両の３Ｄ形状用に学習したＰＣＡ潜在空間が示されている。垂直軸は，データの分散の主方向を表す最初の３個の主成分（ＰＣ）を示している。水平軸は，各主成分に沿った平均形状（インデクス０）の分散を示している。水平軸に沿ったインデクスは，対応する固有値の２乗根を単位とする平均からの偏差量である。図６において，第１ＰＣが，車両位置の重要な変化を直感的に捉えていることに注意されたい。例えば，第１ＰＣは車両の高さを捉える（水平軸の−３はＳＵＶを表し，３は背の低いスポーツタイプの車両を表している）。

実時間３Ｄ物体識別情報を取得する際，計算ユニット１２は，記憶された命令セット又はプログラムを実行する図２のステップ５０で，カメラ２０のようなセンサ２８から３Ｄ物体画像を最初に取得する。図８は初期の３Ｄ物体画像６０の例を示している。次に，計算ユニット１２はステップ５２で物体の形状を推定し，次にステップ５４で物体の姿勢を推定する。図８の物体画像６０について実行されるこれらのステップは図８の後続の図に示されており，物体形状の推定結果が物体画像に重畳されている。本発明の方法は，推定された３Ｄ物体の形状及び姿勢を最適化，又は初期物体画像６０と比較するため，実時間では，本発明の方法及び装置によって推定された物体の形状及び姿勢だけが生成されることを理解されたい。３Ｄ物体の形状及び姿勢が最適化されるまで，ステップ５６の種々の反復が行われる。ここで，３Ｄ物体の形状及び姿勢は，ステップ５８で計算ユニット１２によって，ほかの利用者，ほかの計算ユニット，又はホスト車両１０内の，車両機能の制御のための衝突回避，車両ナビゲーション制御，加速及び／又は制動，地理情報，などの応用プログラムに出力される。

潜在空間モデルの最適化を実現するために，次の式が導出される。

ここで，Ｈｅはヘビサイド階段関数であってもよく，３Ｄモデルの投影の輪郭の符号距離関数であり，Ｐ_ｆ及びＰ_ｂはそれぞれ，前景及び背景に属する画素ｘの事後確率である。この目的は，ＰＣＡ潜在空間変数γｉに関するエネルギ関数の偏導関数を計算することである。

ヘビサイド階段関数の導関数

は，ディラック（Ｄｉｒａｃ)デルタ関数δ（Φ）であり，その近似値は既知である。また，

は，符号付き距離関数Φ（ｘ，ｙ）を与えれば容易に計算できる。いまのところ唯一の未知数は，

である。次の導出によって，上記の未知数は，カメラモデルを与えれば，［Ｘ_ｃＹ_ｃＺ_ｃ］^Ｔの導関数を計算することに整理することができる。

ここで，ｆ_ｕ及びｆ_ｖはカメラの水平及び垂直焦点距離であり，（ｕ_ｏ，ｖ_ｏ）は画像の中央画素であり（固有のカメラ較正パラメータからすべて取得できる），

は，画素（ｘ，ｙ）を生成するカメラ座標内の３Ｄ点である。画像からカメラへの写像及び画像から物体座標系への写像は既知であり，３Ｄモデルを与える際に記憶することができる。上記の未知数を

に整理することによって次の式が得られる。

したがって，この結果は物体座標系からカメラ座標系への次の写像である。

ここで，Ｒ及びＴは物体の回転及び移動行列であり，Ｘは対応する物体座標系における３Ｄ点である。したがって，次の式が得られる。

ここで，ｒ_ｉｊは位置ｉ及びｊにおける位置行列Ｒの要素である。導出をより短くし，表記をより明確にするため，ｓｔｉｘｅｌメッシュモデルと物体座標とが同一であり，ｓｔｉｘｅｌ Ｚにおける各セルの高さ及びその２Ｄ座標が（Ｘ，Ｘ）であるものとする。ｓｔｉｘｅｌから物体座標への写像（回転及び移動）はこの推定における追加ステップに容易に変換できるため，この仮定は導出の一般性を損なうことはない。ｓｔｉｘｅｌの高さだけが潜在変数γ_ｉの関数として変化するため，結果は

となり，唯一の残された未知数は，

である。

物体座標

の各３Ｄ点はｓｔｉｘｅｌ三角メッシュモデルにおける三角面，例えば座標

の頂点に入る。さらに，Ｚの変化はＺ_１，Ｚ_２及びＺ_３にだけ依存する（３Ｄメッシュのほかの頂点には依存しない）。したがって，連鎖法則によって次のようになる。

本発明の方法はＰＣＡ潜在空間を用いるため，各ｓｔｉｘｅｌモデルＺは次のとおり，主成分の線形結合として表すことができる。

ここで，Ｚは平均ｓｔｉｘｅｌであり，Ｄは潜在空間の次元の数であり，Γ_ｉはｉ番目の固有ベクトルである。式１３は次の関係を意味する。

ここで，Γ_ｉ，ｊはｉ番目の固有ベクトルのｊ番目の要素である。メッシュモデルにおける各面はＸ，Ｘ_１，Ｘ_２及びＸ_３を通る３Ｄ空間内の面であるため。この面をパラメータＡ，Ｂ，Ｃ，Ｄで表すと，結果は

となり，したがって，

となる。

Ｘ１，Ｘ２及びＸ３を代入して式の体系を解くと，Ａ，Ｂ，Ｃ及びＤは次の行列式で与えられる。

この行列式を展開し，式１６の偏導関数を解くと次のようになる。

最後に，式１８を式１６に代入すると，結果は次のようになる。

も同様に導出される。したがって，潜在変数に関するエネルギ関数の導関数が導出される。本アルゴリズムにおいて用いられる，

を計算するボトムアップの方法は，次の順に式にデータを代入する。

アルゴリズム１：形状空間の潜在変数に関して，物体の形状を最適化するアルゴリズム

Claims (10)

1. ３Ｄ物体の形状及び姿勢を推定する方法であって，
   少なくとも一つ画像センサを用いて，ホストの外部にある３Ｄ物体を検出するステップと，
   プロセッサを用いて，前記ホストに対する前記の検出された３Ｄ物体の形状及び姿勢のうち少なくとも一つを推定するステップと，
   前記の推定された３Ｄ物体の形状及び姿勢の出力を提供するステップと，
   を有する方法。
2. 複数の３Ｄ物体モデルを取得するステップであって，前記のモデルは物体の種類に関係するが，形状及び大きさが異なる，ステップと，
   前記プロセッサを用いて，前記３Ｄ物体モデルを位置合わせ及び拡大縮小するステップと，
   前記の位置合わせ及び拡大縮小された３Ｄ物体モデルをボクセル化するステップと，
   前記のボクセル化された３Ｄ物体モデルの２Ｄ高さマップを生成するステップと，
   前記複数の３Ｄ物体モデルの一意の形状ごとに，主成分分析モデルをトレーニングするステップと，
   を更に有する，請求項１に記載の方法。
3. 前記プロセッサに接続されたメモリに，前記３Ｄ物体モデルの前記主成分分析モデルを記憶させるステップを更に有する，請求項２に記載の方法。
4. 前記検出された３Ｄ物体の連続する画像ごとに，前記３Ｄ物体の前記モデルが前記検出された３Ｄ物体の形状及び姿勢に一致するまで，前記検出された３Ｄ物体の形状及び姿勢の推定を反復するステップを更に有する，請求項２に記載の方法。
5. 前記３Ｄ物体は車両であり，前記ホストは車両である，請求項１に記載の方法。
6. 前記プロセッサを用いて，前記の検出された車両と前記のホスト車両が互いに位置を変える間に，前記ホスト車両に対する前記検出された車両の形状及び姿勢のうち少なくとも一つを推定する，請求項５に記載の方法。
7. ホストに対する３Ｄ物体の形状及び姿勢を推定する装置であって，
   前記ホストの周辺にある３Ｄ物体を感知するための，前記ホストに搭載された少なくとも一つ画像センサと，
   前記少なくとも一つ画像センサに接続されたプロセッサであって，
   前記少なくとも一つのセンサから３Ｄ物体画像を取得し，
   前記３Ｄ物体画像内の前記物体の形状を推定し，
   前記３Ｄ物体画像内の前記３Ｄ物体の姿勢を推定し，
   前記３Ｄ物体の前記の推定された形状及び姿勢が，前記３Ｄ物体画像に実質的に一致するまで，前記３Ｄ物体の前記推定された形状及び姿勢を最適化し，
   前記の最適化された３Ｄ物体の形状及び姿勢を出力する，ように動作できるプロセッサと，
   を備える装置。
8. 前記ホストの機能のうち少なくとも一つを制御するための，前記ホストに搭載された制御部を更に備え，
   前記プロセッサは前記３Ｄ物体の前記最適化された形状及び姿勢の前記出力を前記制御部に送信する，請求項７に記載の装置。
9. 前記ホストは車両であり，前記少なくとも一つセンサは前記のホスト車両に搭載され，
   前記の検出された３Ｄ物体は車両である，請求項７に記載の装置。
10. 前記プロセッサは，前記のホスト車両における前記の検出された車両のうち少なくとも一つが互いに移動している間に，前記検出された車両の前記推定された形状及び姿勢を最適化する，請求項９に記載の装置。

Images