JP2014032666A - 周囲状況に対するカメラの姿勢を求めるための方法 - Google Patents

Abstract

【課題】車両に搭載された単眼カメラによって取得された単眼ビデオシーケンスからの周囲状況の相対動き予測及び高密度３Ｄ再構成のためのシステム及び方法を提供する。
【解決手段】初期画像のセットから点対応を求め、次いで、２点動き予測をそれらの点対応に適用してカメラ１０２の初期姿勢のセットを求めることによって、周囲状況に対する可動カメラの姿勢が得られる。初期姿勢のセット及び点対応から点群が生成される。その後、次の各画像について、点対応及び対応する姿勢が求められるとともに、点群が更新される。
【選択図】図１

Description

本発明は、包括的には、コンピュータービジョンを動き予測に用いることに関し、より詳細には、動き予測を車載カメラの姿勢を求めることに用いて車両の近くの障害物を検出することに関する。

車両に搭載されたカメラによって車両の周囲状況、例えば道路又は車庫から取得されたビデオから車両又はロボット等の物体の正確な動きを予測することは、車両ナビゲーション及びロボットナビゲーションにおいて重要な課題である。ほとんどの従来の方法は、カメラモデル（単眼若しくはステレオ）又は動きモデル（平面若しくは非平面）のいずれかを用いる。周囲状況に対する車両の相対的な動きを画像のシーケンスから求めるために、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）等の仮説検定の枠組みにおける最小数の特徴対応が、アウトライアー（ｏｕｔｌｉｅｒｓ）が存在する状態で正確な結果を生成する。

車載カメラを用いたビデオシーケンスからの高密度深度予測は、特に車庫、荷物積み下ろし場（ｌｏａｄｉｎｇ ｄｏｃｋｓ）、ドライブウェイ、駐車場等の狭い周囲状況、及び一般的には道路等において、車両がバックしているときに、動いている車両の近くの人々及び障害物を検出する等の安全の用途に極めて有用であり得る。

最小解決策（ｍｉｎｉｍａｌ ｓｏｌｕｔｉｏｎｓ）
ＲＡＮＳＡＣの枠組みを用いた、よく知られたＮｉｓｔｅｒの５点法は、アウトライアーの存在する状態での動き予測のための好ましい方法である。２つのカメラ間の相対的な動きの場合、動きパラメーターには、６つの自由度（ＤＯＦ：ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ）、すなわち、回転の３つのＤＯＦ及び並進の３つのＤＯＦがある。単一の投影中心を有する従来のカメラの場合、５つのパラメーターしか求めることができない。すなわち、並進は、スケールを除いて（ｕｐ ｔｏ ａ ｓｃａｌｅ）しか求めることができない。したがって、最低５つの特徴対応が、動きパラメーターを求めるのに必要とされる。

特徴対応は、例えば、ハリスコーナー（Ｈａｒｒｉｓ ｃｏｒｎｅｒｓ）、カナデルーカストマシトラッカー（ＫＬＴ：Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ ｔｒａｃｋｅｒ）、及びスケール不変特徴変換（ＳＩＦＴ：ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）を用いて得ることができる。通例、最小手法（ｍｉｎｉｍａｌ ａｐｐｒｏａｃｈｅｓ）によって、動きの有限個の解が得られ、正しい動きは、物理的制約又は追加の点対応に基づいて選択される。

幾つかの較正問題及び３Ｄ再構成問題のための最小解決策が知られている。すなわち、半径歪（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）の自動較正、透視型３点問題（ｐｅｒｓｐｅｃｔｉｖｅ ｔｈｒｅｅ ｐｏｉｎｔ ｐｒｏｂｌｅｍ）、５点相対姿勢問題（ｆｉｖｅ ｐｏｉｎｔ ｒｅｌａｔｉｖｅ ｐｏｓｅ ｐｒｏｂｌｅｍ）、６点焦点距離問題、６点一般化カメラ問題、パラ反射屈折（ｐａｒａ−ｃａｔａｄｉｏｐｔｒｉｃ）基礎行列を予測するための９点問題、９点動径歪問題、６つの対応を用いた点対平面位置合わせ（ｐｏｉｎｔ−ｔｏ−ｐｌａｎｅ ｒｅｇｉｓｔｒａｔｉｏｎ）、点又は線のいずれかを用いたステレオセットアップのための姿勢予測、並びに点及び線の双方を用いた単眼セットアップのための姿勢予測のための最小解決策が知られている。

制限付き動きモデル（ｒｅｓｔｒｉｃｔｅｄ ｍｏｔｉｏｎ ｍｏｄｅｌｓ）
カメラの相対的な動きは、通例、関連した用途による制約を受ける。例えば、車両に搭載されたカメラは、一般に、６つの全てのＤＯＦを有しているとは限らない。走行面が平面である場合、カメラは、３つのＤＯＦ（並進の２つのＤＯＦ及び回転の１つのＤＯＦ）しか受けることができない。

Ｓｃａｒａｍｕｚｚａ他は、ある特定の部類の車両、自転車、及びロボットに対して１つのパラメーターのみを用いて動きをパラメーター化することができることを示した。したがって、１点法（ｏｎｅ−ｐｏｉｎｔ ｍｅｔｈｏｄ）を用いることができる。基礎を成すアイデアは、瞬間回転中心（ＩＣＲ：ｉｎｓｔａｎｔａｎｅｏｕｓ ｃｅｎｔｅｒ ｏｆ ｒｏｔａｔｉｏｎ）が存在し、車両がＩＣＲの周囲の円形のコースに従うということである。

慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）が利用可能であるとき、重力ベクトルを用いて２つの測定角度を得ることができる。残りの未知数は、３つのパラメーター（回転の１つのＤＯＦ及び並進の２つのＤＯＦ）であり、これらは、４次式を用いた３点動き予測方法によって解くことができる。この動き予測方法は、携帯電話等のハンドヘルドデジタル装置内のカメラに有用であり得る。

別の方法は、２点動き予測方法を平面動きシーケンスに用いるものである。室内ロボットに搭載されたカメラが平面上を動くときにそのロボットの自己動き予測（ｅｇｏ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）に適用可能である。自由度の数は３（回転の１つのＤＯＦ及び並進の２つのＤＯＦ）である。しかしながら、相対的な動きはスケールを除いてしか回復することができない。ＲＡＮＳＡＣの枠組みでは、必要な反復数は、通例、動きを求めるのに必要な点の数が減少すると少なくなる。式の複雑度を所与として、その方法は、ニュートンラフソン（Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ）アルゴリズムを用いて解を反復的に求める。このアルゴリズムは、時間を消費し、実時間の用途には適していない。

同時の位置特定及びマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）
ＳＬＡＭは、動きモデルを用いて、カメラの軌道を滑らかにし、３Ｄ周囲状況再構成のための特徴対応のための探索エリアを抑える。ＳＬＡＭは、慣性測定値を視覚的特徴の観察結果と融合するための方法である。現在のカメラ姿勢に加えて視覚的ランドマークの３Ｄ位置も同時に予測される。ＳＬＡＭに基づく方法は、カメラの姿勢と観察された特徴の３Ｄ位置との間に存在する相関を考慮する。

しかしながら、ＳＬＡＭに基づく方法は、相関を適切に取り扱うことが計算的に複雑であることから、高い計算複雑度を欠点として有し、したがって、数千個の特徴を有する周囲状況においてビジョンに基づくＳＬＡＭを実行することは、実時間の用途には問題となる。

多くの可動物体、例えば、車両、自転車、ロボット、及び人々が、カメラを装備することができる。本発明の実施の形態は、物体に搭載された単一のカメラによって取得されたその物体の周囲状況の画像のシーケンスからその物体の相対的な動きを予測するための方法を提供する。この場合、動き予測は、車両の安全な動作及び移動を妨害するおそれがある周囲状況内の障害物を検出するのに用いることができる。カメラは物体に固定されているので、物体の動きは、カメラの姿勢から求めることができる。

姿勢は、本明細書において一般的に定義すると、３Ｄロケーション及び３Ｄ方位を含む。各姿勢の並進ロケーション及び角度方位は、最大で３つの自由度（ＤＯＦ）を有することができる。

非ホロノーム制約及び平面性の下でのこの動き予測方法の性能は、ロボット工学及びコンピュータービジョンでよく知られている。従来技術の方法は、通常、動きモデルに関して最も少ない数の点対応を用いる。そのような最小の方法は、ＲＡＮＳＡＣ等の仮説検定の枠組みにおいて用いられる場合に効率的であり、アウトライアーに対応することが知られている。

本発明の実施の形態は、同一平面性制約及び正規直交性制約を条件とした単一の２次（２次多項式）式を用いて平面２点動き予測（ｐｌａｎａｒ ２−ｐｏｉｎｔ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を解析的に解く。すなわち、この方法は、ニュートンラフソン反復アルゴリズムを用いる従来技術の方法と異なり非反復的である。非反復的方法は、より効率的であり、極小値問題の難点がなく、実時間で実行することができ、これは、車両の安全の用途に必須である。

従来技術の２点動き予測は、視覚的に正確な車両軌道を２Ｄで生成するが、この動きは、多くの走行面の非平面性に起因して高密度３Ｄ再構成を実行できるほど十分精密ではない。

したがって、実施の形態は、２点相対動き方法を初期画像のセットに用い、これに続いて、後続の次の各画像について３点２Ｄ／３Ｄ（２Ｄ−ｔｏ−３Ｄ）カメラ姿勢予測を用いる。

このハイブリッド手法を用いると、障害物検出の用途のための高密度深度マップを生成する平面掃引手順（ｐｌａｎｅ−ｓｗｅｅｐｉｎｇ ｐｒｏｃｅｄｕｒｅ）のための正確な動き予測値を生成することができる。

本発明の実施の形態は、（動いている）車両に搭載された単眼カメラによって取得された単眼ビデオシーケンスからの周囲状況の相対動き予測及び高密度３Ｄ再構成のためのシステム及び方法を提供する。

平面２点相対動き予測方法のための非反復的な解決策が提供される。この方法は、動き予測とともに平面掃引方法を用いて、ほとんどの従来の画像に基づく方法が提供する疎な点群とは対照的に、周囲状況の高密度深度マップのシーケンスを求める。さらに、車両ナビゲーション装置の組み込みプロセッサ又はＧＰＵ（ｇｒａｐｈｉｃ ｐｒｏｃｅｅｓｉｎｇ ｕｎｉｔ）において実施することができる簡単な非反復的技法が用いられる。

車載カメラからのビデオシーケンスによる深度マップ再構成は、障害物検出等の車両の安全の用途に極めて有用である。

超音波センサー、レーザースキャナー、短距離レーダー網、又はステレオカメラ等の他のセンサーと比較して、本発明者らの単一のカメラに基づく解決策ははるかに安価である。

単一のカメラは、障害物検出のための正確な（高密度）深度マップを得るのに十分である。カメラの正確な動きパラメーターを用いて、深度マップが求められる。動きに基づくステレオ解析に２つの画像しか用いないのではなく、平面掃引プロセスを用いて深度マップが再構成するのに、例えば２０個〜３０個の画像のセットが用いられる。平面掃引は、ＧＰＵにおいて実施することもでき、実時間で実行することができる。

この方法は、同一平面性制約及び正規直交性制約を条件とする単一の２次式を用いて平面２点動き予測を解く。解は、式を簡略化する座標変換手法によって得ることができる。

多くの従来技術の手法は、ニュートンラフソンの方法等の多くの時間を要する反復的技法を用いる。本発明者らの非反復的方法は、より効率的であり、極小値問題の難点がない。

２点動き予測は、視覚的に正確な車両軌道を生成するが、動きは、道路、車庫の床面、ドライブウェイ等の非平面性に起因して高密度３Ｄ再構成を実行できるほど十分精密ではない。したがって、初期画像のセットには２点動き方法が用いられ、次いで、後続の次の画像には３点２Ｄ／３Ｄ姿勢予測が用いられる。このハイブリッド手法を用いると、障害物検出の用途ための高密度深度マップを生成する平面掃引方法のための正確な動き予測値が生成される。

本発明の実施形態による、カメラを有する車両、及び地表面と同一平面にある動き予測された位置の概略図である。 本発明の実施形態による、２点動き予測のための座標変換の概略図である。 本発明の実施形態による、車載カメラの姿勢を求めるための方法の流れ図である。 本発明の実施形態による、高密度深度マップを求めるための平面掃引手順の流れ図である。

本発明の実施形態は、物体に搭載されたカメラによって可動物体の周囲状況１０３から取得されたビデオにおける画像のシーケンスからカメラの姿勢を求めるための方法を提供する。この物体は、乗用車、トラック、自転車、地上を滑走している飛行機、ロボット、人等とすることができる。カメラは、物体に対して固定した関係にあるので、物体の姿勢、物体の動き、及び物体の近くの潜在的な障害物を求めるのにカメラの姿勢を用いることができる。

姿勢は、本明細書において一般的に定義すると、カメラのロケーション及び方位を含む。並進ロケーションＴ及び角度方位Ｒはそれぞれ、最大で３つの自由度を有することができる。

動き予測
図１は、車両１０１の平面的な動きの２点動き予測を示している。車両の動きは、地表面１１１と実質的に同一平面上にある。カメラ１０２は、地表面に平行な平面１１２上を座標系Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４に沿って動く。この図は、２つの座標系Ｃ_１及びＣ_２のそれぞれにおけるカメラからの２つの３Ｄ点Ｐ_１及びＰ_２の投影光線を示している。

座標系変換
カメラ座標系、周囲状況用の世界座標系、及び中間座標系が用いられる。較正及び最初の使用の際、世界座標系は、初期カメラ座標系に変換される。例えば、図１において、座標系Ｃ_１は、変換後の世界座標系に対応する。その後、後続の座標系Ｃ_２→Ｃ_３→Ｃ_４は、カメラの動きを明らかにしている。

図２は、本発明の実施形態による２点動き予測方法の座標変換技法の背後にある全般的なアイデアを示している。本発明者らの目標は、動き（Ｒ_Ｏ，Ｔ_Ｏ）、すなわち、カメラ座標系Ｃ_１とＣ_２との間の姿勢を求めることである。Ｃ_１は、世界座標系から変換したものであることに留意されたい。座標系Ｃ_１及びＣ_２は、２つの中間座標系Ｃ_１’及びＣ_２’にそれぞれ変換される。Ｃ_１’とＣ_２’との間の動き（Ｒ，Ｔ）が求められる。

方法
オフライン前処理
図３は、本発明の実施形態による姿勢を求めるための概略の方法を示している。

動作可能な配備を行う前に、以下で詳細に説明するように、カメラを較正することができ（３２１）、地表面を予測することができる（３２２）。これは、１回のオフライン前処理３２０の間に実行することができる。ステップ３２１及び３２２は、カメラパラメーター及び地表面パラメーター３２５を生成する。これによって、世界座標系の初期カメラ座標系への変換が可能になる。

実時間処理
動作中、例えば車両１０１に搭載されたカメラ１０２は、当該車両の周囲状況の画像３１０のシーケンスを取得する。例えば、車両は、道路を走行しており、潜在的な障害物を検出することが所望されている。通常、カメラは、一般に、地表面に向けられている。画像のシーケンスは、初期画像Ｉ_ｉ（ｉ＝１，．．．，ｍ）３１１及び次の画像Ｉ_ｉ（ｉ＝ｍ＋１，．．．，ｎ）３１２のセットを含む。初期画像のセットは、例えば、２０個の画像（すなわち、ｍ＝２０）を含む。

点対応は、初期画像３１１のセットから求められる（３３０）。２点動き予測が点対応に適用されて（３５０）、初期姿勢ｐ_ｉ（ｉ＝１，．．．，ｍ）３５５のセットが得られる。この初期姿勢のセットを用いて、点群（ｐｏｉｎｔ ｃｌｏｕｄ：ポイントクラウド）３６１が生成される（３７０）。この点群は、「疎ら（ｓｐａｒｓｅ）」であることが好ましい。ここで、疎とは、不明確な相対語ではなく、それとは逆に、従来から知られているとおりのものであり、数値解析の分野において定義されている。

カメラは車両に対して固定した幾何学的関係にあるので、カメラの姿勢は、車両の動きを求めるのに用いることができ、より詳細には、車両の移動を妨害する可能性のある、ビデオに視認される障害物を突き止めるのに用いることができる。

上述した２点動き予測は、視覚的に正確な路上の車両軌道を生成する。しかしながら、動きは、道路の非平面性に起因して高密度３Ｄ再構成を実行できるほど精密ではない。したがって、初期画像３１１のセットには２点相対動き予測３５０が用いられ、これに続いて、後続の次の画像３１２には３点２Ｄ／３Ｄカメラ姿勢予測３８０が用いられる。すなわち、点対応は、点群に関して次の各画像３１２について求められる（３３１）。３点２Ｄ／３Ｄカメラ姿勢予測３８０は、これらの点対応に適用されて、次の画像の姿勢３８１が求められ、この姿勢を用いて、点群が更新される（３７５）。初期画像の姿勢ｐ_ｉ（ｉ＝１，．．．，ｍ）３５５及び次の画像の姿勢ｐ_ｉ（ｉ＝ｍ＋１，．．．，ｎ）３８１のシーケンスは、カメラが遭遇する動きを本質的に明らかにする。

このハイブリッド手法を用いて、障害物検出の用途のための正確な高密度深度マップ４３０を生成する平面掃引手順４２０のための正確な動き予測値が生成される。この方法は、短い距離（２メートル未満）にある小物体（１０ｃｍ幅の棒及び寸法３０ｃｍの箱）を再構成できるほど十分正確である。平面掃引手順は、図４を参照して以下で説明する。

図３及び図４に示すステップは、例えば、車両ナビゲーションシステムの一部である車両内のプロセッサを用いて実行することができる。この方法は、実時間で動作することができる。グラフィック処理ユニット（ＧＰＵ）を用いることもできる。

２点動き予測−ステップ３５０
動き予測３５０は、２つの画像用の相対的な姿勢を得る。２つの画像内の対応する特徴点ｐ及びｐ’が、基本行列Ｅによって以下のように関係付けられる。

ｐ及びｐ’は、球画像座標では単位ベクトルとして表されること、すなわち、ｐ及びｐ’は、

となるように単位球面上に逆投影されたピクセルであることに留意されたい。これは、カメラが較正される（３２１）ときに常に可能である。

基本行列Ｅは、関係Ｅ＝［Ｔ］_×Ｒを用いて求めることができる。式中、Ｒは、３×３回転行列であり、［Ｔ］_×は、以下のように、３×１並進ベクトルＴの歪対称行列である。

平面的動き
図１に示すように、カメラ１０２は、実質的に平面１１２内で動く。カメラが車両に搭載されている場合、地表面１１１はＸＺ平面に平行であり、カメラはＸＺ平面１１２上で動く。したがって、回転行列は以下のとおりである。

この回転行列は、Ｙ軸の回りの角度θの回転を表す。ｃｏｓθ及びｓｉｎθをそれぞれα及びβに置き換えることによって上記回転行列を書き換えると、以下の式となる。

正規直交性制約によれば、α^２＋β^２＝１が得られる。

カメラはＸＺ平面上で動くので、並進ベクトルのＹ座標は０である。絶対スケールは求めることができない。それゆえ、並進ベクトルは、

であると仮定される。

Ｔ_Ｚ＝１と固定することによって、動きのスケールが固定される。実行する座標変換に起因して、この仮定は、動きがＸ方向に沿っていても当てはまる。

式（１）を用いて、未知のパラメーター（Ｔ_ｘ，α，β）が求められる。３つの変数があるが、α^２＋β^２＝１であるので、独立変数の数は２つである。点対応の２つのセットについて式（１）を直接解くことによって、３つの変数（Ｔ_ｘ，α，β）に関する２つの２次（２次多項式）式が得られる。α及びβに関する正規直交性制約を用いると、８つ以下の解が得られる。

以下では、座標変換手法によって単一の２次式が得られることを説明する。この２次式は、動きを求めるために解くことができる。

解析的解法
図２に示すように、（Ｒ_Ｏ，Ｔ_Ｏ）を直接求めるよりもＣ_１’とＣ_２’との間の動き（Ｒ，Ｔ）を求める方がはるかに簡単である。すなわち、これらの２つの座標の座標間の動きを直接求める代わりに、カメラ座標系におけるＣ_１及びＣ_２の双方を事前に回転して、それぞれ中間基準座標Ｃ_１ ^ｉ及びＣ_２ ^ｉにする。

これらの中間基準座標は、動き予測式が可能な限り簡単になるように選択される。中間座標系におけるこれらの座標（Ｒ，Ｔ）間の動きが求められた後、事後回転を用いて、カメラ座標系における動きを求めることができる。

中間座標
２つの点対応は、それぞれ（ｐ_１，ｐ_１’）及び（ｐ_２，ｐ_２’）である。図２に示すように、カメラ座標系における第１の座標Ｃ_１は、第１の点ｐ_１のｚ座標が０になるように回転行列Ｒ_１によって回転される。同様に、第２の座標Ｃ_２は、第２の点ｐ_２のｚ座標が０になるように回転行列Ｒ_２によって回転される。中間座標はＣ_１’及びＣ_２’である。新たな対応（ａ_１，ｂ_１）及び（ａ_２，ｂ_２）は、以下のとおりである。

中間座標系において、以下のものが得られる。

及び

回転行列Ｒ_１及びＲ_２は、点のＺ座標が０になるようにＹ軸の回りに座標を回転することと同等である。

式中、θ_１＝ｔａｎ^−１（ｐ_１ｚ／ｐ_１ｘ）であり、θ_２＝ｔａｎ^−１（ｐ_２ｚ’／ｐ_２ｘ’）である。

解
式（４）及び（５）を用いると、以下の基本行列が得られる。

座標変換後、式（１）は、ｉ＝｛１，２｝について、

となる。ｉ＝１のとき、

が得られ、その結果、

となる。式中、

であり、

であり、

である。

ｉ＝２のとき、

が得られ、式中^Ｔは、転置演算子であり、その結果、以下となる。

式中、

であり、

であり、

である。

式（１２）及び（１７）を用いると、Ｔ_ｘについて以下の関係が得られる。

及び

上記式を簡略化することによって、以下の式が得られる。

式中、

であり、

であり、

である。

正規直交性制約α^２＋β^２＝１を用いて、式（２３）における全てのβを置き換えると、以下の２次式が得られる。

上記２次式を解くことによって、αについて２つの解が得られる。αを求めた後、βを以下の式のように得ることができる。

次に、式（２１）を用いてＴ_ｘを求めることができる。（Ｔ_ｘ，α，β）について２つの解が存在し、追加の対応を用いて正しい解を求めることできることに留意されたい。最後に、以下の演算を実行して、元の座標の座標間の動き

及び

が得られ、初期姿勢ｐ_ｉ３５５のセットが得られる。

平面性仮定の感度解析
本発明者らの方法の精度に対する平面性仮定の影響を解析することにする。本発明者らの方法によれば、カメラが、実質的にＸＺ平面内で動くものと仮定される。この方法が求めることができる唯一の回転は、Ｙ軸の回りのものである。Ｘ軸又はＺ軸の回りの任意の回転を求めことはできない。並進は、スケールを除いてしか可能でないので、平面上の動きの方向に関して誤差がある。

多くの車両ナビゲーションの用途及び位置特定問題では、Ｙ軸の回りの回転誤差がより重要である。したがって、Ｙ軸の回りの回転の誤差も解析することにする。これは、全体の回転誤差よりもはるかに小さい。サイズ１００×１００のピクセルの画像を、１００の焦点距離を用いて検討した。周囲状況サイズは、寸法１００単位の３乗である。試験において０．２の標準偏差を有するガウス雑音を加えた。

全方向カメラ較正
小さな全方向（魚眼）単眼カメラが用いられる。このカメラは、車両に搭載するのが容易である。カメラを車両の前部及び後部の双方に搭載することによって幾つかのビデオシーケンスを試験した。カメラは、チェッカーボードの画像を取得することによって較正される（３２１）。この較正は、カメラから取得されたビデオシーケンスを調整するのに用いられる。画像解像度は、１９２０×１０８０ピクセルである。この較正を用いて、１０００×５００ピクセルの調整された画像を構成した。

カメラが較正され、画像が調整された後、説明した方法は、任意の全方向カメラに加えて、任意の標準的な透視カメラとともに用いることができる。画像調整によって、元の画像からのピクセルは、投影中心からの共通の画像平面上に投影される。このプロセス中、曲線等の、カメラモデルによって導入された歪も直線に補正される。

地表面予測
世界座標系についての地表面予測３２２は、前処理３２０の間に実行することができる。カメラと地表面との間の距離は、カメラの動作中、大きく変動しないものと仮定される。

既知の寸法（約１平方メートル）を有するホワイトボードが地表に設置されて、カメラ座標系における地表面パラメーターが求められる。ビデオシーケンスにおいて、このホワイトボードの４つの境界線が追跡される。これらの境界線を用いて、境界点が求められる。３点２Ｄ／３Ｄ姿勢予測方法を用いて、ビデオ画像におけるカメラに対するこのボードの姿勢が求められる。このボードの姿勢は、ＲＡＮＳＡＣの枠組みを用いて、複数の画像から求められる。地表面が予測された後、この地表面を用いて、カメラ座標系は、そのＸＺ平面が地表面に平行になるように位置合わせされる。この位置合わせは、最小２点動き予測３５０に用いられる。

特徴計算
本発明者らの点を得るために、ハリスコーナー、ＳＩＦＴ特徴、及びＫＬＴ特徴を比較した。ＫＬＴが、ＳＩＦＴ及びハリスと比較してより均等に分布した特徴を生成することが確認された。したがって、ＫＬＴ特徴を用いることが好ましい。

動き予測及び姿勢予測
本発明者らの平面的動き仮定は、比較的短い距離にも有効であることが判明した。１つの回転角度で平面上を動いているカメラの場合、エピ極は、常に水平線上にあるはずである。エピ極は、２つの画像からの点対応をつなぐ線分の交点によって求めることができる。幾つかの画像対のエピ極を求め、それらのエピ極が水平線上に常にあるとは限らないことが分かった。

したがって、２点動き予測方法を用いて初期画像のセットの動き予測値が求められる。絶対スケールは、予測された地表面を用いて固定される。

初期画像のセットの後、３点２Ｄ／３Ｄ姿勢予測を用いて、６つの全てのＤＯＦの動きパラメーターを求めた。これは、大規模な動きからの構造復元問題（ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ ｐｒｏｂｌｅｍ）に関係している。

本発明者らの２点方法によって与えられる初期カメラ姿勢３５５を用いて、点対応が三角測量され、疎な点群が生成される。この疎な点群は、初期再構成を含む。この疎な点群を用いると、後続の次の各画像の姿勢を、３点カメラ姿勢予測方法を用いて求めることができる。疎な初期点群は、新たな３Ｄ点が後続の画像において利用可能になると更新される。

５点方法は、前方への動きよりもむしろ横方向への動きに優れていることが確認された。カメラは、点のほとんどをほとんど特徴のない地表面上で観察するので、このシナリオは、５点方法には特に困難である。

高密度深度マップ再構成
図４に示すように、平面掃引手順４２０は、ビデオシーケンス内の各画像について高密度深度マップ４３０を求めるように適合される。平面掃引手順への入力４１０は、カメラ較正パラメーター３２５と、カメラからの画像３１０と、これらの画像の姿勢３５５及び３８１とを含む。平面掃引は、任意の数の画像及びそれらの画像のカメラ姿勢を入力として用いて深度マップ４３０を再構成する簡単で効率的な方法を提供する。この手順は、グラフィックスプロセッサユニット（ＧＰＵ）の実施に適しており、車載カメラからの高密度３Ｄ再構成に用いることができる。

本発明者らの実施態様では、現在の画像の座標系において深度ｄ_ｉ（ｉ＝１，．．．，Ｄ）を有する前頭平行面のセットが定義される。各深度層ｄ_ｉについて、現在の画像及びＮ−１個の以前の画像が、ＧＰＵにおいて投影テクスチャマッピングを用いて投影され、各ピクセルｘのマッチングコストＣ（ｘ，ｄ_ｉ）が求められる。

マッチングコストとして、各ピクセルのＮ個の画像の全ての組み合わせ間の絶対強度差（ａｂｓｏｌｕｔｅ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）が求められ、最も小さな５０％の値の平均が取られる。これによって、この方法は、閉塞をハンドリングすることが可能になる。次に、各深度層におけるコストが、小さな局所ウィンドウ（１１×１１ピクセル）を用いて平滑にされる。最後に、各ピクセルの最小コストを

として求めることによって最適な深度が求められる。

発明の効果
本発明の実施の形態は、（動いている）車両に搭載された単眼カメラによって取得された単眼ビデオシーケンスからの周囲状況の相対動き予測及び高密度３Ｄ再構成のためのシステム及び方法を提供する。

平面２点相対動き予測方法のための非反復的な解決策が提供される。この方法は、動き予測とともに平面掃引方法を用いて、ほとんどの従来の画像に基づく方法が提供する疎な点群とは対照的に、周囲状況の高密度深度マップのシーケンスを求める。さらに、車両ナビゲーション装置の組み込みプロセッサ又はＧＰＵにおいて実施することができる簡単な非反復的技法が用いられる。

車載カメラからのビデオシーケンスによる深度マップ再構成は、障害物検出等の車両の安全の用途に極めて有用である。

超音波センサー、レーザースキャナー、短距離レーダー網、又はステレオカメラ等の他のセンサーと比較して、本発明者らの単一のカメラに基づく解決策ははるかに安価である。

単一のカメラは、障害物検出のための正確な（高密度）深度マップを得るのに十分である。カメラの正確な動きパラメーターを用いて、深度マップが求められる。動きに基づくステレオ解析に２つの画像しか用いないのではなく、平面掃引プロセスを用いて深度マップが再構成するのに、例えば２０個〜３０個の画像のセットが用いられる。平面掃引は、ＧＰＵにおいて実施することもでき、実時間で実行することができる。

この方法は、同一平面性制約及び正規直交性制約を条件とする単一の２次式を用いて平面２点動き予測を解く。解は、式を簡略化する座標変換手法によって得ることができる。

多くの従来技術の手法は、ニュートンラフソンの方法等の多くの時間を要する反復的技法を用いる。本発明者らの非反復的方法は、より効率的であり、極小値問題の難点がない。

２点動き予測は、視覚的に正確な車両軌道を生成するが、動きは、道路、車庫の床面、ドライブウェイ等の非平面性に起因して高密度３Ｄ再構成を実行できるほど十分精密ではない。したがって、初期画像のセットには２点動き方法が用いられ、次いで、後続の次の画像には３点２Ｄ／３Ｄ姿勢予測が用いられる。このハイブリッド手法を用いると、障害物検出の用途ための高密度深度マップを生成する平面掃引方法のための正確な動き予測値が生成される。

Claims (9)

1. 周囲状況に対するカメラの姿勢を求めるための方法であって、前記カメラは可動であり、該方法は、
   前記カメラによって前記周囲状況から取得された初期画像のセットから点対応を求めることと、
   ２点動き予測を前記点対応に適用することであって、前記カメラの初期姿勢のセットを求めることと、
   前記初期姿勢のセット及び前記点対応から点群を生成するとともに、次の各画像について、
   前記次の画像から前記点対応を求めるステップと、
   前記次の画像の前記点対応及び前記点群から前記カメラの前記姿勢を求めるステップと、
   前記姿勢及び前記次の画像の前記点対応に従って前記点群を更新するステップと、
   を実行することと、
   を含み、前記ステップはプロセッサにおいて実行される、周囲状況に対するカメラの姿勢を求めるための方法。
2. 前記点群は疎らである、請求項１に記載の方法。
3. 前記適用することは、
   前記２点動き予測の２次式を解析的に解くこと、
   を更に含む、請求項１に記載の方法。
4. 前記姿勢とともに前記画像に平面掃引手順を適用することであって、高密度深度マップを生成する、適用すること、
   を更に含む、請求項１に記載の方法。
5. 前記２点動き予測は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）の枠組みにおいて行われる、請求項３に記載の方法。
6. 前記ＲＡＮＳＡＣの枠組みにおける仮説が、少なくとも２つの点対応を用いて生成される、請求項５に記載の方法。
7. 前記カメラは、車両に搭載されている、請求項１に記載の方法。
8. 前記高密度深度マップを用いて障害物を検出すること、
   を更に含む、請求項４に記載の方法。
9. 前記２点動き予測は、前記点対応から投影光線を得ることと、
   第１のカメラ座標系における前記投影光線を第１の中間座標系に変換するとともに、第２のカメラ座標系における前記投影光線を第２の中間座標系に変換することと、
   同一平面性制約及び正規直交性制約を条件とする２次式を用いて、前記第１の中間座標系における前記投影光線と前記第２の中間座標系における前記投影光線との間の動きを求めることと、
   前記第１の中間座標系及び前記第２の中間座標系において計算された前記動きを用いて、前記第１のカメラ座標系における前記投影光線と前記第２のカメラ座標系における前記投影光線との間の動きを求めることと、
   を更に含む、請求項１に記載の方法。

Images