JP2017517727A - 三次元情報の規模測定 - Google Patents

Abstract

本開示は、対応する実世界の特徴物を表していると思われる画像のうちの２個以上の画像に共通する点を特定し、各画像間の点の位置の変化を用いて、カメラの運動を推定し、３Ｄ空間の中での実世界の特徴物の位置を見出す方法に関する。三次元情報の規模を決定するために、カメラからの実際の距離が既知の基準特徴物の位置を、画像から見出す。カメラの視界部分に対応する画像の部分に含まれる候補点から選択された候補点のみを考慮に入れることにより、基準特徴物が見出される。画面中及び実世界におけるカメラと基準特徴物との間の距離から、規模が決定される。
【選択図】 図３

Description

本開示は、規模情報の生成方法に関し、特に、車載カメラで撮像した画像から規模情報を生成する方法、及び、その装置に関する。

単一のカメラが移動しながら順次撮像した二次元（２Ｄ）画像から三次元（３Ｄ）情報を取得する技術は、様々ある。そのうちの一つの技術が、トマシ及びカナデ：“正射影下での画像ストリームからの形状及び運動：因数分解方法”、テクニカルレポート、ＴＲ−９２−１２７０、コーネル大学、１９９２年３月（非特許文献１）という論文に記載されている。この技術は、基本的に、対応する実世界の特徴を表していると思われる撮像画像における点を認識することに関する。画像間の点位置の差により、カメラの運動を推定でき、また、実世界の特徴点を３Ｄ空間に三角測量することができる。この技術は、計算コストが高いが、全体として良好に機能する。しかしながら、比較対象として、少なくとも１つの実世界特徴物の大きさを知らなくては、生成される３Ｄ構造の規模を知ることは不可能である、という制約がある。

この種の技術は、車両の周囲物についての情報を取得するための車載カメラシステムの分野に応用されている。例えば、特許文献１において、空き駐車スペース検出システムについて記載されており、単一の車載カメラに撮像された画像から生成された３Ｄ構造が、隣接する車両の位置推定に使用される。特許文献１では、３Ｄ構造における基面を検出し、３Ｄ構造内の基面からのカメラの高さを推定し、その高さと、固定されているはずの実世界でのカメラの高さとを比較して、生成された３Ｄ構造と実世界との「カメラ高さ比」を算出することにより、生成された３Ｄ構造の規模を測定している。このカメラ高さ比が、３Ｄ構造の規模（縮尺比）を表している。

基面を認識するには、まず、３Ｄ構造をＸＹＺ座標系（Ｙが垂直軸）に正確に置く。次に、Ｙ軸に沿った場所の中で、認識された実世界の特徴点の密度が最も高い場所に、基面が存在すると推定する。次に、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法を適用して、基面の位置の精度を上げる。ＲＡＮＳＡＣ法では、推定された基面の近くにある、認識された実世界の特徴点の小集団を反復的に選択し、選択された小集団に含まれる特徴点を、インライア、選択された小集団に含まれない特徴点を、アウトライアとして、正確な基面位置の決定に使用される小集団を選択する。

特許文献１に記載の本技術の１つの問題は、路面等の車両が載る面が、一般的に、ほぼ均一であり、特徴がない、ということである。また、歩道や他の車両の車体等の他の水平面が、車両が載る面とは異なる高さに、画像上に存在する可能性がある。つまり、Ｙ軸に沿った場所の中で、認識された特徴点の密度が最高の場所に、基面が位置する、という推定が、間違いであることもあり、また、他の面が、車両が載る面であると間違って認識されることもある、ということを意味している。基面が間違って認識された場合、算出されたカメラ高さ比は、間違いとなり、生成された３Ｄ構造の規模も、不正確となる。特許文献１に記載の空き駐車スペース検出方法では、上記の場合、生成された３Ｄ構造内での他の物体との距離が間違ったものとなり、その結果、駐車スペースが間違って認識され、他の安全措置もなく、車両衝突が起こる可能性がある。

米国特許出願公開第２００９／０２４３８８９号明細書

"Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｎｄｅｒ ｏｒｔｈｏｇｒａｐｈｙ−−−ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ"， Ｃ． Ｔｏｍａｓｉ ａｎｄ Ｔ． Ｋａｎａｄｅ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＴＲ−９２−１２７０， Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｍａｒｃｈ １９９２

本開示は、これらの問題を解決するためになされた。

第１の態様によると、カメラから一連の画像を受信するステップと、前記画像のうちの２個以上の画像に共通する特徴を表す候補点を特定するステップと、前記画像間の前記候補点の位置の変化に基づいて、上記画像から三次元情報を導き出すステップと、前記画像における基準特徴物に関連する候補点を特定するステップと、前記カメラと前記基準特徴物との間の距離に基づいて、前記三次元情報の規模を決定するステップとを備え、基準特徴物に関連する候補点を特定する前記ステップは、前記カメラの視野部分に対応する前記画像の部分に含まれる候補点のみから選択するステップからなる、方法が提供される。

第２の態様によると、カメラから一連の画像を受信するようになされ、前記画像のうちの２個以上の画像に共通する特徴を表す候補点を特定するように動作可能で、前記画像間の前記候補点の位置の変化に基づいて、上記画像から三次元情報を導き出すように動作可能な画像ステージと、前記画像ステージと接続され、前記カメラの視野部分に対応する前記画像の部分に含まれる候補点のみから選択することにより、前記画像における基準特徴物に関連する候補点を特定するようになされ、前記カメラと前記基準特徴物との間の距離に基づいて、前記三次元情報の規模を決定するようになされた情報抽出ステージとを備える、装置が提供される。

したがって、本発明の実施形態によれば、基面の誤特定により生じるエラーが最小限に抑えられるか又は排除され、これにより、三次元情報の規模をより正確に決定することができる。

ある実施形態において、カメラの視野内で基準特徴物が存在するはずの位置を決定し、その後、基準特徴物が存在するはずの位置を含む、候補点が選択される画像部分を特定する。このような実施形態において、基準特徴物が存在しそうな領域にある候補点のみを考慮に入れることにより、基準特徴物を見つける可能性が向上する。

ある実施形態において、三次元情報の規模は、１個以上のカメラから同時に撮像した各一連の画像から同時に決定できる。決定された規模及び／又はそれに対応する規模が決定された三次元情報を比較することにより、決定された規模の因子の信頼性を示すことができる。

ある実施形態において、車両に搭載され、その車両が通った少なくとも基面の画像を撮像するように配置されたカメラからの一連の画像から、三次元情報の規模が決定される。このような実施形態では、規模因子の決定の正確性が向上する。これは、車両が既に通った面ならば、平坦で、容易に特定可能な基面を有していると想定できるため、これを基面と特定するのはより容易である傾向があるためである。
以下、本開示の一例としての実施形態を、添付図面を参照して、説明する。

本開示の一実施形態に係る、車両における車載カメラシステムを概略的に示す図 図１に示す本実施形態に係る車載カメラシステムを概略的に示す図 本開示の一実施形態に係る方法を示すフローチャート 基面が存在するはずの領域を概略的に示す図 カメラの視界部分に対応する画像の部分を示す写真 カメラの視界部分に対応する他の画像の部分を示す写真 候補点の平面図 特定された基面を示す、三次元視覚表示における、候補点を示す図 本開示の他の実施形態に係る方法を示すフローチャート 本開示の更に他の実施形態に係る方法を示すフローチャート ３個の連続した画像間の特徴点マッピングを示す概略図 特徴点マッチング方法におけるサブステップからなるフローチャート

車載カメラシステムの分野における、カメラにより撮像された画像から規模情報を生成する方法について、説明する。

図１及び図２を参照して、一実施形態に係る車載カメラシステム１は、車両５に搭載された、リアビューカメラ２と、フロントビューカメラ３と、処理部４とを備える。リアビューカメラ２は、車両５の後端に搭載されており、車両５の背後の周囲物がリアビューカメラ２の視界に入るようになっている。フロントビューカメラ３は、車両５の前端に搭載されており、車両５の前方の周囲物がフロントビューカメラ３の視界に入るようになっている。処理部４は、リアビューカメラ２とフロントビューカメラ３とに接続されており、カメラ２及び３により撮像された画像を受信するようになっている。

本実施形態において、処理部４は、画像処理ステージ６と情報抽出ステージ７とを有する。画像処理ステージ６は、詳細は後述するが、カメラから一連の画像を受信し、その画像のうちの２個以上の画像に共通する特徴を表す候補点を特定するようになされている。情報抽出ステージ７は、詳細は後述するが、画像処理ステージ６により認識された候補点を使用して、カメラで撮影された物体に関する三次元情報、及び、その三次元情報の規模に関する情報を決定するようになされている。

図３を参照して、本実施形態に係る車載カメラシステム１の処理部４の動作について、より詳細に説明する。

ステップＳ１において、画像処理ステージ６は、リアビューカメラ２及びフロントビューカメラ３のうちの少なくとも１個により撮像された一連の画像を受信する。以下、説明を分かりやすくするために、一連の画像のうちの１個のみの処理について説明する。

ある実施形態においては、リアビューカメラ２及び／又はフロントビューカメラ３は、広角レンズや魚眼レンズ等の、広視野の光学レンズを有していてもよい。これらの光学レンズは、半球すなわち２Πステラジアンの大きさの立体角にわたる画像を撮像できるが、光学的歪みにより、撮像画像の端の特徴物が撮像画像の中央の特徴物と比べて引き伸ばされたり押しつぶされたりする傾向がある、という欠点もある。このような光学レンズを有する場合、画像処理ステージ６は、レンズによって生じる光学的歪みについての情報を使って、撮像画像を補正し、画像中の特徴物の相対寸法が、レンズのその性質に依存せず、カメラ２又は３からの距離に直接依存するような補正画像を生成する。

ステップＳ２において、画像処理ステージ６は、一連の画像のうちの２個以上の画像に共通する特徴を表す候補点を特定する。候補点は、画像中において、際立った特徴を持つ画素であり、より一般的には、画像中において、際立った特徴を持つ画素の集まりである。本実施形態において、候補点として特定されるものは、周囲の画素とは異なる輝度又は色を持ち、値が各閾値より高い１個以上の画素である。このような画像中の候補点は、典型的に、例えば、建物の端や道路上の線等の、撮影された風景の中の実世界の特徴物を表している。

ステップＳ３において、情報抽出ステージ７は、認識された候補点を使って、画像間の候補点の差に基づき、一連の画像から三次元情報を導き出す。一連の画像から三次元（３Ｄ）構造を生成するのに有効な特定の技術は、当業者に既知であり、図９及び図１０を参照して後述するため、ここでは、詳細には説明しない。

ステップＳ４において、情報抽出ステージ７は、カメラの視野部分に対応する画像部分に含まれる候補点のみから、画像中の基準特徴物に関連した候補点を特定する。

基準特徴物として使用するのに好適な物体とは、一連の画像から特定可能で、その一連の画像を撮像したカメラからの距離が既知の物体である。基準特徴物は、地面からのカメラの高さが既知の場合、地面の高さの平面である基面であってもよい。例えば、カメラが車両に搭載されている場合、基準特徴物は、その車両が載る面、つまり、一般的には、道路であってもよい。他の実施形態では、基準特徴物は、カメラが車両に搭載されているならば、カメラに対する固定点であればいかなるものでもよく、例えば、基準特徴物として専用の基準点物体を設けたり、車両の一部を基準特徴物として使用したりしてもよい。

本発明の実施形態において、カメラの視野内で、その基準特徴物が存在するはずの位置を決定し、その基準特徴物が存在するはずの位置に対応する画像部分にある候補点のみを選択する。

図４は、リアビューカメラ２及びフロントビューカメラ３を有する車両５を示している。更に、図４に示す車両５には、サイドビューカメラ１０及び１１も設けられている。図４の両矢印で示すように、車両に対する各カメラの位置及び各カメラの搭載高さは、既知である。

リアビューカメラ２の後方に、基面が存在するはずの領域１２を特定してもよい。領域１２を、図５に示す囲み領域１３として、リアビューカメラ２によって撮像された画像に投影してもよい。囲み領域１３で示されるリアビューカメラ２の視界の一部に対応する、画像のその部分の座標を保存しておき、基準特徴物に関連した候補点を特定する際に、その座標を使用して、その座標部分から候補点の小集団を選択してもよい。

同様に、フロントビューカメラ３の前方に、基面が存在するはずの領域１４を特定してもよい。領域１４を、図５に示す囲み領域１５として、フロントビューカメラ３によって撮像された画像に投影してもよい。囲み領域１５で示されるフロントビューカメラ３の視界の一部に対応する、画像のその部分の座標を保存しておき、基準特徴物に関連した候補点を特定する際に、その座標を使用して、その座標部分から候補点の小集団を選択してもよい。

本発明の実施形態において、基準特徴物、この場合、基面が存在するはずの領域１２又は１４の位置は、特定のカメラに関する情報を使って、決定される。したがって、例えば、本実施形態では、領域１２又は１４の位置は、車両に搭載されたカメラの高さ、向き、又は、位置等の因子により決定されてもよい。

実施形態において、三次元構造における囲み領域１３及び１５部分に基面を挿入するのに、囲み領域１３及び１５に含まれる候補点が分析される。このステップは、図９及び図１０を参照して本発明の実施形態に関連してより詳細に後述する。

図７は、囲み領域１３及び１５部分に基面を挿入するための分析用に選択された画像の部分１７にある、濃い色で示された候補点の平面図１６である。

図８は、特定された基面１９を示す三次元視覚表示１８における、カメラ２からの画像から特定した候補点を示す図である。

図３のステップＳ５において、情報抽出ステージ７は、カメラと基準特徴物との距離に基づいて、三次元情報の規模を決定する。基面等の基準特定物の位置が特定された後に三次元情報の規模を決定する技術は、当業者に既知である。このステップは、図９及び図１０を参照して本発明の実施形態に関連してより詳細に後述する。

三次元情報の規模が決定されると、その規模をその三次元情報に適用し、規模が決定された三次元情報を生成することができる。２個以上の規模が決定された三次元情報を組み合わせてもよい。

例えば前向きカメラと後ろ向きカメラといった２個のカメラが車両に装備されている実施形態において、車両が前方に移動しているときに、後ろ向きカメラが撮像する一連の画像に、本発明の実施形態を適用してもよい。また、車両がバックしているときに、前向きカメラが撮像する一連の画像に、本発明の実施形態を適用してもよい。このように、車両が既に通った面であれば、平坦で、正確な結果をもたらすはずであるため、これが、基準特定物の検出対象とされる。

例えば前向きカメラと後ろ向きカメラといった２個のカメラが車両に装備されている実施形態において、その２個のカメラから同時に取得した一連の画像に対して、上述した方法を行ってもよい。異なるカメラの一連の画像から決定された基準基面の位置や、その基準基面の位置から算出された規模を、比較してもよい。規模、又は、その規模を使って決定された基面位置が、互いに一致する場合、その値により高い信頼性を与えるようにしてもよい。ある実施形態において、互いに異なる一連の画像から算出された基面が、互いに一致しない場合、その規模のうちの少なくとも１つは、無視される。

ある実施形態において、画像フレーム毎に規模が決定され、それ以前に決定された規模は、無視される。これは、図９に示す本実施形態に係る方法で示されている。

図９を参照して、動作を説明する。ステップＳ１０において、画像処理ステージ６は、１個の画像を読み、際立った特徴を持つ特徴点をその画像から検出する。ある実施形態において、カメラから生成された画像が画像処理ステージ６に読まれる前に、補正されてもよい。

ステップＳ１１において、画像処理ステージ６は、次の画像を読み、際立った特徴を持つ特徴点をその画像から検出する。同様に、ある実施形態において、カメラから生成された画像が画像処理ステージ６に読まれる前に、補正されてもよい。

その後、ステップＳ１２において、情報抽出ステージ７は、最初の画像で検出された特徴点と、次の画像で検出された特徴点とをマッチングさせて、最初の画像と次の画像に共通する特徴点を特定する。最初の画像と次の画像における共通の特徴点の位置を候補点として保存する。

ステップＳ１３において、情報抽出ステージ７は、その候補点位置情報からなる候補点マトリクスを生成する。

ステップＳ１４において、情報抽出ステージ７は、その候補点マトリクスから、最初の画像と次の画像との間のカメラの三次元回転及び並進に関する情報を抽出する。この時点では、その三次元情報の規模情報は未知であり、規模の復元を行う必要がある。

ステップＳ１５において、情報抽出ステージ７は、候補点の小集団を選択する。具体的には、どの候補点が、カメラの視野部分に対応する画像部分に含まれているかを特定することにより、情報抽出ステージ７は、基準特徴物（本実施形態では基面）に関連すると思われる候補点を選択する。これを行うには、まず、カメラの視野内で基準特徴物が存在するはずの位置を決定し、その後、候補点が選択される画像部分を、基準特徴物が存在するはずの位置を含むように特定する。

基面領域は、単純な考え方で見いだすことができる。ある方法では、地面からのカメラ高さｈが既知であるため、２Ｘ×Ｙ（Ｘはカメラから左又は右側までの距離、Ｙは移動方向に沿った距離）の寸法を持った地面上の方形を思い浮かべる。例えば、Ｘが１メートルで、Ｙが５メートルの方形を思い浮かべる。この方形を、カメラ画像に投影することにより、画像の中に台形の領域を設ける。そして、この領域に入る道路の特徴物（特徴物は画像間でマッチしている）は台形である、と想定する。この領域内のいかなる障害物も、それがその領域全体を占めていない限り、ＲＡＮＳＡＣアルゴリズムによって、自動的に排除されるはずである。

ステップＳ１６において、情報抽出ステージ７は、本実施形態において、ＲＡＮＳＡＣ方法を用いて、選択された候補点を、１つの面に適合させる。

ステップＳ１７において、情報抽出ステージ７は、ステップＳ１６で特定された、基面とされる面からの、カメラの高さを決定する。決定された基面からの高さと、既知である地面からのカメラの高さとを比較して、カメラ高さ比を生成する。カメラ高さ比によって、三次元情報の規模が算出される。

ステップＳ１８において、情報抽出ステージ７は、ステップＳ１７で取得した規模を用いて、ステップＳ１４で復元した最初の画像と次の画像との間のカメラの回転及び並進に関する三次元情報を調整する。

その後、ステップＳ１９において、必要に応じて、走行軌跡を出力してもよい。

図９に示すステップは、一連の画像がすべて処理されるまで、又は、カメラが搭載された車両が停止するまで、繰り返されてもよい。

他の実施形態において、三次元特徴物は、繰り返し追跡され、基面高さの調整、及び、それに伴う三次元情報の規模測定に使用される規模因子の調整が、定期的に行われる。本方法の一例を、図１０に示す。

図１０に示すステップＳ１０乃至Ｓ１８は、図９に示すものと同じステップであるため、これ以上説明しない。

ステップＳ２０において、ステップＳ１８で取得した規模測定がなされた三次元情報から、正しい規模を有する三次元構造を作成する。

その後、次の画像が同様に処理される。ステップＳ２１において、画像処理ステージ６は、次の画像を読み、際立った特徴を持つ特徴点をその画像から検出する。同様に、ある実施形態において、カメラから生成された画像が画像処理ステージ６に読まれる前に、補正されてもよい。

ステップＳ２２において、情報抽出ステージ７は、最新の画像で検出された特徴点と、３Ｄ構造において使用される特徴点とをマッチングさせる。ステップＳ２２の更なる詳細については、図１１及び図１２を参照して説明する。

図１１は、カメラで撮像された３個の連続した画像、すなわち、ｎ−２画像２０、ｎ−１画像２１、及びｎ画像２２を示す。カメラで撮影された三次元空間における点Ｐは、ｎ−２画像２０では点２３として、ｎ−１画像２１では点２４として、ｎ画像２２では点２５として示されている。ｎ画像２２の点２５とｎ−１画像２１の点２４との間で見出されたマッチ（一致）２６は、ｎ−１画像２１の点２４とｎ−２画像２０の点２３との間で成立しているマッチ２７を用いて関連付けられて、ｎ画像２２の点２５と三次元の点Ｐとの間に新たな関連２８が成立する。

図１２は、図１０に示すステップＳ２２で行われる特徴点マッチング方法のサブステップからなるフローチャートである。

図１０のステップＳ２２の最初のサブステップであるステップＳ２２２において、最新のｎ画像２２の特徴点が、一つ前のｎ−１画像２１の特徴点とマッチングされる。このステップは、特徴マッチングアルゴリズムによって行われてもよい。

その後、次のサブステップＳ２２２において、前回マッチングしたｎ−１画像２１とｎ−２画像２０の特徴点と、それに対応する３Ｄ点とが、呼び出される。

サブステップＳ２２３において、前回マッチングしたｎ−１画像２１とｎ−２画像２０の特徴点が、ｎ画像２２の特徴点と関連付けられる。例えば、これは、ｎ−１画像２１の共通の特徴点の全数検索をして、３個全ての画像２０、２１及び２２に存在する同じ特徴点Ｐによって生じる特定された一致に対応する特徴点軌跡を形成することにより、行われてもよい。

サブステップＳ２２４において、これらの軌跡と、これに関連付けられたｎ画像２２の特徴点２５が、ｎ−１画像２１とｎ−２画像２０とのマッチングによって既に見出された既知の３Ｄ点Ｐと関連付けられる。

その後、ステップＳ２３において、例えば３点絶対姿勢アルゴリズムによって、三次元構造を用いて、回転及び並進情報を算出できる。

ステップＳ２４において、成立した軌跡のないフレームｎ及びｎ−１でマッチした新たな特徴点を加えることにより、三次元構造を更新する。

ステップＳ２５において、基面が特定され、カメラ高さが再度決定される。本方法においては、これは、図９のステップＳ１５乃至Ｓ１７を参照して上述した方法を用いて行われる。

ステップＳ２６において、ステップ２１に戻って次に受信した画像を処理する前に、バンドル調整を周期的に行うことで、基面エラーを最小限に抑える。バンドル調整では、１回の最適化アルゴリズムで、全ての既成立特徴点軌跡及び三次元（３Ｄ）点を使用する。このステップは、甚大な計算コストがかかることから、例えばある実施形態では１０乃至２０フレーム毎に１回など、頻繁には行われない。

その後、ステップＳ２７において、必要に応じて、走行軌跡を出力してもよい。

図１０に示すステップＳ２１乃至Ｓ２７は、一連の画像がすべて処理されるまで、又は、カメラが搭載された車両が停止するまで、繰り返されてもよい。

その他の変形及び変更は、当業者にとって明らかとなる。そのような変形及び変更は、既知の同等及びその他の特徴も含んでもよく、それらの特徴は、本明細書に記載の特徴の代わりに、又は、それに加えて、使用されてもよい。別々の実施形態の中で説明されている特徴は、単一の実施形態において、組み合わせて設けられてもよい。逆に、単一の実施形態の中で説明されている特徴は、別々に、又は、より小さい組み合わせとして、設けられてもよい。

なお、「備える」という用語は、その他の要素又はステップを排除せず、「一つの」という用語は、複数を排除せず、単一の特徴は、請求項に記載の複数の特徴の機能を果たしてもよく、請求項における符号によって、請求の範囲が限定されない。また、図面は、必ずしも実寸とは限らず、本発明の趣旨を示すために、強調されていることもある。

Claims (16)

1. カメラから一連の画像を受信するステップと、
   前記画像のうちの２個以上の画像に共通する特徴を表す候補点を特定するステップと、
   前記画像間の前記候補点の位置の変化に基づいて、上記画像から三次元情報を導き出すステップと、
   前記画像における基準特徴物に関連する候補点を特定するステップと、
   前記カメラと前記基準特徴物との間の距離に基づいて、前記三次元情報の規模を決定するステップとを備え、
   基準特徴物に関連する候補点を特定する前記ステップは、前記カメラの視野部分に対応する前記画像の部分に含まれる候補点のみから選択するステップからなる、方法。
2. 更に、
   前記カメラの前記視野内で前記基準特徴物が存在するはずの位置を決定するステップと、
   候補点が選択される前記画像の前記部分を、前記基準特徴物が存在するはずの前記位置を含むように特定するステップとを備える、請求項１に記載の方法。
3. 前記カメラの前記視野内の前記基準特徴物が存在するはずの位置は、前記受信画像を送信した前記カメラの前記位置を参照して決定されることを特徴とする請求項２に記載の方法。
4. 候補点が選択される前記画像の前記部分を、前記画像における基面が存在するはずの位置を含むように特定するステップを備える、請求項２又は３に記載の方法。
5. 前記一連の画像は、車両に搭載されたカメラから受信され、前記基準特徴物は、前記車両が載る面であることを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 前記一連の画像は、車両に搭載されたカメラから受信され、前記基準特徴物は、前記車両の一部であることを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記一連の画像は、車両の前部から前方に向いた１番目のカメラ方向に画像を撮像するように配置された前記車両に搭載されたカメラから受信されることを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. 前記一連の画像は、車両の後部から後方に向いた１番目のカメラ方向に画像を撮像するように配置された前記車両に搭載されたカメラから受信されることを特徴とする請求項１乃至６のいずれか１項に記載の方法。
9. 更に、前記三次元情報の前記決定された規模を、前記三次元情報に適用することにより、規模が決定された三次元情報を取得するステップを備える、請求項１乃至８のいずれか１項に記載の方法。
10. 更に、少なくとも２組の規模が決定された三次元情報を組み合わせるステップを備える、請求項９に記載の方法。
11. 更に、
    前記規模が決定された三次元情報から三次元構造を作成するステップと、
    次の画像から、前記規模が決定された三次元情報を用いて、前記三次元構造を更新するステップとを備える、請求項９又は１０に記載の方法。
12. 請求項１乃至１１のいずれか１項に記載の前記方法を、第１のカメラからの前記一連の画像に適用することにより、前記第１のカメラから受信した前記画像から導き出した（第１の）三次元情報の第１の規模を決定するステップと、
    請求項１乃至１１のいずれか１項に記載の前記方法を、第２のカメラからの前記一連の画像に適用することにより、前記第２のカメラから受信した前記画像から導き出した第２の三次元情報の第２の規模を決定するステップとを備える、方法。
13. 更に、
    前記第１のカメラにより撮像された前記画像から導き出した前記第１の三次元情報の前記第１の規模と、前記第２のカメラにより実質的に同時に撮像された前記画像から導き出した前記第２の三次元情報の前記第２の規模とを比較するステップを備え、
    三次元情報の前記第１の規模と前記第２の規模とが一致しない場合、三次元情報の前記第１の規模と前記第２の規模のうちの少なくとも１つは無視される、請求項１２に記載の方法。
14. 更に、前記車両の進行方向を決定するステップを備え、
    前記車両に搭載され、前記車両が通った少なくとも前記基面の画像を撮像するように配置されたカメラからの前記一連の画像を用いて、三次元情報の前記規模が決定される、請求項１乃至１３のいずれか１項に記載の方法。
15. カメラから一連の画像を受信するようになされ、前記画像のうちの２個以上の画像に共通する特徴を表す候補点を特定するように動作可能で、前記画像間の前記候補点の位置の変化に基づいて、上記画像から三次元情報を導き出すように動作可能な画像ステージと、
    前記画像ステージと接続され、前記カメラの視野部分に対応する前記画像の部分に含まれる候補点のみから選択することにより、前記画像における基準特徴物に関連する候補点を特定するようになされ、前記カメラと前記基準特徴物との間の距離に基づいて、前記三次元情報の規模を決定するようになされた情報抽出ステージとを備える、装置。
16. 搭載された少なくとも１個のカメラと、
    前記少なくとも１個のカメラと接続され、前記カメラから一連の画像を受信するようになされた、請求項１５に記載の装置とが設けられた、車両。

Images