JP2018009999A - センサの位置を推定する方法及び関連装置 - Google Patents

Abstract

【課題】センサを備える車両の位置を推定する方法を提供する。【解決手段】センサを備える車両の位置を推定する方法は、センサからのデータを取り込んで、現時点での車両周辺の検知された場面を提供する工程と、検知された場面を処理して、検知された場面から一組の特徴点を抽出し、抽出された特徴点を使用して、以前の時刻でのセンサの位置について検知された場面から車両の位置を判断し、検知された場面から抽出された特徴点の組を、保存されたエクスペリエンスの１つまたは複数と比較する工程を有する。保存されたエクスペリエンスの各々は、複数組の特徴点を有する。特徴点の各組は、以前に検知された場面から判断され、検知された場面が適宜の保存されたエクスペリエンスの中で認識されえるか否かを確かめる。【選択図】図３

Description

本発明の実施の形態は、車両の位置を推定する方法、又は、車両に取り付けられて使用されるように構成されたセンサ、及び関連装置に関する。

自己位置推定（すなわち、位置の決定）及び地図作製アルゴリズムは成熟しているので、相当に長期のナビゲーションの問題は、より差し迫っている。ロボット（実施の形態によっては車両）ナビゲーションでの共通の問題は、変化する環境において必要とされ、生涯に亘る自律を実現するための大きな障害物である。従来の地図作製アプローチは、しばし初期地図を作成する。この地図は、大抵は、最初の訪問の際に、さらに後の訪問の際に役立つように外観が十分に近いものとなる希望の下に、（融合や平均化などの処理の結果としての）単一のモノリシックアプローチである。近年、これらの問題と戦う試みがなされている。

長期間を達成するために、自立ロボットシステムは、変化する環境において機能できるべきである。そして、これは、当該分野ではビッグチャレンジである。変化は、多くのソースからやってくる。例えば、突然の構造的な変化や、光の状態、時刻、天候、季節的な変化などである。実例を示すために、屋外で動作するロボットに装備されたカメラによる自己運動推定の問題を検討する。これは、十分深く研究された分野であり、我々は、直ちに、視覚的ナビゲーション（自己位置推定及び環境地図作製：ＳＬＡＭ）システムに手を伸ばした。この視覚ナビゲーションシステムは、瞬時に全ての地図を作って位置を推定することができる。しかしながら、場所に再訪するとき、現場が大いに変化することがあり、例えば、降雪しているかもしれない。季節が変化するとき、夏から秋は、場面の外観は、徐々に変化する。従来技術は、変化する環境内での自己位置推定を可能にする情報を含むモノリシック地図を作成することが必要であると提案する。

コノリゲ及びボウマン（[1] K. Konolige and J. Bowman, “Towards lifelong visual maps,” in IROS, 2009, pp. 1156-1163）は、視覚ベースの地図システム（[2] K. Konolige, J. Bowman, J. D. Chen, P. Mihelich, M. Calonder, V. Lepetit, and P. Fua, “View-based maps,” International Journal of Robotics Research (IJRR), vol. 29, no. 10, 2010）を作り、室内環境での変化に応用した。このシステムは、ＶＯ（ビジュアルオドメトリ）システムからキーフレームのスケルトングラフを作成する。次に、ノードで保存されたビューは、ビューの最大個数を制限しながらもビュー・ダイバーシティを保存するように設計されたスキームに基づいて、更新されたり削除されたりする。このスケルトン地図は、リファレンスのシングルフレームの中にあり、トロ（[3] G. Grisetti, C. Stachniss, S. Grzonka, and W. Burgard, “A Tree Pa- rameterization for Efficiently Computing Maximum Likelihood Maps using Gradient Descent,” Robotics Science and Systems, 2007）を介して徐々に最適化される。これらは、移動する人々を含むオフィス、備品、及び変化する光の条件に対する結果を示す。

ミルフォード及びホィッスのＲａｔＳＬＡＭシステム（[4] M. Milford and G. Wyeth, “Persistent navigation and mapping using a biologically inspired SLAM system,” The International Journal of Robotics Research, 2009）は、エクスペリエンスのコレクションを保存するエクスペリエンス地図の概念を使用する。このエクスペリエンスは、オドメトリ・ドリフトの問題と戦う他のエクスペリエンスに対するトランジション情報を保存する世界における場所である。時間に亘り、エクスペリエンス地図は、緩和されて、絶対的なエクスペリエンスロケーションと、他に対するトランジション情報との間の差異を最小にする。エクスペリエンスも、密度を下げて維持するために削除される。

バイバー及びデュケット（[5] P. Biber and T. Duckett, “Dynamic maps for long-term operation of mobile service robots,” in Proceedings of Robotics: Science and Systems, Cambridge, USA, June 2005）は、一連のタイムスケールでレーザ地図をサンプルし、ロングターム及びショートタームストラクチャの両方を有するシングル地図を作成する。これによって、これらは、ロングタームストラクチャの変化と同様に、ショートタームダイナミックオブジェクトの両方のモデル化を可能にする。これらは、ビジー・ラボ環境に対する一週間に亘る自己位置推定の精度の改善を示す。

我々は、ファーガル及びバーフットの研究（[6] P. Furgale and T. D. Barfoot, “Visual teach and repeat for long-range rover autonomy,” Journal of Field Robotics, vol. 27, no. 5, pp. 534- 560, 2010）に注目する。ファーガル及びバーフットは、野外環境でのビジョンを使用するティーチ・リピートシステムを作成した。ティーチ・フェーズの間、ロボットは、ＶＯを使用する一連のサブ地図を作成する。次に、自己位置推定モデルが使用されて、オリジナルパスを再トレースする。これらは、数キロメートルに亘る結果を示す。

しかしながら、上記技術のいずれも、センサ（又はそのセンサを運搬する車両）が環境の中を移動する時に経験する環境の変化に十分に対処していない。

本発明の第１の概念によれば、センサを備える車両の位置を推定する方法が提供される。この方法は、以下の行程の少なくとも１つを含む。
ａ）センサからのデータを取り込んで、現在時刻での車両周辺の検知された場面を提供する工程。
ｂ）検知された場面を処理する行程。この処理は、以前にセンサの位置について検知された場面から車両の位置を判断する。
ｃ）検知された場面と、保存されたエクスペリエンスの１つまたは複数と比較して、検知された場面が適宜の保存されたエクスペリエンスの中で認識されえるか否かを確かめる工程。
ｄ）検知された場面が、保存されたエクスペリエンスの中で認識される場合、保存されたエクスペリエンスは、保存された現場についての現在時刻での車両の位置の推定を作成するために使用される工程。
ｅ）前記ａからｄまでの工程の少なくともいくつかを繰り返す工程。

係る方法を提供する実施の形態は、有利であると考えられている。その理由は、実施の形態は、従来のシステムより、より確実に変化する環境の中での車両の位置推定を可能にするからである。さらに、係る実施の形態は、必要が生じた場合に、検知された場面に関するデータは保存されることが必要であることのみを意味し、係るストラテジは、プロセシングの量と共に一緒に必要とされる記憶装置の容量を減らすことにも役立つ。このプロセシングの量は、保存されたデータを処理するために必要とされる。本発明の実施の形態は、従来技術よりもより正確であり、予測されるメモリが少なく、また、高速である。

車両の位置を推定するという用語は、センサによって生成されたデータから、以前の時刻に対する車両の位置を決定することに関することを意味する。自己位置推定は、センサからデータを採用し、そのデータを、現場の以前の表現（大抵は、地図によって提供され、または、保存されたエクスペリエンスによって実施の形態の中で提供される）の存在の中で処理し、その以前の表現についての車両の姿勢（位置）のパラメータ表示を考え出す能力である。多くの場合、本発明の実施の形態の中で、以前の表現は、複数の保存されたエクスペリエンスによって提供される。

都合の良いことに、係る方法は、以下のように構成されている。すなわち、現在のシーンが、所定数を超える保存されたエクスペリエンスの中で認識されない場合、方法は、検知された場面が、将来の比較のための新しい保存されたエクスペリエンスの一部になるように、検知された場面を保存する。係る実施の形態は、自身のエクスペリエンスから学習する以上に効果的であると考えられる。車両が多くの現場を検知するので、車両が将来使うことができる保存されたエクスペリエンスの数は、増加する傾向がある。

本発明の実施の形態によって使用されるアプローチは、冬の木の特徴点は、単純であるが、夏の同じ木で注目される特徴点はそうでないことに注目する。正午の濡れた路上で見られる細部は、道路が乾いているときに夜明けに見られる細部とは異なる。本発明の実施の形態は、事物の整合をとることを強制しない。例えば、火曜日の環境が、水曜日ではかなり異なっている場合、実施の形態は、これらを、その環境の本質を等しく捉える２つの独立したエクスペリエンスとして扱う傾向がある。実施の形態は、トポロジカルにこれらを一緒に結合するのみである。後に、実施の形態によっては、保存されたエクスペリエンスを後述する場所のコンセプトを介してリンクすることがある。

車両が新しいエリアへ初めて訪問する時、本発明の実施の形態は、視覚的な特徴点の配置（多くの場合、センサから生成されたデータによって提供される）を新しいエクスペリエンスとして保存する。

しかしながら、センサ及び車両は移動するので、本発明の実施の形態は、適宜保存したエクスペリエンスの中で検知した場面の場所を推定することを試みるように構成されている。このエリアを再訪するとき、センサ及び車両は、データのライブストリーム（画像）を使用して、保存したエクスペリエンスの中での位置の推定を試みる。実施の形態によっては、方法は、保存されたエクスペリエンスが、これらのエクスペリエンスを使用する車両及びセンサによって生成されるように構成されている。

しかしながら、他の実施の形態では、保存されるエクスペリエンスは、これらのエクスペリエンスを生成した車両やセンサ以外の車両やセンサによって使用されることもある。これは、エクスペリエンスを生成した車両やセンサによって使用されることの追加になる。係る実施の形態は、複数の車両が保存されたエクスペリエンスにアクセスが可能になる、エクスペリエンスのプールになると考えられる。この方法は、データの組み立てを可能とし、複数の車両による共有を可能にするため、効果的である。

車両がこの新しいエクスペリエンスの保存を継続するので、車両は、前に保存されたエクスペリエンスにおいて再び位置を推定しようとする（すなわち、保存されたエクスペリエンスの中での検知された場面の認識）ように構成されている。再度の位置推定が、適宜のポイントで成功すれば、新しいエクスペリエンスの保存は停止される。そして、方法は、前のエクスペリエンスにおける位置の推定に戻る。

係る方法は、大抵、実施の形態が、頻繁に変化する検知された場面に対してより多くの表現を保存するように、又はより不変の検知された場面に対しては殆ど表現を保存しないようにしている。

このように、実施の形態は、新しいルートを扱い、自己位置推定の失敗をシームレスに完了する。多くの場合、自己位置推定の失敗は、新しいエクスペリエンスの保存につながる。自己位置推定の失敗は、悪い、又は溶けないデータ結合によるものと考えられている。以前存在したものが、単に、現在はそこにはないということである。

従来技術の以前のアプローチとは対照的に、実施の形態は、現在保存されているエクスペリエンスが不十分なときに、新しいエクスペリエンスを保存するのみである。かかる方法は、結果として、異なる視覚的モードを表現する保存されたエクスペリエンスの各々になり、よって、削除は懸念ではない。実施の形態によって、各エクスペリエンスは、リファレンス、すなわち自身の基準フレーム内に存在することが可能である。係る方法によって、自己位置推定は、並列処理が可能となり、適宜の時刻に複数のエクスペリエンスの使用が可能とされる。これは、また、様々な視覚的モードが、相当異なっているかもしれないが、同一の物理的空間を表現することを可能とする。

実施の形態によっては、センサからのデータは、データストリームの一部であってもよい。

一の実施の形態において、センサは、ステレオカメラの対である。このように、係る実施の形態のセンサからの出力は、画像のストリームであり、又は、対をなす画像のストリームである。

方法は、センサの出力に初期処理を実行する。このセンサの出力は、ステレオカメラによって生成される対をなす画像の間の共通の特徴点を特定する。初期処理は、車両の場所の３Ｄモデルを生成する。このように、実施の形態は、検知された場面から一組の特徴点を抽出し、センサや、センサが装備されている車両やロボットなどの位置を決定するときにこれらの抽出された特徴点を使用する。

３Ｄモデルは、リファレンスが後に作成されるエクスペリエンスを提供する。実施の形態によっては、エクスペリエンスは、複数組の特徴点によって提供され、この場合、特徴点の組の各々は、所定の検知された場面から抽出される。大抵は、実施の形態によって、センサは、車両の軌跡に対する３Ｄ特徴点（すなわち、データ内のポイント）の途切れることのないストリームを生成する。このように、軌跡は、ステレオペアが取り付けられた時間の中の様々な瞬間での一連のポイント、時間について以前のポイントに対する相対的な姿勢、及び複数の３Ｄ特徴点として、考えられている。

方法は、センサからのデータを分析して、検知された場面の中での（ポイントやノードとして参照される）３Ｄ特徴点を決定するように構成されている。さらに、第１の時刻での画像（又はセンサによって作成された検知された場面の別の表現）の中の３Ｄ特徴点を、変換を使用して、第２の、後の時刻での後の画像にリンクするように構成されている。このリンキングは、センサや車両の軌跡を提供する。

方法は、画像内のランドマークを決定するように構成されている。ランドマークは、センサからの出力の中で認識可能な構造物であり、多くは、現実世界の障害物に相当する。例えば、ランドマークは、建物の隅や樹木などに相当する。

本発明の実施の形態において、方法は、センサや車両に対するランドマークの位置を生成するように構成されている。センサがステレオカメラである実施の形態において、ランドマークの位置は、両方の画像からの情報を使用して決定される。

大抵は、当該方法は、適宜の１の検知された場面内で複数のランドマークの位置を推定する。

他の実施の形態では、センサには、レーザスキャナ、レーダ、ライダ（レーザ光による検知と測距）、３Ｄフラッシュ・ライダ、マイクロソフト（登録商標）Ｋｉｎｅｃｔ（登録商標）などが設けられても良い。

方法は、センサ（又は、センサが装備されている車両）の荒い位置決めを利用して、センサの位置を粗く判断する。特に、本発明の実施の形態は、車両の位置を特定するための、グローバル・ポジショニング・システム（ＧＰＳ）や、１つ以上のアクセレロメータ、他のオドメトリシステム等を使用する。

実施の形態は、センサ（又はセンサが装備されている車両）の位置を使用して、検知された場面がその中で認識され得るか否かを判断するために、保存されたエクスペリエンスのうちのいずれかを考慮して判断する。粗い位置決めを使用するセンサの位置は、ループ閉じ込みを使用するものと考えられている。

他の実施の形態は、粗い位置決めの使用を追加したり、又は代替とするが、画像マッチング技術を使用して、検知された場面と視覚的に類似する保存されたエクスペリエンスを判断する。係る実施の形態は、有効と感じられる。その理由は、視覚的に類似する保存されたエクスペリエンスは、検知された場面との整合を提供する良好な候補を提供するからである。

方法は、適宜の時刻に、複数の保存されたエクスペリエンスの中で、検知された場面を認識するように、並行処理されるように構成されても良い。これは、適宜の時刻にて複数のローカライザを実行させているものとして考えられる。検知されたエクスペリエンスの中での検知された場面の認識に加え、方法は、検知された場面の中に位置するノードから、保存されたエクスペリエンス内のこれらのノードまでの変換を計算する。

方法は、車両の位置が推定されたと判断する前に、検知された場面が、所定数の保存されたエクスペリエンスの中で認識され得ることを要求しても良い。係る行程を備える実施の形態は、車両の位置が実際に正しく推定されたことをかなりの確からしさで提供するものと考えられている。

方法は、保存されたエクスペリエンスが、互いに類似する場所に関係するかどうかを判断するように構成されている。保存されたエクスペリエンスが、類似する場所であるとして判断される場合、実施の形態は、係る保存されたエクスペリエンス同士をリンクする。保存されたエクスペリエンス同士をリンクして係る場所を形成する実施の形態は、有効であると考えられている。その理由は、保存されたエクスペリエンス内で検知された場面の認識を支援するために、これらの場所が使用されるからである。

保存されたエクスペリエンスは、センサからの生のデータ出力、車両の粗い位置、時刻と日付、天候、センサからの出力内で測定されたノード、車両の場所の生成された３Ｄ地図のうちのいくつかを含む。

本発明の第２の概念によれば、車両の位置を推定するように構成されたシステムが提供される。当該システムは、現在時刻での車両の周辺の検知された場面を表すデータを生成するように構成されたセンサと、データを処理するように構成された処理回路とを有する。処理回路は、以下の行程の少なくとも１つを実行するように構成されている。

前の時刻でのセンサの位置に対するデータから車両の位置を判断する行程。

データを、記憶装置に保持された１つ以上の保存されたエクスペリエンスと比較し、検知された場面が、保存されたエクスペリエンスの中で認識され得るか否かを確認する行程。

データによって、検知された場面が、保存されたエクスペリエンスの中で認識され得ることを可能にし、次に、その保存されたエクスペリエンスを使用して、車両の位置を推定する行程。

記憶装置は、ハードドライブや、ハードドライブのアレイなどの適宜の形態で設けられている。記憶装置は、分散型である。

実施の形態によっては、記憶装置の少なくとも一部は、車両に装備されている。他の実施の形態では、記憶装置の少なくとも一部は、車両から離れて設けられていても良く、車両にアクセス可能に構成されていても良い。

システムは、車両に設けられた処理回路と通信するように構成されたサーバを有する。サーバは、適宜のネットワークを介して処理回路と通信するように構成されている。そして、ネットワークは、インターネットや、３Ｇ、４Ｇ、ＷＩＦＩなどの無線通信ネットワークを含む。

処理回路は、データを、利用可能な保存されたエクスペリエンスの部分集合と比較するように構成されている。実施の形態によっては、処理回路は、リモート記憶装置から、利用可能な保存されたエクスペリエンスの部分集合を取得するように構成されている。そして、利用可能な保存されたエクスペリエンスの部分集合は、車両に設けられた記憶装置に局部的に保持されている。

本発明の第３の概念により、センサ及び処理回路が装備された車両が提供される。センサは、現時刻での車両の周囲の検知された場面を表すデータを生成するように構成される。処理回路は、データを処理するように構成される。さらに、処理回路は、以下の行程の少なくとも１つを実行するように構成されている。

以前の時刻におけるセンサの位置に対してデータから車両の位置を判断する行程。

データを１つ以上の保存されたエクスペリエンスと比較して、検知された場面が、適宜の保存されたエクスペリエンスの中で認識され得るか否かを確認する行程。

データによって、検知された場面が、適宜保存されたエクスペリエンスの中で認識され得ることを可能とし、次に、保存された現場を使用して、車両の位置を推定する行程。

本発明の第４の概念により、１つ以上の保存されたエクスペリエンスのためにネットワークからネットワークリクエストを受け取るサーバが設けられている。このサーバは、リクエストを処理して、記憶装置からリクエストされ保存されたエクスペリエンスを取り出し、リクエストされ保存されたエクスペリエンスをネットワークを介して送信する。

本発明の第５の概念により、コンピュータによって読まれたときに、このコンピュータを、本発明の第１の概念による方法として、本発明の第２の概念によるシステムの少なくとも一部として、又は、システムの第３の概念による車両の処理回路として、動作させる命令を含むコンピュータ読み取り可能な媒体が提供される。

本発明の任意の上記概念において参照されるコンピュータ読み取り可能な媒体は、ＣＤＲＯＭ、ＤＶＤ ＲＯＭ/ＲＡＭ（−Ｒ/−ＲＷ、又は＋Ｒ/＋ＲＷを含む）、ハードドライブ、メモリ（ＵＳＢドライブ、ＳＤカード、コンパクトフラッシュ（登録商標）カードなどを含む）、送信された信号（インターネットダウンロード、ｆｔｐファイル転送などを含む）、ワイヤなどを含む。

本発明の上記の適宜の概念について記載される特徴は、本発明の他の概念に適用され得るし、または、その逆も適用される。

以下の記載は、本発明の実施の形態の詳細な記載を例示するのみである。

車両の実施の形態を利用して車両の現場に対して車両の位置を推定する車両の概略図。 車両の現場が、現場の時刻や経験した天候に応じて変化する様子を説明する一連の写真。 本発明の実施の形態の方法を示す概略図。 例えば、図１の車両において使用されるような、ビジュアルオドメトリシステムからの出力を示す概略図。 現場に関するデータを更新する方法を示す概略図。 様子が変化する（ａ及びｂ）または比較的一定である（ｃ及びｄ）の現場のさらなる説明を提供する図。 図に示すトラック周辺の複数の行程から生成され且つ保存される多数のエクスペリエンスを示す図。 検知された場面が、テスト回路の周回のために、保存されたエクスペリエンスに追加された方法を示す図。 図７及び８の結果を作成するために使用される行程に対する天候の統計を示す図。 現在検知された場面が、保存されたエクスペリエンスとして保存される方法についてのデータを記録する効果を示す図。 検知された場面が、保存されたエクスペリエンスとして保存される方法についての天候の効果を示す図。 図７のトラックの周辺の第１行程の間の自己位置推定の失敗の例を示す。 図７のトラックの周辺の第２工程の間の自己位置推定の失敗の例を示す。 図７のトラックの周辺の第３工程の間に、図１に示す車両の処理回路のタイミング性能を示す図。 例示的な実施の形態の概略を説明するフローチャート。 本発明のさらなる分散実施の形態を示す図。

本発明の実施の形態を、車両１０２に装備されたセンサ１００との関連で、また、図１５に示すフローチャートとの関連で記載する。センサ１００は、その現場をモニタし、モニタリングに基づいてデータを生成するように構成され、故に、車両１５００周辺の検知された場面についてのデータを提供する。記載されている実施の形態において、センサは車両１０２に装備されているので、センサ１００も、車両の場面をモニタするように構成されている。

記載されている実施の形態において、センサ１００は、パッシブセンサ（すなわち、放射を生成せず、放射を検出するのみ）であり、特に、ステレオカメラである。センサ１００は、２つのカメラ１０４、１０６を含む。当業者であれば、係るセンサは、２つの分離したカメラによって設けられていることを理解する。

他の実施の形態において、センサ１００は、レーザスキャナなどの他の形態のセンサからなっても良い。センサ１００は、自ら放射を発して、反射された放射を検出するように構成されたアクティブセンサでもよい。

図１に示す実施の形態において、車両１０２は、道路１０８に沿って移動し、車両１０２の移動に伴い、センサ１００は、場面（例えば建物１１０や道路１０８など）を撮像する。本実施の形態において、車両１０２は、処理回路１１２を有し、センサからのデータを取り込み、次にセンサ１００によって生成されたデータ（この場合は画像）を処理するように構成されている。このように、処理回路は、センサ１００からデータを取り込む。このデータは、現在時刻にて車両の周辺から検知された場面を提供する。記載されている実施の形態において、処理回路１１２は、さらに、車載の記憶装置１１４を有し、又は、車載の記憶装置１１４にアクセスする。

図の下方部分に、代表的な処理回路１１２に見られる部品を示す。処理ユニット１１８が設けられ、処理ユニット１１８は、Ｉ５、Ｉ７プロセッサなどのインテル（登録商標）Ｘ８６プロセッサからなっていても良い。処理ユニット１１８は、システムバス１２０を介して、Ｉ／Ｏサブシステム１２２（さらに、外部ネットワークやディスプレイなど）及びメモリ１２４と通信するように構成されている。

当業者であれば、メモリ１２４は、揮発性メモリ、ハードドライブ、不揮発性メモリなどを含むさまざまな部品によって設けられていることを理解する。メモリ１２４は、処理ユニット１１８の制御の下にある複数の部品を有する。

しかし、多くの場合、メモリ１２４は、実行されたときのアクションを行うプログラムコードを保存するように構成されたプログラム記憶部１２６と、一時的にまたは永久的にデータを保存するために使用され得るデータ記憶部１２８とを備える。

他の実施の形態において、処理回路１１２の少なくとも一部は、車両から離れて設けられていても良い。センサ１００によって生成されたデータの処理は、車両１０２から離れて、または、一部は車両１０２にて、一部は車両１０２から離れて実行されても良い。実施の形態によっては、処理回路の一部が車両内に、他の一部が車両から離れて設けられ、処理回路の一部と他の一部とは、ネットワーク（３Ｇ ＵＭＴＳ（ユニバーサル・モバイル・テレコミュニケーション・システム）やＷｉＦｉ（ＩＥＥＥ ８０２．１１）等）によって接続されている。

道路に沿って移動する車両を参照するのは都合が良い。しかし、当業者であれば、本発明の実施の形態は、陸上車両に限定されず、船やボートなどの海運用船舶、飛行機などの航空車両にも適用されることを理解する。同様に、以下の記載において、カメラ１０４、１０６によって生成された画像データを参照することは便利である。しかし、本発明の他の実施の形態では、他のタイプのデータを生成しても良い。

センサ１００は、センサ１００が接続される処理回路１１２と共に、処理回路１１２で実行されるソフトウエアと共に、いわゆるビジュアルオドメトリ（ＶＯ）システムを形成する。記載されている実施の形態において、ビジュアルオドメトリ（ＶＯ）システムは、カメラ（１０４、１０６）から生成されたデータを使用する（瞬間的な）３Ｄモデルの世界を継続的に生成する。多くの場合、ＶＯシステムは、カメラペアからの各画像内の特徴点（ノードまたはポイントとして参照される）の位置を探し出す。そして、この特徴点は、両画像内で探し出される。これらの特徴点は、次の画像との間で（すなわち、第１、すなわち過去の時間と、第２、おそらく現在の時間との間で）追跡され、車両１０２の軌跡を作成する。

カメラのこの配置は、ステレオペアとして参照される。記載されている実施の形態において、車両１０２が走行しているとき、ＶＯシステムは、常にオンであり、常にカメラ（１０４、１０６）からのデータ（すなわち、画像）のライブストリームを使用し、２つのカメラ１０４、１０６から生成された画像の間の相対的変形（すなわち、カメラポーズ）を推定して軌跡を生成し、また、これらのカメラポーズに対する特徴点の位置を作成する。カメラの立体的な特性によって、特徴点の３次元の位置を、カメラに対して計算することができる。

センサ１００や車両１０２が移動すると、特徴点の位置の複数組が生成される。すなわち、一組の特徴点が、各場面から生成される。位置の複数組は、エクスペリエンスとして参照される。処理回路１１２は、エクスペリエンスに対し、以下のメタデータの少なくとも１つを保存するように構成されている。メタデータは、センサ１００から生成されたデータ（これは、本実施の形態において、２つのカメラからの画像）、特徴点（すなわち、３Ｄの特徴点の位置）、時間や日付、天候、（グローバルポジショニングシステムＧＰＳなどの）位置、輝度の測定値、トラフィックレベル、雲量、センサのタイプなどである。

故に、車両１０２が移動するので、エクスペリエンスは、相対ポーズ及び特徴点（すなわち、ノード）の位置のセットとして保存される。これは、保存される相対ポーズのセットであることに留意する。本発明の実施の形態は、一般的に、単一のグローバルフレームを使用して動作しない。本発明の実施の形態は、センサ１００近傍の３Ｄ特徴点の位置及びカメラモーションの計量的に的確なアイディアを、現在の姿勢にする。本発明の実施の形態は、センサから相当離れ且つセンサ１００によって検出できない（すなわち、この場合見ることのできない）物体の位置を判断する必要はない。ここに記載されるように、車両１０２がエリアを再び訪れるとき、自己位置推定が、このエリアに関係する以前の（保存された）エクスペリエンスの中で試行される。係る自己位置推定は、以前のセンサの位置に関係して検知された場面から、車両１０２の位置を判断しようとするものと考えられる。この場合、以前のセンサの位置は、保存されたエクスペリエンス又はその各々によって提供される。このような関係において、自己位置推定は、保存されたエクスペリエンスの少なくとも１つの中で、現在時刻でセンサ１００によって提供され、検知された場面を認識するものとして考えられる。なお、保存されたエクスペリエンスの少なくとも１つは、以前の時刻におけるセンサの位置を提供する。

車両１０２が、保存されたエクスペリエンスのセットの周辺を移動する期間において、エクスペリエンスの各々は、互いに独立である。ローカライザは、保存されたエクスペリエンスの各々と関連付けされ、その保存されたエクスペリエンス内で検知された場面を認識しようとするように構成されている。他の実施の形態において、ローカライザは、複数の保存されたエクスペリエンスを処理するように構成されても良い。

本発明の実施の形態は、保存されたエクスペリエンスを処理して、以前に保存されたエクスペリエンスの中で、車両１０２やセンサ１００の現在の位置を突き止めようとするように構成されている。すなわち、実施の形態は、車両１０２の位置を突き止める試行の中で、検知された場面を保存された場面と比較する（ステップ１５０６）。実施の形態は、コンパレータ１３４（すなわち、ローカライザ）を含むものとして考えられる。自己位置推定によって、処理回路１１２は、現在のライブ画像が、以前の（保存された）エクスペリエンスに対して首尾良く整合するかどうかを判断することができる。この自己位置推定は、処理回路１１２で実行されるローカライザ１３０によって行われ、自己位置推定は、以前に保存されたエクスペリエンスを独立に維持することによって、可能になる。

本発明の実施の形態は、検知された場面内のランドマークを決定するように構成されていてもよい。ランドマークは、大抵は、建物のコーナなどの実世界の物体に相当する。ランドマークは、検知された場面内で認識されるものであり、次に、車両に対するランドマークの位置が判断される。本実施の形態において、これは、幾何学的な計算によって実行される。その理由は、ステレオカメラペアは、２つの画像を提供し、その中で、ランドマークが発見されて、センサに対するランドマークの位置を判断する十分な情報を提供するからである。ランドマークが作成されるとき、データのパッチが保存される。記載されている実施の形態において、これは、ピクセルデータであり、一の実施の形態において、９×９グリッドの画素が保存される。実施の形態によっては、特定されたランドマークやデータのパッチが、保存されるエクスペリエンスの一部として保存される。

保存されたエクスペリエンスに対して検知された場面を整合させるために、実施の形態では、検知された場面の中で探し出されたランドマークに対して、保存されたエクスペリエンスの中で見いだされるランドマークを探しだそうとする。これは、保存された現場内のランドマークに関連するデータのパッチ（この場合は９×９グリッドの画素）の位置を、検知された場面内で見いだされたものと共に、突き止めようとすることによって達成される。記載されている実施の形態において、ローカライザは、保存されたエクスペリエンスと関連付けられ、検知された場面の中で関係している、保存されたエクスペリエンスの中のランドマークと関連するデータのパッチを探す。

実施の形態によっては、高レベルでパッチのマッチングが行われる。これは、適切な候補のパッチが、迅速にその位置が突き止められ、後に、より詳細な比較を行い、整合が実際に生じたかどうかを特定するためである。

前のエクスペリエンスでの自己位置推定は、並列に実行でき、システムは、関連する以前のエクスペリエンスを利用することが可能である。実際は、ランタイムで、一般的に、アクティブで且つ上手に位置が突き止められたエクスペリエンスの個数は、小さいことが分かっている。後述するように、大抵は、新しいエクスペリエンスの各々は、作成されるのみである。その理由は、データは、保存されたエクスペリエンスの所定数（Ｎ）よりも少なく整合されるのみであるからである（記載されている実施の形態において、これは、カメラ１０４、１０６によって生成される画像は、整合がとれず、２以上の保存されたエクスペリエンス及び自己位置推定が実行できないことを意味する）。故に、地域への次の訪問は、少数の保存されたエクスペリエンスの中でのみ位置の推定が行われるべきである。それは、これらの訪問が、視覚的に異なるコンストラクションによるからである。このように、方法が、検知された場面が十分なエクスペリエンス（すなわち、所定数以上）の中で整合できないことを判断する場合、自己位置推定は実行できず、検知された場面は、多くの場合、新しい保存されたエクスペリエンスとして保存される。この新しい保存されたエクスペリエンスは、将来の比較ステップ１５０８で使われる。

このように、本発明の実施の形態は、変化する環境の中で長期間のナビゲーション用のフレームワークを提供する。記載するように、手短には、車両１０２は、継続的に、ＶＯシステムから環境の３Ｄモデルを作成する。そして、ＶＯシステムは、センサ１００からのライブ画像ストリームを入力として取り込む。同時に、車両１０２の処理回路１１２は、日和見主義的には、以前に保存されたエクスペリエンスの中で現在の位置を特定する試みを行う。

自己位置推定が前のエクスペリエンスの中で成功する場合、実施の形態は、現在の場所の表現が十分であると仮定し、次に、保存された現場に関して現在時刻での車両の位置の推定を生成することが可能である。しかしながら、自己位置推定が前のエクスペリエンスの中で実行できない場合、新しいエクスペリエンスが、ＶＯシステムの出力を保存することによって作られる。

エクスペリエンスは、εによって示され、ｊ番目のエクスペリエンスは、^ｊεとして参照される。このように、全てのエクスペリエンスのセットは、地図を作成する。この地図は、便宜上、プラスチック地図と称される。この地図は、式（１）として与えられる。

多くの場合、本発明の実施の形態は、局所的にナビゲートして、「ループを閉じる」ことができる能力に依存する。ループの閉じ込みは、車両１０２やセンサ１００が以前に訪問した場所（以前に保存されたエクスペリエンス）に戻ったときに認識される。

局所的にナビゲートする技術は、軌跡推定システムを提供する様々な文献に示されている。特に、レーザスキャナを使用する技術は、以下に議論されている。
[7] M. Bosse and R. Zlot, “Map Matching and Data Association for Large-Scale Two-dimensional Laser Scan-based SLAM,” International Journal of Robotics Research, vol. 27, pp. 667-691, 2008.

視覚システムを使用する軌跡推定の技術は、以下の文献に示されている。
[8] D. Nister, O. Naroditsky, and J. Bergen, “Visual Odometry for Ground Vehicle Applications,” Journal of Field Robotics, vol. 23, 2006.
[9] C. Mei, G. Sibley, M. Cummins, P. Newman, and I. Reid, “Real: A system for large-scale mapping in constant-time using stereo,” International Journal of Computer Vision, pp. 1-17, 2010, special issue of BMVC.

これらの文献の内容は、リファレンスとして本明細書に取りこまれている。当業者であれば、特に、軌跡がＶＯシステムから車両のために判断される方法について、上記文献を読んで理解するものと考える。

さらに、ループ閉じ込み法は、現在のセンサデータが前のエクスペリエンスの中で経験されたかどうかを判断するために使用され、以下の視覚システムに関連して教示されている。
[10] M. Cummins and P. Newman, “Highly Scalable Appearance-Only SLAM FAB-MAP 2.0,” in Robotics Science and Systems, 2009.

また、この文献のコンテンツが、リファレンスとして本明細書に取りこまれている。当業者は、特に、ＶＯシステムからのループ閉じ込みシステムの実行について、上記文献を読んで理解するものと考える。係るシステムは、多くの場合、保存されたエクスペリエンスの中で、画像の位置を突き止めようとする（すなわち、画像マッチング技術を提供する）。この保存されたエクスペリエンスは、検知された場面のものと視覚的に類似する。ＦＡＢＭＡＰは、保存されたエクスペリエンスに関連するローカライザをトリガして、その保存されたエクスペリエンスの位置を検知された場面と共に突き止めるために使用されるループ閉じ込みとして考えられる。

当業者は、２、３メートルの精度で位置を提供することができるグローバル・ポジショニング・システム（ＧＰＳ）が利用可能であることを理解する。このように、本発明の実施の形態は、粗い位置を与えるＧＰＳシステム１１６や同様な他のシステムからの出力を使用しても良い。ＧＰＳシステム１１６の出力は、多くの場合、処理回路に接続されて、処理回路による車両１０２の粗い位置の特定を可能にする。「粗い位置」の用語は、センサ１００からのデータの処理を使用して得られるポジショニングと比較するとき、比較的不正確な意味を意味するように意図されている。

しかしながら、本発明の実施の形態は、センサ１００からの出力を使用し、以前に保存されたエクスペリエンスに対する車両１０２の移動を、ミリメートル、又は少なくとも２、３センチメートルのオーダで判断することができる。

このように、広義に記載するように、ＶＯシステムは、一連のステレオフレームＦ^ｋ＝｛Ｆ_０，....、Ｆ_ｋ｝で動作する。

時刻ｋで、ステレオフレームは、処理され、カメラノードｎ_kは、６度の自由変換ｔ_ｋ＝［ｘ，ｙ，ｚ，θ_ｒ、θ_ｐ、θ_ｑ］^Ｔによって、ノードｎ_k-1にリンクされる。なお、θ_ｒ、θ_ｐ、θ_ｑは、それぞれ、ロール、ピッチ、ヨーである。ノードｎ_k-1は、第１の時間で生じるものと考えられ、ノードｎ_ｋは、第２の、後の時間で生じるものとして考えられる。処理回路１１２は、検知された場面の中でノードを特定する（１５０２）。これらのノードは、後述するように、一連のフレームに亘って追跡され、車両の軌跡を生成する（１５０４）。実施の形態は、この機能を実行するノードロケータ１３２を有するものとして考えられている。

新しい３ＤのランドマークがＦ_ｋとして初期化されれば、これらのランドマークも、カメラノードｎ_ｋに取り付けられる。ｎ_ｋに取り付けられたｉ番目のランドマークは、時刻ｋでのカメラフレームにおけるｌ_i,k＝［ｘ、ｙ、ｚ］^T−ベクトルとして表す。なお、ｉはグローバルインデックスである（従って、各ランドマークは、固有のＩＤを有する）。カメラノードｎ_ｋも、Ｆ_ｋの中で観測される全てのランドマークのリストを含むように構成されている。多くのランドマークが、他のノードに取り付けられる。その中のいくつかが初期化される。

フレームｐにおいて記載されたランドマークは、^pπ_qによって表現される演算によってｌ＊_,pを１＊_,qに変換することによって、異なるフレームｑにリンクされる。

記載されている実施の形態において、ＶＯシステムは、カメラ１０４、１０６によって生成されたライブフレームストリーム（すなわち、データ）で連続的に動作する。新しいエクスペリエンスが作成される場合（これが生じるときについての以下の記載を参照）、新しいエクスペリエンス^jεが作成され、ＶＯシステムからの出力は、このエクスペリエンスの中に保存される。そして、^jεは、カメラノードｎ_k，インターノード変換及び関係する３Ｄ特徴点のチェーンである。エクスペリエンスにおけるノードを^jε_mと称す。後に、これらのチェーンが、トポロジカルに関係し合って具体的にプラスチック地図を作成する方法について説明する。

このように、図４は、エクスペリエンスが、ノードｎによって表現されている一連のフレームから組み立てられる方法を示す。ＶＯシステム（円によって示される）からの出力の各フレームは、ｎ_k-2からｎ_kを介してｎ_k+1まで示されている。なお、現在のフレームｎ_kを参照符号４００によって示す。ノードｎの各々は、Ｆ_k-1とＦ_kとの間のカメラの動きを記載する６度の自由変換によってリンクされている。

さらに、一連のランドマーク４０２、４０４、４０６、４０８が、現在のフレームＦ_kの中で車両１０２の位置と共に記されている。これらのランドマーク４０２、４０４、４０６、４０８の各々は、変換されて、上記式（２）を使用してｋに関係する。

上記に広義に記載するように、ローカライザが使用されて、前のエクスペリエンスの中で車両１０２の現在の位置を突き止めようとする。広義では、これは、前のエクスペリエンス（保存されたエクスペリエンスでも良い）の中で検知した場面を認識しているものと考えられる。複数のローカライザが設けられ、各ローカライザは、前のエクスペリエンス（すなわち保存されたエクスペリエンス）に対して動作する。ライブフレームＦ_kとすると、各ローカライザのタスクは、前のエクスペリエンスにおいてフレームＦ_kからノードｎへの変換を計算することである。

ローカライザは、前のフレームＦ_k-1ではなく、保存したエクスペリエンスから来る提案されたランドマークセットを除いて、ライブＶＯシステムと同様な方法で動作する。ランドマークは、エクスペリエンスの中で前の位置を取り囲む局所領域から取られる。さらに、記載されている実施の形態において、ローカライザは、現在のＶＯ出力又は前のエクスペリエンスのいずれか一方の中で、ランドマークを追加したり、または更新することはしていない。ローカライザは、両方のインパクトの観点から、完全に受け身的である。すなわち、ローカライザは、現在のＶＯ出力、又は前のエクスペリエンスのデータを変更しない。

ローカライザは、それが失われる場合に、すなわち、入力フレームＦ_kが前のエクスペリエンスにおいてもはや位置が特定されないことを知るように構成されている。これを計算する多数の方法が存在する。可能性は、インライアとして見いだされたり又は分類されるランドマークの個数と、現在のＶＯ出力との比較とを含む。各時間ステップでの各ローカライザの出力は、それが首尾良くローカライズされれば、

を示す２進数の結果である。うまくいけば、ローカライザが、Ｆ_kが最も近いエクスペリエンスの中のノードに対して問い合わせる。

ローカライザに消滅が宣言された場合、以下に記載するように、外部の支援を受け取るまでこの状態に留まる。そして、前のエクスペリエンスと共に再びループを閉じる。

Ｎを、適宜の時刻において成功したローカライザの最小許容個数と定義する（すなわち、前のエクスペリエンスの中、又はさらなる期間の中での現在の位置を判断する成功した試行。Ｎは、保存されたエクスペリエンスの所定の最小個数であり、このエクスペリエンスの中に、検知された場面は、自己位置推定が生じたと考えられる前に認識されるべきである）。各フレームＦ_kに対して、アクティブエクスペリエンスのセットＡが計算される。Ａにおける各エクスペリエンスに対し、関連するローカライザが動作し、結果は、各々の成功又は失敗を示す２進数のベクトルＳである。Ｓの絶対値が、Ｎより小さければ、新しいエクスペリエンス^jεが作成され、ＶＯ出力は、Ｓの絶対値がＮ以上に戻るまで保存される。このプロセスは、アルゴリズム１によって記載される。

検知された場面が、Ｎを超える個数の保存された場面の中で位置の推定ができれば、これらの保存されたエクスペリエンスに対する車両１０２の位置を判断することは可能である（ステップ１５１２）。

このアルゴリズムは、図３を参照して説明できる。そして、この図３の上方領域に、別々の「エポック」が示されている。各エポックは、３つの別々の時刻でのＶＯシステムの出力からのフレームのセットＦ_kを示す。本実施の形態において、成功したローカライザの最小個数（Ｎ）は、２に設定されている。

図の左側に位置する第１のエポックＡに対し、フレームの各々は、Ｆ_k-2からＦ_kを介してＦ_k+3までラベルが付されている。なお、他のエポック（Ｂ及びＣ）の各々も同様にラベルを付すことができるが省略する。

エポックＡからＣのフレームの各々の下に、３つの表現がある。上部の円の列は、ＶＯシステムからの現在の出力を表し、第２の、中間の円の列は、エクスペリエンス１において保存されたデータを表し、第３の、下方の円の列は、エクスペリエンス２において保存されたデータを表す。

エポックＡにおいて、センサによって作成された画像は、２つの異なるトレンドのデータの組み合わせであり、これは、ブラック・グレイ３００及び水平の実線３０２からなると考えられている。エクスペリエンス１を見ると、データの中に「水平」の実線のトレンドがあることが分かり、ローカライザは、エクスペリエンス１で現在のイメージの位置を推定できる。エクスペリエンス２を見ると、データの中に「ブラック・グレイ」トレンドがあることが分かり、ローカライザは、現在のイメージの位置をエクスペリエンス２で推定できる。Ｎ＝２であることに留意すると、新しいエクスペリエンスを作成する必要がない。その理由は、我々は、既に最小個数で位置を特定し、ＶＯ出力を簡単に忘れることができるからである。

エポックＢに移ると、センサによって作られたイメージは、２つの異なるトレンドのデータの組み合わせであり、ブラック・グレイ３００及び水平の点線３０４からなると考えられている。エクスペリエンス１を見ると、水平の実線３０２のトレンドは、現在の像の中で位置の推定ができない。しかしながら、エクスペリエンス２を見ると、現在のデータの中にブラック・グレイトレンドがあり、ローカライザは、エクスペリエンス２の中で現在のデータの位置を推定することができる。しかしながら、Ｎは２にセットされ、単一の自己位置推定のみが生じているため、ＶＯシステムの出力は、新しいエクスペリエンス３０６として保存される。

エポックＣに移ると、現在のイメージの中のトレンドは、ブラック・グレイ及び水平の実線に戻り、エクスペリエンス１及び２の両方において位置が推定される。ＶＯシステムからの出力は、再び忘れられる。

当業者であれば、Ｎを超える自己位置推定が発生したとしても、そうしないことが効果的であるとの傾向があることから、実施の形態は、ＶＯ出力を保存しても良いことを理解する。不必要なデータの保存は、データのより多量の蓄積と、システムの性能の低下の可能性につながる。

そのためのプラスチック地図（式（１）によって特定される）は、結合していない空間領域をカバーする多数のエクスペリエンスを、同一の領域の異なる外観を捉えることに加え、保存する。従って、エクスペリエンスは、全ての時刻において、全て関係するわけではない。すなわち、ＶＯシステムは、異なる空間領域や異なる視覚的外観から情報を出力しても良い。環境における車両の空間的位置は、全てのエクスペリエンスによって捕捉されるわけではない。故に、どのエクスペリエンスがＦ_kに対して適用可能であるかを計算することが必要とされる。エクスペリエンスは、リファレンスの単一フレームの中に保存されない。故に、ローカル変換を積分して１つから他のものへの位置を推定することは可能ではない。

１のフレームから他のフレームへの位置を推定できないことを克服するために、出願人は、場所の概念を導入した。これらの場所は、エクスペリエンスの間のトポロジカルなリンクを作成する。場所はＰとして、ｚ番目の場所はＰ^Zとして参照される。

Ｐ^Z＝｛^jε_m｝は、（様々なエクスペリエンスから取りこまれた）全ノードのセットである。そして、このノードは、同時に位置の推定がされるものとして周知である。このように、Ｐ^Zは、同一の物理的場所を見るカメラフレームのセットである。

Ｆ_kが、複数のエクスペリエンスの中で同時に位置の推定がされるとき、我々は場所を作ることができる。直近のノードに対してサクセスフルなローカライザの各々を問い合わせることによって、設定された｛^jε_m｝_kで場所を作ることができる。しかしながら、前に作成された場所がこれらのノードのうちのいくつかを含むことも可能である。これらのノードの中で、我々は、Ｆ_kから作成されたセットと前の場所とを結合する。

なお、右辺のＰ^Zは、Ｆ_kから作成されたノードが前の場所にあるかどうかに依存する、潜在的に空のセットである。場所の作成及び結合の簡単な例を、図５に示すとともに図３を参照して説明する。

最初に図３を参照すると、事実上、図面の中で参照される３つのエクスペリエンスがあることが分かる。水平の実線で示されるエクスペリエンス、ブラック・グレイで示されるエクスペリエンス、水平の点線で示されるエクスペリエンスである。図５もまた、３つのエクスペリエンスを示す。エクスペリエンス１、２、３は、それぞれ、ブラック、グレイ、ホワイトの円によって示されている。

図５は、前のフレームＦ_previousを示し、エクスペリエンス１及びエクスペリエンス２の両方においてそのフレームをローカライズし、次に、場所Ａを作成することが可能である。しかしながら、現在のフレームＦ_kにおいて、エクスペリエンス２及びエクスペリエンス３の中でローカライズして場所Ｂを作成することが可能である。従って、場所Ａ及びＢが、（両方にエクスペリエンス２を含むことにより）実際に同一の場所を参照していると結論することができる。場所Ａ及びＢは、結合されて場所Ｃを作成することができる。

このように、再び図３を参照すると、３つのエクスペリエンスの全てがここでは参照され（エクスペリエンス１；エクスペリエンス２、及びエポックＢにおいてＶＯから保存されたエクスペリエンス）、全てが実際に同一の場所を参照する。その理由は、エクスペリエンス２が、３つの全てのエポックＡからＣに共通するからである。

このように、図３に関係して議論されるように、場所は、エクスペリエンスをリンクするために使用することができる。我々は、エクスペリエンスノードのセットと共に全ての場所について問合せる能力を使用し、これらのノードを含む場所のセットを受け取る。この問合せは、Ωを介して定義される。

１）関連したエクスペリエンスの計算：上述の如く、保存されたエクスペリエンスは、車両の現在の位置を必ずしもカバーするとは限らないので、保存されたエクスペリエンスの全てが、Ｆ_kに対して関連しているわけではない。故に、実施の形態によって、ローカライザは、２つの状態、アクティブと、不活性とを取り得る。Ｆ_kを処理する前に、前のフレームからの成功したローカライザの位置のセット｛^jε_m｝_k-1が使用されて、関係する場所のセットを生成する。

次に、各不活性ローカライザは、自身が有するノードの存在のために、｛Ｐ^Z｝_relatedを問い合わせる。何らかが存在する場合、ローカライザは、回復した位置で自身をアクティブにする。車両１０２がエクスペリエンスの範囲を超えて移動する（すなわち、ローカライザが図３について記載されるように道に迷う）時、関連するローカライザは、自身を不活性にセットする。

２）道に迷ったローカライザの再初期化：ローカライザは、もはや現在のフレームＦ_kを追跡できなくなったので、道に迷う。しかしながら、これは、一時的な状態であり、ローカライザは、エクスペリエンスの中で、自身を再びローカライズすることが可能である。ローカライザ・エクスペリエンスは、ローカライザが最初に迷った後の短時間のうちに、再び関連性のある状態になる。故に、実施の形態の試行は、道に迷ったローカライザを再び初期化する。道に迷ったローカライザの再初期化の失敗は、データのために増やした記憶装置の条件と、余分なデータのために低下した処理性能の関係した問題に必要とされる以上により多くのエクスペリエンスを保存するシステムにつながる。

本発明の実施の形態は、１つのエクスペリエンスの中での周知のロケーションを前提として、位置は、場所を介して他のエクスペリエンスに対して周知である。故に、実施の形態によっては、再初期化できるか否かを判断するために、迷子になったローカライザは、周期的に｛Ｐ^Z｝_relatedを問い合わせるように構成されている。

ときどき、自己位置推定プロセスの全てが、迷子になる。そのポイントで、システムは、それがプラスチック地図の中にある場所を知らない。これは、現在のロケーションがかなり変化したか（例えば、降雪）、又は、車両１０２が新しいルートを探検しているためである。理由の如何に関わらず、ＶＯシステムは、ライブフレーム（データ）ストリームの処理を継続し、エポックＢについて図２について記載されるような新しいエクスペリエンスに対し出力を保存する。しかしながら、車両１０２が、その後、場所に戻ることは可能であり、プラスチック地図においてその場所をローカライズして再取得することができる。すなわち、車両１０２は、Ｎよりも大きな個数のエクスペリエンスの中で今一度ローカライズできる。この問題の解決のために、この問題は、繰り返される周回に対して次第に頻繁ではなくなるべきであり、我々は、迷ったローカライザを再初期化できる外部ループ閉じ込みを使用する。

外部のループ閉じ込みは、新しい回路から以前に調査された回路を再結合する車両についての議論で以下に議論する図７に関してハイライトされる。

しかしながら、実施の形態によっては、ＧＰＳなどのシステムは、車両１０２の粗い位置を与えるために使用される。係る実施の形態において、車両の粗い位置は、処理回路によって使用され、処理回路は、どの保存されたエクスペリエンスが、その中での車両の自己位置推定を検討するための候補として見込めるかをハイライトする。車両１０２の粗いポジショニングが使用されて、車両１０２をローカライズするためにどの保存されたエクスペリエンスが使用されるかの特定を支援する（ステップ１５１０）。実施の形態は、ループ閉じ込み１３６を有するものとして考えられても良い。

本発明の実施の形態において、一般的に、ひとたび、関係するローカライザのセットが計算されると、各々は独立になり、並列処理できる場合がある。データの関連性（すなわち、保存されたエクスペリエンスからのランドマークの、検知された場面のステレオカメラフレームの各々へのマッチング）及び軌跡推定ステップ（すなわち、現在のフレームと前のフレームとの間の車両の姿勢の変化の判断）が計算時間よりも優位に立つと仮定する場合、これらを並列処理することによって、実施の形態は、現在は、１５Ｈｚでフレームを処理することができる。当業者は、さらなる処理パワーが追加され、データが処理される頻度が増加することを理解する。

当業者は、センサデータのストリームから軌跡を処理して生成できるシステムの実行方法を理解していると考えるが、以下の文献をリファレンスとして提供する。これらの文献は、リファレンスとして取りこまれ、当業者は、これらの文献の関係する部分を読むものとする。

ロバストなデータ関連性を得るために、本発明の実施の形態は、バイナリ・ロバスト・インデペンデント・エレメンタリ・フィーチャーズ（ＢＲＩＥＦ）記述子を使用しても良い。
[11] M. Calonder, V. Lepetit, C. Strecha, and P. Fua, “BRIEF: Binary Robust Independent Elementary Features,” in European Conference on Computer Vision, September 2010.

ＢＲＩＥＦ記述子の特徴点は、高速で、処理回路１１２のＣＰＵを使用するのみで、計算し、且つ整合を行い、ＳＵＲＦ[１２]へ相当する性能を提供することができる。
[12] H. Bay, A. Ess, T. Tuytelaars, and L. V. Goo, “Surf: Speeded up robust features,” Computer Vision and Image Understanding (CVIU), vol. 110, pp. 346-359, 2008.

本発明の実施の形態は、ＧＰＵ（グラフィックスプロセッサ）を使用してもよく、ＳＵＲＦ等の記述子の実行が、利用可能であり、フレームレート性能を可能にする。
[13] N. Cornelis and L. V. Gool, “Fast Scale Invariant Feature Detection and Matching on Programmable Graphics Hardware,” in Computer Vision and Pattern Recognition, 2008.

しかしながら、各ローカライザにおけるマッチング行程及びライブＶＯシステムは、ＧＰＵへのアクセスを要求する（入力フレーム上の特徴点の抽出は、独立であり、スタート時に１回実行され得る）。大抵のシステムは、せいぜい１つのＧＰＵを有するのみなので、ＧＰＵを使用する要求は、マルチコア又はマルチプロセスシステムでＣＰＵオンリープログラムが実行される場合に比較して、並列処理を困難にする。実施の形態は、ＣＰＵベースの方法を使用する傾向がある。

実施の形態は、ＢＲＩＥＦ用の対象のポイントを計算するＦＡＳＴコーナーエクストラクタを使用してもよい。
[14] E. Rosten, G. Reitmayr, and T. Drummond, “Real-time video annotations for augmented reality,” in Advances in Visual Computing. LNCS 3840, December 2005, pp. 294-302.

実施の形態によっては、整合したランドマークが、Ｍｅｉによって記載される、有効２次マッチングを使用するサブピクセル精度に改善される。
[15] C. Mei, S. Benhimane, E. Malis, and P. Rives, “Efficient homography- based tracking and 3-d reconstruction for single-viewpoint sensors,” IEEE Transactions on Robotics, vol. 24, no. 6, pp. 1352-1364, Dec. 2008.

データは、ベグブローク・サイエンス・パーク周辺の２つのセミ・オーバラッピング０．７ｋｍルートの５３の周回から集められた。データは、グループ調査車両、ワイルドキャットを使用して、様々な日時や異なる天候で３ヶ月の期間に亘り集めた。

図７は、車両１０２などの車両によって運転された２つのルートに沿った敷地のオーバーヘッドを示す。外側のループ７００は、極太線によって示され、最初の４７の周回（traverse）で運転された。一方、最後の６の周回は、内側のループ７０２を介して進行し、薄線によって示されている。プロットの濃度は、どれだけ多くのエクスペリエンスが、各ポイントに存在するかを示し、スケールを図の右に示す。図示する目的で、我々は、外部のループ閉じ込みからの信号を制御した。よって、各ループで１４の所定ポイントでのみ行われた。このポイントは、各ループに沿って略均等に配置される。ローカライザは、迷子になったが、これらの１４の所定ポイントで再ローカライズされ得る。当業者は、他の実施の形態が、これとは異なる方法で、おそらくランダムに、実質的に継続して、又は所定の時間間隔などで実行されることを理解する。

ルートの領域によっては、他の領域よりも多くのエクスペリエンスを必要とする。図６に、低視覚変化及び高視覚変化の両方を呈する場所の例を示す。高視覚変化を有する場所の例は、図６（ａ）に示す駐車場である。この空間のコンテンツ及び構成は、日ごとに変化し、故に、以前に保存されたエクスペリエンスは、役立つ見込みはない。もう１つは、図６（ｂ）に示すように、樹木が張り出すことによってカバーされている道の部分である。太陽光線によって、強力且つ複雑な陰影効果が生じている。ライブＶＯシステムがランドマークを提供することは有効ではあるが、ロケートされたランドマークは、前のエクスペリエンスが役に立たないことの意味に対して対抗できない。高度の視覚変化を有する画像は、いつもライブＶＯシステムの使用と相対する。

対照的に、図６（ｃ）及び６（ｄ）は、範囲が開放的な道路を示す。道は、同じような天候の条件の中で、一定の外観を呈している。

図８は、捕捉された時間と共に、各周回のうちどの程度が保存されたかを示す。ここに、訪問回数は、データが収集された順番にある。図の左側に、プラスチック地図が相対的に広範囲であり、多数のエクスペリエンスが保存されないときに、多くのＶＯ出力が保存される。周回の数が増加するにつれて、保存されるＶＯ出力の量は、減少する。車両１０２が、前のエクスペリエンスの中でそれ自身の位置を推定できるからである（図３に関して議論したように、Ｎよりも大きなエクスペリエンスにおいて自己位置推定が生じたときに、新たなＶＯ出力はもはや保存されない）。

周回３５−３８のあたりで大きなジャンプが発生する。その理由は、夕暮れになったので、最初の時刻データが集められたからである。道も、水たまりがあり、また、若干雨が降っていて、システムが以前に遭遇していないからである。図１３は、周回３８でセンサによって生成された画像を提供する。画像（ｂ）及び（ｄ）は、周回３８で生成されるが、画像（ａ）及び（ｃ）は、以前の周回で作成され、保存されたエクスペリエンスと関係している。このように、周回３８で生成された画像は、以前の周回のものとは異なる。

訪問４７での第２のスパイクは、初めて内側ループ７０２を運転することによって生じる。突然、自己位置推定は成功せず、ループ閉じ込みが行われるまで、全セクションが保存される。インナーループ７０２がアウターループ７０４と再び結合し、そして、ローカライザが、保存されたエクスペリエンスの中で再び位置を推定することができるとき、又はその後まもなく、ループ閉じ込みは、車両１０２の位置を再び推定することができる。

図８に詳細を記載する。グラフは、将来の使用のために保存されるＶＯ出力の一部（左側の軸を参照）を示す。また、結果は、Ｎ（車両１０２が迷子になっていないと判断するために必要とされる自己位置推定の最小個数）を変えたことの効果をハイライトする。結果は、グラフの各ラインに対して使用されるシンボルを変更することによって、ローカライザの最小個数Ｎ＝１，Ｎ＝２、Ｎ＝３を示す。

各周回に対して、我々は、他の訪問が単一の利用可能なエクスペリエンスとして使用され、且つ結果を平均する毎に、保存されたＶＯ出力の一部を計算した。これを、単一の前のエクスペリエンスによる平均（ＡｗＳＰＥ）と称す。また、これを、三角マークを有する点線によって示す。

図１２は、周回４での自己位置推定の失敗の例を示す。強力な影の影響に、初めて遭遇し、画像（ａ）及び（ｃ）は、以前の周回から生成されてエクスペリエンスとして保存され、一方、画像（ｂ）及び（ｄ）は、周回４で生成される。

このように、図１２及び１３について分かるように、環境内で大きな変化を生じる状況が生じた場合（夕暮れ時や異なるルートでのドライブ）、車両１０２は、ルートを再訪するので、大抵は、各周回のＶＯ出力を殆ど記憶する必要がないことが分かる。

多数のエクスペリエンスを保存して、上記の本発明の実施の形態に関係して記載するように、プラスチック地図を作り上げる効果を評価するために、１回の前回の訪問の中で現在のＶＯデータの位置を推定しようとする実験が行われたが、変化する環境を把握する試みは行わない。これらの実験に対し、保存されたエクスペリエンスのみが、選択された例の訪問であるとして制限され、ルートの周回の各々において、保存が必要とされるＶＯ出力の量は、各ケースにおいて判断され、自己位置推定の失敗を示し、そして、結果は平均化される。このように、第１のパスとして、周回番号１は、選択された例であるとして採用され、周回番号２〜５３に対して保存されたエクスペリエンスのみとして使用される。第２のパスにおいて、周回番号２は、選択された例として採用され、周回番号１及び３〜５３に対して保存されたエクスペリエンスのみとして使用される。このパターンは、周回の各々が、選択された例として使用されるまで繰り返される。

これらが、図８に示され、単一の前のエクスペリエンスを有する平均（ＡｗＳＰＥ）として参照される。全ての訪問に亘り、保存される平均ＶＯ出力は、６８．５％であり、他の訪問用に対し、特別に「良好」な訪問はない。これは、環境を表す複数のエクスペリエンスの使用を動機付ける。時間に亘り、新しいルートを明らかにし、上述のようにプラスチック地図を生成する実施の形態は、「１／（周回のカウント数）」減衰を生成する。これは、システムがルートの典型的な変動を捉えるからである。

データが収集される順番は、優先シーケンスである。しかしながら、様々な性能のグラフを作成するためには、５３！の方法で順番付けされてもよい。ポイントを作製するために、アウタールートの１０個の最も驚くべき周回と、開始時に対する６個のインナー周回とがシステムを再実行する貪欲な並べ替えが行われた。結果としての性能のグラフを図１０に示す。最も「興味深く」且つ「意外な」周回は、プラスチック地図作成の開始時に移動される。かなり低下するまえの周回１８まで、（大いに変化する周回が発生しているが）エクスペリエンスの蓄積はハイに留まることに留意する。

各周回を、曇天又は晴天のいずれかとして分類することも可能である（各訪問時の天候を図９に示す）。さらなる実験において、データは、曇天又は晴天のエクスペリエンスのみを使用して再処理され、その結果を図１１に示す（４つの夕暮れ時及び６つのインナーループ周回を除外）。興味深いことに、曇天のみの周回（図１１の上方のグラフ）では、システムは、十分なエクスペリエンスを素早く蓄積して、曇りの状態を管理する。一方、晴天の周回（図１１の下方のグラフ）は、若干オフセットされたバイアスを有する。若干オフセットされたバイアスは、前のエクスペリエンスにおける自己位置推定を困難にする効果を遮ることによって生じるものと考えられる。このような影は、図６（ｂ）に見ることができる。

最後に、テスト車両で実行するシステムの性能を図１４に示す。周回４７の各フレームに対して成功したローカライザ及びタイミング性能の個数を示す。周回４７は、インナーループの最初の周回である。自己位置推定は、フレーム１２９６で成功する。このフレーム１２９６のポイントで、車両はインナーループへと入る。このポイントで、新しいエクスペリエンスが始まる。保存された関係するエクスペリエンスが無いため、自己位置推定はない。フレーム２２３９で、外部ループ閉じ込めが起動し、結果として、自己位置推定は成功し、新しいエクスペリエンスの保存は停止する。アクティブローカライザの個数の変化に拘わらず、フレーム毎のタイミングは、多くは１００ｍｓより下となる。一方、シーケンスの成功した自己位置推定部分の平均（すなわち、フレーム１２９６−２２３９を含まず）は、５３ｍｓである。

図１６は、図１のシステムと比較すると変形されたシステムの実施の形態を示す。しかしながら、理解を容易とするために、同様な部品は、同一の参照番号を付すものとする。本実施の形態において、処理回路１１２には、３Ｇ ＭＯＤＥＭ等の無線通信手段１６００が設けられている。無線通信手段１６００によって、処理回路１１２は、ネットワーク１６０２を介して、リモートサーバ１６０４との通信が可能となる。ネットワークは、適宜のネットワークでよいが、大抵はインターネットである。当業者は、サーバ１６０４は、図面においては単一のデバイスとして表されているが、実際には、多数の分離したデバイスからなり、互いに異質のデバイスでも良いことを理解する。

図１６に示すような実施の形態において、リモートサーバ１６０４は、センサ１００から作成されるデータ（又はＶＯシステムからの出力）を処理する処理負荷を部分的に共有することが考えられる。しかしながら、サーバは、車両１０２の位置を推定するために使用されるエクスペリエンスを保存しても良い。

上述したように、センサ１００からのデータ出力は、時刻、天候などにより実質的に変化する。保存されたエクスペリエンスの部分集合のみが、現在の場面での車両１０２の位置を推定するためには役立つことが考えられる。

リモートサーバ１６０４は、記憶装置１６０６において、一組のエクスペリエンスを保存するように構成されていても良い。車両１０２は、保存されたエクスペリエンスの部分集合をダウンロードするように構成されていても良い。このように、記憶装置１６０６は、車両１０２から離れた記憶装置を提供することが分かる。エクスペリエンスの部分集合は、次の、時刻、天候条件、目的とするルート、又は位置などの１つ以上を含む様々なパラメータに依存して車両１０２にダウンロードされても良い。

車両１０２は、車両１０２が作る周回の間に新しいエクスペリエンスを生成する。次に、車両１０２は、リモートサーバ１６０４にその新しいエクスペリエンスをアップロードするように構成されている。

サーバ１６０４に保持される一組のエクスペリエンスは、複数の車両によって作成されてもよい。サーバ１６０４は、エクスペリエンスを使用して車両の位置を推定することを希望する適宜の台数の車両によって使用されるエクスペリエンスの宝庫を提供しても良い。

本発明の実施の形態は、車両１０２の継続的な自己位置推定のデモを行っても良い。この自己位置推定は、所定の期間に亘り変化する明暗や天候条件の中で行われる。この所定の期間は、実験では３ヶ月であった。実施の形態は、プラスチック地図作成であるものを使用した。本実施の形態は、建物の、単一のモノリシック地図の組み立てや、作業空間の全ての観察を説明する潜在的な根本的な状態にはフォーカスせず、本実施の形態は、複数の重なり合うエクスペリエンスから構成される合成表現の作成にフォーカスする。この表現（すなわち、プラスチック地図）は、必要とされているほどに複雑で且つ豊富である。実施の形態は、多くの場合、同じ方法で、強烈的でかつ潜行性の変化を対処する。それと同じくらい素早く、前のエクスペリエンスは、現在の新しいエクスペリエンスが将来の参照用に保存されることを現在十分には記載していない。実験は、３ヶ月のデータを使用して、自己位置推定の性能（ロバストネス）の中でプラスチック地図の利点を示した。なお、この３ヶ月のデータは、既に獲得されたものであり、プラスチック地図のメンテナンスの漸近特性のデモをすることが可能である。

当業者は、上述の特徴点の多くは、ソフトウエア、ファームウエア、又はハードウエア、或いはこれらの組み合わせによって実行されることを理解する。これらの技術の組み合わせによって実行されるシステムもカバーされる。

１００ センサ
１０２ 車両
１１２ 処理回路
１６０４ サーバ
１６０２ ネットワーク

Claims (23)

1. センサを備える車両の位置を推定する方法であって、
   ａ）センサからのデータを捉えて、現在時刻での車両周辺の検知された場面を提供する工程と、
   ｂ）検知された場面を処理して、検知された場面から一組の特徴点を抽出し、抽出された特徴点を使用して、以前のセンサの位置について検知された場面から車両の位置を判断する工程と、
   ｃ）検知された場面から抽出された組の特徴点を、保存されたエクスペリエンスの１つまたは複数と比較する工程であって、保存されたエクスペリエンスの各々は、複数組の特徴点を有し、特徴点の各組は、以前に検知された場面から判断され、検知された場面が保存されたエクスペリエンスの中で認識されえるか否かを確かめる工程と、
   ｄ）検知された場面の抽出された組の特徴点が、保存されたエクスペリエンスの任意の１つの中で認識される場合、保存されたエクスペリエンスは、保存されたエクスペリエンスについての現在時刻での車両の位置の推定を作成するために使用される工程と、
   ｅ）前記ａからｄまでの工程の少なくともいくつかを繰り返す工程と
   を含むことを特徴とする方法。
2. 前記方法は、検知された場面が、保存されたエクスペリエンスの所定数を超える数の中で認識されない場合、前記方法は、検知された場面がさらなる比較のために新たに保存されたエクスペリエンスの一部となるように、検知された場面を保存するように構成されていることを特徴とする請求項１に記載の方法。
3. 前記方法が、検知された場面を新たなエクスペリエンスとして保存するので、保存されたエクスペリエンスの１つ以上の中で検知された場面の認識を継続することを特徴とする請求項２に記載の方法。
4. 保存されたエクスペリエンスは、保存されたエクスペリエンスを生成した車両・センサによって使用されることを特徴とする請求項１から３のいずれか一に記載の方法。
5. 保存されたエクスペリエンスは、保存されたエクスペリエンスを生成する車両・センサに加えて、車両及びセンサの少なくとも一方によって使用されることを特徴とする請求項１から４のいずれか一に記載の方法。
6. 抽出された特徴点を分析して、現在時刻で検知された場面の中の特徴点を、変換を使用して、第２、後の時間で検知された次の場面における特徴点とリンクさせることを特徴とする請求項１から５のいずれか一に記載の方法。
7. 検知された場面内のノードとリンクする情報を使用して、車両の軌跡を生成するように構成されていることを特徴とする請求項６に記載の方法。
8. 車両の粗い位置決めを使用して、車両の位置を粗く判断することを特徴とする請求項１から７のいずれか一に記載の方法。
9. 車両の場所を使用して、どの保存されたエクスペリエンスを考慮して、検知された場面がその中で認識されえるか否かを判断することを特徴とする請求項８に記載の方法。
10. 画像マッチング技術を使用して、検知された場面と類似していると思われる保存されたエクスペリエンスを判断し、次に、検知された場面がその中で認識されえるか否かを判断するために同様であると思われる検知された場面を使用することを特徴とする請求項１から９のいずれか一に記載の方法。
11. 車両の位置が推定されたと判断される前に、検知された場面が、所定数の保存されたエクスペリエンスの内部で認識されることを要求することを特徴とする請求項１から１０のいずれか一に記載の方法。
12. 保存されたエクスペリエンスが、お互いに類似する場所に関係しているか否かを判断し、保存されたエクスペリエンスが、実質的に同じ場所に関係すると判断されるべきであり、係る保存されたエクスペリエンスとリンクすることを特徴とする請求項１から１１のいずれか一に記載の方法。
13. 車両の位置を推定するように構成されたシステムであって、システムは、現在時刻での車両の周辺の検知された場面を表すデータを生成するように構成されたセンサと、データを処理するように構成された処理回路とを有し、前記処理回路は、
    検知された場面から特徴点の組を抽出し、以前の時刻でのセンサの位置に対するデータからの車両の位置を判断し、
    前記データを１つ以上の保存されたエクスペリエンスと比較し、
    各エクスペリエンスは、記憶装置の内部に保持された特徴点の位置の複数の組を提供して、検知された場面が、保存されたエクスペリエンスの中で認識され得るか否かを確認し、
    データが、検知された場面が保存されたエクスペリエンスの中で認識され得ることを可能にして、次に、保存されたエクスペリエンスを使用して、車両の位置を推定するように構成されていることを特徴とするシステム。
14. 記憶装置の少なくとも一部は、前記車両から離れて装備され、前記車両からアクセス可能に構成されていることを特徴とする請求項１３記載のシステム。
15. 前記車両に備えられた前記処理回路と通信するように構成されたサーバをさらに有することを特徴とする請求項１３又は１４に記載のシステム。
16. 前記処理回路は、利用可能な保存されたエクスペリエンスの部分集合に対して前記データを比較するように構成されていることを特徴とする請求項１３から１５のいずれか一に記載のシステム。
17. 前記処理回路は、リモート記憶装置から、利用可能な保存されたエクスペリエンスの部分集合を獲得するように構成され、前記利用可能な保存されたエクスペリエンスは、前記車両に備えられた記憶装置に部分的に保持されていることを特徴とする請求項１６記載のシステム。
18. センサが装着された車両であって、前記センサは、現時刻での前記車両の周囲の検知された場面を表すデータを生成するように構成され、さらに、前記データを処理するように構成された処理回路を有し、前記処理回路は、
    前記検知された場面から特徴点の組を抽出して、以前の時刻における前記センサの位置に対する前記データから前記車両の位置を判断し、
    前記データを１つ以上の保存されたエクスペリエンスと比較し、
    各エクスペリエンスは、特徴点の位置の複数の組を提供して、検知された場面が、適宜の個数の保存されたエクスペリエンスの中で認識され得るか否かを確認し、
    前記データによって、前記検知された場面が、適宜保存されたエクスペリエンスの中で認識され得ることを可能とし、次に、保存された場面を使用して、前記車両の位置を推定することを特徴とする車両。
19. １つ以上の保存されたエクスペリエンスのためにネットワークからネットワークリクエストを受け取るサーバであって、
    前記サーバは、前記リクエストを処理して、記憶装置からリクエストされ保存されたエクスペリエンスを取り出し、前記リクエストされ保存されたエクスペリエンスを前記ネットワークを介して送信することを特徴とするサーバ。
20. コンピュータによって読まれたときに、このコンピュータを、請求項１から１２のいずれか一に記載の方法として動作させる命令を含むコンピュータ読み取り可能な媒体。
21. コンピュータによって読まれたときに、このコンピュータを、請求項１３から１７のいずれか一に記載のシステムの少なくとも一部として動作させる命令を含むコンピュータ読み取り可能な媒体。
22. コンピュータによって読まれたときに、このコンピュータを、請求項１８に記載の車両として動作させる命令を含むコンピュータ読み取り可能な媒体。
23. コンピュータによって読まれたときに、このコンピュータを、請求項１９に記載のサーバとして動作させる命令を含むコンピュータ読み取り可能な媒体。
    

Images