JP2018009999A - センサの位置を推定する方法及び関連装置 - Google Patents

センサの位置を推定する方法及び関連装置 Download PDF

Info

Publication number
JP2018009999A
JP2018009999A JP2017156512A JP2017156512A JP2018009999A JP 2018009999 A JP2018009999 A JP 2018009999A JP 2017156512 A JP2017156512 A JP 2017156512A JP 2017156512 A JP2017156512 A JP 2017156512A JP 2018009999 A JP2018009999 A JP 2018009999A
Authority
JP
Japan
Prior art keywords
vehicle
stored
experience
detected scene
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017156512A
Other languages
English (en)
Other versions
JP6738777B2 (ja
Inventor
チャーチル、ウィンストン
Churchill Winston
ニューマン、ポール、マイケル
Michael Newman Paul
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oxford University Innovation Ltd
Original Assignee
Oxford University Innovation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oxford University Innovation Ltd filed Critical Oxford University Innovation Ltd
Publication of JP2018009999A publication Critical patent/JP2018009999A/ja
Application granted granted Critical
Publication of JP6738777B2 publication Critical patent/JP6738777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/3867Geometry of map features, e.g. shape points, polygons or for simplified maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】センサを備える車両の位置を推定する方法を提供する。【解決手段】センサを備える車両の位置を推定する方法は、センサからのデータを取り込んで、現時点での車両周辺の検知された場面を提供する工程と、検知された場面を処理して、検知された場面から一組の特徴点を抽出し、抽出された特徴点を使用して、以前の時刻でのセンサの位置について検知された場面から車両の位置を判断し、検知された場面から抽出された特徴点の組を、保存されたエクスペリエンスの1つまたは複数と比較する工程を有する。保存されたエクスペリエンスの各々は、複数組の特徴点を有する。特徴点の各組は、以前に検知された場面から判断され、検知された場面が適宜の保存されたエクスペリエンスの中で認識されえるか否かを確かめる。【選択図】図3

Description

本発明の実施の形態は、車両の位置を推定する方法、又は、車両に取り付けられて使用されるように構成されたセンサ、及び関連装置に関する。
自己位置推定(すなわち、位置の決定)及び地図作製アルゴリズムは成熟しているので、相当に長期のナビゲーションの問題は、より差し迫っている。ロボット(実施の形態によっては車両)ナビゲーションでの共通の問題は、変化する環境において必要とされ、生涯に亘る自律を実現するための大きな障害物である。従来の地図作製アプローチは、しばし初期地図を作成する。この地図は、大抵は、最初の訪問の際に、さらに後の訪問の際に役立つように外観が十分に近いものとなる希望の下に、(融合や平均化などの処理の結果としての)単一のモノリシックアプローチである。近年、これらの問題と戦う試みがなされている。
長期間を達成するために、自立ロボットシステムは、変化する環境において機能できるべきである。そして、これは、当該分野ではビッグチャレンジである。変化は、多くのソースからやってくる。例えば、突然の構造的な変化や、光の状態、時刻、天候、季節的な変化などである。実例を示すために、屋外で動作するロボットに装備されたカメラによる自己運動推定の問題を検討する。これは、十分深く研究された分野であり、我々は、直ちに、視覚的ナビゲーション(自己位置推定及び環境地図作製:SLAM)システムに手を伸ばした。この視覚ナビゲーションシステムは、瞬時に全ての地図を作って位置を推定することができる。しかしながら、場所に再訪するとき、現場が大いに変化することがあり、例えば、降雪しているかもしれない。季節が変化するとき、夏から秋は、場面の外観は、徐々に変化する。従来技術は、変化する環境内での自己位置推定を可能にする情報を含むモノリシック地図を作成することが必要であると提案する。
コノリゲ及びボウマン([1] K. Konolige and J. Bowman, “Towards lifelong visual maps,” in IROS, 2009, pp. 1156-1163)は、視覚ベースの地図システム([2] K. Konolige, J. Bowman, J. D. Chen, P. Mihelich, M. Calonder, V. Lepetit, and P. Fua, “View-based maps,” International Journal of Robotics Research (IJRR), vol. 29, no. 10, 2010)を作り、室内環境での変化に応用した。このシステムは、VO(ビジュアルオドメトリ)システムからキーフレームのスケルトングラフを作成する。次に、ノードで保存されたビューは、ビューの最大個数を制限しながらもビュー・ダイバーシティを保存するように設計されたスキームに基づいて、更新されたり削除されたりする。このスケルトン地図は、リファレンスのシングルフレームの中にあり、トロ([3] G. Grisetti, C. Stachniss, S. Grzonka, and W. Burgard, “A Tree Pa- rameterization for Efficiently Computing Maximum Likelihood Maps using Gradient Descent,” Robotics Science and Systems, 2007)を介して徐々に最適化される。これらは、移動する人々を含むオフィス、備品、及び変化する光の条件に対する結果を示す。
ミルフォード及びホィッスのRatSLAMシステム([4] M. Milford and G. Wyeth, “Persistent navigation and mapping using a biologically inspired SLAM system,” The International Journal of Robotics Research, 2009)は、エクスペリエンスのコレクションを保存するエクスペリエンス地図の概念を使用する。このエクスペリエンスは、オドメトリ・ドリフトの問題と戦う他のエクスペリエンスに対するトランジション情報を保存する世界における場所である。時間に亘り、エクスペリエンス地図は、緩和されて、絶対的なエクスペリエンスロケーションと、他に対するトランジション情報との間の差異を最小にする。エクスペリエンスも、密度を下げて維持するために削除される。
バイバー及びデュケット([5] P. Biber and T. Duckett, “Dynamic maps for long-term operation of mobile service robots,” in Proceedings of Robotics: Science and Systems, Cambridge, USA, June 2005)は、一連のタイムスケールでレーザ地図をサンプルし、ロングターム及びショートタームストラクチャの両方を有するシングル地図を作成する。これによって、これらは、ロングタームストラクチャの変化と同様に、ショートタームダイナミックオブジェクトの両方のモデル化を可能にする。これらは、ビジー・ラボ環境に対する一週間に亘る自己位置推定の精度の改善を示す。
我々は、ファーガル及びバーフットの研究([6] P. Furgale and T. D. Barfoot, “Visual teach and repeat for long-range rover autonomy,” Journal of Field Robotics, vol. 27, no. 5, pp. 534- 560, 2010)に注目する。ファーガル及びバーフットは、野外環境でのビジョンを使用するティーチ・リピートシステムを作成した。ティーチ・フェーズの間、ロボットは、VOを使用する一連のサブ地図を作成する。次に、自己位置推定モデルが使用されて、オリジナルパスを再トレースする。これらは、数キロメートルに亘る結果を示す。
しかしながら、上記技術のいずれも、センサ(又はそのセンサを運搬する車両)が環境の中を移動する時に経験する環境の変化に十分に対処していない。
本発明の第1の概念によれば、センサを備える車両の位置を推定する方法が提供される。この方法は、以下の行程の少なくとも1つを含む。
a)センサからのデータを取り込んで、現在時刻での車両周辺の検知された場面を提供する工程。
b)検知された場面を処理する行程。この処理は、以前にセンサの位置について検知された場面から車両の位置を判断する。
c)検知された場面と、保存されたエクスペリエンスの1つまたは複数と比較して、検知された場面が適宜の保存されたエクスペリエンスの中で認識されえるか否かを確かめる工程。
d)検知された場面が、保存されたエクスペリエンスの中で認識される場合、保存されたエクスペリエンスは、保存された現場についての現在時刻での車両の位置の推定を作成するために使用される工程。
e)前記aからdまでの工程の少なくともいくつかを繰り返す工程。
係る方法を提供する実施の形態は、有利であると考えられている。その理由は、実施の形態は、従来のシステムより、より確実に変化する環境の中での車両の位置推定を可能にするからである。さらに、係る実施の形態は、必要が生じた場合に、検知された場面に関するデータは保存されることが必要であることのみを意味し、係るストラテジは、プロセシングの量と共に一緒に必要とされる記憶装置の容量を減らすことにも役立つ。このプロセシングの量は、保存されたデータを処理するために必要とされる。本発明の実施の形態は、従来技術よりもより正確であり、予測されるメモリが少なく、また、高速である。
車両の位置を推定するという用語は、センサによって生成されたデータから、以前の時刻に対する車両の位置を決定することに関することを意味する。自己位置推定は、センサからデータを採用し、そのデータを、現場の以前の表現(大抵は、地図によって提供され、または、保存されたエクスペリエンスによって実施の形態の中で提供される)の存在の中で処理し、その以前の表現についての車両の姿勢(位置)のパラメータ表示を考え出す能力である。多くの場合、本発明の実施の形態の中で、以前の表現は、複数の保存されたエクスペリエンスによって提供される。
都合の良いことに、係る方法は、以下のように構成されている。すなわち、現在のシーンが、所定数を超える保存されたエクスペリエンスの中で認識されない場合、方法は、検知された場面が、将来の比較のための新しい保存されたエクスペリエンスの一部になるように、検知された場面を保存する。係る実施の形態は、自身のエクスペリエンスから学習する以上に効果的であると考えられる。車両が多くの現場を検知するので、車両が将来使うことができる保存されたエクスペリエンスの数は、増加する傾向がある。
本発明の実施の形態によって使用されるアプローチは、冬の木の特徴点は、単純であるが、夏の同じ木で注目される特徴点はそうでないことに注目する。正午の濡れた路上で見られる細部は、道路が乾いているときに夜明けに見られる細部とは異なる。本発明の実施の形態は、事物の整合をとることを強制しない。例えば、火曜日の環境が、水曜日ではかなり異なっている場合、実施の形態は、これらを、その環境の本質を等しく捉える2つの独立したエクスペリエンスとして扱う傾向がある。実施の形態は、トポロジカルにこれらを一緒に結合するのみである。後に、実施の形態によっては、保存されたエクスペリエンスを後述する場所のコンセプトを介してリンクすることがある。
車両が新しいエリアへ初めて訪問する時、本発明の実施の形態は、視覚的な特徴点の配置(多くの場合、センサから生成されたデータによって提供される)を新しいエクスペリエンスとして保存する。
しかしながら、センサ及び車両は移動するので、本発明の実施の形態は、適宜保存したエクスペリエンスの中で検知した場面の場所を推定することを試みるように構成されている。このエリアを再訪するとき、センサ及び車両は、データのライブストリーム(画像)を使用して、保存したエクスペリエンスの中での位置の推定を試みる。実施の形態によっては、方法は、保存されたエクスペリエンスが、これらのエクスペリエンスを使用する車両及びセンサによって生成されるように構成されている。
しかしながら、他の実施の形態では、保存されるエクスペリエンスは、これらのエクスペリエンスを生成した車両やセンサ以外の車両やセンサによって使用されることもある。これは、エクスペリエンスを生成した車両やセンサによって使用されることの追加になる。係る実施の形態は、複数の車両が保存されたエクスペリエンスにアクセスが可能になる、エクスペリエンスのプールになると考えられる。この方法は、データの組み立てを可能とし、複数の車両による共有を可能にするため、効果的である。
車両がこの新しいエクスペリエンスの保存を継続するので、車両は、前に保存されたエクスペリエンスにおいて再び位置を推定しようとする(すなわち、保存されたエクスペリエンスの中での検知された場面の認識)ように構成されている。再度の位置推定が、適宜のポイントで成功すれば、新しいエクスペリエンスの保存は停止される。そして、方法は、前のエクスペリエンスにおける位置の推定に戻る。
係る方法は、大抵、実施の形態が、頻繁に変化する検知された場面に対してより多くの表現を保存するように、又はより不変の検知された場面に対しては殆ど表現を保存しないようにしている。
このように、実施の形態は、新しいルートを扱い、自己位置推定の失敗をシームレスに完了する。多くの場合、自己位置推定の失敗は、新しいエクスペリエンスの保存につながる。自己位置推定の失敗は、悪い、又は溶けないデータ結合によるものと考えられている。以前存在したものが、単に、現在はそこにはないということである。
従来技術の以前のアプローチとは対照的に、実施の形態は、現在保存されているエクスペリエンスが不十分なときに、新しいエクスペリエンスを保存するのみである。かかる方法は、結果として、異なる視覚的モードを表現する保存されたエクスペリエンスの各々になり、よって、削除は懸念ではない。実施の形態によって、各エクスペリエンスは、リファレンス、すなわち自身の基準フレーム内に存在することが可能である。係る方法によって、自己位置推定は、並列処理が可能となり、適宜の時刻に複数のエクスペリエンスの使用が可能とされる。これは、また、様々な視覚的モードが、相当異なっているかもしれないが、同一の物理的空間を表現することを可能とする。
実施の形態によっては、センサからのデータは、データストリームの一部であってもよい。
一の実施の形態において、センサは、ステレオカメラの対である。このように、係る実施の形態のセンサからの出力は、画像のストリームであり、又は、対をなす画像のストリームである。
方法は、センサの出力に初期処理を実行する。このセンサの出力は、ステレオカメラによって生成される対をなす画像の間の共通の特徴点を特定する。初期処理は、車両の場所の3Dモデルを生成する。このように、実施の形態は、検知された場面から一組の特徴点を抽出し、センサや、センサが装備されている車両やロボットなどの位置を決定するときにこれらの抽出された特徴点を使用する。
3Dモデルは、リファレンスが後に作成されるエクスペリエンスを提供する。実施の形態によっては、エクスペリエンスは、複数組の特徴点によって提供され、この場合、特徴点の組の各々は、所定の検知された場面から抽出される。大抵は、実施の形態によって、センサは、車両の軌跡に対する3D特徴点(すなわち、データ内のポイント)の途切れることのないストリームを生成する。このように、軌跡は、ステレオペアが取り付けられた時間の中の様々な瞬間での一連のポイント、時間について以前のポイントに対する相対的な姿勢、及び複数の3D特徴点として、考えられている。
方法は、センサからのデータを分析して、検知された場面の中での(ポイントやノードとして参照される)3D特徴点を決定するように構成されている。さらに、第1の時刻での画像(又はセンサによって作成された検知された場面の別の表現)の中の3D特徴点を、変換を使用して、第2の、後の時刻での後の画像にリンクするように構成されている。このリンキングは、センサや車両の軌跡を提供する。
方法は、画像内のランドマークを決定するように構成されている。ランドマークは、センサからの出力の中で認識可能な構造物であり、多くは、現実世界の障害物に相当する。例えば、ランドマークは、建物の隅や樹木などに相当する。
本発明の実施の形態において、方法は、センサや車両に対するランドマークの位置を生成するように構成されている。センサがステレオカメラである実施の形態において、ランドマークの位置は、両方の画像からの情報を使用して決定される。
大抵は、当該方法は、適宜の1の検知された場面内で複数のランドマークの位置を推定する。
他の実施の形態では、センサには、レーザスキャナ、レーダ、ライダ(レーザ光による検知と測距)、3Dフラッシュ・ライダ、マイクロソフト(登録商標)Kinect(登録商標)などが設けられても良い。
方法は、センサ(又は、センサが装備されている車両)の荒い位置決めを利用して、センサの位置を粗く判断する。特に、本発明の実施の形態は、車両の位置を特定するための、グローバル・ポジショニング・システム(GPS)や、1つ以上のアクセレロメータ、他のオドメトリシステム等を使用する。
実施の形態は、センサ(又はセンサが装備されている車両)の位置を使用して、検知された場面がその中で認識され得るか否かを判断するために、保存されたエクスペリエンスのうちのいずれかを考慮して判断する。粗い位置決めを使用するセンサの位置は、ループ閉じ込みを使用するものと考えられている。
他の実施の形態は、粗い位置決めの使用を追加したり、又は代替とするが、画像マッチング技術を使用して、検知された場面と視覚的に類似する保存されたエクスペリエンスを判断する。係る実施の形態は、有効と感じられる。その理由は、視覚的に類似する保存されたエクスペリエンスは、検知された場面との整合を提供する良好な候補を提供するからである。
方法は、適宜の時刻に、複数の保存されたエクスペリエンスの中で、検知された場面を認識するように、並行処理されるように構成されても良い。これは、適宜の時刻にて複数のローカライザを実行させているものとして考えられる。検知されたエクスペリエンスの中での検知された場面の認識に加え、方法は、検知された場面の中に位置するノードから、保存されたエクスペリエンス内のこれらのノードまでの変換を計算する。
方法は、車両の位置が推定されたと判断する前に、検知された場面が、所定数の保存されたエクスペリエンスの中で認識され得ることを要求しても良い。係る行程を備える実施の形態は、車両の位置が実際に正しく推定されたことをかなりの確からしさで提供するものと考えられている。
方法は、保存されたエクスペリエンスが、互いに類似する場所に関係するかどうかを判断するように構成されている。保存されたエクスペリエンスが、類似する場所であるとして判断される場合、実施の形態は、係る保存されたエクスペリエンス同士をリンクする。保存されたエクスペリエンス同士をリンクして係る場所を形成する実施の形態は、有効であると考えられている。その理由は、保存されたエクスペリエンス内で検知された場面の認識を支援するために、これらの場所が使用されるからである。
保存されたエクスペリエンスは、センサからの生のデータ出力、車両の粗い位置、時刻と日付、天候、センサからの出力内で測定されたノード、車両の場所の生成された3D地図のうちのいくつかを含む。
本発明の第2の概念によれば、車両の位置を推定するように構成されたシステムが提供される。当該システムは、現在時刻での車両の周辺の検知された場面を表すデータを生成するように構成されたセンサと、データを処理するように構成された処理回路とを有する。処理回路は、以下の行程の少なくとも1つを実行するように構成されている。
前の時刻でのセンサの位置に対するデータから車両の位置を判断する行程。
データを、記憶装置に保持された1つ以上の保存されたエクスペリエンスと比較し、検知された場面が、保存されたエクスペリエンスの中で認識され得るか否かを確認する行程。
データによって、検知された場面が、保存されたエクスペリエンスの中で認識され得ることを可能にし、次に、その保存されたエクスペリエンスを使用して、車両の位置を推定する行程。
記憶装置は、ハードドライブや、ハードドライブのアレイなどの適宜の形態で設けられている。記憶装置は、分散型である。
実施の形態によっては、記憶装置の少なくとも一部は、車両に装備されている。他の実施の形態では、記憶装置の少なくとも一部は、車両から離れて設けられていても良く、車両にアクセス可能に構成されていても良い。
システムは、車両に設けられた処理回路と通信するように構成されたサーバを有する。サーバは、適宜のネットワークを介して処理回路と通信するように構成されている。そして、ネットワークは、インターネットや、3G、4G、WIFIなどの無線通信ネットワークを含む。
処理回路は、データを、利用可能な保存されたエクスペリエンスの部分集合と比較するように構成されている。実施の形態によっては、処理回路は、リモート記憶装置から、利用可能な保存されたエクスペリエンスの部分集合を取得するように構成されている。そして、利用可能な保存されたエクスペリエンスの部分集合は、車両に設けられた記憶装置に局部的に保持されている。
本発明の第3の概念により、センサ及び処理回路が装備された車両が提供される。センサは、現時刻での車両の周囲の検知された場面を表すデータを生成するように構成される。処理回路は、データを処理するように構成される。さらに、処理回路は、以下の行程の少なくとも1つを実行するように構成されている。
以前の時刻におけるセンサの位置に対してデータから車両の位置を判断する行程。
データを1つ以上の保存されたエクスペリエンスと比較して、検知された場面が、適宜の保存されたエクスペリエンスの中で認識され得るか否かを確認する行程。
データによって、検知された場面が、適宜保存されたエクスペリエンスの中で認識され得ることを可能とし、次に、保存された現場を使用して、車両の位置を推定する行程。
本発明の第4の概念により、1つ以上の保存されたエクスペリエンスのためにネットワークからネットワークリクエストを受け取るサーバが設けられている。このサーバは、リクエストを処理して、記憶装置からリクエストされ保存されたエクスペリエンスを取り出し、リクエストされ保存されたエクスペリエンスをネットワークを介して送信する。
本発明の第5の概念により、コンピュータによって読まれたときに、このコンピュータを、本発明の第1の概念による方法として、本発明の第2の概念によるシステムの少なくとも一部として、又は、システムの第3の概念による車両の処理回路として、動作させる命令を含むコンピュータ読み取り可能な媒体が提供される。
本発明の任意の上記概念において参照されるコンピュータ読み取り可能な媒体は、CDROM、DVD ROM/RAM(−R/−RW、又は+R/+RWを含む)、ハードドライブ、メモリ(USBドライブ、SDカード、コンパクトフラッシュ(登録商標)カードなどを含む)、送信された信号(インターネットダウンロード、ftpファイル転送などを含む)、ワイヤなどを含む。
本発明の上記の適宜の概念について記載される特徴は、本発明の他の概念に適用され得るし、または、その逆も適用される。
以下の記載は、本発明の実施の形態の詳細な記載を例示するのみである。
車両の実施の形態を利用して車両の現場に対して車両の位置を推定する車両の概略図。 車両の現場が、現場の時刻や経験した天候に応じて変化する様子を説明する一連の写真。 本発明の実施の形態の方法を示す概略図。 例えば、図1の車両において使用されるような、ビジュアルオドメトリシステムからの出力を示す概略図。 現場に関するデータを更新する方法を示す概略図。 様子が変化する(a及びb)または比較的一定である(c及びd)の現場のさらなる説明を提供する図。 図に示すトラック周辺の複数の行程から生成され且つ保存される多数のエクスペリエンスを示す図。 検知された場面が、テスト回路の周回のために、保存されたエクスペリエンスに追加された方法を示す図。 図7及び8の結果を作成するために使用される行程に対する天候の統計を示す図。 現在検知された場面が、保存されたエクスペリエンスとして保存される方法についてのデータを記録する効果を示す図。 検知された場面が、保存されたエクスペリエンスとして保存される方法についての天候の効果を示す図。 図7のトラックの周辺の第1行程の間の自己位置推定の失敗の例を示す。 図7のトラックの周辺の第2工程の間の自己位置推定の失敗の例を示す。 図7のトラックの周辺の第3工程の間に、図1に示す車両の処理回路のタイミング性能を示す図。 例示的な実施の形態の概略を説明するフローチャート。 本発明のさらなる分散実施の形態を示す図。
本発明の実施の形態を、車両102に装備されたセンサ100との関連で、また、図15に示すフローチャートとの関連で記載する。センサ100は、その現場をモニタし、モニタリングに基づいてデータを生成するように構成され、故に、車両1500周辺の検知された場面についてのデータを提供する。記載されている実施の形態において、センサは車両102に装備されているので、センサ100も、車両の場面をモニタするように構成されている。
記載されている実施の形態において、センサ100は、パッシブセンサ(すなわち、放射を生成せず、放射を検出するのみ)であり、特に、ステレオカメラである。センサ100は、2つのカメラ104、106を含む。当業者であれば、係るセンサは、2つの分離したカメラによって設けられていることを理解する。
他の実施の形態において、センサ100は、レーザスキャナなどの他の形態のセンサからなっても良い。センサ100は、自ら放射を発して、反射された放射を検出するように構成されたアクティブセンサでもよい。
図1に示す実施の形態において、車両102は、道路108に沿って移動し、車両102の移動に伴い、センサ100は、場面(例えば建物110や道路108など)を撮像する。本実施の形態において、車両102は、処理回路112を有し、センサからのデータを取り込み、次にセンサ100によって生成されたデータ(この場合は画像)を処理するように構成されている。このように、処理回路は、センサ100からデータを取り込む。このデータは、現在時刻にて車両の周辺から検知された場面を提供する。記載されている実施の形態において、処理回路112は、さらに、車載の記憶装置114を有し、又は、車載の記憶装置114にアクセスする。
図の下方部分に、代表的な処理回路112に見られる部品を示す。処理ユニット118が設けられ、処理ユニット118は、I5、I7プロセッサなどのインテル(登録商標)X86プロセッサからなっていても良い。処理ユニット118は、システムバス120を介して、I/Oサブシステム122(さらに、外部ネットワークやディスプレイなど)及びメモリ124と通信するように構成されている。
当業者であれば、メモリ124は、揮発性メモリ、ハードドライブ、不揮発性メモリなどを含むさまざまな部品によって設けられていることを理解する。メモリ124は、処理ユニット118の制御の下にある複数の部品を有する。
しかし、多くの場合、メモリ124は、実行されたときのアクションを行うプログラムコードを保存するように構成されたプログラム記憶部126と、一時的にまたは永久的にデータを保存するために使用され得るデータ記憶部128とを備える。
他の実施の形態において、処理回路112の少なくとも一部は、車両から離れて設けられていても良い。センサ100によって生成されたデータの処理は、車両102から離れて、または、一部は車両102にて、一部は車両102から離れて実行されても良い。実施の形態によっては、処理回路の一部が車両内に、他の一部が車両から離れて設けられ、処理回路の一部と他の一部とは、ネットワーク(3G UMTS(ユニバーサル・モバイル・テレコミュニケーション・システム)やWiFi(IEEE 802.11)等)によって接続されている。
道路に沿って移動する車両を参照するのは都合が良い。しかし、当業者であれば、本発明の実施の形態は、陸上車両に限定されず、船やボートなどの海運用船舶、飛行機などの航空車両にも適用されることを理解する。同様に、以下の記載において、カメラ104、106によって生成された画像データを参照することは便利である。しかし、本発明の他の実施の形態では、他のタイプのデータを生成しても良い。
センサ100は、センサ100が接続される処理回路112と共に、処理回路112で実行されるソフトウエアと共に、いわゆるビジュアルオドメトリ(VO)システムを形成する。記載されている実施の形態において、ビジュアルオドメトリ(VO)システムは、カメラ(104、106)から生成されたデータを使用する(瞬間的な)3Dモデルの世界を継続的に生成する。多くの場合、VOシステムは、カメラペアからの各画像内の特徴点(ノードまたはポイントとして参照される)の位置を探し出す。そして、この特徴点は、両画像内で探し出される。これらの特徴点は、次の画像との間で(すなわち、第1、すなわち過去の時間と、第2、おそらく現在の時間との間で)追跡され、車両102の軌跡を作成する。
カメラのこの配置は、ステレオペアとして参照される。記載されている実施の形態において、車両102が走行しているとき、VOシステムは、常にオンであり、常にカメラ(104、106)からのデータ(すなわち、画像)のライブストリームを使用し、2つのカメラ104、106から生成された画像の間の相対的変形(すなわち、カメラポーズ)を推定して軌跡を生成し、また、これらのカメラポーズに対する特徴点の位置を作成する。カメラの立体的な特性によって、特徴点の3次元の位置を、カメラに対して計算することができる。
センサ100や車両102が移動すると、特徴点の位置の複数組が生成される。すなわち、一組の特徴点が、各場面から生成される。位置の複数組は、エクスペリエンスとして参照される。処理回路112は、エクスペリエンスに対し、以下のメタデータの少なくとも1つを保存するように構成されている。メタデータは、センサ100から生成されたデータ(これは、本実施の形態において、2つのカメラからの画像)、特徴点(すなわち、3Dの特徴点の位置)、時間や日付、天候、(グローバルポジショニングシステムGPSなどの)位置、輝度の測定値、トラフィックレベル、雲量、センサのタイプなどである。
故に、車両102が移動するので、エクスペリエンスは、相対ポーズ及び特徴点(すなわち、ノード)の位置のセットとして保存される。これは、保存される相対ポーズのセットであることに留意する。本発明の実施の形態は、一般的に、単一のグローバルフレームを使用して動作しない。本発明の実施の形態は、センサ100近傍の3D特徴点の位置及びカメラモーションの計量的に的確なアイディアを、現在の姿勢にする。本発明の実施の形態は、センサから相当離れ且つセンサ100によって検出できない(すなわち、この場合見ることのできない)物体の位置を判断する必要はない。ここに記載されるように、車両102がエリアを再び訪れるとき、自己位置推定が、このエリアに関係する以前の(保存された)エクスペリエンスの中で試行される。係る自己位置推定は、以前のセンサの位置に関係して検知された場面から、車両102の位置を判断しようとするものと考えられる。この場合、以前のセンサの位置は、保存されたエクスペリエンス又はその各々によって提供される。このような関係において、自己位置推定は、保存されたエクスペリエンスの少なくとも1つの中で、現在時刻でセンサ100によって提供され、検知された場面を認識するものとして考えられる。なお、保存されたエクスペリエンスの少なくとも1つは、以前の時刻におけるセンサの位置を提供する。
車両102が、保存されたエクスペリエンスのセットの周辺を移動する期間において、エクスペリエンスの各々は、互いに独立である。ローカライザは、保存されたエクスペリエンスの各々と関連付けされ、その保存されたエクスペリエンス内で検知された場面を認識しようとするように構成されている。他の実施の形態において、ローカライザは、複数の保存されたエクスペリエンスを処理するように構成されても良い。
本発明の実施の形態は、保存されたエクスペリエンスを処理して、以前に保存されたエクスペリエンスの中で、車両102やセンサ100の現在の位置を突き止めようとするように構成されている。すなわち、実施の形態は、車両102の位置を突き止める試行の中で、検知された場面を保存された場面と比較する(ステップ1506)。実施の形態は、コンパレータ134(すなわち、ローカライザ)を含むものとして考えられる。自己位置推定によって、処理回路112は、現在のライブ画像が、以前の(保存された)エクスペリエンスに対して首尾良く整合するかどうかを判断することができる。この自己位置推定は、処理回路112で実行されるローカライザ130によって行われ、自己位置推定は、以前に保存されたエクスペリエンスを独立に維持することによって、可能になる。
本発明の実施の形態は、検知された場面内のランドマークを決定するように構成されていてもよい。ランドマークは、大抵は、建物のコーナなどの実世界の物体に相当する。ランドマークは、検知された場面内で認識されるものであり、次に、車両に対するランドマークの位置が判断される。本実施の形態において、これは、幾何学的な計算によって実行される。その理由は、ステレオカメラペアは、2つの画像を提供し、その中で、ランドマークが発見されて、センサに対するランドマークの位置を判断する十分な情報を提供するからである。ランドマークが作成されるとき、データのパッチが保存される。記載されている実施の形態において、これは、ピクセルデータであり、一の実施の形態において、9×9グリッドの画素が保存される。実施の形態によっては、特定されたランドマークやデータのパッチが、保存されるエクスペリエンスの一部として保存される。
保存されたエクスペリエンスに対して検知された場面を整合させるために、実施の形態では、検知された場面の中で探し出されたランドマークに対して、保存されたエクスペリエンスの中で見いだされるランドマークを探しだそうとする。これは、保存された現場内のランドマークに関連するデータのパッチ(この場合は9×9グリッドの画素)の位置を、検知された場面内で見いだされたものと共に、突き止めようとすることによって達成される。記載されている実施の形態において、ローカライザは、保存されたエクスペリエンスと関連付けられ、検知された場面の中で関係している、保存されたエクスペリエンスの中のランドマークと関連するデータのパッチを探す。
実施の形態によっては、高レベルでパッチのマッチングが行われる。これは、適切な候補のパッチが、迅速にその位置が突き止められ、後に、より詳細な比較を行い、整合が実際に生じたかどうかを特定するためである。
前のエクスペリエンスでの自己位置推定は、並列に実行でき、システムは、関連する以前のエクスペリエンスを利用することが可能である。実際は、ランタイムで、一般的に、アクティブで且つ上手に位置が突き止められたエクスペリエンスの個数は、小さいことが分かっている。後述するように、大抵は、新しいエクスペリエンスの各々は、作成されるのみである。その理由は、データは、保存されたエクスペリエンスの所定数(N)よりも少なく整合されるのみであるからである(記載されている実施の形態において、これは、カメラ104、106によって生成される画像は、整合がとれず、2以上の保存されたエクスペリエンス及び自己位置推定が実行できないことを意味する)。故に、地域への次の訪問は、少数の保存されたエクスペリエンスの中でのみ位置の推定が行われるべきである。それは、これらの訪問が、視覚的に異なるコンストラクションによるからである。このように、方法が、検知された場面が十分なエクスペリエンス(すなわち、所定数以上)の中で整合できないことを判断する場合、自己位置推定は実行できず、検知された場面は、多くの場合、新しい保存されたエクスペリエンスとして保存される。この新しい保存されたエクスペリエンスは、将来の比較ステップ1508で使われる。
このように、本発明の実施の形態は、変化する環境の中で長期間のナビゲーション用のフレームワークを提供する。記載するように、手短には、車両102は、継続的に、VOシステムから環境の3Dモデルを作成する。そして、VOシステムは、センサ100からのライブ画像ストリームを入力として取り込む。同時に、車両102の処理回路112は、日和見主義的には、以前に保存されたエクスペリエンスの中で現在の位置を特定する試みを行う。
自己位置推定が前のエクスペリエンスの中で成功する場合、実施の形態は、現在の場所の表現が十分であると仮定し、次に、保存された現場に関して現在時刻での車両の位置の推定を生成することが可能である。しかしながら、自己位置推定が前のエクスペリエンスの中で実行できない場合、新しいエクスペリエンスが、VOシステムの出力を保存することによって作られる。
エクスペリエンスは、εによって示され、j番目のエクスペリエンスは、εとして参照される。このように、全てのエクスペリエンスのセットは、地図を作成する。この地図は、便宜上、プラスチック地図と称される。この地図は、式(1)として与えられる。
Figure 2018009999
多くの場合、本発明の実施の形態は、局所的にナビゲートして、「ループを閉じる」ことができる能力に依存する。ループの閉じ込みは、車両102やセンサ100が以前に訪問した場所(以前に保存されたエクスペリエンス)に戻ったときに認識される。
局所的にナビゲートする技術は、軌跡推定システムを提供する様々な文献に示されている。特に、レーザスキャナを使用する技術は、以下に議論されている。
[7] M. Bosse and R. Zlot, “Map Matching and Data Association for Large-Scale Two-dimensional Laser Scan-based SLAM,” International Journal of Robotics Research, vol. 27, pp. 667-691, 2008.
視覚システムを使用する軌跡推定の技術は、以下の文献に示されている。
[8] D. Nister, O. Naroditsky, and J. Bergen, “Visual Odometry for Ground Vehicle Applications,” Journal of Field Robotics, vol. 23, 2006.
[9] C. Mei, G. Sibley, M. Cummins, P. Newman, and I. Reid, “Real: A system for large-scale mapping in constant-time using stereo,” International Journal of Computer Vision, pp. 1-17, 2010, special issue of BMVC.
これらの文献の内容は、リファレンスとして本明細書に取りこまれている。当業者であれば、特に、軌跡がVOシステムから車両のために判断される方法について、上記文献を読んで理解するものと考える。
さらに、ループ閉じ込み法は、現在のセンサデータが前のエクスペリエンスの中で経験されたかどうかを判断するために使用され、以下の視覚システムに関連して教示されている。
[10] M. Cummins and P. Newman, “Highly Scalable Appearance-Only SLAM FAB-MAP 2.0,” in Robotics Science and Systems, 2009.
また、この文献のコンテンツが、リファレンスとして本明細書に取りこまれている。当業者は、特に、VOシステムからのループ閉じ込みシステムの実行について、上記文献を読んで理解するものと考える。係るシステムは、多くの場合、保存されたエクスペリエンスの中で、画像の位置を突き止めようとする(すなわち、画像マッチング技術を提供する)。この保存されたエクスペリエンスは、検知された場面のものと視覚的に類似する。FABMAPは、保存されたエクスペリエンスに関連するローカライザをトリガして、その保存されたエクスペリエンスの位置を検知された場面と共に突き止めるために使用されるループ閉じ込みとして考えられる。
当業者は、2、3メートルの精度で位置を提供することができるグローバル・ポジショニング・システム(GPS)が利用可能であることを理解する。このように、本発明の実施の形態は、粗い位置を与えるGPSシステム116や同様な他のシステムからの出力を使用しても良い。GPSシステム116の出力は、多くの場合、処理回路に接続されて、処理回路による車両102の粗い位置の特定を可能にする。「粗い位置」の用語は、センサ100からのデータの処理を使用して得られるポジショニングと比較するとき、比較的不正確な意味を意味するように意図されている。
しかしながら、本発明の実施の形態は、センサ100からの出力を使用し、以前に保存されたエクスペリエンスに対する車両102の移動を、ミリメートル、又は少なくとも2、3センチメートルのオーダで判断することができる。
このように、広義に記載するように、VOシステムは、一連のステレオフレームF={F,....、F}で動作する。
時刻kで、ステレオフレームは、処理され、カメラノードnkは、6度の自由変換t=[x,y,z,θ、θ、θによって、ノードnk-1にリンクされる。なお、θ、θ、θは、それぞれ、ロール、ピッチ、ヨーである。ノードnk-1は、第1の時間で生じるものと考えられ、ノードnは、第2の、後の時間で生じるものとして考えられる。処理回路112は、検知された場面の中でノードを特定する(1502)。これらのノードは、後述するように、一連のフレームに亘って追跡され、車両の軌跡を生成する(1504)。実施の形態は、この機能を実行するノードロケータ132を有するものとして考えられている。
新しい3DのランドマークがFとして初期化されれば、これらのランドマークも、カメラノードnに取り付けられる。nに取り付けられたi番目のランドマークは、時刻kでのカメラフレームにおけるli,k=[x、y、z]T−ベクトルとして表す。なお、iはグローバルインデックスである(従って、各ランドマークは、固有のIDを有する)。カメラノードnも、Fの中で観測される全てのランドマークのリストを含むように構成されている。多くのランドマークが、他のノードに取り付けられる。その中のいくつかが初期化される。
フレームpにおいて記載されたランドマークは、pπqによって表現される演算によってl*,pを1*,qに変換することによって、異なるフレームqにリンクされる。
Figure 2018009999
記載されている実施の形態において、VOシステムは、カメラ104、106によって生成されたライブフレームストリーム(すなわち、データ)で連続的に動作する。新しいエクスペリエンスが作成される場合(これが生じるときについての以下の記載を参照)、新しいエクスペリエンスjεが作成され、VOシステムからの出力は、このエクスペリエンスの中に保存される。そして、jεは、カメラノードnk,インターノード変換及び関係する3D特徴点のチェーンである。エクスペリエンスにおけるノードをjεmと称す。後に、これらのチェーンが、トポロジカルに関係し合って具体的にプラスチック地図を作成する方法について説明する。
このように、図4は、エクスペリエンスが、ノードnによって表現されている一連のフレームから組み立てられる方法を示す。VOシステム(円によって示される)からの出力の各フレームは、nk-2からnkを介してnk+1まで示されている。なお、現在のフレームnkを参照符号400によって示す。ノードnの各々は、Fk-1とFkとの間のカメラの動きを記載する6度の自由変換によってリンクされている。
さらに、一連のランドマーク402、404、406、408が、現在のフレームFkの中で車両102の位置と共に記されている。これらのランドマーク402、404、406、408の各々は、変換されて、上記式(2)を使用してkに関係する。
上記に広義に記載するように、ローカライザが使用されて、前のエクスペリエンスの中で車両102の現在の位置を突き止めようとする。広義では、これは、前のエクスペリエンス(保存されたエクスペリエンスでも良い)の中で検知した場面を認識しているものと考えられる。複数のローカライザが設けられ、各ローカライザは、前のエクスペリエンス(すなわち保存されたエクスペリエンス)に対して動作する。ライブフレームFkとすると、各ローカライザのタスクは、前のエクスペリエンスにおいてフレームFkからノードnへの変換を計算することである。
ローカライザは、前のフレームFk-1ではなく、保存したエクスペリエンスから来る提案されたランドマークセットを除いて、ライブVOシステムと同様な方法で動作する。ランドマークは、エクスペリエンスの中で前の位置を取り囲む局所領域から取られる。さらに、記載されている実施の形態において、ローカライザは、現在のVO出力又は前のエクスペリエンスのいずれか一方の中で、ランドマークを追加したり、または更新することはしていない。ローカライザは、両方のインパクトの観点から、完全に受け身的である。すなわち、ローカライザは、現在のVO出力、又は前のエクスペリエンスのデータを変更しない。
ローカライザは、それが失われる場合に、すなわち、入力フレームFkが前のエクスペリエンスにおいてもはや位置が特定されないことを知るように構成されている。これを計算する多数の方法が存在する。可能性は、インライアとして見いだされたり又は分類されるランドマークの個数と、現在のVO出力との比較とを含む。各時間ステップでの各ローカライザの出力は、それが首尾良くローカライズされれば、
Figure 2018009999
を示す2進数の結果である。うまくいけば、ローカライザが、Fkが最も近いエクスペリエンスの中のノードに対して問い合わせる。
Figure 2018009999
ローカライザに消滅が宣言された場合、以下に記載するように、外部の支援を受け取るまでこの状態に留まる。そして、前のエクスペリエンスと共に再びループを閉じる。
Nを、適宜の時刻において成功したローカライザの最小許容個数と定義する(すなわち、前のエクスペリエンスの中、又はさらなる期間の中での現在の位置を判断する成功した試行。Nは、保存されたエクスペリエンスの所定の最小個数であり、このエクスペリエンスの中に、検知された場面は、自己位置推定が生じたと考えられる前に認識されるべきである)。各フレームFkに対して、アクティブエクスペリエンスのセットAが計算される。Aにおける各エクスペリエンスに対し、関連するローカライザが動作し、結果は、各々の成功又は失敗を示す2進数のベクトルSである。Sの絶対値が、Nより小さければ、新しいエクスペリエンスjεが作成され、VO出力は、Sの絶対値がN以上に戻るまで保存される。このプロセスは、アルゴリズム1によって記載される。
Figure 2018009999
検知された場面が、Nを超える個数の保存された場面の中で位置の推定ができれば、これらの保存されたエクスペリエンスに対する車両102の位置を判断することは可能である(ステップ1512)。
このアルゴリズムは、図3を参照して説明できる。そして、この図3の上方領域に、別々の「エポック」が示されている。各エポックは、3つの別々の時刻でのVOシステムの出力からのフレームのセットFkを示す。本実施の形態において、成功したローカライザの最小個数(N)は、2に設定されている。
図の左側に位置する第1のエポックAに対し、フレームの各々は、Fk-2からFkを介してFk+3までラベルが付されている。なお、他のエポック(B及びC)の各々も同様にラベルを付すことができるが省略する。
エポックAからCのフレームの各々の下に、3つの表現がある。上部の円の列は、VOシステムからの現在の出力を表し、第2の、中間の円の列は、エクスペリエンス1において保存されたデータを表し、第3の、下方の円の列は、エクスペリエンス2において保存されたデータを表す。
エポックAにおいて、センサによって作成された画像は、2つの異なるトレンドのデータの組み合わせであり、これは、ブラック・グレイ300及び水平の実線302からなると考えられている。エクスペリエンス1を見ると、データの中に「水平」の実線のトレンドがあることが分かり、ローカライザは、エクスペリエンス1で現在のイメージの位置を推定できる。エクスペリエンス2を見ると、データの中に「ブラック・グレイ」トレンドがあることが分かり、ローカライザは、現在のイメージの位置をエクスペリエンス2で推定できる。N=2であることに留意すると、新しいエクスペリエンスを作成する必要がない。その理由は、我々は、既に最小個数で位置を特定し、VO出力を簡単に忘れることができるからである。
エポックBに移ると、センサによって作られたイメージは、2つの異なるトレンドのデータの組み合わせであり、ブラック・グレイ300及び水平の点線304からなると考えられている。エクスペリエンス1を見ると、水平の実線302のトレンドは、現在の像の中で位置の推定ができない。しかしながら、エクスペリエンス2を見ると、現在のデータの中にブラック・グレイトレンドがあり、ローカライザは、エクスペリエンス2の中で現在のデータの位置を推定することができる。しかしながら、Nは2にセットされ、単一の自己位置推定のみが生じているため、VOシステムの出力は、新しいエクスペリエンス306として保存される。
エポックCに移ると、現在のイメージの中のトレンドは、ブラック・グレイ及び水平の実線に戻り、エクスペリエンス1及び2の両方において位置が推定される。VOシステムからの出力は、再び忘れられる。
当業者であれば、Nを超える自己位置推定が発生したとしても、そうしないことが効果的であるとの傾向があることから、実施の形態は、VO出力を保存しても良いことを理解する。不必要なデータの保存は、データのより多量の蓄積と、システムの性能の低下の可能性につながる。
そのためのプラスチック地図(式(1)によって特定される)は、結合していない空間領域をカバーする多数のエクスペリエンスを、同一の領域の異なる外観を捉えることに加え、保存する。従って、エクスペリエンスは、全ての時刻において、全て関係するわけではない。すなわち、VOシステムは、異なる空間領域や異なる視覚的外観から情報を出力しても良い。環境における車両の空間的位置は、全てのエクスペリエンスによって捕捉されるわけではない。故に、どのエクスペリエンスがFkに対して適用可能であるかを計算することが必要とされる。エクスペリエンスは、リファレンスの単一フレームの中に保存されない。故に、ローカル変換を積分して1つから他のものへの位置を推定することは可能ではない。
1のフレームから他のフレームへの位置を推定できないことを克服するために、出願人は、場所の概念を導入した。これらの場所は、エクスペリエンスの間のトポロジカルなリンクを作成する。場所はPとして、z番目の場所はPZとして参照される。
Z={jεm}は、(様々なエクスペリエンスから取りこまれた)全ノードのセットである。そして、このノードは、同時に位置の推定がされるものとして周知である。このように、PZは、同一の物理的場所を見るカメラフレームのセットである。
kが、複数のエクスペリエンスの中で同時に位置の推定がされるとき、我々は場所を作ることができる。直近のノードに対してサクセスフルなローカライザの各々を問い合わせることによって、設定された{jεmkで場所を作ることができる。しかしながら、前に作成された場所がこれらのノードのうちのいくつかを含むことも可能である。これらのノードの中で、我々は、Fkから作成されたセットと前の場所とを結合する。
Figure 2018009999
なお、右辺のPZは、Fkから作成されたノードが前の場所にあるかどうかに依存する、潜在的に空のセットである。場所の作成及び結合の簡単な例を、図5に示すとともに図3を参照して説明する。
最初に図3を参照すると、事実上、図面の中で参照される3つのエクスペリエンスがあることが分かる。水平の実線で示されるエクスペリエンス、ブラック・グレイで示されるエクスペリエンス、水平の点線で示されるエクスペリエンスである。図5もまた、3つのエクスペリエンスを示す。エクスペリエンス1、2、3は、それぞれ、ブラック、グレイ、ホワイトの円によって示されている。
図5は、前のフレームFpreviousを示し、エクスペリエンス1及びエクスペリエンス2の両方においてそのフレームをローカライズし、次に、場所Aを作成することが可能である。しかしながら、現在のフレームFkにおいて、エクスペリエンス2及びエクスペリエンス3の中でローカライズして場所Bを作成することが可能である。従って、場所A及びBが、(両方にエクスペリエンス2を含むことにより)実際に同一の場所を参照していると結論することができる。場所A及びBは、結合されて場所Cを作成することができる。
このように、再び図3を参照すると、3つのエクスペリエンスの全てがここでは参照され(エクスペリエンス1;エクスペリエンス2、及びエポックBにおいてVOから保存されたエクスペリエンス)、全てが実際に同一の場所を参照する。その理由は、エクスペリエンス2が、3つの全てのエポックAからCに共通するからである。
このように、図3に関係して議論されるように、場所は、エクスペリエンスをリンクするために使用することができる。我々は、エクスペリエンスノードのセットと共に全ての場所について問合せる能力を使用し、これらのノードを含む場所のセットを受け取る。この問合せは、Ωを介して定義される。
Figure 2018009999
1)関連したエクスペリエンスの計算:上述の如く、保存されたエクスペリエンスは、車両の現在の位置を必ずしもカバーするとは限らないので、保存されたエクスペリエンスの全てが、Fkに対して関連しているわけではない。故に、実施の形態によって、ローカライザは、2つの状態、アクティブと、不活性とを取り得る。Fkを処理する前に、前のフレームからの成功したローカライザの位置のセット{jεmk-1が使用されて、関係する場所のセットを生成する。
Figure 2018009999
次に、各不活性ローカライザは、自身が有するノードの存在のために、{PZrelatedを問い合わせる。何らかが存在する場合、ローカライザは、回復した位置で自身をアクティブにする。車両102がエクスペリエンスの範囲を超えて移動する(すなわち、ローカライザが図3について記載されるように道に迷う)時、関連するローカライザは、自身を不活性にセットする。
2)道に迷ったローカライザの再初期化:ローカライザは、もはや現在のフレームFkを追跡できなくなったので、道に迷う。しかしながら、これは、一時的な状態であり、ローカライザは、エクスペリエンスの中で、自身を再びローカライズすることが可能である。ローカライザ・エクスペリエンスは、ローカライザが最初に迷った後の短時間のうちに、再び関連性のある状態になる。故に、実施の形態の試行は、道に迷ったローカライザを再び初期化する。道に迷ったローカライザの再初期化の失敗は、データのために増やした記憶装置の条件と、余分なデータのために低下した処理性能の関係した問題に必要とされる以上により多くのエクスペリエンスを保存するシステムにつながる。
本発明の実施の形態は、1つのエクスペリエンスの中での周知のロケーションを前提として、位置は、場所を介して他のエクスペリエンスに対して周知である。故に、実施の形態によっては、再初期化できるか否かを判断するために、迷子になったローカライザは、周期的に{PZrelatedを問い合わせるように構成されている。
ときどき、自己位置推定プロセスの全てが、迷子になる。そのポイントで、システムは、それがプラスチック地図の中にある場所を知らない。これは、現在のロケーションがかなり変化したか(例えば、降雪)、又は、車両102が新しいルートを探検しているためである。理由の如何に関わらず、VOシステムは、ライブフレーム(データ)ストリームの処理を継続し、エポックBについて図2について記載されるような新しいエクスペリエンスに対し出力を保存する。しかしながら、車両102が、その後、場所に戻ることは可能であり、プラスチック地図においてその場所をローカライズして再取得することができる。すなわち、車両102は、Nよりも大きな個数のエクスペリエンスの中で今一度ローカライズできる。この問題の解決のために、この問題は、繰り返される周回に対して次第に頻繁ではなくなるべきであり、我々は、迷ったローカライザを再初期化できる外部ループ閉じ込みを使用する。
外部のループ閉じ込みは、新しい回路から以前に調査された回路を再結合する車両についての議論で以下に議論する図7に関してハイライトされる。
しかしながら、実施の形態によっては、GPSなどのシステムは、車両102の粗い位置を与えるために使用される。係る実施の形態において、車両の粗い位置は、処理回路によって使用され、処理回路は、どの保存されたエクスペリエンスが、その中での車両の自己位置推定を検討するための候補として見込めるかをハイライトする。車両102の粗いポジショニングが使用されて、車両102をローカライズするためにどの保存されたエクスペリエンスが使用されるかの特定を支援する(ステップ1510)。実施の形態は、ループ閉じ込み136を有するものとして考えられても良い。
本発明の実施の形態において、一般的に、ひとたび、関係するローカライザのセットが計算されると、各々は独立になり、並列処理できる場合がある。データの関連性(すなわち、保存されたエクスペリエンスからのランドマークの、検知された場面のステレオカメラフレームの各々へのマッチング)及び軌跡推定ステップ(すなわち、現在のフレームと前のフレームとの間の車両の姿勢の変化の判断)が計算時間よりも優位に立つと仮定する場合、これらを並列処理することによって、実施の形態は、現在は、15Hzでフレームを処理することができる。当業者は、さらなる処理パワーが追加され、データが処理される頻度が増加することを理解する。
当業者は、センサデータのストリームから軌跡を処理して生成できるシステムの実行方法を理解していると考えるが、以下の文献をリファレンスとして提供する。これらの文献は、リファレンスとして取りこまれ、当業者は、これらの文献の関係する部分を読むものとする。
ロバストなデータ関連性を得るために、本発明の実施の形態は、バイナリ・ロバスト・インデペンデント・エレメンタリ・フィーチャーズ(BRIEF)記述子を使用しても良い。
[11] M. Calonder, V. Lepetit, C. Strecha, and P. Fua, “BRIEF: Binary Robust Independent Elementary Features,” in European Conference on Computer Vision, September 2010.
BRIEF記述子の特徴点は、高速で、処理回路112のCPUを使用するのみで、計算し、且つ整合を行い、SURF[12]へ相当する性能を提供することができる。
[12] H. Bay, A. Ess, T. Tuytelaars, and L. V. Goo, “Surf: Speeded up robust features,” Computer Vision and Image Understanding (CVIU), vol. 110, pp. 346-359, 2008.
本発明の実施の形態は、GPU(グラフィックスプロセッサ)を使用してもよく、SURF等の記述子の実行が、利用可能であり、フレームレート性能を可能にする。
[13] N. Cornelis and L. V. Gool, “Fast Scale Invariant Feature Detection and Matching on Programmable Graphics Hardware,” in Computer Vision and Pattern Recognition, 2008.
しかしながら、各ローカライザにおけるマッチング行程及びライブVOシステムは、GPUへのアクセスを要求する(入力フレーム上の特徴点の抽出は、独立であり、スタート時に1回実行され得る)。大抵のシステムは、せいぜい1つのGPUを有するのみなので、GPUを使用する要求は、マルチコア又はマルチプロセスシステムでCPUオンリープログラムが実行される場合に比較して、並列処理を困難にする。実施の形態は、CPUベースの方法を使用する傾向がある。
実施の形態は、BRIEF用の対象のポイントを計算するFASTコーナーエクストラクタを使用してもよい。
[14] E. Rosten, G. Reitmayr, and T. Drummond, “Real-time video annotations for augmented reality,” in Advances in Visual Computing. LNCS 3840, December 2005, pp. 294-302.
実施の形態によっては、整合したランドマークが、Meiによって記載される、有効2次マッチングを使用するサブピクセル精度に改善される。
[15] C. Mei, S. Benhimane, E. Malis, and P. Rives, “Efficient homography- based tracking and 3-d reconstruction for single-viewpoint sensors,” IEEE Transactions on Robotics, vol. 24, no. 6, pp. 1352-1364, Dec. 2008.
データは、ベグブローク・サイエンス・パーク周辺の2つのセミ・オーバラッピング0.7kmルートの53の周回から集められた。データは、グループ調査車両、ワイルドキャットを使用して、様々な日時や異なる天候で3ヶ月の期間に亘り集めた。
図7は、車両102などの車両によって運転された2つのルートに沿った敷地のオーバーヘッドを示す。外側のループ700は、極太線によって示され、最初の47の周回(traverse)で運転された。一方、最後の6の周回は、内側のループ702を介して進行し、薄線によって示されている。プロットの濃度は、どれだけ多くのエクスペリエンスが、各ポイントに存在するかを示し、スケールを図の右に示す。図示する目的で、我々は、外部のループ閉じ込みからの信号を制御した。よって、各ループで14の所定ポイントでのみ行われた。このポイントは、各ループに沿って略均等に配置される。ローカライザは、迷子になったが、これらの14の所定ポイントで再ローカライズされ得る。当業者は、他の実施の形態が、これとは異なる方法で、おそらくランダムに、実質的に継続して、又は所定の時間間隔などで実行されることを理解する。
ルートの領域によっては、他の領域よりも多くのエクスペリエンスを必要とする。図6に、低視覚変化及び高視覚変化の両方を呈する場所の例を示す。高視覚変化を有する場所の例は、図6(a)に示す駐車場である。この空間のコンテンツ及び構成は、日ごとに変化し、故に、以前に保存されたエクスペリエンスは、役立つ見込みはない。もう1つは、図6(b)に示すように、樹木が張り出すことによってカバーされている道の部分である。太陽光線によって、強力且つ複雑な陰影効果が生じている。ライブVOシステムがランドマークを提供することは有効ではあるが、ロケートされたランドマークは、前のエクスペリエンスが役に立たないことの意味に対して対抗できない。高度の視覚変化を有する画像は、いつもライブVOシステムの使用と相対する。
対照的に、図6(c)及び6(d)は、範囲が開放的な道路を示す。道は、同じような天候の条件の中で、一定の外観を呈している。
図8は、捕捉された時間と共に、各周回のうちどの程度が保存されたかを示す。ここに、訪問回数は、データが収集された順番にある。図の左側に、プラスチック地図が相対的に広範囲であり、多数のエクスペリエンスが保存されないときに、多くのVO出力が保存される。周回の数が増加するにつれて、保存されるVO出力の量は、減少する。車両102が、前のエクスペリエンスの中でそれ自身の位置を推定できるからである(図3に関して議論したように、Nよりも大きなエクスペリエンスにおいて自己位置推定が生じたときに、新たなVO出力はもはや保存されない)。
周回35−38のあたりで大きなジャンプが発生する。その理由は、夕暮れになったので、最初の時刻データが集められたからである。道も、水たまりがあり、また、若干雨が降っていて、システムが以前に遭遇していないからである。図13は、周回38でセンサによって生成された画像を提供する。画像(b)及び(d)は、周回38で生成されるが、画像(a)及び(c)は、以前の周回で作成され、保存されたエクスペリエンスと関係している。このように、周回38で生成された画像は、以前の周回のものとは異なる。
訪問47での第2のスパイクは、初めて内側ループ702を運転することによって生じる。突然、自己位置推定は成功せず、ループ閉じ込みが行われるまで、全セクションが保存される。インナーループ702がアウターループ704と再び結合し、そして、ローカライザが、保存されたエクスペリエンスの中で再び位置を推定することができるとき、又はその後まもなく、ループ閉じ込みは、車両102の位置を再び推定することができる。
図8に詳細を記載する。グラフは、将来の使用のために保存されるVO出力の一部(左側の軸を参照)を示す。また、結果は、N(車両102が迷子になっていないと判断するために必要とされる自己位置推定の最小個数)を変えたことの効果をハイライトする。結果は、グラフの各ラインに対して使用されるシンボルを変更することによって、ローカライザの最小個数N=1,N=2、N=3を示す。
各周回に対して、我々は、他の訪問が単一の利用可能なエクスペリエンスとして使用され、且つ結果を平均する毎に、保存されたVO出力の一部を計算した。これを、単一の前のエクスペリエンスによる平均(AwSPE)と称す。また、これを、三角マークを有する点線によって示す。
図12は、周回4での自己位置推定の失敗の例を示す。強力な影の影響に、初めて遭遇し、画像(a)及び(c)は、以前の周回から生成されてエクスペリエンスとして保存され、一方、画像(b)及び(d)は、周回4で生成される。
このように、図12及び13について分かるように、環境内で大きな変化を生じる状況が生じた場合(夕暮れ時や異なるルートでのドライブ)、車両102は、ルートを再訪するので、大抵は、各周回のVO出力を殆ど記憶する必要がないことが分かる。
多数のエクスペリエンスを保存して、上記の本発明の実施の形態に関係して記載するように、プラスチック地図を作り上げる効果を評価するために、1回の前回の訪問の中で現在のVOデータの位置を推定しようとする実験が行われたが、変化する環境を把握する試みは行わない。これらの実験に対し、保存されたエクスペリエンスのみが、選択された例の訪問であるとして制限され、ルートの周回の各々において、保存が必要とされるVO出力の量は、各ケースにおいて判断され、自己位置推定の失敗を示し、そして、結果は平均化される。このように、第1のパスとして、周回番号1は、選択された例であるとして採用され、周回番号2〜53に対して保存されたエクスペリエンスのみとして使用される。第2のパスにおいて、周回番号2は、選択された例として採用され、周回番号1及び3〜53に対して保存されたエクスペリエンスのみとして使用される。このパターンは、周回の各々が、選択された例として使用されるまで繰り返される。
これらが、図8に示され、単一の前のエクスペリエンスを有する平均(AwSPE)として参照される。全ての訪問に亘り、保存される平均VO出力は、68.5%であり、他の訪問用に対し、特別に「良好」な訪問はない。これは、環境を表す複数のエクスペリエンスの使用を動機付ける。時間に亘り、新しいルートを明らかにし、上述のようにプラスチック地図を生成する実施の形態は、「1/(周回のカウント数)」減衰を生成する。これは、システムがルートの典型的な変動を捉えるからである。
データが収集される順番は、優先シーケンスである。しかしながら、様々な性能のグラフを作成するためには、53!の方法で順番付けされてもよい。ポイントを作製するために、アウタールートの10個の最も驚くべき周回と、開始時に対する6個のインナー周回とがシステムを再実行する貪欲な並べ替えが行われた。結果としての性能のグラフを図10に示す。最も「興味深く」且つ「意外な」周回は、プラスチック地図作成の開始時に移動される。かなり低下するまえの周回18まで、(大いに変化する周回が発生しているが)エクスペリエンスの蓄積はハイに留まることに留意する。
各周回を、曇天又は晴天のいずれかとして分類することも可能である(各訪問時の天候を図9に示す)。さらなる実験において、データは、曇天又は晴天のエクスペリエンスのみを使用して再処理され、その結果を図11に示す(4つの夕暮れ時及び6つのインナーループ周回を除外)。興味深いことに、曇天のみの周回(図11の上方のグラフ)では、システムは、十分なエクスペリエンスを素早く蓄積して、曇りの状態を管理する。一方、晴天の周回(図11の下方のグラフ)は、若干オフセットされたバイアスを有する。若干オフセットされたバイアスは、前のエクスペリエンスにおける自己位置推定を困難にする効果を遮ることによって生じるものと考えられる。このような影は、図6(b)に見ることができる。
最後に、テスト車両で実行するシステムの性能を図14に示す。周回47の各フレームに対して成功したローカライザ及びタイミング性能の個数を示す。周回47は、インナーループの最初の周回である。自己位置推定は、フレーム1296で成功する。このフレーム1296のポイントで、車両はインナーループへと入る。このポイントで、新しいエクスペリエンスが始まる。保存された関係するエクスペリエンスが無いため、自己位置推定はない。フレーム2239で、外部ループ閉じ込めが起動し、結果として、自己位置推定は成功し、新しいエクスペリエンスの保存は停止する。アクティブローカライザの個数の変化に拘わらず、フレーム毎のタイミングは、多くは100msより下となる。一方、シーケンスの成功した自己位置推定部分の平均(すなわち、フレーム1296−2239を含まず)は、53msである。
図16は、図1のシステムと比較すると変形されたシステムの実施の形態を示す。しかしながら、理解を容易とするために、同様な部品は、同一の参照番号を付すものとする。本実施の形態において、処理回路112には、3G MODEM等の無線通信手段1600が設けられている。無線通信手段1600によって、処理回路112は、ネットワーク1602を介して、リモートサーバ1604との通信が可能となる。ネットワークは、適宜のネットワークでよいが、大抵はインターネットである。当業者は、サーバ1604は、図面においては単一のデバイスとして表されているが、実際には、多数の分離したデバイスからなり、互いに異質のデバイスでも良いことを理解する。
図16に示すような実施の形態において、リモートサーバ1604は、センサ100から作成されるデータ(又はVOシステムからの出力)を処理する処理負荷を部分的に共有することが考えられる。しかしながら、サーバは、車両102の位置を推定するために使用されるエクスペリエンスを保存しても良い。
上述したように、センサ100からのデータ出力は、時刻、天候などにより実質的に変化する。保存されたエクスペリエンスの部分集合のみが、現在の場面での車両102の位置を推定するためには役立つことが考えられる。
リモートサーバ1604は、記憶装置1606において、一組のエクスペリエンスを保存するように構成されていても良い。車両102は、保存されたエクスペリエンスの部分集合をダウンロードするように構成されていても良い。このように、記憶装置1606は、車両102から離れた記憶装置を提供することが分かる。エクスペリエンスの部分集合は、次の、時刻、天候条件、目的とするルート、又は位置などの1つ以上を含む様々なパラメータに依存して車両102にダウンロードされても良い。
車両102は、車両102が作る周回の間に新しいエクスペリエンスを生成する。次に、車両102は、リモートサーバ1604にその新しいエクスペリエンスをアップロードするように構成されている。
サーバ1604に保持される一組のエクスペリエンスは、複数の車両によって作成されてもよい。サーバ1604は、エクスペリエンスを使用して車両の位置を推定することを希望する適宜の台数の車両によって使用されるエクスペリエンスの宝庫を提供しても良い。
本発明の実施の形態は、車両102の継続的な自己位置推定のデモを行っても良い。この自己位置推定は、所定の期間に亘り変化する明暗や天候条件の中で行われる。この所定の期間は、実験では3ヶ月であった。実施の形態は、プラスチック地図作成であるものを使用した。本実施の形態は、建物の、単一のモノリシック地図の組み立てや、作業空間の全ての観察を説明する潜在的な根本的な状態にはフォーカスせず、本実施の形態は、複数の重なり合うエクスペリエンスから構成される合成表現の作成にフォーカスする。この表現(すなわち、プラスチック地図)は、必要とされているほどに複雑で且つ豊富である。実施の形態は、多くの場合、同じ方法で、強烈的でかつ潜行性の変化を対処する。それと同じくらい素早く、前のエクスペリエンスは、現在の新しいエクスペリエンスが将来の参照用に保存されることを現在十分には記載していない。実験は、3ヶ月のデータを使用して、自己位置推定の性能(ロバストネス)の中でプラスチック地図の利点を示した。なお、この3ヶ月のデータは、既に獲得されたものであり、プラスチック地図のメンテナンスの漸近特性のデモをすることが可能である。
当業者は、上述の特徴点の多くは、ソフトウエア、ファームウエア、又はハードウエア、或いはこれらの組み合わせによって実行されることを理解する。これらの技術の組み合わせによって実行されるシステムもカバーされる。
100 センサ
102 車両
112 処理回路
1604 サーバ
1602 ネットワーク

Claims (23)

  1. センサを備える車両の位置を推定する方法であって、
    a)センサからのデータを捉えて、現在時刻での車両周辺の検知された場面を提供する工程と、
    b)検知された場面を処理して、検知された場面から一組の特徴点を抽出し、抽出された特徴点を使用して、以前のセンサの位置について検知された場面から車両の位置を判断する工程と、
    c)検知された場面から抽出された組の特徴点を、保存されたエクスペリエンスの1つまたは複数と比較する工程であって、保存されたエクスペリエンスの各々は、複数組の特徴点を有し、特徴点の各組は、以前に検知された場面から判断され、検知された場面が保存されたエクスペリエンスの中で認識されえるか否かを確かめる工程と、
    d)検知された場面の抽出された組の特徴点が、保存されたエクスペリエンスの任意の1つの中で認識される場合、保存されたエクスペリエンスは、保存されたエクスペリエンスについての現在時刻での車両の位置の推定を作成するために使用される工程と、
    e)前記aからdまでの工程の少なくともいくつかを繰り返す工程と
    を含むことを特徴とする方法。
  2. 前記方法は、検知された場面が、保存されたエクスペリエンスの所定数を超える数の中で認識されない場合、前記方法は、検知された場面がさらなる比較のために新たに保存されたエクスペリエンスの一部となるように、検知された場面を保存するように構成されていることを特徴とする請求項1に記載の方法。
  3. 前記方法が、検知された場面を新たなエクスペリエンスとして保存するので、保存されたエクスペリエンスの1つ以上の中で検知された場面の認識を継続することを特徴とする請求項2に記載の方法。
  4. 保存されたエクスペリエンスは、保存されたエクスペリエンスを生成した車両・センサによって使用されることを特徴とする請求項1から3のいずれか一に記載の方法。
  5. 保存されたエクスペリエンスは、保存されたエクスペリエンスを生成する車両・センサに加えて、車両及びセンサの少なくとも一方によって使用されることを特徴とする請求項1から4のいずれか一に記載の方法。
  6. 抽出された特徴点を分析して、現在時刻で検知された場面の中の特徴点を、変換を使用して、第2、後の時間で検知された次の場面における特徴点とリンクさせることを特徴とする請求項1から5のいずれか一に記載の方法。
  7. 検知された場面内のノードとリンクする情報を使用して、車両の軌跡を生成するように構成されていることを特徴とする請求項6に記載の方法。
  8. 車両の粗い位置決めを使用して、車両の位置を粗く判断することを特徴とする請求項1から7のいずれか一に記載の方法。
  9. 車両の場所を使用して、どの保存されたエクスペリエンスを考慮して、検知された場面がその中で認識されえるか否かを判断することを特徴とする請求項8に記載の方法。
  10. 画像マッチング技術を使用して、検知された場面と類似していると思われる保存されたエクスペリエンスを判断し、次に、検知された場面がその中で認識されえるか否かを判断するために同様であると思われる検知された場面を使用することを特徴とする請求項1から9のいずれか一に記載の方法。
  11. 車両の位置が推定されたと判断される前に、検知された場面が、所定数の保存されたエクスペリエンスの内部で認識されることを要求することを特徴とする請求項1から10のいずれか一に記載の方法。
  12. 保存されたエクスペリエンスが、お互いに類似する場所に関係しているか否かを判断し、保存されたエクスペリエンスが、実質的に同じ場所に関係すると判断されるべきであり、係る保存されたエクスペリエンスとリンクすることを特徴とする請求項1から11のいずれか一に記載の方法。
  13. 車両の位置を推定するように構成されたシステムであって、システムは、現在時刻での車両の周辺の検知された場面を表すデータを生成するように構成されたセンサと、データを処理するように構成された処理回路とを有し、前記処理回路は、
    検知された場面から特徴点の組を抽出し、以前の時刻でのセンサの位置に対するデータからの車両の位置を判断し、
    前記データを1つ以上の保存されたエクスペリエンスと比較し、
    各エクスペリエンスは、記憶装置の内部に保持された特徴点の位置の複数の組を提供して、検知された場面が、保存されたエクスペリエンスの中で認識され得るか否かを確認し、
    データが、検知された場面が保存されたエクスペリエンスの中で認識され得ることを可能にして、次に、保存されたエクスペリエンスを使用して、車両の位置を推定するように構成されていることを特徴とするシステム。
  14. 記憶装置の少なくとも一部は、前記車両から離れて装備され、前記車両からアクセス可能に構成されていることを特徴とする請求項13記載のシステム。
  15. 前記車両に備えられた前記処理回路と通信するように構成されたサーバをさらに有することを特徴とする請求項13又は14に記載のシステム。
  16. 前記処理回路は、利用可能な保存されたエクスペリエンスの部分集合に対して前記データを比較するように構成されていることを特徴とする請求項13から15のいずれか一に記載のシステム。
  17. 前記処理回路は、リモート記憶装置から、利用可能な保存されたエクスペリエンスの部分集合を獲得するように構成され、前記利用可能な保存されたエクスペリエンスは、前記車両に備えられた記憶装置に部分的に保持されていることを特徴とする請求項16記載のシステム。
  18. センサが装着された車両であって、前記センサは、現時刻での前記車両の周囲の検知された場面を表すデータを生成するように構成され、さらに、前記データを処理するように構成された処理回路を有し、前記処理回路は、
    前記検知された場面から特徴点の組を抽出して、以前の時刻における前記センサの位置に対する前記データから前記車両の位置を判断し、
    前記データを1つ以上の保存されたエクスペリエンスと比較し、
    各エクスペリエンスは、特徴点の位置の複数の組を提供して、検知された場面が、適宜の個数の保存されたエクスペリエンスの中で認識され得るか否かを確認し、
    前記データによって、前記検知された場面が、適宜保存されたエクスペリエンスの中で認識され得ることを可能とし、次に、保存された場面を使用して、前記車両の位置を推定することを特徴とする車両。
  19. 1つ以上の保存されたエクスペリエンスのためにネットワークからネットワークリクエストを受け取るサーバであって、
    前記サーバは、前記リクエストを処理して、記憶装置からリクエストされ保存されたエクスペリエンスを取り出し、前記リクエストされ保存されたエクスペリエンスを前記ネットワークを介して送信することを特徴とするサーバ。
  20. コンピュータによって読まれたときに、このコンピュータを、請求項1から12のいずれか一に記載の方法として動作させる命令を含むコンピュータ読み取り可能な媒体。
  21. コンピュータによって読まれたときに、このコンピュータを、請求項13から17のいずれか一に記載のシステムの少なくとも一部として動作させる命令を含むコンピュータ読み取り可能な媒体。
  22. コンピュータによって読まれたときに、このコンピュータを、請求項18に記載の車両として動作させる命令を含むコンピュータ読み取り可能な媒体。
  23. コンピュータによって読まれたときに、このコンピュータを、請求項19に記載のサーバとして動作させる命令を含むコンピュータ読み取り可能な媒体。
JP2017156512A 2012-02-10 2017-08-14 センサの位置を推定する方法及び関連装置 Active JP6738777B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1202344.6 2012-02-10
GBGB1202344.6A GB201202344D0 (en) 2012-02-10 2012-02-10 Method of locating a sensor and related apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014556140A Division JP2015508163A (ja) 2012-02-10 2013-02-08 センサの位置を推定する方法及び関連装置

Publications (2)

Publication Number Publication Date
JP2018009999A true JP2018009999A (ja) 2018-01-18
JP6738777B2 JP6738777B2 (ja) 2020-08-12

Family

ID=45929944

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014556140A Pending JP2015508163A (ja) 2012-02-10 2013-02-08 センサの位置を推定する方法及び関連装置
JP2017156512A Active JP6738777B2 (ja) 2012-02-10 2017-08-14 センサの位置を推定する方法及び関連装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014556140A Pending JP2015508163A (ja) 2012-02-10 2013-02-08 センサの位置を推定する方法及び関連装置

Country Status (10)

Country Link
US (2) US9576206B2 (ja)
EP (1) EP2812727B1 (ja)
JP (2) JP2015508163A (ja)
KR (1) KR102053802B1 (ja)
CN (1) CN104520732B (ja)
BR (1) BR112014019731B1 (ja)
GB (1) GB201202344D0 (ja)
HK (1) HK1209488A1 (ja)
IN (1) IN2014MN01485A (ja)
WO (1) WO2013117940A2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9403482B2 (en) 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
GB2533295A (en) * 2014-12-15 2016-06-22 The Chancellor Masters And Scholars Of The Univ Of Oxford Localising portable apparatus
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
US9978284B2 (en) * 2015-06-05 2018-05-22 Here Global B.V. Method and apparatus for generating vehicle maneuver plans
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
CN106052697B (zh) * 2016-05-24 2017-11-14 百度在线网络技术(北京)有限公司 无人车、无人车定位方法、装置和系统
CN109478330B (zh) * 2016-06-24 2022-03-29 罗伯特·博世有限公司 基于rgb-d照相机的跟踪系统及其方法
EP3263405B1 (en) * 2016-06-27 2019-08-07 Volvo Car Corporation Around view monitoring system and method for vehicles
US9805306B1 (en) 2016-11-23 2017-10-31 Accenture Global Solutions Limited Cognitive robotics analyzer
CN106802654A (zh) * 2016-11-25 2017-06-06 斑马信息科技有限公司 移车系统和移车方法
US11513211B2 (en) 2016-11-29 2022-11-29 Continental Automotive Gmbh Environment model using cross-sensor feature point referencing
CN107223244B (zh) * 2016-12-02 2019-05-03 深圳前海达闼云端智能科技有限公司 定位方法和装置
CN106774312B (zh) * 2016-12-05 2020-04-28 遨博(北京)智能科技有限公司 一种为移动机器人确定移动轨迹的方法和装置
CN108267752B (zh) * 2016-12-15 2022-01-18 苏州宝时得电动工具有限公司 自移动设备的工作区域的分区方法、装置和电子设备
CN106793074A (zh) * 2016-12-21 2017-05-31 深圳市卡迪尔通讯技术有限公司 定位方法及定位器
CN106814737B (zh) * 2017-01-20 2018-02-06 安徽工程大学 一种基于啮齿类动物模型和RTAB‑Map闭环检测算法的SLAM方法
JP6882664B2 (ja) * 2017-02-07 2021-06-02 富士通株式会社 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法
DE102017204839A1 (de) * 2017-03-22 2018-09-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
CN108732582B (zh) * 2017-04-20 2020-07-10 百度在线网络技术(北京)有限公司 车辆定位方法和装置
CN107247761B (zh) * 2017-06-01 2021-10-15 武汉理工大学 基于位图的轨迹编码方法
US10235192B2 (en) 2017-06-23 2019-03-19 Accenture Global Solutions Limited Self-learning robotic process automation
GB201718507D0 (en) 2017-07-31 2017-12-27 Univ Oxford Innovation Ltd A method of constructing a model of the motion of a mobile device and related systems
DE102017214729A1 (de) * 2017-08-23 2019-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
JP6759175B2 (ja) 2017-10-27 2020-09-23 株式会社東芝 情報処理装置および情報処理システム
US12060074B2 (en) 2018-03-30 2024-08-13 Toyota Motor Europe System and method for adjusting external position information of a vehicle
DE102018210712A1 (de) * 2018-06-29 2020-01-02 Zf Friedrichshafen Ag System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung
CN108885110B (zh) * 2018-07-10 2022-04-08 达闼机器人有限公司 一种定位方法、定位装置、定位系统及可读存储介质
CN109269483B (zh) * 2018-09-20 2020-12-15 国家体育总局体育科学研究所 一种动作捕捉节点的标定方法、标定系统及标定基站
CN110954922B (zh) * 2018-09-27 2021-08-24 千寻位置网络有限公司 Gnss动态路测的场景自动识别方法及装置
CN109612455A (zh) * 2018-12-04 2019-04-12 天津职业技术师范大学 一种室内定位方法及系统
US10922840B2 (en) 2018-12-20 2021-02-16 Here Global B.V. Method and apparatus for localization of position data
CN109726684B (zh) * 2018-12-29 2021-02-19 百度在线网络技术(北京)有限公司 一种地标元素获取方法和地标元素获取系统
CN113454487B (zh) * 2019-03-13 2024-05-28 千叶工业大学 信息处理装置以及移动机器人
US11960297B2 (en) * 2019-05-03 2024-04-16 Lg Electronics Inc. Robot generating map based on multi sensors and artificial intelligence and moving based on map
CN110146910B (zh) * 2019-05-15 2023-02-28 重庆大学 一种基于gps与激光雷达数据融合的定位方法及装置
CN111044073B (zh) * 2019-11-26 2022-07-05 北京卫星制造厂有限公司 基于双目激光高精度agv位置感知方法
US20210200237A1 (en) * 2019-12-31 2021-07-01 Lyft, Inc. Feature coverage analysis

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999866A (en) * 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
JP2005006081A (ja) * 2003-06-12 2005-01-06 Denso Corp 画像サーバ、画像収集装置、および画像表示端末
EP1677076A2 (en) * 2005-01-04 2006-07-05 The Boeing Company Precision landmark-aided navigation
JP2008026253A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両周辺撮影送信装置および車両周辺撮影送信プログラム
JP2008059319A (ja) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp 物体認識装置および映像物体測位装置
US20090228204A1 (en) * 2008-02-04 2009-09-10 Tela Atlas North America, Inc. System and method for map matching with sensor detected objects
US20100070125A1 (en) * 2008-09-12 2010-03-18 Samsung Electronics Co., Ltd. Apparatus and method for localizing mobile robot
JP2011215053A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 風景画像認識を用いた自車位置検出システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3770344B2 (ja) * 1996-12-26 2006-04-26 ソニー株式会社 画像照合装置及び画像照合方法
JP2003263104A (ja) 2002-03-11 2003-09-19 Mitsubishi Electric Corp 撮像情報認識システム
US7242460B2 (en) 2003-04-18 2007-07-10 Sarnoff Corporation Method and apparatus for automatic registration and visualization of occluded targets using ladar data
JP4838261B2 (ja) * 2004-11-18 2011-12-14 ジェンテックス コーポレイション 車両機器制御用の画像収集及び処理システム
JP2008527542A (ja) 2005-01-06 2008-07-24 シュルマン,アラン ナビゲーション及びインスペクションシステム
JP2006208223A (ja) 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP4909991B2 (ja) 2005-09-12 2012-04-04 タパング,カルロス フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像
JP2007114020A (ja) * 2005-10-19 2007-05-10 Aisin Aw Co Ltd 車両の移動距離検出方法、車両の移動距離検出装置、車両の現在位置検出方法及び車両の現在位置検出装置
US7539557B2 (en) 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
CN101231755B (zh) * 2007-01-25 2013-03-06 上海遥薇(集团)有限公司 运动目标跟踪及数量统计方法
JP4569837B2 (ja) 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP4437556B2 (ja) * 2007-03-30 2010-03-24 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
US20080320036A1 (en) * 2007-06-22 2008-12-25 Winter Gentle E Automatic data collection
CN101338987B (zh) * 2007-07-06 2011-05-04 高克联管件(上海)有限公司 一种冷凝用传热管
CN101556584A (zh) * 2008-04-10 2009-10-14 深圳市万水千山网络发展有限公司 一种实现图片交易的计算机系统及方法
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8284995B2 (en) * 2008-07-16 2012-10-09 Volkswagen Of America, Inc. Method for updating a geographic database for an in-vehicle navigation system
DE102008041679A1 (de) * 2008-08-29 2010-03-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung
TWI403690B (zh) 2009-10-26 2013-08-01 Ind Tech Res Inst 自我定位裝置及其方法
US8791996B2 (en) 2010-03-31 2014-07-29 Aisin Aw Co., Ltd. Image processing system and position measurement system
JP5505723B2 (ja) 2010-03-31 2014-05-28 アイシン・エィ・ダブリュ株式会社 画像処理システム及び位置測位システム
JP5062498B2 (ja) 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
US8433142B2 (en) * 2010-04-05 2013-04-30 The Nielsen Company (Us), Llc Methods and apparatus to detect differences between images
JP5745067B2 (ja) * 2010-09-24 2015-07-08 アイロボット・コーポレーション Vslam最適化のためのシステムおよび方法
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US8744169B2 (en) 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999866A (en) * 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
JP2005006081A (ja) * 2003-06-12 2005-01-06 Denso Corp 画像サーバ、画像収集装置、および画像表示端末
EP1677076A2 (en) * 2005-01-04 2006-07-05 The Boeing Company Precision landmark-aided navigation
JP2008026253A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両周辺撮影送信装置および車両周辺撮影送信プログラム
JP2008059319A (ja) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp 物体認識装置および映像物体測位装置
US20090228204A1 (en) * 2008-02-04 2009-09-10 Tela Atlas North America, Inc. System and method for map matching with sensor detected objects
US20100070125A1 (en) * 2008-09-12 2010-03-18 Samsung Electronics Co., Ltd. Apparatus and method for localizing mobile robot
JP2011215053A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 風景画像認識を用いた自車位置検出システム

Also Published As

Publication number Publication date
HK1209488A1 (en) 2016-04-01
BR112014019731B1 (pt) 2022-06-14
GB201202344D0 (en) 2012-03-28
IN2014MN01485A (ja) 2015-04-24
WO2013117940A3 (en) 2013-12-05
KR20140130467A (ko) 2014-11-10
CN104520732B (zh) 2018-04-17
BR112014019731A2 (ja) 2017-06-20
EP2812727A2 (en) 2014-12-17
US20170098128A1 (en) 2017-04-06
JP6738777B2 (ja) 2020-08-12
US9576206B2 (en) 2017-02-21
WO2013117940A2 (en) 2013-08-15
US20140376777A1 (en) 2014-12-25
CN104520732A (zh) 2015-04-15
JP2015508163A (ja) 2015-03-16
EP2812727B1 (en) 2019-05-22
KR102053802B1 (ko) 2019-12-09
BR112014019731A8 (pt) 2017-07-11

Similar Documents

Publication Publication Date Title
JP6738777B2 (ja) センサの位置を推定する方法及び関連装置
Bresson et al. Simultaneous localization and mapping: A survey of current trends in autonomous driving
Xiao et al. Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
Churchill et al. Practice makes perfect? managing and leveraging visual experiences for lifelong navigation
Senlet et al. A framework for global vehicle localization using stereo images and satellite and road maps
Steder et al. Visual SLAM for flying vehicles
Diosi et al. Experimental evaluation of autonomous driving based on visual memory and image-based visual servoing
Agrawal et al. Rough terrain visual odometry
Qian et al. Rf-lio: Removal-first tightly-coupled lidar inertial odometry in high dynamic environments
Agostinho et al. A practical survey on visual odometry for autonomous driving in challenging scenarios and conditions
McManus et al. Lighting‐invariant visual teach and repeat using appearance‐based lidar
De Cristóforis et al. Hybrid vision-based navigation for mobile robots in mixed indoor/outdoor environments
Chiu et al. Precise vision-aided aerial navigation
EP2828620B1 (en) Generating navigation data
Alsayed et al. PML-SLAM: a solution for localization in large-scale urban environments
Steder et al. Learning maps in 3d using attitude and noisy vision sensors
Jäger et al. Efficient navigation based on the Landmark-Tree map and the Z∞ algorithm using an omnidirectional camera
Chiu et al. Sub-meter vehicle navigation using efficient pre-mapped visual landmarks
Sujiwo et al. Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge
Zhu et al. Cloud‐based Real‐time Outsourcing Localization for a Ground Mobile Robot in Large‐scale Outdoor Environments
Warren et al. Level-headed: Evaluating Gimbal-stabilised visual teach and repeat for improved localisation performance
Hirzer et al. Efficient 3D Tracking in Urban Environments with Semantic Segmentation.
Yang et al. PSL-SLAM: a monocular SLAM system using points and structure lines in Manhattan World
Garcia et al. A Proposal to Integrate ORB-Slam Fisheye and Convolutional Neural Networks for Outdoor Terrestrial Mobile Mapping

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180823

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6738777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250