JP2019207678A - 低速特徴からのメトリック表現の教師なし学習 - Google Patents

低速特徴からのメトリック表現の教師なし学習 Download PDF

Info

Publication number
JP2019207678A
JP2019207678A JP2019032417A JP2019032417A JP2019207678A JP 2019207678 A JP2019207678 A JP 2019207678A JP 2019032417 A JP2019032417 A JP 2019032417A JP 2019032417 A JP2019032417 A JP 2019032417A JP 2019207678 A JP2019207678 A JP 2019207678A
Authority
JP
Japan
Prior art keywords
mobile device
mapping parameters
metric
information according
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019032417A
Other languages
English (en)
Other versions
JP6855524B2 (ja
Inventor
フランツィウス,マティアス
Franzius Mathias
メトカ,ベンヤミン
Metka Benjamin
バウアー−ヴェルジング,ウーテ
Bauer-Wersing Ute
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2019207678A publication Critical patent/JP2019207678A/ja
Application granted granted Critical
Publication of JP6855524B2 publication Critical patent/JP6855524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/026Services making use of location information using location based information parameters using orientation information, e.g. compass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】メトリック表現の教師なし学習の方法、および移動デバイスのための対応するシステムを提案する。【解決手段】本方法は、環境表現から移動デバイス用のメトリック位置情報を決定する。移動デバイスは、センサデータを取得する少なくとも1つのセンサと、移動デバイスの変位量データを取得するよう構成されたオドメーターシステムとを備える。本方法は、教師なし学習アルゴリズムを適用して、取得されたセンサデータに基づいて環境表現を生成するステップを含む。変位量データとセンサデータとが、移動デバイスが軌道に沿って移動している間に取得される。マッピングパラメータの集合を算出するステップにおいて、マッピングパラメータの集合が、環境表現と変位量データとに基づいて算出される。メトリック位置推定を決定するステップにおいて、メトリック位置推定が、更なる環境表現と算出されたマッピングパラメータの集合とに基づいて決定される。【選択図】図1

Description

本発明は、移動システムの自己位置特定の分野に関し、特に、環境表現を生成するための低速特徴分析(slow feature analysis)などの教師なし学習を用いた、ロボットなどの自律移動システムに関する。本発明は、メトリック表現の教師なし学習の方法、および移動デバイスのための対応するシステムを提案する。
移動自律デバイス(移動ロボット)にとり、位置特定は重要な問題である。現在位置から出発して目標位置まで動くことなどの多くの機能が、位置データにおける現在位置を必要とするためである。
視覚的自己位置特定は、新しい研究分野である。移動ロボットに備えられたカメラセンサは、位置特定の目的に用いることのできる豊富かつ用途の広いセンサデータを生成する。位置特定アプローチの主なものは、例えば、SLAM(Self Localization and Mapping、自己位置特定およびマッピング)アルゴリズムおよび低速特徴分析(SFA、Slow Feature Analysis)などの低速性学習(slowness learning)に基づくアルゴリズムである。
ほとんどの自己位置特定アルゴリズムは、典型的には、メトリック空間における点特徴の識別および追跡に基づくSLAMアルゴリズムの分野に属する。SLAMアルゴリズムは、多くの場合、本来的にメトリックであり、マッピング工程中に既にオドメーターにより取得された情報を使用するので、それらの結果のメトリック空間への射影を必要としない。
オドメーターは、移動デバイスが移動した距離を測定する装置である。オドメーターは、例えば車輪の回転をカウントすることにより、移動デバイスの変位量データを提供する。
SLAMアルゴリズムの特定のクラスであるトポロジカルSLAMアルゴリズムは、位置を、場所の有限集合に分類し、メトリック関係のない接続された位置のグラフを構築するので、メトリック位置を必要としない。
上記のアプローチは研究目的では実施可能であるものの、限られた演算リソースしかもたない芝刈りロボットなどの小さな市販のロボットでの用途には適さない。
位置特定アルゴリズムの他のクラスは、ロケーション・フィンガープリンティング(location fingerprinting)を行う。ロケーション・フィンガープリンティングは、一つの位置を、既知である位置の離散集合のうちの一つ、例えば屋内環境における部屋の集合のうちの1つとして分類する。それらの位置は、トポロジー的なマップにおいて見られるように接続されている必要はなく、位置間の補間は、可能ではない場合があり得る。
上述のSLAMアプローチとは異なり、時間安定性学習(temporal stability learning)とも呼ばれることのある低速性学習アルゴリズム(slowness learning algorithms)に基づいて生成された環境表現は、メトリックではないので、メトリックオドメーターデータを含めるための直接的な方法はない。しかし、センサデータを提供する、校正されていない可能性のある複数の追加のセンサを用いて、比較的単純なセットアップと少ない演算量で環境表現を生成することができる。ロケーション・フィンガープリンティングからの他のアプローチを再利用して、接続のない位置推定の離散集合の代わりに、位置についての、高密度な、順序付けられた、且つ補間された推定を生成することができる。
低速性学習に基づく初期のアプローチは、グランドトゥルース(ground truth)のメトリック位置測定値を生成するための外部センサを使用する。これらのグランドトゥルース測定値は、その後、移動デバイスのメトリック2次元(2D)位置についてリグレッサー(regressor)を訓練するために用いられ得る。これらのリグレッサーは、記憶され、その後、外部センサを用いることなく新しいデータに基づいて移動デバイスの位置を推定するのに用いられ得る。さらに、自律デバイスのオドメーターの変位量データが、例えばカルマンフィルタを用いて、リグレッサーの出力と融合され、移動デバイスについてのより高精度な位置特定が行われ得る。ただし、外部センサの使用は、コストが高く、厄介で、且つ自律デバイスと外部センサとの間における同期の問題があって扱い難いことが多い。
"Outdoor self−localisation of a mobile robot using slow−feature analysis",B. Metka, M. Franzius and U. Bauer−Wersing, in Neural Information processing, 20th International conference ICONIP 2013, Daegu, Korea,2013年11月3日〜7日, Proceedings, Part I, 2013, 403−408頁
従って、移動デバイスの自己位置特定を改善することについての上記課題が解決されなければならない。
この課題は、請求項1に記載の方法、および、対応するシステムについての独立請求項に従うシステムにより解決される。
従属請求項は、本発明のさらなる有益な実施形態を規定する。
第1の態様に従う、移動デバイスのためのメトリック位置情報を環境表現から決定する方法は、少なくとも1つのセンサを備えて当該少なくとも1つのセンサを介してセンサデータを取得する移動デバイスを含む。オドメーターシステムは、移動デバイスの変位量データを取得するよう構成されている。本方法は、教師なし学習アルゴリズムを適用することにより、上記取得されたセンサデータに基づいて環境表現Rを生成するステップを含む。本発明の方法は、移動デバイスが軌道Tに沿って動くステップと、環境表現Rと変位量データとに基づいて、マッピングパラメータの集合Wを算出するステップとを含む。変位量データとセンサデータとは、移動デバイスが軌道に沿って動いている間に取得される。メトリック位置推定を決定するステップにおいて、さらなる環境表現と上記算出されたマッピングパラメータの集合Wとに基づいてメトリック位置情報が決定される。
本方法は、外部センサを要することなく、したがってコストを削減し且つ自己位置特定アプローチの同期問題に対するロバスト性を高めつつ例えば位置リグレッサー等のマッピングパラメータを学習する自律的アプローチを提案する。既知のアプローチは研究目的としては実施可能であることが証明されているのに対し、本方法は、自律芝刈り機などの小さな市販のロボットなどの移動デバイスに好適である。
すなわち、本発明は、オドメーターデータと、内蔵センサデータに基づいて取得された環境表現と、のデータ融合を用いることにより、より高い位置精度の推定を提供する。これを達成するために、本発明のアプローチは、訓練フェーズからの学習済みマッピングパラメータを用い、当該学習済みマッピングパラメータにより、運用フェーズの際に取得されたさらなる環境表現からのメトリック位置推定の提供を可能にする。このアプローチは、例えば市販の芝刈り機のセットアップにおいて有用であり、グランドトゥルースのメトリック位置特定データを学習するための外部センサを不要とする。特許を求める本アプローチを用いれば、典型的な市販の芝刈り機の直線的な動きパターンを用いて、メトリック位置の抽出を可能とする拘束条件としての直線的な線セグメントに沿った、マッピングパラメータの学習が行われる。
センサデータは、デバイスに搭載されたカメラ、特に無指向性カメラなどのセンサにより取得されるものとすることができ、取得されたセンサデータは、環境表現を学習するために用いられる。オドメーターシステムからの誤差の蓄積を避けるため、上記センサデータを用いて、移動デバイスの環境からのデータの測定が行われる。すなわち、本方法は、オドメーターシステムのようにデバイスの動きを積分することにのみ依存するわけではではない。
カメラ以外のセンサとして、電磁エリアワイヤセンサ(electromagnetic area wire sensors)、全地球的衛星航法システム(GNSS、global navigation satellite system)、深度測定センサ、例えば、レーザースキャナ、飛行時間(time-of-flight)カメラ、ステレオカメラまたは音響センサの、1つまたは任意の組み合わせを用いることができる。
本方法は、局所的に優れた結果を有するものの経時的に劣化するオドメトリ(odometry、路程測定)と、広域的に一貫性のある空間表現を見出し得るが本質的に非メトリックであって局所的にジッタを含む学習された環境表現と、を組み合わせる。本方法を適用して、例えばカルマンフィルタ処理により両者を組み合わせると、更に高い位置特定精度をももたらし得る。本発明の方法は、メトリック位置情報を生成することにより、そのような組み合わせの前提を提供する。
一実施形態に従う、メトリック位置情報を決定する本方法は、軌道Tが複数の曲線セグメントSを含むことを特徴とする。これらの曲線セグメントは、マッピングパラメータの集合を算出するステップにおいて、いくつかの低次元方程式を用いてパラメータ化される。
すなわち、訓練フェーズにおいて、軌道Tを構成する複数の曲線セグメントSを有用性のある単純な数学的記述で表すことで、線形またはアフィン回帰などの、最適化問題解決のための既知の計算アルゴリズムを用いてマッピングパラメータを決定することを可能とする。従って、本方法は、演算リソースを効果的に利用し得ることから、芝刈り機などの小さな自律移動デバイスに適している。
マッピングパラメータWの算出に用いられる曲線セグメントSは、移動デバイスの訓練された作業エリアのほとんど、特に、作業エリアの外側の境界付近の領域をカバーすることが好ましい。軌道Tにより実際にカバーされた作業エリアの内側において運用フェーズの際に行われる新しい位置についての位置情報の補間は、通常、軌道Tによりカバーされたこれらの領域の外側の新しい位置への外挿よりはるかに正確である。
好ましくは、マッピングパラメータWの決定に用いられる軌道Tの曲線セグメントSは、十分に高い頻度で互いに交差している必要がある。完全に共線(collinear)である曲線は、二次元作業エリアの1つの軸に沿ったメトリック位置学習を可能にする。
概して、曲線セグメントSの数および長さ並びに軌道Tの曲線セグメントSの空間分布を一方とし、訓練効率を他方として、これらの間にはトレードオフが存在する。
好ましい実施形態に従う、メトリック位置情報を決定する本方法は、直線、略直線、円、円セグメント、シグモイド曲線、正弦曲線、低次スプライン、または多項式曲線のうちの、少なくとも1つの曲線タイプを含む曲線タイプの、複数の曲線セグメントを含む。
割り当てられた作業エリア(作業環境)内を移動する自律移動デバイスに予め規定される経路には、上述のような予め定められた曲線タイプが用いられる。これらの曲線タイプを用いることで、軌道Tにより作業エリア全体をカバーすることができると同時に、軌道TについてのマッピングパラメータWの算出のためのパラメータ化を効率的に実行することができる。
線(ライン)タイプの曲線セグメントSは、訓練フェーズ中における最も低次元の曲線タイプである。従って、線セグメントは、最も単純なアプローチであり、自律芝刈り機およびクリーニングロボットの典型的な軌道にも適合する。また、線セグメントは、特に一定速度で走行される場合には移動デバイスの加速度を最小化するので、車輪の滑りに起因する変位量データにおける変位量誤差(オドメトリ誤差(路程測定誤差))を低減する。とはいえ、その他の曲線タイプを用いることも可能であり、例えば多項式、スプライン、円、および円セグメント、またはシグモイド曲線のように、少数のパラメータを用いてパラメータ化することのできる曲線であれば好ましい。このようなより多くのタイプ(クラス)の曲線を用いることで、専用の訓練フェーズにおいて、移動デバイスの軌道Tを構成する移動経路に対して課される要求が緩和される。これに代えて、又はこれに加えて、移動デバイスの初期の運用フェーズが、特に、様々な曲線タイプが利用可能なものである場合には、非専用の訓練フェーズとして用いられ得る。
好ましい実施形態による、メトリック位置情報を決定する本方法は、軌道Tを、各々に曲線パラメータの集合を持つ曲線セグメントに区分するステップを含む。曲線パラメータの集合は、対応する曲線セグメントの数学的記述を提供する。マッピングパラメータの集合を算出するステップでは、曲線セグメントSのすべてについて、変位量データを一方とし、環境表現Rにおける対応する変化を他方として、これらの間の差分尺度を最小化することによって、マッピングパラメータの集合Wおよび曲線パラメータの集合が算出される。ここで、算出されたマッピングパラメータの集合Wを環境表現Rについて適用した後の、マッピングされた環境表現は、対応するマッチング曲線セグメントS上に存在する。
すなわち、本方法は、上述した位置特定の問題を解決するため、異なるアプローチの利点を組み合わせたメトリック位置推定を生成すべく、低速特徴分析またはこれと同等の低速性アルゴリズムの利点をオドメーターシステムからの変位量データに統合する可能性を提供する。
一実施形態に係るメトリック位置情報を決定する本方法は、車輪オドメーター(wheel odometer)、視覚オドメーター(visual odometer)、および慣性測定ユニットのうちの少なくとも1つから変位量データを取得するオドメーターシステムを有する。
すなわち、本方法は、現在の自律移動デバイスにおいて既に見られる少なくとも1つの広く用いられているオドメーターシステムを用いてメトリック位置情報を生成するので、追加的なハードウェアコンポーネントを必要とせず、従って、低コストの移動デバイスにおいても経済的に実施することができる。
一の好ましい実施形態に係るメトリック位置情報を決定する本方法は、教師なし学習アルゴリズムとして、低速性学習アルゴリズム、特に、SFAを使用する。本方法は、SFAが生成した環境表現にメトリック位置情報を統合することにより、SFAを大幅に改善することができる。すなわち、本方法は、環境表現がメトリック位置情報をも提供するので、移動デバイスの改善された位置特定およびナビゲーション機能のための更なる後処理ステップを簡単に実装する可能性を提供する。さらに、双方の位置特定方法をそれらの利点と共に組み合わせることで、移動デバイスの位置特定の精度が向上する。
本方法は、所与の状況において、空間的に滑らかな環境表現をもたらす低速性目的関数(slowness objective function)の1つの効果的な実装として、SFAを使用するものとすることができる。滑らかさは、線形の又は複雑度の低い非線形マッピングの使用を可能にし、加えて、SFAは、コンパクトで低次元の環境表現を出力するので、必要な訓練点がより少なくなり、マッピングパラメータの集合Wを用いたマッピングがより効果的なものとなる。回転は、環境表現の効率に非常に大きな影響を与える。SFAは、移動デバイスの向きが環境表現に影響を与えないような態様で学習を行い得るので、環境表現は方向不変性(orientation invariance)を示す。
これに代えて、低速性学習のオンラインバージョンが用いられ得る。これにより、必要なメモリおよび演算能力は、より少ないものとなり得る。
これとは異なり、生のピクセル値に基づいた空間表現は、例えば非常に多くのパラメータを用いて回帰(リグレッション、regression)を算出することが必要となる。ただし、SFAに基づかない他の知覚表現(sensory representations)も可能である。一例は、位置認識について訓練された深層畳み込みニューラルネットワーク(CNN、convolutional neural network)のペナルティメート層(penultimate layer、最後から2番目の層)の出力を使用し、このデータに対して位置回帰を実施することであり得る。既知のアプローチは、カメラ姿勢回帰(camera pose regression)を用いる。このアプローチでは、カメラの6次元姿勢(x/y/z位置および3つの回転軸)のすべてが教師あり回帰により学習される。訓練中におけるセンサの動きが局所的に線セグメントであれば、本方法を用いて、6次元でのカメラ姿勢回帰を教師なし手法で行うことが可能となり得る。
方向依存表現についての問題を避けるべく、センサデータは、方向不変となるように処理され得る。この処理は、例えば、磁場(方位計)センサからのデータに基づいて、全方向画像の向きを常に固定方向を向くように回転させることにより行われる。
これに代えて、いくつかの表現、例えば位相情報が破棄された全方位画像についてのフーリエ表現は、本質的に方向不変性を有する。このようなステップを行った後であれば、メトリック位置推定には、SFAよりも単純な環境表現で十分となり得る。
一の有利な実施形態に係る、メトリック位置情報を決定する本方法は、訓練フェーズにおいて、及び又は初期運用フェーズにおいて、及び又は計画された間隔で、及び又は連続的に、および漸次(incrementally)に、マッピングパラメータを算出するステップを実行する。
したがって、特許による保護を求める本方法は、その時々の移動デバイスのフェーズに容易に組み込まれる。例えば、移動デバイスが作業環境の環境表現を学習する訓練フェーズの際に、又は移動デバイスが作業環境において割り当てられたタスクを実行し始める運用フェーズの開始時に、容易に組み込まれる。他方において、本方法は、変動する環境に対処するべく運用フェーズにおいて、例えば規則的な間隔で実行されることについても、上記と同様に適している。
好ましくは、メトリック位置情報を決定する本方法は、メトリック位置情報と変位量データとの間の不一致が検出されたときに、マッピングパラメータの集合を算出するステップを繰り返す。
メトリック位置情報と変位量データとの間の相違が監視され、それらの不一致が検出された場合には、作業環境において発生している可能性のある変化を考慮すべく、マッピングパラメータの集合Wの学習が繰り返される。これにより、算出された位置推定が運用フェーズにおいて徐々に劣化することが回避される。
一実施形態に係る、メトリック位置情報を決定する本方法は、マッピングパラメータの集合Wを算出するステップにおいて残差(residual)が閾値を上回ったとき、マッピングパラメータを算出するステップを反復する。
従って、本方法は、位置推定に対する結果を徐々に改善して十分な精度を提供することができる。
有利には、マッピングパラメータの集合Wは、移動デバイスの位置に対するアフィン回帰として、特に、平面における移動デバイスの二次元位置に対する2つのアフィン回帰として算出される。
一実施形態に係る、メトリック位置情報を決定する本方法は、非線形回帰、例えば二次回帰として、または、ニューラルネットワークを用いたフィッティングにより、マッピングパラメータの集合Wを算出する。
処理能力の観点で能力の低い移動デバイスにおいても本方法を実施することを可能とする、確立された、演算効率の高い、アフィン回帰又は非線形回帰を決定するためのアルゴリズムが存在する。ニューラルネットワークは、同様に、教師なし学習に基づいて本方法を実施するための有利な特性を提供する。
一の好ましい実施形態は、マッピング関数として、線形(またはアフィン)回帰、および二次回帰を使用する。二次回帰は、次数2の全単項式の空間(the space of all monomials of degree 2)に拡張された入力信号についての線形回帰、例えば[x、x、…、x、x 、x、…、x ]の空間に拡張された入力信号についての線形回帰である。回帰のアフィン分散は、メトリック座標における一定のオフセットを修正することを考慮する。代替例は、発生し得る外れ値及び又は他の非線形拡張を良好に対処し得るロバスト回帰である。ニューラルネットワークは、このような非線形回帰アプローチの他の例である。
一の実施形態に係る、メトリック位置情報を決定する本方法は、一次方程式の集合を用いて最適化問題を解くことにより、または、シンプレックスアルゴリズムを使用することにより、または、方程式の集合Eに対する勾配降下により、マッピングパラメータの集合Wを算出する。
一の実施形態によると、メトリック位置情報を決定する本方法は、方程式の集合Eに対する勾配降下によりマッピングパラメータを算出し、方程式の集合Eの導関数は予め演算されて、メモリに記憶される。
従って、以前に計算され及び記憶された導関数の参照が可能であれば、マッピングパラメータの算出処理が、演算の面で高効率に実行される。
一の有利な実施形態に係る、メトリック位置情報を決定する本方法は、変位量データの少なくとも一部に基づいて、マッピングパラメータの集合Wを算出するためのパラメータを初期化する。
オドメーターシステムにより提供される変位量データは、移動デバイスの動きの開始時に精度の良い変位量データを提供する傾向があるので、上記初期化は有利である。変位量データの精度は、移動に伴って誤差が蓄積されるため経時的に劣化する。とはいえ、変位量データは、アルゴリズムが良好に収束するように計算処理の初期化を実行する際の、特定の精度の良い変位量値を提供する。
好ましい実施形態に係る、メトリック位置情報を決定する本方法は、算出されたメトリック位置推定を所望の座標系に変換するステップを含み、当該変換するステップは、特に、回転、ミラーリング、およびシフト演算のうちの少なくとも1つを含む。
一実施形態に係る、メトリック位置情報を決定する本方法は、所望の座標系についてのマッピングパラメータの集合Wが、移動デバイスのベースステーションの位置を中心とすることを特徴とする。マッピングパラメータの集合Wは、基準マップ位置をベースステーション内にある軌道Tについての初期軌道点に拘束するよう最適化を制約することで算出される。これに代えて、マッピングパラメータの集合Wは、軌道Tの初期部分に対応する変位量データの初期部分とマッチするように、マッピングパラメータの集合Wにより実行されるマッピングを回転させること、シフトさせること、および反転(mirroring)すること、のうちの少なくとも1つの後処理ステップにより、マッピングパラメータの集合Wを修正することで算出される。
移動デバイスのベースステーション、例えば充電ステーションを、メトリック位置推定のための座標系の基準として用いること、及び、パーキングステーション又は充電ステーションにおける移動デバイスの向きをメトリック位置情報における0度の基準方向として用いることは、位置推定の有利な基準を提供する。
一の好ましい実施形態に係る、メトリック位置情報を決定する本方法は、センサデータから環境表現を学習する学習フェーズの一部として、軌道Tに沿って移動デバイスが移動するステップを含む。移動デバイスのメモリは、学習フェーズ中に取得されたセンサデータを記憶するように構成されている。これに加えて又はこれに代えて、軌道Tに沿って移動デバイスが移動するステップは、センサデータに基づいて環境表現を学習する学習フェーズの後に実行される。これらは、いずれを用いることも可能であり、一方においては処理の必要性および記憶装置の要件に応じて、他方においては移動デバイスの利用可能な処理能力および記憶容量に応じて、柔軟に実施され得る。
メトリック位置情報を決定する本方法の一の実施形態では、マッピングパラメータの集合Wを算出するステップは、センサデータから環境表現を学習する学習フェーズにおいて実行され、その際、環境表現Rを学習するためのオンライン学習アルゴリズムが用いられる。
一の実施形態に係る、メトリック位置情報を決定する本方法では、マッピングパラメータの集合を算出するステップは、センサデータから環境表現Rを学習する学習ステップと交互に実施される。従って、学習フェーズM1の第1の部分においても、メトリック位置情報、または少なくともメトリック位置推定が、既に利用可能である。メトリック位置情報は、マッピングパラメータの集合Wを算出する後続のステップにおいてさらに洗練され、経時的に収束する位置情報を提供する。従って、限られたメモリおよび演算リソースが経済的に用いられる。
本発明の第2の態様は、環境表現から移動デバイスのメトリック位置情報を決定するためのシステムである。移動デバイスは、センサデータを取得するように構成された少なくとも1つのセンサと、移動デバイスの変位量データを取得するように構成されたオドメーターシステムとを備える。本システムは、教師なし学習アルゴリズムを適用することによりセンサデータから生成された環境表現Rを生成するよう構成された電子制御ユニット(プロセッサ)を備える。本システムは、電子制御ユニットが、環境表現Rと変位量データとに基づいてマッピングパラメータの集合Wを算出するよう構成されていることを特徴とし、移動デバイスが軌道Tに沿って移動している間に、変位量データとセンサデータとが取得される。本システムは、運用フェーズ中に取得されたさらなる環境表現と、上記算出されたマッピングパラメータの集合Wとに基づいて、メトリック位置情報を算出するようにさらに構成されている。
一の有利な実施形態に係る、メトリック位置情報を決定するための本システムは、移動ロボット、特に、ロボット芝刈り機またはロボットクリーナーである移動デバイスを含む。
本発明は、自律移動デバイスにおける学習されたマッピングパラメータの集合Wに基づいた、環境表現Rと変位量データ(オドメーターデータ)との融合を使用することにより、より高い位置精度の推定をさらに提供する。メトリック位置の抽出を実現可能にする制約として、直線形状の曲線セグメントに沿った典型的な芝刈り機ロボットの直線的な動きパターンが用いられる。
本発明は、例えば、ロボットアームやCNCデバイスの位置決め、あるいは限定的なエリア内におけるスマートフォンによる正確な位置特定などの、位置特定が有益であって且つ知覚データ(sensory data)および変位量センサ(オドメトリ)が利用可能な他の分野の移動デバイスにも適用され得る。
第3の態様に係るコンピュータプログラムは、プログラムがコンピュータまたはデジタル信号プロセッサにおいて実行されたとき上述した実施形態のうちの1つに従うステップを実行するためのプログラムコード手段を含む。第3の態様に従うコンピュータプログラム製品は、プログラムがコンピュータまたはデジタルシグナルプロセッサにおいて実行されたときに上記ステップを実行するための、機械読み取り可能な媒体に記憶されたプログラムコード手段を含む。
以下の図面を用いて、ナビゲーション方法およびナビゲーションシステムの一実施形態を詳細に説明する。
一実施形態に係る移動デバイスのための自己位置特定方法のフロー図である。 移動デバイスにおける、一実施形態の自己位置特定システムの主要な要素の概括的なブロック図である。 移動デバイスの環境についてのSFAベースの分析に関する、概略的なモデルアーキテクチャを示す図である。 ロボット試験データについての教師あり回帰と教師なし回帰との例示的な比較を示す図である。
オドメトリ(odometry、路程測定)という用語は、例えば車輪の回転またはIMUからの、移動デバイスの変位量測定値の積分を用いた方法について用いられる。本用語は、変位量センサまたはオドメーターシステム(センサ)、および、変位量データを提供する統合された変位量測定について用いられる。
図1には、一実施形態に係る、移動デバイスのための自己位置特定方法の、フロー図が示されている。位置特定システムの構成ユニットおよびモジュールについては、図2及び当該図2における参照符号を用いる。
概して、移動デバイスのためのナビゲーション方法は、2つの別個のフェーズを含む。すなわち、(第1の)学習(訓練)フェーズM1において、環境表現Rが学習される。(第2の)適用フェーズM2において、学習された環境表現Rに基づいてナビゲーションタスクが実行される。
ナビゲーションタスクは、作業エリア(作業環境)内において開始点から目標点まで移動デバイスをナビゲートすることを含み得る。
これらの個々の方法ステップは、位置特定システム1の電子制御ユニット4において動作するソフトウェアモジュールにおいて実施され得る。電子制御ユニット4は、共通基板上に又は移動デバイス内に分散して配置された、1つの又は複数のプロセッサ、若しくは複数のシグナルプロセッサであり得る。上記ソフトウェアの一部または全部は、移動デバイスにおいてローカルに実行されるか、及び又は移動デバイスの外部において遠隔コンピュータまたはサーバーにより実行され得る。
第1のステップS1において、移動デバイスは学習フェーズM1に入り、作業エリア内において、予め定められた軌道T上の移動を開始する。
学習フェーズM1はステップS2へ続き、当該ステップでは、データ取得ユニット3(データ取得インターフェース)が、少なくとも1つのセンサ2.1、2.2から、移動体の環境についてのセンサデータを取得する。この移動体には、当該移動体が現在の場所(現在位置)において現在置かれている作業空間または作業エリアが割り当てられ得る。取得されたセンサデータに含まれる情報は、その移動体のセンサ2.1、2.2が、その移動デバイスの現在位置から、知覚可能な環境をどのように知覚しているかを表している。
取得されたセンサデータは、典型的には、移動デバイスが軌道に沿って移動する間、大きく変動する。また、隣接した位置のセンサデータにおける知覚表現(sensory representations)は、大きく離れた場所の知覚表現とは大きく異なることが多い。ある地点において移動デバイスを回転させただけでも、知覚表現が完全に変わってしまうこととなり得る。従って、現在位置の知覚表現と目標位置の表現との差を取得しても、一般に、結果は大きく変動し、目標位置に到達するために次にどこに行くべきかについて情報は、ほとんど得られないか、又は全く得られない。
センサタイプまたはセンサの組み合わせには、カメラ、ソナー、レーダーレーザースキャナ、全地球的衛星航法システム(GNSS)、ラジオ周波数識別(RFID、radio frequency identification)の検出および測距、および、移動デバイスやそのセンサ2.1、2.2の回転のシミュレートを可能にする魚眼カメラまたはカタディオプトリックカメラ(反射屈折カメラ、catadioptric camera)などの360度視野のカメラセンサが含まれ得る。カタディオプトリックセンサは、ミラー(反射光学系)とレンズ(屈折光学系)とを、組み合わされた反射屈折系(a combined catadioptric system)として含む視覚センサである。カタディオプトリックセンサは、曲面ミラーにカメラを向けることにより生成されるパノラマセンサである。概して、有利なセンサデータにより良好なセンサ性能を得るためには、センサ2.1、2.2またはセンサ配置が、学習フェーズM1の際に、環境における任意の場所について固有の表現を出力するようになっている必要がある。
ステップS3において、上記取得されたセンサデータは、当該取得されたセンサデータに基づく環境表現Rを生成するのに用いられる。特に、ステップS3では、教師なし学習を実施することにより、上記取得されたセンサデータから環境表現が生成される。特に好ましい実施形態では、低速特徴分析(SFA)が実行されて、環境表現Rが生成される。
SFAにより実行されるような低速性学習において結果として得られる環境表現は、主として学習フェーズM1中における移動デバイスの移動統計量(movement statistics)に依存する。センサ2.1、2.2の向き、特にカメラセンサの向きに関して不変な位置の符号化を行うには、移動デバイスの環境のマッピングの際に、センサ2.1、2.2の並進移動と比較して、いくぶん大きな量のセンサ2.1、2.2のヨー軸周りのセンサ回転が必要となる。移動デバイスに固定される形で観測範囲が変更できないように搭載されたセンサ2.1、2.2の場合には、センサの動きは、移動デバイスの動きに対応している。
ステップS3において生成された環境表現Rは、ステップS4においてデータ記憶ユニット5(メモリ)に記憶される。移動デバイスは、学習された環境表現を記憶する内蔵データ記憶ユニット5(メモリ)を含むナビゲーションシステムを備え得る。これに加えて又はこれに代えて、ナビゲーションシステムは、例えば図2に示されない通信ユニットを介し、移動デバイスの外部に位置するデータサーバであって、環境表現または例えば複数の作業エリアに対する複数の環境表現を記憶するデータサーバに、アクセスするものとすることができる。
ステップS3において生成された環境表現Rは、ナビゲーションタスクを実行する適用フェーズM2の基礎をなす。
低速性学習に基づくある一定の教師なし学習アルゴリズムは、空間内において滑らかに変化する空間表現またはマップを生成する。本発明は、例えば移動デバイスがランダムに走行して回ることにより、学習フェーズM1において特定の環境についての教師なし学習により学習される、このような滑らかな表現から利益を得る。
訓練フェーズM1における訓練軌道は、当該訓練フェーズM1において移動デバイスの前進移動に比べて比較的大きな回転量により方向不変性が得られと特に有益であり、または、センサを付加的に回転させることにより若しくは学習フェーズM1において知覚表現を回転させることにより、このような(上述の)回転をシミュレートすることで方向不変性が得られると、特に有益である。
学習フェーズM1においては、訓練エリアが、十分に長く、網目状に一様な(intermeshed and homogenous)範囲でカバーされていることが好ましい。
例えばぬかるみを通って移動する場合と道路面を移動する場合とで速度が異なることに起因して、訓練エリアの領域毎に平均移動速度が一様でない場合、移動デバイスの移動速度は、訓練フェーズM1から結果として得られる環境表現に符号化される。
複数の適切な訓練軌道で構成される大きなクラスの場合には、学習フェーズM1の後では、学習された表現の部分集合は、方向に関して不変であり、空間にわたって単調に変化する。これらの性質は、移動デバイスの現在位置に対応する空間表現と、直近のナビゲーションタスクにおける目標位置に対応した目標空間表現と、の間における環境表現の差についての勾配降下によって2つの地点間で移動デバイスをナビゲートすることを可能にする。
ステップS5において、オドメーターシステム9は、移動デバイスが軌道Tに沿って動く間に、変位量データを生成(取得)する。変位量データは、データ取得インターフェース3を介して位置特定システム1の電子制御ユニット4(ECU、electronic control unit)に提供される。電子制御ユニット4は、取得された変位量データと環境表現Rとをメモリ5に記憶し、本方法の実行中において、当該変位量データおよび環境表現Rにアクセスし得る。記憶された変位量データと環境表現Rとは、軌道Tに沿って移動する際に移動デバイスがそれらのデータを取得したそれぞれの時刻により関連付けられる。
学習フェーズM1において環境表現を生成するステップS3について、図3を参照しつつ更に詳細に説明する。
電子制御ユニット4は、ここに説明するアプローチには限定されないが、低速特徴分析(SFA)アプローチを適用して、上記取得されたセンサデータ、特に多次元センサデータを、上記環境の空間的性質を低速に変化する環境表現Rに符号化した、低速で変化する出力信号に変換し得る。
SFAアプローチは、瞬間スカラー入出力関数(instantaneous scalar input-output functions)g(x)であって、
で表される出力信号s(t)が、
を、
の制約の下に最小化するようなg(x)を見出すことを目標とする。ここで、式(3)は、出力信号y(t)の平均値がゼロであることを意味し、式(4)は、出力信号s(t)が単位分散を持つことを意味している。また、式(5)は、出力関数s(t)が互いに脱相関(de-correlated)であることを要求するものであり、異なる出力信号成分が異なる情報を符号化することを保証するものである。
式(3)、式(4)、および式(5)において、〈 〉という記号は、時間的に平均を算出することを表し、
は、時間に関するsの一次導関数である。式(2)のΔ値は、最適化目的値(optimization objective)であり、その導関数の二乗の時間平均が、出力信号の低速性を表す。小さなΔ値は、経時的に小さな変動を表し、従って低速で変動する信号を表す。式(3)および式(4)は、すべての出力信号を共通スケールに正規化する。従って、それらの時間導関数は、直接に比較することができる。式(3)および式(4)は、この最適化問題についての、無限大に低速であるが情報が何もない自明な定数解を抑制する。経時的に低速性を最大化することを目指してはいるものの、関数gは、出力信号を即座に抽出するものでなければならない。従って、経時的に入力センサ信号を平滑化することにより低速変動の出力信号を生成する解、例えばx(t)の移動平均を演算することにより低速変動の出力信号を生成する解や、または、信号を低域通過フィルタ処理することにより低速変動の出力信号を生成する解は、排除される。SFAは、即時の処理を提供すると同時に、情報を運ぶ低速変動出力、特に、異なる関数gが移動デバイスの環境についてセンサ2.1、2.2が取得した入力センサ信号の異なる側面を符号化するような低速変動出力、を出力する。
SFA分析は、固有値問題を解くことに基づいて解を導出することを含み得る。
自己位置特定のタスクに対処するには、移動デバイスの現在位置を低速で変動する特徴により符号化する関数であって、同時に、移動デバイスの実際の向きに関して不変性のある関数が適している。学習された低速特徴により符号化された情報は、訓練データの統計値、特に、訓練フェーズM1中に取得されたセンサデータの統計値に依存する。方向不変性を得るためには、訓練フェーズM1中において、移動デバイスの向きが、当該移動デバイスの位置よりも速い時間スケールで変更される必要がある。
移動デバイスは、取得されたセンサデータの前処理を行うべく、付加的な移動デバイスの回転と、周期的なパノラマウィンドウ(panoramic window)上でのスライドウィンドウのシフト移動と、を行い得るように、カメラとして実装されたセンサ2.1、2.2に対して好適に配置された全方向ミラー(omnidirectional mirror)を用いるものとすることができる。
本ナビゲーション方法は、ステップS2において、センサデータ、特に視覚センサデータを取得する。このセンサデータは、ステップS3において、複数の収束層(converging layers)で構成された階層ネットワークにより処理され得る。続いて、すべての訓練用の視覚センサデータの画像を、それらが訓練フェーズM1において記録された順に用いて、上記層の訓練が行われ得る。一つの層につき1つのノードが、その層におけるすべてのノード位置からの刺激により訓練され、訓練後にその層の全体に亘って複製される。訓練フェーズが終了すると、単一の像から複数の低速特徴が即座に算出されることとなる。
ステップS6において、軌道は、それぞれが有利に単純な数学的表現を有する曲線タイプを含んだ複数のセグメントSに区分される。ここで説明する実施形態では直線タイプのセグメントSのみが用いられるが、本発明はこの特定の曲線タイプに限定されず、当業者は、ここに示す教示を他の曲線タイプにも容易に適用することができる。
軌道Tのセグメント分けは、変位量データを用いて及びそれらに基づいて、例えば、移動デバイスが走行する軌道Tにおける急な方向転換を識別することにより行われ得る。
次のステップS7において、マッピングパラメータの集合Wについての方程式系Eが生成される。方程式系Eは、曲線セグメントS上の各点における環境表現Rと各点間における変位量データからの距離とを既知の値として有する。生成された方程式系Eにおける未知のパラメータは、例えば、曲線タイプとして線形を持つ特別なセグメントにおける、直線である曲線セグメントの傾き角度である。他の未知のパラメータは、マッピングパラメータの集合Wを構成するマッピングパラメータ、特に、回帰のための重みおよびバイアスである。
詳細に説明される実施形態による本発明の方法は、センサ2.1、2.2により取得されたセンサデータ、例えばカメラセンサにより取得された画像データからSFAにより算出された環境表現Rを使用する。
概して、所与の位置p:=(x,y)からの画像について算出された低速特徴ベクトルs∈Rが与えられると、推定p=W+εについての誤差ε∈Rが最小となるように、マッピングパラメータの集合W(重み行列)、W=(w)∈RJ×2が決定される。
重み行列Wという用語は、本発明の文脈においてはマッピングパラメータの集合を表している。
移動デバイスの位置pについての外部測定値は用いられず、利用可能なメトリック情報の情報源は、移動デバイスの自己運動推定からのもののみである。既に説明したように、もっぱらオドメーターシステム9からの変位量データに基づく姿勢推定は、経時的に誤差を蓄積するので、直接的に重み行列Wを学習するための適切なラベル情報を提供しない。特に、方向測定における誤差は、変位量データにおける大きな偏差をもたらす。その一方で、オドメーターシステム9からの変位量データにおける距離測定値は、局所的に非常に精度が良い。これらの距離測定値を使用して重み行列Wを学習するべく、特定の軌道タイプを持つ軌道Tに沿って移動デバイスが移動している間に取得されるデータが用いられる。
説明のため、訓練エリアが一様にカバーされ、且つ線l(小文字のL)同士の間に特定の数の交点が存在するように、個々のセグメントSとしての直線に沿って移動デバイスが移動するとする。現在の家庭用ロボットまたはロボット芝刈り機および同様の移動デバイスでは、このような移動ストラテジは典型的であるので、このような仮定は最小の制約である。
線lは、M個の点P=(p,…,p)からなる。各点pにおいて、対応する画像について算出された低速特徴ベクトルsと、
で与えられる、線lの原点oに対する現在の距離測定値dmと、オフセットベクトルo:=(x;yと、が記録される。線lの向きα、原点o、および距離測定値dに基づいて、下式
により、その点が再構築(reconstruction)される。正しい重み行列Wを得るべく、低速特徴ベクトルsを用いた同一点の再構築を、
により定義する。
しかし、重み行列Wも線パラメータoおよびαも未知であるので、これらを推定する必要がある。最適なパラメータが与えられると、線パラメータと重み行列とに基づく点ごとの推定間の差は最小となる。従って、上記パラメータは、点ごとの再構築における差を最小化することによって、同時に学習され得る。線セグメントの交点と重み行列Wの重みとにより広域的に一貫したマッピングを保証しつつ、オドメーターシステム9からの距離測定値により正しいメトリックスケールが導入される。セグメントSとしてのN個の線セグメントに関して、パラメータθ=(α, ,a;o,…,o,W)についてのコスト関数Cは、次式で与えられる。
式(6)において、Mは線l上の点の数である。これに対応する、パラメータθについての偏導関数は、式(7)により与えられる。
移動デバイスが作業環境を効果的に探索する場合には、各座標軸に沿って少ない数の交差をもつ格子様の軌道T内の直線lに沿って走行することで、線セグメント間の角度は略90°となる。従って、マッピングパラメータの集合を用いた重み行列Wにより規定される、低速特徴ベクトルをメトリック位置へマッピングする学習された線形マッピングは、座標軸の剪断(shearing)を含み得る。
一の例では、学習された解は、すべての点を単一の線上にマッピングしてしまう。この問題を避けるため、連続する線セグメント間の相対角度が、変位量データから測定された向きの変化に対応するように、線の向きαに制約を加えるものとすることができる。すなわち、αおよびαn+1の現在の推定により規定される相対角度の、オドメトリから取得された向きの変化の測定値
からの偏差に罰を与える(ペナルティを与える)項が、コスト関数Cに追加され得る。
αおよびαn+1は、それらのドット積により相対角度の余弦値が得られるように、単位ベクトルとして表される。従って、上記相対角度の、測定された角度からの偏差は、これらの角度の余弦値の差として定義される。これにより、式(6)のコスト関数Cが、次のように拡張される。
すなわち、式(6)におけるコスト関数Cが並進測定値のみを使用するのに対し、C’は、オドメーターシステム9からの変位量データにおいて取得されたヨー回転情報をさらに使用する。式(8)におけるコスト関数の偏導関数は、αの偏導関数を除き、式(7)におけるコスト関数の偏導関数と同じである。αの偏導関数は、次式により与えられる。
パラメータθについての解は、コスト関数Cに勾配降下を実行することにより取得され得る。反復ステップtにおける更新は、次式により与えられる。
式(10)において、βは学習率(learning rate)であり、γ∈(0,1]は、現在の更新に組み込まれた、収束速度を上げるための及び以前の勾配からの情報量を調節するための、慣性項である。パラメータγは、ゼロを除く或る区間から設定される。
算出される解は、オドメーターシステム9の座標系に対し並進移動と回転が与えられたものであって且つ変位量データに固有なものとなり得る。算出される解は、また、コスト関数Cのため反転(mirror)され得る。必要な場合には、これは、後処理ステップにおいて、例えばoおよびαを選択された座標系に適合するように制約することにより、または、解を回転、並進、および反転(mirroring)させることにより、修正され得る。
なお、マッピングパラメータの集合Wは、それらのすべてが最適化の影響を受けるパラメータθを含み、2D(2次元)平面に対するマッピングパラメータθxyと曲線パラメータθとで構成されることに留意されたい。
マッピングパラメータθxyは、環境表現Rからメトリック位置情報Pへのマッピング関数Mθ_xy:R(t)→P(t)を規定するので、最適化の後は保持され且つ記憶される。例えば線形の場合には、Mθxyは、2つの回帰重みベクトル(regression weight vectors)で構成される。θは、曲線セグメントSに沿った点Pのメトリック位置を記述するためのすべてのパラメータを含んでいる。2Dにおいて直線セグメントを持つ、曲線タイプの単純な例の場合、θは、例えばオフセット(x,y)についての2つの値と線の傾きαについての1つの値とからなる。
本方法は、コスト関数Cを定式化し得る。当該コスト関数は、解析的に導出されたパラメータの偏導関数を用いて、環境表現Rからメトリック位置情報へのマッピングを見出すべく、勾配降下により最小化される。
これに代えて、コスト関数Cは、他の最新のオプティマイザー、例えば、ネルダーミードシンプレックスアルゴリズム(Nelder-Mead Simplex algorithm)またはニュートン共役勾配アルゴリズム(Newton-Conjugate-Gradient algorithm)、遺伝的最適化(genetic optimization)、または逐次最小二乗プログラム(Sequential Least Squares Programming)により最小化され得る。いくつかのオプティマイザーは、より速く収束し得るか、または、例えば座標系の向きおよび鏡面対称性を強制的に行って、制約された最適化をより良好にサポートし得る。
他の代替例は、コスト関数Cの代わりにパラメータ間の関係の方程式系を構築した後、近似方程式ソルバーを使用することである。
図1のステップS8において、マッピングパラメータの集合Wが、ステップS7において最適化方法により生成された方程式系から算出される。マッピングパラメータの集合Wは、環境表現Rからメトリック位置情報を算出することを可能にする。
続くステップS9において、上記算出されたマッピングパラメータの集合Wが、メモリ5に記憶される。従って、後続の運用フェーズM2では、電子制御ユニット4は、メモリ5にアクセスし、マッピングパラメータの集合Wを用いてメトリック位置情報を算出することができる。
ステップS10、すなわち運用フェーズM2の第1のステップにおいて、自身に割り当てられた作業環境内を移動デバイスが移動する間に、電子制御ユニット4が、センサ2.1、2.2からデータ取得インターフェース3を介して実際のセンサデータを取得する。
環境表現Rは、一般性を失うことなく、以前の訓練フェーズM1において生成されたSFA空間である。適用フェーズM2は、SFA空間の勾配ベースの評価をナビゲーションに用い得る。まず、多くの低速特徴成分が選択される。低速特徴は、例えば、当該低速特徴のβ値の逆数をそれら低速特徴に乗算することにより重み付けされ得る。β値は、例えばこれら低速特徴の時間的な変動の尺度であり得る。
続くステップS11において、電子制御ユニット4は、マッピングパラメータの集合を用いて、環境表現Rを介して実際のセンサデータからメトリック位置情報を算出する。この運用フェーズM2では、移動デバイスのメトリック位置が、マッピングパラメータWを用いて環境表現Rから算出される。
その結果、移動デバイスは、利用可能なメトリック位置情報に変換された、実際の環境表現から算出された環境表現をもつこととなる。運用フェーズM2においては、移動デバイスにより走行される軌道には何の制約も適用されない。例えば、ナビゲーションのために、帰還(homing)のために、または作業エリアカバレッジ制御のために、メトリック位置情報が用いられ得る。
その後に続く任意選択のステップS12において、例えば拡張カルマンフィルタ(EKF:Extended Kalman Filter)を用いて、メトリック位置情報が実際の変位量データと融合され、オドメーターシステムにより取得された変位量データの利点と、センサデータ(特にカメラセンサ)から補足されて教師なし学習により取得される環境表現の利点と、を兼ね備えたメトリック位置情報が取得される。
図2は、移動デバイスに搭載された一実施形態の自己位置特定システム1の、主な要素の概括的なブロック図である。
メトリック位置情報を決定するための自己位置特定システム1の主な構成ユニットを、図1の方法ステップに関連付けて説明する。これは、特に、センサ2.1、2.2、オドメーターシステム9、データ取得インターフェース3、データ記憶ユニット(メモリ5)、および電子制御ユニット4(ECU)に適用される。
概して、本発明は、移動デバイスの分野に関し、移動システムを動作させること又は移動システムを自律的に動作させることについての支援に関する。移動デバイスは、移動体、特に自動車またはオートバイであり得る。移動デバイスは、また、ウォータクラフト(船舶)、飛行体、または宇宙船であり得る。これらの移動体は、移動体に搭乗したユーザー(人)により制御され得るか、もしくは、遠隔制御位置(施設)から遠隔制御され得るか、または好ましくは自律的に動作する。移動体は、ロボットとして、部分的に又は完全に自律的に動作し得る。それぞれにおいて、移動体および本支援方法のユーザー(オペレーター)は、ドライバ(移動体の運転者)、オートバイの場合のライダー、または移動体のパイロットであり得る。ユーザーは、また、典型的には移動体を操作する1つまたは複数のサブタスクを実行してパイロットまたはドライバを補助する交代ドライバ(co-driver)、交代パイロット(co-pilot)、またはナビゲーターであり得る。さらに、遠隔制御される移動体の場合には、ユーザーは、移動体から離れた位置から当該移動体の制御を行う、遠隔操縦される移動体のオペレーターであり得る。
図2は、自己位置特定システム1の出力ユニット6(出力インターフェース)をさらに示す。出力ユニット6は、例えば移動デバイスをナビゲートするための決定された移動方向を示す処理された位置情報を出力する。移動方向は、移動デバイスの作動装置(actor)7に出力され得る。作動装置7は、移動デバイスの方向性走行制御器であるものとすることができ、決定された移動方向に基づいて移動体の操舵角および移動速度を制御する。
これに加えて又はこれに代えて、出力ユニット6は、位置情報に基づくか又は位置情報を含む信号を、ディスプレイ8に出力する。例えばディスプレイ8は、アプリケーションプログラムとしてナビゲーション方法を実行するコンピュータ、ハンドヘルドコンピュータ、またはスマートフォンのディスプレイであり、目標位置に向かって動くための推奨案として、算出された位置情報に基づいて決定された移動方向をユーザーに表示する。ディスプレイ8は、乗り物に搭載されたディスプレイであり得る。推定されたメトリック位置情報および決定された移動方向は、目標位置まで走行するための、ドライバに対する推奨案としてディスプレイ8に表示される。
図3は、移動デバイスの環境についてのSFAベースの分析に関する概略的なモデルアーキテクチャを示している。学習された低速特徴表現は、環境の他の空間属性、例えば障害物および異なる地形的性質を符号化する。これらの空間属性は、算出される勾配に反映され、その環境において移動デバイスを効果的にナビゲーションすることを可能とする。
図3は、その中央に、概括的なモデルアーキテクチャを示している。図3および環境表現を生成するための概括的なステップは、非特許文献1に、詳細に記載されている。この文献は、ナビゲーション方法の学習フェーズM1のいくつかの詳細に関して、参照により本明細書に組み込まれる。
図3の左部分は、カメラセンサ2.1、2.2を搭載する移動デバイスの現在位置から安定的に取得されセンサデータとしてパノラマビューに変換された視覚データを示している。
図3の中央部は、ステップS3における、ネットワークによるパノラマビューの処理を示している。ネットワークの各層は、規則的なグリッドに配置された重なり合うSFAノードを有する。各ノードは、低速特徴抽出のための二次SFAの前に、次元縮小のための線形SFAが実行される。出力層は、一つの信号ノードであり、その8つの最低速出力y(t)は、その位置についての方向不変符号化(orientation invariant encoding)の出力である。
図3の右部分は、全ての位置についてのコード化されたSFA出力S1…8であり、いわゆる空間発火マップ(spatial firing maps)である。これらは、理想的には、座標軸に沿った、特定の向きに依存しない同様な様相を呈する、特徴的な勾配を示す。
学習された空間表現は、色分けされた最低速出力を全ての位置に亘ってプロットすることにより定性的に分析される。強い空間コード化(strong spatial coding)の場合、最初の2つのユニットの空間発火マップにおいて、座標軸に沿った明確な勾配が視認可能となる。より高いユニットのマップは、最初の2つのユニットが混ざり合ったものとなるか、またはより高いモードを示す。
SFA学習アルゴリズムの低速性目的(slowness objective)に起因して、移動デバイスの作業エリア内に位置する障害物は、結果として得られる環境表現に有利に符号化される。学習フェーズM1の際、移動デバイス(例えば車輪付きロボット)は、障害物と交差する経路に沿っては走行しないので、障害物の両側の位置に関するセンサデータは時間的に分離される。従って、低速特徴ベースの環境表現は、障害物の周囲を流れる。
図4は、一例としての、ロボット試験データについての教師あり回帰と教師なし回帰との比較を示す。
概して、実験は、環境の低速特徴表現が予め学習されるものと仮定して、教師なしメトリック学習を用いて行われた。線セグメントに沿ってサンプリングされた距離と低速特徴ベクトルとを用いて、式(6)および式(8)により与えられるコスト関数を最小化することにより、最適なパラメータが取得される。
最大反復数に到達するか又はコスト関数の値の変化が閾値未満に低下した場合に、最適化が終了する。
学習されたメトリックマッピングの質を評価するため、位置特定の精度が、グランドトゥルース座標からの平均ユークリッド偏差として、別の試験セットについて測定された。参考として、グランドトゥルース座標上において直接的に回帰モデルを訓練した結果が、同様に算出された。2つの座標系の間には基準となる点がないので、これらの推定された座標は、回転および並進移動したものであり得る。従って、グランドトゥルースおよび推定されたメトリック座標は、精度計算の前に位置合わせする必要がある。
精密な変換を得るべく、推定された座標を回転および並進移動させる任意の適切な既知の方法を用いて、推定された座標をグランドトゥルース座標と位置合わせするものとすることができる。その後、別の試験セットからの推定に対して、上記得られた変換が適用された。
回帰には8つの最低速特徴が用いられた。これらの低速特徴を次数2の全単項式へ非線形拡張することで、位置特定精度をわずかに高める45次元の表現が生成される。
従って、線一つ当たりの未知のパラメータの数は、1+2+2×45=93である(スカラーα、2次元線オフセット、および二次元の回帰重み)。
シミュレーター実験では、まず、庭園に類似するシミュレートされた環境において、本アプローチが検証された。
16×18メートルのエリアをカバーする軌道からの600_60ピクセルの分解能をもつ1773枚のパノラマRGB画像を用いてSFAモデルを訓練することにより、空間表現が学習された。ランダムな向きを持つ10個の直線セグメントに沿って走行し、0.2m間隔で、低速特徴ベクトルsn;m、距離測定値dn;m、および対応するグランドトゥルース座標(x,y)をサンプリングすることにより、教師なしメトリック学習のための訓練データが収集された。全体として862個の点が収集された。線セグメントの開始点及び終了点は、訓練エリア内にあって且つ最小距離8mを有するよう制限された。最適化のためのパラメータは、α∈[0;2π)、x∈[−8;8]、y∈[−9;9]および、wxk,wyk∈[−1;1]となるように、ランダム一様分布(random uniform distribution)からの値を用いて初期化された。学習率は、β=1×10−5に設定され、および慣性項はg=0:95に設定された。コスト関数の偏導関数は、式(7)に従って算出される。
シミュレーター実験は、コスト関数Cの値の変化が既定の閾値未満に下がる約1000回の反復で終了するように最適化を行った。
訓練データからの線セグメントの場合、グランドトゥルースから、教師あり回帰モデルからの推定された座標までの平均ユークリッド偏差は、0.13mとなった。教師なしメトリック学習から学習された重みベクトルを低速特徴ベクトルに適用すると、訓練集合での誤差は0.17mであった。
教師あり回帰モデルを使用して学習されたマッピングパラメータの集合W(重み)を使用して他の試験軌道における座標を予測すると、グランドトゥルース座標からの平均ユークリッド偏差は0.39mとなった。
教師なしモデルを使用すると、予測は、平均偏差が0.36mとなりグランドトゥルース座標により近くなる。両方のモデルから予測された軌道は、作業環境の南東部および北西部における顕著な偏差をともなってグランドトゥルース座標に近接する。訓練データからの線セグメントを見ると、明らかに、それらの領域ではサンプリングがまばらであるのに対し中東部においては密度がはるかに高い。従って、教師あり回帰モデルの精度に上記のようなより低い部分が存在する原因は、訓練データに対するわずかな過剰適合(overfitting)であり得る。
自律芝刈り機に搭載されたカメラにより全方向画像データが記録されると共に、この移動デバイスのオドメーターシステム9からの車輪オドメーター測定値およびジャイロスコープにより推定されたヨー角度が記録された。教師なしメトリック学習のための訓練データを取得するため、モデルアーキテクチャが用いられ、軌道Tのセグメントとしての直線に沿って走行し、及び方向転換して次の直線に沿って走行することで、訓練が行われた。従って、軌道T上の点は、オドメーターシステム9からの変位量データに含まれる並進移動および角速度測定値に基づいて、線セグメントへ簡単に区分することができる。全部で1346個の点からなる18本の線セグメントが存在した。処理を高速化するために、および最適解への収束をサポートするため、線パラメータα、x、およびyが、変位量データのうちの対応するオドメトリ測定値を用いて初期化された。重みベクトルwおよびwは、変位量データのうちの生のオドメトリ推定にフィッティングされた回帰モデルの重みを用いて初期化された。学習率はβ=1×10−5に設定され、慣性項はγ=0.95に設定されている。交差角がすべて約90°であるグリッド様軌道であるので、最適化には式(8)のコスト関数が用いられた。
最適化では、定常解に収束するまで約900回の反復実行が行われた。推定値をグランドトゥルース座標に位置合わせした後の、訓練データに対する教師なしモデルの予測精度は、0.17mである。
グランドトゥルース座標を用いて直接訓練された教師ありモデルは、0.12mの精度に達した。
試験データに対する双方のモデルからの推定は、0.14mの平均ユークリッド偏差に等しい。結果として得られた予測された軌道が、グランドトゥルース軌道とともに図4に示されている。図中の左部分は、教師あり回帰の結果であり、図4の中央部分は教師なし回帰を示している。この教師なし回帰をさらに位置合わせした状態が図4の右側部分に示されている。
確率論的フィルタにおいてSFA推定とオドメトリ測定からの変位量データとの融合が行われるためには、移動デバイスに対応する電子制御ユニット4が、その移動デバイス自身の位置を特定するべく、変位量データとしてのオドメーターシステム9からの相対運動測定値と、環境表現RとしてのSFAモデルからの絶対測定値と、へアクセスし得ることが当然に必要である。
オドメトリ測定値が局所的に非常に良い精度を有する場合であっても、小さな誤差が経時的に蓄積されて、自己位置の信頼性が真の地上位置からずれ始める。
その一方で、SFAモデルからの推定は、より高い変動性をもつが、絶対測定値であるので、発生するドリフトを修正することを可能にする。低速特徴からメトリック空間へのマッピング関数としての本発明のマッピングパラメータの集合Wは、共通の座標系における両方の測定値の組み合わせを可能にする。可能な限り高い精度を達成するために、この組み合わせは、双方の測定値の不確かさを考慮した、最適なものである必要がある。
カルマンフィルタは、様々な不確かなソースの情報を組み合わせて、興味対象である複数の値(values of interest)を、複数の線形システムに関するそれらの不確かさと共に取得する最適推定器(optimal estimator)である。状態遷移モデルが用いられて次の時間ステップに対する値が予測され、測定モデルが用いられて観察に基づく値が修正される。システムの状態は、ガウシアン分布として表される。ただし、移動デバイス位置特定の現在のシナリオでは、状態遷移モデルは、非線形システムにつながる三角関数を含む。
拡張カルマンフィルタ(EKF)は、分布がガウス分布に留まることを確実なものとするために、現在の推定の周囲において状態遷移および測定モデルを線形化する。次に、線形カルマンフィルタの式が適用され得る。この方法は、移動体状態推定の問題についての標準的な方法として一般的に知られている。例えば、移動デバイスについての状態遷移モデルとしてCTRV(Constant Turn Rate Velocity)モデルが用いられ得る。測定モデルは、メトリック座標に対する現在の低速特徴出力のマッピングによりもたらされる絶対推定を組み入れる。
EKFを用いた位置特定性能を試験するために、ロボット実験からの試験データが用いられた。低速特徴出力からの絶対座標予測が、教師なし学習された回帰重みを用いて、対応する訓練データから算出された。それらは、測定モデルに対する入力として用いられる。
変位量データ(オドメトリ読み取り値)は、EKFの状態遷移モデルに対する入力として用いられる。処理ノイズ共分散行列および測定ノイズ共分散行列の値が、グリッド検索に基づいて選択された。本実験の場合、移動デバイスは、既知の位置から既知の向き(進行方向)へ出発する。これは、サービスロボットなどの多くの移動デバイスがベースステーションから動作を始めることを考慮した有効な仮定を表す。
EKFの推定された軌道は、個々の推定が有する広域的な一貫性と局所的な滑らかさという利点を組み合わせるので、これら個々の推定に比べて改善される。SFAモデルからの予測された軌道の精度は、0.14mであり、顕著なジッタを含む。これは、図4の左部分に鮮明に見ることができる。絶対座標予測に起因して、図4の左部分における軌道の進行は少なくともいくつかの部分において誤差をともなう。
図4の中央部は、変位量データ(オドメトリ測定値)から結果として得られる軌道は局所的には滑らかであるものの、特に方向推定における誤差が経時的に大きな発散につながり、その結果としてグランドトゥルース座標から0.31mの平均ユークリッド偏差を生じさせてしまう、ということを示している。
EKFから推定された軌道の精度は0.11mであり、これは、SFAモデルから取得された精度に比べて平均21%の改善、およびオドメトリ測定に比べて65%の改善である。
位置情報を含む環境表現についてのSFA推定と、オドメーターシステム9からの変位量データとを、例えばEKFにおいて融合することにより、位置特定問題に対処するための双方のアプローチの有益な特性がはっきりと表れる。結果として得られる精度は、0.11mの値にさえ到達し得る。
SFA出力からメトリック座標へのマッピングの教師なし学習のための本発明の方法は、グランドトゥルース座標上で直接訓練された教師あり回帰モデルと同じ桁の精度を達成した。本方法は、変位量データとして追加的なオドメーター測定値を必要とするだけであり、マッピングパラメータを訓練および決定するために軌道に課される制約は程よい手ごろなもの(reasonable)であるので、外部のグランドトゥルース情報を利用することのできない実際の適用例において有益に適用され得る。
マッピングパラメータの集合により表された学習されたメトリックマッピング関数は、抽出された環境表現、移動デバイスの軌道、およびSFA環境表現とEKFを用いたオドメトリ測定値との融合を、目に見える形にし得る。これにより、既に競争力のある、SFAモデルの位置特定精度に、さらに21%の改善をもたらし得る。
ここに提案したアプローチは、また、他の空間表現が十分に低次元であり、空間的に滑らかであって、且つ、好ましくは方向不変である限り、SFAにより学習されたもの以外の、他の空間表現に対しても有用であり得る。
視覚オドメトリ(visual odometry)は車輪のスリップの影響を受けないので、車輪オドメトリ(wheel odometry)の代わりに視覚オドメトリを使用することで、結果として得られるメトリックマッピングの精度はさらに改善され得ることとなり、従って、位置特定精度もさらに改善され得る。

Claims (23)

  1. 環境表現に基づいて移動デバイスのためのメトリック位置情報を決定する方法であって、
    前記移動デバイスに搭載された少なくとも1つのセンサ(2.1、2.2)によりセンサデータを生成するステップ(S2)と、
    オドメーターシステム(9)により前記移動デバイスの変位量データを取得するステップ(S5)と、
    教師なし学習アルゴリズムを適用することにより、前記センサデータに基づいて環境表現Rを生成するステップ(S3)と、
    を含む前記方法において、
    前記移動デバイスは軌道Tに沿って移動し、前記変位量データと前記センサデータとは、前記移動デバイスが前記軌道Tに沿って移動する間に取得され、
    前記環境表現Rと前記変位量データとに基づいてマッピングパラメータの集合Wを算出するステップ(S8)と、
    さらなる環境表現(R)と算出された前記マッピングパラメータの集合Wとに基づいてメトリック位置推定を決定するステップ(S11)と、
    を含むことを特徴とする、
    環境表現に基づいて移動デバイスのためのメトリック位置情報を決定する方法。
  2. 前記軌道Tは、前記マッピングパラメータの集合Wを算出する前記ステップにおいて低次元方程式によりパラメータ化される複数の曲線セグメントSを含むこと特徴とする、
    請求項1に記載のメトリック位置情報を決定する方法。
  3. 前記複数の曲線セグメントSは、直線、略直線、円、円セグメント、シグモイド曲線、正弦曲線、低次のスプライン、または多項式曲線、のうちの少なくとも1つの曲線タイプを含むことを特徴とする、
    請求項2に記載のメトリック位置情報を決定する方法。
  4. 前記軌道Tを、各々の曲線パラメータの集合をもつ前記曲線セグメントSに区分するステップ(S6)を含み、
    前記マッピングパラメータの集合を算出する前記ステップ(S8)において、前記マッピングパラメータの集合Wと前記曲線パラメータの集合とは、一方の前記変位量データと、他方の前記環境表現Rにおける対応する変化と、の間における差分尺度をすべての前記曲線セグメントSにおいて最小化することにより算出され、
    算出された前記マッピングパラメータの集合Wを前記環境表現Rに適用した後のマッピングされた環境表現は、対応するマッチング曲線セグメントS上にある、
    ことを特徴とする、請求項2または請求項3に記載のメトリック位置情報を決定する方法。
  5. 前記オドメーターシステム(9)は、車輪オドメーター、視覚オドメーター、および慣性測定ユニットのうちの少なくとも1つから前記変位量データを取得することを特徴とする、
    請求項1ないし請求項4のいずれか一項に記載のメトリック位置情報を決定する方法。
  6. 前記教師なし学習アルゴリズムは、低速性学習アルゴリズム、特に、低速特徴分析を使用することを特徴とする、
    請求項1ないし請求項5のいずれか一項に記載のメトリック位置情報を決定する方法。
  7. 前記マッピングパラメータの集合を算出する前記ステップ(S8)は、訓練フェーズM1の際、及び又は初期運用フェーズの際、及び又は計画された間隔で、及び又は連続的に、および漸次に、実行されることを特徴とする、
    請求項1ないし請求項6のいずれか一項に記載のメトリック位置情報を決定する方法。
  8. 前記メトリック位置情報と前記変位量データとの間の不一致が検出されたときに、前記マッピングパラメータの集合Wを算出する前記ステップ(S8)が反復されることを特徴とする、
    請求項1ないし請求項7のいずれか一項に記載のメトリック位置情報を決定する方法。
  9. 前記マッピングパラメータの集合を算出する前記ステップ(S8)において残差が閾値を上回ったとき、前記マッピングパラメータの集合Wを算出する前記ステップ(S8)が反復されることを特徴とする、
    請求項1ないし請求項8のいずれか一項に記載のメトリック位置情報を決定する方法。
  10. 前記マッピングパラメータの集合Wは、前記移動デバイスの位置についてのアフィン回帰、特に、平面における前記移動デバイスの二次元位置についての2つのアフィン回帰、として算出されることを特徴とする、
    請求項1ないし請求項9のいずれか一項に記載のメトリック位置情報を決定する方法。
  11. 前記マッピングパラメータの集合Wは、非線形回帰、例えば二次回帰として算出されるか、またはニューラルネットワークを使用してフィッティングすることにより算出される、ことを特徴とする、
    請求項1ないし請求項9のいずれか一項に記載のメトリック位置情報を決定する方法。
  12. 前記マッピングパラメータの集合Wは、一次方程式の集合Eを用いて最適化問題を解くことにより、または、シンプレックスアルゴリズムを使用することにより、または、前記一次方程式の集合Eに対する勾配降下により、算出されることを特徴とする、
    請求項1ないし請求項9のいずれか一項に記載のメトリック位置情報を決定する方法。
  13. 前記マッピングパラメータの集合(W)は、前記一次方程式の集合Eに対する勾配降下により算出され、前記一次方程式の集合Eの導関数が予め計算される、
    ことを特徴とする、請求項12に記載のメトリック位置情報を決定する方法。
  14. 前記マッピングパラメータの集合Wを算出するためのパラメータが、前記変位量データの少なくとも一部に基づいて初期化されることを特徴とする、
    請求項1ないし請求項13のいずれか一項に記載のメトリック位置情報を決定する方法。
  15. 算出された前記メトリック位置推定を所望の座標系へ変換するステップであって、前記変換は、特に、算出された前記メトリック位置推定を回転させること、反転すること、およびシフトさせることのうちの少なくとも1つを含む、
    ことを特徴とする、請求項1ないし請求項14のいずれか一項に記載のメトリック位置情報を決定する方法。
  16. 前記マッピングパラメータの集合Wは、前記移動デバイスのベースステーションを中心位置とする前記所望の座標系について算出されることを特徴とする、
    請求項15に記載のメトリック位置情報を決定する方法。
  17. 前記移動デバイスのベースステーションを中心位置とする前記所望の座標系についての前記マッピングパラメータの集合Wは、
    前記ベースステーションにおける初期軌道点としての基準マップ位置に最適化を制約すること、または、
    前記軌道Tの初期部分に対応した前記変位量データの初期部分に一致するように、前記マッピングを回転させること、シフトさせること、および反転することのうちの少なくとも1つを含む後処理ステップにおいて、前記マッピングパラメータの集合Wを修正すること、
    により算出されることを特徴とする、
    請求項15または請求項16に記載のメトリック位置情報を決定する方法。
  18. 前記移動デバイスが軌道Tに沿って移動する前記ステップは、前記センサデータから前記環境表現Rを学習するための学習フェーズM1の一部であって、前記移動デバイスのメモリ(5)は、前記学習フェーズM1の際に取得された前記センサデータを記憶するように構成されているか、または、
    前記移動デバイスが軌道Tに沿って移動する前記ステップは、前記学習フェーズM1が実行された後に実行される、
    ことを特徴とする、請求項1ないし請求項17のいずれか一項に記載のメトリック位置情報を決定する方法。
  19. 前記マッピングパラメータの集合Wを算出する前記ステップ(S8)は、前記センサデータから前記環境表現Rを学習するための前記学習フェーズM1の際に実行され、前記環境表現Rを学習するためのオンライン学習アルゴリズムが用いられることを特徴とする、
    請求項18に記載のメトリック位置情報を決定する方法。
  20. 前記マッピングパラメータの集合Wを算出する前記ステップ(S8)は、前記センサデータから前記環境表現Rを学習する学習ステップ(S3)と交互に実行されることを特徴とする、
    請求項1ないし請求項19のいずれか一項に記載のメトリック位置情報を決定する方法。
  21. 環境表現から移動デバイスのメトリック位置情報を決定するためのシステムであって、
    前記移動デバイスは、
    センサデータを取得するように構成された少なくとも1つのセンサ(2.1、2.2)と、
    前記移動デバイスの変位量データを取得するように構成されたオドメーターシステム(9)と、
    を備え、
    前記システムは、教師なし学習アルゴリズムを適用することにより、前記センサデータから生成された環境表現Rを生成するように構成された電子制御ユニット(4)を備えており、
    前記電子制御ユニット(4)は、前記環境表現(R)と前記変位量データとに基づいてマッピングパラメータの集合Wを算出するように構成され、
    前記変位量データと前記センサデータとは、前記移動デバイスが軌道Tに沿って移動している間に取得され、
    前記システムは、さらに、前記環境表現Rと算出された前記マッピングパラメータの集合Wとに基づいて、メトリック位置推定を算出するよう構成されている、
    ことを特徴とする、
    環境表現から移動デバイスのメトリック位置情報を決定するためのシステム。
  22. 前記移動デバイスは、移動ロボット、特に、ロボット芝刈り機、またはロボットクリーナーであるか、または、ロボットの可動部、例えば、ロボットアーム、またはスマートフォンであることを特徴とする、
    請求項21に記載のメトリック位置情報を決定するためのシステム。
  23. コンピュータプログラムであって、
    前記プログラムは、コンピュータまたはデジタル信号プロセッサにおいて実行されたときに請求項1ないし請求項20のいずれか一項に記載のステップを実行するためのプログラムコード手段を含む、
    コンピュータプログラム。
JP2019032417A 2018-02-28 2019-02-26 低速特徴からのメトリック表現の教師なし学習 Active JP6855524B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP18159286.6 2018-02-28
EP18159286 2018-02-28
EP18180852.8 2018-06-29
EP18180852.8A EP3534235B1 (en) 2018-02-28 2018-06-29 Unsupervised learning of metric representations from slow features

Publications (2)

Publication Number Publication Date
JP2019207678A true JP2019207678A (ja) 2019-12-05
JP6855524B2 JP6855524B2 (ja) 2021-04-07

Family

ID=61526660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019032417A Active JP6855524B2 (ja) 2018-02-28 2019-02-26 低速特徴からのメトリック表現の教師なし学習

Country Status (3)

Country Link
US (1) US11580364B2 (ja)
EP (1) EP3534235B1 (ja)
JP (1) JP6855524B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022082404A (ja) * 2020-11-20 2022-06-01 株式会社東芝 全方向ローカリゼーションのための回転等変向き推定

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
CN110866962B (zh) * 2019-11-20 2023-06-16 成都威爱新经济技术研究院有限公司 一种基于卷积神经网络的虚拟人像与表情同步方法
SE544852C2 (en) * 2020-05-26 2022-12-13 Husqvarna Ab A robotic work tool comprising a controller to reduce an acceleration when entering an area associated with a risk of damage
JP2021196777A (ja) * 2020-06-11 2021-12-27 トヨタ自動車株式会社 機械学習装置、機械学習システム、機械学習方法、及びプログラム
CN112100067B (zh) * 2020-09-10 2023-08-25 北京完美赤金科技有限公司 一种基于回归分析的测试方法、系统及存储介质
CN114374931B (zh) * 2020-10-19 2023-12-15 中国移动通信集团重庆有限公司 基于近邻成分分析的度量学习的指纹定位方法
CN113077048B (zh) * 2021-04-09 2023-04-18 上海西井信息科技有限公司 基于神经网络的印章匹配方法、系统、设备及存储介质
CN113191614B (zh) * 2021-04-18 2022-06-10 宁波大学科学技术学院 一种基于慢特征回归分析的聚丙烯产品质量实时监测方法
CN114527731B (zh) * 2022-02-22 2023-12-26 中国矿业大学 基于监督概率慢特征分析的工业过程运行状态评价方法
US20240165802A1 (en) * 2022-11-18 2024-05-23 Zebra Technologies Corporation System and Method for Scheduling Tasks for Mobile Robots

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065703A (ja) * 2004-08-30 2006-03-09 Inst Of Systems Information Technologies Kyushu 自己位置推定装置、自己位置推定方法、その自己位置推定方法をコンピュータに実行させることが可能なプログラム、及び、そのプログラムを記録した記録媒体
JP2011022992A (ja) * 2009-05-08 2011-02-03 Honda Research Inst Europe Gmbh 視覚に基づく3次元形状認識を備えたロボット

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913821B1 (en) * 2011-09-26 2014-12-16 Google Inc. Preconditioner for solving linear equations for reconstructing three-dimensional structure of a scene
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9427874B1 (en) * 2014-08-25 2016-08-30 Google Inc. Methods and systems for providing landmarks to facilitate robot localization and visual odometry
US9630319B2 (en) * 2015-03-18 2017-04-25 Irobot Corporation Localization and mapping using physical features
US10955852B2 (en) * 2017-02-28 2021-03-23 Honda Research Institute Europe Gmbh Navigation system based on slow feature gradients
US10788830B2 (en) * 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
US10937186B2 (en) * 2018-12-19 2021-03-02 Fca Us Llc Techniques for precisely locating landmarks in monocular camera images with deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065703A (ja) * 2004-08-30 2006-03-09 Inst Of Systems Information Technologies Kyushu 自己位置推定装置、自己位置推定方法、その自己位置推定方法をコンピュータに実行させることが可能なプログラム、及び、そのプログラムを記録した記録媒体
JP2011022992A (ja) * 2009-05-08 2011-02-03 Honda Research Inst Europe Gmbh 視覚に基づく3次元形状認識を備えたロボット

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022082404A (ja) * 2020-11-20 2022-06-01 株式会社東芝 全方向ローカリゼーションのための回転等変向き推定
JP7254849B2 (ja) 2020-11-20 2023-04-10 株式会社東芝 全方向ローカリゼーションのための回転等変向き推定
US11734855B2 (en) 2020-11-20 2023-08-22 Kabushiki Kaisha Toshiba Rotation equivariant orientation estimation for omnidirectional localization

Also Published As

Publication number Publication date
JP6855524B2 (ja) 2021-04-07
US20190272462A1 (en) 2019-09-05
US11580364B2 (en) 2023-02-14
EP3534235A1 (en) 2019-09-04
EP3534235B1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6855524B2 (ja) 低速特徴からのメトリック表現の教師なし学習
Iyer et al. CalibNet: Geometrically supervised extrinsic calibration using 3D spatial transformer networks
US10422648B2 (en) Methods for finding the perimeter of a place using observed coordinates
Lin et al. Autonomous aerial navigation using monocular visual‐inertial fusion
Stachniss et al. Simultaneous localization and mapping
Jaimez et al. Planar odometry from a radial laser scanner. A range flow-based approach
US10955852B2 (en) Navigation system based on slow feature gradients
Li et al. Deep sensor fusion between 2D laser scanner and IMU for mobile robot localization
CN107980150B (zh) 对三维空间建模
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
Qiao et al. Online monocular lane mapping using catmull-rom spline
Roggeman et al. Embedded vision-based localization and model predictive control for autonomous exploration
Rozsypálek et al. Multidimensional particle filter for long-term visual teach and repeat in changing environments
Bender et al. Map-based drone homing using shortcuts
Di Castro et al. An incremental slam algorithm for indoor autonomous navigation
Kozák et al. Robust visual teach and repeat navigation for unmanned aerial vehicles
Zhuang et al. A biologically-inspired simultaneous localization and mapping system based on LiDAR sensor
Leng et al. An improved method for odometry estimation based on EKF and Temporal Convolutional Network
Safin et al. Modern Methods of Map Construction Using Optical Sensors Fusion
Dichgans et al. Robust Vehicle Tracking with Monocular Vision using Convolutional Neuronal Networks
Dai et al. Autonomous navigation for wheeled mobile robots-a survey
Piperigkos et al. Cooperative five degrees of freedom motion estimation for a swarm of autonomous vehicles
Redondo et al. A compact representation of the environment and its frontiers for autonomous vehicle navigation
Kedia et al. Integrated perception and planning for autonomous vehicle navigation: An optimization-based approach
Ta et al. Monocular parallel tracking and mapping with odometry fusion for mav navigation in feature-lacking environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210317

R150 Certificate of patent or registration of utility model

Ref document number: 6855524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150