JP2020527235A - 環境及び磁場中を移動する物体の動きを推定する方法 - Google Patents

Abstract

本発明は、周囲磁場環境（Σ）中を移動する物体（１）の動きを推定する方法に関し、当該方法は、物体（１）に接続される慣性測定手段（２４）を使用して、慣性データと呼ぶ、物体（１）の角速度及び／又は加速度の少なくとも１つの成分を取得し、物体（１）に接続される磁気取得手段（２０）を使用して、磁性データと呼ぶ、磁気測定手段での磁場及び／又は磁場のｉ次導関数の少なくとも１つの成分を取得し、且つ光学取得手段（２６）を使用して、視覚データと呼ぶ、環境（Σ）の連続的な画像を取得するステップと、（ｂ）データ処理手段（２１，３１，４１）を使用して、慣性データ並びに磁性データ及び／又は視覚データを用いて物体の動きの少なくとも１つの成分を推定するステップとを含むことによって特徴付けられる。

Description

本発明は、ＧＰＳを用いないナビゲーションの分野に関する。

より正確には、本発明は、磁気−視覚−慣性技法(magneto-vision-inertial techniques)によって物体(object)の動き(movement)を推定する方法に関する。

いわゆる視覚慣性ナビゲーション技法又はＶＩＮＳ(vision-aided inertial navigation systems)（視覚支援慣性ナビゲーションシステム）は、静止的と考えられる環境中の固体の速度（そして、速度からの積分による位置）を正確に推定することを可能にする。

正確には、従来的な慣性技法において既に使用されている方程式の補足として、連続的に取得される環境の画像を比較して、（一般的には慣性単位のジャイロメータによって測定される）角速度ベクトルΩから（線）速度ベクトルＶを推定する。固体の静的環境画像から同じ結果を得ることも可能である。

固体の速度に関するこの情報のお陰で、位置の推定に関する誤差は、時間の二次式である従来的な慣性技法とは異なり、最悪の場合において時間に比例する。

よって、これらの視覚慣性技法は満足をもたらし、（カルマンフィルタ又はその位置及び速度を推定することが望まれる固体に埋め込まれるジャイロメータ及び加速度計から得られる情報の別の観察者を通じた積分に基づく。即ち、典型的には、ジャイロメータは、基準フレームを「維持(maintain)」し、加速度計の測定値の二重時間積分が動きを推定することを可能にする）従来的な慣性方法より低い性能の慣性センサを必要とし、よって、嵩張りがより少ない。

よって、少なくとも１つの慣性ユニットが、慣性ユニットに対して固定される少なくとも１つのカメラに連結される。これらのセンサから導き出されるデータは、電子収集及び計算カードに送信され、電子収集及び計算カードは、方程式のシステムの解像度によって、位置及び速度情報をユーザに送る。

しかしながら、今日、ＶＩＮＳには２つの欠陥があることが観察されている。
− それらは高い電力消費を有する。実際、ＭＥＭＳタイプの標準的な慣性センサの消費は極僅かであるが、カメラの電気消費、特に画像を処理するのに必要とされるプロセッサの電気消費は、実質的に２桁の大きさでより大きいことが示されている（”Vision-inertial Odometry on Chip: An Algorithm-and-Hardware Co-design Approach”. Zhengdon Zhang, Amr Suleiman, Luca Carlone, Vivienne Sze, Sertac Karaman, 2017”という文献を参照）。よって、ＣＰＵアーキテクチャ上でシステムを作動させるためには約１０ワットの電力が必要であることが認識されており、それはシステムがバッテリ供給されるならば問題となる。
− それらは環境の容易に識別可能な画像の必要性を有し、それは、それらが一般的にはカメラを標準的に装備し、照らされた様々な景観を有する（「屋外」と呼ぶ）外部環境（典型的には自然又は都市）内を動き回るドローンで使用されることが多いが、それらが（「屋内」と呼ぶ）内部環境では実質的に作動不能になることがあり、暗いトンネルや殆ど質感(テクスチャ)のない壁を備える部屋のような状況に遭遇することを意味する。加えて、そのような状況に直面するシステムの反応は、カメラのゲインを増加させ、それは画像中のノイズを増加させる。代替的に、より良い品質（光に対するより良い感度）のカメラを提供することが可能であり、それは、有意により嵩張る（センサ及びレンズのサイズ）ことに加えて、大衆向けカメラよりも消費が多い。同様に、カメラが環境中に固定されるシステムの場合、標的固体を隠す障害物を有することが可能である。
その上、これらのシステムは、様々な程度まで、世界の静的部分と主に交差する視野の仮説に基づいており、それはシーンが動的であるならば、一時的に誤りであることがある。純粋な視覚方法が、画像内の動的ゾーンから静止ゾーンをセグメント化することが見出されることがあるならば、前記方法は、計算的に集約的であり、消費の増加に向かう傾向がある。

消費の問題を解決するために、顕著には、ＦＰＧＡ上で重い計算を実行することによって、或いは、ＡＳＩＣを設定するか、特殊なプロセッサ（例えば、マイクロソフトの「ＨＰＵ」を参照）さえも設定することによって、ハードウェアサポートを変更することが可能であり、それは極めて高価なままである。

代替的に、例えば、取得画像の解像度、その品質（モノクロカメラの使用）、又は取得周波数を低減することによって、性能と消費との間の妥協を見出すことが提案されている。そのような解決策は、上記で言及された問題のある場合における性能を更に劣化させる。

特に屋内のような困難な環境では、電力消費を大幅に低減する一方で、性能を向上させる、新しい視覚慣性ナビゲーション方法を利用可能にすることが望ましい。

それにより、本発明は、第１の態様の第１の代替に従って、環境及び周囲磁場中を移動する物体の動きを推定する方法に関し、当該方法は、以下のステップ、即ち、
（ａ）取得のステップであって、
○ 物体に関して固定される慣性測定手段による、慣性データと呼ぶ、物体の加速度及び／又は角速度の少なくとも１つの成分の、
○ 物体と一体的な磁気測定手段による、磁気データと呼ぶ、磁気測定手段での磁場及び／又は磁場のｉ次導関数の少なくとも１つの成分の、
○ 物体に関して固定される光学取得手段による、視覚データと呼ぶ、環境の連続的な画像の、
取得のステップと、
（ｂ）データ処理手段による、慣性データ並びに磁気データ及び視覚データを用いた、物体の動きの少なくとも１つの成分の推定のステップとを含むことによって特徴付けられる。

本発明は、第１の態様の第２の代替に従って、環境及び周囲磁場中を移動する物体の動きを推定する方法に関し、当該方法は、以下のステップ、即ち、
（ａ）取得のステップであって、
○ 物体に関して固定される慣性測定手段による、慣性データと呼ぶ、物体の加速度及び／又は角速度の少なくとも１つの成分の、
○ 物体に関して固定される磁気測定手段による、磁気データと呼ぶ、磁気測定手段での磁場及び／又は磁場のｉ次導関数の少なくとも１つの成分の、
○ 環境に関して固定される光学取得手段による、視覚データと呼ぶ、物体の連続的な画像の、
取得のステップと、
（ｂ）データ処理手段による、慣性データ並びに前記磁気データ及び前記視覚データを用いた、物体の動きの少なくとも１つの成分の推定のステップとを含むことによって特徴付けられる。

他の有利な非限定的な特徴によれば、
●ステップ（ａ）は、磁気データ及び／又は視覚データの選択を含み、慣性データを上回ってステップ（ｂ）で使用される複数のデータ(data)は、選択されるデータ(datum)又は複数のデータ(data)である。
● ステップ（ａ）は、磁気データ及び／又は視覚データの有効性の評価を含み、磁気データ及び／又は視覚データの選択は、有効性の評価の結果の関数である。
● 磁気データ及び／又は視覚データの一方は、デフォルトデータであり、他方は、リセットデータであり、有効性の評価は、デフォルトデータについて実施され、選択されるデータは、
− デフォルトデータが有効と評価されるならば、デフォルトデータであり、
− デフォルトデータが無効と評価されるならば、リセットデータである。
● 磁気データ及び／又は視覚データの有効性の評価は、動きの推定における不確実性の評価を含む。
● 磁気データの有効性の評価は、周囲磁場の定常性の評価又は勾配の非均一性の評価を含む。
● 視覚データの有効性の評価は、感心対象点(points of interest)の数の評価、光強度の評価、画像コントラストの表示(indicator)の評価、又は光学取得手段が環境に関して固定されるケース内の画像中の物体の検出の成功の評価を含む。
● ステップ（ｂ）は、好ましい方法において、慣性データ並びに磁気データ及び／又は視覚データを用いて環境をマッピングする要素を構築する第１のサブステップ（ｂ１）と、マッピングする要素から物体の動きの少なくとも１つの成分を推定する第２のサブステップ（ｂ２）とを含む。
● 慣性データ並びに磁気データ及び／又は視覚データを用いて環境をマッピングする要素を構築する第１のサブステップ（ｂ１）は、慣性データ並びに磁気データを用いて環境をマッピングする要素の第１の粗い構築と、次に、視覚データを用いて環境をマッピングする要素の精緻化とを含む。
● ステップ（ａ）は、慣性測定手段、磁気測定手段、及び光学取得手段の中の１つの手段を、残余の２つの手段によって取得されるデータで事前較正することを含む。

第２の態様によれば、環境及び周囲磁場中を移動する物体の動きを推定する機器に関し、当該機器は、データ処理手段を含み、データ処理手段は、
− モジュールであって、
○ 物体と一体的な慣性測定手段によって取得される、慣性データと呼ぶ、物体の加速度及び／又は角速度の少なくとも１つの成分と、
○ 物体に関して固定される磁気測定手段による、磁気データと呼ぶ、磁場及び／又は磁場のｉ次導関数の少なくとも１つの成分と、
○ 物体又は環境に関してそれぞれ固定される光学取得手段による、視覚データと呼ぶ、環境又は物体の連続的な画像とを受信する、
モジュールと、
− 慣性データ並びに磁気データ及び／又は視覚データを用いて、物体の動きの少なくとも１つの成分を推定する、モジュールとを実装する、
ように構成される。

他の有利な非限定的な特徴によれば、
● 機器は、磁気測定手段及び／又は慣性測定手段及び／又は光学取得手段を含むケースである。
● 機器は、磁気測定手段、慣性測定手段及び光学取得手段との通信に適した、移動端末又はサーバである。

第３の特徴によれば、本発明は、本発明の第２の態様に従った機器と、関係する磁気測定手段、慣性測定手段及び光学取得手段とを含む、システムに関する。

第４及び第５の特徴によれば、本発明は、本発明の第１の態様に従った環境及び周囲磁場中を移動する物体の動きを推定する方法を実行するためのコード命令を含む、コンピュータプログラム（コンピュータプログラム製品）と、コンピュータ機器によって読み取り可能な格納手段であって、コンピュータプログラムが、その上に、本発明の第１の態様に従った環境及び周囲磁場中を移動する物体の動きを推定する方法の実行のためのコード命令を含む、格納手段に関する。

本発明の他の特徴及び利点は、以下の好しい実施形態の記述を読んだ後に明らかになるであろう。この記述は、添付の図面を参照して述べられる。

本発明に従った方法の代替を実施するための機器の図である 別の代替に従った本発明に従った方法の実施のためのケースの例をより詳細に表している。 第１の代替に従った本発明に従った方法の実施のためのケースをより詳細に表している。

（原則）

本発明は、追加的な磁気慣性ナビゲーション技法を実施するためにＶＩＮＳに磁力計を追加することを提案する。より具体的には、「視覚−慣性」システム及び「磁気−慣性」システムの両方と見ることができる、Ｖ−ＭＩＮＳと呼ぶ「視覚−磁気−慣性」(vision-magneto-inertial)システム(system)が使用される。磁気慣性ナビゲーションが良く知られていることが思い起こされるであろう。仏国特許出願公開第２９１４７３９号を参照のこと。

センサを取り外すことによってではなく、センサを追加することによって、システムの電力消費を減らすことを探究するのは、直感的でないように思えることがあるが、視覚的側面及び磁気的側面は完全に補完的であり、それらを併用することは、視覚的側面だけを使うよりも、経済的であることが分かる。

より正確には、視覚的側面及び磁気的側面は、反対の環境で効率的である。即ち、室内視覚は、不完全である可能性がより高いのに対し、磁気測定は、完全に適している。逆に、屋外環境では、磁気勾配の欠如は、純粋な磁気慣性ナビゲーションを妨げることがあるが、視覚は、完全に適している。

これらのデータを最良に利用する様々な方法を以下に記載するが、とりわけ、ＶＩＮＳシステムへの磁力計の追加は、慣性ユニットのみが可能にしない「推測航法(dead-reckoning)」を実行することを自律的な方法で可能にする情報を提供することが理解される。

実際、従来的なＶＩＮＳシステムにおいて、視覚データは、慣性データを補正するために、即ち、リセットを実行するために使用される。よって、（例えば、カメラが暗いゾーンにあるので、並びに、画像を取得することにもはや関心がなく、よって、エネルギを節約するためにカメラのスイッチをオフにするのがより良いときに）カメラのスイッチがオフにされるならば、もはやリセットがないことが理解される。

現在のＶ−ＭＩＮＳシステムでは、磁気測定データのお陰で、カメラのスイッチがオフにされるときでさえも、リセットを実行することが可能なままである。

よって、これは、（磁気慣性ナビゲーションの動作領域(operating domain)において）特定の時間間隔に亘って、同じレベルの性能のためにカメラベースのリセットのために必要な周波数を減少させることを可能にし、或いはそれなしで済ませることさえも可能にする。

（アーキテクチャ）

図１を参照すると、本方法は、環境Σ及び
［外０００１］

で示される周囲磁場（典型的には、付近の金属物体又は電流によって僅かに変化させられ得る地球の磁場）中を移動する物体１の動きを推定することを可能にする。磁場は、三次元空間内のベクトル場であり、即ち、ベクトルを、物体が移動可能な各三次元点を備える三次元と関連付けることである。

物体１は、位置の知識が望まれる任意の移動可能な物体、例えば、車輪付き車両、ドローンなどであってよいが、人又は人の身体の一部（両手、頭など）であってもよい。

物体１は、磁力計(magnetometers)及び／又は勾配計(gradiometers)である、磁気測定手段２０を備える。より正確には、磁場
［外０００２］

の成分の値を測定する代わりに、後者は、磁場勾配
［外０００３］

の成分の値、即ち、空間導関数の値を直接的に測定する。そのような磁力勾配計２０(magnetic gradiometers)は、当業者に知られている。本発明の特定の実施形態によれば、勾配計は、二次導関数（二次勾配）の値を直接的に測定し、そして、ｉ次導関数（ｉ次勾配）を一般的な方法で測定するために使用されることができる。

本明細書の残部では、磁力計の例が取り上げられるが、当業者はそれをどのように勾配計に転置するかを知っているであろう。

（複数の）磁力計２０は、「アキシアル」(axial)であり、即ち、前記磁場の成分、即ち、それらの軸に沿う前記磁場ベクトル
［外０００４］

の投影（又は、勾配計の場合には、前記磁場のｉ次空間導関数の成分、即ち、それらの軸に沿う前記勾配計での成分
［外０００５］

の変動）を測定することができる。

有利には、磁力計２０は、３つのグループによって「三軸(triaxes)」、即ち、同じ空間位置と関連付けられ、３軸に沿う磁場を測定する、２×２の直交した磁力計２０の三重線(triplet)に組成された、少なくとも３ｎ＋３の数字である。

好ましい方法において、物体と関連付けられる正規直交基準点は、計算を更に容易にするために、三軸が前記正規直交基準点に従って有利に方向付けられるように、慣例(convection)によって（及び本記述の残部についての便宜(facility)によって）選択される。

しかしながら、当業者は、全ての場合において、それをどのように勾配計／磁力計の任意の空間的配置に置換するかを知っているであろう。

物体１は、慣性測定手段２４も備える。そのような手段は、当業者に広く知られており、典型的には、少なくとも加速度計及び／又はジャイロメータを含む、好ましい方法では、同様に三軸に配置された３つの加速度計及び３つのジャイロメータを含む、慣性ユニットを構成する。ジャイロメータは、
［外０００６］

で示される地球基準系(terrestrial reference frame)に対する慣性ユニットの瞬間角速度を測定する。加速度計は、センサに加えられる重力以外の外力に敏感であり、
［外０００７］

で示される加速度を測定することを可能にする。

慣性及び磁気測定手段２０，２４は、物体１に関して固定される、即ち、それらは、地球基準系内で実質的に同一の動きを有する（測定手段２０，２４は、物体１と一体的であると言うこともできる）。好ましい方法において、物体１の基準系は、座標（ｘ１，ｘ２，ｘ３）が記される正規直交デカルト基準点(orthonormal Cartesian point of reference)を備え、従って、磁力計２０は、この基準点において所定の位置を有する。

この方法を実施するためのシステムは、少なくとも光学取得手段２６(optical acquisition means)を含む。（本記述の残部では一例として取り上げられる）図２に表される本発明の主要な実施形態において、光学取得手段２６も、物体１に関して固定され（換言すればと、それらは同じ動きを有し）、環境Σを観察する。本方法を理解しやすくするために、物体１と光学取得手段２６とによって形成されるアセンブリは、光学取得手段２６の光学中心に位置する点まで移される(reduced)。これらの光学取得手段２６は、異なる性質を有してよいが、好ましくは、１つ又はそれよりも多くのカメラで構成されてよく、有利には、電力消費を制限するために単一のカメラで構成されてよい。（複数の）カメラは、奥行きカメラであってよいが、好ましい方法では、環境の奥行き画像ではなく可視画像を再現する従来的なカメラ、特に、十分で、嵩張り及びエネルギ消費がより少ない、単純なＣＣＤ又はＣＭＯＳカメラ（カラー又は白黒）であってよい。

図１に対応する（以下により具体的に記載する）代替的な実施形態において、光学取得手段２６は、環境Σに対して固定され、物体１を観察する。第１の実施形態（埋込み光学取得手段２６）が好ましいことが理解されるであろう。何故ならば、それは、物体１が長い距離に亘って動く場合を含めて、物体１の動きの連続的な推定を可能にするからである。第２の実施形態おいて、それは光学取得手段２の視野に限定されるが、これは、例えば、それがユーザの身体部分の動きに追従するならば、完全に適している。

図２を参照すると、慣性及び磁気測定手段２０、２４は、必要であれば光学取得手段２６は、好ましくは、物体１への取付け手段２３を有するケース２のものである。これらの取付け手段２３は、例えば、物体１が人であるならば、肢（例えば、手首、手、頭）を把持し、固定的な接続を可能にする、ブレスレット、例えば、自己把持ストラップで構成される。図３の例を参照のこと。本発明は、人の動きの推定に限定されず、そのような使用において特に有利であることが明らかに理解されるであろう。何故ならば、それは、ケースが人間工学的な方法において人によって持ち運び可能であるように必要な、極めて削減された嵩張りを可能にするからである。

ケース２は、本方法の処理動作をリアルタイムに直接的に実施するための処理手段２１（典型的にはプロセッサ）を含んでよく、或いは、代わりに、測定値は、通信手段２５を介して移動端末（スマートフォン）３や、更には遠隔サーバ４のような、外部デバイスに送信されてよく、或いは、代わりに、測定値は、例えば、サーバ４上の事後処理のために、ローカルデータ格納メモリ手段２２（例えば、フラッシュ型メモリ）に記録されてよい。

通信手段２５は、短距離無線通信、例えば、（特に移動端末３を備える実施形態における）Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉを実施してよく、或いは、長距離通信のための移動体ネットワーク（典型的にはＵＭＴＳ／ＬＴＥ）に接続するための手段であってさえよい。なお、通信手段２５は、例えば、ローカルデータ格納手段２２から移動端末３又はサーバ４のローカルデータ格納手段にデータを転送するための有線接続（典型的にはＵＳＢ）であってよいことが留意されるべきである。

それが「インテリジェンス」をホストする移動端末３（それぞれサーバ４）であるならば、それは記載しようとしている本方法の処理動作を実施するプロセッサのような処理手段３１（それぞれ４１）を含む。使用される処理手段がケース２の処理手段２１であるとき、それは推定位置を送信するための通信手段２５を更に含んでよい。例えば、装着者の位置を携帯端末３に送信して、ナビゲーションソフトウェアインタフェース内にその位置を表示してよい。

本記述の残部では、ケース２、スマートフォン３及び遠隔サーバ４のそれぞれのデータ処理手段２１、３１、４１が、無頓着に(indifferently)、用途に従って、本方法のステップの全部又は一部を実行することがあることが分かるであろう。

（方法）

第１のステップ（ａ）において、本方法は、
− 物体１に関して固定される慣性測定手段による、
○ 加速度の、及び／又は
○ 物体１の角速度の、
少なくとも１つの成分（好ましくは、角速度の３つの成分及び加速度の３つの成分）の、
− 物体１に関して固定される磁気測定手段２０（（複数の）勾配計／（複数の）磁力計）による、
○ 磁場の、及び／又は
○ １つ又はそれよりも多くの値ｉ＞１を備える、磁場の少なくとも１つのｉ次導関数の（説明したように、様々な次数の導関数又は直接的に磁場の値を測定するよう様々な勾配計／磁力計が用いられる）、
ある成分の、
− 光学取得手段による、即ち、
○ それらが物体１に関して固定されるならば、環境Σの連続的な画像の、
○ それらが物体１の環境Σに関して固定されるならば、物体１の連続的な画像の、
３つまでのタイプのデータの（特に物体１の基準系内の）取得を含む。

便宜上、本記述の残部では、「慣性データ」は、慣性測定手段２４によって取得される物体１の加速度及び／又は角速度の（複数の）成分を指し、「磁気データ」は、磁気測定手段２０によって取得される磁場
［外０００８］

の（複数の）成分及び／又は前記磁場の少なくとも１つのｉ次導関数を指し、「視覚データ」は、光学取得手段２６によって取得される画像を示す。

これらのデータは、物体１の動きの特性時間、典型的には４０ミリ秒と比較して非常に小さいｄｔを備える、ｄｔサンプリング（即ち、毎秒「ｄｔ」）を用いて有利に取得される。

以下から分かるように、これらの量の各々は、各時間ステップで必ずしも測定されない。より具体的には、各瞬間に、磁気測定手段２０及び／又は光学取得手段２６は、慣性データ、及び、好ましくは、磁気データ又は視覚データの３つのうちからの２つのタイプのデータのみを、或いは１つだけのタイプのデータでさえも永久的に取得するように、スイッチを切られてよい。消費を制限するために慣性データよりも少ない周波数で画像を取得することはＶＩＮＳシステムにおいて既に知られているが、この周波数は、重要なドリフトを有する危険を冒して比較的高いままであることが留意されるべきである。

ステップ（ｂ）において、データ処理手段２１、３１、４１は、物体１の動きの少なくとも１つの成分、特に線速度Ｖの全ての成分を推定する。角速度ベクトルΩの１つ又はそれよりも多くの成分も推定されるか、或いは少なくとも検証されることがある。この推定は、慣性データ、ならびに磁気データ及び／又は視覚データを用いて実行される。換言すれば、使用されるデータのセットは、動的に、慣性＋磁性、又は慣性＋視覚、又は慣性＋磁性＋視覚で変化することがある。

これらのデータから物体の動きを推定する異なる方法を以下に記載する。

（データの選択）

ステップ（ａ）は、慣性データの連続的な取得を依然として含むが、磁気データ又は視覚データの取得は、潜在的に断続的にのみ取得される。しかしながら、代替的に、ステップ（ａ）は、３つのタイプのデータの連続的な取得を含んでよいが、必ずしもそれらのデータを常に考慮に入れる必要はない。即ち、エネルギ消費の大部分は関連する重い処理作業に起因することが思い起こされてよい。

これに関して、ステップ（ａ）は、有利には、磁気データ及び／又は視覚データの選択を含む。説明したように、一般的には、２つのデータのうちの１つ（通常は両方）が常に有効である、即ち、屋外では、少なくとも視覚データが信頼でき、屋内では、少なくとも磁気データが信頼できる場合、測定において２つのデータを同時に利用可能にする必要はない。

これに関して、磁気データ及び／又は視覚データの選択は、有利には、磁気データ及び／又は視覚データの有効性のテストの結果である。

例えば、これらのタイプのデータのうちの１つがデフォルトタイプであると決定されてよく（他のものをリセットデータと呼ぶ）、有効性が検証されるのはこのタイプである。実際、デフォルトデータが有効でないならば、他のデータが有効であると抜け目なく(atutely)推定される。デフォルトデータが信頼できないときには、データをリセットすること又は２つのデータが選択されることを提供することが可能である。

例えば、第１の例（図２のケース）によれば、物体１は、外側で移動するドローンである。視覚データの処理は、慣性データをリセットする際に良い結果を常にもたらすが、そのような視覚データ処理は、エネルギにおいてコストがかかることが知られている。しかしながら、エネルギを節約することは、バッテリで作動し、限定的な自律性を有するに過ぎない、ドローンにとって重要である。その場合には、デフォルトのデータのタイプが磁気タイプである、即ち、通常の状況では、磁気データが選択され且つ使用されるが、視覚データは使用されないことを定義することが可能である（何故ならば、磁力計のエネルギ消費は、カメラのエネルギ消費よりもはるかに少ないからである）。有効性テストが磁気データについて決定的でないならば（典型的には磁気外乱の場合）、リセットを達成するために、視覚データが代わりに選択される。

第２の例（図１のケース）によれば、物体１は、仮想現実ヘッドセットであり、光学取得手段２６はヘッドセットを観察し、後者に関して固定しない。光学取得手段２６が物体１に取り付けられない限りにおいて、それらの電力消費は余り問題でない。それが、デフォルトデータのタイプは視覚タイプである、即ち、通常の状況では、視覚データが選択され且つ使用されるが、磁気データは使用されないことが定義される理由である。有効性テストが視覚データについて決定的でないならば（典型的には、ユーザの両手は物体１を隠すならば）、リセットを達成するために、磁気データが代わりに選択される。

様々な有効性テストを実施することができ、潜在的に組み合わせることができる。顕著にはコーン(円錐)の形態において、例えばドリフトの不確実性を推定することによって、軌道の品質を未分化な方法(undifferentiated manner)で検証すること、（即ち、磁気データの有効性をテストするのみならず、視覚データもテストすること）が可能であり得る。このコーンの幅が閾値を上回るならば、デフォルトデータは信頼できないことを意味する。

より具体的には、例えば、視覚データについて、
− 画像が少なくとも所定の最小の数の感心対象点を有するのを検証すること、
− 光強度が閾値を上回るのを検証すること、
− 画像中のコントラストが十分であるのを検証すること、
− など
が可能である。

より具体的には、例えば、磁性データについて、
− 磁場の定常性(stationarity)を評価すること（仏国特許出願公開第１７５６９５８号を参照）。
− 勾配の非均一性を検証すること、
− など
が可能である。

その上、選択についての有効性の評価が必ずしもないこと、並びに、少なくとも特定の瞬間に、磁気データ及び視覚データの両方は、データの有効性とは無関係に、例えば、方法の初期化時に、マッピングの品質が低下するときに（後述を参照）、又は極めて単純に特定の時間期間の終了時に、デフォルトで選択されてよいことに留意のこと。

従って、画像情報のお陰で、少なくとも慣性データ及び磁気データに基づいて、少なくともナビゲーションのドリフトを検証し、必要な場合にのみ修正するために、画像間の時間的距離の基準が考慮に入れられてよう。

精度が適用の第１の基準であるならば、２つの測定値をデフォルトで使用し、互いに対して２つの測定値の干渉性(コヒーレンス)(coherence)を定期的に検証することも可能である。その場合、有効性テストは、センサを一時的に非アクティブ化するために、非干渉性(非コヒーレンス)(incoherence)の事態においてのみ実行される。

（動きの推定）

説明したように、ステップ（ｂ）において、データ処理手段２１、３１、４１は、慣性データ及び磁気データを用いて、物体１の動きの少なくとも１つの成分、特に線速度Ｖ及び／又は角速度Ωの全ての成分を推定する。

慣性データ及び磁気データを使用する或いは慣性データ及び視覚データを使用する動きの１つ又はそれよりも多くの成分を推定するための、慣性データを永久的に使用し且つ視覚データを間欠的に使用する技法を含む、多くの技術が知られている。

よって、ステップ（ｂ）は、磁気慣性ナビゲーションアルゴリズム及び視覚慣性ナビゲーションアルゴリズムを極めて単純に実施することがあり、選択されるデータに従ってどちらか一方を使用することがある。

代替的に、既知の視覚慣性ナビゲーション技法を使用し、磁気データを考慮に入れることを加えることは、単純で効率的である。

例えば、視覚慣性フィルタリング方法、特に「逆平方根(inverse square root)」タイプの視覚慣性フィルタリング方法が知られている。これらのフィルタリング方法において、状態は、物体の姿勢並びに「鍵画像(key images)」のセットの姿勢で構成され、慣性方程式に基づくフィルタの変化モデルが用いられる。フィルタを磁気−視覚−慣性にするためには、このフィルタに、

のような少なくとも１つの磁気方程式を加えることで十分である。

磁気データがない場合（視覚データのみが選択されるならば）、（複数の）磁気方程式の寄与は排除されることがある。また、視覚データがない場合（磁気データのみが選択されるならば）、フィルタは問題なく動作し続ける。

一般に言えば、ステップ（ｂ）は、好ましい方法において、慣性データ並びに磁気データ及び／又は視覚データを用いて環境をマッピングする要素を構築する第１のサブステップ（ｂ１）と、（物体１を位置特定することによって）前記マッピング要素から物体１の動きの少なくとも１つの成分を推定する第２のサブステップ（ｂ２）とを含む。

マッピング要素は、完全な地図又は（海事航行における灯台に倣って）環境中で固定され且つ識別可能である「ランドマーク」と呼ばれる単なる基準点のいずれかである。

これらの２つのステップは、必ずしも別個でなく、同時に行われてよいことが留意されるべきである。環境がマッピングされる場合、この技法は、ＳＬＡＭ（同時位置特定及びマッピング）(simultaneous localization and mapping)の名前によって当業者に知られている。

完全な中間マッピングが存在せず、ステップ（ｂ１）におけるランドマークの位置の決定のみがある場合、この技術は、「視覚走行距離計測法(visual odometry)」という名称の下で当業者に知られている。ランドマークの位置は、走行距離計測法の暗黙のデータである場合があることが留意されるべきである。例えば、フィルタリングの場合、これらのランドマークの位置は、必ずしも状態に含まれない。代わりに、それらは、ランドマークがより見えるときに、三角形にされて、瞬間的に周縁化されることがある。

両方のケースにおいて、ステップ（ｂ１）は、マップされた環境の容積内で動く物体１の再配置に必要な情報を有する、或いは少なくともランドマークを備える、環境の数学的表現の構築を含む。

この表現は、光学収集手段２６（視覚的ランドマークの記述）から導出される或いは磁気測定手段２０（磁場及びその勾配のマップ）から導出される情報を含んでよく、特にデフォルトデータはそれに従う。

視覚的ランドマークに加えて、マップ内に電場に関する情報を置くことが可能であることが留意されるべきである。

簡単な例は、各ランドマークについて、ランドマークが検出されるときに測定される電場の方向とランドマークに向かう射線(firing line)との間の角度を関連付けることができる。たとえ電場が正確に北を示していないとしても、これは大きなマップ内の再配置を容易にすることができる。何故ならば、現在見ているランドマークをある瞬間に見られたマップのランドマークと関連付けるだけでよいからであり、或いは、電場は現在測定されている電場と多かれ少なかれ整列させられたからである。

ステップ（ｂ１）のマッピング要素を構築するためのプロセスの好ましい実施形態は、同時に実行されるために必要があるならば可能である３つのサブステップにおいて記載されてよい。
（ｉ）慣性、磁気及び／又は視覚データの受信。
（ｉｉ）記録する画像の数を減らすよう、磁気データ及び慣性データを用いて特異に優先的に実施される、マッピング要素の粗いが効率的な構築（画像は主に再構築の役立ち、粗い場所のためには余り重要でない）。
（ｉｉｉ）特に視覚データを用いて、（潜在的には事後に実行される）ステップｉｉの潜在的なドリフトを修正するために、マッピング要素を精緻化すること。

よって、例えば、磁気データが信頼でき、選択されるものがステップｉｉに留まることがある限り、このデータが信頼できないと評価されて、選択されていないならば、ステップｉｉｉを実施してよいことが分かる場合がある。

マッピング要素は、視覚的ランドマークの３Ｄ位置情報を必然的に含む。この情報は、ソナー光学タイプの方法（国際公開ＷＯ２０１１／１４７９４７号を参照）から導き出されてよく、或いは、代わりに、「運動からの構造(Structure from Motion)」（ＳｆＭ）、又は「バンドル調整(Bundle Adjustment)」（ＢＡ）、全ての測定値を可能な限り説明する点の３Ｄ位置を見出す全てのデータ上の反復的最適化から導き出されてよい。これらのＳｆＭ方法は、慣性データを含むバージョン又は慣性データを含まないバージョンにおいて従来技術に存在する。マッピング要素の全部又は一部は、（特に方法を初期化するために）全て事前に知られている場合があることが留意されなければならない。

実際には、これらのマッピング要素の正確さ及び完全性は、場所段階について、根本的(primordial)である。そして、ＳｆＭ方法は、一般的には、用途のために必要とされる精度及び完全性の最終レベルを得るために必要である。しかしながら、これらの方法は面倒であり、その計算時間は、マッピングのサイズと線形よりもはるかに多く増加する。

これらのＳｆＭ方法の基礎は、非線形最適化であり、マッピングフェーズ中のランドマーク及びそれらを観察したカメラの位置の変数の初期化の質は、良好な局所最小及び急速な収束に向かう収束のために根本的である。

その場合、慣性、磁気、及び視覚データの使用を機敏に組み合わせる本発明の方法は、以下のことを可能にすることが分かることがある
− 初期化されたランドマークの位置変数の構築に必要な演算能力を、現在使用されている方法（その中には上述のＶＩＮＳフィルタリング方法がある）と比較して、実質的に低減すること。これらのより低い演算能力は、例えば、場所及び三角測量部分を切り離すことが可能であるという事実から、或いは、代わりに、磁気的及び慣性的データに基づく先験的場所が、画像の一部に対する関心対象点の探索を減少させることを可能にするという事実から生じることがある。
− 視覚が曖昧な場合（平坦な壁、暗い場所）に最終解に最も近い変数の初期化（ステップｉｉ）を支援すること。これはＳｆＭアルゴリズムのより迅速な収束を可能にする。
− データ収集中に行われる動きのタイプに対するＳｆＭの問題の変数の初期化をより確固 (ロバスト)にすること。これは、先験的に形成されていない、ユーザによって行われる動きが、マッピングの再構築に最適でないとしても、ＳｆＭ問題の良好な局所最小における収束を可能にする（実際には、３Ｄ再構築のための従来技術のデバイスは、純粋な回転移動を避けることを推奨し、それは最適化問題を不十分に条件付け、磁気データの追加は、ユーザによって行われる動きが悪化される(degenerated)ときに、軌道を汚染するこれらの条件付け問題を回避することを可能にする）。

（較正）

好ましい方法において、ステップ（ａ）は、慣性測定手段２４、磁気測定手段２０、及び光学取得手段２６の中の１つの手段を、他の２つの手段によって取得されるデータで、事前に較正することを含む。好ましい方法では、光学取得手段２６が慣性データ及び磁気データで較正されるか、或いは磁気測定手段２０が慣性データ及び視覚データで較正されるかのいずれかである。

実際には、慣性データ、磁気データ、及び視覚データの３つが全て考慮されるときに、それらによって担持される(borne)情報の冗長性が潜在的に存在する限り、センサにリンクされるパラメータ（磁気測定手段２０のバイアス又はスケールファクタ(scale factor)、光学取得手段２６の光軸と測定手段２０、２４との間の距離など）を修正することが可能であり、よって、動きの推定を最後に向上させることが可能である。

（機器及びシステム）

第２の態様によれば、本発明は、特に本方法の実施形態のいずれか一方の実施のための機器２、３、４に関する。

以前に説明したように、第１の実施形態によれば、本機器は、磁気測定手段２０及び／又は慣性測定手段２４（優先的には、磁気測定手段２０及び慣性測定手段２４）と、本方法のステップの実施のために構成されたデータ処理手段２１とを含む、自律ケース２(autonomous case)である。

ケース２は、更に、ケース２を取り付けるための手段２３を含み、必要であれば、（例えば、推定された動きの格納のための）データ格納手段２２及び／又は結果の輸出のための通信手段２５を含む。

ケース２は、（もし光学取得手段が環境を観察するならば）光学取得手段２６を含む、即ち、これらは別個であり、固定された方法で配置され、ケース２と通信する。ケース２がインテリジェンス(intelligence)を含む、この実施形態では、人は、優先的にはケース２が光学取得手段２６も含む状況（物体１が、例えば、ドローンである状況）にある。

第２の実施形態によれば、機器は、磁気測定手段２０及び慣性測定手段２４及び光学取得手段２６との通信に適した、移動端末３又はサーバ４である。

典型的には、磁気測定手段２０及び慣性測定手段２４はケース２内に配置され、光学取得手段２６は環境中に固定的に配置されるが、３つの手段２０、２４、２６を同じケース２内に配置することが可能であり、或いは２つの別個のケース内に配置することが可能であり、或いは３つの別個のケース内に配置することさえも可能である。

換言すれば、移動端末３又はサーバ４は、本方法のステップの実施のために構成される処理手段３１又は４１を含む。各ケース２は全て同じであり、手段２０、２４、２６の制御及び（通信手段２５を介した）データ処理手段３１、４１への測定されたデータの送信のためのデータ処理手段２１を含んでよい。

必要とされるならば、方法のステップは、手段２１、３１、４１の間で分割されてよいことが留意されるべきである。

本発明は、このケースにおいてこの実施形態に従った機器３、４を含むシステム及び接続された（複数の）「衛星」ケース２に関する。

全てのケースにおいて、「主」機器２、３、４のデータ処理手段２１、３１、４１は、
− モジュールであって、
○ 物体１に関して固定される慣性測定手段２４によって取得される、慣性データと呼ぶ、物体１の加速度及び／又は角速度のうちの少なくとも１つの成分と、
○ 物体１に関して固定される磁気測定手段２０による、磁気データと呼ぶ、磁場及び／又は磁場のｉ次導関数のうちの少なくとも１つの成分と、
○ 物体１又は環境Σに関してそれぞれ固定される光学取得手段２６による、視覚データと呼ぶ、環境Σ又は物体１の連続的な画像とを受信する
モジュールと、
− 慣性データ並びに磁気データ及び／又は視覚データを用いて物体１の動きの少なくとも１つの成分を推定するモジュールとを
実装するように構成される。

（コンピュータプログラム製品）

第３の態様及び第４の態様によれば、本発明は、本発明の第１の態様に従った環境Σ及び周囲磁場中を移動する物体１の動きを推定する方法の（処理手段２１、３１、４１上での）実行のためのコード命令を含むコンピュータプログラム製品並びにこのコンピュータプログラム製品が見出されるコンピュータ機器（例えば、データ格納手段２２）によって読み取り可能な格納手段に関する。

Claims (15)

1. 環境及び周囲磁場中を移動する物体の動きを推定する方法であって、
   （ａ）取得のステップであって、
   − 前記物体に関して固定される慣性測定手段による、慣性データと呼ぶ、前記物体の加速度及び／又は角速度の少なくとも１つの成分の、
   − 前記物体に関して固定される磁気測定手段による、磁気データと呼ぶ、磁気測定手段での、磁場及び／又は該磁場のｉ次導関数の少なくとも１つの成分の、
   − 前記物体に関して固定される光学取得手段による、視覚データと呼ぶ、前記環境の連続的な画像の、
   取得のステップと、
   前記磁気データ及び／又は前記視覚データの有効性の評価、並びに該有効性の評価の結果の関数としての前記磁気データ及び／又は前記視覚データの選択のステップと、
   （ｂ）データ処理手段による、前記慣性データ、並びに前記磁気データ及び前記視覚データの中から選択されるデータ又は複数のデータを用いた、前記物体の前記動きの少なくとも１つの成分の推定のステップとを含むことを特徴とする、
   方法。
2. 環境及び周囲磁場中を移動する物体の動きを推定する方法であって、
   （ａ）取得のステップであって、
   − 前記物体に関して固定される慣性測定手段による、慣性データと呼ぶ、前記物体の加速度及び／又は角速度の少なくとも１つの成分の、
   − 前記物体に関して固定される磁気測定手段による、磁気データと呼ぶ、前記磁気測定手段での、磁場及び／又は該磁場のｉ次導関数の少なくとも１つの成分の、
   − 前記環境に関して固定される光学取得手段による、視覚データと呼ぶ、前記物体の連続的な画像の、
   取得のステップと、
   前記磁気データ及び／又は前記視覚データの有効性の評価、並びに該有効性の評価の結果の関数としての前記磁気データ及び／又は前記視覚データの選択のステップと、
   （ｂ）データ処理手段による、前記慣性データ、並びに前記磁気データ及び前記視覚データの中から選択されるデータ又は複数のデータを用いた、前記物体の前記動きの少なくとも１つの成分の推定のステップとを含むことを特徴とする、
   方法。
3. 前記磁気データ及び前記視覚データの一方は、デフォルトデータであり、他方は、リセットデータであり、前記有効性の評価は、前記デフォルトデータについて実施され、
   前記選択されるデータは、
   − 前記デフォルトデータが有効と評価されるならば、前記デフォルトデータであり、
   − 前記デフォルトデータが無効と評価されるならば、前記リセットデータである、
   請求項１又は２に記載の方法。
4. 前記磁気データ及び／又は前記視覚データの前記有効性の評価は、前記動きの前記推定に関する不確実性の評価を含む、請求項３に記載の方法。
5. 前記磁気データの前記有効性の評価は、前記周囲磁場の定常性の評価又は勾配の非均一性の評価を含む、請求項１乃至４のうちのいずれか１項に記載の方法。
6. 前記視覚データの前記有効性の評価は、感心対象点の数の評価、光強度の評価、画像コントラストの表示の評価、又は前記光学取得手段が前記環境に関して固定されるケース内の前記画像中の前記物体の検出の成功の評価を含む、請求項１乃至５のうちのいずれか１項に記載の方法。
7. 前記ステップ（ｂ）は、好ましい方法において、前記慣性データ並びに前記磁気データ及び／又は視覚データを用いて前記環境をマッピングする要素を構築する第１のサブステップ（ｂ１）と、前記マッピングする要素から前記物体の前記動きの前記少なくとも１つの成分を推定する第２のサブステップ（ｂ２）とを含む、請求項１乃至６のうちのいずれか１項に記載の方法。
8. 前記慣性データ並びに前記磁気データ及び／又は前記視覚データを用いて前記環境をマッピングする要素を構築する前記第１のサブステップ（ｂ１）は、前記慣性データ並びに前記磁気データを用いて前記環境をマッピングする要素の第１の粗い構築と、次に、前記視覚データを用いて前記環境をマッピングする要素の精緻化とを含む、請求項７に記載の方法。
9. 前記ステップ（ａ）は、前記慣性測定手段、前記磁気測定手段、及び前記光学取得手段の中の１つの手段を、２つの他の手段によって取得されるデータで事前較正することを含む、請求項１乃至８のうちのいずれか１項に記載の方法。
10. 環境及び周囲磁場中を移動する物体の動きを推定する機器であって、
    当該機器は、データ処理手段を含み、該データ処理手段は、
    − モジュールであって、
    − 前記物体に関して固定される慣性測定手段によって取得される、慣性データと呼ぶ、前記物体の加速度及び／又は角速度の少なくとも１つの成分と、
    − 前記物体に関して固定される磁気測定手段による、磁気データと呼ぶ、磁場及び／又は該磁場のｉ次導関数の少なくとも１つの成分と、
    − 前記物体又は前記環境に関してそれぞれ固定される光学取得手段による、視覚データと呼ぶ、前記環境又は前記物体の連続的な画像とを受信する、
    モジュールと、
    前記磁気データ及び／又は前記視覚データの有効性の評価、並びに該有効性の評価の結果の関数としての前記磁気データ及び／又は前記視覚データの選択のモジュールと、
    − 慣性データ、並びに前記磁気データ及び前記視覚データの中から選択されるデータ又は複数のデータを用いて、前記物体の前記動きの少なくとも１つの成分を推定するモジュールとを実装する、
    ように構成される
    機器。
11. 前記磁気測定手段及び／又は前記慣性測定手段及び／又は前記光学取得手段を含むケースである、請求項１０に記載の機器。
12. 前記磁気測定手段、前記慣性測定手段及び前記光学取得手段との通信に適した、移動端末又はサーバである、請求項１１に記載の機器。
13. 請求項１２に記載の機器と、関係する前記磁気測定手段、前記慣性測定手段及び前記光学取得手段とを含む、システム。
14. コンピュータプログラムであって、
    当該コンピュータプログラムがコンピュータ上で実行されるときに、請求項１乃至９のうちのいずれか１項に記載の環境及び周囲磁場中を移動する物体の動きを推定する方法を実行するための、コード命令を含む、
    コンピュータプログラム。
15. コンピュータ機器によって読み取り可能な格納手段であって、コンピュータプログラムが、その上に、請求項１乃至９のうちのいずれか１項に記載の環境及び周囲磁場中を移動する物体の動きを推定する方法の実行のためのコード命令を含む、格納手段。

Images