JP2022535253A - 行路に基づくマッピング及びルーティングの方法及びシステム - Google Patents

Abstract

行路に基づくマッピング及びルーティングのシステム及び方法が提供される。レーダーからのセンシングデータと、ジャイロスコープと加速度計とを含む慣性計測ユニット（ＩＭＵ）からのセンシングデータとの融合に基づいて環境内の移動体の並進情報及び絶対方位情報が決定され、その情報から、行路に基づく地図及び最適な経路が生成され得る。

Description

多くの危険な状況において、移動体（例えば、人々、車両など）の位置を追跡する能力を有することは有益である。屋外環境では、全地球測位システム（ＧＰＳ）などの衛星を利用した無線ナビゲーションシステムが、ジオロケーション及び時間情報を提供するために広く使用されている。ところが、屋内環境などの多くの危険な状況において、ＧＰＳ信号が利用できない場合がある。更に、こうした危険な環境の多くは、電気又はＷｉＦｉへのアクセスを有さない場合がある。この種の危険な環境の例には、火災中の建物、鉱山などがあり得る。

特に、視界、ＧＰＳ信号、無線ネットワーク、無線ビーコン、及び／又は、移動体の場所を特定するために利用できる他のインフラストラクチャを欠く環境において、効果的に移動体を追跡するための、マッピング及びルーティングのシステム並びに方法を提供することが望まれている。本開示は、行路に基づく環境の地図を構築し、地図上の移動体を追跡し、地図上の１つの場所から地図上の別の場所への経路を提供するシステム及び方法を提供する。

一態様では、本開示は、マッピング及びルーティングの方法を記載する。この方法は、移動体によって装着されるウェアラブルパックに取り付けられたセンサアセンブリであって、慣性計測ユニット（ＩＭＵ）及び無線周波数（ＲＦ）レーダーユニットを備えるセンサアセンブリを提供することと、センサアセンブリを介して、（ｉ）無線周波数（ＲＦ）レーダーユニットからの１つ以上のレーダー速度、（ｉｉ）慣性計測ユニット（ＩＭＵ）からの移動体の１つ以上の角速度、及び（ｉｉｉ）慣性計測ユニット（ＩＭＵ）からの１つ以上の直線加速度を含むセンシングデータを収集することと、プロセッサを介して、センシングデータに基づいて移動体の並進情報及び絶対方位情報を決定することと、プロセッサを介して、決定された並進情報と決定された絶対方位情報との組み合わせに基づいて移動体の姿勢の時系列を決定することと、プロセッサを介して、姿勢の時系列を移動体の行路に組み合わせることと、を含む。

別の態様では、本開示は、マッピング及びルーティングのシステムについて記載する。このシステムは、ウェアラブルなパックと、移動体によって装着されるウェアラブルパックに取り付けられたセンサアセンブリであって、慣性計測ユニット（ＩＭＵ）及び無線周波数（ＲＦ）レーダーユニットを備え、（ｉ）無線周波数（ＲＦ）レーダーユニットからの１つ以上のレーダー速度、（ｉｉ）慣性計測ユニット（ＩＭＵ）からの移動体の１つ以上の角速度、及び（ｉｉｉ）慣性計測ユニット（ＩＭＵ）からの１つ以上の直線加速度を含むデータを感知するように構成されている、センサアセンブリと、センシングデータに基づいて移動体の並進情報及び絶対方位情報を決定し、決定された並進情報と決定された絶対方位情報との組み合わせに基づいて移動体の姿勢の時系列を決定し、姿勢の時系列を移動体の行路に組み合わせるように構成されたプロセッサと、を含む。

様々な予期せぬ結果及び利点が、本開示の例示的な実施形態において得られる。本開示の例示的な実施形態の利点として、例えば、慣性計測ユニット（ＩＭＵ）、レーダー、及び／又はイメージングカメラからのセンサデータの融合によって生成される、行路に基づく地図が挙げられ、これを使用して環境内の経路の提案を生成することができる。本明細書に記載される方法及びシステムは、ＧＰＳ又は他の場所特定システムが利用できず、かつ／又は可視光スペクトル又は熱源に敏感なカメラが良好なイメージング信号を提供しないことのある、危険な環境にとって特に有利であり得る。

以上が本開示の例示的な実施形態の様々な態様及び利点の概要である。上記の「発明の概要」は、本開示の特定の例示的な実施形態の、図示される各実施形態又は全ての実現形態を説明することを意図するものではない。以下の図面及び「発明を実施するための形態」は、本明細書に開示される原理を使用する特定の好ましい実施形態を、より詳細に例示するものである。

以下の本開示の様々な実施形態の詳細な説明を添付図面と併せて検討することで、本開示をより完全に理解し得る。
一実施形態による、例示的なマッピング及びルーティングのシステムのブロック図である。 一実施形態による、ドップラー信号の強度の時系列である。 一実施形態による、「床ボクセル」の走査から得られた推定移動速度の時系列である。 一実施形態による、センサアセンブリの側面斜視図である。 一実施形態による、取り付け機構に取り付けられた図３Ａのセンサアセンブリの概略側面図である。 一実施形態による、その上に図３Ｂのセンサアセンブリが取り付けられたウェアラブルパックの概略図である。 一実施形態による、マッピング及びルーティングの方法のフロー図である。 一実施形態による、マッピング及びルーティングの方法を示すブロック図である。 一実施形態による、ジャイロスコープを有する加速度計を使用することによる回転及び方位決定の概略図である。 一実施形態による、行路から生成された２Ｄ地図及び、その地図上に決定された経路を示す図である。 一実施形態による、マッピング及びルーティングのシステムのユーザインタフェースのスクリーンショットである。 別の実施形態による、マッピング及びルーティングのシステムのユーザインタフェースのスクリーンショットである。 別の実施形態による、マッピング及びルーティングのシステムのユーザインタフェースのスクリーンショットである。

図面において、類似の参照符号は類似の要素を表す。上記で特定された図面は、一定の縮尺で描かれないことがあり、本開示の様々な実施形態を明らかにしているが、発明を実施するための形態で指摘されるように、他の実施形態も企図される。全ての場合において、本開示は、本明細書で開示される開示内容を、明示的な限定によってではなく、例示的な実施形態を示すことによって説明する。本開示の範囲及び趣旨に含まれる多くの他の修正及び実施形態が、当業者によって考案され得ることを理解されたい。

本開示は、行路に基づく環境の地図を構築し、地図上で移動体を追跡し、地図上の１つの場所から地図上の別の場所への経路を提供するシステム及び方法を提供する。本明細書に記載するマッピング及びルーティングのシステム及び方法は、特に、視界、ＧＰＳ信号、無線ネットワーク、無線ビーコン、及び／又は、移動体の場所を特定するために利用できる他のインフラストラクチャを欠く環境において、効果的に移動体を追跡できる。

図１は、一実施形態による、例示的なマッピング及びルーティングシステム１００のブロック図である。システム１００は、移動体（例えば、人々、車両など）によって装着されるウェアラブルパック（図１には示されていない）に取り付けることができるセンサアセンブリ１０を含む。センサアセンブリ１００は、無線周波数（ＲＦ）レーダーユニット１２及び慣性計測ユニット（ＩＭＵ）１４を含み、（ｉ）ＲＦレーダーユニット１２からの１つ以上のレーダー速度、（ｉｉ）ＩＭＵ１４からの移動体の１つ以上の角速度、及び（ｉｉｉ）ＩＭＵ１４からの移動体の１つ以上の直線加速度を含むセンシングデータを収集するように構成されている。

図１に示す実施形態では、慣性計測ユニット（ＩＭＵ）１４は、ジャイロスコープ１４２及び加速度計１４４を含む。ジャイロスコープ１４２は、ｘ軸、ｙ軸、及びｚ軸などの３つの軸の周りの角速度（例えば、ラジアン毎秒）を測定することによって、移動体の回転データを感知できる。加速度計１４４は、ｘ軸、ｙ軸、及びｚ軸に沿って、移動体の直線加速度（例えば、メートル毎秒毎秒）を測定できる。いくつかの実施形態では、加速度計１４４は、地球の重力による加速度を測定して、ジャイロスコープ１４２によって測定された回転データに対する重力基準を提供することができる。例えば、測定された加速度が重力に起因する場合には、重力ベクトルを加速度計の３つの軸に分解して重力基準を提供することができる。

いくつかの実施形態では、ＲＦレーダーユニット１２は、１つ以上の識別された物体の１つ以上の速度を測定することによって、移動体の並進データを感知できる。ＲＦレーダーユニット１２は、例えば約７６～８１ＧＨｚの典型的な周波数で動作でき、この周波数は、音速で動作する典型的な超音波センサの約５０ｋＨｚと比較してはるかに高い。ＲＦレーダーユニット１２は、例えば、１つ以上のドップラーレーダー又は他の任意の好適なＲＦレーダーを含むことができる。ドップラーレーダーは、ドップラー効果に基づいて、移動体が移動する速度を測定できる。ドップラー効果は、２つの物体間の相対速度に基づいて生じる周波数のシフトである。導出された速度を積分すると、ある時刻から別の時刻への相対的な移動体の位置が得られる。理解されるように、ドップラーレーダー以外の好適なＲＦレーダーも使用できる。例えば、１つ以上の距離測定レーダーを使用して物体までの距離を測定してもよく、その距離から速度情報を導出できる。

いくつかの実施形態では、ＲＦレーダーは、移動体によって装着されたウェアラブルパックに取り付けることができ、ＲＦレーダーは、ある角度（すなわち、ガンマ）で部分的に床を指す。ＲＦレーダーが移動体と共に床を動き回るとき、ＲＦレーダーは、床や周囲の物体に向けてＲＦ信号を発射し、反射した信号を受信することができる。反射した信号は、移動体の動きによって変調され得る。誘発されたドップラーシフトを使用して、移動体の並進速度又はドップラー速度を計算できる。

図２Ａは、移動体がＲＦレーダーを装着して床上を約２５秒間移動し、途中で１回停止した場合の、ドップラー信号強度（すなわち、ドップラー速度）の時系列を示す。いくつかの実施形態では、例えばカルマンフィルタなどの、フィルタリング方法を使用して、検出されたドップラー信号から背景雑音を除去できる。

いくつかの実施形態では、ＲＦレーダーユニット１２は、識別された１つ以上の物体のレーダー画像の時系列を走査することによって、移動体の並進データを収集できる。各回のレーダー走査では、それぞれが固有の範囲及び方位角を有するいくつかの反射点と、走査された物体に対応する強度を返すことができる。フィルタを適用して高強度の反射を返し、それらをクラスタ化して、以前のレーダーフレーム（例えば、時間内のレーダー画像）と関連して追跡することができる。反復最近傍点（Iterative Closest Point）アルゴリズムを使用して、時間内の連続画像をマッチングすることができ、時間に対して検出された物体間又は特徴間の並進により、並進データ、例えば移動体の移動速度を提供することができる。

図２Ｂは、一連のレーダー画像内の走査された「床ボクセル」から得られた推定移動速度の時系列を示す。「床ボクセル」は、複数の距離及び方位角にわたる走査されたシーン／画像の、１つの体積要素であることができる。レーダー画像からのレーダーデータセットはまた、範囲（距離）と方位角の各組み合わせにおける他の多くのボクセルのそれぞれからの、同様のデータを含むことができる。床に加えて、シーン／画像内で観測されるその他の物体から、移動速度を求めるための類似の分析を行うことができ、そのような複数の推定を組み合わせて、並進情報及び回転情報の単一の推定を形成することができる。

いくつかの実施形態では、一連のレーダー画像に基づく追加の並進情報及び回転情報を、レーダー速度から得られた並進推定と組み合わせて、移動体の並進のより正確な推定を得ることができ、また、ＩＭＵからの回転情報と組み合わせて、移動体の方位のより正確な推定を得ることができる。

いくつかの実施形態では、移動体によって運ばれるＲＦレーダーは、様々な速度で移動する周囲の物体（例えば、床ボクセル、壁ボクセル、又は他の周囲の物体）を感知できる。複数のレーダー画像にわたって物体を追跡することにより、そうした追跡対象物の変化（すなわち、並進及び回転の両方）を求めることができる。環境内の追跡対象物は静止物体であり得、追跡対象物の相対運動が移動体の運動を反映する。この追加の変化情報を元の変化情報と融合させることは、カルマンフィルタのようなアルゴリズムを用いて実行できる。

いくつかの実施形態では、カルマンフィルタの適用は、予測改善のために複数の測定における融合に役立てることができる。例えば、（例えば、ＲＦレーダー又はＩＭＵからの）元の変化に加えて、壁などの環境物体及びそれらの変化を、追加の情報源として追跡できる。個々のタイムスタンプにおいて、元の変化の計算に誤差がある場合に、壁のような環境物体の追跡から別の情報を得ることができる。

移動体が第１の位置Ｐ１（ｘ_１，ｙ_１，ｚ_１）から第２の隣接する位置Ｐ２（ｘ_２，ｙ_２，ｚ_２）まで移動するとき、ＲＦレーダーユニットによってレーダー速度の時系列を測定できる。測定された移動体のレーダー速度はそれぞれ、移動体の方位情報に基づいて、ｖ_ｘ、ｖ_ｙ、及びｖ_ｚとしてｘ軸、ｙ軸、及びｚ軸に分解できる。以下で更に論じる慣性計測ユニット（ＩＭＵ）１４によって、リアルタイムの方位情報を求めることができる。理解されるように、環境内で識別される床以外のいずれかの物体を使用して移動体のレーダー速度を測定することもできる。

いくつかの実施形態では、センサアセンブリ１０は、補足的なセンシングデータを提供するために、１つ以上の任意選択のセンサ１５を含んでもよい。任意選択のセンサには、例えば、１つ以上のイメージングセンサ（例えば、サーマルイメージングセンサ、可視光イメージングセンサなど）、１つ以上の磁力計などが挙げられる。いくつかの実施形態では、１つ以上のサーマルイメージングセンサ、１つ以上の可視光イメージングセンサ、又はそれらの組み合わせを使用して、環境内の周囲の物体のイメージングデータを撮像することができる。いくつかの実施形態では、１つ以上の磁力計を使用して、地球の磁場から情報を導出することができる。磁力計から導出された情報は、ＩＭＵから提供される絶対方位情報を安定させるために役立ち得る。

センサアセンブリ１０によって収集されたセンシングデータを、プロセッサ２０によって処理することができる。図１に示す実施形態では、センサアセンブリからのセンシングデータに基づいて移動体の並進情報及び絶対方位情報を決定し、決定された並進情報と決定された絶対方位情報との組み合わせに基づいて移動体の姿勢の時系列を決定する融合部品２２を、プロセッサ２０は実装し得る。本明細書に記載される並進情報は、３Ｄ座標空間における移動体の位置、すなわち（ｘ，ｙ，ｚ）座標を指す。絶対方位は、移動体が３Ｄ軸に対してどのように配置されているかを記述する。

プロセッサ２０は、姿勢の時系列を移動体の行路に組み合わせる経路プランナー部品２４を更に実装し得る。一部の実施形態では、経路プランナー部品２４は、周囲環境の平面に関連付けられた２次元（２Ｄ）平面に１つ以上の行路を投影して、行路の２Ｄ地図を生成することができる。いくつかの実施形態では、２Ｄ地図は、建物内の複数の階又はフロアのそれぞれに関連付けることができる。いくつかの実施形態では、経路プランナー部品２４は、周囲環境の３次元（３Ｄ）空間に行路を関連付けることにより、行路の３Ｄ地図を生成することができる。いくつかの実施形態では、経路プランナー部品２４は、行路から導出される最適又は近傍最適な経路を決定できる。プロセッサ２０は、処理された情報を出力して、ユーザインタフェース（ＵＩ）３０に表示できる。

図３Ａは、一実施形態による例示的なセンサアセンブリ１０の側面図である。センサアセンブリ１０は、第１のプレート１２ａに取り付けられたＲＦレーダーユニット１２、及び第２のプレート１４ａに取り付けられたＩＭＵ１４を含む。ＲＦレーダーユニット１２及びＩＭＵ１４は、既知の空間的関係で機械的に結合される。図３Ａに図示した実施形態では、ＲＦレーダーユニット１２及びＩＭＵ１４は、ＲＦユニット１２及びＩＭＵ１４の方位が常に互いに対して追跡され得るように配置されたプレート１２ａ及び１４ａに、それぞれ固定される。ＲＦレーダーユニット１２は、傾斜した角度（例えば、約４５°）で床を指すよう配置される。

図３Ｂは、一実施形態による、取り付け機構２１に取り付けられた例示的なセンサアセンブリ１０の概略側面図である。ＲＦレーダーユニットは、移動体（例えば消防士）が床上を真っ直ぐに歩くとき、又は横向きに歩くときに床からゼロ以外のドップラーシフトを提供するように、立面２から、ある一定の角度（例えば約４５度）で傾斜している。理解されるように、取り付け機構２１は、センサアセンブリ１０の感知機能を妨害することなくセンサアセンブリを移動体に取り付けるために、任意の好適な機械的構成を有してもよい。

図３Ｃは、一実施形態による、その上にセンサアセンブリ１０が取り付けられたウェアラブルパック２００を装着したユーザの概略図である。センサアセンブリ１０は、取り付け機構２１を介してウェアラブルパック２００に取り付けられている。図３Ｃに図示した実施形態では、ウェアラブルパック２００は、個人用保護具（ＰＰＥ）２１０を更に含む。典型的なＰＰＥとして、例えば、自給式呼吸器、空気清浄器、バックパックなどを挙げることができる。ＰＰＥ２１０は、装着者にユーザインタフェースを提示するマスク内ディスプレイを有し得る、任意選択のヘッドピース２５２を更に含んでもよい。理解されるように、ウェアラブルパック２００は、他のタイプのＰＰＥ又は他の機能部品を含んでもよい。一部の実施形態では、ウェアラブルパック２００は、センサアセンブリ１０を移動体（例えば消防士）に取り付けるように構成されたウェアラブル取り付けデバイスであってもよい。センサアセンブリ１０は、移動体の並進運動を抽出し、かつ、移動体の回転を頭部の動きによる回転から切り離すために、好ましくは、頭部に取り付けるのではなく、装着者の身体に取り付けられてもよい。

図４は、本明細書に記載されるマッピング及びルーティングのシステムを使用する方法４００のフロー図である。４１０で、センサアセンブリが移動体に装備される。一つの例示的なセンサアセンブリは、慣性計測ユニット（ＩＭＵ）、ＲＦレーダーユニット、及び他の任意選択のセンサを含む、図１のセンサアセンブリ１０である。いくつかの実施形態では、センサアセンブリは、移動体によって装着されるウェアラブルパックに取り付けることができる。一つの例示的なウェアラブルパック２００を図３Ｃに示す。次いで、方法４００は、４２０に進む。

４２０で、センサアセンブリは、例えばＲＦレーダーユニットからの１つ以上のレーダー速度、ＩＭＵからの移動体の１つ以上の角速度、ＩＭＵからの１つ以上の直線加速度などを含む、センシングデータを収集する。いくつかの実施形態では、レーダー速度の時系列を、ＲＦレーダー信号のドップラーシフトに基づいて決定することができる。いくつかの実施形態では、ＲＦレーダーは、１つ以上の周囲の物体を走査して、レーダー画像の時系列を取得できる。いくつかの実施形態では、１つ以上の６軸ＩＭＵを提供でき、各ＩＭＵは、加速度計の３つの軸に沿った加速度と、ジャイロスコープの３つの軸の周りの角速度を感知できる。次いで、方法４００は、４３０に進む。

４３０で、プロセッサは、センサアセンブリからのセンシングデータに基づいて、移動体の並進情報及び絶対方位情報を決定する。いくつかの実施形態では、ＲＦレーダーからのセンシングデータに基づいて、移動体のレーダー速度の時系列を決定することができる。いくつかの実施形態では、ジャイロスコープの３つの軸それぞれの周りで感知された角速度の積分によって、リアルタイムの回転情報を決定することができる。リアルタイムの回転情報を、加速度計の３つの軸に沿った加速度情報と組み合わせることによって、リアルタイムの絶対方位情報を決定することができる。決定された絶対方位情報に基づいて、グローバル座標系（ｘ、ｙ、ｚ）を構築できる。測定されたレーダー速度のそれぞれを、グローバル座標系のそれぞれのｘ軸、ｙ軸、及びｚ軸に沿って分解できる。分解されたレーダー速度を積分することによって、軸ｘ、軸ｙ、及び軸ｚに沿ったグローバル座標系内の並進情報を得ることができる。次いで、方法４００は、４４０に進む。

４４０で、プロセッサは、決定された並進情報と絶対方位情報との組み合わせに基づいて、移動体の姿勢の時系列を決定する。例えば、移動体が第１の位置Ｐ１（ｘ_１，ｙ_１，ｚ_１）から第２の隣接する位置Ｐ２（ｘ_２，ｙ_２，ｚ_２）まで移動するとき、レーダー速度の時系列を測定できる。測定された移動体のレーダー速度はそれぞれ、移動体の対応する絶対方位情報に基づいて、ｖ_ｘ、ｖ_ｙ、ｖ_ｚとしてｘ軸、ｙ軸、及びｚ軸に分解できる。速度ｖ_ｘ、ｖ_ｙ、ｖ_ｚを時間に対して積分することによって、例えば移動体の時系列座標（ｘ，ｙ，ｚ）などの位置情報が得られる。位置情報と絶対方位情報とをペアリングすることによって、移動体の姿勢情報が形成される。次いで、方法４００は、４５０に進む。

４５０で、プロセッサは、一連の姿勢を移動体の行路に組み合わせる。例えば、移動体が環境内の第１の位置Ｐ１（ｘ_１，ｙ_１，ｚ_１）から第２の隣接位置Ｐ２（ｘ_２，ｙ_２，ｚ_２）に移動するとき、姿勢情報の時系列によって、第１の位置Ｐ１（ｘ_１，ｙ_１，ｚ_１）から第２の隣接位置Ｐ２（ｘ_２，ｙ_２，ｚ_２）までの行路を構築することができる。

４５０で得られた行路に基づいて、環境の様々な地図を生成することができる。いくつかの実施形態では、環境内の１つ以上の移動体の辿った行路に基づいて地図を構築できる。いくつかの実施形態では、周囲環境の平面に関連付けられた２次元（２Ｄ）平面に１つ以上の行路を投影して、行路の２Ｄ地図を生成できる。いくつかの実施形態では、周囲環境の３次元（３Ｄ）空間に１つ以上の行路を関連付けて、それらの行路の３Ｄ地図を生成できる。地図のうちのいずれか１つの、２つの位置の間の最適な経路を決定することができる。行路から導出されるマッピング及びルーティングの情報を、ユーザインタフェースを介してユーザに表示することができる。例えば、図７は、現在位置７１４と目標位置７１２の間の経路７１６を示す。経路７１６は、環境内で移動する１つ以上の移動体が辿った行路７１０の上に構築された２Ｄ地図７００に基づいて決定される。

本明細書に記載されるマッピング及びルーティングの方法は、センサアセンブリによって収集されたセンシングデータの融合に依存してもよい。図５は、一実施形態による、マルチセンサデータの融合の方法を示すブロック図である。ジャイロスコープセンサ５１０は、５１２の移動体の角速度（ω_ｘ，ω_ｙ，ω_ｚ）を提供する。レーダーセンサ５２０は、１つ以上の周囲の物体（例えば、床）に対する移動体（例えば、人）の１つ以上のレーダー速度を提供する。加速度計センサ５３０は、移動体の加速度（ａ_ｘ，ａ_ｙ，ａ_ｚ）を提供する。センサ５１０、５２０及び５３０からのセンシングデータ５１２、５２２及び５３２はプロセッサの融合部品５４０に提供され、好適なデータ融合アルゴリズムに基づいて、移動体のリアルタイムの並進情報及び絶対方位情報が決定される。

いくつかの実施形態では、例えば５５０の四元数（ｑ_０，ｑ_１，ｑ_２，ｑ_３）によって表される、移動体の絶対方位情報は、ジャイロスコープセンサ５１０からの５１２の角速度（ω_ｘ，ω_ｙ，ω_ｚ）を、加速度計センサ５３０からの５３２の移動体の加速度（ａ_ｘ、ａ_ｙ、ａ_ｚ）と組み合わせることによって決定できる。図６に示す実施形態では、加速度計センサからの測定された加速度により重力基準が提供され、ジャイロスコープセンサの３つの軸（ｘ，ｙ，ｚ）と重力基準との間の角度を求めることができる。重力基準に対する角速度（ω_ｘ，ω_ｙ，ω_ｚ）を積分することにより、移動体の絶対方位情報（ｑ_０，ｑ_１，ｑ_２，ｑ_３）を提供することができる。ジャイロスコープセンサは、重力基準なしで、相対的な方位を提供することができる、例えば、移動体の方位のリアルタイムの変化が検知され得る。この方法の１つの欠点は、積分誤差と、制限されたジャイロスコープの精度とに起因して、時間とともに結果が発散する場合があることである。本明細書に記載されるジャイロスコープと加速度計との組み合わせによって、グローバル座標系を確立して、絶対的な、すなわち曖昧でない方位情報を決定することによって、そのような技術的欠点を克服することができる。

５５０の絶対方位情報（ｑ_０，ｑ_１，ｑ_２，ｑ_３）を、レーダーセンサ５２０によって測定された５２２の１つ以上のレーダー速度に適用して、移動体の姿勢情報の時系列を決定すること、すなわち、移動体のリアルタイムの位置及び絶対方位の両方を決定することができる。測定された移動体のレーダー速度はそれぞれ、移動体の対応する絶対方位情報に基づいて、５６０でｖ_ｘ、ｖ_ｙ、ｖ_ｚとしてｘ軸、ｙ軸、及びｚ軸に分解できる。速度ｖ_ｘ、ｖ_ｙ、ｖ_ｚを時間に対して積分することにより、環境内の移動体の行路５７０、例えば、グローバル座標系内の移動体の時系列座標（ｘ，ｙ，ｚ）が得られる。

例えば、一実施形態では、レーダーセンサは、移動体によって装着されたウェアラブルパックに取り付けられ得、ある指示角度で床を指す。床の平面に対するレーダーセンサの指示角度（例えば、ガンマ）は、絶対方位情報（ｑ_０，ｑ_１，ｑ_２，ｑ_３）に基づいて、ＩＭＵによって動的に決定できる。移動体が空間を移動するとき、行路に沿った移動体の前進速度（すなわち、床の平面に平行な並進速度）は、例えば、余弦関数（ｃｏｓ（γ））を使用して、床に平行な移動体の前進速度を計算することによって動的に決定できる。移動体の前進速度を時間に対して積分することにより、床上の移動体の行路、例えば、床上の移動体の座標（ｘ，ｙ）の時系列が得られる。

得られた行路を使用して、１つ以上の２次元（２Ｄ）又は３次元（３Ｄ）地図を作成できる。この地図は、移動体がナビゲートできる環境（例えば、建物）内の領域を提供し得る。図７は、移動体が床７０２上を移動するときの、得られた行路に基づく床７０２上の２Ｄ地図７００を示す。２Ｄ地図７００は、床７０２上に様々な行路を提供し、移動体はこれらの行路をナビゲートすることができ、また、これらの行路を使用して、床７０２上の１つの位置から別の位置への経路を作成することができる。

いくつかの実施形態では、好適な検索アルゴリズムを利用して、地図から経路を最適に決定できる。いくつかの実施形態では、開始地点及び目標地点を所与として、Ａ^＊アルゴリズムを使用して自動的に経路を決定して提示することができる。Ａ^＊アルゴリズムは、周知の探索アルゴリズムであり、このアルゴリズムでは、環境をノードのグラフとして表現し、ノード間のエッジを縦走可能な行路とすることによって行路プラニングを公式化することができる。理解されるように、Ａ^＊アルゴリズム以外のいずれかの好適な検索アルゴリズムを使用して、環境内で移動する１つ以上の移動体から得られた行路（単数又は複数）／地図（単数又は複数）から経路（単数又は複数）を決定することもできる。

いくつかの実施形態では、自動的に決定された経路は、地図に基づいて移動される距離に関して可能な限り低いコストを有してもよく、又はコスト係数の異なる組み合わせに基づいてもよい。生成される「最短退出経路」の一例が図７に見られる。ここで、環境内で移動する１つ以上の移動体が辿った行路７１０上に構築された２Ｄ地図７００の現在位置７１４と目標位置７１２との間に、経路７１６が決定される。

いくつかの実施形態では、自動的に決定された行路／経路／地図は、ユーザインタフェースを介してユーザに表示されてもよい。ユーザは、システムによって収集された、いくつかのマッピング情報の可視化に基づいて、システムが推奨した行路／経路を修正することができる。

いくつかの実施形態では、行路の１つ以上の垂直高度、例えば、多階の建物の異なるフロア間の階段の昇降を含めて、移動体がいる３Ｄ環境を正確に表すように３Ｄ地図を作成できる。そのような垂直高度の追跡は、速度ｖ_ｘ、ｖ_ｙ、ｖ_ｚを時間に対して積分して、行路の垂直高度に沿う（例えば、ｚ軸に沿う）移動体の１つ以上の３Ｄ行路を得ることによって達成できる。

取得された行路／経路／地図は、移動体を取り囲む環境内で観察される特徴（例えば、建物内の壁、床、天井など）から導出される、いくつかの構造に基づくマッピング情報によって拡張することができる。いくつかの実施形態では、例えば、サーマルイメージングセンサ、可視光イメージングセンサなどの、１つ以上のイメージングセンサを使用して、環境内の周囲の物体のイメージングデータを撮像できる。撮像した画像／データを使用して、環境の３Ｄポイント地図を構築できる。例えば、いくつかの実施形態では、サーマルイメージングデータ、可視光イメージングデータ、レーダー検知された物体データ、又はそれらの任意の組み合わせに基づいて、移動体が移動した場所を超えておよぶ３Ｄ地図を構築することができ、例えば、部屋、廊下などの周囲環境の地図を含んでもよい。

いくつかの実施形態では、画像フレームにわたる環境内の周囲の物体の２Ｄ位置を追跡するために、センサ画像（例えば、サーマルイメージングデータ、可視光イメージングデータなど）からの視覚的特徴をストラクチャ・フロム・モーション（structure-from-motion）手法に利用することができる。イメージングセンサが移動体と共に移動して画像を撮像するとき、このストラクチャ・フロム・モーション手法で、標的の特徴の位置を画像フレームの時系列から追跡することができる。フレームから追跡された２Ｄ位置を使用して、システムは、標的の特徴の３Ｄ相対位置を三角測量して、環境の点群（例えば、壁、床、天井、部屋、玄関など）を構築できる。

いくつかの実施形態では、例えば、環境の視界が悪いか否かを判定するなど、環境の関連する態様を監視するために、インテリジェント環境モニタを提供することができる。例えば環境内の濃い煙などの、環境の関連する態様を検出するために、好適なコンピュータビジョン技術を適用できる。このモニタによる環境の感知に基づいて、システムは、センサアセンブリの様々なセンサからのセンシングデータの相対的重み付けを決定できる。例えば、システムは、ＩＭＵ及び／又はＲＦレーダーユニットと共に、どのイメージング形式を補助センサとして使用するか（例えば、サーマル又は可視光）を決定できる。

いくつかの実施形態では、インテリジェント環境モニタを使用して、環境内の特徴のより適正なタイプを追跡の標的とすることができる。例えば、壁と天井が一様な色で塗られ、床にテクスチャがない廊下などで、環境の視覚的コントラストが低いとインテリジェント環境モニタが判断した場合、インテリジェント環境モニタは、可視光イメージングセンサを使用する代わりに、サーマルイメージングセンサを起動してサーマルイメージングデータを撮像してもよい。環境内にある標的の特徴について熱的コントラストが低いとインテリジェント環境モニタが判断した場合は、インテリジェント環境モニタは、サーマルイメージングセンサを使用する代わりに可視光イメージングセンサを起動して、可視光イメージングデータを撮像してもよい。このようにして、システムは、環境をインテリジェントに監視して、環境内の特徴のより適正なタイプを追跡できるように、適切なイメージングセンサ（例えば、サーマルカメラ、可視光カメラ、又はこれらの組み合わせ）を選択できる。

いくつかの実施形態では、イメージングデータが使用可能であるときは、環境内にある周囲の物体のイメージングデータ（例えば、サーマルイメージングデータ又は可視光イメージングデータ）を、ＩＭＵ及びＲＦレーダーからのセンシングデータと組み合わせて、ユーザに追加情報を提供できる。いくつかの実施形態では、イメージングデータを利用して、ＩＭＵ及びレーダーのセンシングデータから信号ノイズを除去できる。

行路／地図から導出されたマッピング及びルーティングの情報をユーザに伝達するために、ユーザインタフェースを提供することができる。いくつかの実施形態では、ユーザインタフェースは、ウェアラブルなヘッドアップ型のユーザインタフェースとして提供されてもよい。ユーザインタフェースは、例えば、行路の目的地又は、目的地までの中間地点を指す動的な矢印などの、連続的に更新されるナビゲーション情報を移動体に対して提供できる。図８は、一実施形態による、マッピング及びルーティングのシステムのユーザインタフェース８００のスクリーンショットである。例示的なユーザインタフェース８００は、環境内の移動体（例えば、消防士）に、マッピング及びルーティングの情報を提供する。ユーザインタフェース８００は、図１のプロセッサ２０に機能的に接続されたウェアラブルデバイス（例えば、マスク内ディスプレイ）を介してユーザ（例えば、消防士）に表示できる。図８に図示する実施形態では、ユーザインタフェース８００は、環境内でどちらへ進むべきかを指示する動的な矢印８１０を含む。ユーザインタフェース８００を介してユーザに提示されるマッピング及びルーティングの情報は、周囲の環境的特徴８２０の、ユーザの目に見える実際のシーンと重ね合わせることができる。いくつかの実施形態では、周囲の環境的特徴８２０を好適な拡張現実技術によって撮像して表示することができる。

いくつかの実施形態では、ユーザインタフェースは、地図から経路を最適に決定するために、好適な検索アルゴリズムから導出される、頻繁に更新されるスマートガイダンスを提供できる。例えば、図７に示す、地図７００から決定された例示的な経路７１６などのように、地図内の開始位置及び目標位置を所与として、Ａ^＊アルゴリズムを使用して自動的に経路を決定して提示することができる。図９は、一実施形態による、マッピング及びルーティングのシステムのユーザインタフェース９００のスクリーンショットである。例示的なユーザインタフェース９００は、ユーザ「Ｆ」を含む１つ以上の移動体又はユーザによって生成された行路の鳥瞰図を表示する。１人のユーザに対する実際のターンバイターン経路案内は、例えば、図８に示すユーザインタフェース８００などのユーザインタフェースを介して伝達することができる。あるいは、この経路案内は、別の非移動ユーザによって、図９の例示的なユーザインタフェース９００などの動的行路の鳥瞰図を用いて音声（例えば無線）通信を介して伝達することもできる。例えば、図９に示す実施形態では、ユーザ「Ｆ」は、Ａ^＊アルゴリズムに基づいてユーザ「Ｆ」を既知の行路９１０に戻す新しい行路９４０を提供するスマートガイダンスに応答して、行路９２０を縦走した。このようなスマートガイダンスは、任意の好適な手段（例えば、視覚的又は音声）によってユーザ「Ｆ」に動的に伝達されてもよい。

いくつかの実施形態では、ユーザインタフェースは、ダッシュボード型のユーザインタフェースとして提供されてもよい。ユーザインタフェースは、環境内（例えば建物内）の複数の移動体の連続的な、又は頻繁に更新される動的な軌跡行路を提供できる。いくつかの実施形態では、ユーザインタフェースは、環境内の複数の移動体の動きから取得された行路セグメントを組み合わせることにより、ユーザ（例えば、非移動現場指揮者）のためのスマートガイダンスを提供することができる。図１０は、一実施形態による、マッピング及びルーティングのシステムのユーザインタフェース１０００のスクリーンショットである。ユーザインタフェース１０００は、環境内（例えば、建物内）の複数の移動体（例えば、消防士Ａ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦ）の軌跡を有する動的な地図を表示するウィンドウ１１００を含む。ユーザインタフェース１０００は、複数の移動体の状態データを表示するダッシュボード１２００を更に含む。

別段の指示がない限り、本明細書及び実施形態で使用される量又は成分、特性の測定値などを表す全ての数は、全ての場合において、用語「約」によって修飾されていると理解されるものとする。したがって、反対の指示がない限り、前述の明細書及び添付の実施形態のリストにおいて述べる数値パラメータは、本開示の教示を利用して当業者が得ようとする所望の特性に応じて変化し得る。最低でも、各数値パラメータは少なくとも、報告される有効桁の数に照らして通常の丸め技法を適用することにより解釈されるべきであるが、このことは請求項記載の実施形態の範囲への均等論の適用を制限しようとするものではない。

本開示の例示的な実施形態は、本開示の趣旨及び範囲を逸脱することなく、様々な修正及び変更を行ってもよい。したがって、本開示の実施形態は、以下に記載の例示的な実施形態に限定されるものではないが、特許請求の範囲に記載されている限定及びそれらの任意の均等物により支配されるものであることを理解すべきである。

例示的な実施形態のリスト
例示的な実施形態を以下に列挙する。理解されるように、実施形態１～１７及び１８～２１はいずれも、組み合わせることができる。

実施形態１は、
移動体によって装着されるウェアラブルパックに取り付けられたセンサアセンブリであって、慣性計測ユニット（ＩＭＵ）及び１つ以上の無線周波数（ＲＦ）レーダーユニットを備えるセンサアセンブリを提供することと、
センサアセンブリを介して、（ｉ）無線周波数（ＲＦ）レーダーユニットからの１つ以上のレーダー速度、（ｉｉ）慣性計測ユニット（ＩＭＵ）からの移動体の１つ以上の角速度、及び（ｉｉｉ）慣性計測ユニット（ＩＭＵ）からの１つ以上の直線加速度を含むセンシングデータを収集することと、
プロセッサを介して、センシングデータに基づいて移動体の並進情報及び絶対方位情報を決定することと、
プロセッサを介して、決定された並進情報と決定された絶対方位情報との組み合わせに基づいて移動体の姿勢の時系列を決定することと、
プロセッサを介して、姿勢の時系列を移動体の行路に組み合わせることと、を含む、
マッピング及びルーティングの方法である。

実施形態２は、移動体の絶対方位情報が、ジャイロスコープと加速度計とを備える慣性計測ユニット（ＩＭＵ）からのセンシングデータに基づいて決定される、実施形態１に記載の方法である。

実施形態３は、ジャイロスコープからの１つ以上の角速度を加速度計からの重力基準と組み合わせて絶対方位情報を提供する、実施形態２に記載の方法である。

実施形態４は、センシングデータを収集することが、１つ以上の無線周波数（ＲＦ）レーダーユニットを介して、１つ以上の周囲の物体を走査して、レーダー画像の時系列を取得することを更に含む、実施形態１～３のいずれかに記載の方法である。

実施形態５は、プロセッサを介して、レーダー画像の時系列内の１つ以上の識別された物体の位置を追跡することを更に含む、実施形態４に記載の方法である。

実施形態６は、プロセッサを介して、レーダー画像の時系列内の追跡された位置に基づいて、追加の並進情報を生成することを更に含む、実施形態５に記載の方法である。

実施形態７は、プロセッサを介して、レーダー画像の時系列内の追跡された位置に基づいて、移動体の追加の方位情報を生成することを更に含む、実施形態５に記載の方法である。

実施形態８は、プロセッサを介して、周囲環境の平面に関連付けられた２次元（２Ｄ）平面に行路を投影して、行路の２Ｄ地図を生成することを更に含む、実施形態１～７のいずれか１つに記載の方法である。

実施形態９は、プロセッサを介して、建物内の複数の階又はフロアのうちの１つに地図を関連付けることを更に含む、実施形態８に記載の方法である。

実施形態１０は、プロセッサを介して、周囲環境の３次元（３Ｄ）空間に行路を関連付けて、行路の３Ｄ地図を生成することを更に含む、実施形態１～９のいずれか１つに記載の方法である。

実施形態１１は、プロセッサを介して、２Ｄ地図又は３Ｄ地図に基づいて２つの位置間の最適又は近傍最適な経路を決定することを更に含む、実施形態８又は１０に記載の方法である。

実施形態１２は、行路から導出されるマッピング及びルーティングの情報を、ユーザインタフェースを介してユーザに表示することを更に含む、実施形態１～１１のいずれか１つに記載の方法である。

実施形態１３は、ユーザインタフェースが、１つ以上の移動体からのマッピング及びルーティングの情報の鳥瞰図を表示する、実施形態１２に記載の方法である。

実施形態１４は、１つ以上のサーマル画像を感知するために１つ以上のサーマルイメージングセンサを提供することを更に含む、実施形態１～１３のいずれか１つに記載の方法である。

実施形態１５は、１つ以上の周囲の物体の１つ以上の可視画像を撮像するために、１つ以上のカメラを提供することを更に含む、実施形態１～１４のいずれか１つに記載の方法である。

実施形態１６は、サーマル画像又は可視画像に基づいて周囲環境の点群を構築することを更に含む、実施形態１４又は１５に記載の方法である。

実施形態１７は、周囲環境を監視して、センサアセンブリからのセンシングデータの相対的な重み付けを適応的に決定するように構成されたインテリジェント環境モニタを提供することを更に含む、実施形態１～１６のいずれか１つに記載の方法である。

実施形態１８は、
ウェアラブルパックと、
移動体によって装着されるウェアラブルパックに取り付けられたセンサアセンブリであって、慣性計測ユニット（ＩＭＵ）及び１つ以上の無線周波数（ＲＦ）レーダーユニットを備え、（ｉ）１つ以上の無線周波数（ＲＦ）レーダーユニットからの１つ以上のレーダー速度、（ｉｉ）慣性計測ユニット（ＩＭＵ）からの移動体の１つ以上の角速度、及び（ｉｉｉ）慣性計測ユニット（ＩＭＵ）からの１つ以上の直線加速度を含むデータを感知するように構成されたセンサアセンブリと、
プロセッサと、を備える
マッピング及びルーティングのシステムであって、プロセッサが、
センサアセンブリからのセンシングデータに基づいて、移動体の並進情報及び絶対方位情報を決定し、
決定された並進情報と絶対方位情報との組み合わせに基づいて移動体の姿勢の時系列を決定し、
姿勢の時系列を移動体の行路に組み合わせるように構成されている、
マッピング及びルーティングのシステムである。

実施形態１９は、慣性計測ユニット（ＩＭＵ）がジャイロスコープと加速度計とを備え、移動体の絶対方位情報が、ジャイロスコープ及び加速度計からのセンシングデータに基づいて決定される、実施形態１８のシステムである。

実施形態２０は、ジャイロスコープが１つ以上の角速度を感知するように構成され、加速度計が重力基準を提供するように構成されている、実施形態１９に記載のシステムである。

実施形態２１は、慣性計測ユニット（ＩＭＵ）及び１つ以上の無線周波数（ＲＦ）レーダーユニットが、既知の空間的関係で機械的に結合されている、実施形態１８～２０のいずれか１つに記載のシステムである。

本明細書全体を通して、「一実施形態」、「特定の実施形態」、「１つ以上の実施形態」、又は「ある実施形態」に対する言及は、「実施形態」という用語の前に、「例示的な」という用語が含まれているか否かに関わらず、その実施形態に関連して説明される具体的な特徴、構造、材料、又は特性が、本開示の特定の例示的な実施形態のうちの少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、様々な箇所における「１つ以上の実施形態において」、「特定の実施形態において」、「一実施形態において」、又は「ある実施形態において」などの表現の出現は、必ずしも本開示の特定の例示的な実施形態のうちの同一の実施形態に言及するものとは限らない。本明細書ではいくつかの例示的な実施形態について詳細に説明してきたが、当業者には上述の説明を理解した上で、これらの実施形態の修正形態、変形形態、及び均等物を容易に想起できることが、理解されよう。

Claims (20)

1. 移動体によって装着されるウェアラブルパックに取り付けられたセンサアセンブリであって、慣性計測ユニット（ＩＭＵ）及び１つ以上の無線周波数（ＲＦ）レーダーユニットを備えるセンサアセンブリを提供することと、
   前記センサアセンブリを介して、（ｉ）前記１つ以上の無線周波数（ＲＦ）レーダーユニットからの１つ以上のレーダー速度、（ｉｉ）前記慣性計測ユニット（ＩＭＵ）からの前記移動体の１つ以上の角速度、及び（ｉｉｉ）前記慣性計測ユニット（ＩＭＵ）からの１つ以上の直線加速度を含むセンシングデータを収集することと、
   プロセッサを介して、前記センシングデータに基づいて前記移動体の並進情報及び絶対方位情報を決定することと、
   前記プロセッサを介して、前記決定された並進情報と前記決定された絶対方位情報との組み合わせに基づいて前記移動体の姿勢の時系列を決定することと、
   前記プロセッサを介して、前記姿勢の時系列を前記移動体の行路に組み合わせることと、
   を含む、マッピング及びルーティングする方法。
2. 前記移動体の前記絶対方位情報が、ジャイロスコープと加速度計とを備える前記慣性計測ユニット（ＩＭＵ）からの前記センシングデータに基づいて決定される、請求項１に記載の方法。
3. 前記ジャイロスコープからの前記１つ以上の角速度を前記加速度計からの重力基準と組み合わせて前記絶対方位情報を提供する、請求項２に記載の方法。
4. 前記センシングデータを収集することが、前記１つ以上の無線周波数（ＲＦ）レーダーユニットを介して、１つ以上の周囲の物体を走査して、レーダー画像の時系列を取得することを更に含む、請求項１に記載の方法。
5. 前記プロセッサを介して、前記レーダー画像の時系列内の前記１つ以上の識別された物体の位置を追跡することを更に含む、請求項４に記載の方法。
6. 前記プロセッサを介して、前記レーダー画像の時系列内の前記追跡された位置に基づいて追加の並進情報を生成することを更に含む、請求項５に記載の方法。
7. 前記プロセッサを介して、前記レーダー画像の時系列内の前記追跡された位置に基づいて、前記移動体の追加の方位情報を生成することを更に含む、請求項５に記載の方法。
8. 前記プロセッサを介して、周囲環境の平面に関連付けられた２次元（２Ｄ）平面に前記行路を投影して、前記行路の２Ｄ地図を生成することを更に含む、請求項１に記載の方法。
9. 前記プロセッサを介して、建物内の複数の階又はフロアのうちの１つに前記地図を関連付けることを更に含む、請求項８に記載の方法。
10. 前記プロセッサを介して、周囲環境の３次元（３Ｄ）空間に前記行路を関連付けて、前記行路の３Ｄ地図を生成することを更に含む、請求項１に記載の方法。
11. 前記プロセッサを介して、前記２Ｄ地図又は３Ｄ地図に基づいて２つの位置間の最適な経路又は近傍最適な経路を決定することを更に含む、請求項８又は１０に記載の方法。
12. 前記行路から導出されるマッピング及びルーティング情報を、ユーザインタフェースを介してユーザに表示することを更に含む、請求項１に記載の方法。
13. 前記ユーザインタフェースが、１つ以上の移動体からのマッピング及びルーティング情報の鳥瞰図を表示する、請求項１２に記載の方法。
14. １つ以上のサーマル画像を撮像するために１つ以上のサーマルイメージングセンサを提供することを更に含む、請求項１に記載の方法。
15. １つ以上の周囲の物体の１つ以上の可視画像を撮像するために、１つ以上のカメラを提供することを更に含む、請求項１に記載の方法。
16. 周囲環境を監視して、前記センサアセンブリからの前記センシングデータの相対的な重み付けを適応的に決定するように構成されたインテリジェント環境モニタを提供することを更に含む、請求項１に記載の方法。
17. ウェアラブルパックと、
    移動体によって装着される前記ウェアラブルパックに取り付けられたセンサアセンブリであって、慣性計測ユニット（ＩＭＵ）及び１つ以上の無線周波数（ＲＦ）レーダーユニットを備え、（ｉ）前記１つ以上の無線周波数（ＲＦ）レーダーユニットからの１つ以上のレーダー速度、（ｉｉ）前記慣性計測ユニット（ＩＭＵ）からの前記移動体の１つ以上の角速度、及び（ｉｉｉ）前記慣性計測ユニット（ＩＭＵ）からの１つ以上の直線加速度を含むデータを感知するように構成されたセンサアセンブリと、
    プロセッサと、を備えるマッピング及びルーティングシステムであって、
    前記プロセッサが、
    前記センサアセンブリからのセンシングデータに基づいて前記移動体の並進情報及び絶対方位情報を決定し、
    前記決定された並進情報と絶対方位情報との組み合わせに基づいて前記移動体の姿勢の時系列を決定し、
    前記姿勢の時系列を前記移動体の行路に組み合わせるように構成されている、
    マッピング及びルーティングシステム。
18. 前記慣性計測ユニット（ＩＭＵ）がジャイロスコープと加速度計とを備え、前記移動体の前記絶対方位情報が、前記ジャイロスコープ及び前記加速度計からの前記センシングデータに基づいて決定される、請求項１７に記載のシステム。
19. 前記ジャイロスコープが前記１つ以上の角速度を感知するように構成され、前記加速度計が重力基準を提供するように構成されている、請求項１８に記載のシステム。
20. 前記慣性計測ユニット（ＩＭＵ）及び前記１つ以上の無線周波数（ＲＦ）レーダーユニットが、既知の空間的関係で機械的に結合されている、請求項１７に記載のシステム。

Images