JP2021518558A - 物体の材料組成を識別するための方法およびシステム - Google Patents

Abstract

少なくとも１つのセンサ（１１）が装置（１）に取り付けられて少なくとも１つの中央処理装置（１２）と通信するようになっている少なくとも１つの装置（１）を取り囲む環境（Ｅ）内に位置する物体（２０）の組成材料を識別する方法。

Description

本開示は、三次元（３Ｄ）体積または空間における物体の材料組成を識別するための方法およびシステムに関する。

また、本開示は、乗り物などの装置に搭載される三次元センサの分野に関する。

装置の周囲の三次元点群を生成することができるセンサを備えた装置を提供することは、多くの興味深い応用を有する。

生成された点群は例えば、乗り物が走行するエリアをマッピングするために使用されてもよい。

生成された点群はまた、乗り物の運転システムを支援または自動化するために使用されてもよい。

運転支援のための用途の実施例は衝突警告または衝突回避をトリガするための物体検出であるが、センサは、乗り物の運転システムを自動化するために、完全自律（ｆｕｌｌｙ ａｕｔｏｎｏｍｏｕｓ）の乗り物で使用することもできる。

しかしながら、多くの状況では、適切な運転応答で乗り物を制御するために、乗り物が検出することができる、または衝突することができる物体のタイプを決定することが必要な場合がある。

一例として、検出された物体が、道路を不注意に横切る子供または乗り物の経路上の道路上に残されたゴミ箱である場合、乗り物は異なるように動作することができる。状況に応じて、乗り物は、衝突を回避するか否かを決定することができる。

２つの異なる物体を区別するために、これらの物体の材料組成を知ることが必要であり得る。子供の場合には検出された材料組成はおそらく、自分の衣類の布地または自分の皮膚であり、一方、ゴミ箱の場合には材料組成は例えば、硬質金属またはプラスチックである。

この目的のために、複数の光波長で物理信号を送信できるセンサを使用することが知られている。次いで、センサは、これらの異なる波長について、物体によって反射される信号を受信することができる。この反射率応答（ｒｅｆｌｅｃｔｉｖｉｔｙ ｒｅｓｐｏｎｓｅ）から、受信した反射率応答を、既知の材料に対する基準反射率応答を含むデータベースと比較することによって、物体の材料組成を識別することが可能である。

しかしながら、これは受信された情報をリアルタイムで計算し、その結果、乗り物の適切なコマンドは物体が検出された直後または少し後に、より詳細には乗り物が移動している間に、取られることができることを必要とする。

いくつかの従来技術のシステムは複数の光波長で同時に送信し、異なる波長で反射率応答を逐次受信することによって動作する。

しかしながら、このようなシステムは、動的環境で使用するには遅すぎる。また、乗り物が移動している場合には、受信器の異なる場所に応じて各波長を受信し、波長数が増えるにつれて反射信号を集約（ａｇｇｒｅｇａｔｅ）するのは複雑すぎるようになる。

別の変形例として、いくつかのシステムは、複数の波長で同時に送信することができる単一の送信器と、複数の受信器とを備え、各受信器は特定の波長で１つの反射された物理信号を受信するように構成される。このようにして、全体から見て、受信器は、全ての異なる送信波長に対する反射信号を同時に受信することができる。

しかしながら、このようなシステムは、多数の受信器を必要とするため、複雑である。さらに、効果的に実行するためには、送信器および受信器は乗り物に関して高い精度で調整および位置決めされなければならない。送信器または受信器のいずれかが不用意に調整不良になると、受信した信号が正確でなくなり、乗り物が重大なリスク状況を認識しなくなる可能性がある。

さらに、各々が専用の電子機器を有しているいくつかの受信器を有することは、特に高価な解決策である。

最後に、各受信器は、特定の波長または波長範囲に割り当てられる。したがって、このシステムは容易に調整できないため、将来同じ受信器で他の波長を使用しなければならない場合には、柔軟性が低くなる。

本開示は、この状況を改善することを目的とする。

本開示の目的は、複数の光波長における物体の反射率応答をリアルタイムで提供することである。

少なくとも１つのセンサが装置に取り付けられて少なくとも１つの中央処理装置と通信するようになっている少なくとも１つの装置を取り囲む環境内に位置する物体の組成材料を識別する方法であって、以下のステップ：
（ステップＡ）前記センサは、ある波長で物理信号を送信することによって連続ストリームの点群フレームを生成し、前記点群フレームは、データ点の集合を含み、少なくとも１つの前記データ点は、前記センサのローカル座標系において、時刻ｔ_ｊに前記センサを取り囲むローカル体積における前記物体の座標を含み、前記データ点は、前記物体上で一旦反射された送信された物理信号に対応する反射された物理信号の強度値も含み、
（ステップＢ）前記中央処理装置は、前記点群フレームを受信し、前記装置を取り囲む前記環境のグローバル座標系における前記点群フレームの各データ点の座標を決定し、前記強度値は、前記グローバル座標系における各データ点の前記座標に関連付けられ、
（ステップＣ）前記中央処理装置は、前記グローバル座標系における前記物体の前記座標をメモリに記憶し、
前記ステップＡ〜Ｃは、時刻ｔ_ｊ＋１において、前記センサにて、または、別の波長で別の物理信号を送信することによって別の点群フレームを生成する別のセンサにて、繰り返され、その結果、前記グローバル座標系における前記物体の前記座標に、少なくとも２つの強度値が関連付けられ、
（ステップＤ）前記中央処理装置は、少なくとも２つの前記強度値から前記物体の反射率応答を決定し、
（ステップＥ）前記中央処理装置は、前記物体の組成材料を識別する
を含む方法が提案される。

以下の特徴は任意選択で、別々に、または他の特徴と組み合わせて実施することができる。

前記中央処理装置は、
前記点群フレームを前記環境のグローバル累積三次元マップと比較して、前記グローバル座標系における調整された点群フレームを決定することと、
前記調整された点群フレームを前記グローバル累積三次元マップとマージすることによって前記グローバル累積三次元マップを更新することと、
によって、前記装置を取り囲む前記環境の前記グローバル座標系における前記点群フレームの前記各データ点の前記座標を決定する。

前記センサは少なくとも１つの送信器および少なくとも１つの受信器を備え、前記送信器は物理信号を送信するように構成され、前記受信器は、前記物体上で一旦反射された送信された物理信号を受信するように構成される。

前記センサは、前記送信器と前記受信器とを単一のユニットとして備える。

前記中央処理装置は、ステップＤで決定された前記反射率応答を、ライブラリに記憶された既知の材料の基準反射率応答と比較することによって、前記物体の前記組成材料を識別する。

前記点群フレームに対して送信される物理信号の波長は、ランダムに選択される。

前記点群フレームに対して送信される物理信号の波長は、所定の順序で選択される。

前記装置は複数のセンサを備え、センサはそれぞれ、異なるスペクトル領域に含まれる波長で物理信号を送信することによって、点群フレームを生成することができる。

前記センサは全て、前記中央処理装置と無線で通信する。

前記点群フレームは、前記センサのローカル体積のフルスキャンに対応する。

前記センサの前記ローカル座標系における前記物体の前記座標は、２つの角度座標と１つの半径方向座標を含む。

前記半径方向座標は、前記センサから前記データ点までの距離に対応し、前記距離は、前記送信された物理信号と前記反射された物理信号とのタイミングを比較することによって計算される。

前記ステップＡ〜Ｃは、少なくとも４回繰り返され、その結果、少なくとも４つの強度値が、前記グローバル座標系における前記物体の座標に関連付けられる。

物理信号は、レーザ信号である。

前記装置は、前記環境中を移動可能な乗り物である。

別の態様では、少なくとも１つの装置を取り囲む環境内に位置する物体の組成材料を識別するためのシステムであって、
前記少なくとも１つの装置に取り付けられるように構成された複数のセンサであって、各センサは、ある波長で物理的信号を送信することによって、他のセンサと並列かつ非同期に点群フレームの連続ストリームを生成するように構成され、前記点群フレームは、データ点の集合を含み、各データ点は、前記センサのローカル座標系において、時刻ｔ_ｊに前記センサを取り囲む前記環境のローカル体積における前記物体の座標を含み、各データ点は、前記物体上で一旦反射された送信された物理信号に対応する反射された物理信号の強度値も含む、センサと、
中央処理装置であって、前記各センサと通信して前記センサから前記連続ストリームを連続的に受信し、前記装置を取り囲む前記環境のグローバル座標系における前記点群フレームの各データ点の座標を決定し、前記強度値および前記グローバル座標系における前記座標をメモリに記憶するように構成された中央処理装置であって、前記中央処理装置は、前記強度値から前記物体の反射率応答を決定し、前記物体の組成材料を識別するように構成されている、中央処理装置と、
を含むシステムが提案される。

別の態様では、本開示によるシステムを備える自律のまたは半自律の乗り物が提案される。

別の態様では、プログラム命令を含むコンピュータプログラムを記憶した非一時的なコンピュータ可読記憶媒体であって、
コンピュータプログラムは、
本開示によるシステムの中央処理装置にロード可能であり、
コンピュータプログラムが中央処理装置によって実行されるときに、中央処理装置に、本開示による方法の各ステップを実行させるように構成されている
ことを特徴とする、非一時的なコンピュータ可読記憶媒体が提案される。

他の特徴、詳細および利点は、以下の詳細な説明および図面に示される。

本開示の実施形態による、いくつかの物体を含む環境における乗り物の概略側面図である。 図１の乗り物の概略上面図である。 乗り物の環境に位置する物体の材料組成を識別するための、図１および図２の乗り物のシステムの概略図である。 いくつかの異なる波長における図１および図２の乗り物のセンサのローカル体積のフルスキャンの図形的表現である。 いくつかの異なる波長で送信された各物理信号について受信された反射信号をグラフで表したものであり、反射信号は集約して物体の反射率応答を得る。 本開示の一実施形態による、乗り物の環境内の物体の材料組成を動的に識別するための方法を示すフローチャートである。

図面および以下の詳細な説明は本質的に、いくつかの正確な要素を含む。それらは、本開示の理解を強化するために、また、必要に応じて本開示を定義するために使用することができる。

〔乗り物〕
本開示は装置に関する。この装置は有利には環境Ｅ内で移動可能である。この装置は、ハンドヘルド装置のような任意のタイプの装置であってもよく、または比較的大きな素子上に取り付けることができる。

一実施形態によれば、装置は例えば、人が手で持ち運ぶことができる。

以下に詳述する別の特定の非限定的な実施形態によれば、装置は、環境Ｅ内の乗り物１である。

乗り物は、環境Ｅの中で動くように構成されたあらゆる種類の乗り物であり得る。乗り物には、自動車（自動二輪車、乗用車、トラック、およびバス）、鉄道車両（列車、路面電車）、水上艇（船舶、ボート）、水陸両用車両（スクリュー推進式車両、ホバークラフト）、航空機（飛行機、ヘリコプター、ドローン）および宇宙船が含まれる。

より具体的には、図１および図２は、本開示の一実施形態による乗り物１を示す。

乗り物１は、特定の経路Ｐに追従するように方向を制御することができる車輪車（車両）である。本開示は、広範囲の車輪車、後輪ステアリング車、トラック、オートバイなどに適用できることに留意されたい。

図１に示すように、乗り物１は、乗り物１の環境Ｅから乗り物の内部を区切る、少なくとも１つの車輪３を軸受するボディ２を備えている。

〔センサ〕
乗り物１は、乗り物１の環境Ｅ内に位置する物体２０の材料組成（ｍａｔｅｒｉａｌ ｃｏｍｐｏｓｉｔｉｏｎ）を識別するためのシステム１０を備える。

システム１０は、少なくとも１つのセンサ１１を備える。有利には、システム１０は、乗り物１のボディ２の上または内側に取り付けられた複数のセンサ１１ａ、１１ｂ、１１ｃを備える。

例えば、乗り物１には、図１に示すように、乗り物１の背面、上面および前面にそれぞれ取り付けられた３つのセンサ１１ａ、１１ｂ、１１ｃが設けられていてもよい。しかしながら、乗り物１は、２つのセンサ１１のみ、またはより多数のセンサ１１を備えていてもよい。

各センサ１１は、センサ１１を取り囲むローカル体積（ｌｏｃａｌ ｖｏｌｕｍｅ）Ｌ_ｊの点群フレーム（ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ）の連続ストリーム（ｃｏｎｔｉｎｕｏｕｓ ｓｔｒｅａｍ）を生成する。

「点群フレーム」によって、特定の時間に、または短い取得間隔の間に生成されるフレームであることが理解される。

「点群フレームの連続ストリーム」によって、周期的に生成されるまたは周期的に生成されない一連の点群フレームがデータストリームに編成されたものであることが理解される。

例えば、センサ１１は、連続ストリームの所与のフレームレートを有する点群フレームを周期的に生成することができる。フレームレートは２０Ｈｚ（ヘルツ）以上にすることができる。フレームレートは例えば、２０Ｈｚよりも低く、１０Ｈｚよりも低く、または５Ｈｚよりもさらに低くすることもできる。

以下の明細書では、センサ１１によって生成された点群フレームをＰＣＦ_ｊと呼び、
この点群フレームＰＣＦ_ｊの取得時刻をｔ_ｊと呼び、
この時刻ｔ_ｊにおけるセンサ１１のローカル体積Ｌ_ｊをＬ_ｊと呼ぶ。
これに関して、添え字ｊは、連続ストリームＳＴ内のフレームのインデックスであり、ｊは、新しく生成される各フレームと共に時間と共に増加する。

点群フレームＰＣＦ_ｊは、他のセンサ１１からの他の点群フレームと並列かつ非同期に生成することもできる。

「並列および非同期で」によって、センサ１１が一般に互いに気付かず、センサ１１による点群フレームＰＣＦ_ｊの生成が特に一緒に同期されないことが理解される。

これにより、センサ１１ａ，１１ｂ，１１ｃのそれぞれの連続ストリームＳＴａ、ＳＴｂ、ＳＴｃの点群フレームＰＣＦ_ｊａ、ＰＣＦ_ｊｂ，ＰＣＦ_ｊｃが、それぞれ異なった時刻ｔ_ｊａ、ｔ_ｊｂ、ｔ_ｊｃで生成されてもよい。

〔点群フレーム〕
ストリームＳＴのそれぞれの点群フレームＰＣＦ_ｊは、センサ１１のローカル座標系（ｌｏｃａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）ＬＣＳにおけるデータ点Ｍ_ｉの集合（ｓｅｔ）を構成する。データ点Ｍ_ｉは、ローカル体積Ｌ_ｊのボクセルなどの三次元部分に対応する。

点群フレームは、１０，０００または１００，００００個のデータ点、あるいはそれ以上のデータ点などの多数のデータ点を含むことができる。データ点の数は、乗り物１の環境Ｅをセンサ１１でスキャンする際に所望の解像度に応じて変化させることができる。また、点群フレームのデータ点の数は、使用されるフレームレートに応じて変化してもよく、フレームレートが高い場合、必要とされる点群フレームのデータ点の数はより少なくてもよい。

より正確には、１つのデータ点Ｍ_ｉが、乗り物１の環境Ｅに位置する物体２０または物体２０の一部分に対応することができる。

ローカル座標系ＬＣＳは乗り物１に関連した座標系であり、より詳細には、例えば、センサ位置に原点が位置する、センサ１１に関連した座標系である。ローカル座標系ＬＣＳは、デカルト座標系、円筒座標系または極座標系であってもよい。

各データ点Ｍ_ｉは、特にセンサのローカル座標系ＬＣＳにおいて、三次元座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳを含む。

座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳは、時刻ｔ_ｊにおけるセンサ１１のローカル体積Ｌ_ｊにおけるデータ点Ｍ_ｉの位置を表す。

各データ点Ｍ_ｉはまた、データ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳに関連する強度値Ｉ_ｉを含む。

強度値Ｉ_ｉは、以下に詳述するように、データ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳに位置する物体２０に関連する物理的特徴を表す。

図１に示されるように、物体２０の非限定的な例は、歩行者、樹木、ライトポストまたは他の乗り物を含む。物体２０はまた、氷、水、雪または他の破片などの路面上に存在する材料を含む。

物体２０は別の乗り物などの移動物体であってもよいし、木などの固定物体であってもよい。

〔点群フレームの生成〕
点群フレームＰＣＦ_ｊの連続ストリームＳＴを生成するために、センサ１１は、少なくとも１つの送信器１４と、少なくとも１つの受信器１５とを備える。

有利には、センサ１１は、図３に例示されているように、単一の送信器１４と単一の受信器１５とを、好ましくは単一のユニットとして備える。

送信器１４は、物理信号１６を送信するように構成される。

物理信号は、光ビーム、電磁波または音波であり得る。

受信器１５は、乗り物１の環境Ｅに一旦反射された送信された物理信号１６に対応する、反射された物理信号１７を受信するように構成される。

「反射」によって、鏡面反射（ミラー状）または拡散反射のいずれかであることが理解される。

センサ１１は例えば、光検出および測距（Ｌｉｄａｒ）モジュール、レーダモジュール、超音波測距モジュール、ソナーモジュール、三角測量を使用する測距モジュール、または、点群フレームを生成することができる任意の他の素子などのレーザ測距器を備えることができる。

〔座標〕
点群フレームＰＣＦ_ｊは、センサ１１のローカル体積Ｌ_ｊのフルスキャンに対応する。

「ローカル体積のフルスキャン」によって、センサ１１がその完全な視野をカバーしていることが理解される。例えば、送信器１４は、２方向に沿って回転する移動ミラーによって偏向される物理信号を送信する。ローカル体積のフルスキャンの後、センサ１１の移動ミラーは元の位置に戻り、新しい回転運動の周期を開始する準備が整う。したがって、センサ１１によるローカル体積Ｌ_ｊのフルスキャンは、二次元カメラによって取得された画像の三次元等価物である。

図１および図２に示すように、センサ１１は、センサ１１のローカル座標系ＬＣＳ内の２つの角度方向θ、φに沿って移動することによってフルスキャンを動作させることができる。

したがって、この実施形態によれば、点群フレームＰＣＦ_ｊの各データ点Ｍ_ｉは、２つの角度座標（θ_ｉ、φ_ｉ）を含む。

ローカル座標系ＬＣＳにおけるデータ点Ｍ_ｉの座標はまた、時刻ｔ_ｊにおけるセンサ１１からデータ点Ｍ_ｉまでの距離ｄ_ｉに対応する半径方向座標を構成する。

前記距離ｄ_ｉは、送信された物理信号１６と反射された物理信号１７とのタイミングを比較することによって、例えば、送信器１４と受信器１５との間の送信および受信の時刻または位相を比較することによって、計算することができる。例えば、時間−ディジタル変換器（ＴＤＣ）は、点Ｍ_ｉまでの距離ｄ_ｉを提供するために、物理信号の飛行時間（ＴＯＦ）を測定することができる。

〔強度値〕
連続ストリームＳＴの各点群フレームＰＣＦ_ｊは、与えられた波長λ_ｅｊで生成される。

この目的のために、センサ１１の送信器１４は、様々なスペクトル領域（ｓｐｅｃｔｒａｌ ｄｏｍａｉｎｓ）において物理信号を送信することができる。物理信号１６は、紫外、可視または赤外スペクトルのような電磁スペクトルに属することができる。

より詳細には、センサ１１の送信器１４は、点群フレームＰＣＦ_ｊごとに、単一波長λ_ｅｊまたは単一波長λ_ｅｊ付近の物理信号１６を送信するように構成されている。

「単一波長付近」によって、物理信号１６は、単一波長で送信されると考えられるが、使用される送信器１４に固有の単一波長λ_ｅｊの付近の特定のスペクトル幅または範囲を有することができることが理解される。

また、この連続ストリームＳＴは、第１の波長λ_１で生成された第１の点群フレームＰＣＦ_１と、第２の波長λ_２で生成された第２の点群フレームＰＣＦ_２と、第３の波長λ_３で生成された第３の点群フレームＰＣＦ_３などを含むことができる。

一実施形態によれば、点群フレームＰＣＦ_ｊごとの送信された物理信号１６の波長λ_ｅｊは、全て異なっていても異なっていなくてもよい。

一実施形態によれば、点群フレームＰＣＦ_ｊごとの送信された物理信号１６の波長λ_ｅｊは、所定の順序で選択することができる。

例えば、１つの点群フレームＰＣＦ_ｊ用の送信された物理信号１６の波長λ_ｅｊは、前の点群フレームＰＣＦ_ｊ−１用の送信された物理信号１６の波長λ_ｅｊ−１と比べて増加するように選択することができる。

変形例として、点群フレームＰＣＦ_ｊごとの送信された物理信号１６の波長λ_ｅｊは、ランダムな方法で選択することができる。

受信器１５は、波長範囲Δλ_ｒにおける点群フレームＰＣＦ_ｊのデータ点Ｍ_ｉごとの反射された物理信号１７を受信するように構成されている。

反射された物理信号１７の波長範囲Δλ_ｒは例えば、１０ｎｍ（ナノメートル）〜２５０ｎｍに含まれ得る。

反射された物理信号１７は、時間間隔にわたって受信されることができる。

受信器１５によって受信された反射信号１７から、所与の波長λ_ｅｊで送信された物理信号１６に対する点群フレームＰＣＦ_ｊの各データ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳに関連する強度値Ｉ_ｉを決定することができる。

強度値Ｉ_ｉは、受信された反射された物理信号１７の最大振幅、または所与の波長に対する物理信号１６の減衰に対応し得る。しかしながら、強度値の他の計算または測定も可能である。

また、この強度値は、波長λ_ｅｊで送信される物理信号１６に関するデータ点Ｍ_ｉにおける反射率応答に関する情報を提供する。

センサ１１は移動中の乗り物１に搭載されているので、乗り物１を取り囲む環境Ｅは経時的に変化する。時刻ｔ_ｊにセンサ１１によって生成された点群フレームＰＣＦ_ｊは、センサ１１のローカル体積Ｌ_ｊのフルスキャンを含んでおり、該フルスキャンは、
同じセンサ１１によって異なる別の時刻ｔ_ｊ＋１に生成された、
または、
別のセンサ１１によって生成された、
別の点群フレームＰＣＦ_ｊ＋１
とは異なっているが、該フルスキャンは、そのような別の点群フレームＰＣＦ_ｊ＋１と重なっていてもよい。

例えば、図２および図４に示すように、同一の所与のデータ点Ｍを２つの異なる時刻ｔ_ｊ、ｔ_ｊ＋１でスキャンすると、センサ１１のローカル座標系ＬＣＳにおけるデータ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳ同士が異なることになる。

したがって、異なる波長λ_ｅｊで送信される物理信号１６を用いて各点群フレームが生成されるような、異なる点群フレームに、同じ物体２０が属する場合には、同じ物体２０に対して異なる強度値を得ることができる。

しかしながら、異なる点群フレームで得られた強度値が実際には同じ物体２０に対応するという事実を確認する必要がある。

したがって、異なる時刻ｔ_ｊ、ｔ_ｊ＋１に当該１つまたは複数のセンサ１１によって生成された点群フレームＰＣＦ_ｊとＰＣＦ_ｊ＋１とを相関させることができること、および、
互いに異なる波長λ_ｅｊで送信される複数の物理信号１６に対して同じ物体２０の反射信号１７を表す強度値同士Ｉ_ｉを集約することができること
が必要である。

〔中央処理装置〕
システム１０はさらに、１つのセンサ１１または複数のセンサ１１に接続された中央処理装置１２を含む。

中央処理装置１２は単一のユニットとしてセンサ１１の内部に統合することができ、または代替的に、乗り物１の内部に固定された区別可能なユニットとすることができる。いくつかの実施形態では、中央処理装置１２は、乗り物処理ユニットの一部分であってもよい。

乗り物は、特に、システム１０によって提供される情報を使用することによって、乗り物１０を運転するためにまたは運転を補助するために、自己運転または運転補助のアルゴリズムを操作することができる。この目的のために、システム１０は、駆動系やブレーキなどのようないくつかの乗り物要素５ａ、５ｂ、５ｃ、５ｃに接続された、いくつかのアクチュエータ４を制御することができる。

中央処理装置１２は、例えば中央処理装置１２とセンサ１１が同じ乗り物１に搭載されている場合、無線または光通信のような無線通信によって、または有線通信によって、センサ１１と通信することができる。中央処理装置１２は、特に長距離通信のための、何らかの仲介素子を使用することによってセンサ１１と通信してもよい。

中央処理装置１２は、連続ストリームＳＴをセンサ１１から連続的に受信するように構成される。

「継続的に受信する」ことによって、センサ１１が新しい点群フレームまたは点群フレームのショートシーケンス（ｓｈｏｒｔ ｓｅｑｕｅｎｃｅ）を生成するたびに、乗り物１が移動している間、前記点群フレームまたはショートシーケンスが中央処理装置１２に送られることが理解される。

中央処理装置１２は、連続ストリームをメモリ１３に記憶する。メモリ１３は、中央処理装置１２に統合されてもよい。

中央処理装置１２は、乗り物１を取り囲む環境Ｅのグローバル座標系（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）ＧＣＳにおいて、点群フレームＰＣＦ_ｊの各データ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳを動的に決定するように構成されている。

グローバル座標系ＧＣＳは特に、乗り物１および乗り物１の運動とは独立していてもよい。グローバル座標系ＧＣＳは例えば、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｒｒｅｓｔｒｉａｌ Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅ（ＩＴＲＦ）に関連し得る。

あるいは、グローバル座標系ＧＣＳは、例えばセンサ１１に関連付けられたローカル座標系ＬＣＳから定義されることによって、乗り物１のローカル基準フレーム（局所参照フレーム、局所参照座標系）（ｌｏｃａｌ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）に依存してもよい。

「座標を動的に決定する」ことによって、乗り物１が移動している間に、有利には、センサ１１によって次の点群フレームが生成される前に、点群フレームＰＣＦ_ｊの各データ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳの決定が行われることが理解される。

次に、中央処理装置１２は、物体２０の反射率応答３０を決定し、反射率応答３０から環境Ｅ内に位置する物体２０の材料組成を識別するように構成される。

「材料組成」によって、物体２０または物体２０の表面を形成する材料の組成が理解される。

材料組成の非限定的な例としては、金属、プラスチック、ガラス、皮膚、植物材料、氷、雪、アスファルト、セメント、水などが挙げられる。より一般的には、材料組成は、乗り物１の環境Ｅに位置する任意の物体であってよい。

〔材料組成の同定方法〕
次に、三次元体積または空間内の物体の材料組成を識別する方法を、図６に関連してより詳細に説明する。

第１のステップＡでは、与えられた波長λ_ｅｊで物理信号１６を送信することによって、連続ストリームＳＴの点群フレームＰＣＦ_ｊが生成される。

点群フレームＰＣＦ_ｊは、ローカル座標系ＬＣＳにおけるデータ点Ｍ_ｉの集合を含む。

データ点Ｍ_ｉは、ローカル座標系ＬＣＳにおける時刻ｔ_ｊにおけるローカル体積Ｌ_ｊにおける物体２０の座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳを含む。

データ点Ｍ_ｉはまた、物体２０で反射された物理信号１７を表す強度値Ｉ_ｉを含む。

第２のステップＢでは、中央処理装置１２が、点群フレームＰＣＦ_ｊから、点群フレームＰＣＦ_ｊのデータ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳをグローバル座標系ＧＣＳ内で動的に決定する。

この目的のために、中央処理装置１２は、点群フレームＰＣＦ_ｊをグローバル累積三次元マップ（ｇｌｏｂａｌ ｃｕｍｕｌａｔｅｄ ｔｒｉｄｉｍｅｎｓｉｏｎａｌ ｍａｐ）ＣＭと比較することによって、グローバル座標系ＧＣＳ内で調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}を決定する。

グローバル累積三次元マップＣＭは、グローバル三次元マップ、グローバル３Ｄマップ、または３Ｄマップとも呼ばれることがある。これらの表現は、本開示の同じ概念および同じ特徴をカバーする。

グローバル累積三次元マップＣＭは、グローバル座標系ＧＣＳにおける乗り物１の環境Ｅのマップである。

環境のグローバル累積三次元マップＣＭがまだ存在しないか、データを含まない場合、第２のステップＢは、点群フレームＰＣＦ_ｊからグローバル累積三次元マップＣＭを作成する操作を含む。

例えば、点群フレームＰＣＦ_ｊは、センサ１１から最初に受信された点群フレームＰＣＦ_１であってもよい。次いで、環境のグローバル座標系ＧＣＳを、例えば、センサ１１に関連するローカル座標系ＬＣＳから定義することができる。

代替的に、環境のグローバル累積三次元マップがすでに存在し、何らかのデータを含む場合、第２のステップＢは、乗り物の環境Ｅのグローバル座標系ＧＣＳにおける調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}を決定する動作を含む。

調整は例えば、特許文献ＷＯ２０１８／０９１６５１に開示されている方法のような、画像レジストレーション、または、同時ローカライゼーションおよびマッピング（ＳＬＡＭ）を使用することによって実行されてもよい。

この方法によれば、調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}を決定することは、生成された点群フレームＰＣＦ_ｊを環境Ｅのグローバル累積三次元マップＣＭと比較することにより行われる。

調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}は、１つまたは複数のセンサ１１によって生成された点群からのみで、追加の位置決め情報なしで、計算されてもよい。

「追加の位置決め情報なし」とは、特に、調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}の計算が、センサ１１によって生成された点群フレームとグローバル累積三次元マップＣＭと以外の他の入力データを必要としないことを意味する。例えば、ＧＰＳまたは加速度計のような追加の位置決めまたは方向付け（ｏｒｉｅｎｔａｔｉｏｎ）の素子は必要とされない。さらに、センサの位置または移動について仮定を行う必要はない。

中央処理装置１２は、調整された点群フレームの少なくとも一部分がグローバル累積三次元マップＣＭの少なくとも一部分と一致（ｍａｔｃｈ）するように、前記点群フレームＰＣＦ_ｊの調整を試みる。

これは、前記点群フレームＰＣＦ_ｊを環境Ｅのグローバル累積三次元マップＣＭと比較することによって達成することができる。

次いで、グローバル累積三次元マップＣＭは、前記調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}をマージ（ｍｅｒｇｅ）することによって更新される。

より正確には、点群フレームＰＣＦ_ｊが環境Ｅのグローバル累積三次元マップＣＭの少なくとも一部分に調整することができる場合、調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}は、グローバル累積三次元マップＣＭの前記少なくとも１つの部分とマージされる。

中央処理装置は、グローバル累積三次元マップＣＭ内の調整された点群フレームＰＣＦ_{ｊ，ａｌｉｇｎ}から、グローバル座標系ＧＣＳ内のデータ点Ｍ_ｉの座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳを決定することができる。

第３のステップＣでは、中央処理装置１２が、グローバル座標系ＧＣＳにおけるデータ点Ｍ_ｉの強度値Ｉ_ｉと座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳとをメモリ１３に記憶する。

ステップＡ〜Ｃは、センサ１１の１つが、第２の波長λ_ｅｊ＋１で物理信号１６を送信することによって、連続ストリームの第２の点群フレームを生成することによって繰り返される。

より正確には、物理信号をいくつかの他の波長で送信することによっていくつかの点群フレームが生成されるように、ステップＡ〜Ｃが数回、より詳細には２回より多く繰り返されることができる。

後続の点群フレームの一部分は、同じセンサまたは複数のセンサから送信することができる。

ステップＡ〜Ｃが繰り返されるという事実が与えられると、少なくとも２つ、好ましくはより多くの強度値が、グローバル座標系ＧＣＳ内の同じ物体２０に関連付けられ得る。

点群フレームが複数のセンサによって送信される場合、対応する送信された物理信号同士の波長は互いに異なるスペクトル領域に属することができ、これは、様々な種類の物理信号（赤外線、可視光線、紫外線など）の強度値を取得するのに有用であり得る。

また、ステップＤにおいて、中央処理装置１２は、各点群フレームＰＣＦ_ｊを用いて物体２０について取得された強度値から、物体２０の反射率応答３０を決定する。

図５に示すように、反射率応答３０は、いくつかの異なる波長λ_ｅｊで取得された強度値Ｉを集約することによって得られる。

より正確には、図５の実施例では、反射率応答３０は、物体２０で一旦反射された、いくつかの異なる波長λ_ｅ１、λ_ｅ２、λ_ｅ３、λ_ｅ４、λ_ｅ５で送信された物理信号に対応する、反射された物理信号１７_１、１７_２、１７_３、１７_４、１７_５から得られる。この反射された物理信号１７_１、１７_２、１７_３、１７_４、１７_５から、最大振幅値などの強度値Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４、Ｉ_５を求めることができる。

ステップＥにおいて、中央処理装置１２は、物体２０の材料組成を識別する。

このステップＥでは、反射率応答３０を、ライブラリに記憶された既知の材料の基準反射率応答と比較することができる。ライブラリは、中央処理装置１２のメモリ１３に記憶されることができる。

〔利点〕
上記の結果、本方法の実施中に乗り物１が物体２０に対して移動しているにもかかわらず、物体２０の組成材料（ｃｏｍｐｏｓｉｔｉｏｎ ｍａｔｅｒｉａｌ）を得ることが可能である。これにより、マルチスペクトル物理信号の反射を時間多重化し、リアルタイムで効率的に処理することができる。

この方法は、センサ間の相対的な位置および方向が未知であるにもかかわらず、実施することができる。

乗り物１は、任意の公知の運転条件、例えば昼間または夜間、様々な気象条件、様々な道路状態などにおいて本方法を実施することができる。

上述したように、点群フレームの時間フレームは、中央処理装置１２によって決定および／または管理される。このようにして、例えば乗り物１の外部に位置するリモートサーバと通信する必要がない。

また、各点群フレームに対してセンサ１１が送信した連続的な物理信号を、ランダムに選択することができる。

ランダム選択は、環境Ｅ内の他の乗り物または装置によって送信され得る他の物理信号１６とのいかなる干渉も防止することを可能にする。したがって、システム１０は、例えば、乗り物のセキュリティおよび完全性を損なう可能性のある偽信号に対して、より安全かつ堅牢である。

変形例として、センサ１１がそれぞれの点群フレームに対して送信した連続物理信号１６を、所定の順序で選択することができる。

例えば、或る点群フレームについての送信された物理信号１６の波長は、前の点群フレームについての取得された反射された物理信号１７に依存することができる。一例として、前の点群フレームについての取得された反射率応答１７が紙または織物の何れかで作られた物体の特徴を示す場合には、上記或る点群フレームについての送信された物理信号１６の波長は、これら２つの材料の間を特に区別するように選択されるべきである。

より一般的には、連続的に送信される信号１６の波長は、物体２０の、ある確率閾値より大きい値の場合に材料組成が決定されると考えられる当該確率閾値に向かって収束するように選択することができる。このような収束は、決定木などの任意の分類方法を使用することによって実施することができる。

当業者によってよく理解されるように、開示を説明するために本明細書で説明されるいくつかのおよび様々なステップおよびプロセスは、電気現象を使用してデータを操作および／または変換する、コンピュータ、プロセッサ、または他の電子計算要素によって実行される動作を参照することができる。それらのコンピュータおよび電子要素は、コンピュータまたはプロセッサによって実行される様々なコードまたは実行可能な命令を含む実行可能プログラムが格納された、非一時的コンピュータ可読媒体を含む様々な揮発性および／または不揮発性メモリを使用することができ、メモリおよび／またはコンピュータ可読媒体は、すべての形式およびタイプのメモリおよびその他のコンピュータ可読媒体を含むことができる。

前述の議論は本開示の例示的な実施形態のみを開示し、説明している。当業者はそのような議論から、および添付の図面および特許請求の範囲から、様々な変更、修正、および変形が、以下の特許請求の範囲に定義される開示の精神および範囲から逸脱することなくその中でなされ得ることを容易に認識するであろう。

Claims (18)

1. 少なくとも１つのセンサ（１１）が装置（１）に取り付けられて少なくとも１つの中央処理装置（１２）と通信するようになっている少なくとも１つの装置（１）を取り囲む環境（Ｅ）内に位置する物体（２０）の組成材料を識別する方法であって、
   （ステップＡ）前記センサ（１１）は、ある波長（λ_ｅｊ）で物理信号（１６）を送信することによって連続ストリーム（ＳＴ）の点群フレーム（ＰＣＦ_ｊ）を生成し、前記点群フレーム（ＰＣＦ_ｊ）は、データ点（Ｍ_ｉ）の集合を含み、少なくとも１つの前記データ点（Ｍ_ｉ）は、前記センサ（１１）のローカル座標系（ＬＣＳ）において、時刻ｔ_ｊに前記センサ（１１）を取り囲むローカル体積（Ｌ_ｊ）における前記物体（２０）の座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳを含み、前記データ点（Ｍ_ｉ）は、前記物体（２０）上で一旦反射された送信された物理信号（１６）に対応する反射された物理信号（１７）の強度値（Ｉ_ｉ）も含み、
   （ステップＢ）前記中央処理装置（１２）は、前記点群フレーム（ＰＣＦ_ｊ）を受信し、前記装置（１）を取り囲む前記環境（Ｅ）のグローバル座標系（ＧＣＳ）における前記点群フレーム（ＰＣＦ_ｊ）の各データ点（Ｍ_ｉ）の座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳを決定し、前記強度値（Ｉ_ｉ）は、前記グローバル座標系（ＧＣＳ）における各データ点（Ｍ_ｉ）の前記座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳに関連付けられ、
   （ステップＣ）前記中央処理装置（１２）は、前記グローバル座標系（ＧＣＳ）における前記物体（２０）の前記座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳをメモリ（１３）に記憶し、
   前記ステップＡ〜Ｃは、前記センサ（１１）にて、または、別の波長（λ_ｅｊ＋１）で別の物理信号を送信することによって別の点群フレーム（ＰＣＦ_ｅｊ＋１）を生成する別のセンサ（１１）にて、繰り返され、その結果、前記グローバル座標系（ＧＣＳ）における前記物体（２０）の前記座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳに、少なくとも２つの強度値（Ｉ_ｉ，ｊ、Ｉ_{ｉ，ｊ＋１}）が関連付けられ、
   （ステップＤ）前記中央処理装置（１２）は、少なくとも２つの前記強度値（Ｉ_ｉ，ｊ、Ｉ_{ｉ，ｊ＋１}）から前記物体（２０）の反射率応答（３０）を決定し、
   （ステップＥ）前記中央処理装置（１２）は、前記物体（２０）の組成材料を識別する
   ことを特徴とする方法。
2. 前記中央処理装置（１２）は、
   前記点群フレーム（ＰＣＦ_ｊ）を前記環境（Ｅ）のグローバル累積三次元マップ（ＣＭ）と比較して、前記グローバル座標系（ＧＣＳ）における調整された点群フレーム（ＰＣＦ_{ｊ，ａｌｉｇｎ}）を決定することと、
   前記調整された点群フレーム（ＰＣＦ_{ｊ，ａｌｉｇｎ}）を前記グローバル累積三次元マップ（ＣＭ）とマージすることによって前記グローバル累積三次元マップを更新することと、
   によって、前記装置（１）を取り囲む前記環境（Ｅ）の前記グローバル座標系（ＧＣＳ）における前記点群フレーム（ＰＣＦ_ｊ）の前記各データ点（Ｍ_ｉ）の座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳを決定することを特徴とする、請求項１に記載の方法。
3. 前記センサ（１１）は少なくとも１つの送信器（１４）および少なくとも１つの受信器（１５）を備え、前記送信器（１４）は物理信号を送信するように構成され、前記受信器（１５）は、前記物体上で一旦反射された送信された物理信号を受信するように構成されることを特徴とする、請求項１または２に記載の方法。
4. 前記センサ（１１）は、前記送信器（１４）と前記受信器（１５）とを単一のユニットとして備えることを特徴とする、請求項３に記載の方法。
5. 前記中央処理装置（１２）は、前記ステップＤで決定された前記反射率応答（３０）を、ライブラリに記憶された既知の材料の基準反射率応答と比較することによって、前記物体（２０）の前記組成材料を識別することを特徴とする、請求項１ないし４のいずれか１項に記載の方法。
6. 前記点群フレーム（ＰＣＦ_ｊ）に対して送信される前記物理信号（１６）の波長は、ランダムな方法で選択されることを特徴とする、請求項１ないし５のいずれか１項に記載の方法。
7. 前記点群フレーム（ＰＣＦ_ｊ）に対して送信される前記物理信号（１６）の波長は、所定の順序で選択されることを特徴とする、請求項１ないし５のいずれか１項に記載の方法。
8. 前記装置（１）は複数のセンサ（１１）を備え、前記センサ（１１）はそれぞれ、異なるスペクトル領域に含まれる波長で物理信号（１６）を送信することによって、点群フレーム（ＰＣＦ_ｊ）を生成することができることを特徴とする、請求項１ないし７のいずれか１項に記載の方法。
9. 前記センサは全て、前記中央処理装置（１２）と無線で通信することを特徴とする、請求項８に記載の方法。
10. 点群フレーム（ＰＣＦ_ｊ）は、前記センサ（１１）のローカル体積（Ｌ_ｊ）のフルスキャンに対応することを特徴とする、請求項１ないし９のいずれか１項に記載の方法。
11. 前記センサ（１１）の前記ローカル座標系（ＬＣＳ）における前記物体（２０）の前記座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳは、２つの角度座標（θ_ｉ、φ_ｉ）および１つの半径方向座標（ｄ_ｉ）を含むことを特徴とする、請求項１ないし１０のいずれか１項に記載の方法。
12. 前記半径方向座標（ｄ_ｉ）は、前記センサ（１１）から前記データ点（Ｍ_ｉ）までの距離に対応し、前記距離（ｄ）は、前記送信された物理信号（１６）と前記反射された物理信号（１７）とのタイミングを比較することによって計算されることを特徴とする、請求項１１に記載の方法。
13. 前記ステップＡ〜Ｃは、少なくとも４回繰り返され、その結果、少なくとも４つの強度値（Ｉ_ｉ，ｊ、Ｉ_{ｉ，ｊ＋１}）が、前記グローバル座標系（ＧＣＳ）における前記物体（２０）の座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳに関連付けられることを特徴とする、請求項１ないし１２のいずれか１項に記載の方法。
14. 前記物理信号（１６）は、レーザ信号であることを特徴とする、請求項１ないし１３のいずれか１項に記載の方法。
15. 前記装置（１）は、前記環境（Ｅ）内を移動可能な乗り物であることを特徴とする、請求項１ないし１４のいずれか１項に記載の方法。
16. 少なくとも１つの装置（１）を取り囲む環境（Ｅ）内に位置する物体（２０）の組成材料を識別するためのシステム（１０）であって、
    前記少なくとも１つの装置（１）に取り付けられるように構成された複数のセンサ（１１）であって、各センサ（１１_ｉ）は、ある波長（λ_ｅｊ）で物理的信号を送信することによって、他のセンサ（１１）と並列かつ非同期に点群フレーム（ＰＣＦ_ｊ）の連続ストリーム（ＳＴ）を生成するように構成され、前記点群フレーム（ＰＣＦ_ｊ）は、１組のデータ点（Ｍ_ｉ）の集合を含み、各データ点（Ｍ_ｉ）は、前記センサ（１１）のローカル座標系（ＬＣＳ）において、時刻ｔ_ｊに前記センサ（１１）を取り囲む前記環境のローカル体積（Ｌ_ｊ）における前記物体（２０）の座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＬＣＳを含み、各データ点（Ｍ_ｉ）は、前記物体（２０）上で一旦反射された送信された物理信号に対応する反射された物理信号（１７）の強度値（Ｉ_ｉ）も含む、センサ（１１）と、
    中央処理装置（１２）であって、前記各センサ（１１）と通信して前記センサ（１１）から前記連続ストリーム（ＳＴ）を連続的に受信し、前記装置（１）を取り囲む前記環境（Ｅ）のグローバル座標系（ＧＣＳ）における前記点群フレーム（ＰＣＦ_ｊ）の各データ点（Ｍ_ｉ）の座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳを決定し、前記強度値（Ｉ_ｉ）および前記グローバル座標系における前記座標（φ_ｉ，θ_ｉ，ｄ_ｉ）_ＧＣＳをメモリ（１３）に記憶するように構成された中央処理装置（１２）であって、前記中央処理装置（１２）は、前記強度値から前記物体（２０）の反射率応答を決定し、前記物体（２０）の組成材料を識別するように構成されている、中央処理装置（１２）と、
    を含むことを特徴とする、システム（１０）。
17. 請求項１６に記載のシステム（１０）を含むことを特徴とする、自律のまたは半自律の乗り物（１０）。
18. プログラム命令を含むコンピュータプログラムを記憶した非一時的なコンピュータ可読記憶媒体であって、
    コンピュータプログラムは、
    請求項１６に記載のシステム（１０）の中央処理装置（１２）にロード可能であり、
    コンピュータプログラムが中央処理装置（１２）によって実行されるときに、中央処理装置（１２）に、請求項１ないし１５のいずれか１項に記載の方法の各ステップを実行させるように構成されている
    ことを特徴とする、非一時的なコンピュータ可読記憶媒体。
    
    

Images