JP2020518500A - 乗り物監視システムおよび外部の物体を検知するための方法 - Google Patents

Abstract

乗り物（１０）向けの監視システム（５）は、衝突回避、ナビゲーション、または他の目的のために乗り物の周囲の物体（１５）の存在を検知するために使用されるセンサ（２０、３０）を有する。「プライマリセンサ」と呼ばれる、センサ（２０）のうちの少なくとも１つは、その視野（２５）内の物体を検知し、検知された物体を示すデータを提供するように構成されてよい。監視システムは、そのようなデータを使用して、検知された物体を追跡することができる。レーダーセンサなどの検証センサ（３０）は、検証センサからのデータを用いて乗り物の周囲の物体を追跡することなく、時々プライマリセンサからのデータを検証するために使用されてよい。

Description

多くの乗り物は、様々な目的で外部の物体を検知するためのセンサをもつ。たとえば、自動車、ボート、または航空機などの乗り物のドライバまたはパイロットは、破片、他の乗り物、機器、建物、鳥、地形、および他の物体などの多種多様の衝突リスクに遭遇する可能性がある。任意のそのような物体との衝突は、乗り物に重大な損傷を引き起こす可能性があり、場合によっては、その乗員を傷つける可能性がある。センサは、衝突リスクをもたらす物体を検出し、検出された衝突リスクをドライバまたはパイロットに警告するために使用することができる。乗り物が自走式または自己操縦式である場合、乗り物の周囲の物体を示すセンサデータは、検出された物体との衝突を回避するためにコントローラによって使用されてよい。他の例では、物体は、他の方法で乗り物のナビゲーションまたは制御を支援するために検知および識別されてよい。

乗り物の安全で効率的な動作を保証するためには、外部の物体を検出するために使用されるセンサが正確で信頼できることが望ましい。しかしながら、すべての状況でそのようなセンサの信頼できる動作を保証することは困難であり得る。一例として、航空機の場合、その近傍に多数の物体が存在する可能性があり、そのような物体は航空機からあらゆる方向に位置する可能性がある。さらに、そのような物体は航空機に対して急速に動いている可能性があり、物体またはその位置の検出のいかなる失敗も、悲惨な結果になり得る。そのような条件下で物体を確実に検出ことができるセンサは、高価であるか、または面倒な規制上の制約を受ける可能性がある。

乗り物の近傍にある物体を確実に検出するための改善された技法が全般に望まれている。

本開示は、以下の図面を参照してより良く理解することができる。図面の要素は、必ずしも互いに対して縮尺通りではなく、代わりに、本開示の原理を明確に示すことに重点が置かれている。

本開示のいくつかの実施形態による、乗り物監視システムを有する乗り物の上面斜視図である。 図１によって描写された乗り物の三次元斜視図である。 図１によって描写された乗り物の上面斜視図である。 本開示のいくつかの実施形態による、乗り物監視システムの様々な構成要素を示すブロック図である。 本開示のいくつかの実施形態による、センサデータを処理するためのデータ処理要素を示すブロック図である。 本開示のいくつかの実施形態による、センサデータを検証するための方法を示すフローチャートである。

本開示は、一般に、外部の物体を検知するための乗り物監視システムおよび方法に関する。いくつかの実施形態では、乗り物は、衝突回避、ナビゲーション、または他の目的のために乗り物の周囲の物体の存在を検知するために使用されるセンサを有する乗り物監視システムを含む。センサのうちの少なくとも１つは、センサの視野内の物体を検知し、検知された物体を示すセンサデータを提供するように構成されてよい。次いで、乗り物はセンサデータに基づいて制御されてよい。一例として、検知された物体との衝突を回避するために、検知された物体に対して所望の位置に乗り物をナビゲートするために、または他の目的で乗り物を制御するために、乗り物のスピードまたは方向が制御されてよい。

乗り物の安全で効率的な動作の保証を助けるために、乗り物監視システムが、乗り物の周囲の物体、特に、重大な衝突の脅威を与えるのに十分乗り物に近い可能性がある物体を、確実、正確に検出および追跡することが全般に望ましい。いくつかの実施形態では、乗り物の周囲の空間は、センサの冗長性を提供するために様々なタイプのセンサによって監視され、それにより、監視された空間内の物体が見逃される可能性が低減する。一例として、乗り物の周囲の物体は、ＬＩＤＡＲセンサまたは光学カメラなどの（以下「プライマリ（ｐｒｉｍａｒｙ）センサ」と呼ばれる）第１のタイプのセンサを用いて検出および追跡されてよく、レーダーセンサなどの（以下「検証センサ」と呼ばれる）第２のタイプのセンサは、プライマリセンサからのセンサデータの精度を検証するために使用されてよい。すなわち、検証センサからのデータは、プライマリセンサが所与の視野内のすべての物体を正確に検出したことを確認するために、プライマリセンサからのデータと比較されてよい。プライマリセンサのセンサデータと検証センサのデータの間に不一致が存在する場合（たとえば、プライマリセンサが検証センサによって検出された物体の検出に失敗した場合、またはプライマリセンサによって検出された物体の位置が検証センサによって検出された同じ物体の位置と一致しない場合）、不一致に応答して少なくとも１つのアクションを取ることができる。一例として、乗り物は、不一致に対応する領域を避けて運転するように制御されることができるか、または乗り物を制御するための制御アルゴリズム内でプライマリセンサからのセンサデータの信頼性を変更される（たとえば、低下される）ことができる。

いくつかの実施形態では、レーダーセンサは、プライマリセンサのデータを検証するための検証センサを実現するために使用される。必要な場合、そのようなレーダーセンサは、プライマリセンサと同様の物体を検出および追跡するために使用することができる。しかしながら、物体を追跡するために航空機内でレーダーセンサを使用することは規制されている場合があり、それにより、そのような用途でのレーダーセンサの使用に関連付けられるコストまたは負担が増加する。いくつかの実施形態では、レーダーセンサは、検出された物体をレーダーセンサで実際に経時的に追跡することなく、時々プライマリセンサからのセンサデータを検証するために使用される。すなわち、プライマリセンサは乗り物の周囲の物体を追跡するために使用され、レーダーセンサは現在航空機の周囲にある物体を示すデータのサンプルを提供するために時々使用される。次いで、このサンプルは、プライマリセンサがプライマリセンサの視野内の各物体の存在および位置を正確に検知したことを確認するために、プライマリセンサからのデータと比較されてよい。したがって、レーダーセンサは、レーダーセンサを用いて乗り物の周囲の物体を追跡することなく、プライマリセンサからのセンサデータを検証するために時々使用されてよく、それにより、レーダーセンサの使用に関連付けられる少なくともいくつかの規制上の制約がたぶん回避される。加えて、レーダーセンサからのデータを追跡に使用せずに、プライマリセンサからのセンサデータを時々検証する方式でレーダーセンサを使用すると、乗り物監視システムによって処理または格納される必要があるデータ量を削減する助けになる。

図１は、本開示のいくつかの実施形態による、乗り物１０の周囲の物体を検知するために使用される乗り物監視システム５を有する乗り物１０の上面斜視図を描写する。システム５は、乗り物１０の経路付近などの、乗り物１０の特定の近傍内にある物体１５を検出するための複数のセンサ２０、３０を有する。システム５は、物体１５が、乗り物１０の進行中に乗り物１０の経路の近くまたは内部にそれを配置する位置または速度を有するときなどに、物体１５が乗り物１０に脅威を与えると決定することができる。そのような場合、乗り物１０は、パイロットもしくはドライバに警告を提供するか、または物体１５を回避しようと試みる回避行動を自律的に取ることができる。他の例では、システム５は、他の目的に物体１５の検出を使用することができる。一例として、システム５は、乗り物１０をナビゲートするか、または乗り物１０が航空機であるとき、離陸もしくは着陸中に航空機を制御するための基準点として、検出された物体１５を使用することができる。

いくつかの実施形態では、乗り物１０は、図１に描写されたように航空機であってよいが、他の実施形態では、他のタイプの乗り物１０が可能である。乗り物１０は有人であっても無人あってもよく、様々なソースからの制御下で動作するように構成されてよい。たとえば、乗り物１０は、乗り物１０に乗っている可能性がある人間のパイロットによって制御される航空機（たとえば、飛行機またはヘリコプター）であってよい。他の実施形態では、乗り物１０は、離れたパイロットまたはドライバとのワイヤレス（たとえば、無線）通信などによる遠隔制御下で動作するように構成されてよい。いくつかの実施形態では、乗り物１０は、自己操縦式または自走式（たとえば、ドローン）であってよい。図１によって示される実施形態では、乗り物１０は、参照により本明細書に組み込まれる、「Ｓｅｌｆ−Ｐｉｌｏｔｅｄ Ａｉｒｃｒａｆｔ ｆｏｒ Ｐａｓｓｅｎｇｅｒ ｏｒ Ｃａｒｇｏ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ」と題する、２０１７年２月１６日に出願された、ＰＣＴ出願番号ＰＣＴ／ＵＳ１７／１８１８２に説明されているような自己操縦式垂直離着陸（ＶＴＯＬ）航空機である。自動車またはボートなどの様々な他のタイプの乗り物が、他の実施形態で使用されてよい。

図１の物体１５は、特定のサイズおよび形状を有する単一の物体として描写されているが、物体１５は様々な特性を有してよいことが理解されよう。加えて、単一の物体１５が図１によって描写されているが、乗り物１０の周囲の空域は任意の数の物体１５を含んでよい。物体１５は、物体１５が建物であるときのように静止していてもよいが、いくつかの実施形態では、物体１５は動くことが可能である。たとえば、物体１５は、乗り物１０との衝突のリスクをもたらす可能性がある経路に沿って動いている別の乗り物であってよい。物体１５は、他の実施形態では、乗り物１０の安全な動作にリスクをもたらす他の障害物であってもよく、あるいは物体１５は、乗り物１０の動作中のナビゲーションまたは他の目的に使用されてもよい。

いくつかの実施形態では、物体１５は、乗り物１０が進行中の様々な時間に遭遇する可能性がある、数十、数百、または数千もの他の航空機のうちの１つであってよい。たとえば、乗り物１０が自己操縦式ＶＴＯＬ航空機であるとき、他の同様の自己操縦式ＶＴＯＬ航空機が近くで動作していることは一般的であり得る。都市または工業用地などの一部の地域では、小型の無人航空機の使用が普及している場合がある。この点に関連して、乗り物監視システム５は、航空機の周囲の特定の近傍内にある可能性がある物体１５のホストの各々の位置および速度を監視し、衝突の脅威を示す物体があるかどうかを決定し、そうである場合にアクションを取る必要があり得る。

図１は、視野２５を有する、以下「プライマリセンサ」と呼ばれるセンサ２０も描写し、視野２５において、センサ２０が物体１５の存在を検出することができ、システム５が衝突回避、ナビゲーション、または他の目的などの様々な目的で物体１５を追跡するためにセンサ２０からのデータを使用することができる。図１は、物体１５を検知することができる視野３５を有する、以下「検証センサ」と呼ばれるセンサ３０も描写する。視野２５と視野３５は実質的に重なるように図１によって描写されているが、視野３５は乗り物１０からより大きい範囲に広がっている。いくつかの実施形態では、検証センサ３０の視野３５は、プライマリセンサ２０の視野２５よりも大きくてよい（たとえば、以下により詳細に記載されるように、乗り物１０の周囲に完全に広がってもよい）。この点に関連して、検証センサ３０によって検知されたデータは、センサ２０によって検知されたデータを検証する（たとえば、１つ以上の物体１５の検出を確認する）ために、乗り物監視システム５によって使用されてよい。本明細書で特に明記されない限り、本明細書で使用される「視野」という用語は、センサが光学的であることを意味するのではなく、むしろ一般的に、使用されるセンサのタイプにかかわらず、センサが物体を検知できる領域を指すことに留意されたい。

センサ２０は、乗り物１０の周囲の空間を監視するための様々なタイプのセンサまたはセンサのタイプの組合せであってよい。いくつかの実施形態では、センサ２０は、視野２５内の物体１５の存在を検知し、物体１５の位置を示すセンサデータを提供することができる。次いで、そのようなセンサデータは、以下でより詳細に説明されるように、乗り物１０をナビゲートすること、または物体１５が乗り物１０に衝突の脅威を与えるかどうかを決定することなどの様々な目的で処理されてよい。

いくつかの実施形態では、センサ２０は、シーンの画像をキャプチャし、キャプチャされたシーンを画定するデータを提供するための少なくとも１つのカメラを含んでよい。そのようなデータは複数のピクセルを定義することができ、各ピクセルはキャプチャされたシーンの一部分を表し、色値および画像内のピクセルの位置を示す座標のセットを含む。データは、物体１５を識別するためにシステム５によって分析されてよい。いくつかの実施形態では、システム５は複数のプライマリセンサ２０（たとえば、カメラ）を有し、各プライマリセンサ２０は、他のセンサ２０に対する視野２５内の様々な距離（たとえば、２００ｍ、６００ｍ、８００ｍ、１ｋｍなど）で物体を検知する（たとえば、焦点を合わせる）ために構成される（たとえば、各カメラは異なる焦点距離のレンズを有する）。他の実施形態では、単一のセンサ２０は、様々な距離を検知するように構成された１つ以上のレンズを有することができる。いくつかの実施形態では、他のタイプのセンサが可能である。一例として、センサ２０は、電気光学もしくは赤外線（ＥＯ／ＩＲ）センサ、光検出および測距（ＬＩＤＡＲ）センサ、または他のタイプのセンサなどの、物体の存在を検出するための任意の光学センサまたは非光学センサを備えてよい。

上で説明されたように、センサ２０は、センサ２０が物体１５を検知することができる空間を画定する視野２５を有することができる。視野２５は、二次元および三次元空間を含む様々な領域をカバーすることができ、様々な形状または輪郭を有することができる。いくつかの実施形態では、視野２５は、センサ２０の特性に依存する寸法を有する三次元空間であってよい。たとえば、センサ２０が１つ以上の光学カメラを備える場合、視野２５はカメラの特性（たとえば、レンズの焦点距離など）に関連してよい。しかしながら、図１の実施形態では、視野２５が、センサ２０が乗り物１０を取り囲むすべての空間を監視することを可能にする形状または輪郭をもたない場合があることに留意されたい。この点に関連して、乗り物１０の安全な自己操縦式動作を可能にする検知範囲が達成され得るように、システム５が物体を検出できる領域を拡大するために、追加のセンサが使用されてよい。

センサ２０からのデータは、任意の追加センサ（たとえば、検証センサ３０）が視野２５のすべてまたは一部分を検知できるかどうかに関係なく、視野２５内の物体の主要な追跡動作を実施するために、使用されてよいことに留意されたい。この点に関連して、乗り物監視システム５は、主にセンサ２０からのセンサデータに依存して、物体１５を識別および追跡することができる。システム５は、本明細書に説明されたように、検証、冗長性、または感覚増強目的などの、様々な方法で他のセンサからのデータを使用することができる。

図１は、センサ２０の視野２５と概ね同一の広がりをもつ視野３５を有する検証センサ３０を示す。いくつかの実施形態では、検証センサ３０は、センサ２０によって提供されるデータとは異なるが、センサ２０によって提供されるデータの検証を可能にするデータを提供するためのレーダーセンサを備える。言い換えれば、検証センサ３０は、その視野３５により、乗り物監視システム５がセンサ２０の視野２５内の物体１５の検証（たとえば、冗長な検知）を実施することが可能になるように構成されてよい。説明目的で、特に明記しない限り、以後、各プライマリセンサ２０がそのそれぞれの視野内のシーンの画像をキャプチャするカメラとして実現され、検証センサ３０がプライマリセンサ２０の視野２５内の位置をカバーする視野３５を有するレーダーセンサとして実現されると仮定するが、本明細書に説明された機能を実現するのに望ましい可能性があるものとして、他のタイプのセンサ２０、３０が使用されてよいことが強調されるべきである。

検証センサ３０がレーダーセンサとして実現されるとき、センサ３０は、センサ３０によって監視されている空間にパルスを放出するための送信機と、監視空間内で物体１５から反射された戻りを受信するための受信機とを有することができる。物体からの戻りに基づいて、検証センサ３０は、物体のサイズ、形状、および位置を推定することができる。いくつかの実施形態では、検証センサは乗り物１０の固定位置に取り付けられてよく、必要な場合、乗り物１０の周囲の様々な視野を監視するために、複数の検証センサ３０を使用することができる。乗り物１０が航空機であるとき、センサ２０、３０は、航空機の上下および航空機のすべての側面の周囲を含む、航空機の周囲のすべての方向を監視するように構成されてよい。したがって、任意の角度から接近する物体は、プライマリセンサ２０と検証センサ３０の両方によって検出することができる。一例として、プライマリセンサ２０のすべての合成された視野および検証センサ３０のすべての合成された視野が乗り物１０を完全に取り囲むように、様々な方向に向けられた複数のセンサ２０、３０が存在してよい。

いくつかの実施形態では、プライマリセンサ２０または検証センサ３０は、センサ２０、３０が移動するにつれて、センサ２０、３０が様々な時間に様々な視野を監視することができるように、移動可能であってよい。一例として、検証センサ３０は、３６０度の視野が得られるように、回転するように構成されてよい。センサ３０が回転するにつれて、センサ３０は様々なセクタから測定値を取得する。さらに、乗り物１０の周囲の空間の３６０度走査（または他の角度の走査）を実施した後、検証センサ３０はその仰角を変更し、別の走査を実施することができる。このプロセスを繰り返すことにより、検証センサ３０は、あらゆる方向で乗り物１０の周囲の空間を監視するために、様々な仰角で複数の走査を実施することができる。いくつかの実施形態では、様々な方向で走査を実施するために、複数の検証センサ３０が使用されてよい。一例として、乗り物３０の上面の検証センサ３０は、乗り物１０の上の半球の走査を実施することができ、乗り物３０の底面の検証センサ３０は、乗り物３０の下の半球の走査を実施することができる。そのような例では、両方の検証センサ３０からの検証データは、乗り物１０からの角度に関係なく物体を検知することができるように、乗り物１０の周囲の完全な球内の空間を監視するために使用されてよい。

乗り物１０の動作中、プライマリセンサ２０からのセンサデータは、センサの視野２５内の１つ以上の物体１５の存在を検出するために分析される。一例として、検出された物体ごとに、センサデータは、乗り物１０または他の何らかの基準点に対する物体の位置を示す座標のセットを定義することができる。センサデータは、物体のサイズおよび／または形状などの、検出された物体に関する他の属性を示すこともできる。経時的に、センサデータは物体の位置を追跡するために使用される。一例として、センサデータのサンプルごとに、物体の位置および／または他の属性が格納されてよく、経時的な物体の位置に対する変化を示すこのデータの複数の格納されたサンプルは、物体の速度を決定するために使用されてよい。物体の速度および位置に基づいて、乗り物１０は、所望の制御アルゴリズムに従って制御されてよい。一例として、乗り物１０のスピードまたは方向は、検出された物体との衝突を回避するために、または検出された物体の位置に基づいて乗り物１０を所望の位置にナビゲートするために、（自動または手動のいずれかで）制御されてよい。たとえば、検出された物体は、乗り物１０を所望の目的地または他の場所に導くための基準点として使用されてよい。

上で説明されたように、少なくとも１つの検証センサ３０からの検証データは、以下でさらに詳細に記載されるように、両方のセンサ２０、３０によって同時にキャプチャされたサンプルを比較することにより、少なくとも１つのプライマリセンサ２０からのセンサデータの精度を検証するために、時々使用されてよい。この点に関連して、センサデータの検証が行われるとき、検証センサ３０は、検証データの少なくとも一部分がプライマリセンサ２０の視野３５に対応する検証データのサンプルをキャプチャすることができる。すなわち、検証センサ２５の視野３５は、プライマリセンサ２０の視野２５と重なって、検証センサ３０がプライマリセンサ２０の視野２５内に位置する任意の物体１５を検知するかどうかを検証データのサンプルが示すような、センサ冗長性を実現する。

したがって、物体１５がプライマリセンサ２０の視野２５内にあるとき、それは、プライマリセンサ２０と検証センサ３０の両方によって検知されるはずである。監視システム５は、プライマリセンサ２０からのセンサデータのサンプルと検証センサ３０からの検証データのサンプルの両方で物体１５を識別して、両方のセンサ２０、３０が物体１５を検出したことを確認するように構成される。加えて、監視システム５はまた、プライマリセンサ２０からのセンサデータのサンプルによって示された物体１５の位置が、検証センサ３０からの検証データのサンプルによって示された物体１５の位置と（事前定義された許容範囲内で）一致するかどうかを決定する。プライマリセンサ２０の視野２５内で検証センサ３０によって検出された各物体が、プライマリセンサ２０によっても検出された場合、および各物体の位置が両方のサンプルで（事前定義された許容範囲内で）同じである場合、監視システム５は、プライマリセンサ２０からのセンサデータの精度が必要に応じて制御決定を行うために信頼され得るようにそれを検証する。しかしながら、プライマリセンサ２０の視野２５内で検証センサ３０によって検出された物体がプライマリセンサ２０によって検出されない場合、または検出された物体１５の位置が、検証センサ３０からの検証データのサンプルにおける同じ物体１５の位置に比べて、プライマリセンサ２０からのセンサデータのサンプル内で異なる場合、監視システム５はプライマリセンサ２０からのセンサデータの精度を検証しない。そのような場合、監視システム５は、プライマリセンサ２０と検証センサ３０との間で不一致が検出されたことを示す警告を提供することができる。そのような警告に応答して、様々なアクションが取られてよい。

一例として、（メッセージなどの）警告通知が表示されるか、またはそうでない場合、乗り物１０のパイロットもしくはドライバなどのユーザに提供されてよい。自己操縦式または自走式乗り物の場合、乗り物１０のスピードまたは方向は、警告通知に応答して自動的に制御されてよい。たとえば、乗り物１０は、プライマリセンサ２０が正確に検出できなかった物体との衝突を回避するために、不一致が検知されたところに対応する領域から遠ざけられてもよい。いくつかの実施形態では、プライマリセンサ２０からのセンサデータは、センサデータにおけるシステムの信頼性を示す信頼値に関連付けられてよい。そのような信頼値は、プライマリセンサ２０からのセンサデータと検証センサ３０からの検証データとの間の不一致の検出に応答して、センサデータにおける信頼性が低いことを示すために、低下またはそうでない場合調整されてよい。乗り物１０を制御するために使用される制御アルゴリズムは、必要に応じて制御決定を行う際に信頼値を使用することができる。センサデータと検証データの間で不一致が検出されたときに提供された警告に応答して、様々な他のアクションが取られてよい。

検証データのサンプルとサンプルデータを比較するとき、プライマリセンサ２０の視野２５内にいくつかの物体１５が存在する場合があり、監視システム５は、上述されたように、両方のデータセット内のその位置を比較することができるように、両方のデータセット内で同じ物体を識別するように構成されてよい。一例として、監視システム５は、センサデータのサンプルを分析して、プライマリセンサ２０によって検知された各物体のサイズおよび／または形状を推定するように構成されてよく、監視システム５はまた、検証データのサンプルを分析して、検証センサ３０によって検知された各物体のサイズおよび／または形状を推定するように構成されてよい。センサデータ内の物体のサイズおよび／または形状が検証データ内のそのサイズおよび／または形状と（事前定義された許容範囲内で）一致するとき、両方のサンプルで同じ物体が識別されてよい。同じ物体が識別されると、センサデータによって示されたその位置は、上で説明されたように、センサデータの精度を検証するために、検証データによって示されたその位置と比較されてよい。

上記で簡単に説明されたように、プライマリセンサ２０および検証センサ３０の視野は、乗り物１０の周囲の三次元空域の監視を支援するために三次元であってよいことに留意されたい。実際、乗り物１０からのその方向に関係なく物体１５が検知されうるように、視野が乗り物１０を完全に囲むことが可能である。そのようなカバレージは、物体があらゆる方向から航空機に接近する可能性がある航空機にとって、特に有益であり得る。

この点に関連して、図２によって示されるセンサ２０用の視野２５は三次元である。図３によって示されるように、センサ２０のすべての視野２５がすべての方向で乗り物１０を完全に囲むように、追加のセンサ（図２には示されず）は、乗り物１０の他の位置にあってよい。そのような視野は、一緒に集約されると、特定の範囲内で乗り物１０に接近する物体１５が少なくとも１つのプライマリセンサ２０の視野内にあり、したがって、乗り物１０からのその方向に関係なく、少なくとも１つのプライマリセンサ２０によって検知されるべきであるような、乗り物１０を完全に取り囲む空域の球を形成できることに留意されたい。いくつかの実施形態では、図３によって示されるものと同様の視野２５を有する単一のプライマリセンサ２０が使用されてよく、それにより、乗り物２０を完全に取り囲む空域を観察するために複数のプライマリセンサをもつ必要がなくなる。

同様に、検証センサ３０の視野３５も３次元であってよい。一例として、複数の仰角で走査を実施するレーダーセンサは、図３によって示されるように、すべての方向で乗り物１０を完全に取り囲む視野３５を有することができる。そのような視野は、特定の範囲内で乗り物１０に接近する物体１５が、乗り物１０からのその方向に関係なく、検証センサ３０によって検知されるべきであるような、乗り物１０を完全に取り囲む空域の球を形成できることに留意されたい。特に、そのような実施形態では、検証センサ３０の視野３５は、複数のプライマリセンサ２０からのセンサデータを検証するために同じ検証センサ３０が使用され得るように、複数のプライマリセンサ２０の複数の視野２５と重なってもよい。必要な場合、複数の検証センサ３０は、図３によって示されるものと同様の集約された視野を形成するために使用されてよい。

監視システム５が、検証センサ３０によって検知された物体１５を追跡するために、検証センサ３０からの検証データを使用する必要がないことも留意されるべきである。一例として、センサデータの検証の間に、検証センサ３０が物体を検知する必要はない。検証センサ３０が検証の間になんらかのサンプルを提供する場合、監視システム５は、そのようなサンプルを分析することなく、またはそれらを使用して物体１５の位置を追跡もしくは決定することなく、そのようなサンプルを破棄することができる。さらに、検証センサ３０からの検証データのサンプルを使用して、プライマリセンサ２０からのセンサデータのサンプルを検証した後、監視システム５は検証データのサンプルを破棄することができる。したがって、時々（たとえば、周期的に）、物体１５を追跡するためには検証データを使用することなく、１つ以上のプライマリセンサ２０からのセンサデータの精度を検証するために、検証データが使用される。すなわち、監視システム５は、プライマリセンサ２０からのセンサデータを使用して乗り物１０を取り囲む空域内の物体１５を追跡することができ、検証データを使用して物体を別々に追跡することなく、センサデータを検証することのみを目的として検証データを使用することができる。検証センサ３０からの検証データを用いて物体を追跡しないことにより、検証センサ３０の使用に関係する少なくともいくつかの規制上の制約が適用されないことが可能である。加えて、監視システム５によって処理および格納される検証データの量が削減され得る。

図４は、本開示のいくつかの実施形態による、乗り物監視システム２０５の例示的な実施形態を描写する。いくつかの実施形態では、乗り物監視システム２０５は、自己操縦式ＶＴＯＬ航空機の動作を監視および制御するために構成されるが、システム２０５は、他の実施形態では他のタイプの乗り物用に構成されてよい。図４の乗り物監視システム２０５は、データ処理要素２１０、１つ以上のプライマリセンサ２０、１つ以上の検証センサ３０、乗り物コントローラ２２０、乗り物制御システム２２５、および推進システム２３０を含んでよい。特定の機能は乗り物監視システム２０５の様々な構成要素に帰されてもよいが、そのような機能は、いくつかの実施形態では、システム２０５の１つ以上の構成要素によって実施されてよいことが理解されよう。加えて、いくつかの実施形態では、システム２０５の構成要素は乗り物１０または他のやり方で常駐することができ、有線（たとえば、導電性）または（たとえば、ワイヤレスネットワークもしくはＢｌｕｅｔｏｏｔｈなどの短距離ワイヤレスプロトコルを使用する）ワイヤレス通信を含む様々な技法を介して、システム２０５の他の構成要素と通信することができる。さらに、システム２０５は、本明細書に説明された機能を実現し、衝突脅威検知動作および乗り物制御を一般に実施するための、図４に描写されていない様々な構成要素を備えてよい。

いくつかの実施形態では、図４によって示されるように、データ処理要素２１０は各センサ２０、３０に結合されてよく、プライマリセンサ２０および検証センサ３０からのセンサデータを処理することができ、乗り物１０を制御するために乗り物コントローラ２２０に信号を提供することができる。データ処理要素２１０は、センサ２０および検証センサ３０からのセンサデータを受信および処理することが可能な様々なタイプのデバイスであってよく、ハードウェアまたはハードウェアとソフトウェアの組合せに実現されてよい。データ処理要素２１０の例示的な構成は、図５を参照して以下により詳細に記載される。

乗り物コントローラ２２０は、乗り物１０の動作を制御するための様々な構成要素を含んでよく、ハードウェアまたはハードウェアとソフトウェアの組合せに実現されてよい。一例として、乗り物コントローラ２２０は、乗り物コントローラ２２０について本明細書に説明された機能を実施するための命令でプログラムされた１つ以上のプロセッサ（詳細に図示せず）を備えてよい。いくつかの実施形態では、乗り物コントローラ２２０は、（たとえば、上で説明されたような）データ処理要素２１０、乗り物制御システム２２５、および推進システム２３０を含む、システム２０５の他の構成要素に通信可能に結合されてよい。

乗り物制御システム２２５は、進行中に乗り物１０を制御するための様々な構成要素を含んでよい。一例として、自己操縦式ＶＴＯＬ航空機の場合、乗り物制御システム２２５は、１つ以上の舵、補助翼、エレベータ、フラップ、スポイラ、ブレーキ、または、通常、航空機を制御するために使用される他のタイプの航空力学デバイスなどの動翼を含んでよい。さらに、推進システム２３０は、乗り物１０に推進力または推力を与えるための、エンジンおよびプロペラなどの様々な構成要素を備えてよい。以後より詳細に説明されるように、データ処理要素２１０が衝突の脅威を識別すると、乗り物コントローラ２２０は、ユーザ（たとえば、パイロットもしくはドライバ）に警告を提供するなど、脅威に応答してアクションを取るように構成されてよく、または検知された脅威を回避することを目指して乗り物１０の経路を変更するように、それ自体が乗り物制御システム２２５および推進システム２３０を制御することができる。

図５は、本開示のいくつかの実施形態による、例示的なデータ処理要素２１０を描写する。データ処理要素２１０は、１つ以上のプロセッサ３１０、メモリ３２０、データインターフェース３３０、およびローカルインターフェース３４０を含んでよい。プロセッサ３１０、たとえば、中央処理装置（ＣＰＵ）またはデジタル信号プロセッサ（ＤＳＰ）は、プライマリセンサ２０および検証センサ３０（図４）の各々からのセンサデータの処理などの、様々な機能を実施するためにメモリに記憶された命令を実行するように構成されてよい。プロセッサ３１０は、少なくとも１つのバスを含むことができるローカルインターフェース３４０を介して、データ処理要素３０５内の他の要素と通信し、それらを駆動することができる。さらに、データインターフェース３３０（たとえば、ポートまたはピン）は、データ処理要素２１０の構成要素を、センサ２０および検証センサ３０および乗り物コントローラ２２０などのシステム５の他の構成要素とインターフェースすることができる。

図５によって示されるように、データ処理要素２１０は、ハードウェア、ソフトウェア、またはそれらの任意の組合せに実現され得るセンサ処理ロジック３５０を備えてよい。図５では、センサ処理ロジック３５０はソフトウェアに実装され、メモリ３２０に記憶される。しかしながら、他の実施形態では、センサ処理ロジック３５０の他の構成が可能である。

センサ処理ロジック３５０は、ソフトウェアに実装されると、命令をフェッチおよび実行することができる命令実行装置によって、またはそれとともに、使用するための任意のコンピュータ可読媒体に記憶および転送できることに留意されたい。この文書の文脈において、「コンピュータ可読媒体」は、命令実行装置によって、またはそれとともに、使用するためのコードを収容するまたは記憶することができる任意の手段であり得る。

センサ処理ロジック３５０は、本明細書に説明された技法に従って、センサデータ３４３および検証センサ３０からの検証データ３４５を処理することにより、センサ２０からのセンサデータ３４３の精度を検証するように構成される。一例として、センサ処理ロジック３５０は、センサ２０、３０によって検知された物体１５を識別し、乗り物１０に対する物体の位置および速度、ならびに乗り物の速度または予想される進行経路に基づいて、各検知された物体１５が乗り物１０に対する衝突の脅威を与えるかどうかを評価するように構成されてよい。ひとたび物体１５が衝突の脅威であるとセンサ処理ロジック３５０が決定すると、センサ処理ロジック３５０は乗り物コントローラ２２０に脅威を通知することができ、乗り物コントローラ２２０は脅威に応答して追加のアクションを取ることができる。一例として、乗り物コントローラ２２０は、物体１５が衝突の脅威であるというセンサ処理ロジック３５０による評価に基づいて、乗り物１０の進路を調整することなどにより、脅威を回避するように乗り物１０を制御することができる。コントローラ２２０は、乗り物１０が安全な自己操縦動作を達成するように、ロジック３５０が衝突の脅威として識別した物体１５ごとに乗り物１０の進路に対して同様の調整を実施することができる。さらなる例として、乗り物コントローラ２２０は、ユーザに警告を提供するか、または検知された物体１５を回避するように乗り物の進行経路を自動的に制御することができる。例示的な警告は、乗り物の運転者に配信される人間が読むことができるテキストメッセージなどのメッセージを含んでよい。他の例示的な警告は、可聴の警告（たとえば、サイレン）、可視の警告（たとえば、ライト）、物理的警告（たとえば、触覚）などを含んでよい。

他の例では、センサ処理ロジック３５０による評価は他の目的に使用されてよい。一例として、検出された物体は、センサデータ３４３が正確であると検証された場合、乗り物の位置を決定または確認するためにナビゲーション目的に使用されてよい。この点に関連して、検出された物体は基準点として使用されて、基準点に対する乗り物の位置を確認し、次いで、基準点に対する所望の位置に誘導するように車両１０を制御してよい。検知された物体１５に関する情報は、さらに他の例では他の目的に使用されてよい。

検証センサ３０からの検証データを使用してセンサ２０からのデータを検証するためのシステム５の例示的な使用および動作は、図６を参照して以下により詳細に説明される。例示目的のために、物体１５は、プライマリセンサ２０の視野２５および検証センサ３０の視野３５内にあると仮定される。

最初に、図６のブロック４０２によって示されるように、物体１５が視野２５および３５内にある間に、プライマリセンサ２０および検証センサ３０の各々から基本的に同時にサンプルが採取される。そのようなサンプルはセンサ処理ロジック３５０に提供され、センサ処理ロジック３５０は、図６のブロック４０４によって示されるように、プライマリセンサ２０からのサンプル内で物体１５を検出する。次いで、センサ処理ロジック３５０は、図６のブロック４０８によって示されるように、プライマリセンサ２０によって提供されたサンプルから物体１５の位置を決定する。

ブロック４１０によって示されるように、センサ処理ロジック３５０は、検証センサ３０からのサンプル内で同じ物体１５を検出する。次いで、センサ処理ロジック３５０は、図６のブロック４１２によって示されるように、検証センサ３０によって提供されたサンプルによって示された物体１５の位置を決定する。そのような位置を決定した後、センサ処理ロジック３５０は、ブロック４１４によって示されるように、検証センサ３０からのサンプルによって示された物体１５の位置をプライマリセンサ２０からのサンプルによって示された物体１５の位置と比較し、センサ処理ロジック３５０は、図４のブロック４１６によって示されるように、そのような比較に基づいて、センサ３０からのセンサデータ内の物体１５の位置を検証し、アクションを取るかどうかを決定する。この点に関連して、比較された位置における差に基づいて、センサ処理ロジック３５０は、センサ３０からのセンサデータ３４３が物体１５の座標を正確に示すことを検証することができる。そのような場合、センサ処理ロジック３５０は、物体を追跡するためにセンサデータ３４３を確実に使用することができる。センサ処理ロジック３５０が、センサデータ３４３が物体１５の位置を正確に反映していないと決定した場合、センサ処理ロジック３５０は、不一致を軽減するためにアクションを取る。一例として、センサ処理ロジック３５０は、乗り物コントローラ２２０に不一致を報告することができ、次いで、乗り物コントローラ２２０は、乗り物１０の方向またはスピードを変更することなどの、通知に基づく１つ以上の制御決定を行う。図６によって示されるように、ステップ４０２において収集されたサンプル用の処理は、ブロック４１６の後に終了することができる。その後、センサ２０および検証センサ３０の各々から新しいサンプルが収集されてよく、処理はステップ４０２に戻って検証を繰り返すことができる。

カメラを使用してセンサ２０を実現すること、およびレーダーセンサを使用して検証センサ３０を実現することのように、様々な実施形態が上で説明されている。しかしながら、本明細書に記載された同じまたは同様の技法に従って、物体の追跡を実施することと、物体位置の検証を実施することの両方に、他のタイプのプライマリセンサ２０および検証センサ３０が使用されてよいことが強調されるべきである。

上記は本開示の原理の単なる例示であり、本開示の範囲から逸脱することなく当業者によって様々な修正が行われてもよい。上で説明された実施形態は、限定ではなく例示の目的で提示されている。本開示はまた、本明細書に明示的に記載されたもの以外の多くの形態を取ることができる。したがって、本開示は、明示的に開示された方法、システム、および装置に限定されず、以下の特許請求の範囲の趣旨内にあるそれらの変形形態および修正形態を含むことを意図されていることが強調される。

さらなる例として、本明細書に図示され説明されたように、提供された構造、デバイス、および方法をさらに最適化するために、装置またはプロセスパラメータ（たとえば、寸法、構成、構成要素、プロセスステップ順序など）の変形形態が作成されてもよい。いずれにしても、本明細書に説明された構造およびデバイス、ならびに関連する方法には多くの用途がある。したがって、開示された主題は、本明細書に説明されたいかなる単一の実施形態にも限定されるべきでなく、むしろ、添付の特許請求の範囲による広がりおよび範囲で解釈されるべきである。

Claims (16)

1. 乗り物監視システム（５）であって、
   航空機（１０）に配置された複数のセンサ（２０）であって、複数のセンサの視野（２５）内の航空機外部の物体（１５）を検知するように構成され、視野が航空機を完全に取り囲み、複数のセンサが、物体を示す第１のデータを提供するように構成される、複数のセンサ（２０）と、
   航空機に配置され、物体を検知するように構成された少なくとも１つのレーダーセンサ（３０）であって、少なくとも１つのレーダーセンサが、物体を示す第２のデータを提供するように構成される、少なくとも１つのレーダーセンサ（３０）と、
   第１のデータに基づいて、複数のセンサによって検知された物体を追跡するように構成された少なくとも１つのプロセッサ（３１０）であって、少なくとも１つのプロセッサが、第１のデータと第２のデータとの間の比較を実施し、第２のデータを用いて物体を追跡せずに、比較に基づいて、第１のデータの精度を検証するかどうかを決定するように構成され、少なくとも１つのプロセッサが、第１のデータがレーダーセンサによって検知された物体の位置を正確に示さない場合、比較に基づいて警告を提供するように構成される、少なくとも１つのプロセッサ（３１０）と
   を備える、乗り物監視システム（５）。
2. 乗り物監視システム（５）であって、
   乗り物（１０）に配置された第１のセンサ（２０）であって、第１のセンサが、第１のセンサの視野（２５）内の物体（１５）を検知し、物体の位置を示す第１のデータを提供するように構成され、物体が乗り物の外部にある、第１のセンサ（２０）と、
   乗り物に配置されたレーダーセンサ（３０）であって、レーダーセンサが、視野内の物体を検知し、物体の位置を示す第２のデータを提供するように構成される、レーダーセンサ（３０）と、
   第１のセンサからの第１のデータを使用して物体を追跡するように構成された少なくとも１つのプロセッサ（３１０）であって、少なくとも１つのプロセッサが、第２のデータを用いて物体を追跡せずに、第１のデータのサンプルと第２のデータのサンプルを比較して、第１のセンサからの第１のデータの精度を検証するかどうかを決定するように構成され、少なくとも１つのプロセッサが、第１のデータと第２のデータとの間の不一致に応答して警告を提供するように構成される、少なくとも１つのプロセッサ（３１０）と
   を備える、乗り物監視システム（５）。
3. 第１のセンサが光学センサである、請求項２に記載のシステム。
4. 乗り物が航空機である、請求項２に記載のシステム。
5. 乗り物が自動車である、請求項２に記載のシステム。
6. 第１のデータに基づいて乗り物のスピードまたは方向を制御するように構成された乗り物コントローラ（２２０）をさらに備える、請求項２に記載のシステム。
7. 少なくとも１つのプロセッサが、物体が乗り物に対する衝突の脅威であるかどうかを、第１のデータに基づいて決定するように構成される、請求項２に記載のシステム。
8. 少なくとも１つのプロセッサが、第１のデータによって示された位置を第２のデータによって示された位置と比較するように構成される、請求項２に記載のシステム。
9. 乗り物に結合された第３のセンサ（２０）をさらに備え、第３のセンサが、第３のセンサの視野（２５）内の第２の物体（１５）を検知し、第２の物体の位置を示す第３のデータを提供するように構成され、第２の物体が乗り物の外部にあり、レーダーセンサが、第３のセンサの視野内の第２の物体を検知し、第２のデータが第２の物体の位置を示し、少なくとも１つのプロセッサが、第３のセンサからの第３のデータを使用して第２の物体を追跡するように構成され、少なくとも１つのプロセッサが、第２のデータを用いて第２の物体を追跡せずに、第３のデータのサンプルと第２のデータのサンプルを比較して、第３のセンサからの第３のデータの精度を検証するように構成され、少なくとも１つのプロセッサが、第３のデータと第２のデータとの間の不一致に応答して警告を提供するように構成される、請求項２に記載のシステム。
10. 乗り物監視方法であって、
    乗り物（１０）に配置された第１のセンサ（２０）を用いて、第１のセンサの視野（２５）内の、乗り物の外部にある物体（１５）を検知するステップと、
    第１のセンサを用いた検知に基づいて、物体の位置を示す第１のデータを提供するステップと、
    乗り物に配置されたレーダーセンサを用いて、視野内の物体を検知するステップと、
    レーダーセンサを用いた検知に基づいて、物体の位置を示す第２のデータを提供するステップと、
    少なくとも１つのプロセッサ（３１０）を用いて、第１のセンサからの第１のデータを使用して物体を追跡するステップと、
    少なくとも１つのプロセッサを用いて、第１のデータのサンプルと第２のデータのサンプルを比較するステップと、
    比較に基づいて、第１のデータと第２のデータとの間の不一致を決定するステップと、
    少なくとも１つのプロセッサを用いて、第２のデータを用いて物体を追跡せずに、不一致に基づいて、第１のデータの精度を検証するかどうかを決定するステップと、
    決定された不一致に基づいて警告を提供するステップと
    を含む、乗り物監視方法。
11. 第１のセンサが光学センサである、請求項１０に記載の方法。
12. 乗り物が航空機である、請求項１０に記載の方法。
13. 乗り物が自動車である、請求項１０に記載の方法。
14. 第１のデータに基づいて乗り物のスピードまたは方向を制御するステップをさらに含む、請求項１０に記載の方法。
15. 少なくとも１つのプロセッサを用いて、第１のデータに基づいて、物体が乗り物に対する衝突の脅威であるかどうかを決定するステップをさらに含む、請求項１０に記載の方法。
16. 乗り物に配置された第３のセンサ（２０）を用いて、第３のセンサの視野（２５）内の、乗り物の外部にある第２の物体（１５）を検知するステップと、
    第３のセンサを用いた検知に基づいて、第２の物体の位置を示す第３のデータを提供するステップと、
    レーダーセンサを用いて、第３のセンサの視野内の第２の物体を検知するステップであって、第２のデータが第２の物体の位置を示す、ステップと、
    少なくとも１つのプロセッサを用いて、第３のデータのサンプルと第２のデータのサンプルを比較するステップと、
    第３のデータのサンプルと第２のデータのサンプルの比較に基づいて、第３のデータと第２のデータとの間の第２の不一致を決定するステップと、
    少なくとも１つのプロセッサを用いて、第２のデータを用いて第２の物体を追跡せずに、第２の不一致に基づいて、第３のデータの精度を検証するかどうかを決定するステップと、
    決定された第２の不一致に基づいて警告を提供するステップと
    をさらに含む、請求項１０に記載の方法。

Images