JP2022502306A - レーダ空間推定 - Google Patents

レーダ空間推定 Download PDF

Info

Publication number
JP2022502306A
JP2022502306A JP2021517297A JP2021517297A JP2022502306A JP 2022502306 A JP2022502306 A JP 2022502306A JP 2021517297 A JP2021517297 A JP 2021517297A JP 2021517297 A JP2021517297 A JP 2021517297A JP 2022502306 A JP2022502306 A JP 2022502306A
Authority
JP
Japan
Prior art keywords
cell
radar
radar sensor
occupied
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021517297A
Other languages
English (en)
Other versions
JPWO2020069025A5 (ja
Inventor
リウ ユー
ワン チャン
クリサー コーヘン ジョシュア
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2022502306A publication Critical patent/JP2022502306A/ja
Publication of JPWO2020069025A5 publication Critical patent/JPWO2020069025A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds

Abstract

レーダセンサに基づいて空間グリッドを生成する技術が議論される。空間グリッドは、占有されている、閉塞されている、および/または自由空間であるものとして指定され得るセルを含み得る。レーダセンサデータが、セルに関連付けられた環境の領域に関連付けられている場合に、セルは占有されているものとして指定され得る。占有されているものとして指定されているセルによって、レーダセンサに対して、セルに関連付けられた環境の領域が塞がれている場合に、フィールドは閉塞されているものとして指定され得る。いくつかの例では、オブジェクトは、閉塞された領域内で検出、および/または追跡され得る。セルに関連付けられた領域がレーダセンサの視野内にあり、非占有であり、非閉塞である場合に、セルは自由空間であるものとして指定され得る。いくつかの例では、空間グリッドは、環境内の自律車両などの車両を制御するために使用され得る。

Description

関連出願
このPCT国際出願は、参照により本明細書に組み込まれる、2018年9月28日に出願した、優先米国特許出願第16/147,177号の利益を主張するものである。
様々な方法、装置、およびシステムが、障害物を含む環境を介して自律車両を誘導するためにそのような自律車両によって利用される。例えば、自律車両は、他の車両、建物、歩行者、または他のオブジェクトを含む可能性がある領域をナビゲートするために、ルート計画方法、装置、およびシステムを利用する。いくつかの例では、環境内の車両、建物、および/またはオブジェクトは、環境の領域を自律車両のセンサに見えないようにブロックする可能性があり、これは、そのような領域を安全に横断する上での課題を提示する可能性がある。
米国特許出願第16/011,468号明細書 米国特許出願第15/632,147号明細書
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の最上位桁は、参照番号が最初に現れる図面を識別する。異なる図面における同じ参照番号の使用は、同様のまたは同一の構成要素または特徴を示す。
本開示の実施形態による、車両が動作している例示的な環境を示す概略図であり、車両は、環境の領域に関連付けられたセルを有するレーダ空間グリッドを含み、レーダ空間グリッドの個々のセルは、占有されている、閉塞されている、または自由空間であるものとして指定される。 本開示の実施形態による、レーダ空間グリッドを生成し、レーダ空間グリッドを出力し、および/またはレーダ空間グリッドに基づいて自律車両を制御するための例示的なプロセスのフロー図である。 本開示の実施形態による、環境内の静的および/または動的なオブジェクトを表すレーダセンサデータに基づいて、レーダ空間グリッド内のセルの占有度を決定するための例示的なプロセスの絵図的なフロー図である。 本開示の実施形態による、オブジェクトが静的オブジェクトによって占有されたと以前に考えられていた領域に入るときに、レーダ空間グリッドのセルの占有状態を更新するための例示的なプロセスの絵図的なフロー図である。 本開示の実施形態による、環境内のオブジェクトによって塞がれたレーダ空間グリッドのセルを決定するための例示的なプロセスの絵図的なフロー図である。 本開示の実施形態による、多数のレーダセンサからのデータを融合されたレーダ空間グリッドに融合する例の概略図である。 本開示の実施形態による、環境の閉塞された領域内のオブジェクトを検出および/または追跡する例の概略図である。 本開示の実施形態による、融合された空間グリッドデータのトップダウンの360度ビューの例の概略図である。 本開示の実施形態による、本明細書で説明したレーダ空間グリッド推定技法を実施するために使用可能な車両およびコンピューティングデバイスを含む例示的なシステムの概略ブロック図である。
上記で論じたように、環境内の車両、建物、植物、および他のオブジェクトは、環境を横断する自律車両のセンサから見えないように環境の領域をブロックまたは閉塞する可能性がある。そのような閉塞された領域は、環境を安全に横断する自律車両に課題を提示する可能性がある。
本出願は、レーダシステムによってキャプチャされたレーダセンサデータの少なくとも一部に基づいて、環境内の空間情報(例えば、占有、閉塞、および/または自由空間)を推定するための技法について説明する。レーダセンサデータは、レーダシステムによってキャプチャされた環境を表すレーダ空間グリッドを生成し、維持するために使用され得る。レーダ空間グリッドは、多数のセルを含み、セルの各々は、環境の個別の部分に関連付けられる。レーダ空間グリッドの個々のセルは、個々のセルが(例えば、静的または動的なオブジェクトによって)占有されているか、閉塞されているか(例えば、オブジェクトによってブロックされているか)、および/または自由空間を表すかどうかを示すように指定され得る。場合によっては、空間グリッドの1つまたは複数のセルは、多数の占有状態インジケータによって指定され得る(例えば、セルは、占有と閉塞の両方として指定され得る)。いくつかの例では、各セルの占有状態は、1つまたは複数の確率によって表され得る。例えば、空間グリッド内の各セルは、占有されている第1の確率、閉塞されている第2の確率、および/または自由空間である第3の確率を有し得る。いくつかの例では、第1の空間グリッドは、各セルが占有されている確率で指定された多数のセルを含み得、第2の空間グリッドは、各セルが閉塞されている確率で指定された多数のセルを含み得、および/または第3の空間グリッドは、各セルが自由空間である確率で指定された多数のセルを含み得る。いくつかの例では、占有グリッドのセルは、空間グリッドの個々のセルに関連付けられた確率に基づいて、占有されている、閉塞されている、および/または自由空間であると決定され得る。例えば、セルが、セルが閉塞されている確率よりも高いセルが占有されている確率を有する場合、セルは、占有されているものとして指定され得、逆もまた同様である。領域について不十分なレーダリターンが受信された場合、または領域がレーダセンサの視野の外にある場合など、場合によっては、領域に関連付けられたセルは、不確定であると指定される場合があり、またはセルは、指定を含まない場合がある。
占有:レーダ空間グリッドのセルは、環境のレーダセンサデータ(例えば、レーダリターン)をレーダ空間グリッドの対応するセルにマッピングすることによって、占有されているものとして指定され得る。いくつかの例では、レーダ空間グリッドは、占有されたセルについて、セルが静的オブジェクト(例えば、建物、駐車車両、植物など)または動的オブジェクト(例えば、車両、自転車、歩行者など)によって占有されているかどうかを示し得る。静的レーダオブジェクトの場合、ゼロ速度を有する静的レーダリターンが受信される。レーダリターンの位置に関連付けられたレーダ空間グリッドの第1のセルは、占有されているものとして指定される。静的レーダリターンと履歴リターンとに基づいて、第1のセルに隣接するセルについて、占有確率が計算され得る。しきい値確率を超える占有確率を有する各隣接セルは、占有されているものとして指定され得る。しきい値確率は、事前に決定され得、または1つもしくは複数の動作条件(例えば、車両の速度、レーダリターンのまばらさなど)に依存し得る。動的オブジェクトの場合、位置と速度とを有するレーダトラックが受信され、車両コンピューティングデバイスのトラッカに提供され得る。トラッカは、追跡される動的オブジェクトのサイズ、形状、および/またはポーズを表す境界ボックスを出力する。トラッカは、加えてまたは代わりに、動的オブジェクトの現在の進行方向を表す軌道またはベクトルを出力し得る。境界ボックスによって占有された領域に関連付けられたレーダ空間グリッドの1つまたは複数のセルは、動的オブジェクトによって占有されている(例えば、動的に占有されている)ものとして指定される。
いくつかの例では、第1のオブジェクト(例えば、静的オブジェクト)を検出し、第1のオブジェクトによって占有された第1の領域に関連付けられたレーダ空間グリッドの第1のセルを占有されているものとして指定した後、第2のオブジェクトが第1のオブジェクトに関連付けられた第1の領域に入ることが検出され得る。第1の領域に入る第2のオブジェクトを検出したことに基づいて、車両コンピューティングデバイスは、第1の領域が占有されていない(例えば、非占有である)と決定し得る。いくつかの例では、様々なレーダセンサが、高さを区別することができない(例えば、それらは、2次元情報のみを提供する)場合があり、そのため、運転可能な表面を有するか、さもなければナビゲート可能である領域にもかかわらず、領域(例えば、陸橋、橋など)からのリターンを受信する場合がある。特定の例では、第1のオブジェクトは、車両および第2のオブジェクトとは異なる高さにある場合があり、したがって、実際には、車両および第2のオブジェクトの高さにおいて領域が占有されていないときに、領域は、レーダリターンに基づいて、静的オブジェクト(例えば、陸橋)によって占有されているように現れる場合がある。その場合、レーダ空間グリッドは、第1のセルが非占有であることを示すように更新され得る。
閉塞:レーダ空間グリッドのセルは、レーダセンサの位置に対する占有されているセル(例えば、第1のセル)の位置に少なくとも部分的に基づいて、閉塞されているものとして指定され得る。例えば、閉塞されたセルは、それぞれの占有されたセルのエッジ/範囲における点を介してレーダセンサの中心(または他の場所)から光線をレイキャスティング(ray casting)することによって、占有されたセルごとに計算され得る。占有されたセルを越えて伸びる光線の部分によって囲まれた領域は、閉塞された領域を構成する。この閉塞された領域内にある(または閉塞された領域内にあるそれらの領域の大部分を有する)レーダ空間グリッドのセルは、閉塞されているものとして指定され得る。本明細書で使用されるように、環境の領域は、環境内のオブジェクトによって少なくとも部分的にブロックされている場合、閉塞されていると言われる。レーダセンサの文脈において、領域は、オブジェクトが、それがレーダセンサから放射される電波を実質的にブロックし、それらが領域に直接到達するのを防止または妨害するように、レーダセンサと領域との間に置かれる場合、オブジェクトによって閉塞され得る。しかしながら、例えば、マルチパスリターンおよびマルチバウンスリターンにより、レーダセンサは、閉塞された領域内にあるオブジェクトに対応するリターンを依然として受信する場合がある。本出願の目的のために、領域は、レーダセンサがマルチパスリターン、マルチバウンスリターン、または他の非直接的なリターンに基づいてオブジェクトを検出することができ得るという事実にもかかわらず、依然として閉塞されていると言われる。
自由空間:レーダ空間グリッドのセルは、それらがレーダセンサの視野内にあり、占有も閉塞もされていない場合、自由空間を表すものとして指定され得る。
いくつかの例では、レーダ空間グリッドは、環境を安全に横断するように自律車両を制御するために自律車両の車両コンピューティングデバイスによって使用するために出力され得る。レーダ空間グリッドは、車両が環境を横断するとき、追加のレーダデータが取得されるとき、および環境内の動的オブジェクトが車両に対して移動するときに更新され得る。レーダ空間グリッドは、環境を通る自律車両のための軌道をより迅速かつ正確に計画するために、車両コンピューティングデバイスによって使用され得る。例えば、車両コンピューティングデバイスは、レーダ空間グリッドの自由空間セルに対応する環境の領域を通過するように、および/またはレーダ空間グリッドの占有されたセルに対応する環境の領域を回避するように軌道を計画し得る。別の例として、車両コンピューティングデバイスは、車両が他の方法で自由空間セルに接近するよりもゆっくりと、レーダ空間グリッドの閉塞されたセルに対応する環境の領域に接近するように軌道を計画し得る。いくつかの例では、レーダ空間グリッドは、占有された空間、閉塞された空間、および/または自由空間として各セルを指定し得、これは、車両のための潜在的な軌道の範囲を低減または制限し得、それによって、車両のための軌道を計画するために車両コンピューティングデバイスのプランニングシステムによって使用される処理時間およびリソースを低減し得る。他の例では、レーダ空間グリッドは、レーダ空間グリッドの1つまたは複数のセルを不確定である(例えば、セルの占有状態を決定するために十分な情報が存在しない)として指定し得る。
いくつかの例では、レーダシステムは、少なくとも第1のレーダセンサと第2のレーダセンサとを含む多数のレーダセンサを備える。そのような例では、多数のレーダセンサからのレーダセンサデータは、複合のまたは融合されたレーダ空間グリッドを生成するために使用され得、融合されたレーダ空間グリッド内の少なくともいくつかのセルの占有状態は、多数のレーダセンサからのセンサデータに基づく。多数のレーダセンサは、異なる場所(例えば、車両上の異なる場所)において配置され得、および/または異なるまたは重複する視野を有し得る。多数のレーダセンサからのレーダセンサデータを融合することは、レーダセンサの視野が重複する環境の部分におけるレーダリターンの数を増加させ得、レーダリターンに関連する信頼値を増加させ得、レーダ空間グリッドの閉塞された領域を減少させ得、および/または車両を取り囲む環境のより大きい領域を感知するために使用され得る。多数のレーダセンサからのレーダセンサデータは、様々な方法で融合され得る。1つの特定の例では、第1のレーダセンサに対応するレーダ空間グリッドは、両方の空間グリッドの占有されたセルの和集合を占有されているものとして指定し、両方の空間グリッドの閉塞されたセルの共通部分を閉塞されているものとして指定することによって、第2のレーダセンサのレーダ空間グリッドと融合され得る。言い換えれば、融合されたレーダ空間グリッドのセルは、第1のレーダセンサ、第2のレーダセンサ、または第1のレーダセンサと第2のレーダセンサの両方のレーダセンサデータが、空間グリッドのセルに対応する領域が占有されていることを示すとき、占有されているものとして指定され得る。融合されたレーダ空間グリッドのセルは、第1のレーダセンサと第2のレーダセンサの両方のレーダセンサデータが、空間グリッドのセルに対応する領域が閉塞されていることを示すとき、閉塞されているものとして指定され得る。言い換えれば、少なくとも1つのレーダセンサが、特定のセルが閉塞されていないと決定した場合、セルは、閉塞されていない(すなわち、占有されている、または自由である)ものとして示される。異なる場所および/または視野を有する異なるレーダセンサのレーダセンサデータを融合することによって、融合されたレーダ空間グリッドは、レーダセンサのいずれかの個々のレーダ空間グリッドよりも少ない閉塞されたセルを有し得る。融合されたレーダ空間グリッドのセルは、第1のレーダセンサおよび第2のレーダセンサのレーダセンサデータに少なくとも部分的に基づいて、自由空間であるとして指定され得る。1つの特定の例では、融合されたレーダ空間グリッドのセルは、それが占有されているとしても閉塞されているとしても指定されていない(例えば、それが非占有であり、非閉塞である)場合、自由空間として指定され得る。
多数のレーダセンサのレーダ空間グリッドを融合することに加えて、またはその代わりに、1つまたは複数のレーダセンサからのセンサデータに基づいて生成されたレーダ空間グリッドが、1つまたは複数の他のセンサモダリティ(例えば、ライダセンサ、画像センサ、ソナーセンサなど)に基づく空間グリッドと組み合わされるか、または融合され得る。いくつかの例では、レーダ空間グリッドは、ライダ空間グリッドまたはカメラ空間グリッドのうちの少なくとも1つと融合されるか、または他の方法で組み合わされ得る。他のセンサモダリティを使用する空間グリッド(ときには「閉塞グリッド」と呼ばれる)の追加の詳細は、例えば、参照により本明細書に組み込まれる、2018年6月18日に出願した、「Occlusion Aware Planning and Control」と題する、特許文献1に見出すことができる。
場合によっては、多数のセンサモダリティ(例えば、レーダセンサ、ライダセンサ、画像センサなど)を使用することは、複数のモダリティが融合された空間グリッドの1つまたは複数のセルの占有状態、閉塞状態、および/または自由空間状態に関連する全体的な信頼レベルを改善することができる。場合によっては、多数の空間グリッドが、並列に(例えば、実質的に同時に)生成され得、各々の出力は、複合のまたは融合された空間グリッド内の1つまたは複数のセルの状態に関する全体的な信頼レベルを高めるために、組み合わされおよび/または比較され得る。場合によっては、1つのモダリティのデータ(例えば、飛行時間(time of flight)データ)が、車両までのしきい値距離内にあるセルの占有度の状態を決定するために使用され得、別のモダリティのデータ(例えば、レーダおよび/またはライダ)が、車両からのしきい値距離を満たす、または超える閉塞領域の状態を決定するために使用され得る。もちろん、本明細書で説明する例は、限定であることを意図するものではなく、他の実装形態は、本開示の範囲内であるとみなされる。
いくつかの例では、レーダ空間グリッドデータは、加えてまたは代わりに、環境を表すマップデータに関連付けられ得、および/またはそれに関連して記憶され得る。マップデータは、環境内のオブジェクトのカテゴリ(例えば、運転可能な表面、建物、植物など)を示すために意味的にラベル付けされ得る。マップデータは、レーダ空間グリッドのための文脈を補足および提供し得、またはその逆であり得る。例えば、マップデータが、閉塞された領域内に交差点または交差道路が存在することを示す場合、車両のプランニングシステムは、閉塞された領域により遅く接近することを決定し得るが、マップデータが、閉塞された領域のすぐ後ろに別の建物が存在することを示す場合、閉塞された領域に接近するとき、プランニングシステムが車両を遅くさせる必要がない可能性がある。
レーダ空間グリッドのサイズおよび/またはグリッド内のセルの数、ならびに生成および/または記憶されるべきそれらのそれぞれのサイズは、1つまたは複数の領域特性に少なくとも部分的に基づくことができる。交差点の文脈において、領域特性は、限定はしないが、レーダリターンのまばらさ、自律車両が(例えば、対向車を避けるために)進行しなければならない交差点を横切る距離、交差点内の車両の(例えば、対向車の)速度制限、(例えば、予測される交通の速度を効率的に上げるための)速度制限に関連する安全率、交差点距離を横断する自律車両の加速度レベルおよび/または平均速度などを含むことができる。これらは、ほんの数例であり、他の領域特性が考えられる。したがって、レーダ空間グリッドは、レーダ空間グリッドに障害物がないときに自律車両が領域を安全に横断することができるようにサイズが決められ得る。
いくつかの例では、レーダセンサデータは、閉塞された領域内のオブジェクトを追跡するために使用され得る。例えば、第1の領域内に位置するオブジェクトは、環境の第2の領域をブロックまたは閉塞する可能性がある。マルチバウンスリターンおよび/またはマルチパスリターンを使用することによって、レーダセンサデータは、車両の他のセンサ(例えば、ライダセンサ、画像センサなど)によって検出できない環境の第2の(閉塞された)領域内に位置する閉塞されたオブジェクトを検出するために使用され得る。閉塞されたオブジェクトによって占有された領域に対応するレーダ空間グリッドの1つまたは複数のセルは、占有されているものとして指定され得る。いくつかの例では、閉塞されたオブジェクトによって占有された領域に対応するそのようなセルは、閉塞されたオブジェクトによって占有されているものとして指定され得る。少なくともいくつかの例では、そのようなセルは、「閉塞されている」および「占有されている」ものとして独立して指定され得る。レーダ空間グリッド(または閉塞されたオブジェクトに対応する生のレーダセンサデータ)は、車両コンピューティングデバイスのトラッカに出力され、第2の(閉塞された)領域内の閉塞されたオブジェクトを追跡するために使用され得る。閉塞されたオブジェクトを追跡することは、自律車両のプランニングシステムが、閉塞されたオブジェクトの位置および軌道に基づいて、より高速なおよび/またはより正確な計画決定を行うことを可能にし得る。加えて、閉塞されたオブジェクトを追跡することは、さもなければ失われていたであろうオブジェクトの追跡の維持を可能にする。したがって、閉塞されたオブジェクトを追跡することはまた、一度オブジェクトが検出され、(例えば、車両、建物、歩行者などとして)分類されると、その後にそれが閉塞された場合に追跡され続け得、したがって、それが再び非閉塞になったときに、再検出および分類される必要がないので、処理時間とリソースとを低減し得る。したがって、自律車両の制御は、閉塞されたオブジェクトの追跡に少なくとも部分的に基づき得る。いくつかの例では、追跡の信頼性は、例えば、マルチパスリターンまたはマルチバウンスリターンによって導入される誤差または不確実性のために、閉塞された領域において調整(例えば、低減)される可能性がある。さらに、閉塞された領域内のオブジェクトを追跡することによって、自律車両の安全性が改善され得る。例えば、自律車両のプランナーシステムは、自律車両を取り囲む環境の閉塞された領域内のオブジェクトの位置および/または軌道に関する情報を有するので、プランナーシステムは、閉塞されたオブジェクトの位置および/または軌道を回避するか、または他の方法で考慮する、自律車両のための軌道を計画することができる。
場合によっては、そして上記のように、レーダ空間グリッドは、複数のセルを含むことができる。場合によっては、セルは、自律車両の軌道を評価または検証するために時相論理式において使用され得る時相論理記号を表すか、または含むことができる。例えば、自律車両は、車両の経路内のセルの占有状態および/または閉塞状態が(例えば、非占有であり、非閉塞である)自由空間になるまで、軌道を開始することを防止され得る。場合によっては、自律車両のプランニングシステムは、レーダ空間グリッドに関連付けられた時相論理記号に少なくとも部分的に基づいて自律車両のための軌道を評価するために、線形時相論理または信号時相論理などの時相論理を使用することができる。
本明細書で論じる技法は、いくつかの方法においてコンピューティングデバイスの機能を改善することができる。例えば、レーダ空間グリッドを評価する文脈において、グリッドのエリアは、環境に関する不必要な決定に費やされる過剰なリソースなしに、自律車両による領域の安全な横断を保証するようにサイズが決められ得る。場合によっては、多数のセンサモダリティ(例えば、レーダセンサ、ライダセンサ、画像センサなど)を使用することは、閉塞領域の閉塞状態または占有状態に関連する全体的な信頼レベルを改善することができる。改善された軌道生成は、(例えば、軌道を開始する前に交差点が空いていることを確認することによって、緊急ブレーキや急に向きを変えることなどの発生を減らすことによって)安全性の結果を改善することができ、乗り手の体験を改善することができる。コンピュータの機能および/またはユーザ体験に対するこれらおよび他の改善について、本明細書で論じる。
本明細書で説明する技法は、いくつかの方法において実装され得る。以下の図を参照して、例示的な実装形態を以下に提供する。自律車両の文脈において論じているが、本明細書で説明する方法、装置、およびシステムは、様々なシステム(例えば、ロボットプラットフォーム)に適用され得、自律車両に限定されない。別の例では、技法は、航空もしくは航海の文脈において、またはマシンビジョンを使用する任意のシステムにおいて利用され得る。加えて、本明細書で説明する技法は、(例えば、センサを使用してキャプチャされた)実際のデータ、(例えば、シミュレータによって生成された)シミュレートされたデータ、またはこれら2つの任意の組合せに対して使用され得る。
図1は、車両102が走行している環境100の概略図である。図示されている例では、車両102は、環境100を表すデータをキャプチャする1つまたは複数のセンサシステム104を含む。例として、限定ではなく、車両102は、運転者(または乗員)がいつでも車両を制御することが期待されていない状態で旅行全体に関するすべての安全に関する重要な機能を実行することができる車両を説明する、米国運輸省道路交通安全局(U.S. National Highway Traffic Safety Administration)によって発行されたレベル5分類に従って動作するように構成された自律車両であり得る。そのような例では、車両102は、すべての駐車機能を含む、発進から停止までのすべての機能を制御するように構成され得るので、それは、無人であり得る。これは、単なる例であり、本明細書で説明するシステムおよび方法は、常に運転者によって手動で制御される必要がある車両から、部分的または完全に自律的に制御されるものまでを含む、任意の地上輸送、空中輸送、または水上輸送の車両に組み込まれ得る。車両102に関連する追加の詳細について、以下で説明する。
少なくとも1つの例では、上記のように、車両102は、車両102上に配置され得るセンサシステム104に関連付けられ得る。センサシステム104は、無線検出および測距(レーダ)センサ、光検出および測距(ライダ)センサ、超音波トランスデューサ、音声ナビゲーションおよび測距(ソナー)センサ、位置センサ(例えば、全地球測位システム(GPS)、コンパスなど)、慣性センサ(例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深度、飛行時間など)、ホイールエンコーダ、マイクロフォン、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサなど)などを含むことができる。センサシステム104は、車両102に関連付けられた車両コンピューティングデバイス106によって利用され得るセンサデータを生成することができる。しかしながら、他の例では、センサシステム104および/または車両コンピューティングデバイス106のうちのいくつかまたはすべては、車両102から分離および/または離れて配置され得、データキャプチャ、処理、コマンド、および/または制御は、有線ネットワークおよび/またはワイヤレスネットワークを介して、1つまたは複数のリモートコンピューティングデバイスによって、車両102に/から通信され得る。
少なくとも1つの例では、車両コンピューティングデバイス106は、空間監視構成要素108内の1つまたは複数のセンサシステム104によってキャプチャされたセンサデータを利用することができる。例えば、空間監視構成要素108は、環境の領域に関連付けられたセルを含むレーダ空間グリッド110を含む1つまたは複数の空間グリッドを生成および維持することができる。レーダ空間グリッド110の各セルは、それぞれのセルに対応する環境の領域が占有されているか、閉塞されているか、および/または自由空間であるかを指定するようにラベル付けされ得る。いくつかの例では、セルのうちの1つまたは複数は、それぞれのセルが占有されている、閉塞されている、および/または自由空間である信頼レベルを示すようにラベル付けされ得る。例えば、レーダ空間グリッド110のセルは、それが占有されているという第1の信頼度、それが閉塞されているという第2の信頼度、および/またはそれが自由空間であるという第3の信頼度でラベル付けされ得る。レーダ空間グリッド110は、この例では簡略化のために8×8グリッドとして示されている。しかしながら、他の例では、任意のサイズ(例えば、空間グリッドに関連付けられた実世界における面積)、形状(例えば、空間グリッドの長さおよび幅)、および分解能(例えば、空間グリッドを構成するために使用されるセルのサイズ)が、必要とされる正確度および精度、メモリサイズの制約、処理速度および負荷の制約、センサ範囲の制限などに応じて、レーダ空間グリッド110のために使用され得る。いくつかの例では、空間グリッドは、空間グリッドに取り込まれるセンサデータをキャプチャするために使用されるセンサシステムの信頼できる範囲に一致するようにサイズが決められ、形成され得、分解能は、メモリおよび処理の制約が与えられた場合、所与のアプリケーションに必要とされる正確度および精度を最大化することによって選択され得る。いくつかの例では、長さおよび幅は、同じであり得、他の例では、長さおよび幅は、異なり得る。1つの特定の例では、空間グリッドのサイズは、約50〜200メートルの幅×約50〜200メートルの長さであり得、1セルあたり0.25メートルの分解能である。
例として、限定しないが、車両102は、環境100を横断しながら、レーダセンサデータを含むセンサデータをキャプチャしている。図示の例では、センサシステム104は、車両102を取り囲む環境100の少なくとも一部をカバーする視野βを有するレーダセンサ112を含む。視野によってキャプチャされる環境100の部分は、この例では、感知された領域114として描かれている。様々な例において、車両102は、任意の数の1つまたは複数のレーダセンサ(例えば、1、2、4、5、8、10など)を含み得る。図示の例では、視野βは、約110度の視野であるように描かれている。しかしながら、他の例では、レーダセンサの視野は、この角度よりも大きくてもよく(例えば、120度、180度、220度、270度、360度など)、またはより小さくてもよい(例えば、90度、60度、45度など)。さらに、車両102は、多数の異なる視野、範囲、スキャンレートなどを有する多数のレーダセンサを含み得る。図6に示す例などのいくつかの例では、車両は、多数のレーダセンサが環境100の少なくとも一部を共通にキャプチャするように、少なくとも部分的に重複する視野を有する多数のレーダセンサを含み得る。
図示の例では、多数のオブジェクトが、感知された領域114内に配置される。この例における多数のオブジェクトは、静的オブジェクト116(例えば、樹木、ポール、標識、建物、駐車中の車など)と動的オブジェクト118(例えば、歩行者、車両、自転車、動物など)とを含む。レーダセンサ112は、静的オブジェクト116および動的オブジェクト118に対応するレーダセンサデータをキャプチャし、空間監視構成要素108は、静的オブジェクト116および動的オブジェクト118が占有されているように配置された環境100の領域に対応するレーダ空間グリッド110のセルを指定するようにレーダ空間グリッド110を生成または更新する。レーダセンサ112の位置が、参照のためにレーダ空間グリッド110の左下部分において描かれている。2つの破線の矢印が、レーダセンサ112の横方向の縁から延在し、レーダセンサ112の視野βを概略的に示す。破線の矢印によって囲まれたレーダ空間グリッド110の部分内のセルは、感知された領域114に対応する。図示のように、レーダ空間グリッド110は、静的に占有された領域120であるものとして指定された4つのセルを含む。これらの4つのセルは、静的オブジェクト116が配置されている環境100の領域に対応する。レーダ空間グリッド110は、動的オブジェクト118が配置されている環境100の領域に対応する、動的に占有された領域122として指定された2つのセルも含む。レーダセンサ112に対する静的に占有された領域120および動的に占有された領域122の位置に基づいて、空間監視構成要素108は、静的オブジェクト116および動的オブジェクト118によってそれぞれ閉塞されたレーダ空間グリッドの部分を決定し得る。本出願の他の場所で論じているように、セルが閉塞されているかどうかは、例えば、レーダセンサ112の中心(または他の場所)から各々の占有された領域(または占有されているものとして指定された各セル)の端または範囲にレイキャスティングすることによって決定され得、占有されたセルよりもレーダセンサ112から離れて位置し、光線によって境界付けられているセルは、閉塞されていると決定され得る。空間監視構成要素108は、レーダ空間グリッド110のセルを閉塞されているものとして指定し得る。図示の例では、静的に占有された領域120によって閉塞されたセルは、閉塞された領域124として示されており、動的に占有された領域122によって閉塞されたセルは、閉塞された領域126として示されている。この例では、レーダセンサ112の視野内にあり、占有も閉塞もされていないセルは、自由空間であると決定され、自由空間領域128としてレーダ空間グリッド110上でそのように指定される。この例では、レーダセンサの視野外にあるセルは、不確定であるとして指定され得、または単に指定なしでそのままにされ得る。しかしながら、他の例では、レーダセンサのうちの1つまたは複数の視野内にあるが、占有状態の信頼度が低い1つまたは複数のセルは、不確定な占有状態を有するものとして指定され得る。
いくつかの例では、車両102は、マップデータにアクセスすることができ、レーダ空間グリッド110がマップデータの一部に関連付けられていると決定することができる。その場合、車両102は、レーダ空間グリッド110に文脈を補足および提供するためにマップデータを使用することができる。例えば、車両102は、車両102をマップ上の特定の位置に位置づけるのを助けるために、レーダ空間グリッド110を使用することができ得る。加えてまたは代わりに、マップデータは、車両102がレーダ空間グリッド110の空間指定(占有された、閉塞された、自由空間)についてさらに洗練または推論することを可能にし得る。例えば、車両102は、マップデータに基づいて、閉塞されているものとして指定されたレーダ空間グリッド110のセルが交差点または交差道路に関連付けられていると決定し得、車両102のプランナーシステムは、閉塞された交差点/交差道路に注意して接近するための軌道を計画し得る。
場合によっては、レーダ空間グリッド110のセルがオブジェクトによって占有されているものとして指定されているとき、セルは、オブジェクトの意味的ラベルを示す追加のメタデータ、および/または閉塞グリッドを通るオブジェクトの経路を示すデータを記憶することができる。レーダ空間グリッドを生成および維持することに関する追加の詳細について、以下で論じる。
図2は、本開示の実施形態による、レーダ空間グリッドを生成し、レーダ空間グリッドを出力し、および/またはレーダ空間グリッドに基づいて自律車両を制御するための例示的なプロセス200のフロー図である。レーダデータの文脈において論じているが、例示的なプロセス200は、ライダデータ、ソナーデータ、飛行時間画像データなどの文脈において、および/またはそれらと組み合わせて使用され得る。また、図2について、単一のレーダセンサに対応するレーダ空間グリッドを参照して説明しているが、この技法は、多数のレーダセンサに基づいて配置されたレーダ空間グリッドにも適用可能である。
動作202において、レーダシステムが、環境からレーダセンサデータをキャプチャするために使用される。いくつかの例では、レーダシステムは、1つまたは複数のレーダセンサを含み得、上記で説明した車両102などの自律車両のセンサシステムであり得る。レーダセンサデータは、位置とゼロ速度とを有するオブジェクトに対応する静的リターンと、位置と非ゼロ速度とを有する移動するオブジェクトに対応する動的リターンまたはレーダトラックとを含む、多数のリターンを含み得る。車両コンピューティングデバイス(例えば、車両コンピューティングデバイス106)の知覚システムが、レーダセンサデータを処理し、オブジェクトが環境内に存在するかどうかを決定し得る。動作204において、プロセス200は、オブジェクトがレーダセンサの感知された領域内に位置するかどうかを検出する。そうでない場合、プロセスは、追加のレーダセンサデータを経時的にキャプチャするために動作202に戻る。動作204において、オブジェクトが、レーダセンサの感知された領域内で(例えば、環境の第1の領域において)検出され、プロセスは、動作206に続き、そこで、レーダ空間グリッドの1つまたは複数のセル(例えば、第1のセル)が、オブジェクトによって占有されているものとして指定される。レーダ空間グリッドは、多数のセルを含み、その各々は、環境の個別の部分に関連付けられている。レーダ空間グリッドの個々のセルは、それぞれのセルがオブジェクトによって占有されていることを示すように指定され得る。各オブジェクトに対応するセルの数は、オブジェクトのサイズと、レーダ空間グリッドのスケールまたは分解能とに依存する。本開示を通して論じるように、レーダ空間グリッドは、環境の任意のサイズまたは形状を表すことができる。例として、限定ではなく、セルは、1メートルの幅×1メートルの長さの領域を表し得るが、セルには任意のサイズが使用され得る。その場合、2メートル×2メートルの寸法を有するオブジェクトが、レーダ空間グリッドにおいて占有されているものとして指定された4つのセルによって表される。
場合によっては、個々のセルの占有状態に関する決定は、占有確率に関連付けられ得る。場合によっては、セルの占有確率は、セルに関連付けられたリターンの数、セルに関連付けられたリターンを有するレーダセンサの数、および/または以前の時間間隔におけるセルに関連付けられた過去のリターンの数に少なくとも部分的に基づくことができる。しかしながら、任意の技法またはヒューリスティックが、レーダ空間グリッドのセルに関連付けられた占有確率を決定するために使用され得る。いくつかの例では、占有確率レベルを超えない場合、センサデータが返されない場合、または占有度の決定をその他の点で行うことができない場合、セルは、不確定(例えば、セルの占有状態を決定するのに十分な情報が存在しない)として指定され得る。いつどのようにしてレーダ空間グリッドのセルが占有されているものとして指定されるかの例を含む追加の詳細を、図3を参照して以下に提供する。
動作208において、レーダ空間グリッドの1つまたは複数のセルは、レーダセンサの位置に対する占有されたセルの位置に少なくとも部分的に基づいて、閉塞されているものとして指定され得る。例えば、レーダセンサの位置に対する、動作206において占有されているものとして指定された第1のセルの位置に基づいて、オブジェクトによって塞がれたもう1つの第2のセル(すなわち、占有されていると指定された第1のセルは、レーダセンサの位置と第2のセルとの間に介在している)が、塞がれているものとして指定され得る。いつどのようにしてセルが塞がれているものとして指定されるかの例を含む追加の詳細を、図5を参照して以下に提供する。
動作210において、レーダセンサの視野内にあり、占有または閉塞されているものとして指定されていない1つまたは複数の第3のセルが、自由空間であるとして指定される。レーダ空間グリッドは、実質的に継続的に(例えば、追加のセンサデータが受信および処理されるときに)、または周期的に(例えば、約10ヘルツ、30ヘルツなどの周期において)更新され得、動作212において、1つまたは複数のコンピューティングデバイスによって使用するために出力され得る。出力されるレーダ空間グリッドは、単一のレーダセンサのレーダデータに基づき得、または多数のレーダセンサおよび/もしくはセンサモダリティ(例えば、ライダまたはカメラ空間グリッド)からのデータに基づき得る。多数のレーダセンサからのセンサデータを融合するまたは他の方法で組み合わせる例を含む追加の詳細を、図6に関連して以下に提供する。
いくつかの例では、動作214において、空間グリッドは、環境を安全に横断するように自律車両を制御するために、自律車両の車両コンピューティングデバイス(例えば、車両コンピューティングデバイス106)によって使用され得る。空間グリッドは、車両が環境を横断するとき、および環境内の動的オブジェクトが車両に対して移動するときに更新され得る。空間グリッドは、環境を通る自律車両のための軌道をより迅速かつ正確に計画するために、車両コンピューティングデバイスによって使用され得る。例えば、車両コンピューティングデバイスは、レーダ空間グリッドの自由空間セルに対応する環境の領域を通過するように、および/またはレーダ空間グリッドの占有されたセルに対応する環境の領域を回避するように軌道を計画し得る。しかしながら、レーダ空間グリッドセルに関連付けられた領域が自由空間であるものとして指定されているという事実は、その領域が車両が進行するために利用可能な経路であることを必ずしも意味しない。例えば、領域は、非占有であり、かつ非閉塞であるが、それは運転可能な表面ではない(例えば、縁石、芝生など)ので、運転するには適していない場合がある。したがって、車両コンピューティングデバイスは、運転するのに安全な環境の領域を識別するために、1つまたは複数の他のセンサシステムおよび/またはマップデータにさらに依存し得る。レーダ空間グリッドは、各セルを占有された、閉塞された、または自由空間のうちの1つとして指定するので、車両のための潜在的な軌道の範囲は、レーダ空間グリッドによって削減(または制限)され得、それによって、車両のための軌道を計画するために車両コンピューティングデバイスのプランニングシステムによって使用される処理時間およびリソースを削減し得る。
いくつかの例では、セルが占有されている場合、不確定である場合、および/または空間グリッド(例えば、レーダ空間グリッド110)のしきい値数のセルがオブジェクトによって占有されている場合、動作214は、環境(例えば、環境100)の一部を横断することなく待機するように自律車両(例えば、車両102)を制御することを含むことができる。そのような例では、待機期間中に受信された追加のレーダ/センサ情報が、車両が環境の一部を安全に横断する(例えば、オブジェクトが閉塞された領域を通過していないと決定し、横断を可能にする)のに十分な情報を提供する可能性がある。いくつかの例では、情報の十分性がしきい値を下回る(例えば、プランニングシステムがエリアをナビゲートするための安全な軌道を決定することができないような、占有されたまたは不確定なセルの数がしきい値を満たすかもしくは超える、および/または閉塞されたセルの数がしきい値を満たすかもしくは超える)場合、動作214は、追加の情報を収集するために、前方にクリープする(例えば、停止線を越えておよび/または交差点内に距離を進める)か、または車両102の位置を他の方法で変更するように車両102に命令することを含むことができる。
いくつかの例では、情報の十分性は、自由空間として指定されたセルの数がしきい値数を満たすかもしくは超えるかどうか、ならびに/または閉塞されたおよび/もしくは不確定と指定されたセルの数がしきい値を下回る(例えば、領域を横断するための軌道を安全に計画するのに十分な低さ)かどうかを決定することに対応することができる。場合によっては、情報の十分性は、セルが非占有であるという信頼レベルを高めるために、不確定として指定されたセルに関連付けられた領域を一定期間観察することを含むことができる。場合によっては、情報の十分性は、自律車両が進行する距離に対して、ならびに/または自律車両が領域の一部を横断する速度、加速度、および/もしくは時間に対して、非閉塞であり、非占有である領域の程度を決定することを含むことができる。
図3は、本開示の実施形態による、空間グリッドのセルを占有されているものとして指定するための例示的なプロセス300の絵図的なフロー図である。
図3に示すように、レーダ空間グリッド110のセルは、環境のレーダセンサデータ(例えば、レーダリターン)をレーダ空間グリッドの対応するセルにマッピングすることによって、占有されているものとして指定され得る。図示の例では、プロセス300は、静的オブジェクト(例えば、建物、駐車車両、植物など)と動的オブジェクト(例えば、車両、自転車、歩行者など)とで異なる。したがって、動作302において、プロセスは、検出されたオブジェクトのタイプを決定することを含むことができる。図示の例では、オブジェクトのタイプは、静的または動的のいずれかであり得る。しかしながら、他の例では、追加または代替のオブジェクトタイプおよび/または特性が、検出されたオブジェクトに対して決定され得る(例えば、反射率、誘電率、吸収率、密度など)。
静的オブジェクトの場合、ゼロ速度を有する静的レーダ検出304が受信される。静的レーダ検出304の位置に関連付けられたレーダ空間グリッドの第1のセルが、占有されているものとして指定される。動作306において、静的レーダリターンと履歴リターンとに基づいて、第1のセルの近傍の(例えば、第1のセルに隣接する、第1のセルから多くてもいくつかのセル(例えば、2、3など)だけ離れた、または第1のセルから多くてもある距離(例えば、1メートル、5メートルなど)だけ離れた)セルについて、占有確率が計算され、動作308において、プロセス300は、占有確率がしきい値を超えているかどうかを決定する。レーダの静的検出を取り囲むドットは、セルの占有確率が決定される近傍を概略的に表す。いくつかの例では、レーダの静的検出を取り囲むドットは、ガウス分布を表し得る。レーダリターンのサイズおよび近傍の形状は、レーダセンサのノイズもしくは他の特性、レーダセンサの配置、レーダセンサの向き、または他の要因に依存し得る。いくつかの例では、近傍は、円形、楕円形、ほぼ矩形、不規則な形状、または任意の他の形状であり得る。いくつかの例では、しきい値確率は、事前に決定され得、または1つもしくは複数の動作条件(例えば、車両の速度、レーダリターンのまばらさなど)に依存し得る。セルの占有確率は、セルに関連付けられたリターンの数、セルに関連付けられたリターンを有するレーダセンサの数、および/または以前の時間間隔におけるセルに関連付けられた過去のリターンの数に少なくとも部分的に基づくことができる。しかしながら、任意の技法またはヒューリスティックが、レーダ空間グリッドのセルに関連付けられた占有確率を決定するために使用され得る。動作310において、しきい値確率を超える占有確率を有する各隣接セルが、占有されているものとして指定される。しきい値確率は、事前に決定され得、または1つもしくは複数の動作条件(例えば、車両の速度、レーダリターンのまばらさなど)に依存し得る。図示の例では、第1のセルの右、下、および斜め下/右における3つのセルは、しきい値を超える占有確率を有することが見出され、占有されているものとして指定されている。集合的に、第1のセル、ならびに右、下、および斜め下/右における3つの近傍セルは、静的に占有された領域120として指定される。近傍セルがしきい値以下の占有確率を有する場合、近傍セルは、動作312において、非占有であるとして(または自由空間であるとして)指定される。いくつかの例では、占有確率レベルを超えない場合、センサデータが返されない(または不十分である)場合、または占有度の決定をその他の点で行うことができない場合、セルは、不確定(例えば、セルの占有状態を決定するのに十分な情報が存在しない)として指定され得る。
動的オブジェクトの場合、動的オブジェクトに対応するレーダセンサデータがレーダセンサ112から受信され、レーダセンサデータは、位置と速度とを含み、これらは、車両コンピューティングデバイス(例えば、車両コンピューティングデバイス106)のトラッカに提供される。動作314において、動的オブジェクトの位置および/または向きに対応する境界ボックス316が(例えば、車両コンピューティングデバイス106のトラッカによって)決定され得る。トラッカは、追跡される動的オブジェクトのサイズ、形状、および/またはポーズを表す境界ボックス316を出力する。トラッカは、加えてまたは代わりに、動的オブジェクトの現在の進行方向を表す軌道またはベクトルを出力し得る。動作318において、境界ボックスによって占有された領域に関連付けられたレーダ空間グリッドの1つまたは複数のセルは、動的オブジェクトによって占有されている(例えば、動的に占有されている)ものとして指定される。いくつかの例では、レーダ空間グリッドのセルは、動的オブジェクトの軌道またはベクトル(速度および方向)でさらにラベル付けされ得る。図示の例では、境界ボックスによって占有された領域に対応する2つのセルが、動的に占有された領域122であるとして指定される。
図4は、動的オブジェクトが別のオブジェクト(例えば、静的オブジェクト)によって占有されているものとして以前に示された領域内に移動するおよび/またはそれを通過するのを観察することに基づいて、レーダ空間グリッドの1つまたは複数のセルの占有状態を更新するためのプロセス400を示す絵図的なフロー図である。いくつかの例では、様々なレーダセンサが、高さを区別することができない(例えば、それらは、2次元情報のみを提供する)場合があり、そのため、運転可能な表面を有するか、さもなければナビゲート可能である領域にもかかわらず、領域(例えば、陸橋、橋など)からのリターンを受信する場合がある。特定の例では、第1のオブジェクトは、車両および第2のオブジェクトとは異なる高さにある場合があり、したがって、実際には、車両および第2のオブジェクトの高さにおいて領域が占有されていないときに、領域は、レーダリターンに基づいて、静的オブジェクト(例えば、陸橋)によって占有されているように現れる場合がある。図4に示すように、時間T1から時間T5までのレーダ空間グリッド110の一連のビューが示されている。レーダセンサ112の相対位置が、レーダ空間グリッド110の左下隅において示されている。この期間中、動的に占有された領域122としてレーダ空間グリッド110上に表された動的オブジェクトが、レーダ空間グリッド110の右下部分からレーダ空間グリッド110の左上部分に向かって並進する。
プロセス400は、動作402において、第1の領域(例えば、静的に占有された領域120)と、第1の領域に入る第2のオブジェクト(例えば、動的オブジェクト)とを検出することを含む。これは、静的に占有された領域120として以前に指定された領域の第1のセルに入る動的に占有された領域122を示すT3におけるレーダ空間グリッド110上に概略的に示されている。T4において、動的に占有された領域122は、静的に占有された領域120として以前に指定された領域を通過し続ける。時間T5において、動的に占有された領域122は、静的に占有された領域120として以前に指定された領域を越えて移動した。動作404において、静的オブジェクトによって占有されていると以前に考えられていた領域を通過する動的オブジェクトに基づいて、コンピューティングデバイス(例えば、車両コンピューティングデバイス106)は、静的オブジェクトが実際には動的オブジェクトが通過した領域の少なくとも一部を占有しておらず、少なくとも動的オブジェクトが通過したセルが非占有であると決定し得る。動作406において、レーダ空間グリッド110は、第1の領域のセル(すなわち、動的オブジェクトが通過したセル)が非占有であることを示すように更新され得る。これは、これらのセルを自由空間として指定するか、またはこれらを不確定として指定することによって実現され得る。これは、以前は静的に占有された領域120の一部であって3つのセルがそれらを非占有であるセル410であるとして指定するように更新された時間T5におけるレーダ空間グリッド110によって示されている。
図4に示す例などのいくつかの例では、動的オブジェクトが通過したセルのみが、それらを非占有である(例えば、自由空間または不確定)として指定するように更新され得る。しかしながら、他の例では、コンピューティングデバイス(例えば、車両コンピューティングデバイス106)は、静的オブジェクトによって占有されているものとして以前に指定された領域全体(例えば、静的に占有された領域120全体)が非占有であると決定し得る。例えば、コンピューティングデバイスが、静的に占有された領域120全体が単一のオブジェクトに対応すると(例えば、エッジ検出技法またはセグメンテーション技法を使用して)以前に決定した場合、動的オブジェクトが静的に占有された領域の任意の部分を通過した場合、コンピューティングデバイスは、(例えば、別の高さに位置するように)領域全体が非占有であると決定し得る。
図5は、本開示の実施形態による、環境内のオブジェクトによって塞がれたレーダ空間グリッドのセルを決定するための例示的なプロセス500の絵図的なフロー図である。
図5に示すように、動作502において、コンピューティングデバイス(例えば、車両コンピューティングデバイス106)が、環境内で検出されたオブジェクトによって塞がれた1つまたは複数のセルを決定することができる。セルは、様々な異なる方法において、閉塞されていると決定され得る。いくつかの例では、動作504において、閉塞されたセルは、レーダセンサ112の中心(または他の場所)からそれぞれの閉塞されたセルのエッジ/範囲における点を介して光線をレイキャスティングすることによって、占有されたセルごとに計算され得る。占有されたセルを越えて延在する光線の部分によって取り囲まれたエリアは、セルの閉塞された領域を構成する。その場合、動作506において、占有されたセルのすべてについて閉塞されていると決定されたセルの和集合をとることによって、占有されたセルごとの閉塞されたセルは、組み合わされ得る。いくつかの例では、動作502は、レーダセンサ112の中心(または他の場所)から各セルの中心(または他の場所)を介して光線をキャストすることと、光線が占有されたセルを通過した後に通過するセルを閉塞されているものとして指定することとを含み得る。
他の例では、動作502は、(例えば、図5の例におけるように、占有された領域が、連続しており、レーダ空間グリッドの2つ以上のセルを構成している場合)レーダセンサ112の中心(または他の場所)から占有された領域のエッジ/範囲における点を介して光線508、510、512、および514をレイキャスティングすることによって、閉塞されたレーダ空間グリッド110のセルを決定することを含み得る。図示のように、光線508および510は、静的に占有された領域120のエッジ/範囲における点を通過する。静的に占有された領域120を越え、光線508と510との間に境界付けられた(またはそれらのエリアの大部分がこの境界内に入る)セルの領域は、第1の閉塞された領域516であると決定される。同様に、光線512および514は、動的に占有された領域122のエッジ/範囲における点を通過し、動的に占有された領域122を越え、光線512と514との間に境界付けられた(またはそれらのエリアの大部分がこの境界内に入る)セルの領域は、第2の閉塞された領域518であると決定される。閉塞状態がどのように計算されるかに関係なく、セルが閉塞された領域に対応すると決定されると、動作208において、セルは、閉塞されているものとして指定され得る。
図2〜図5は、本開示の実施形態による例示的なプロセスを示す。図2〜図5に示すプロセスは、必ずしもそうする必要はないが、一緒に使用され得る。これらのプロセスは、論理フローグラフとして示されており、その各動作は、ハードウェア、ソフトウェア、またはそれらの組合せにおいて実装され得る一連の動作を表す。ソフトウェアの文脈において、動作は、1つまたは複数のプロセッサによって実行されると、コンピュータまたは自律車両に列挙された動作を実行させる、1つまたは複数の非一時的コンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明されている順序は、制限として解釈されることを意図しておらず、任意の数の説明された動作が、プロセスを実施するために任意の順序でおよび/または並行して組み合わされ得る。
図6は、本開示の実施形態による、多数のレーダセンサからのデータを融合されたレーダ空間グリッドに融合する例の概略図である。
図6は、車両602が横断する環境600を示す。図示のように、環境600は、オブジェクト604を含む。車両602は、図1に示すものと同じであってもよく、異なっていてもよい。図6の例では、車両602は、少なくとも第1のレーダセンサと第2のレーダセンサとを含む多数のレーダセンサを有するレーダシステムを含む。図6の例では、第1のレーダセンサは、車両602を取り囲む環境600の少なくとも一部をカバーする第1の視野αを有する。第1の視野αによってキャプチャされた環境600の部分は、この例では感知された領域606として描かれている。第2のレーダセンサは、車両602を取り囲む環境600の少なくとも一部をカバーする第2の視野βを有する。第2の視野βによってキャプチャされた環境600の部分は、この例では感知された領域608として描かれている。様々な例において、車両102は、任意の数の1つまたは複数のレーダセンサ(例えば、1、2、4、5、8、10など)を有し得る。図示のように、第1の視野αおよび第2の視野βは、環境600の異なるが重複する部分をカバーする。図示の例では、第1の視野αおよび第2の視野βは、両方とも約110度の視野であるものとして描かれている。しかしながら、他の例では、レーダセンサの視野は、この角度よりも大きくてもまたは小さくてもよい。さらに、第1および第2のレーダセンサは、異なる視野、範囲、スキャンレートなどを有し得る。
図6の例では、オブジェクト604は、両方のレーダセンサの感知された領域606および608内に入る。レーダセンサは、車両の様々な場所(例えば、車両の右側および左側、車両の前面および上部、車両の前面および側面、または他の場所)および/または様々な向きもしくはポーズにおいて配置されるので、レーダセンサは、環境600を観察するための様々な視点を有する。第1のレーダセンサのレーダ空間グリッド610および第2のレーダセンサのレーダ空間グリッド612が示されている。各グリッドにおいて、オブジェクト604は、静的に占有されたセルの2×2領域として表されている。この例では、各レーダセンサについて個別の空間グリッドが示されているが、他の例では、各レーダセンサが空間グリッド上の相対位置を有する状態で、多数のレーダセンサのセンサデータが、単一の空間グリッド上に同時に表され得る。しかしながら、第1および第2のレーダセンサの異なる視点のために、閉塞されているものとしておよび自由空間であるものとして指定された第1のレーダセンサのレーダ空間グリッド610のセルは、閉塞されているものとしておよび自由空間であるものとして指定された第2のレーダセンサのレーダ空間グリッド612のセルとは異なる。特に、第1のレーダセンサのレーダ空間グリッド610は、静的に占有された領域の右側において、閉塞されているものとして指定されたより多くのセルを示し、一方、第2のレーダセンサのレーダ空間グリッド612は、静的に占有された領域の左側において、閉塞されているものとして指定されたより多くのセルを示す。加えて、第1のレーダセンサのレーダ空間グリッド610内のいくつかのセルは、第2のレーダセンサの視野の外側にある自由空間として指定され、逆もまた同様である。
第1のレーダセンサのレーダ空間グリッド610と第2のレーダセンサのレーダ空間グリッド612とを融合または他の方法で組み合わせることによって、融合されたレーダ空間グリッド614が取得され得る。あるいは、融合されたレーダ空間グリッド614は、単一の空間グリッド上で第1のレーダセンサおよび第2のレーダセンサからのレーダセンサデータを組み合わせることによって取得され得る。図示のように、融合された空間グリッド614は、第1のレーダセンサのレーダ空間グリッド610または第2のセンサのレーダ空間グリッド612のいずれよりも少ない、閉塞されているものとして指定されたセルと、多い、自由空間として指定されたセルとを含む。加えて、融合されたレーダ空間グリッド614は、第1のレーダセンサのレーダ空間グリッド610または第2のセンサのレーダ空間グリッド612のいずれよりも大きい、車両602を取り囲む環境600の領域を包含する。加えて、融合されたレーダ空間グリッド614は、少なくとも、それらの視野の重複する部分におけるより多くのレーダリターン(例えば、第1のレーダセンサと第2のレーダセンサの両方からのリターン)に基づき得るので、個々のセルの占有状態に関連付けられたより高い信頼値を有し得る。
本出願の他の場所で論じているように、多数のレーダセンサからのレーダセンサデータは、様々な方法で融合され得る。図6の例では、第1のレーダセンサに対応する第1のレーダ空間グリッド610は、両方の空間グリッドの占有されたセルの和集合を占有されているものとして指定し、両方の空間グリッドの閉塞されたセルの共通部分を閉塞されているものとして指定することによって、第2のレーダセンサの第2のレーダ空間グリッド612と組み合わされる。言い換えれば、融合されたレーダ空間グリッドのセルは、第1のレーダセンサ、第2のレーダセンサ、または第1のレーダセンサと第2のレーダセンサの両方のレーダセンサデータが、空間グリッドのセルに対応する領域が占有されていることを示すとき、占有されているものとして指定され得る。一方、融合されたレーダ空間グリッドのセルは、第1のレーダセンサと第2のレーダセンサの両方のレーダセンサデータが、空間グリッドのセルに対応する領域が閉塞されていることを示すとき、閉塞されているものとして指定され得る。融合されたレーダ空間グリッドのセルは、第1のレーダセンサおよび第2のレーダセンサのレーダセンサデータに少なくとも部分的に基づいて、自由空間であるとして指定され得る。1つの特定の例では、融合されたレーダ空間グリッドのセルは、融合されたレーダ空間グリッド614においてそれがいずれかのレーダセンサの視野内にあり、占有されているとしても閉塞されているとしても指定されていない(例えば、それが非占有であり、非閉塞である)場合、自由空間として指定され得る。
図7は、本開示の実施形態による、環境の閉塞された領域内のオブジェクトを検出および/または追跡する例を示す概略図700である。
図7は、カメラまたは他の画像センサによってキャプチャされた画像センサデータ702を左側に示す。画像センサデータ702は、第1のオブジェクト704(この例では第1の車両)と第2のオブジェクト706(この例では第2の車両)とを描写している。画像センサデータ702は、第2のオブジェクト706が第1のオブジェクト704によって部分的にのみ閉塞されているときにキャプチャされた。したがって、コンピューティングデバイス(例えば、車両コンピューティングデバイス106の知覚システム)は、第1のオブジェクト704と第2のオブジェクトとを検出し、分類することができ、トラッカ(例えば、車両コンピューティングデバイス106のトラッカシステム)は、画像センサデータ702に基づいて、第1のオブジェクト704および第2のオブジェクト706の動きを追跡することができる。しかしながら、第2のオブジェクト706が画像センサの視野からブロックされた場合(例えば、第1のオブジェクト704が第2のオブジェクト706の前方に曲がった場合)、知覚センサは、もはや第2のオブジェクト706を検出または追跡することができない場合がある。しかしながら、いくつかの例では、マルチバウンスリターンおよび/またはマルチパスリターンを使用して、レーダセンサは、オブジェクトを、それが画像センサの視野から閉塞されている場合でも、それがレーダセンサの視野から閉塞されている場合でも、依然として検出および追跡することができ得る。
図7は、画像センサデータ702において示された同じシーンに対応するが、第2のオブジェクト706が第1のオブジェクト704によってブロックされ、したがって、センサ(例えば、車両102のセンサシステム104)に対して閉塞されるわずかに後の時間におけるレーダセンサデータ708も右側に示す。図示のように、レーダセンサデータ708は、第1のオブジェクト704に対応する第1のリターン710を含む。第2のオブジェクト706が第1のオブジェクト704によってレーダセンサから閉塞されているという事実にもかかわらず、この例におけるレーダセンサデータ708は、マルチパスリターンおよび/またはマルチバウンスリターンによって、第2のオブジェクト706に対応する第2のリターン712を依然としてキャプチャする。第2のリターン712のリターンの数は、バウンスまたは反射の数によって少なくなる可能性がある。したがって、第2のリターン712に基づいて閉塞された領域内の第2のオブジェクト706を検出することの信頼レベルは、低くなる可能性がある。しかしながら、第2のリターン712は、閉塞された領域内の第2のオブジェクト706を追跡するのに依然として十分である場合がある。いくつかの例では、追跡の信頼性は、例えば、マルチパスリターンまたはマルチバウンスリターンによって導入される誤差または不確実性のために、閉塞された領域において調整(例えば、低減)される可能性がある。しかしながら、この低減した信頼性は、オブジェクトがその閉塞の前に前もって検出された場合は、その軌道が閉塞される前にわかっていた可能性があるので、相殺される可能性がある。
いくつかの例では、車両コンピューティングデバイスのトラッカは、閉塞された領域内のレーダリターンを経時的に追跡し、追跡されたリターンの軌道が追跡されたオブジェクトに関する期待されるリターンと一致するかどうかに少なくとも部分的に基づいて、リターンが閉塞されたオブジェクトに対応するかどうかを決定し得る。閉塞された領域内の追跡されたオブジェクトの軌道が期待された通りに振る舞わない場合、リターンは、ファントムリターンであると決定され得る。いくつかの例では、1つまたは複数の機械学習アルゴリズムが、閉塞された領域内のオブジェクトに対応するリターンを認識し、閉塞された領域内のオブジェクトに対応するリターンを、ノイズまたは誤検出を表すファントムリターンから区別するために使用され得る。例えば、レーダリターンは、畳み込みニューラルネットワーク(CNN)、または本出願の他の場所で説明したものなどの他の機械学習モデルに供給され得る。
閉塞されたオブジェクト(すなわち、第2のオブジェクト706)によって占有された領域に対応するレーダ空間グリッドの1つまたは複数のセルは、占有されているものとして指定され得る。いくつかの例では、閉塞されたオブジェクトによって占有された領域に対応するそのようなセルは、閉塞されたオブジェクトによって占有されているものとして指定され得る。レーダ空間グリッド(または閉塞されたオブジェクトに対応する生のレーダセンサデータ)は、車両コンピューティングデバイスのトラッカに出力され、閉塞された領域内の閉塞されたオブジェクト(すなわち、第2のオブジェクト706)を追跡するために使用され得る。閉塞されたオブジェクトを追跡することは、プランニングシステム(例えば、車両コンピューティングデバイス106のプランニングシステム)が、閉塞されたオブジェクトの位置および軌道に基づいて、より高速なおよび/またはより正確な計画決定を行うことを可能にし得る。加えて、閉塞されたオブジェクトを追跡することは、さもなければ失われていたであろうオブジェクトの追跡の維持を可能にする。例えば、図7に示す例では、第2のオブジェクト706は、1つまたは複数のセンサシステムに見える(非閉塞である)第1の時間において、検出、分類、および追跡され得、第2のオブジェクトが1つまたは複数のセンサシステムに対して閉塞されたときであっても、レーダマルチパスリターンおよび/またはマルチバウンスリターンに基づいて、この追跡は、維持され得、レーダ空間グリッドは、更新され得る。したがって、閉塞されたオブジェクトを追跡することはまた、一度オブジェクトが検出され、(例えば、車両、建物、歩行者などとして)分類されると、その後にそれが閉塞された場合に追跡され続け得、したがって、それが再び非閉塞になったときに、再検出および分類される必要がないので、処理時間とリソースとを低減し得る。したがって、自律車両の制御は、閉塞されたオブジェクトの追跡に少なくとも部分的に基づき得る。さらに、閉塞された領域内のオブジェクトを追跡することによって、自律車両の安全性が改善され得る。例えば、自律車両のプランナーシステムは、自律車両を取り囲む環境の閉塞された領域内のオブジェクトの位置および/または軌道に関する情報を有するので、プランナーシステムは、閉塞されたオブジェクトの位置および/または軌道を回避するか、または他の方法で考慮する、自律車両のための軌道を計画することができる。いくつかの例では、レーダセンサデータ708は、ファントムリターンに対応する1つまたは複数の第3のリターン714をさらに含み得る。これらのファントムリターンは、そのように認識され、リターンのまばらな数のためにそれらの信頼レベルが低いために、領域の閉塞の前にこの場所において追跡されたオブジェクトが存在しないという事実のために、ならびに/または閉塞されたオブジェクトおよび/もしくはファントムリターンを認識するように訓練された機械学習アルゴリズムの出力に基づいて、除外され得る。
図8は、本開示の実施形態による、融合された空間グリッドデータ800のトップダウンの360度ビューの例の概略図である。例えば、融合された空間グリッドデータ800は、多数のレーダセンサおよび/または1つもしくは複数の他のセンサモダリティ(例えば、ライダ、カメラ、ソナーなど)によってキャプチャされたデータを表し得る。一例では、融合された空間グリッドデータ800は、車両802の周りの完全な360度の視野をキャプチャするレーダセンサに少なくとも部分的に基づいて生成され得る。図示のように、静的に占有された領域は、この例ではハッチングで指定され、動的に占有された領域は、実線のブラックボックスとして指定されている。閉塞された領域は、暗い灰色の点描として指定されている。動的に占有されたエリアが環境の周りを移動するとき、動的オブジェクトによって引き起こされた閉塞された領域は、それに応じて移動する。この例では、融合された空間グリッドは、閉塞された領域内の検出されたオブジェクトを占有されているものとして示している。図8に示すもののような少なくともいくつかの例において、車両802は、車両の周りの360度すべてにおいて感知することができるレーダセンサを有し得る。したがって、そのような空間グリッド内のすべてのセルが、占有された、閉塞された、および/または自由として指定され得る。
図2〜図8について、例として、図1の構成要素を参照して説明している。しかしながら、図2〜図8を参照して図示および説明している例は、環境内で実行されること、または図1の構成要素を使用することに限定されない。例えば、図2〜図8を参照して説明した例のうちのいくつかまたはすべては、本明細書で説明するように、図9内の1つもしくは複数の構成要素によって、または1つもしくは複数の他のシステムもしくは構成要素によって実行され得る。
図9は、本明細書で説明する技法を実装するための例示的なシステム900のブロック図を示す。少なくとも1つの例では、システム900は、図1に示す車両102と同じであってもよく、または異なっていてもよい車両902を含むことができる。
車両902は、車両コンピューティングデバイス904と、1つまたは複数のセンサシステム906と、1つまたは複数のエミッタ908と、1つまたは複数の通信接続910と、少なくとも1つの直接接続912と、1つまたは複数の駆動モジュール914とを含むことができる。
車両コンピューティングデバイス904は、1つまたは複数のプロセッサ916と、1つまたは複数のプロセッサ916と通信可能に結合されたメモリ918とを含むことができる。図示の例では、車両902は、自律車両である。しかしながら、車両902は、任意の他のタイプの車両、または少なくとも1つのセンサを有する任意の他のシステム(例えば、カメラ対応のスマートフォン)であり得る。図示の例では、車両コンピューティングデバイス904のメモリ918は、位置特定構成要素920と、知覚構成要素922と、計画構成要素924と、1つまたは複数のシステムコントローラ926と、1つまたは複数のマップ928と、予測構成要素930と、空間監視構成要素932と、トラッカ構成要素934とを記憶する。例示の目的のためにメモリ918内に存在するものとして図9に描かれているが、位置特定構成要素920、知覚構成要素922、計画構成要素924、1つまたは複数のシステムコントローラ926、1つまたは複数のマップ928、予測構成要素930、空間監視構成要素932、および/またはトラッカ構成要素934は、加えてまたは代わりに、車両902にとってアクセス可能(例えば、車両902から離れたメモリ上に記憶されるか、または別の方法では車両902から離れたメモリによってアクセス可能)であり得る。場合によっては、車両コンピューティングデバイス904は、図1の車両コンピューティングデバイス106に対応するか、またはその例であり得る。
少なくとも1つの例では、位置特定構成要素920は、車両902の位置および/または向き(例えば、x位置、y位置、z位置、ロール、ピッチ、またはヨーのうちの1つまたは複数)を決定するためにセンサシステム906からデータを受信する機能を含むことができる。例えば、位置特定構成要素920は、環境のマップを含む、および/または要求/受信することができ、マップ内の自律車両の位置および/または向きを継続的に決定することができる。場合によっては、位置特定構成要素920は、自律車両の位置を正確に決定するために、画像データ、ライダデータ、レーダデータ、IMUデータ、GPSデータ、ホイールエンコーダデータなどを受信するために、SLAM(同時位置特定およびマッピング)、CLAMS(同時較正、位置特定、およびマッピング)、相対SLAM、バンドル調整、非線形最小二乗最適化などを利用することができる。場合によっては、位置特定構成要素920は、本明細書で論じるように、軌道を生成するため、ならびに/またはメモリからマップデータおよび/もしくは空間グリッドを取得することを決定するための自律車両の初期位置を決定するために、車両902の様々な構成要素にデータを提供することができる。
場合によっては、知覚構成要素922は、オブジェクト検出、セグメンテーション、および/または分類を実行する機能を含むことができる。いくつかの例では、知覚構成要素922は、車両902に近接するオブジェクトの存在、および/またはオブジェクトのタイプ(例えば、自動車、歩行者、自転車乗り、動物、建物、樹木、路面、縁石、歩道、未知のものなど)としてのオブジェクトの分類を示す処理されたセンサデータを提供することができる。追加および/または代替の例では、知覚構成要素922は、検出されたオブジェクト(例えば、追跡されたオブジェクト)に関連する1つもしくは複数の特性、および/またはオブジェクトが配置された環境を示す処理されたセンサデータを提供することができる。いくつかの例では、オブジェクトに関連する特性は、限定はしないが、x位置(グローバル位置および/またはローカル位置)、y位置(グローバル位置および/またはローカル位置)、z位置(グローバル位置および/またはローカル位置)、向き(例えば、ロール、ピッチ、ヨー)、オブジェクトのタイプ(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲(サイズ)などを含むことができる。環境に関連する特性は、限定はしないが、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時刻、曜日、季節、天候状況、暗さ/明るさのインジケーションなどを含むことができる。場合によっては、知覚構成要素922は、本明細書で論じるように、画像データをセグメント化するために、セグメンテーション構成要素938と協働して動作することができる。
一般に、計画構成要素924は、車両902が環境を横断するために辿るための経路を決定することができる。例えば、計画構成要素924は、様々なルートおよび軌道と、様々な詳細レベルとを決定することができる。例えば、計画構成要素924は、第1の場所(例えば、現在の場所)から第2の場所(例えば、目的の場所)に移動するためのルートを決定することができる。この議論の目的のために、ルートは、2つの場所間を移動するための一連のウェイポイントとすることができる。非限定的な例として、ウェイポイントは、道路、交差点、全地球測位システム(GPS)座標などを含む。さらに、計画構成要素924は、第1の場所から第2の場所へのルートの少なくとも一部に沿って自律車両を誘導するための命令を生成することができる。少なくとも1つの例において、計画構成要素924は、どのように自律車両を一連のウェイポイント内の第1のウェイポイントから一連のウェイポイント内の第2のウェイポイントに誘導するかを決定することができる。いくつかの例では、命令は、軌道、または軌道の一部であり得る。いくつかの例では、多数の軌道が、後退地平線技法に従って実質的に同時に(例えば、技術的許容範囲内で)生成され得、ここで、多数の軌道のうちの1つが、ナビゲートする車両902に対して選択される。
場合によっては、計画構成要素924は、本明細書で論じるように、レーダ空間グリッドなどの空間グリッド内の1つまたは複数のセルの状態に少なくとも部分的に基づいて、車両902のための1つまたは複数の軌道を生成することができる。いくつかの例では、計画構成要素924は、車両902の1つまたは複数の軌道を評価するために、線形時相論理および/または信号時相論理などの時相論理を使用することができる。計画構成要素924において時相論理を利用することの詳細は、参照によりその全体が本明細書に組み込まれる、特許文献2において論じられている。上記で論じたように、いくつかの例では、空間グリッドは、車両902の1つまたは複数の軌道を評価する際にプランナーを支援するために時相論理記号を含み得る。
少なくとも1つの例において、車両コンピューティングデバイス904は、車両902の操舵、推進、制動、安全性、エミッタ、通信、および他のシステムを制御するように構成され得る、1つまたは複数のシステムコントローラ926を含むことができる。これらのシステムコントローラ926は、駆動モジュール914および/または車両902の他の構成要素の対応するシステムと通信し、および/またはそれを制御することができる。
メモリ918は、環境内をナビゲートするために車両902によって使用され得る1つまたは複数のマップ928をさらに含むことができる。この議論の目的のために、マップは、限定はしないが、トポロジ(交差点など)、通り、山脈、道路、地形、および一般的な環境などの環境に関する情報を提供することができる、2次元、3次元、またはN次元においてモデル化された任意の数のデータ構造であり得る。場合によっては、マップは、限定はしないが、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)など)、強度情報(例えば、ライダ情報、レーダ情報など)、空間情報(例えば、メッシュ上に投影された画像データ、個々の「サーフェル」(例えば、個々の色および/または強度に関連付けられたポリゴン))、反射率情報(例えば、鏡面性情報、再帰反射性情報、BRDF情報、BSSRDF情報など)を含むことができる。一例では、マップは、環境の3次元メッシュを含むことができる。場合によっては、マップは、マップの個々のタイルが環境の個別の部分を表し、必要に応じて作業メモリにロードされ得るように、タイルフォーマットにおいて記憶され得る。少なくとも1つの例において、1つまたは複数のマップ928は、少なくとも1つのマップ(例えば、画像および/またはメッシュ)を含むことができる。いくつかの例では、車両902は、マップ928に少なくとも部分的に基づいて制御され得る。すなわち、マップ928は、車両902の位置を決定し、環境内のオブジェクトを識別し、ならびに/または環境内をナビゲートするためのルートおよび/もしくは軌道を生成するために、位置特定構成要素920、知覚構成要素922、計画構成要素924、および/または空間監視構成要素932に関連して使用され得る。
いくつかの例では、1つまたは複数のマップ928は、ネットワーク938を介してアクセス可能なリモートコンピューティングデバイス(コンピューティングデバイス936など)上に記憶され得る。いくつかの例では、多数のマップ928は、例えば、特性(例えば、エンティティのタイプ、時刻、曜日、季節など)に基づいて記憶され得る。多数のマップ928を記憶することは、同様のメモリ要件を有する可能性があるが、マップ内のデータがアクセスされ得る速度を上げることができる。
いくつかの例では、空間監視構成要素932および/またはマップ928は、環境内の個々の場所に関連付けられた1つまたは複数の空間グリッドを記憶することができる。例えば、車両902が環境を横断し、車両902に近接するエリアを表すマップがメモリにロードされると、場所に関連付けられた1つまたは複数の空間グリッドが、同様にメモリにロードされ得る。
いくつかの例では、予測構成要素930は、環境内のオブジェクトの予測された軌道を生成するための機能を含むことができる。例えば、予測構成要素930は、車両902からしきい値距離内にある車両、歩行者、動物などに関する1つまたは複数の予測された軌道を生成することができる。場合によっては、予測構成要素930は、オブジェクトのトレースを測定し、オブジェクトが環境内の閉塞領域に入ったとき、オブジェクトに関する軌道を生成することができる。したがって、オブジェクトが車両902の1つまたは複数のセンサに見えない場合であっても、予測構成要素930は、オブジェクトがセンサデータ内にキャプチャされていない場合でも、オブジェクトに関するデータを維持するように、メモリ内のオブジェクトの軌道を拡張することができる。さらに、図6を参照して論じたように、トラッカ934は、マルチパスリターンおよび/またはマルチバウンスリターンなどのレーダリターンに基づいて、閉塞された領域内のオブジェクトを追跡するために使用され得る。
一般に、空間監視構成要素932は、空間グリッドデータを生成および/または維持し、空間グリッドの占有された領域、閉塞された領域、および/または自由空間領域を決定し、空間グリッドのセルに関する占有された状態、閉塞された状態、および/または自由空間状態を決定するための機能を含むことができる。場合によっては、空間監視構成要素932は、図1の空間監視構成要素108に対応することができる。本明細書で論じるように、空間監視構成要素932は、環境内の閉塞関連情報を決定するために、レーダデータ、ライダデータ、画像データ、マップデータなどを受信することができる。場合によっては、空間監視構成要素932は、環境を横断するために車両902をいつ制御するのかを決定するために、計画構成要素924に占有情報を提供することができる。空間監視構成要素932は、環境内の閉塞された領域内の1つまたは複数のオブジェクトに関する予測された軌道を生成するために、予測構成要素930に占有情報を提供することができる。空間監視構成要素932は、環境内の閉塞された領域内の動的オブジェクトを追跡するために、トラッカ934に占有情報を提供することができる。
理解され得るように、本明細書で論じる構成要素(例えば、位置特定構成要素920、知覚構成要素922、計画構成要素924、1つまたは複数のシステムコントローラ926、1つまたは複数のマップ928、予測構成要素930、空間監視構成要素932、およびトラッカ934)について、例示の目的のために分割されたものとして説明している。しかしながら、様々な構成要素によって実行される動作は、組み合わされるか、または任意の他の構成要素において実行され得る。例として、空間監視機能は、システムによって転送されるデータの量を減らすために、(例えば、空間監視構成要素932ではなく)知覚構成要素922によって実行され得る。
場合によっては、本明細書で論じる構成要素のうちのいくつかまたはすべての態様は、モデル、アルゴリズム、および/または機械学習アルゴリズムを含むことができる。例えば、場合によっては、メモリ918(および/または以下で論じるメモリ942)内の構成要素は、ニューラルネットワークとして実装され得る。
本明細書で説明するように、例示的なニューラルネットワークは、出力を生成するために、入力データに一連の接続された層を通過させる、生物学的に着想されたアルゴリズムである。ニューラルネットワーク内の各層は、別のニューラルネットワークを備えることもでき、または任意の数の層(畳み込みかどうかに関係なく)を備えることができる。本開示の文脈において理解され得るように、ニューラルネットワークは、機械学習を利用することができ、機械学習は、学習されたパラメータに基づいて出力が生成されるそのようなアルゴリズムの広いクラスを指すことができる。
ニューラルネットワークの文脈において論じているが、任意のタイプの機械学習が、本開示と一致して使用され得る。例えば、限定はしないが、回帰アルゴリズム(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応的回帰スプライン(MARS)、局所推定分散図平滑化(locally estimated scatterplot smoothing)(LOESS))、インスタンスベースのアルゴリズム(例えば、リッジ回帰、最小絶対値縮小選択演算子(least absolute shrinkage and selection operator)(LASSO)、エラスティックネット、最小角度回帰(LARS))、決定木アルゴリズム(例えば、分類および回帰木(CART)、反復二分器3(iterative dichotomiser 3)(ID3)、カイ二乗自動相互作用検出(Chi-squared automatic interaction detection)(CHAID)、決定株、条件付き決定木)、ベイジアンアルゴリズム(例えば、ナイーブベイズ、ガウシアンナイーブベイズ、多項ナイーブベイズ、平均1依存推定器(average one-dependence estimator)(AODE)、ベイジアン信念ネットワーク(BNN)、ベイジアンネットワーク)、クラスタリングアルゴリズム(例えば、k平均、k中央値、期待値最大化(EM)、階層的クラスタリング)、相関ルール学習アルゴリズム(例えば、パーセプトロン、誤差逆伝播、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、深層学習アルゴリズム(例えば、深層ボルツマンマシン(DBM)、深層信念ネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、積層オートエンコーダ)、次元削減アルゴリズム(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分的最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡、線形判別分析(LDA)、混合判別分析(MDA)、2次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップアグリゲーション(バギング)、アダブースト、積層一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースト回帰木(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師あり学習、教師なし学習、半教師あり学習などを含むことができる。
アーキテクチャの追加の例は、ResNet70、ResNet101、VGG、DenseNet、PointNetなどのニューラルネットワークを含む。
少なくとも1つの例において、センサシステム906は、ライダセンサ、レーダセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ(例えば、GPS、コンパスなど)、慣性センサ(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深度、飛行時間など)、マイクロフォン、ホイールエンコーダ、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサなど)などを含むことができる。センサシステム906は、これらまたは他のタイプのセンサの各々の多数のインスタンスを含むことができる。例えば、ライダセンサは、車両902の角部、前部、後部、側面、および/または上部に配置された個々のライダセンサを含むことができる。別の例として、カメラセンサは、車両902の外部および/または内部について様々な場所に配置された多数のカメラを含むことができる。別の例として、レーダシステムは、車両902について様々な場所に配置された同じまたは異なるレーダセンサの多数のインスタンスを含むことができる。センサシステム906は、車両コンピューティングデバイス904に入力を提供することができる。加えてまたは代わりに、センサシステム906は、特定の頻度、事前に決定された時間期間の経過後、ほぼリアルタイム、などにおいて、1つまたは複数のネットワーク938を介して、1つまたは複数のコンピューティングデバイスにセンサデータを送信することができる。場合によっては、センサシステム906は、図1のセンサシステム104に対応することができる。
車両902は、上記で説明したように、光および/または音を放出するための1つまたは複数のエミッタ908を含むこともできる。この例におけるエミッタ908は、車両902の搭乗者と通信するために内部音声エミッタおよび視覚エミッタを含む。例として、限定ではなく、内部エミッタは、スピーカ、ライト、サイン、表示画面、タッチスクリーン、触覚エミッタ(例えば、振動フィードバックおよび/または力フィードバック)、機械的アクチュエータ(例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど)などを含むことができる。この例におけるエミッタ908は、外部エミッタも含む。例として、限定ではなく、この例における外部エミッタは、進行方向を合図するためのライトまたは車両アクションの他のインジケータ(例えば、インジケータライト、サイン、ライトアレイなど)と、歩行者または他の近くの車両と可聴的に通信するための1つまたは複数の音声エミッタ(例えば、スピーカ、スピーカアレイ、ホーンなど)とを含み、音声エミッタの1つまたは複数は、音響ビームステアリング技術を備える。
車両902は、車両902と、1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする1つまたは複数の通信接続910を含むこともできる。例えば、通信接続910は、車両902および/または駆動モジュール914上の他のローカルコンピューティングデバイスとの通信を容易にすることができる。また、通信接続910は、車両が他の近くのコンピューティングデバイス(例えば、他の近くの車両、交通信号など)と通信することを可能にすることができる。通信接続910は、車両902がリモート遠隔操作コンピューティングデバイスまたは他のリモートサービスと通信することも可能にする。
通信接続910は、車両コンピューティングデバイス904を、別のコンピューティングデバイスまたはネットワーク946などのネットワークに接続するための物理的および/または論理的インターフェースを含むことができる。例えば、通信接続910は、IEEE802.11規格によって定義された周波数、Bluetooth(登録商標)などの短距離ワイヤレス周波数、セルラ通信(例えば、2G、3G、4G、4G LTE、5Gなど)、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線またはワイヤレス通信プロトコルを介するなどして、Wi−Fiベースの通信を可能にすることができる。
少なくとも1つの例において、車両902は、1つまたは複数の駆動モジュール914を含むことができる。いくつかの例では、車両902は、単一の駆動モジュール914を有することができる。少なくとも1つの例において、車両902が多数の駆動モジュール914を有する場合、個々の駆動モジュール914は、車両902の反対側の端部(例えば、前部および後部など)に配置され得る。少なくとも1つの例において、駆動モジュール914は、駆動モジュール914の状態、および/または車両902の周囲の状態を検出するために、1つまたは複数のセンサシステムを含むことができる。例として、限定ではなく、センサシステムは、駆動モジュールのホイールの回転を感知するための1つまたは複数のホイールエンコーダ(例えば、ロータリーエンコーダ)、駆動モジュールの向きと加速度とを測定するための慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサ、駆動モジュールの周囲におけるオブジェクトを音響的に検出するための超音波センサ、ライダセンサ、レーダセンサなどを含むことができる。ホイールエンコーダなどのいくつかのセンサは、駆動モジュール914に固有であり得る。場合によっては、駆動モジュール914上のセンサシステムは、車両902の対応するシステム(例えば、センサシステム906)と重複するか、または補完することができる。
駆動モジュール914は、高電圧バッテリと、車両を推進するためのモータと、バッテリからの直流を他の車両システムによって使用するための交流に変換するためのインバータと、ステアリングモータとステアリングラック(電気式であり得る)とを含むステアリングシステムと、油圧アクチュエータまたは電気アクチュエータを含むブレーキシステムと、油圧構成要素および/または空気圧構成要素を含むサスペンションシステムと、トラクションの損失を軽減し、制御を維持するための、ブレーキ力を分散するための安定性制御システムと、HVACシステムと、照明(例えば、車両の外周を照らすヘッドライト/テールライトなどのライト)と、1つまたは他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど)とを含む、多くの車両システムを含むことができる。加えて、駆動モジュール914は、センサシステムからデータを受信および前処理し、様々な車両システムの動作を制御することができる駆動モジュールコントローラを含むことができる。いくつかの例では、駆動モジュールコントローラは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことができる。メモリは、駆動モジュール914の様々な機能を実行するための1つまたは複数のモジュールを記憶することができる。さらに、駆動モジュール914は、それぞれの駆動モジュールによる1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする1つまたは複数の通信接続も含む。
少なくとも1つの例において、直接接続912は、1つまたは複数の駆動モジュール914を車両902の本体に結合するための物理的インターフェースを提供することができる。例えば、直接接続912は、駆動モジュール914と車両との間のエネルギー、流体、空気、データなどの転送を可能にすることができる。場合によっては、直接接続912は、駆動モジュール914を車両902の本体にさらに開放可能に固定することができる。
少なくとも1つの例において、位置特定構成要素920、知覚構成要素922、計画構成要素924、1つまたは複数のシステムコントローラ926、1つまたは複数のマップ928、予測構成要素930、空間監視構成要素932、および/またはトラッカ934は、上記で説明したようにセンサデータを処理することができ、それらのそれぞれの出力を、1つまたは複数のネットワーク938を介して、1つまたは複数のコンピューティングデバイス936に送信することができる。少なくとも1つの例において、位置特定構成要素920、知覚構成要素922、計画構成要素924、1つまたは複数のシステムコントローラ926、1つまたは複数のマップ928、予測構成要素930、空間監視構成要素932、および/またはトラッカ934は、特定の頻度、事前に決定された時間期間の経過後、ほぼリアルタイム、などにおいて、1つまたは複数のコンピューティングデバイス936にそれらのそれぞれの出力を送信することができる。
いくつかの例では、車両902は、ネットワーク938を介して、1つまたは複数のコンピューティングデバイス936にセンサデータを送信することができる。いくつかの例では、車両902は、生のセンサデータをコンピューティングデバイス936に送信することができる。他の例では、車両902は、処理されたセンサデータおよび/またはセンサデータの表現(例えば、空間グリッドデータ)をコンピューティングデバイス936に送信することができる。いくつかの例では、車両902は、特定の頻度、事前に決定された時間期間の経過後、ほぼリアルタイム、などにおいて、センサデータをコンピューティングデバイス936に送信することができる。場合によっては、車両902は、(生のまたは処理された)センサデータを1つまたは複数のログファイルとしてコンピューティングデバイス936に送信することができる。
コンピューティングデバイス936は、プロセッサ940と、マップ構成要素944および/または空間監視構成要素948を記憶するメモリ952とを含むことができる。
場合によっては、マップ構成要素944は、空間グリッドをマップ位置に関連付ける機能を含むことができる。空間監視構成要素948は、車両コンピューティングデバイス904において機能を実行することに加えて、またはその代わりに、空間監視構成要素932について説明したものと実質的に同じ機能を実行し得る。場合によっては、空間グリッドのサイズは、交差点または他のマップ特徴までの距離、速度制限、速度制限安全係数などの領域特性に少なくとも部分的に基づくことができる。
車両902のプロセッサ916およびコンピューティングデバイス936のプロセッサ940は、本明細書で説明するように、データを処理し、動作を実行するための命令を実行することができる任意の適切なプロセッサであり得る。例として、限定ではなく、プロセッサ916および940は、1つまたは複数の中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、または電子データをレジスタおよび/もしくはメモリ内に記憶され得る他の電子データに変換するためにその電子データを処理する任意の他のデバイスもしくはデバイスの一部を備えることができる。いくつかの例では、集積回路(例えば、ASICなど)、ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスも、それらが符号化された命令を実装するように構成されている限り、プロセッサとみなされ得る。
メモリ918および942は、非一時的なコンピュータ可読媒体の例である。メモリ918および942は、本明細書で説明する方法と、様々なシステムに属する機能とを実施するために、オペレーティングシステムと、1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータとを記憶することができる。様々な実装形態において、メモリは、スタティックランダムアクセスメモリ(SRAM)、同期ダイナミックRAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または情報を記憶することができる任意の他のタイプのメモリなどの任意の適切なメモリ技術を使用して実装され得る。本明細書で説明するアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的な構成要素を含むことができ、添付の図に示されているものは、本明細書における議論に関連する単なる例である。
図9は、分散システムとして示されているが、代替の例では、車両902の構成要素は、コンピューティングデバイス936に関連付けられ得、および/またはコンピューティングデバイス936の構成要素は、車両902に関連付けられ得ることに留意すべきである。すなわち、車両902は、コンピューティングデバイス936に関連する機能のうちの1つまたは複数を実行することができ、逆もまた同様である。さらに、予測構成要素930、空間監視構成要素932、および/またはトラッカ934の態様は、本明細書で論じるデバイスのいずれかにおいて実行され得る。
例示的な節
A:レーダシステムと、レーダシステムに通信可能に結合された1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行可能な命令を記憶する1つまたは複数のコンピュータ可読媒体とを備える自律車両であって、命令は、実行されると、自律車両に、レーダシステムによって環境のレーダセンサデータをキャプチャする動作と、レーダセンサデータに少なくとも部分的に基づいて、環境の第1の領域内のオブジェクトを検出する動作と、環境の第1の領域内のオブジェクトを検出したことに少なくとも部分的に基づいて、空間グリッドの第1のセルを占有されているものとして指定する動作であって、第1のセルが環境の第1の領域に関連付けられている、動作と、レーダシステムのレーダセンサの位置に対する第1のセルの位置に少なくとも部分的に基づいて、空間グリッドの第2のセルを閉塞されているものとして指定する動作であって、第2のセルが環境の第2の領域に関連付けられている、動作と、レーダセンサの視野に少なくとも部分的に基づいて、空間グリッドの第3のセルを自由空間であるものとして指定する動作であって、第3のセルが、レーダセンサの視野内にあり、非占有であり、非閉塞である環境の領域に関連付けられている、動作と、空間グリッドの第1のセル、第2のセル、および第3のセルの指定に少なくとも部分的に基づいて、環境内の自律車両を制御する動作とを含む動作を実行させる。
B:例Aの自律車両であって、レーダセンサは、第1のレーダセンサを備え、レーダシステムは、第1のレーダセンサと第2のレーダセンサとを備え、空間グリッドの第1のセルを占有されているものとして指定する動作は、空間グリッドの第1のセルに対応する領域が占有されていることを示す第1のレーダセンサまたは第2のレーダセンサのうちの少なくとも1つのレーダセンサデータに基づき、空間グリッドの第2のセルをオブジェクトによって閉塞されているものとして指定する動作は、空間グリッドの第2のセルに対応する領域が閉塞されていることを示す第1のレーダセンサおよび第2のレーダセンサのレーダセンサデータに基づく。
C:例AまたはBのうちのいずれか1つの自律車両であって、動作は、レーダセンサデータに少なくとも部分的に基づいて、環境の第2の領域内のオブジェクトを検出する動作と、第2の領域内のオブジェクトを追跡する動作とをさらに含み、環境内の自律車両を制御する動作は、さらに第2の領域内のオブジェクトの追跡に少なくとも部分的に基づく。
D:例A〜Cのうちのいずれか1つの自律車両であって、動作は、オブジェクトが静的オブジェクトであると決定する動作と、空間グリッドの第1のセルに隣接するセルの占有確率を計算する動作と、第1のセルに隣接するセルの占有確率がしきい値確率を超えることに少なくとも部分的に基づいて、第1のセルに隣接するセルを静的オブジェクトによって占有されているものとして指定する動作とをさらに含む。
E:例A〜Dのうちのいずれか1つの自律車両であって、動作は、レーダセンサデータまたは他のセンサデータに少なくとも部分的に基づいて、第2のセルを含む第2の領域を決定する動作と、レーダセンサデータに少なくとも部分的に基づいて、第2の領域に入るオブジェクトを検出する動作と、オブジェクトが第2の領域に入ることに少なくとも部分的に基づいて、第2の領域が非占有であると決定する動作と、第2の領域が非占有であることを示すように空間グリッドの第2のセルを更新する動作とをさらに含む。
F:例A〜Cのうちのいずれか1つの自律車両であって、動作は、オブジェクトが動的オブジェクトであると決定する動作と、動的オブジェクトのトラックに関連付けられた境界ボックスを決定する動作と、境界ボックスのエリアに関連付けられた空間グリッドの1つまたは複数のセルを占有されているものとして指定する動作とをさらに含む。
G:例A〜Fのうちのいずれか1つの自律車両であって、空間グリッドは、レーダシステム空間グリッドを含み、環境内の自律車両を制御する動作は、さらにライダ空間グリッドまたはカメラ空間グリッドのうちの少なくとも1つに少なくとも部分的に基づく。
H:レーダセンサによって、環境のレーダセンサデータをキャプチャするステップと、レーダデータに少なくとも部分的に基づいて、空間グリッドの第1のセルを占有されているものとして指定するステップであって、第1のセルが環境の第1の領域に関連付けられている、ステップと、レーダセンサの位置と、第2のセルとに対する第1のセルの位置に少なくとも部分的に基づいて、第2のセルを閉塞されているものとして指定するステップと、環境に関連付けられた空間グリッドを出力するステップとを含む方法。
I:例Hの方法であって、レーダセンサは、第1のレーダセンサを備え、方法は、第2のレーダセンサによって、環境のレーダセンサデータをキャプチャするステップをさらに含み、空間グリッドの第1のセルを占有されているものとして指定するステップは、空間グリッドの第1のセルに対応する領域が占有されていることを示す第1のレーダセンサまたは第2のレーダセンサのうちの少なくとも1つのレーダセンサデータに基づき、空間グリッドの第2のセルをオブジェクトによって閉塞されているものとして指定するステップは、空間グリッドの第2のセルに対応する領域が閉塞されていることを示す第1のレーダセンサおよび第2のレーダセンサのレーダセンサデータに基づく。
J:空間グリッドに少なくとも部分的に基づいて、環境内の自律車両を制御するステップをさらに含む、例HまたはIのうちのいずれか1つの方法。
K:以下のステップをさらに含む、例H〜Jのいずれか1の方法。
レーダセンサデータに少なくとも部分的に基づいて、環境の第2の領域内のオブジェクトを検出するステップと、第2の領域内のオブジェクトを追跡するステップであって、環境内の自律車両を制御するステップが、さらに第2の領域内のオブジェクトの追跡に少なくとも部分的に基づく、ステップ。
L:空間グリッドの第1のセルに隣接するセルの占有確率を計算するステップと、第1のセルに隣接するセルの占有確率がしきい値確率を超えることに少なくとも部分的に基づいて、第1のセルに隣接するセルを占有されているものとして指定するステップとをさらに含む、例H〜Kのうちのいずれか1つの方法。
M:レーダセンサデータに少なくとも部分的に基づいて、第1の領域に入るオブジェクトを検出するステップと、オブジェクトが第1の領域に入ることに少なくとも部分的に基づいて、第1の領域が非占有であると決定するステップと、第1の領域が非占有であることを示すように空間グリッドの第1のセルを更新するステップとをさらに含む、例H〜Lのいずれか1つの方法。
N:占有された領域が動的オブジェクトに関連付けられていると決定するステップと、動的オブジェクトのトラックに関連付けられた境界ボックスを決定するステップと、境界ボックスのトラックのエリアに関連付けられた空間グリッドの1つまたは複数のセルを占有されているものとして指定するステップとをさらに含む、例H〜Mのいずれか1つの方法。
O:占有グリッドをライダデータまたはカメラデータのうちの少なくとも1つと融合するステップをさらに含む、例H〜Nのいずれか1つの方法。
P:実行されると、1つまたは複数のプロセッサに、レーダセンサによって環境のレーダセンサデータをキャプチャする動作と、環境の第1の領域に関連付けられたレーダセンサデータに少なくとも部分的に基づいて、空間グリッドの第1のセルを占有されているものとして指定する動作であって、第1のセルが環境の第1の領域に関連付けられている、動作と、レーダセンサの位置に対する第1のセルの位置に少なくとも部分的に基づいて、空間グリッドの第2のセルをオブジェクトによって閉塞されているものとして指定する動作であって、第2のセルが環境の第2の領域に関連付けられている、動作と、環境に関連付けられた空間グリッドを出力する動作とを含む動作を実行させる命令を記憶する1つまたは複数の非一時的なコンピュータ可読媒体。
Q:例Pの1つまたは複数の非一時的なコンピュータ可読媒体であって、レーダセンサは、第1のレーダセンサを備え、動作は、第2のレーダセンサによって、環境のレーダセンサデータをキャプチャする動作をさらに含み、空間グリッドの第1のセルを占有されているものとして指定する動作は、空間グリッドの第1のセルに対応する領域が占有されていることを示す第1のレーダセンサまたは第2のレーダセンサのうちの少なくとも1つのレーダセンサデータに基づき、空間グリッドの第2のセルをオブジェクトによって閉塞されているものとして指定する動作は、空間グリッドの第2のセルに対応する領域が閉塞されていることを示す第1のレーダセンサおよび第2のレーダセンサのレーダセンサデータに基づく。
R:例PまたはQのうちのいずれか1つの1つまたは複数の非一時的なコンピュータ可読媒体であって、動作は、空間グリッドに少なくとも部分的に基づいて、環境内の自律車両を制御する動作をさらに含む。
S:例P〜Rのうちのいずれか1つの1つまたは複数の非一時的なコンピュータ可読媒体であって、動作は、レーダセンサデータに少なくとも部分的に基づいて、環境の第2の領域内のオブジェクトを検出する動作と、第2の領域内のオブジェクトを追跡する動作とをさらに含み、環境内の自律車両を制御する動作は、さらに第2の領域内のオブジェクトの追跡に少なくとも部分的に基づく。
T:例P〜Sのうちのいずれか1つの1つまたは複数の非一時的なコンピュータ可読媒体であって、動作は、空間グリッドをライダデータまたはカメラデータのうちの少なくとも1つと融合する動作をさらに含む。
上記で説明した例示的な節は、1つの特定の実装形態に関して説明されているが、本文書の文脈において、例示的な節の内容は、方法、デバイス、システム、コンピュータ可読媒体、および/または別の実装形態を介しても実施され得ることを理解すべきである。
結論
本明細書で説明する技法の1つまたは複数の例が説明されているが、それらの様々な改変、追加、並べ替え、および均等物が、本明細書で説明する技法の範囲内に含まれる。
例の説明において、特許請求された主題の特定の例を例示として示す、本明細書の一部を形成する添付図面への参照が行われる。他の例が使用され得、構造の変更などの変更または改変が行われ得ることを理解すべきである。そのような例、変更、または改変は、意図された特許請求された主題に関して必ずしも範囲から逸脱しない。本明細書におけるステップは、特定の順序で提示される場合があるが、場合によっては、順序付けは、説明したシステムおよび方法の機能を変更することなく、特定の入力が異なる時間または異なる順序において提供されるように変更され得る。開示された手順は、異なる順序でも実行され得る。加えて、本明細書にある様々な計算は、開示されている順序で実行される必要はなく、計算の代わりの順序付けを使用する他の例が、容易に実施され得る。並べ替えられることに加えて、計算は、同じ結果を持つサブ計算に分解もされ得る。

Claims (15)

  1. 自律車両であって、
    レーダシステムと、
    前記レーダシステムに通信可能に結合された1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行可能な命令を記憶する1つまたは複数のコンピュータ可読媒体であって、前記命令は、実行されると、前記自律車両に、
    前記レーダシステムによって環境のレーダセンサデータをキャプチャする動作と、
    前記レーダセンサデータに少なくとも部分的に基づいて、前記環境の第1の領域内のオブジェクトを検出する動作と、
    前記環境の前記第1の領域内の前記オブジェクトを検出したことに少なくとも部分的に基づいて、空間グリッドの第1のセルを占有されているものとして指定する動作であって、前記第1のセルが前記環境の前記第1の領域に関連付けられている、動作と、
    前記レーダシステムのレーダセンサの位置に対する前記第1のセルの位置に少なくとも部分的に基づいて、前記空間グリッドの第2のセルを閉塞されているものとして指定する動作であって、前記第2のセルが前記環境の第2の領域に関連付けられている、動作と、
    前記空間グリッドの前記第1のセルおよび前記第2のセルの前記指定に少なくとも部分的に基づいて、前記環境内の前記自律車両を制御する動作と
    を含む動作を実行させる1つまたは複数のコンピュータ可読媒体と
    を備えたことを特徴とする自律車両。
  2. 前記レーダセンサは、第1のレーダセンサを備え、前記レーダシステムは、前記第1のレーダセンサと第2のレーダセンサとを備え、
    前記空間グリッドの前記第1のセルを占有されているものとして指定する動作は、前記空間グリッドの前記第1のセルに対応する前記領域が占有されていることを示す前記第1のレーダセンサまたは前記第2のレーダセンサのうちの少なくとも1つのレーダセンサデータに基づき、
    前記空間グリッドの前記第2のセルを前記オブジェクトによって閉塞されているものとして指定する動作は、前記空間グリッドの前記第2のセルに対応する前記領域が閉塞されていることを示す前記第1のレーダセンサおよび前記第2のレーダセンサのレーダセンサデータに基づくことを特徴とする請求項1に記載の自律車両。
  3. 前記動作は、
    前記レーダセンサデータに少なくとも部分的に基づいて、前記空間グリッドの第3のセルを自由空間であるものとして指定する動作であって、前記第3のセルが、前記レーダセンサの前記視野内にあり、非占有であり、非閉塞である前記環境の領域に関連付けられている、動作、
    をさらに含み、
    前記環境内の前記自律車両を制御する動作は、前記空間グリッドの前記第3のセルの前記指定に少なくとも部分的にさらに基づくことを特徴とする請求項1または2に記載の自律車両。
  4. 前記オブジェクトが静的オブジェクトであると決定する動作と、
    前記空間グリッドの前記第1のセルに隣接するセルの占有確率を計算する動作と、
    前記第1のセルに隣接する前記セルの前記占有確率がしきい値確率を超えることに少なくとも部分的に基づいて、前記第1のセルに隣接する前記セルを前記静的オブジェクトによって占有されているものとして指定する動作と
    をさらに含むことを特徴とする請求項1または2に記載の自律車両。
  5. 前記レーダセンサデータまたは他のセンサデータに少なくとも部分的に基づいて、第2のセルを含む第2の領域を決定する動作と、
    前記レーダセンサデータに少なくとも部分的に基づいて、前記第2の領域に入る前記オブジェクトを検出する動作と、
    前記オブジェクトが前記第2の領域に入ることに少なくとも部分的に基づいて、前記第2の領域が非占有であると決定する動作と、
    前記第2の領域が非占有であることを示すように前記空間グリッドの前記第2のセルを更新する動作と
    をさらに含むことを特徴とする請求項1乃至4のいずれか1項に記載の自律車両。
  6. 前記動作は、
    前記オブジェクトが動的オブジェクトであると決定する動作と、
    前記動的オブジェクトのトラックに関連付けられた境界ボックスを決定する動作と、
    前記境界ボックスのエリアに関連付けられた前記空間グリッドの1つまたは複数のセルを占有されているものとして指定する動作と
    をさらに含むことを特徴とする請求項1乃至3、または5のいずれか1つに記載の自律車両。
  7. 前記空間グリッドは、レーダシステム空間グリッドを含み、
    前記環境内の前記自律車両を制御する動作は、ライダ空間グリッドまたはカメラ空間グリッドのうちの少なくとも1つに少なくとも部分的にさらに基づくことを特徴とする請求項1乃至6のいずれか1項に記載の自律車両。
  8. レーダセンサによって、環境のレーダセンサデータをキャプチャするステップと、
    前記レーダデータに少なくとも部分的に基づいて、空間グリッドの第1のセルを占有されているものとして指定するステップであって、前記第1のセルが前記環境の第1の領域に関連付けられている、ステップと、
    前記レーダセンサの位置と、第2のセルとに対する前記第1のセルの位置に少なくとも部分的に基づいて、前記第2のセルを閉塞されているものとして指定するステップと、
    前記環境に関連付けられた前記空間グリッドを出力するステップと
    を含むことを特徴とする方法。
  9. 前記レーダセンサは、第1のレーダセンサを備え、
    前記方法は、
    第2のレーダセンサによって、環境のレーダセンサデータをキャプチャするステップをさらに含み、
    前記空間グリッドの前記第1のセルを占有されているものとして指定するステップは、前記空間グリッドの前記第1のセルに対応する前記領域が占有されていることを示す前記第1のレーダセンサまたは前記第2のレーダセンサのうちの少なくとも1つのレーダセンサデータに基づき、
    前記空間グリッドの前記第2のセルを前記オブジェクトによって閉塞されているものとして指定するステップは、前記空間グリッドの前記第2のセルに対応する前記領域が閉塞されていることを示す前記第1のレーダセンサおよび前記第2のレーダセンサのレーダセンサデータに基づくことを特徴とする請求項8に記載の方法。
  10. 前記レーダセンサデータに少なくとも部分的に基づいて、前記空間グリッドの第3のセルを自由空間であるものとして指定するステップであって、前記第3のセルが、前記レーダセンサの前記視野内にあり、非占有であり、非閉塞である前記環境の領域に関連付けられている、ステップをさらに含み、
    前記環境内の前記自律車両を制御するステップは、前記空間グリッドの前記第3のセルの前記指定に少なくとも部分的にさらに基づくことを特徴とする請求項8または9に記載の方法。
  11. 前記空間グリッドの前記第1のセルに隣接するセルの占有確率を計算するステップと、
    前記第1のセルに隣接する前記セルの前記占有確率がしきい値確率を超えることに少なくとも部分的に基づいて、前記第1のセルに隣接する前記セルを占有されているものとして指定するステップと
    をさらに含むことを特徴とする請求項8乃至10のいずれか1項に記載の方法。
  12. 前記レーダセンサデータに少なくとも部分的に基づいて、前記第1の領域に入るオブジェクトを検出するステップと、
    前記オブジェクトが前記第1の領域に入ることに少なくとも部分的に基づいて、前記第1の領域が非占有であると決定するステップと、
    前記第1の領域が非占有であることを示すように前記空間グリッドの前記第1のセルを更新するステップと
    をさらに含むことを特徴とする請求項8乃至11のいずれか1項に記載の方法。
  13. 前記占有された領域が動的オブジェクトに関連付けられていると決定するステップと、
    前記動的オブジェクトのトラックに関連付けられた境界ボックスを決定するステップと、
    前記境界ボックスの前記トラックのエリアに関連付けられた前記空間グリッドの1つまたは複数のセルを占有されているものとして指定するステップと
    をさらに含むことを特徴とする請求項8乃至12のいずれか1項に記載の方法。
  14. 前記占有グリッドをライダデータまたはカメラデータのうちの少なくとも1つと融合するステップをさらに含むことを特徴とする請求項8乃至13のいずれか1項に記載の方法。
  15. 実行されると、1つまたは複数のプロセッサに、請求項8乃至14のいずれか1項に記載の方法を実行させる命令を記憶する1つまたは複数の非一時的なコンピュータ可読媒体。
JP2021517297A 2018-09-28 2019-09-25 レーダ空間推定 Pending JP2022502306A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/147,177 US11353577B2 (en) 2018-09-28 2018-09-28 Radar spatial estimation
US16/147,177 2018-09-28
PCT/US2019/053013 WO2020069025A1 (en) 2018-09-28 2019-09-25 Radar spatial estimation

Publications (2)

Publication Number Publication Date
JP2022502306A true JP2022502306A (ja) 2022-01-11
JPWO2020069025A5 JPWO2020069025A5 (ja) 2022-09-22

Family

ID=69945441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517297A Pending JP2022502306A (ja) 2018-09-28 2019-09-25 レーダ空間推定

Country Status (5)

Country Link
US (1) US11353577B2 (ja)
EP (1) EP3857264A4 (ja)
JP (1) JP2022502306A (ja)
CN (1) CN112752988B (ja)
WO (1) WO2020069025A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593795B1 (ko) * 2022-09-30 2023-10-26 주식회사 플럭시티 공간 속성 정보를 3d 정보와 결합하는 방법 및 장치

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126199B2 (en) * 2018-04-16 2021-09-21 Baidu Usa Llc Learning based speed planner for autonomous driving vehicles
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
EP3867721A1 (en) * 2018-10-15 2021-08-25 Starship Technologies OÜ Method and system for operating a robot
US10814870B2 (en) * 2018-12-04 2020-10-27 GM Global Technology Operations LLC Multi-headed recurrent neural network (RNN) for multi-class trajectory predictions
CN111382768B (zh) * 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
US11555927B2 (en) * 2019-02-05 2023-01-17 Honda Motor Co., Ltd. System and method for providing online multi-LiDAR dynamic occupancy mapping
US11620478B2 (en) * 2019-02-06 2023-04-04 Texas Instruments Incorporated Semantic occupancy grid management in ADAS/autonomous driving
US20220159261A1 (en) * 2019-03-21 2022-05-19 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
JP7244325B2 (ja) * 2019-03-27 2023-03-22 株式会社Soken 物体検出装置
US11280897B2 (en) * 2019-03-31 2022-03-22 Waymo Llc Radar field of view extensions
US11170567B2 (en) * 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data
US11143747B2 (en) * 2019-07-11 2021-10-12 GM Global Technology Operations LLC Methods and systems for classifying received signals from radar system
KR20210111557A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 심층 학습 기반의 객체 분류 장치 및 그 방법
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
US11625009B2 (en) * 2020-03-26 2023-04-11 Intel Corporation Non-uniform occupancy grid manager
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
EP3905106A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
US20200326721A1 (en) * 2020-06-26 2020-10-15 Intel Corporation Occupancy verification device and method
CN112052878B (zh) * 2020-08-11 2024-04-16 浙江大华技术股份有限公司 一种雷达的遮挡识别的方法、装置及存储介质
KR20220027359A (ko) * 2020-08-26 2022-03-08 현대자동차주식회사 자율주행을 위한 높이 맵 격자간격 조정방법
EP3961481A1 (en) * 2020-08-31 2022-03-02 Aptiv Technologies Limited Vehicles, systems and methods for determining an occupancy map of a vicinity of a vehicle
US20240004031A1 (en) * 2020-11-12 2024-01-04 The Regents Of The University Of California Multi radar object detection
DE102020130069A1 (de) * 2020-11-13 2022-05-19 Audi Aktiengesellschaft Steuerung eines Kraftfahrzeugs bei teilweiser Sichtfeldverdeckung
FR3116640B1 (fr) * 2020-11-20 2023-11-17 Commissariat Energie Atomique Procédé itératif d’estimation du mouvement d’un corps matériel par génération d’une grille de mouvement filtrée
US20220196829A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Radar Reference Map Generation
KR20220095661A (ko) * 2020-12-30 2022-07-07 현대자동차주식회사 센서 퓨전 트랙 생성장치 및 센서 퓨전 트랙 생성방법
US20220261008A1 (en) * 2021-02-16 2022-08-18 Sony Group Corporation Circuitry and method
US11810367B2 (en) * 2021-06-29 2023-11-07 Toyota Research Institute, Inc. System and method for determining if a vehicle is parked
KR20230014344A (ko) * 2021-07-21 2023-01-30 현대모비스 주식회사 차량의 주변 환경 모니터링 장치 및 방법
EP4123338A3 (en) * 2021-07-21 2023-04-19 Hyundai Mobis Co., Ltd. Apparatus and method for monitoring surrounding environment of vehicle
EP4123336A1 (en) * 2021-07-21 2023-01-25 Hyundai Mobis Co., Ltd. Apparatus and method for monitoring surrounding environment of vehicle
US11834077B2 (en) * 2021-09-14 2023-12-05 Barry Gilhuly Systems, methods, and media for occlusion-aware motion planning
CN114212106B (zh) * 2021-12-17 2023-10-10 东软睿驰汽车技术(沈阳)有限公司 一种车辆的可行驶区域内安全概率的确定方法及装置
US20230192090A1 (en) * 2021-12-22 2023-06-22 Motional Ad Llc Precedence determination at multi-way stops
GB2617062A (en) * 2022-03-23 2023-10-04 Aptiv Tech Ltd Sensor processing method, apparatus, computer program product, and automotive sensor system
CN114643984A (zh) * 2022-05-20 2022-06-21 阿里巴巴达摩院(杭州)科技有限公司 驾驶避险方法、装置、设备、介质及产品
CN114677494B (zh) * 2022-05-26 2022-09-16 中国人民解放军国防科技大学 基于剖分网格的雷达探测能力计算方法、装置及设备
CN114897951B (zh) * 2022-05-30 2023-02-28 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统
CN116299254B (zh) * 2022-09-07 2023-10-13 无锡国芯微电子系统有限公司 一种被动雷达寻的器的目标跟踪方法
WO2024081667A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Radar- and vision-based navigation using bounding boxes

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055042A (en) 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
US6173215B1 (en) 1997-12-19 2001-01-09 Caterpillar Inc. Method for determining a desired response to detection of an obstacle
US7266477B2 (en) * 2005-06-22 2007-09-04 Deere & Company Method and system for sensor signal fusion
CN104169738B (zh) 2012-04-26 2016-11-09 英特尔公司 确定相对定位信息
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
US9367065B2 (en) * 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
EP2840007B1 (en) 2013-08-22 2018-04-04 Honda Research Institute Europe GmbH Consistent behaviour generation of a predictive advanced driver assistant system
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9255988B2 (en) * 2014-01-16 2016-02-09 GM Global Technology Operations LLC Object fusion system of multiple radar imaging sensors
FR3022049B1 (fr) * 2014-06-06 2016-07-22 Inria Inst Nat De Rech En Informatique Et En Automatique Procede d'analyse d'une scene dynamique, module d'analyse et programme d'ordinateur associes
US9804594B2 (en) 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
US9530062B2 (en) * 2014-12-23 2016-12-27 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
DE102015201706A1 (de) * 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Sensormessungen eines Fahrzeugumfeldes bei geringer Querauflösung
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US10145951B2 (en) 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
US9910442B2 (en) * 2016-06-28 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded area detection with static obstacle maps
US10137890B2 (en) 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US20180113209A1 (en) * 2016-10-21 2018-04-26 Waymo Llc Radar generated occupancy grid for autonomous vehicle perception and planning
US10296794B2 (en) 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10037613B1 (en) 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
US10086809B1 (en) * 2017-05-02 2018-10-02 Delphi Technologies, Inc. Automatic braking system
US10268191B1 (en) 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US11625045B2 (en) * 2017-08-31 2023-04-11 Uatc, Llc Systems and methods for controlling an autonomous vehicle with occluded sensor zones
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
EP3460516B1 (en) * 2017-09-20 2020-05-27 Aptiv Technologies Limited A device and a method for distinguishing between traversable and non-traversable objects
US10552689B2 (en) * 2017-11-09 2020-02-04 Here Global B.V. Automatic occlusion detection in road network data
US11422561B2 (en) 2018-01-11 2022-08-23 Toyota Jidosha Kabushiki Kaisha Sensor system for multiple perspective sensor data sets
US20190387185A1 (en) * 2018-06-13 2019-12-19 Luminar Technologies, Inc. Thermal imager with enhanced processing
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11326888B2 (en) * 2018-07-25 2022-05-10 Uatc, Llc Generation of polar occlusion maps for autonomous vehicles
US10678246B1 (en) * 2018-07-30 2020-06-09 GM Global Technology Operations LLC Occupancy grid movie system
US20200049511A1 (en) * 2018-08-07 2020-02-13 Ford Global Technologies, Llc Sensor fusion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593795B1 (ko) * 2022-09-30 2023-10-26 주식회사 플럭시티 공간 속성 정보를 3d 정보와 결합하는 방법 및 장치

Also Published As

Publication number Publication date
US20200103523A1 (en) 2020-04-02
WO2020069025A1 (en) 2020-04-02
EP3857264A1 (en) 2021-08-04
CN112752988A (zh) 2021-05-04
US11353577B2 (en) 2022-06-07
EP3857264A4 (en) 2022-06-22
CN112752988B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN112752988B (zh) 雷达空间估计
US11802969B2 (en) Occlusion aware planning and control
US11631200B2 (en) Prediction on top-down scenes based on action data
US11740633B2 (en) Determining occupancy of occluded regions
US11351991B2 (en) Prediction based on attributes
US11048265B2 (en) Occlusion aware planning
US11215997B2 (en) Probabilistic risk assessment for trajectory evaluation
US11021148B2 (en) Pedestrian prediction based on attributes
US11169531B2 (en) Trajectory prediction on top-down scenes
US11126180B1 (en) Predicting an occupancy associated with occluded region
US11643073B2 (en) Trajectory modifications based on a collision zone
US11422259B2 (en) Multi-resolution maps for localization
US10890663B2 (en) Loading multi-resolution maps for localization
JP2021522585A (ja) マスクを使用したデータセグメンテーション
EP3807807A1 (en) Occlusion aware planning
CN114072841A (zh) 根据图像使深度精准化
JP2023505059A (ja) センサデータを使用した高さ推定
US20220176988A1 (en) Determining inputs for perception system
WO2020006091A1 (en) Multi-resolution maps for localization
US20230245336A1 (en) Distance representation and encoding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409