JP2022522714A - 閉塞領域の占有率の決定 - Google Patents

閉塞領域の占有率の決定 Download PDF

Info

Publication number
JP2022522714A
JP2022522714A JP2021550228A JP2021550228A JP2022522714A JP 2022522714 A JP2022522714 A JP 2022522714A JP 2021550228 A JP2021550228 A JP 2021550228A JP 2021550228 A JP2021550228 A JP 2021550228A JP 2022522714 A JP2022522714 A JP 2022522714A
Authority
JP
Japan
Prior art keywords
blockage
region
area
vehicle
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021550228A
Other languages
English (en)
Inventor
ギア マックス
アンソニー シルヴァ ウィリアム
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2022522714A publication Critical patent/JP2022522714A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自律車両などの車両を、環境内の閉塞エリアに基づいて制御する技術が論じられる。閉塞エリアは、他の物体による妨害やセンサーの制限により、車両のセンサーが環境の一部を感知できない領域を表すことができる。物体の閉塞領域は、閉塞領域に近接する１つまたは複数の可視領域とともに決定される。入口領域および出口領域は、既知の通行方向および／または走行可能な表面の境界に基づいて決定され得る。閾値速度に基づいて、車両は閉塞領域の一部を擬似可視領域として指定することができる。さらに、動的物体が入口領域から閉塞領域を通過する場合、閉塞領域の一部を擬似可視としてみなし得る。擬似可視は、また、閉塞エリアの移動に基づいて決定されてもよい。車両は、擬似可視に基づいて、環境を横断するように制御されることができる。

Description

本開示は、閉塞領域の占有率の決定に関する。
本出願は、２０１９年２月２８日に出願され、「DETERMINING OCCUPANCY OF OCCLUDED REGIONS」と題された米国出願特許第１６／２８９３９７号の優先権を主張するものであり、その内容全体が参照により本明細書に組み込まれる。
様々な方法、装置、およびシステムが自律車両によって利用され、様々な静的および動的物体を含む環境を通じてそのような自律車両を誘導する。例えば、自律車両は、経路計画の方法、装置、およびシステムを利用して、他の移動する車両（自律車両またはその他の車両）、移動する人、静止した建物などが混雑したエリアを通じて自律車両を誘導する。いくつかの例において、自律車両は、乗客や周囲の人や物の安全性を確保するために、環境を横断しながら決定をしてもよい。しかしながら、そのような決定を行うための従来の技術は、過度に保守的であったり、必要のないときに頻繁にブレーキをかけたりして乗客に不快感を与えたり、自律車両の今後の行動に関して周囲の人に不確実性を与えたりし得る。
米国特許出願第１６／０１１４３６号明細書 米国特許出願第１６／１５１６０７号明細書
詳細な説明は、添付の図面を参照して説明される。図中で、符号の左端の数字は、その符号が最初に現れる図面を示している。異なる図で同じ符号を使用することは、類似または同一の構成要素または機能を示す。
本開示の実施形態に従って、センサーデータをキャプチャし、環境内の閉塞領域および閉塞領域に近接する可視領域を決定し、閉塞領域の占有状態を決定し、閉塞領域の占有状態に少なくとも部分的に基づいて車両を制御するための例示的なプロセスの絵画的フロー図である。 環境における複数の閉塞フィールドを備えた例示的な閉塞グリッドの透視図を示す環境であり、本開示の実施形態に従って、障害物に起因する閉塞グリッドの閉塞領域および非閉塞領域を決定する閉塞推論コンポーネントを含む車両を示す図である。 本開示の実施形態による、静的閉塞領域と、その静的閉塞領域の一方の側から他方の側に通過する動的物体を識別することを例示する図である。 本開示の実施形態による、静的閉塞領域と、その閉塞エリアから出る動的物体を識別することを例示する図である。 本開示の実施形態による、移動閉塞領域と、移動閉塞領域の擬似可視領域とを識別することを例示する図である。 本開示の実施形態にしたがって、図５Ａで説明される閉塞領域の占有状態を決定することを例示する図である。 本明細書で説明される技術を実装するためのシステムの例を示すブロック図である。 本開示の実施形態に従って、センサーデータを取得し、環境内の物体によって引き起こされる閉塞領域を決定し、閉塞領域に近接する可視領域を決定し、可視領域に動的物体が配置されているかどうかを決定し、そうである場合には、動的物体が閉塞領域に入るかどうかを決定し、決定に基づいて自律車両を制御するための例示的なプロセスの一例を示す図である。 本開示の実施形態に従って、第１の時間に、物体に起因する第１の閉塞領域と、閉塞領域に近接する可視領域とを決定し、可視領域が閉塞領域への入口領域を含むことを決定し、第１の時間後の第２の時間に、第１の可視領域の少なくとも一部に対応する第２の閉塞領域を決定し、その部分に動的物体が存在しないかどうかを決定し、その決定に基づいて自律車両を制御する例示的なプロセスを示している。
本開示は、センサーに可視でない領域（例えば、閉塞領域）が占有されていない可能性を、閉塞領域を経時的に観察することによって決定することに向けられている。例えば、本明細書の技術は、閉塞エリアに近接する可視な入口領域の過去の知識を使用して、車両が環境の一部を安全に横断することを妨げるような物体が閉塞エリアに存在しないことの確実性を決定することができる。例えば、車両（自律車両など）のセンサーは、環境のセンサーデータをキャプチャすることができ、この環境は、他の車両、歩行者、建物、植生など、車両とは別の物体を含み得る。環境のセンサーカバレッジは、環境内の障害物に基づいて制限（閉塞）され得る。最初は、閉塞領域の占有率は未知である。閉塞領域への進入の領域を（例えば、進行方向に基づいて）決定および観察することにより、閉塞推論システムは閉塞領域の一部が動的物体によって占有されていない可能性を決定することができる。例えば、閉塞推論システムは、一定の期間、エリアを観察することに基づいて、および／または（動的な物体があった場合）閉塞領域内の動的物体が閉塞領域の一部から移動したと仮定することによって、閉塞領域が「擬似可視領域」であることを進行的に決定することができる。閉塞推論システムは、閉塞領域の状態に関する情報を計画システムに提供し、その領域に動的物体が存在しない可能性について、車両の軌道を生成する際に使用することができる。
閉塞推論システムは、静的閉塞領域の場合と、移動閉塞領域の場合とに分けて実装されることができる。静的閉塞領域では、閉塞領域の位置は、時間が経過しても静的または静止したままである。いくつかの場合では、静的閉塞領域は、環境内の車両（例えば、センサーを備える）と閉塞する物体の両方が静止しているシナリオによって引き起こされ得る。上述のように、閉塞推論システムは、閉塞領域の占有率が未知であると仮定することができる。しかしながら、時間の経過とともに、且つ走行可能なエリアに関連付けられた進行方向、閾値時間、および／または閾値速度に基づいて、閉塞推論システムは閉塞領域の一部が占有されていない可能性が高いと決定することができる。進行方向は、走行可能な領域における交通の流れなど、マップ上の既知の進行方向に対応してもよい。閾値時間は、車両が特定のシナリオで過ごす代表的な時間に対応してもよく、例えば、車両が交差点で停止する平均時間、制限速度まで加速する時間、現在の速度から完全に停止するまでの減速時間などであり得る。閾値速度は、合理的な動的物体が環境内を移動すると予想される最小速度に対応してもよい。例えば、閾値速度は、歩行者の平均歩行速度（例えば、１．５メートル／秒）であってもよく、これは、走行可能な領域に沿って走行する自動車や自転車など、最小速度よりも速く移動する物体を包含する。さらに、閾値速度および／または閾値時間は、閉塞領域の大きさ、閉塞領域から車両までの距離、マップデータ（例えば、走行可能な領域に関連する制限速度）、過去のデータなどに基づいて決定されてもよい。
動く閉塞領域では、閉塞領域の位置および／または大きさが時間とともに変化し得る。いくつかの例では、移動閉塞領域は、車両のセンサーに対して閉塞領域を引き起こす車両および／または環境内の物体の動きに起因し得る。移動閉塞領域の場合、車両は、動的物体が存在せず、以前は可視であった（しかし現在は閉塞している）エリアが、依然として動的物体が存在しないと推論することができる。この推論により、車両は、環境の領域の占有率に関する決定を行うことができ、その決定は、従来の計画技術よりも迅速かつ確実に環境を横断する方法を決定するために使用されることができる。
車両によってキャプチャされたセンサーデータは、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、画像データ（ＲＧＢ、強度、深度、赤外線、紫外線など）、time of flightデータ、ソナーデータなどを含むことができる。いくつかの場合では、センサーデータは、環境内の物体の種類（車両、歩行者、自転車、動物、駐車した車、木、建物など）を決定するように構成された知覚システムに提供されることができる。さらに、知覚システムは、センサーデータに基づいて、環境内の物体の動き情報を決定することができる。
環境内の物体を表す車両によってキャプチャされたセンサーデータを使用して、車両に対する環境内の物体に関連付けられた閉塞領域を生成することができる。例えば、閉塞推論システムは、時間の経過とともに、物体の位置に関連付けられた閉塞領域に関連する閉塞グリッドを決定することができる。レイキャスティングおよび／またはプロジェクションなどの技術を使用して、閉塞グリッドによって表される環境のどのエリアが、時間の経過とともに車両の位置に対して閉塞となるかを決定することができる。いくつかの例では、様々なセンサー様式に基づいて、閉塞を決定するための異なる技術を使用することができる。非限定的な例として、ＬＩＤＡＲセンサーの閉塞を決定するためにレイキャスティングが使用されてよく、一方、画像センサーの閉塞を決定するために、カメラマトリクスを使用したイメージプロジェクションが使用されてよい。閉塞グリッドは、３次元とすることができ、環境における物体の体積を記述するボクセルで物体の予測を表すことができる。閉塞グリッドを生成するための技術は、例えば、「Occlusion Aware Planning」と題され、２０１８年６月１８日に出願された特許文献１に記載されており、その全体が参照により本明細書に組み込まれている。
車両が環境を横断するとき、閉塞推論システムは、周囲の環境のセンサーデータおよびマップデータを使用して、環境内の物体を検出し、そのような物体に起因する対応する閉塞領域を決定することができる。多くの場合、閉塞領域には、道路を横断するかどうか、横断歩道を横断するかどうか、どの車線に入るか、どのくらいの速さで加速／減速するかなど、車両の決定プロセスに関連する物体が含まれる。いくつかの例では、閉塞領域は、閉塞領域に隣接または近接した可視な入口領域を有してもよく、これは、車両を制御する方法に関する決定を行うために使用されてもよい。閉塞推論システムは、マップデータを用いて入口領域を決定してもよい。例えば、マップデータは、走行可能な領域（例えば、道路の車線）および／またはそれに関連付けられた通行方向を示し、閉塞領域に近接する可視領域が存在する場合、車両は、交通がその場所で特定の方向に閉塞領域に入るという仮定に基づいて、閉塞領域への入口領域を指定することができる。同様に、（少なくとも部分的には進行方向に基づいて）閉塞領域の出口に対応する領域は「出口領域」と呼ばれることができる。
静的閉塞領域の場合、閉塞推論システムは、センサーデータと、閉塞領域に関連付けられた閾値速度および／または閾値時間に基づいて、閉塞領域の少なくとも一部に動的物体が存在しない可能性が高いと決定することができる。例えば、閾値速度は、１．５ｍ／ｓのような歩行者の歩行ペースに関連してもよいが、当然ながら、任意の適切な閾値速度を使用してもよい。いくつかの例では、閾値時間は、閉塞推論システムが、閉塞領域の一部の占有を決定する前に、閉塞領域を観察することができる時間に対応してもよい。使用される閾値速度および／または閾値時間にかかわらず、閉塞推論システムは、閉塞領域を通過する閾値速度よりも速く移動する物体を観察および／または追跡することができ、それに応じて車両を制御することができる。多くの場合、閾値速度よりも遅く移動する物体は、車両を制御するために使用される多くの決定に影響を与えないため、車両はそのような物体を「動かない」ものとして扱うことができる。例では、自転車乗りがペダルから足を離さない程度の速度で移動しているが、車両が閉塞領域における未知の物体の存在を分析するために使用する閾値速度よりも遅ければ、ゆっくりと交差点に接近している可能性がある。交差点に接近してきた車両に閉塞されたエリアに自転車乗りが配置されていると仮定すると、車両は自転車の存在を知っていても、現在の速度で交差点を渡るかどうかの決定に影響を与える可能性は極めて低いため、交差点を安全に進むことができる。
いくつかの例では、閉塞推論システムは、移動閉塞領域については、性的閉塞領域と同様に、関連付けられた動的物体の最小速度に関する仮定に依存しなくてもよい。代わりに、閉塞推論システムは、車両または閉塞している物体のいずれかが移動している間に、閉塞エリアのサイズまたは寸法が時間とともに変化するとき、閉塞エリアへの入口に関する知識に依存してもよい。例えば、可視領域の一部が第１の時間に動的物体を含まず、時間が経過しても動的物体が入口領域に進入しない場合、車両は、第１の時間に可視であったエリアの一部が、第２の後の時間に動的物体を含まないと仮定することができ、以前は可視であったエリアが現在閉塞である場合であっても同様である。以前は可視であったエリアの一部は、「擬似可視」と考えられる場合があり、これは、車両がそのエリアに、車両に代わって決定に関連する動的物体が含まれているかどうかを、比較的高い確実性で決定できることを意味する。いくつかの例では、擬似可視の決定は、閉塞エリアに動的物体が存在しない確率が、例えば、５１％の確実性、７５％の確実性、９０％の確実性などの閾値を満たすか、または超えると決定することに基づいてもよい。このように、一部の領域であっても擬似可視であると決定することで、全ての領域が同時に可視であることを前提とした技術に比べて、早期に指示を実行することが可能となる。
本明細書で論じられる技術は、多くの方法でコンピューティングデバイスの機能を向上することができる。上述したように、閉塞推論システムは、閉塞された領域の一部を擬似可視として分類し、その結果、すべての領域を可視化して評価することを必要とする技術よりも早く決定を実行することができ、周囲の環境を分析する際の処理およびコンピューティングリソースを節約することができる。いくつかの場合では、説明される技術の動的な性質（例えば、可視領域または擬似可視領域に基づいて車両を制御する）により、自律車両などの車両が環境を横断するための軌道を生成および／または選択するために列挙される規則が少なくて済む。閉塞領域の擬似可視部分に部分的に基づいて車両を制御することにより、とりわけ特定のルールが存在しない状況が発生した場合に、車両が設定された指示に従うことを要求するのではなく、車両が周囲に適応して反応することにより、車両の安全性が向上させられることができる。さらに、車両が遭遇するすべての運転状況に対して列挙されたルールの数は実質的に無限であり得るため、閉塞領域の擬似可視部分に基づいて車両を制御することは、処理リソースを削減することができる。さらに、時間の経過とともに閉塞領域の擬似可視領域を指定する技術は、動的物体が車両に干渉または衝突し得ないという信頼性を高めることができ、これにより、安全な結果、性能、および／または精度を向上させ得る。コンピュータの機能に関するこれらおよびその他の改善点が、本明細書で論じられる。
本明細書で説明される技術は、多くの方法で実装されることができる。例示的な実装は、以下の図を参照して提供される。自律車両のコンテキストで論じられているが、本明細書で説明される方法、装置、およびシステムは、様々なシステム（例えば、センサーシステムまたはロボットプラットフォーム）に適用することができ、自律車両に限定されない。別の例では、本技術は、航空または航海のコンテキスト、またはシステムにとって未知の動作に関連し得る物体またはエンティティを含む任意のシステムで利用されることができる。さらに、本明細書で説明されている技術は、実データ（例えば、センサーを使用してキャプチャされたもの）、シミュレーションデータ（例えば、シミュレータによって生成されたもの）、またはその２つの任意の組み合わせで使用されることができる。
図１は、本開示の実施形態に従って、センサーデータをキャプチャし、環境内の閉塞領域および閉塞領域に近接する可視領域を決定し、閉塞領域の占有状態を決定し、閉塞領域の占有状態に少なくとも部分的に基づいて車両を制御するための例示的なプロセス１００の絵図的フロー図である。
動作１０２において、プロセスは、環境のセンサーデータをキャプチャすることを含むことができる。いくつかの例では、センサーデータは、車両（自律車両またはその他）上の１つまたは複数のセンサーによってキャプチャされることができる。例えば、センサーデータは、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、画像センサー、time of flightセンサー、ソナーセンサなどの１つまたは複数によってキャプチャされたデータを含み得る。
例は、動作１０２でキャプチャされた画像データ１０４を示している。例えば、画像データ１０４は、環境内の物体１０６を表すことができる。いくつかの例では、物体１０６は、車両、歩行者、動物などを表すことができる。いくつかの例では、動作１０２でキャプチャされたセンサーデータは、物体の種類（例えば、車両、歩行者、自転車、動物など、物体の分類を示すセマンティック情報）を含むがこれに限定されない、物体１０６に関する情報を決定するために、用いられることができる。いくつかの例では、操作は、物体１０６の種類、物体１０６に関連付けられた境界ボックス、物体１０６に関連付けられたセグメント情報、および／または物体に関連付けられた動きの情報、および本明細書で論じられるようなそれに関連付けられた任意の不確実性を決定することを含むことができる。動作１０４は、さらに、環境を表すマップデータにアクセスすることを含むことができる。
動作１０８において、プロセスは、環境における閉塞領域および閉塞領域に近接した可視領域を決定することを含むことができる。本明細書で使用される用語「閉塞」および「可視」は、環境のエリアが車両のセンサーに対して閉塞および／または可視である確率（例えば、閾値以上）を表すことができる。例１１０は、第１の時間Ｔ1に環境内の走行可能な領域１１６の交差点に接近した車両１１２を示している。走行可能な領域１１６は、走行可能な領域１１６の交差点に右から近づく通行方向１１３を含む。いくつかの例では、車両１１２は、閉塞グリッド１１４を使用して、環境の閉塞エリアを表すことができ、この閉塞グリッド１１４は、環境のマップデータに関連して格納されてもよく、または、環境内の物体、与えられたセンサー範囲、視野、および／またはマップデータに基づいて動的に生成されてもよい。閉塞グリッド１１４は、複数の閉塞フィールド（例えば、閉塞グリッド１１４に描かれたボックス）を含むことができ、これらは、走行可能な領域など、環境の離散的なエリアを表すことができる。いくつかの例では、閉塞フィールドは、閉塞状態（例えば、自律車両の１つまたは複数のセンサーにその場所が見えるかどうかを示す）および占有状態（例えば、その場所が車両、歩行者、動物などの物体によって占有されているかどうかを示す）を示すことができる。閉塞状態および／または占有状態は、自律車両によってキャプチャされたＬＩＤＡＲデータ、ＲＡＤＡＲデータ、および／または画像データを用いて決定されることができる。閉塞グリッドを生成するための付加的な詳細は、例えば、「Occlusion Aware Planning」と題され、２０１８年６月１８日に出願された特許文献１に記載されており、その全体が参照により本明細書に組み込まれている。
議論の目的のために、センサーデータをキャプチャ（または利用）する車両１１２は、米国道路交通安全局が発行したレベル５の分類に従って動作するように構成された自律車両とすることができ、この分類は、運転者（または乗員）がいつでも車両を制御することを期待されない状態で、すべての移動のためにすべての安全上重要な機能を実行することができる車両を説明する。このような例では、車両１１２は、すべての駐車機能を含む始動から停止までのすべての機能を制御するように構成されることができるので、非占有とすることができる。これは単なる一例であり、本明細書で説明されるシステムおよび方法は、常に運転者によって手動で制御される必要がある車両から、部分的または完全に自律的に制御される車両までを含む、任意の地上走行型、空中走行型、または水上走行型の車両に組み込むことができる。車両１１２に関連する付加的な詳細は、本開示全体で説明される。
物体１０６は、図示された例１１０で示すように、環境内にも配置されている。いくつかの例では、物体１０６は、車両、歩行者、自転車、動物などを表すことができる。例１１０で示される環境は、走行可能な領域１１６および走行不能な領域１１８を含むことができる。いくつかの例では、走行可能な領域１１６は、車両１１２が（合法的に）横断できる環境の任意のエリア（例えば、道路、車道、駐車場など）を含むことができる。いくつかの例では、走行不能な領域１１８は、車両１１２が合法的または物理的に横断できない環境のエリア（例えば、歩道、建物、公園など）を表すことができる。
いくつかの例では、閉塞グリッド１１４は、環境内で車両１１２をローカライズし、環境に関連付けられたマップデータにアクセスすることに少なくとも部分的に基づくことができる。例えば、マップデータは、走行可能な領域１１６に対応する環境の領域を示す車線要素などのマップ要素を含むことができる。マップ要素の付加的な例は、建物または構造物、横断歩道要素、自転車レーン要素、交差点要素、車線分割要素、信号機要素、停止標識要素、停止線要素、イールド標識要素、イールド線要素、駐車場レーン要素、車道要素、スピードバンプ要素、信号無視領域（例えば。仮想横断歩道など）、軌道のウェイポイント（既知の軌道など）、乗客のピックアップポイント、標識の位置要素、ジオフェンス要素などを備えることができる。いくつかの場合では、物体に関連付けられた予測された軌道は、マップデータに基づくことができる。
上述したように、閉塞グリッド１１４は、閉塞グリッド１１４の閉塞フィールドの閉塞状態および／または占有状態を表すことができる。さらに、いくつかの例では、占有状態は、「不確定」状態をさらに含んでいてもよく、これは、利用可能なデータに基づいて、閉塞フィールドが占有されているか否かが現在不明であることを意味する。不確定状態は、例えば、物体１０６のように、車両１１２のセンサーの視界から環境の一部を遮る物体によって引き起こされ得る。例１１０では、物体１０６によって妨害（閉塞）されている閉塞グリッド１１４の閉塞フィールドが薄い灰色に着色されており、閉塞領域１２０を示している。占有されている閉塞グリッド１１４の閉塞フィールドは、黒く着色されている（例えば、物体１０６によって少なくとも部分的に覆われている）。白く着色された閉塞グリッド114の閉塞フィールドは、可視領域１２２を示す。
この例１１０では、可視領域１２２の少なくとも一部は、閉塞領域１２０に近接している。例１１０の閉塞領域１２０および可視領域１２２は、明確にするために走行可能な領域１１６上にのみ示されているが、閉塞グリッド１１４およびそれに付随する閉塞領域、占有領域、および／または可視領域は、同様に走行不能な領域１１８にも延びていてもよい。例えば、閉塞グリッドは、歩行者、自転車、歩道をまたぐ車道を経由して走行可能な領域に出入りする車両などに関連付けられた車両の決定に関連する情報をキャプチャするために、歩道などの走行不能な領域に延びていてもよい。
車両１１２は、動的物体が右から閉塞領域１２０に接近するという知識（例えば、マップデータから得られる）に基づいて、可視領域１２２を閉塞領域への「入口領域」として指定してもよい。いくつかの例では、可視領域１２２の入口領域は、閉塞領域１２０の第１の範囲が入口領域の第２の範囲に対応するように、閉塞領域１２０と連続していてもよい。走行可能な領域１１６のような走行可能な領域を評価する場合、入口領域の第２の範囲は、閉塞領域１２０に関連する走行可能な領域１１６に対応してもよい。少なくともいくつかの例では、そのような入口領域は、閉塞領域と可視領域との間の境界に沿って、走行可能な表面の一方の側から他方の側までの連続した可視閉塞フィールド（例えば、それぞれの閉塞フィールドの少なくとも１つの近接した側を共通に有する）を必要とし、その境界は、入ってくる進行方向に対応する。出口領域を決定するために同様の手法が実行されることができ、閉塞領域と可視領域の間の境界は、閉塞領域からの出て行く方向に対応する。閉塞領域の両側に入口領域と出口領域が識別されると、閉塞領域内の動的物体に関する推論を実行することができる。そのような例では、走行可能な領域１１６に沿って走行している動的物体は、走行可能な領域１１６に沿って、入口領域から閉塞領域１１６に入り、閉塞領域を通過して、出口領域を経由して出る可能性が高い。
動作１２４において、プロセスは、可視領域をある時間観察することによって、閉塞領域の占有状態を決定することを含むことができる。例１２６は、第２の時間Ｔ2で環境内の擬似可視領域１２８を決定することを例示している。例えば、擬似可視領域１２８は、車両１１２が、時間Ｔ1から時間Ｔ2まで可視領域１２２を観察することに基づいて、動的物体によって占有されていないと特定の確度で決定した閉塞グリッド１１４の閉塞フィールドに対応することができる。擬似可視領域１２８が占有されていないという決定は、走行可能な領域１１６の進行方向が右から閉塞領域１２０に近づくこと、および可視領域１２２が先ほど説明したように入口領域であることを示す環境のマップデータにも基づいていてもよい。いくつかの例では、入口領域から閉塞領域１２０に入る動的物体がなくても、車両１１２は、閉塞フィールドのすべてが擬似可視とみなされるまで、閉塞グリッド１１４の閉塞フィールドが、閉塞グリッドのエリアに関連付けられた進行方向に沿って、閾値速度および／または閾値時間に基づいて時間が経過すると、決定し続けることができる。すなわち、入口領域に近い閉塞フィールドは、出口領域に近い閉塞フィールドよりも先に擬似可視化され得る。
例１２６では明瞭にするために、通常ｘ方向とｙ方向にあるように描かれているが、閉塞領域１２０および／または可視領域１２２は、例えば、物体１０６の高さに対応するｚ方向成分に関連する閉塞情報を表すこともある。別の例では、閉塞情報は、丘や谷などの周辺環境の地形や、停止信号や列車の踏切信号など、閉塞されていても軌道決定に関連する物体の高さに対応するｚ方向成分に関連付けられていてもよい。
動作１３０において、プロセスは、閉塞領域の占有状態に少なくとも部分的に基づいて、車両を制御することを含むことができる。例えば、閉塞領域１２０の占有状態が、閉塞領域に動的物体が存在しない確率が高いことを示している場合（例えば、閉塞領域１２０の閉塞フィールドのすべての列および／または行を「擬似可視」と指定させることによって）、車両１１２は、車両１１２が効率的かつ安全に目的地に到達するための軌道に基づいて環境を横断し得る。
別の例では、閉塞領域１２０の占有状態が、閉塞領域に動的物体が存在することを示している場合（または、そうでなければ、閉塞領域に動的物体が存在しないかどうかを決定するための情報が不十分である場合）、車両１１２は、閉塞領域１２０から物体が再出現する（例えば、車両のセンサーによって感知される）のを待ち、および／またはセンサーに対してより大きな割合の可視性を与える位置に移動することを試みてもよい。動的物体が再び現れると、車両１１２は、物体が意図した軌道のエリアを取り除くのを待ってから車両の意図した目的地に進むなど、適宜対応してもよい。少なくともいくつかの例では、物体が閉塞領域に入ると、擬似可視空間に関する推論が再評価され得る。非限定的な例として、物体が閉塞領域に入ると、閉塞グリッド１１４内のすべての閉塞フィールドが閉塞としてマークされ、擬似可視決定が再計算されてもよい。
占有状態は、車両を制御するために様々な方法で使用されることができるが、他の入力もまた、車両を制御することを選択することに寄与し得る（例えば、安全システム、ユーザー入力など）。例えば、いくつかの例では、占有状態は、環境を横断するために車両を制御することに関連する多くのコストの１つとして使用することができる。車両を制御するために使用される付加的なコストの例は、操舵コスト（例えば、車両のステアリング角度に基づくコスト）、参照コスト（例えば、参照線からの軌道の距離に基づくコスト）、加速コスト（例えば、車両の最大加速度に基づくコスト）、ブレーキコスト（例えば、最小ブレーキ時間に基づくコスト）などの１つまたは複数を含むことができるが、これらに限定はされない。
閉塞領域、入口領域、擬似可視領域、および占有状態の付加的な詳細については、本開示を通じて議論される。
図２は、環境における複数の閉塞フィールドを備えた例示的な閉塞グリッドの透視図を示す環境であり、本開示の実施形態に従って、障害物に起因する閉塞グリッドの閉塞領域および非閉塞領域を決定する閉塞推論コンポーネントを含む車両を示す図である。
図示されるように、環境２００は、環境２００を表すデータをキャプチャする１つまたは複数のセンサーシステム２０４を含む車両２０２を含むことができる。
少なくとも１つの例では、上述したように、車両２０２は、車両２０２上に配置されることができるセンサーシステム２０４と関連付けることができる。センサーシステム２０４は、light detection and ranging（ＬＩＤＡＲ）センサー、radio detection and ranging（ＲＡＤＡＲ）センサー、超音波トランスデューサ、sound navigation and ranging（ソナー）センサー、位置センサー（例えば、グローバルポジショニングシステム（ＧＰＳ）、コンパスなど）、慣性センサー（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（ＲＧＢ、赤外線、強度、深度など）、ホイールエンコーダ、マイク、環境センサー（温度センサー、湿度センサー、光センサー、圧力センサーなど）、time of flightセンサー（ＲＦ変調光源、range gated imager、direct time-of-flight imagerなど）などを含むことができる。センサーシステム２０４は、センサーデータを生成することができ、これは、車両２０２に関連付けられた車両コンピューティングデバイス２０６によって利用されることができる。
少なくとも１つの例では、車両コンピューティングデバイス２０６は、閉塞推論コンポーネント２０８においてセンサーデータを利用することができる。例えば、閉塞推論コンポーネント２０８は、閉塞データおよび／またはマップデータにアクセスし、閉塞グリッド内の閉塞フィールドの閉塞状態および占有状態を決定することができる。
例として、限定ではないが、環境２００内の車両２０２は、交差点２１０に接近している。いくつかの例では、車両２０２は、マップデータにアクセスし、閉塞グリッド２１２が交差点２１０に関連付けられていることを決定することができる。いくつかの例では、交差点２１０は、車両２０２が交差点に入る一方通行の交通に譲ることが要求される交差点を表すことができる。
閉塞グリッド２１２は、環境２００の一部を離散的な領域に分割する複数の閉塞フィールドを含むことができる。説明のために均一な大きさの領域として描かれているが、閉塞フィールドはそのように限定される必要はなく、不均一な寸法（例えば、車両２０２からの距離、走行可能なエリアの種類（例えば、市街地、高速道路など）などに少なくとも部分的に基づいて、大きいまたは小さい）を有することができる。いくつかの例では、閉塞フィールド２１４は、閉塞状態（例えば、閉塞フィールド２１４が、車両２０２の１つまたは複数のセンサーに関連する感知された領域２１６内にあるかどうかの表示）を表し得る。理解できるように、環境２００は、閉塞グリッド２１２の一部が車両２０２の感知された領域２１６の外に落ちる原因となる１つまたは複数の障害物２１８、２２０、および２２２を含み得る。したがって、閉塞グリッド２１２の非閉塞領域２２４は、車両２０２によって「見る」ことができる閉塞グリッド２１２の領域を表すことができ、すなわち、車両２０２は、非閉塞領域２２４を表すセンサーデータをキャプチャすることができる。同様に、閉塞領域２２６は、車両２０２によって「見る」ことができない閉塞グリッド２１２の領域を表すことができる（例えば、予想されるセンサー範囲、視野、対応するマップデータなどに基づいて）。いくつかの例では、閉塞グリッド２１２は、操作を実行するのに必要な時間および／または情報に基づいて生成されてもよい（例えば、対向車の推定速度が対向車線の最小視認距離をもたらすことを考慮して車線を横切る）。図２に示されているように、閉塞領域２２６の閉塞フィールドは、その領域に対応するセンサーデータがないことを表すために灰色にシェーディングされており、一方、非閉塞領域２２４はシェーディングがされていない。
いくつかの例では、閉塞フィールドが物体によって占有されている場合、閉塞フィールドは、物体のアイデンティティを示す追加のメタデータ、ならびに閉塞グリッドを通る物体の経路を示すデータを格納することができる。例えば、閉塞推論コンポーネント２０８の閉塞速度コンポーネント２２８は、閉塞グリッドを通る物体の経路を決定するとともに、物体が閉塞グリッドを通る経路に沿って移動する際の物体の速度を決定し得る。さらに、閉塞速度コンポーネント２２８は、物体の速度を、車両２０２を制御する方法に関する決定をすることに関連付けられた１つまたは複数の閾値速度と比較してもよい。いくつかの例では、閉塞速度コンポーネント２２８は、車両２０２のセンサーシステム２０４に対して別の方法で妨害されたエリアに動的物体が存在するかどうかを決定するなど、環境内の閉塞領域を識別および／または評価する際に、閾値速度を使用してもよい。
静的閉塞領域の識別と評価に関する詳細は、図３と図４に関連して後述し、移動閉塞領域の識別と評価に関する詳細は、図５Ａと図５Ｂに関連して後述する。
図３は、本開示の実施形態による、静的閉塞領域と、その静的閉塞領域の一方の側から他方の側に通過する動的物体を識別する例である。
環境３０２は、車両３０４（例えば、自律車両）、第１の静的物体３０６（例えば、静止または駐車している別の車両）、および第２の動的物体３０８（例えば、通行方向３１１で走行可能な領域３１０に沿って移動している別の車両）を含む。図示されるように、環境３０２は、初期時間（例えば、Ｔ1）を表し得る。初期時間Ｔ1において、静的物体３０６は、車両３０４のセンサーから環境３０２の一部を難読化し、薄い灰色のシェーディングで示される閉塞領域３１２を引き起こしてもよい。車両３０４は、閉塞されていない可視領域３１４のような多数の可視領域を感知することができ得る。通行方向３１１は、環境３０２のマップデータを用いて決定されてもよく、および／または例えば、通行方向３１１を決定するために分析される車両３０４（例えば、車両が走行可能な面３１０に沿ってどの方向に走行しているかを観察する）のセンサーから受信した環境３０２の知覚データによって決定されてもよい。
いくつかの例では、車両３０４の閉塞推論システムは、マップデータおよび／または車両３０４のセンサーからのデータを使用し、初期時間Ｔ1における環境３０２の環境表現３１６を生成してもよい。環境表現３１６は、車両３０４、静的物体３０６、動的物体３０８、および走行可能な領域３１０の表現を含む。
上述したように、車両３０４は、環境３０２の離散的なエリアを表す複数の閉塞フィールドを含む閉塞グリッド３１８を生成してもよい。いくつかの例では、閉塞フィールドは、閉塞状態（例えば、その場所が自律車両の１つまたは複数のセンサーに対して可視であるかどうか、その場所がセンサーに対して閉塞であるかどうか、その場所がセンサーの範囲外であるかどうか、などを示す）および占有状態（例えば、その場所が車両、歩行者、動物などの物体によって占有されているかどうかを示す）を示すことができる。閉塞グリッド３１８は、環境のマップデータから生成されることができ、閉塞推論システムは、車両３０４のセンサーからのデータを使用して、閉塞フィールドの状態を決定することができる。
例えば、車両３０４の閉塞推論システムは、環境のマップデータを使用して、走行可能な領域３１０に対応する閉塞グリッド３１８の閉塞フィールドを生成してもよい。また、車両３０４の閉塞推論システムは、１つまたは複数のセンサーを使用して静的物体３０６を識別し、静的物体３０６が検出された閉塞フィールドを「占有」（例えば、黒くシェーディングを付けた閉塞フィールドで示される）として指定してもよい。また、閉塞推論システムは、静的物体３０６が、１つまたは複数のセンサーが閉塞領域３１２を見るのを妨害していると決定してもよい。この決定に基づいて、閉塞推論システムは、閉塞領域３１２に含まれる閉塞フィールドが占有されているか否かを確実に言うことができないため、閉塞領域３１２に含まれる閉塞フィールドの表示を「閉塞」および／または「不確定」として割り当ててもよい。
車両３０４の閉塞推論システムはまた、マップデータを使用して、走行可能な領域３１０に関連付けられた通行方向を決定してもよい。例３００では、動的物体３０８によって環境３０２で示されるように、進行方向は右から左へ移動する。走行可能な領域３１０に関連付けられた進行方向に基づいて、車両の閉塞推論システムは、可視領域３１４の少なくとも一部を、閉塞領域３１２への入口領域として指定することができる。いくつかの例では、入口領域は、定義上、閉塞領域へのすべての可能な入口に及ばなければならない。スパニングは、通行方向に基づいて、入口領域の閉塞領域３１２の境界に沿って、走行可能な表面の第１の側と他の側とを接続する、視認可能な連続的に接続された閉塞フィールド（例えば、別の隣接する閉塞フィールドと共通の少なくとも１つの側を有する閉塞フィールド）の一部を決定することによって決定されてもよい。閉塞領域への全ての可能な入口にスパニングすることにより、入口領域は、閉塞領域に動的物体が存在するかどうかについてのより高い確実性を車両に提供する（例えば、通行の進行方向に沿って閉塞領域３１２に入る動的物体を閉塞する可能性のある閉塞フィールドがない）。入口領域を指定することにより、車両３０４は、動的物体が可視領域３１４を介してのみ閉塞領域３１２に進入し、閉塞領域３１２を通って同じ通常の方向に進むことを、比較的高い確実性で決定することができる。車両３０４の閉塞推論システムは、次に、この情報を車両３０４の計画システムに提供してもよく、この計画システムは、車両３０４を制御するための決定を行うために使用されてもよい。同様の技術は、出口領域（例えば、閉塞領域３１２を通過する通行方向に関して、出口側の閉塞領域３１２の第２の境界にまたがる領域）を決定するために適用されてもよい。少なくともいくつかの例では、入口領域および／または出口領域が識別されない場合、既知の閉塞を考慮して車両を操作するための代替制御スキームが採用されてもよい。
環境３２０は、初期時間Ｔ1後の、第２の時間Ｔ2における環境３０２に対応している。図示されているように、車両３０４および静的物体３０６の両方は、初期時間Ｔ1から第２の時間Ｔ2まで静止したままであり、したがって、閉塞領域３１２は同一、すなわち、「静的」なままである。動的物体３０８は、初期時間Ｔ1と第２の時間Ｔ2との間に、走行可能な領域３１０を横断するように軌道に沿って進行している。
さらに、いくつかの例では、車両３０４の閉塞推論システムは、マップデータおよび／または車両３０４のセンサーからのデータを使用して、第２の時間Ｔ2における環境３２０の環境表現３２２を生成してもよい。環境表現３２２は、車両３０４、静的物体３０６、動的物体３０８、および走行可能な領域３１０の表現を含む。
閉塞グリッド３１８は、環境表現３２２にも表現されている。初期時間Ｔ1から第２の時間Ｔ2へと時間が経過するにつれ、車両３０４の閉塞推論システムは、以前に不確定であると指定された閉塞フィールドを「擬似可視」であると指定することができる。例えば、初期時間Ｔ1において、車両３０４のセンサーは、可視領域３１４の入口領域で動的物体３０８を検出することができる。次に、第２の時間Ｔ2において、車両３０４のセンサーは、閉塞領域３１２の反対側に再び現れた動的物体３０８を検出することができる。静的閉塞領域および静的閉塞領域に関連する入口領域のこれらの観察に基づいて、車両３０４は、比較的高い確度で、閉塞領域３１２内の動的物体３０８によって占有される走行可能な領域３１０の車線に動的物体が存在しないことを仮定することができる。このような指定は、例えば、特徴的なマッチングによって、または動的領域に入った物体が出た物体と同一であると決定するためのエンベッディングの使用によって行われてもよい。少なくともいくつかの例では、観察されたエンティティの動的および／または運動学的を使用して、擬似可視閉塞フィールドを決定してもよい。このような例では、車両が１５ｍ／ｓの速度で進入した場合、車両が走行している列の閉塞フィールドは、１５ｍ／ｓの速度で右から左（または通行方向）に向かって順に擬似可視と指定されてもよい（フィールドの長さに基づいて）。例えば、閉塞推論システムは、動的物体３０８が、閉塞領域３１２に存在する別の物体と接触することなく、閉塞領域３１２を通過したと仮定してもよい。車両３０４の閉塞推論システムは、それゆえ、動的物体３０８が通過した閉塞グリッド３１８の動的フィールドを擬似可視領域３２４（濃い灰色のブロックで示す）と指定し、この情報を使用して車両３０４を適宜制御してよい。少なくとも他の例では、閉塞領域に入る動的物体は、閉塞フィールドの状態を「不確定」に「リセット」してもよく、以下と同様の処理を用いて、閉塞フィールドを擬似可視領域としてマークしてもよい。
いくつかの例では、車両３０４の閉塞推論システムは、閉塞グリッド３１８の閉塞フィールドを擬似可視として指定するために、または代替的に、最小閾値速度および／または閾値時間を使用してもよい。閾値速度は、合理的な動的物体が環境内を走行することが予想される最小速度に対応してもよい。例えば、走行可能な領域３１０の中央車線は、擬似可視性の参照として使用するための、可視領域３１４から閉塞領域３１２を通過する動的物体を有さない。場合によっては、閉塞領域内に、車両３０４を制御するための決定を行うことに依然として関連し、動的物体３０８よりも遅い速度で移動する動的物体が存在し得る。そのような物体を考慮するために、車両は、歩行する歩行者の平均速度（例えば、１．５ｍ／ｓ）などの最小閾値速度を用いて、時間の経過とともに、入口領域の位置から始まる閉塞領域３１２内の閉塞フィールドの指定を不確定から擬似可視に変更してもよい。少なくともいくつかの例では、異なる最小閾値速度が定義されてもよい（例えば、車両３０４までの距離などに基づいて増加または減少する）。初期時間Ｔ1から第２の時間Ｔ2まで可視領域３１４を観察し続けると、閉塞推論システムは、動的物体が閉塞領域に入らない限り、または閉塞領域３１２の閉塞フィールドのすべてが擬似可視になるまで、入口領域から閉塞領域３１２まで、閉塞フィールドの指定を不確定から擬似可視に変更してもよい。非限定的な例として、各閉塞フィールドが１．５ｍの長さを有する場合、１．５ｍ／ｓの最小閾値速度で移動する動的物体は、各閉塞フィールドを通過するのに１ｓかかることになる。このような例では、閉塞フィールドは１ｓごとに「擬似可視」とマークされ、行ごとに右端の閉塞フィールドから閉塞領域３１２を経て出口領域へと順にマークされる。すべての閉塞フィールドが擬似可視（またはその他の方法で可視化され、説明される）としてマークされると、車両３０４は、交差点を横断する経路を計画し得る。（進行することが安全である可能性が高いことを示すために、（例えば、高度な運転支援システムにおいて）人間の運転者にアラートを送信することを含む）。
上述したように、閾値速度を歩行者の平均速度（例えば、１．５ｍ/ｓ）に設定することは、車両３０４のセンサーに、閉塞領域を進行方向に速いペースで移動する動的物体を検出することを与える。多くの場合、閾値速度よりも遅く移動する物体は、車両を制御するために使用される決定の多くに影響を与えないため、車両はそのような物体を「動かない」ものとして扱うことができる。しかしながら、車両３０４が、閾値速度よりも遅く移動する動的物体を検出した場合、車両３０４は、それに応じて軌道を変更してもよい。さらに、本明細書の様々な例では、１．５ｍ/ｓの閾値速度が記載されているが、任意の適切な速度が最小閾値速度として使用されてもよい。
図４は、本開示の実施形態による、静的閉塞領域と、その閉塞エリアから出る動的物体を識別する例である。
環境４０２は、車両４０４（例えば、自律車両）と、第１の静的物体４０６（例えば、静止または駐車している別の車両）と、第２の動的物体４０８（例えば、静的物体４０６から走行可能な領域４１０に出たばかりの歩行者；「Ｐ」とも表示されている）とを含む。図３の走行可能な領域３１０と同様に、走行可能な領域４１０は、右から左への通行方向４１１に関連付けられている。通行方向４１１は、環境４０２のマップデータを用いて決定されてもよく、および／または例えば、通行方向４１１を決定するために分析される車両４０４のセンサーから受信した環境４０２の知覚データ（例えば、車両が走行可能な面４１０に沿ってどの方向に走行しているかを観察する）によって決定されてもよい。
図示されるように、環境４０２は、初期時間（例えば、Ｔ1）を表してもよい。初期時間Ｔ1において、静的物体４０６は、車両４０４のセンサーから環境４０２の一部を難読化し、薄い灰色のシェーディングで示される閉塞領域４１２を引き起こし得る。車両４０４は、閉塞されていない可視領域４１４などの多数の可視領域を感知することができ得る。初期時間Ｔ1では、動的物体４０８は閉塞エリアに位置しており、したがって、車両４０４のセンサーは、動的物体４０８の位置または存在をまだ検出していない。換言すれば、車両４０４は、初期時間Ｔ1において、動的物体４０８を認識していない。
いくつかの例では、車両４０４の閉塞推論システムは、マップデータおよび／または車両４０４のセンサーから受信したデータを使用して、初期時間Ｔ1における環境４０２の環境表現４１６を生成してもよい。環境表現４１６は、車両４０４、静的物体４０６、および走行可能な領域４１０の表現を含む。動的物体４０８も、例示のために環境表現４１６に含まれるが、閉塞領域412に位置しており、車両４０４のセンサーによって感知されることができないため、車両４０４によって生成された環境表現に含まれないことがある。
図３に関連して論じられる閉塞グリッド３１８と同様に、車両４０４は、環境４０２の離散的なエリアを表す複数の閉塞フィールドを含んだ閉塞グリッド４１８を生成し得る。閉塞グリッド４１８は、環境のマップデータから生成されることができ、閉塞推論システムは、車両４０４のセンサーからのデータを使用して、閉塞フィールドの状態を決定することができる。
例えば、車両４０４の閉塞推論システムは、環境のマップデータを使用して、走行可能な領域４１０に対応する閉塞グリッド４１８の閉塞フィールドを生成してもよい。また、車両４０４の閉塞推論システムは、１つまたは複数のセンサーを使用して静的物体４０６を識別し、１つまたは複数のセンサーが閉塞領域４１２から見ることを、静的物体４０６が妨害していると決定してもよい。この決定に基づいて、閉塞推論システムは、閉塞領域４１２に含まれる閉塞フィールドが占有されているか否かを確実に言うことができないため、閉塞フィールドの表示を「不確定」と割り当ててもよい。
また、車両４０４の閉塞推論システムは、マップデータを使用して、走行可能な領域４１０に関連付けられた通行方向を決定してもよい。例４００では、進行方向は右から左へ移動する。走行可能な領域４１０に関連付けられた進行方向に基づいて、車両の閉塞推論システムは、可視領域４１４を閉塞領域４１２への入口領域として指定することができる。
環境４２０は、初期時間Ｔ1後の、第２の時間Ｔ2における環境４０２に対応している。図示されているように、車両４０４および静的物体４０６の両方は、初期時間Ｔ1から第２の時間Ｔ2まで静止したままであり、したがって、閉塞領域４１２は同一のままである。車両４０４および静的物体４０６（例えば、閉塞領域４１２を引き起こしている物体）の両方が、初期時間Ｔ1から第２の時間Ｔ2まで静止したままであるため、例４００の閉塞領域は、静的閉塞領域と考えられてよい。動的物体４０８は、初期時時間Ｔ1に静的物体４０６の背後から走行可能な領域４１０を横断して、第２の時間Ｔ2に静的物体４０６の前方に現れるように軌道を進行させ、車両４０４のセンサーに対して可視となる。
さらに、いくつかの例では、車両４０４の閉塞推論システムは、マップデータおよび／または車両４０４のセンサーからのデータを使用して、第２の時間Ｔ2における環境４２０の環境表現４２２を生成してもよい。環境表現４２２は、車両４０４、静的物体４０６、動的物体４０８、および走行可能な領域４１０の表現を含む。
閉塞グリッド４１８は、環境表現４２２にも表現されている。初期時間Ｔ1から第２の時間Ｔ2へと時間が経過するにつれて、車両４０４の閉塞推論システムは、以前に不確定と指定された閉塞フィールドを、静的閉塞領域４１２の知識に基づいて「擬似可視」と指定することができる。例えば、車両４０４の閉塞推論システムは、閉塞グリッド４１８の閉塞フィールドを擬似可視と指定するために、上述した１．５ｍ/ｓの速度のような最小閾値の速度を使用してもよい。可視領域４１４および閉塞領域４１２への識別された入口領域を使用して、閉塞推論システムは、閉塞フィールドの指定を不確定から擬似可視領域４２４へと右から左へと変更し始めることができる。閉塞推論システムが、初期時間Ｔ1から第２の時間Ｔ2まで擬似可視領域４２４を生成している間に、動的物体４０８が閉塞領域４１２から車両４０４のセンサーに対して可視なエリアに現れる。車両４０４の閉塞推論システムは、動的物体が閉塞領域に入ってこない限り、または閉塞領域４１２内の閉塞フィールドがすべて擬似可視化されるまで、最小閾値速度に基づいて、閉塞フィールドの指定を不確定から擬似可視化に変更し続けてもよい。
閉塞フィールドの指定を不確定から擬似可視に変更するために最小閾値速度を使用することによって、閉塞推論システムは、以前に見たことのない動的物体４０８が出現したにもかかわらず、時間の経過とともにこれらのフィールドを更新し続けることができる。さらに、静止したドアマンの使用は、車両４０４の計画システムに、環境のすべての領域が見えるように交差点をゆっくりとクリーピングしてから、最終的に交差点のすべての道を通って車両を解放するといった行動をせずに、交差点を通って車両４０４を解放するタイミングについての決定を行うことを与える。代わりに、車両４０４は、閉塞領域４１２が擬似可視になるまで静止することで、人間の運転者の自然な行動を模倣し、その結果、車両内部の乗客および車両外部の人間が、自律車両の行動をより正確に予測し、反応することが与えられる。
図５Ａは、本開示の実施形態による、移動閉塞領域と、移動閉塞領域の擬似可視領域とを識別する例である。図５Ｂは、図５Ａに示す例に対応する閉塞グリッドの例である。
環境５０２は、車両５０４（例えば、自律車両）と、物体５０６（例えば、停車中または駐車中の別の車両）とを含む。車両５０４は、走行可能な領域５０８の交差点に近づく軌道に沿って移動している。図示されるように、環境５０２は、初期時間（例えば、Ｔ1）を表してもよい。初期時間Ｔ1において、物体５０６は、車両５０４のセンサーから環境５０２の一部を難読化し、薄い灰色のシェーディングで示され、左境界５１３（１）および右境界５１３（２）を有する閉塞領域５１０を引き起こしてもよい。車両５０４は、閉塞されていない可視領域５１２のような多数の可視領域を感知することができ得る。
環境５１４は、初期時間Ｔ1の後、第２の時間Ｔ2Aにおける車両５０４および物体５０６を含む。初期時間Ｔ1から第２の時間Ｔ2Aまで時間が経過するにつれて、車両５０４は、走行可能な領域５０８の一部を横断し、交差点の近くに到達している。したがって、車両５０４が物体５０６に対して相対的に移動すると、閉塞領域５１０は、形状および寸法が変化し、閉塞領域５１０の位置に対応する破線で示された閉塞領域５１６（Ａ）となる。閉塞領域５１０は、左境界５１３（１）および右境界５１３（２）によって環境５１４に示されている。また、閉塞領域５１６（Ａ）は、左境界５１５（１）と右境界５１５（２）を有しながら環境５１４に示されている。さらに、可視領域５１２は、形状および寸法が変化して、第２の時間Ｔ2Aでは可視領域５１８（Ａ）となる。
初期時間Ｔ1から第２の時間Ｔ2への閉塞エリアおよび可視エリアの変化のさらなる説明を提供するために、環境５２０は初期時間Ｔ1の後で且つ第２の時間Ｔ2Aに対応する、第２の時間Ｔ2Bにおける車両５０４および物体５０６を含む。また、環境５２０は、車両５０４が初期時間Ｔ1から第２の時間Ｔ２Ａ／Ｔ２Ｂに移動する際に、可視領域５１２と可視領域５１８（Ａ）の大きさや寸法の違いに対応する擬似可視領域５２２（Ａ）を含む。擬似可視領域５２２（Ａ）は、閉塞領域５１０の右境界５１３（２）と、閉塞領域５１６（Ａ）の右境界５１５（２）とによって形成される。いくつかの例では、車両の閉塞推論システムは、マップデータを利用し、本明細書で説明されるように、走行可能な領域５０８の通行方向を決定し、既知の通行方向に基づいて、可視領域５１２を閉塞領域５１０への入口領域として指定することができる。少なくともいくつかの例では、そのような指定は、走行可能な領域に関連付けられた進行方向に依存されてもよい。非限定的な例として、閉塞領域５１６（Ａ）の前方（例えば、進行方向に対し、この場合は閉塞領域５１０の左側）の環境の一部を閉塞する新たな閉塞エリアは、閉塞されたものとして指定され、「擬似可視」ではない場合もあり得る。この例では、車両５０４および閉塞領域５１０を作成する物体５０６の少なくとも一方が移動しているため（この場合、車両５０４）、車両の閉塞推論システムは、さらに、閉塞領域５１２、５１８（Ａ）、および／または５１８（Ｂ）において、移動閉塞領域として指定してもよい。車両５０４の閉塞推論システムは、交差点で停止するかどうか、交差点でどのくらいの時間停止するか、交差点をどのくらいの速度で加速するかなど、車両５０４の制御に使用する移動閉塞領域に関する情報を、車両５０４の計画システムに供給することができる。
いくつかの例では、閉塞領域５１０に対応する閉塞領域５１６（Ａ）の一部を、擬似可視領域を決定する目的で、静的閉塞領域としてみなすことができる。すなわち、閉塞推論システムは、環境５２０に図示された擬似可視領域５２２（Ａ）に加え、Ｔ1とＴ2の間の閾値速度および／または時間帯に基づいて、閉塞領域５１６（Ｂ）の一部を擬似可視領域５２２（Ｂ）として指定することができる。この例では、擬似可視領域５２２（Ｂ）は、閉塞領域５１０の境界５１３（２）と、移動閉塞領域の入口領域から時間の経過とともに通行方向に進行する境界５２３とによって形成される。したがって、静的閉塞領域および移動閉塞領域を評価する技術を組み合わせて、キャプチャしたデータに基づいて擬似可視領域を迅速に決定することができる。少なくともいくつかの例では、擬似可視閉塞領域の決定は、可視または擬似可視の指定を持つ左端の（例えば、通行方向に沿った）閉塞領域から進めてよい。
図５Ｂは、本開示の実施形態に従って、図５Ａで説明される閉塞領域の占有状態を決定することの例５２４である。
いくつかの例では、図５Ａの車両５０４の閉塞推論システムは、マップデータおよび／または車両５０４のセンサーからのデータを使用して、初期時間Ｔ1における図５Ａの環境５０２の環境表現５２６を生成してもよい。環境表現５２６は、車両５０４、物体５０６、および走行可能な領域５０８の表現を含む。上述した閉塞グリッドと同様に、車両５０４は、環境５０２の離散的なエリアを表す複数の閉塞フィールドを含む閉塞グリッド５２８を生成し得る。閉塞グリッド５２８は、環境のマップデータから生成されることができ、閉塞推論システムは、車両５０４のセンサーからのデータを使用して、閉塞フィールドの状態を決定することができる。
例えば、車両５０４の閉塞推論システムは、環境のマップデータを使用して、走行可能な領域５０８に対応する閉塞グリッド５２８の閉塞フィールドを生成してもよい。また、車両５０４の閉塞推論システムは、１つまたは複数のセンサーを使用して物体５０６を識別し、１つまたは複数のセンサーが閉塞領域５１０を見ることを物体５０６が妨害していると決定してもよい。物体５０６によって占有された閉塞フィールドは、黒色に着色され、物体５０６によってこれらのフィールドが占有されていることを示している。この決定に基づいて、閉塞推論システムは、閉塞領域５１０に含まれる閉塞フィールドが占有されているか否かを確実に言うことができないので、閉塞領域５１０に含まれる閉塞フィールドの表示を、「閉塞」および／または「不確定」（例えば、閉塞状態および／または占有状態に関して）として割り当ててもよい。
例５２４では、車両５０４は、交差点を横断しようとし得る。このように、車両５０４は、対向車線が、走行可能な領域５０８の交差点を安全に横断するための視認性を決定するために関連していると決定してもよい。また、車両５０４の閉塞推論システムは、マップデータを使用して、走行可能な領域５０８に関連する通行方向を決定してもよい。例５００および５２４では、進行方向は右から左へ移動する。走行可能な領域５０８に関連する進行方向に基づいて、車両の閉塞推論システムは、可視領域５１２を閉塞領域５１０への入口領域として指定することができる。少なくともいくつかの例では、そのような入口領域は、閉塞領域と可視領域との間の境界に沿って、走行可能な領域５０８の一方の側から他方の側への連続した閉塞フィールド（例えば、それぞれの閉塞フィールドの少なくとも１つの隣接した側を共通に有する）を必要とし、その境界は、入ってくる進行方向に対応する。同様の手法が、出口領域を決定するために実行されることができるが、例外として、閉塞領域と可視領域との間の境界は、閉塞領域からの出て行く進行方向に対応している。閉塞領域５１０の両側で入口領域および出口領域が識別された場合、閉塞領域５１０内の動的物体に関する推論が実行されることができる。そのような例では、走行可能な領域５０８に沿って走行している動的物体は、走行可能な領域５０８に沿って、入口領域から閉塞領域５１０に入り、そこを通って、出口領域を経由して出る可能性が高い。
さらに、いくつかの例では、車両５０４の閉塞推論システムは、マップデータおよび／または車両５０４のセンサーからのデータを使用して、第２の時間Ｔ2Aにおける図５Ａの環境５１４の環境表現５３０を生成してもよい。環境表現５３０は、車両５０４、物体５０６、および走行可能な領域５０８の表現を含む。
閉塞グリッド５２８は、環境表現５３０にも表現されている。また、閉塞領域５１０は、左境界５１３（１）および右境界５１３（２）によって表される。初期時間Ｔ1から第２の時間Ｔ2Aまで時間が経過すると、車両５０４の閉塞推論システムは、移動閉塞領域の知識に基づいて、以前に不確定と指定された閉塞フィールドを「擬似可視」と指定することができる。いくつかの例では、以前に不確定であった閉塞フィールドを擬似可視と指定することは、入口領域および出口領域が移動しても、入口領域および／または出口領域が時間Ｔ1から時間Ｔ2まで存在することに依存されてもよい。車両５０４が、時間Ｔ1から時間Ｔ2までの間に入口領域および少なくともいくつかの例では出口領域を識別することができなくなった場合、車両５０４は、他の技術を使用して環境の横断を実行してもよい。いくつかの例では、移動閉塞領域に対応する閉塞フィールドは、通行方向に対して、例えば、境界５１３（２）から境界５１５（２）に向かって、閉塞から擬似可視に移行するだけでよい。
例えば、時間Ｔ2Bの環境表現５３２に示すように、初期時間Ｔ1では可視であったが、時間Ｔ2Aでは閉塞していた閉塞グリッド５２８の閉塞フィールドは、擬似可視領域５３４に含まれる。擬似可視領域５３４を指定するために、車両５０４の閉塞推論システムは、初期時間Ｔ1において以前に指定された入口領域に動的物体が存在せず、初期時間Ｔ1から第２の時間Ｔ2Aまで入口領域に動的物体が進入しなかったという知識を活用する。したがって、再び、通行方向が右から左であると仮定すると、車両５０４の閉塞推論システムは、擬似可視領域５３４に動的物体が存在しないと仮定することができる。擬似可視領域５３４は、左側の境界５１３（２）および右側の境界５１５（２）で表される移動閉塞領域の擬似可視性を組み込んでもよい。さらに、擬似可視領域５３４は、左の境界線５２３と右の境界線５１３（２）で表される静的閉塞領域の擬似可視性を取り込んでもよい。
車両が走行可能な領域５０８の交差点に近づくときに擬似可視領域５３４を指定することによって、車両５０４の計画システムは、車両が交差点に到達し、交差点を横断する前にすべての領域が可視となるまでゆっくり前進することを必要とする従来の技術よりも、より速くおよび／またはより大きな信頼性を持って、交差点を横断する方法について決定することができる。
図６は、本明細書で説明される技術を実装するための例示的なシステム６００のブロック図を示している。少なくとも１つの例では、システム６００は車両６０２を含むことができ、この車両６０２は、図１の車両１１２、図２の車両２０２、図３の車両３０４、図４の車両４０４、および／または図５Ａおよび図５Ｂの車両５０４に対応することができる。
車両６０２は、車両コンピューティングデバイス６０４、１つまたは複数のセンサーシステム６０６、１つまたは複数のエミッタ６０８、１つまたは複数の通信接続部６１０、少なくとも１つの直接接続部６１２、および１つまたは複数の駆動システム６１４を含むことができる。
車両コンピューティングデバイス６０４は、１つまたは複数のプロセッサ６１６と、１つまたは複数のプロセッサ６１６と通信可能に結合されたメモリ６１８とを含むことができる。図示された例では、車両６０２は自律車両であるが、車両６０２は、任意の他の種類の車両またはロボットプラットフォームである。図示された例では、車両コンピューティングデバイス６０４のメモリ６１８は、ローカライゼーションコンポーネント６２０、知覚コンポーネント６２２、１つまたは複数のマップ６２４、１つまたは複数のシステムコントローラ６２６、閉塞推論コンポーネント６２８、物体軌道コンポーネント６３０、閉塞占有予測コンポーネント６３２、計画コンポーネント６３４、および軌道選択コンポーネント６３６を格納する。図６では説明のためにメモリ６１８に存在するものとして描かれているが、ローカライゼーションコンポーネント６２０、知覚コンポーネント６２２、１つまたは複数のマップ６２４、１つまたは複数のシステムコントローラ６２６、閉塞推論コンポーネント６２８、物体軌道コンポーネント６３０、閉塞占有予測コンポーネント６３２、計画コンポーネント６３４、および軌道選択コンポーネント６３６は、付加的にまたは代替的に、車両６０２にアクセス可能であることが考えられている（例えば、車両６０２から離れたメモリ上に格納されているか、さもなければ車両６０２からアクセス可能である)。
少なくとも１つの例では、ローカライゼーションコンポーネント６２０は、センサーシステム６０６からデータを受信して、車両６０２の位置および／または姿勢（例えば、ｘ－、ｙ－、ｚ－位置、ロール、ピッチ、またはヨーの１つまたは複数）を決定する機能を含むことができる。例えば、ローカライゼーションコンポーネント６２０は、環境のマップを含み、および／または要求／受信することができ、マップ内の自律車両の位置および／または方向を連続的に決定することができる。いくつかの例では、ローカライゼーションコンポーネント６２０は、ＳＬＡＭ（同時ローカリゼーションおよびマッピング）、ＣＬＡＭＳ（キャリブレーション、ローカライゼーションおよびマッピングを同時に行う）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、time of flightデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置を正確に決定することができる。いくつかの例では、ローカライゼーションコンポーネント６２０は、本明細書で説明されるように、軌道を生成するために、および／または閉塞グリッドを含むマップデータをメモリから取得することを決定するために、車両６０２の様々なコンポーネントにデータを提供して、自律車両の初期位置を決定することができる。
いくつかの例では、知覚コンポーネント６２２は、物体検出、セグメント化、および／または分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント６２２は、車両６０２に近接しているエンティティの存在を示す処理済みセンサーデータ、および／またはエンティティの種類（例えば、自動車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、ストップライト、ストップサイン、不明など）としてのエンティティの分類を提供することができる。付加的または代替的な例では、知覚コンポーネント６２２は、検出されたエンティティ（例えば、追跡された物体）および／またはエンティティが配置されている環境に関連付けられた１つまたは複数の特性を示す、処理済みセンサーデータを提供することができる。いくつかの例では、エンティティに関連する特性は、ｘ－位置（グローバルおよび／またはローカルの位置）、ｙ－位置（グローバルおよび／またはローカルの位置）、ｚ－位置（グローバルおよび／またはローカルの位置）、方向（例えば、ロール、ピッチ、ヨー）、エンティティの種類（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（大きさ）などを含むことができるが、これらに限定はされない。環境に関連する特性には、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時間帯、曜日、季節、天候、暗さ/明るさの表示などが含まれるが、これらに限定はされない。
メモリ６１８は、環境内をナビゲートするために車両６０２によって使用することができる１つまたは複数のマップ６２４をさらに含むことができる。この議論の目的のために、マップは、トポロジー（交差点など）、街路、山脈、道路、地形、および一般的な環境などの環境に関する情報を提供することができる２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造とすることができるが、これらに限定はされない。いくつかの例では、マップは以下を含むことができるが、これらに限定はされない：テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ/ＨＳＬ色情報）など）、強度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュに投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）。一例では、マップは、環境の３次元メッシュを含むことができる。いくつかの例では、マップは、マップの個々のタイルが環境の離散的な部分を表すように、タイル形式で格納されることができ、必要に応じてワーキングメモリにロードされることができる。少なくとも１つの例では、１つまたは複数のマップ６２４は、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。いくつかの例では、マップ６２４に少なくとも部分的に基づいて、車両６０２を制御することができる。すなわち、マップ６２４は、ローカライゼーションコンポーネント６２０、知覚コンポーネント６２２、閉塞推論コンポーネント６２８、および／または計画コンポーネント６３４と関連付けられて使用され、車両６０２の位置を決定し、環境内の物体を識別し、および／または環境内をナビゲートする経路および／または軌道を生成することができる。
いくつかの例では、１つまたは複数のマップ６２４は、ネットワーク６３８を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス６４０など）に格納されることができる。いくつかの例では、多様なマップ６２４は、例えば、特性（例えば、エンティティの種類、時間帯、曜日、１年の季節など）に基づいて格納することができる。多様なマップ６２４を格納することは、同様のメモリ要件を有し得るが、マップ内のデータにアクセスすることができる速度を向上させることができる。
いくつかの例では、１つまたは複数のマップ６２４は、環境内の個々の場所に関連付けられた閉塞グリッドを格納することができる。例えば、車両６０２が環境を横断し、車両６０２に近接したエリアを表すマップがメモリにロードされると、場所に関連付けられた１つまたは複数の閉塞グリッドもメモリにロードされることができる。いくつかの例では、閉塞グリッドは、マップデータに基づいて動的に生成されることができる。
通常、閉塞推論コンポーネント６２８は、センサーシステム606によって提供されるデータに基づいて、環境内の１つまたは多様な物体に起因する環境の閉塞エリアを決定することができる。閉塞推論コンポーネントは、いくつかの例では、図２の閉塞推論コンポーネント２０８に対応し得る。いくつかの例では、閉塞推論コンポーネント６２８は、閉塞推論コンポーネント６２８によって生成された閉塞情報を計画コンポーネント６３４に提供し、いつおよび／またはどのように車両６０２を制御して環境を横断するかを決定することができる。本明細書で説明されるように、閉塞推論コンポーネント６２８は、環境における閉塞関連情報を決定するために、ＬＩＤＡＲデータ、画像データ、マップデータなどを受信することができる。閉塞グリッドを生成および／または使用する例は、２０１８年６月１８日に出願された特許文献１に記載されている。特許文献１は、その全体が参照により本明細書に組み込まれる。
閉塞推論コンポーネント６２８に含まれる物体軌道コンポーネント６３０は、環境内の物体の軌道を、例えば、リアルタイムで決定する。軌道は、物体の分類、位置、速度、加速度、センサーの不確実性などに基づいて物体の可能な位置を決定するために、物体を経時的に評価するとともに、物体の現在の位置に基づくことができる。物体軌道コンポーネント６３０は、多様な物体の軌道を実質的に同時に評価するように構成されてもよい。例えば、物体軌道コンポーネント６３０は、環境において対応する閉塞を引き起こす物体の１つまたは複数の軌道、および／または環境において閉塞領域を通過し得る動的物体の１つまたは複数の軌道などを評価してもよい。１つまたは複数の軌道を生成する例は、２０１８年１０月４日に出願された特許文献２に記載されている。特許文献２は、その全体が参照により本明細書に組み込まれる。
閉塞占有予測コンポーネント６３２は、本明細書で提供される例の任意の１つまたは複数に従って、環境の閉塞エリアに動的物体が存在しない可能性を決定することができる。例えば、閉塞占有予測コンポーネント６３２は、車両を取り巻く環境のマップ６２４に閉塞領域を投影して、環境のどの「既知」部分が物体によって閉塞されるかを決定することができる。いくつかの例では、閉塞占有予測コンポーネント６３２は、レイキャスティングおよび／または投影技術を使用して、特定のセンサー様式に関する情報（例えば、範囲、視野など）に加えて、物体に関連付けられた閉塞領域を決定することができる。さらに、閉塞占有予測コンポーネント６３２は、マップ６２４に基づいて、閉塞領域への入口領域および／または出口領域を決定し、閉塞領域が、静的閉塞領域（例えば、車両と閉塞している物体の両方が静止している）に対応するか、または移動閉塞領域（例えば、車両と閉塞している物体の一方または両方が移動している）に対応するかを決定することができる。いくつかの例では、閉塞占有予測コンポーネント６３２は、環境の観察（例えば、センサーシステム６０６による）に基づいて、動的物体が閉塞領域内に位置するかどうかを決定し、この情報を計画コンポーネント６３４に提供して、車両６０２の制御に使用することができる。
通常、計画コンポーネント６３４は、環境を横断するために車両６０２が従うべき経路を決定することができる。例えば、計画コンポーネント６３４は、様々な経路および軌道、および様々なレベルの詳細を決定することができる。例えば、計画コンポーネント６３４は、第１の場所（例えば、現在の場所）から第２の場所（例えば、目標の場所）まで移動する経路を決定することができる。この議論の目的のために、経路は、２つの場所の間を移動するためのウェイポイントのシーケンスとすることができる。非限定的な例として、ウェイポイントは、街路、交差点、グローバルポジショニングシステム（ＧＰＳ）座標などを含む。さらに、計画コンポーネント６３４は、第１の場所から第２の場所への経路の少なくとも一部に沿って自律車両を誘導するための命令を生成することができる。少なくとも１つの例では、計画コンポーネント６３４は、自律車両を、ウェイポイントのシーケンスにおける第１のウェイポイントから、ウェイポイントのシーケンスにおける第２のウェイポイントへと誘導する方法を決定することができる。いくつかの例では、命令は、軌道、または軌道の一部分とすることができる。いくつかの例では、多様な軌道は、Ｒｅｃｅｄｉｎｇ Ｈｏｒｉｚｏｎ技術に従って実質的上同時に（例えば、技術的な許容範囲内で）生成することができ、多様な軌道の１つは、車両６０２がナビゲートするために選択される。
いくつかの例では、計画コンポーネント６３４は、本明細書で説明されるように、周囲環境の閉塞エリアの知識、および／または動的物体が閉塞エリア内にない可能性が高いかどうかに少なくとも部分的に基づいて、車両６０２の１つまたは複数の軌道を生成することができる。いくつかの例では、計画コンポーネント６３４は、線形時間論理および／または信号時間論理などの時間論理を使用して、車両６０２の１つまたは複数の軌道を評価することができる。
少なくとも１つの例では、車両コンピューティングデバイス６０４は、１つまたは複数のシステムコントローラ６２６を含むことができ、これらのシステムコントローラ６２６は、車両６０２の操舵、推進、ブレーキ、安全、エミッタ、通信、および他のシステムを制御するように構成されることができる。これらのシステムコントローラ６２６は、駆動システム６１４および／または車両６０２の他のコンポーネントの対応するシステムと通信および／または制御することができる。
理解できるように、本明細書で説明されるコンポーネント（例えば、ローカライゼーションコンポーネント６２０、知覚コンポーネント６２２、１つまたは複数のマップ６２４、１つまたは複数のシステムコントローラ６２６、閉塞推論コンポーネント６２８、物体軌道コンポーネント６３０、閉塞占有予測コンポーネント６３２、計画コンポーネント６３４、および軌道選択コンポーネント６３６）は、図示のために分割して説明している。しかしながら、様々なコンポーネントによって実行される動作は、組み合わせられたり、他のコンポーネントで実行されたりすることができる。例として、物体位置決定機能は、システムによって転送されるデータ量を削減するために、知覚コンポーネント６２２（例えば、物体軌道コンポーネント６３０ではなく）によって実行されてもよい。
少なくとも１つの例では、センサーシステム６０６は、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、超音波トランスデューサ、ソナーセンサ、位置センサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、ＩＭＵ（inertial measurement units）、加速度計、磁力計、ジャイロスコープなど）、カメラ（ＲＧＢ、赤外線、強度、深度、time of flightなど）、マイク、ホイールエンコーダ、環境センサー（温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含むことができる。センサーシステム６０６は、これらのまたは他の種類のセンサーのそれぞれの多様な例を含むことができる。例えば、ＬＩＤＡＲセンサーは、車両６０２の角部、前部、後部、側面、および／または上部に配置された個々のＬＩＤＡＲセンサーを含むことができる。別の例として、カメラセンサーは、車両６０２の外部および／または内部の様々な場所に配置された多様なカメラを含むことができる。センサーシステム６０６は、車両コンピューティングデバイス６０４に入力を提供することができる。付加的または代替的に、センサーシステム６０６は、１つまたは複数のネットワーク６３８を介して、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムでなどで、１つまたは複数のコンピューティングデバイスにセンサーデータを送信することができる。
車両６０２は、上述したように、光および／または音を放出するための１つまたは複数のエミッタ６０８も含むことができる。本例におけるエミッタ６０８は、車両６０２の乗客と通信するための内部音声および映像エミッタを含む。限定ではなく例として、内部エミッタは、スピーカ、ライト、標識、表示画面、タッチスクリーン、触覚エミッタ（例えば、振動および／またはフォースフィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含むことができる。本例のエミッタ６０８は、外部エミッタも含む。限定ではなく例として、本例の外部エミッタは、進行方向または車両の動作の他の指示器を知らせるための照明（例えば、指示器の照明、標識、ライトアレイなど）、および歩行者または他の近くの車両と音声通信するための１つまたは複数の音声エミッタ（例えば、スピーカ、スピーカアレイ、ホーンなど）を含み、そのうちの１つまたは複数は、音響ビームステアリング技術を備える。
車両６０２はまた、車両６０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする１つまたは複数の通信接続部６１０を含むことができる。例えば、通信接続部６１０は、車両６０２および／または駆動システム６１４上の他のローカルコンピューティングデバイスとの通信を容易にすることができる。また、通信接続部６１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを与えることができる。また、通信接続部６１０は、車両６０２が、リモート遠隔操作コンピューティングデバイスまたは他の遠隔サービスと通信することを可能にする。
通信接続部６１０は、車両コンピューティングデバイス６０４を別のコンピューティングデバイスまたはネットワーク６３８などのネットワークに接続するための物理的および／または論理的インターフェースを含むことができる。例えば、通信接続部６１０は、ＩＥＥＥ ８０２．１１規格によって定義された周波数を介したようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、または、それぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線または無線通信プロトコルを可能にすることができる。
少なくとも１つの例では、車両６０２は、１つまたは複数の駆動システム６１４を含むことができる。いくつかの例では、車両６０２は、単一の駆動システム６１４を有することができる。少なくとも１つの例では、車両６０２が多様な駆動システム６１４を有する場合、個々の駆動システム６１４は、車両６０２の反対側の端部（例えば、前部および後部など）に配置されることができる。少なくとも１つの例では、駆動システム６１４は、駆動システム６１４の状態および／または車両６０２の周囲の状態を検出するための１つまたは複数のセンサーシステムを含むことができる。限定ではなく例として、センサーシステムは、駆動モジュールの車輪の回転を感知する１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、駆動モジュールの方向および加速度を測定する慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計など）、カメラまたは他の画像センサー、駆動システムの周囲の物体を音響的に検出する超音波センサー、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサーなどを含むことができる。ホイールエンコーダのようないくつかのセンサーは、駆動システム６１４に固有のものとすることができる。場合によっては、駆動システム６１４上のセンサーシステムは、車両６０２の対応するシステム（例えば、センサーシステム606）と重複または補完することができる。
駆動システム６１４は、高電圧バッテリ、車両を推進するためのモータ、バッテリからの直流を他の車両システムで使用するための交流に変換するインバータ、ステアリングモータおよびステアリングラック（電気式とすることができる）を含む操舵システム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するためにブレーキ力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外周を照らすヘッド／テールライトなどの照明）、および１つまたは他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ/ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの電気部品など）など多くの車両システムを含むことができる。さらに、駆動システム６１４は、センサーシステムからデータを受信して前処理し、様々な車両システムの動作を制御することができる駆動システムコントローラを含むことができる。いくつかの例では、駆動システムコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことができる。メモリは、駆動システム６１４の様々な機能を実行するための１つまたは複数のコンポーネントを格納することができる。さらに、駆動システム６１４は、それぞれの駆動システムが１つまたは複数の他のローカルまたはリモートのコンピューティングデバイスと通信することを可能にする１つまたは複数の通信接続部も含む。
少なくとも１つの例では、直接接続部６１２は、１つまたは複数の駆動システム６１４を車両６０２のボディと結合するための物理的インターフェースを提供することができる。例えば、直接接続部６１２は、駆動システム６１４と車両との間でエネルギー、流体、空気、データなどの転送を可能にすることができる。いくつかの例では、直接接続部６１２は、さらに、駆動システム６１４を車両６０２の本体に対して解放可能に固定することができる。
少なくとも１つの例では、ローカライゼーションコンポーネント６２０、知覚コンポーネント６２２、１つまたは複数のマップ６２４、１つまたは複数のシステムコントローラ６２６、閉塞推論コンポーネント６２８、物体軌道コンポーネント６３０、閉塞占有予測コンポーネント６３２、計画コンポーネント６３４、および軌道選択コンポーネント６３６は、上述したように、センサーデータを処理することができ、１つまたは複数のネットワーク６３８を介して、１つまたは複数のコンピューティングデバイス640に、それぞれの出力を送信することができる。少なくとも１つの例では、ローカライゼーションコンポーネント６２０、知覚コンポーネント６２２、１つまたは複数のマップ６２４、１つまたは複数のシステムコントローラ６２６、閉塞推論コンポーネント６２８、物体軌道コンポーネント６３０、閉塞占有予測コンポーネント６３２、計画コンポーネント６３４、および軌道選択コンポーネント６３６は、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムでなどで、１つまたは複数のコンピューティングデバイス６４０にそれぞれの出力を送信することができる。
いくつかの例では、車両６０２は、ネットワーク６３８を介して１つまたは複数のコンピューティングデバイス６４０にセンサーデータを送信することができる。いくつかの例では、車両６０２は、生のセンサーデータをコンピューティングデバイス６４０に送信することができる。他の例では、車両６０２は、処理済みセンサーデータおよび／またはセンサーデータの表現をコンピューティングデバイス６４０に送信することができる。いくつかの例では、車両６０２は、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムでなどで、センサーデータをコンピューティングデバイス６４０に送信することができる。いくつかの例では、車両６０２は、センサーデータ（生または処理済み）を１つまたは複数のログファイルとしてコンピューティングデバイス６４０に送信することができる。
コンピューティングデバイス６４０は、プロセッサ６４２と、訓練コンポーネント６４６を格納するメモリ６４４とを含むことができる。
いくつかの例では、訓練コンポーネント６４６は、１つまたは複数のモデルを訓練して、物体の位置および／または軌道を決定すること、閉塞領域を決定すること、移動および／または静的ドアマンを決定すること、閉塞領域にあるときの動的物体の動作を決定すること（例えば、閉塞領域の特定の位置に基づいて）などを行う機能を含むことができる。いくつかの例では、訓練コンポーネント６４６は、１つまたは複数のモデルによって生成された情報を車両コンピューティングデバイス６０４に伝達し、異なる状況に対応して車両６０２を制御する方法を修正することができる。
例えば、本明細書で論じられるコンポーネントの一部またはすべての側面は、任意のモデル、アルゴリズム、および／または機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、メモリ６４４（および上述のメモリ６１８）のコンポーネントは、ニューラルネットワークとして実装されることができる。いくつかの例では、訓練コンポーネント６４６は、ニューラルネットワークを利用し、軌道計画で使用するための閉塞推論の様々な側面を改善するための１つまたは複数のモデルを生成および／または実行することができる。
本明細書で説明されるように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成する、生物学的に触発されたアルゴリズムである。ニューラルネットワークの各層は、別のニューラルネットワークを備えることもでき、また、任意の数の層を備えることもできる（畳み込みであるか否かを問わない）。本開示のコンテキストで理解できるように、ニューラルネットワークは、機械学習を利用することができ、これは、学習されたパラメータに基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指すことができる。
ニューラルネットワークのコンテキストで論じられるが、本開示と適合する任意の種類の機械学習が使用されてもよい。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に重み付けされた散布図平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対縮退選択演算子(ＬＡＳＳＯ)、弾性ネット、最小角回帰(ＬＡＲＳ))、決定木アルゴリズム(例えば、分類回帰木（ＣＡＲＴ）、反復二分木3（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定スタンプ、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、平均一従属性分類器（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ－ｍｅａｎｓ、ｋ－ｍｅｄｉａｎｓ、期待値最大化（ＥＭ）、階層型クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｎｅｔｗｏｒｋ（ＲＢＦＮ）など）、深層学習アルゴリズム（Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ（ＤＢＭ）、Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、Ｓｔａｃｋｅｄ Ａｕｔｏ－Ｅｎｃｏｄｅｒｓなど）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度法（ＭＤＳ）、Ｐｒｏｊｅｃｔｉｏｎ Ｐｕｒｓｕｉｔ、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、フレキシブル判別分析（ＦＤＡ）など）、アンサンブルアルゴリズム（例．Ｂｏｏｓｔｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｅｄ Ａｇｇｒｅｇａｔｉｏｎ(Ｂａｇｇｉｎｇ)、ＡｄａＢｏｏｓｔ、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ(Ｂｌｅｎｄｉｎｇ)、Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｍａｃｈｉｎｅｓ(ＧＢＭ)、Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｅｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ(ＧＢＲＴ)、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ)、ＳＶＭ(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ)、教師付き学習、教師なし学習、半教師付き学習、などを含むことができるが、これに限定はされない。
アーキテクチャの付加的な例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
車両６０２のプロセッサ６１６およびコンピューティングデバイス６４０のプロセッサ６４２は、本明細書で説明されるようにデータを処理し、動作を実行する命令を実行することができる任意の適切なプロセッサであり得る。限定ではなく例として、プロセッサ６１６および６４２は、１つまたは複数のCentral Processing Unit（ＣＰＵ）、Graphics Processing Unit（ＧＰＵ）、または電子データを処理し、その電子データをレジスタおよび／またはメモリに格納することができる他の電子データに変換する他のデバイスまたはデバイスの一部を備えることができる。いくつかの例では、集積回路（ＡＳＩＣなど）、ゲートアレイ（ＦＰＧＡなど）、およびその他のハードウェアデバイスも、コード化された命令を実装するように構成されている限り、プロセッサとしてみなすことができる。
メモリ６１８および６４４は、例示的な非一時的コンピュータ可読媒体である。メモリ６１８および６４４は、本明細書で説明される方法および様々なシステムに帰属する機能を実装するために、動作システムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納することができる。様々な実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または情報を格納することができる他の種類のメモリなど、任意の適切なメモリ技術を用いて実装されることができる。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的コンポーネントを含むことができるが、添付の図面に示されているものは、本明細書における議論に関連する、単なる例である。
図６は分散システムとして図示されているが、代替例では、車両６０２のコンポーネントをコンピューティングデバイス６４０に関連付けることができ、および／またはコンピューティングデバイス６４０のコンポーネントを車両６０２に関連付けることができることに留意すべきである。すなわち、車両６０２は、コンピューティングデバイス６４０に関連付けられた機能のうちの１つまたは複数を実行することができ、その逆も可能である。さらに、閉塞推論コンポーネント６２８および／または計画コンポーネント６３４の側面は、本明細書で論じられる任意のデバイスで実行されることができる。
図７は、本開示の実施形態に従って、センサーデータをキャプチャし、環境内の物体によって引き起こされる閉塞領域を決定し、閉塞領域に近接する可視領域を決定し、可視領域に動的物体が配置されているかどうかを決定し、そうである場合には、動的物体が閉塞領域に入るかどうかを決定し、決定に基づいて自律車両を制御するための例示的なプロセス７００を示す。例えば、プロセス７００の一部または全部は、本明細書で説明されるように、図６の１つまたは複数のコンポーネントによって実行されることができる。例えば、プロセス７００の一部または全部は、車両コンピューティングデバイス６０４によって実行されることができる。さらに、例示的なプロセス７００で説明される動作のいずれかは、プロセス７００に描かれたものとは異なる順序で並行して実行されてもよく、示されたプロセス７００の動作のいずれかを省略してもよく、および／またはプロセス
の動作のいずれかと組み合わせてもよい。
動作７０２において、プロセスは、環境を横切るように自律車両を制御することを含むことができる。例えば、動作７０２は、目的地に到達するためにウェイポイント間の１つまたは複数の軌道をたどるように自律車両を制御することを含み得る。
動作７０４において、プロセスは、自律車両上のセンサーを使用して、環境のセンサーデータをキャプチャすることを含むことができる。いくつかの例では、動作７０４は、環境のＲＩＤＡＲデータ、画像データ、ＲＡＤＡＲデータ、time of flightデータなどをキャプチャすることを含むことができる。
動作７０６において、プロセスは、環境内の物体に起因する閉塞領域を決定することを含むことができる。例えば、閉塞グリッドは、車両を取り巻く環境のマップデータに適用されてもよい。センサーデータは、次いで、環境内の物体を検出するために使用されてもよく、物体の位置における閉塞グリッドの閉塞フィールドの占有状態を決定するために適用されてもよい。物体によってセンサーから難読化された閉塞フィールドは、車両が、そのようなフィールドは環境内の他の物体によって占有されているか、または占有されていないかを知ることができない可能性があるため、不確定に分類されてもよい。
動作７０８において、プロセスは、環境の閉塞領域に隣接する可視領域を決定することを含むことができる。例えば、閉塞グリッドを使用して、どの閉塞フィールドが非閉塞かつ非占有の両方であるかを決定することによって、環境の１つまたは複数のエリアが可視であることを決定してもよい。また、マップデータを使用して、可視領域を通過する通行方向（例えば、車両通行、歩行者通行、自転車通行など）を決定し、通行方向に基づいて、可視領域の一部を閉塞領域への入口領域として割り当ててもよい。本明細書で説明されるように、いくつかの場合では、可視領域の範囲と閉塞領域の範囲とが対応していなければならない。すなわち、入口領域は、閉塞領域へのすべての入口にまたがる可視領域として定義されることができる（例えば、１つまたは複数の閉塞フィールドが、走行可能な領域の第１の側から通行方向に垂直な走行可能な領域の対向する側まで、少なくとも共通の側を共有することを決定する）。いくつかの例では、閉塞領域の幅に及ばない可視領域は、入口領域とみなされない場合があり、本明細書で説明される動作は、擬似可視領域を決定するために使用されない場合がある。少なくともいくつかの例では、同様の手法を適用して、出口領域（例えば、通行方向に沿って入口領域から最も遠くおよび／または反対側にある閉塞領域の側の境界）を決定してもよい。少なくともいくつかの例では、出口領域が識別されない場合、本明細書で説明される動作は、擬似可視領域を決定するために使用されなくてもよい。
動作７１０では、動的物体が可視領域に配置されているかどうかを決定することを含んでもよい。いくつかの例では、動的物体は、上述したように、車両のセンサーによって検出されてもよい。動的物体が可視領域に配置されていると決定された場合（且つ、閉塞領域が車両の閾値距離内にある場合）、７１２においてプロセスは、動的物体が閉塞領域に進入するかどうかを決定することを含んでもよい。例えば、車両は、動的物体が検出された初期時間から、動的物体が閉塞領域に入る初期時間後の第２の時間まで、現在の軌道を維持してよい（例えば、現在の速度を維持する、現在の加減速度率を維持する、停止位置を維持する等）。少なくともいくつかの例では、特徴、エンベッディングなど、これらに限定されない車両に関する付加的な情報が格納されてもよい。
動作７１４において、動的物体が閉塞領域に進入したと決定された場合、動的物体が再び出現するまでの閾値時間を待つように自律車両を制御することを含んでもよい。いくつかの例では、閾値時間は、閉塞領域および／または閉塞フィールドの数に関連付けられた最小閾値速度に基づいてもよい。最小閾値速度は、例えば、可視領域で動的物体が走行していることが観測された速度に基づいてもよい。閾値時間を待つように車両を制御することは、上述したように、車両の現在の軌道を維持することを含んでもよい。動的物体が再び出現した場合、動的物体が閉塞領域のどこを通過したかの推定に基づいて、以前は不確定とされていた閉塞グリッドの領域の少なくとも一部が擬似可視領域とみなされてもよい。動的物体が閉塞領域から再び現れたという決定に際し、車両を制御して環境の横断を継続してもよい。さらに、動的物体が閉塞領域から再び現れなかった場合、環境の追加の可視エリアを得るために走行可能な領域に沿って忍び寄るなど、状況に応じて車両の軌道は維持および／または変更されてもよい。少なくともいくつかの例では、閉塞領域に進入する動的物体の観察は、閉塞領域内のすべての閉塞フィールドに関連する状態を「不確定」として引き起こしてよい。このような例では、フローは７１８に進んでもよい。
動作７１６において、動的物体が閉塞領域に進入しないと決定された場合、プロセスは、他の情報に基づいて自律車両を制御することを含んでもよい。例えば、車両の目的地に到達するための経路に沿って物体（例えば、動的物体）を回避するための計画システムからの命令、車両のセンサーによる環境の付加的な視認性を得るためのクリーピングなどに応じて、自律車両を制御してもよい。いくつかのケースでは、動的物体が閉塞領域に進入しないと決定された場合、動作７１８を参照して説明されるように、車両を制御してもよい。
動作７１８において、可視領域に配置された動的物体が存在しないと決定された場合、閉塞領域が擬似可視であると決定するために、自律車両が閾値時間を待つように制御することを含んでもよい。上述の議論と同様に、自律車両を待つように制御することは、閾値時間の間、現在の軌道を維持すること（例えば、現在の速度を維持すること、現在の加減速度率を維持すること、停止位置を維持することなど）を含んでもよい。この場合、閾値時間は、歩行者の平均速度１．５ｍ/ｓに基づいていてもよいが、任意の適切な閾値速度を使用してもよい。閾値時間が経過すると、車両は閉塞グリッドの不確定な閉塞フィールドの指定を、閉塞グリッドの閉塞領域への入口領域から始めて、擬似可視に変更してもよい。閉塞グリッドのすべての（または十分な数の）閉塞フィールドが、閉塞領域から動的物体が現れることなく擬似可視にされたと決定された場合、車両は、目的地への経路を継続するように制御されてもよい。また、閉塞領域から動的物体が現れた場合は、その動的物体を回避するなどの制御を行ってもよい。
図８は、本開示の実施形態に従って、第１の時間に物体に起因する第１の閉塞領域および閉塞領域に近接する可視領域を決定し、可視領域が閉塞領域への入口領域（および／または閉塞領域からの出口領域）を含むことを決定し、第１の時間後の第２の時間に、第１の可視領域の少なくとも一部に対応する第２の閉塞領域を決定し、その部分に動的物体が存在しないかどうかを決定し、その決定に基づいて自律車両を制御するための例示的なプロセス８００を示す。例えば、プロセス８００の一部または全部は、本明細書で説明されるように、図８の１つまたは複数のコンポーネントによって実行されることができる。例えば、プロセス８００の一部または全部は、車両コンピューティングデバイス６０４によって実行されることができる。さらに、例示的なプロセス８００で説明される動作のいずれかは、プロセス８００に示されたものとは異なる順序で、並行して実行されてもよく、示されたプロセス８００の動作のいずれかを省略してもよく、および／またはプロセス７００の動作のいずれかと組み合わされてもよい。
動作８０２において、プロセスは、第１の時間に、環境内の物体によって引き起こされる第１の閉塞領域と、閉塞領域に近接する可視領域とを決定することを含むことができる。少なくともいくつかの例では、このような閉塞領域は、実行される動作（例えば、交差点を渡ること）、想定される移動速度および安全マージン、ジオロケーションなどに少なくとも部分的に基づいてもよい。例えば、車両周辺環境のマップデータに閉塞グリッドが適用されてもよい。また、センサーデータを用いて環境中の物体を検出し、その物体の位置における閉塞グリッドの閉塞フィールドの占有状態を決定するようにしてもよい。物体によってセンサーから難読化された閉塞フィールドは、閉塞および／または不確定に分類され、一方、占有されておらず難読化されていない閉塞フィールドは、可視であると考えられ得る。
動作８０４において、プロセスは、環境のマップデータに少なくとも部分的に基づいて、可視領域が閉塞領域への入口領域（および／または、閉塞領域からの出口領域）を含むことを決定することを含むことができる。いくつかの例では、入口領域は、閉塞領域に対する通行方向（例えば、車両の通行、歩行者の通行、自転車の通行など）を決定することに基づいてもよい。
動作８０６において、プロセスは、第１の時間後の第２の時間において、第１の可視領域の少なくとも一部に対応する第２の閉塞領域を決定することを含むことができる。いくつかの例では、動作８０６は、車両および閉塞領域を引き起こしている物体の一方または両方が移動している、移動閉塞領域の概念に基づいている。時間が経過し（例えば、第１の時間から第２の時間まで）、車両および／または物体が環境内を移動すると、閉塞領域の面積および／または寸法も変化し得る。少なくともいくつかの例では、以前に可視であった領域が、通行方向に関して以前に可視であった領域のどちら側にあったかなど、以前に可視であった領域に関する付加的な情報が決定されるか、または別の方法で格納されてもよい。動作８０６はまた、第２の閉塞領域に入口領域および／または出口領域が存在するかどうかを決定することを含んでもよい。第２の閉塞領域に入口領域および／または出口領域が存在しない場合、第２の閉塞領域は使用されなくてもよい。
動作８０８において、プロセスは、第２の時間に閉塞された第１の可視領域の部分に動的物体が存在しないかどうかを決定することを含むことができる。例えば、第１の時間から第２の時間まで入口領域が観察されてもよく、通行方向の知識に基づいて、動的物体が部分に進入したかどうかの決定が行われることができる。いくつかの場合では、第１の時間に、部分が動的物体を含んでいてもよい。
部分に動的物体が存在しないと決定された場合、動作８１０において、第２の閉塞領域の少なくとも一部が擬似可視であると決定することを含むことができる。例えば、動的物体が入口領域を通って通行方向に閉塞領域に入る可能性が最も高いという知識に基づいて、動作８１０は、第１の時間から第２の時間まで入口領域に動的物体が存在しなければ、その部分には動的物体が存在しないと仮定することができる。
動作８１２において、プロセスは、少なくとも部分が擬似可視であることに基づいて、自律車両を制御することを含むことができる。動作８１２は、車両を制御するために、擬似可視について分析されたもの以外の閉塞フィールドの状態を決定することも含むことができる。いくつかの例では、閉塞領域の少なくとも一部が占有されていないことを決定することにより、自律車両が軌道に沿って継続するなど、そのような行動を実行する前に車両のセンサーに対してすべての領域が可視で且つ明確であることを要求するよりも速く実行することができ得る。
部分が動的物体を含まないと決定された場合、動作８１４において、プロセスは、部分が動的物体によって占有されていることに基づいて、自律車両を制御することを含むことができる。動作８１４は、車両を制御するために、擬似可視について分析されたもの以外の閉塞フィールドの状態を決定することも含み得る。例えば、車両は、動的物体が再び現れるまで、現在の軌道を維持する（例えば、現在の速度を維持する、現在の加減速率を維持する、停止した位置を維持するなど）か、または、動的物体が車両のセンサーによって見えないという知識を持って、環境を安全に横断するための他の手段を取り得る。
例示項
Ａ．システムであって、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時コンピュータ可読媒体とを備え、命令は、実行されると、システムに対して動作を実行させ、動作は、車両上のセンサーによってキャプチャされた環境のセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、環境内の物体を検出することと、物体とセンサーデータに少なくとも部分的に基づいて、物体に関連付けられた環境において閉塞領域を決定することと、センサーデータに少なくとも部分的に基づいて、閉塞領域に隣接した環境の可視領域を決定することと、環境を表すマップデータに少なくとも部分的に基づいて、可視領域が閉塞領域への入口領域を表していることと決定することと、センサーデータと閉塞領域に関連付けられた閾値速度に少なくとも部分的に基づいて、閉塞領域の少なくとも一部に動的物体が存在しない確率が閾値以上であることと、閉塞領域の少なくとも一部に動的物体が存在しないことを決定することに少なくとも部分的に基づいて、車両を制御することとを備えたシステム。
Ｂ．段落Ａのシステムであって、動的物体が存在しないと決定された閉塞領域の一部の大きさが、センサーデータをキャプチャリングすることに関連付けられた期間に少なくとも部分的に基づいているシステム。
Ｃ．段落ＡまたはＢのシステムであって、閉塞領域は第１の時間において第１の閉塞領域であり、動作は、第１の時間後の第２の時間に関連付けられた第２の閉塞領域を決定することであって第２の閉塞領域は可視領域の少なくとも一部に対応することと、第２の閉塞領域の少なくとも一部に動的物体が存在しない確率が閾値以上であることを決定することが、第１の閉塞領域の少なくとも一部に動的物体が存在しないことを決定することに基づいていることであって、車両を制御することは、第２の閉塞領域に動的物体が存在しない確率が閾値以上であることの決定にさらに基づいていることと、をさらに備えたシステム。
Ｄ．段落Ｃのシステムであって、第２の閉塞領域が第１の時間と第２の時間の間における車両の第１の動きに少なくとも部分的に基づいている、或いは、第２の閉鎖領域が第１の時間と第２の時間の間における物体の第２の動きに少なくとも部分的に基づいている、の少なくとも１つであるシステム。
Ｅ．段落Ａから段落Ｅのいずれかのシステムであって、閉塞領域の個々の部分が入口領域の対応する個々の部分に関連付けられるように、閉塞領域の第１の範囲が入口領域の第２の範囲に対応し、入口領域の第２の範囲が閉塞領域に関連付けられた走行可能な領域に対応するシステム。
Ｆ．段落Ｅのシステムであって、動作は、環境を表すマップデータに少なくとも部分的に基づいて、走行可能な領域および走行可能な領域に関連付けられた進行方向を決定することをさらに含む、システム。
Ｇ．方法であって、センサーを用いて第１のセンサーデータをキャプチャすることと、第１のセンサーデータに少なくとも部分的に基づいて、環境の走行可能な領域を決定することと、走行可能な領域に関連付けられた環境の閉塞領域を決定することと、環境の可視領域を決定することであって、可視領域は閉塞領域に近接していることと、可視領域は閉塞領域への入口領域に対応すると決定することと、一定の期間にわたる第２のセンサーデータをキャプチャすることに少なくとも部分的に基づいて、閉塞領域の少なくとも一部に動的物体が存在しない確率が閾値以上である決定することと、閉塞領域の少なくとも一部に動的物体が存在しない確率が閾値以上であることに少なくとも部分的に基づいて、車両を制御することとを含む方法。
Ｈ．段落Ｇの方法であって、可視領域が第１の可視領域であり、第１の時間に入口領域に物体が可視であると決定することと、第１の時間後の第２の時間に物体の少なくとも一部が閉塞領域に存在すると決定することと、第２の時間後の第３の時間に物体が第２の可視領域に存在すると決定することであって、第２の可視領域は閉塞領域からの出口領域であると決定することと、物体が出口領域に存在すると決定することに基づいて、閉塞領域の少なくとも一部に動的物体が存在しない確率が閾値以上であると決定することとを備えた方法。
Ｉ．段落Ｈの方法であって、閉塞領域の追加の部分に動的物体が存在しない確率が閾値以上であることを、閉塞領域に関連付けられた閾値速度または閾値時間に少なくとも部分的に基づいて決定することをさらに備えた方法。
Ｊ．段落Ｇから段落Ｉのいずれかの方法であって、通行方向を決定することをさらに含み、入口領域が、閉塞領域に進入する通行方向および走行可能な領域の通行レーンの幅に対応する方法。
Ｋ．段落Ｊの方法であって、閉塞領域を決定することは、環境に関連付けられたマップデータの少なくとも一部を閉塞する環境内の物体を識別することを備え、方法は、マップデータを使用して、閉塞領域を走行可能な領域に対応する１つまたは複数のフィールドに離散化することと、１つまたは複数のフィールドに対して、閉塞領域の少なくとも一部に動的物体が存在しない確率が、閾値以上であることを決定することをさらに備えた方法。
Ｌ．段落Ｇから段落Ｋのいずれかの方法であって、車両または閉塞物体の１つまたは複数が移動しており、閉塞領域の少なくとも一部が第１の時間において可視領域に備えられ、第２の時間において閉塞領域に備えられるエリアに対応する方法。
Ｍ．段落Ｇから段落Ｌのいずれかの方法であって、閉塞領域の少なくとも一部に動的物体が存在しない確率が閾値以上であることを決定することが、閉塞領域に関連付けられた閾値速度または閾値時間に少なくとも部分的に基づいている方法。
Ｎ．実行されると、１つまたは複数のプロセッサに動作を行わせる命令を格納した非一時的コンピュータ可読媒体であって、動作は、センサーを用いて第１のセンサーデータをキャプチャすることと、第１のセンサーデータに少なくとも部分的に基づいて、環境の走行可能な領域を決定することと、走行可能な領域に関連付けられた環境の閉塞領域を決定することと、環境の可視領域を決定することであって、可視領域は閉塞領域に近接していることと、可視領域が閉塞領域への入口領域に対応することを決定することと、一定の期間にわたって第２のセンサーデータをキャプチャすることに少なくとも部分的に基づいて、閉塞領域の少なくとも一部に動的物体が存在しない確率を決定することと、確率に少なくとも部分的に基づいて、車両を制御することとを備えた、非一時的コンピュータ可読媒体。
Ｏ．段落Ｎの非一時的コンピュータ可読媒体であって、可視領域が第１の可視領域であり、動作は、第１の時間に入口領域において物体が可視であると決定することと、第１の時間後の第２の時間に物体の少なくとも一部が閉塞領域に存在すると決定することと、第２の時間後の第３の時間に物体が第２の可視領域に存在すると決定することであって、第２の可視領域は閉塞領域からの出口領域であると決定することと、物体が出口領域に存在すると決定することに基づいて、閉塞領域を通る物体の経路に対応して、閉塞領域の少なくとも一部が動的物体から解放される確率を決定することとを備えた、非一時的コンピュータ可読媒体。
Ｐ．段落Ｎまたは段落Ｏの非一時的コンピュータ可読媒体であって、閉塞領域および可視領域は、１つまたは複数の閉塞フィールドに離散化されており、入口領域は、閉塞領域と可視領域との間の境界に沿って、一方の側から反対の側に向かって、それぞれの閉塞フィールドの少なくとも１つの隣接する側を共通する連続した閉塞フィールドを備え、境界は、進行方向に対応している非一過性のコンピュータ可読媒体。
Ｑ．段落Ｎから段落Ｐのいずれかの非一時的コンピュータ可読媒体であって、車両または閉塞している物体の１つまたは複数が移動しており、閉塞領域の少なくとも一部が、第１の時間に可視領域にあり、第２の時間に閉塞領域にあるエリアに対応している、非一時的コンピュータ可読媒体。
Ｒ．段落Ｎの非一時的コンピュータ可読媒体であって、閉塞領域の少なくとも一部に動的物体が存在しない確率を決定することは、閉塞領域に関連付けられた閾値速度または閾値時間に少なくとも部分的に基づいており、閉塞領域を通る進行方向に対応する、非一時的コンピュータ可読媒体。
Ｓ．段落Ｎから段落Ｒのいずれかの非一時的コンピュータ可読媒体であって、センサーデータが、ＬＩＤＡＲセンサーデータ、ＲＡＤＡＲセンサーデータ、画像センサーデータ、またはtime of flightセンサーデータの１つまたは複数を備えた、非一時的コンピュータ可読媒体。
Ｔ．段落Ｎから段落Ｓのいずれかの非一時的コンピュータ可読媒体であって、動作は、センサーデータに基づいてマップにローカライズすることと、マップに基づいて閉塞領域とみなす領域を決定することと、領域を複数の閉塞フィールドに離散化することとをさらに備えた、非一時的コンピュータ可読媒体。
上記の例示項は、１つの特定の実装に関して説明されているが、本明細書のコンテキストでは、例示項の内容は、方法、装置、システム、コンピュータ可読媒体、および／または別の実装を介して実施することも可能であることを理解すべきである。
結論
本明細書で説明されている技術の１つまたは複数の例を説明してきたが、その様々な変更、追加、並べ換え、および等価なものは、本明細書で説明されている技術の範囲内に含まれる。
例の説明では、本明細書の一部を構成する添付の図面を参照し、請求された主題の具体的な例を例示している。他の例が使用されることは可能であり、また、構造的な変更などの変更または代替を行うことが可能であることを理解されたい。そのような例、変更または代替は、意図された請求項の主題に関する範囲から必ずしも逸脱するものではない。本明細書の手順は、一定の順序で提示することができるが、場合によっては、記載されたシステムおよび方法の機能を変更することなく、特定の入力が異なるタイミングまたは異なる順序で提供されるように、順序を変更することが可能である。また、開示された手順を異なる順序で実行することも可能である。さらに、本明細書で説明されている様々な計算は、開示されている順序で実行される必要はなく、計算の代替的な順序を使用する他の例も容易に実装されることができる。順序を変えることに加えて、計算は、同じ結果のサブ計算に分解することも可能である。

Claims (15)

  1. システムであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時コンピュータ可読媒体とを備え、
    前記命令は、実行されると、前記システムに対して動作を実行させ、
    前記動作は、
    センサーを用いて第１のセンサーデータをキャプチャすることと、
    前記第１のセンサーデータに少なくとも部分的に基づいて、環境の走行可能な領域を決定することと、
    前記走行可能な領域に関連付けられた前記環境において閉塞領域を決定することと、
    前記環境の可視領域を決定することであって、前記可視領域は前記閉塞領域に近接していることと、
    前記可視領域が前記閉塞領域への入口領域に対応することを決定することと、
    一定の期間にわたって第２のセンサーデータをキャプチャすることに少なくとも部分的に基づいて、前記閉塞領域の少なくとも一部に動的物体が存在しない確率が閾値以上であることを決定することと、
    前記閉塞領域の少なくとも一部に前記動的物体が存在しない前記確率が前記閾値以上であることに少なくとも部分的に基づいて、車両を制御することと、
    を備えたシステム。
  2. 前記可視領域が第１の可視領域であり、前記動作が
    第１の時間において、物体が前記入口領域内で可視であることを決定することと、
    前記物体の少なくとも一部が、前記第１の時間後の第２の時間において、前記閉塞領域内にあることを決定することと、
    前記第２の時間後の第３の時間において、前記物体が第２の可視領域に存在していることを決定することであって、前記第２の可視領域は前記閉塞領域からの出口領域であることと、
    前記物体が前記出口領域内に存在していることを決定することに基づいて、前記閉塞領域に前記動的物体の前記少なくとも前記一部が存在しない前記確率が前記閾値以上であることを決定することと、
    をさらに備えた、請求項１に記載のシステム。
  3. 前記確率が第１の確率であり、前記動作が、前記閉塞領域の追加の部分に前記動的物体が存在しない第２の確率が、前記閉塞領域に関連付けられた閾値速度または閾値時間に少なくとも部分的に基づいて、前記閾値以上であることを決定することをさらに備えた、請求項１または２に記載のシステム。
  4. 前記動作が通行方向を決定することをさらに備え、前記入口領域は前記閉塞領域に進入する前記通行方向、および前記走行可能な領域の通行レーンの幅と対応する、請求項１乃至３のいずれか一項に記載のシステム。
  5. 前記閉塞領域を決定することは、前記環境に関連付けられたマップデータの少なくとも一部を閉塞する前記環境内の物体を識別することを備え、
    前記動作が、
    前記マップデータを使用して、前記閉塞領域を前記走行可能な領域に対応する１つまたは複数のフィールドに離散化することと、
    前記１つまたは複数のフィールドに対して、前記閉塞領域の前記少なくとも前記一部に前記動的物体が存在しない前記確率が前記閾値以上であることを決定することと、
    をさらに備えた、請求項１乃至４のいずれか一項に記載のシステム。
  6. 前記車両または閉塞している物体の１つまたは複数が移動しており、前記閉塞領域の前記少なくとも前記一部は、第１の時間に前記可視領域で備えられ、第２の時間に前記閉塞領域で備えられるエリアに対応する、請求項１または３乃至５のいずれか一項に記載のシステム。
  7. 方法であって、
    センサーを用いて第１のセンサーデータをキャプチャすることと、
    前記第１のセンサーデータに少なくとも部分的に基づいて、環境の走行可能な領域を決定することと、
    前記走行可能な領域に関連付けらえた前記環境において閉塞領域を決定することと、
    前記環境の前記可視領域を決定することであって、前記可視領域は前記閉塞領域に近接していることと、
    前記可視領域が前記閉塞領域への入口領域に対応していることを決定することと、
    一定の期間にわたって第２のセンサーデータをキャプチャすることに少なくとも部分的に基づいて、前記閉塞領域の少なくとも一部に動的物体が存在しない確率を決定することと、
    前記確率に少なくとも部分的に基づいて車両を制御することと、
    を備えた方法。
  8. 前記閉塞領域の前記少なくとも前記一部に前記動的物体が存在しない前記確率を決定することが、前記閉塞領域に関連付けられた閾値速度または閾値時間に少なくとも部分的に基づき、前記閉塞領域を通る進行方向に対応する、請求項７に記載の方法。
  9. 前記閉塞領域は第１の時間において第１の閉塞領域であり、前記方法が、
    前記第１の時間後の第２の時間に関連付けられた第２の閉塞領域を決定することであって、前記第２の閉塞領域は前記可視領域の少なくとも一部に対応することと、
    前記第１の閉塞領域の前記少なくとも前記一部に前記動的物体が存在しないと前記決定することに少なくとも部分的に基づいて、前記第２の閉塞領域の少なくとも一部に前記動的物体が存在ない確率が閾値以上であると決定することと、
    をさらに備え、
    前記車両を制御することは、前記第２の閉塞された領域に前記動的物体が存在しない前記確率が、前記閾値以上であることを前記決定することにさらに基づいている、請求項７または８に記載の方法。
  10. 前記第２の閉塞領域が、前記第１の時間と前記第２の時間の間における前記車両の第１の動きに少なくとも部分的に基づいている、
    或いは、
    前記第２の閉塞された領域が、前記第１の時間と前記第２の時間の間における前記動的物体の第２の動きに少なくとも部分的に基づいている、
    の少なくとも１つである、請求項９に記載の方法。
  11. 前記閉塞領域および前記可視領域が１つまたは複数の閉塞フィールドの中で離散化され、前記入口領域が前記閉塞領域と前記可視領域の間の境界に沿って、一方の側から反対の側に向かって共通するそれぞれの閉塞フィールドの少なくとも１つに隣接する側を有する連続した閉塞フィールドを備え、前記境界は進入する進行方向に対応する、請求項７乃至９のいずれか一項に記載の方法。
  12. 前記閉塞領域の第１の範囲は、前記閉塞領域の個々の部分が前記入口領域の対応する個々の部分に関連付けられるように、前記入口領域の第２の範囲に対応し、
    前記入口領域の前記第２の範囲は、前記閉塞領域に関連付けられた前記走行可能な領域の領域に対応する、請求項７乃至９または１１のいずれか一項に記載の方法。
  13. 前記第１のセンサーデータおよび前記第２のセンサーデータは、ＬＩＤＡＲセンサーデータ、ＲＡＤＡＲセンサーデータ、画像センサーデータ、またはtime of flightセンサーデータの１つまたは複数を備え、
    前記動的物体が存在しないと決定された前記閉塞領域の前記一部の大きさは、前記第２のセンサーデータをキャプチャすることに関連付けられた前記期間に少なくとも部分的に基づいている、請求項７乃至９、１１または1２のいずれか一項に記載の方法。
  14. 前記第１のセンサーデータに基づいて、マップをローカライズすることと、
    前記マップに基づいて、領域を前記閉塞領域としてみなすと決定することと、
    前記領域を複数の閉塞フィールドに離散化することと、
    をさらに備えた、請求項７乃至９、１１、１２または１３のいずれか一項に記載の方法。
  15. コンピュータ上で実行されると、請求項８から１４に記載のいずれかの方法を実装するようにコード化された命令を備えた、コンピュータプログラム製品。
JP2021550228A 2019-02-28 2020-02-18 閉塞領域の占有率の決定 Pending JP2022522714A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/289,397 US11016492B2 (en) 2019-02-28 2019-02-28 Determining occupancy of occluded regions
US16/289,397 2019-02-28
PCT/US2020/018676 WO2020176293A1 (en) 2019-02-28 2020-02-18 Determining occupancy of occluded regions

Publications (1)

Publication Number Publication Date
JP2022522714A true JP2022522714A (ja) 2022-04-20

Family

ID=69846560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021550228A Pending JP2022522714A (ja) 2019-02-28 2020-02-18 閉塞領域の占有率の決定

Country Status (5)

Country Link
US (2) US11016492B2 (ja)
EP (1) EP3931742A1 (ja)
JP (1) JP2022522714A (ja)
CN (1) CN113544696A (ja)
WO (1) WO2020176293A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US11625045B2 (en) 2017-08-31 2023-04-11 Uatc, Llc Systems and methods for controlling an autonomous vehicle with occluded sensor zones
US11016492B2 (en) 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
EP3939752A4 (en) * 2019-03-15 2022-10-26 OMRON Corporation ROBOT CONTROL DEVICE, METHOD AND PROGRAM
SG10201902705SA (en) * 2019-03-26 2020-10-29 Nec Asia Pacific Pte Ltd Method and system for object detection coverage estimation
US11199415B2 (en) * 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
US11420621B2 (en) * 2019-03-31 2022-08-23 Gm Cruise Holdings Llc Autonomous vehicle maneuvering based upon risk associated with occluded regions
JP2020179808A (ja) * 2019-04-26 2020-11-05 トヨタ自動車株式会社 車両制御装置
US11126180B1 (en) * 2019-04-30 2021-09-21 Zoox, Inc. Predicting an occupancy associated with occluded region
WO2020223751A1 (en) * 2019-05-07 2020-11-12 Kontrol Gmbh Formal verification for the development and real-time application of autonomous systems
US20200363800A1 (en) * 2019-05-13 2020-11-19 Great Wall Motor Company Limited Decision Making Methods and Systems for Automated Vehicle
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
JP7352393B2 (ja) * 2019-06-21 2023-09-28 パナソニックホールディングス株式会社 監視システム、及び、監視方法
CN112150534A (zh) * 2019-06-28 2020-12-29 深圳市商汤科技有限公司 图像采集设备遮挡状态检测方法、装置、设备和存储介质
JP7325251B2 (ja) * 2019-07-10 2023-08-14 日立Astemo株式会社 電子制御装置
US20210031760A1 (en) * 2019-07-31 2021-02-04 Nissan North America, Inc. Contingency Planning and Safety Assurance
US11354912B2 (en) * 2019-08-27 2022-06-07 Waymo Llc Detecting potentially occluded objects for autonomous vehicles
EP3786919A1 (en) * 2019-08-29 2021-03-03 Aptiv Technologies Limited Method and system for determining awareness data
KR20210030524A (ko) * 2019-09-09 2021-03-18 주식회사 만도 차량 제어 장치 및 그 제어 방법
JP7236556B2 (ja) * 2019-10-14 2023-03-09 株式会社デンソー 物体検知装置および物体検知プログラム
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
JP7495178B2 (ja) * 2020-04-14 2024-06-04 株式会社Subaru 車両の走行支援装置
JP2021174135A (ja) * 2020-04-22 2021-11-01 ソニーセミコンダクタソリューションズ株式会社 画像認識装置及び画像認識方法
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
DE102020003073B3 (de) * 2020-05-22 2021-11-04 Daimler Ag Verfahren und Vorrichtung zum automatisierten Fahrbetrieb eines Fahrzeuges und Fahrzeug
US11541903B2 (en) * 2020-06-03 2023-01-03 Waymo Llc Autonomous driving with surfel maps
US20200326721A1 (en) * 2020-06-26 2020-10-15 Intel Corporation Occupancy verification device and method
DE102020211649A1 (de) * 2020-09-17 2022-03-17 Conti Temic Microelectronic Gmbh Verfahren und System zum Erstellen eines Straßenmodells
DE102020130069B4 (de) * 2020-11-13 2024-05-23 Audi Aktiengesellschaft Steuerung eines Kraftfahrzeugs bei teilweiser Sichtfeldverdeckung
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法
KR20220083002A (ko) * 2020-12-10 2022-06-20 현대자동차주식회사 차량
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region
US20220196829A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Radar Reference Map Generation
US12105192B2 (en) 2020-12-17 2024-10-01 Aptiv Technologies AG Radar reference map generation
CN114643996A (zh) * 2020-12-19 2022-06-21 荷兰移动驱动器公司 辅助驾驶方法以及车辆
AU2021232767A1 (en) * 2020-12-21 2022-07-07 Commonwealth Scientific And Industrial Research Organisation Vehicle navigation
CN112650243B (zh) * 2020-12-22 2023-10-10 北京百度网讯科技有限公司 车辆控制方法、装置、电子设备和自动驾驶车辆
JP7302616B2 (ja) * 2021-02-24 2023-07-04 トヨタ自動車株式会社 遠隔支援システム及び遠隔支援方法
US11472436B1 (en) * 2021-04-02 2022-10-18 May Mobility, Inc Method and system for operating an autonomous agent with incomplete environmental information
US20240290075A1 (en) * 2021-06-14 2024-08-29 The Johns Hopkins University Systems, methods, and computer programs for using a network of machine learning models to detect an image depicting an object of interest which can be partially occluded by another object
CN113487738B (zh) * 2021-06-24 2022-07-05 哈尔滨工程大学 基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法
US20220413502A1 (en) * 2021-06-25 2022-12-29 Here Global B.V. Method, apparatus, and system for biasing a machine learning model toward potential risks for controlling a vehicle or robot
US12071127B2 (en) 2021-07-16 2024-08-27 Nissan North America, Inc. Proactive risk mitigation
CN113408669B (zh) * 2021-07-30 2023-06-16 浙江大华技术股份有限公司 图像的确定方法、装置、存储介质及电子装置
US11400958B1 (en) * 2021-09-20 2022-08-02 Motional Ad Llc Learning to identify safety-critical scenarios for an autonomous vehicle
US20230089897A1 (en) * 2021-09-23 2023-03-23 Motional Ad Llc Spatially and temporally consistent ground modelling with information fusion
US20230122066A1 (en) * 2021-10-18 2023-04-20 Yandex Self Driving Group Llc Mobile robot and a method for controlling the mobile robot
CN113793365B (zh) * 2021-11-17 2022-04-29 第六镜科技(成都)有限公司 目标跟踪方法、装置、计算机设备及可读存储介质
CN114399537B (zh) * 2022-03-23 2022-07-01 东莞先知大数据有限公司 一种目标人员的车辆跟踪方法及系统
DE102022212993A1 (de) 2022-12-01 2024-06-06 Continental Autonomous Mobility Germany GmbH Computerimplementiertes Verfahren zum Planen einer Agenten-Navigationsaufgabe zum Navigieren eines Agenten aus einem aktuellen Agentenzustand in einen Ziel-Agentenzustand
GB2625733A (en) * 2022-12-22 2024-07-03 Jaguar Land Rover Ltd Apparatus and method for determining a representation of an environment
GB2625735A (en) * 2022-12-22 2024-07-03 Jaguar Land Rover Ltd Apparatus and method for determining a representation of an environment

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055042A (en) * 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
US6173215B1 (en) * 1997-12-19 2001-01-09 Caterpillar Inc. Method for determining a desired response to detection of an obstacle
US20080033645A1 (en) * 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US8260485B1 (en) * 2007-04-26 2012-09-04 The Boeing Company Adaptive multi-vehicle area coverage optimization system and method
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
EP2840007B1 (en) * 2013-08-22 2018-04-04 Honda Research Institute Europe GmbH Consistent behaviour generation of a predictive advanced driver assistant system
JP6438972B2 (ja) * 2014-11-17 2018-12-19 日立オートモティブシステムズ株式会社 自動運転システム
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US9690290B2 (en) * 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
US11283877B2 (en) * 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US10255648B2 (en) * 2016-04-14 2019-04-09 Eric John Wengreen Self-driving vehicle systems and methods
US9910442B2 (en) * 2016-06-28 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded area detection with static obstacle maps
US10137890B2 (en) * 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
CN110832417B (zh) * 2016-12-30 2023-06-09 辉达公司 使用高清地图为自主车辆生成路线
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10037613B1 (en) * 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
US10268191B1 (en) * 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US10818187B2 (en) * 2017-07-17 2020-10-27 Uatc, Llc Systems and methods for deploying an autonomous vehicle to oversee autonomous navigation
US10783381B2 (en) * 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10552689B2 (en) * 2017-11-09 2020-02-04 Here Global B.V. Automatic occlusion detection in road network data
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
US11620906B2 (en) * 2017-12-27 2023-04-04 Direct Current Capital LLC Method for accessing supplemental sensor data from other vehicles
US11422561B2 (en) * 2018-01-11 2022-08-23 Toyota Jidosha Kabushiki Kaisha Sensor system for multiple perspective sensor data sets
US11341356B2 (en) * 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US11176426B2 (en) * 2018-06-18 2021-11-16 Zoox, Inc. Sensor obstruction detection and mitigation using vibration and/or heat
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11048265B2 (en) * 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11287814B2 (en) * 2018-08-07 2022-03-29 GM Global Technology Operations LLC Lane change detection system and method for an autonomous vehicle
US10757551B2 (en) * 2018-10-17 2020-08-25 Ford Global Technologies, Llc Vehicle-to-infrastructure (V2I) messaging system
KR102619558B1 (ko) * 2018-11-16 2024-01-02 현대모비스 주식회사 자율주행차의 제어시스템 및 그 제어방법
DE102018219665A1 (de) * 2018-11-16 2020-05-20 Zf Friedrichshafen Ag Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
US11188082B2 (en) * 2019-01-11 2021-11-30 Zoox, Inc. Occlusion prediction and trajectory evaluation
US11016492B2 (en) 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
DE112021003707T5 (de) 2020-07-07 2023-06-01 Denso Corporation Steuervorrichtung, steuerverfahren und programm

Also Published As

Publication number Publication date
US11016492B2 (en) 2021-05-25
CN113544696A (zh) 2021-10-22
US20210278853A1 (en) 2021-09-09
US11740633B2 (en) 2023-08-29
EP3931742A1 (en) 2022-01-05
US20200278681A1 (en) 2020-09-03
WO2020176293A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
US11740633B2 (en) Determining occupancy of occluded regions
EP3908493B1 (en) Occlusion prediction and trajectory evaluation
CN112789481B (zh) 对自上而下场景的轨迹预测
US11631200B2 (en) Prediction on top-down scenes based on action data
US11802969B2 (en) Occlusion aware planning and control
JP7566018B2 (ja) 衝突ゾーンに基づく軌道修正
US11126180B1 (en) Predicting an occupancy associated with occluded region
US11409304B1 (en) Supplementing top-down predictions with image features
US11380108B1 (en) Supplementing top-down predictions with image features
US11513519B1 (en) Sharing occlusion data
JP2023507390A (ja) オブジェクトの動きに基づくトップダウンシーンの予測
JP2021527591A (ja) オクルージョン認識プランニング
US11851054B2 (en) Active prediction based on object trajectories
US12060082B1 (en) Machine learned interaction prediction from top-down representation
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
JP7570332B2 (ja) オクルージョン予測および軌道評価

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240806