JP2022544770A - コストベースの経路決定 - Google Patents

コストベースの経路決定 Download PDF

Info

Publication number
JP2022544770A
JP2022544770A JP2022508871A JP2022508871A JP2022544770A JP 2022544770 A JP2022544770 A JP 2022544770A JP 2022508871 A JP2022508871 A JP 2022508871A JP 2022508871 A JP2022508871 A JP 2022508871A JP 2022544770 A JP2022544770 A JP 2022544770A
Authority
JP
Japan
Prior art keywords
cost
vehicle
action
determining
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022508871A
Other languages
English (en)
Inventor
カルドウェル ティモシー
フォンセカ ラスムス
コビラロフ マリン
ブラッドフィールド パッカー ジェファーソン
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2022544770A publication Critical patent/JP2022544770A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車両コンピューティングシステムは、共に関連付けられるコストに基づいて車両がとるべきアクションを決定するための技術を実装してよい。コストは、環境において動作しているオブジェクト(例えば、別の車両、自転車運転者、歩行者など)に対するアクションの影響に部分的に基づいてよい。車両コンピューティングシステムは、センサーデータに基づいてオブジェクトを検出してよく、アクションを実行している車両に対するオブジェクトの予測される反応に基づいてオブジェクト軌道を決定してよい。車両コンピューティングシステムは、アクションおよび/または予測されるオブジェクト軌道に基づいて、車両がとることが可能であるそれぞれのアクションに対する安全性、快適性、進行、および/または運用規則に関連付けられるコストを決定してよい。ある例示において、最低コストのアクションは、車両が実行するために選択されてよい。

Description

本発明は、コストベースの経路決定に関する。
本PCT国際特許出願は、2019年8月13日に出願された「COST-BASED PATH DETERMINATION」と題された米国特許出願第16/539,928号の継続であり、優先権の利益を主張し、そのすべての内容は、参照により本明細書に組み込まれる。
自律車両および半自律車両におけるプラニングシステムは、動作環境における車両に対してとるべきアクションを決定する。車両に対するアクションは、環境において存在するオブジェクトを回避することに部分的に基づいて決定されることがある。例えば、アクションは、二重駐車車両を迂回すること、車線変更をして道路における別の車両を回避することなどが生成されてよい。従来のプラニングシステムは、アクションが最も保守的なアクションであるということの決定に基づいて、車両に対するアクションを選択することがある。しかしながら、このような従来のプラニングシステムは、環境における他のオブジェクトに対する車両のアクションの影響を考慮しない、環境の車両中心の見方を採用することがある。そのため、従来のプラニングシステムは、同一の道路を走行する他の車両などの環境において動作する他のオブジェクトに悪影響を与えることがある。
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に出現する図面を特定する。異なる図面における同一の参照番号の使用は、類似、または同一の構成要素、または特徴を示す。
環境における自律車両を示す図であり、ここで、例示的なコストベースの経路決定システムは、環境において使用する自律車両に対して経路を決定することに用いられることができる。 車両に対して環境おいて使用するさまざまな候補アクション、およびそれぞれの候補アクションに関連付けられる算定されたコストを示す図である。 環境における車両を示す図であり、ここで、例示的なコストベースの経路決定システムは、二次的なオブジェクトに対するアクションの影響に基づいてアクションに関連付けられるコストを決定することができる。 環境における車両を示す図であり、ここで、例示的なコストベースの経路決定システムは、閉塞区域を識別して、部分的に閉塞区域に基づいてとるべきアクションを決定するように構成されることができる。 環境における車両を示す図であり、ここで、例示的なコストベースの経路決定システムは、優先権を有するオブジェクトの経路が遮断されているという判断に基づいてとるべきアクションを決定するように構成されることができる。 少なくとも部分的にアクション報酬に基づくとるべきアクションを決定するように構成される環境における車両を示す図である。 本明細書で説明される技術を実装するための例示的なシステムのブロック図である。 少なくとも部分的にアクションに関連付けられるコストに基づくアクションに従って車両を制御するための例示的なプロセスを示す図である。 少なくとも部分的にアクションに関連付けられる安全性のコストに基づくアクションに従って車両を制御するための例示的なプロセスを示す図である。 少なくとも部分的にオブジェクトが閉塞区域に存在するという確率に基づいて車両を制御するための例示的なプロセスを示す図である。
本開示は、アクションに関連付けられるコストに基づいて、車両がとるべきアクション(例えば、走行する経路)を動的に決定するための技術に向けられている。コストは、車両を含む環境において動作しているオブジェクト(例えば、別の車両、自転車、歩行者など)に対するアクションの影響に部分的に基づいてよい。少なくともある例示において、このようなコストは、可能性のあるアクションを実行することに応答して、少なくとも部分的に環境における他のオブジェクトの予測されるモーションに基づいてよい。コストは、安全性(例えば、車両とオブジェクトとの衝突を回避すること)、快適性(例えば、突然の動きの欠如)、進行状況(例えば、目的地への動き)、運用規則(例えば、道路の規則、法律、条令、規制など)などに基づいてよい。車両コンピューティングシステムは、車両がとる1つまたは複数の可能性のあるアクションを決定することができ、それぞれの可能性のあるアクションに関連付けられるコストを算定することができる。さまざまな例示において、アクションは、共に関連付けられている最適なコスト(例えば、最低コスト、最高コスト、閾値を下回るコストなど)に基づいて選択されてよい。
車両は、環境における1つまたは複数のオブジェクトを検出するように構成される車両コンピューティングシステムを有する自律型または半自律型の車両を含んでよい。オブジェクトは、静的オブジェクト(例えば、建物、橋、標識など)、および他の車両(例えば、車、トラック、バイク、モペッドなど)、歩行者、自転車運転者などのような動的オブジェクトを含んでよい。それとは反対に示されない限り、本明細書における「オブジェクト」という用語は、動的オブジェクト(例えば、一瞬停止してはいるが、動いているおよび/または動くことが可能であるオブジェクト)を参照する。ある例示において、オブジェクトは、車両のセンサー(例えば、カメラ、モーションディテクター、ライダー、レーダー、飛行時間など)からのセンサーデータに基づいて検出されてよい。ある例示において、オブジェクトは、例えば、別の車両に関連付けられるセンサーまたは複数の車両とデータを共有するように構成される環境において取り付けられるセンサーのようなリモートセンサーから受信したセンサーデータに基づいて検出されてよい。ある例示において、車両コンピューティングシステムは、検出されたオブジェクトを意味論的に分類するように構成されてよい。分類は、別の車両(例えば、自動車、ピックアップトラック、セミトレーラートラック、トラクター、バス、電車など)、歩行者、自転車運転者、乗馬者などを含んでよい。例えば、車両コンピューティングシステムは、2つのオブジェクトを検出してよく、第1のオブジェクトを自動車として分類してよく、第2のオブジェクトをピックアップトラックとして分類してもよい。
さまざまな例示において、車両コンピューティングシステムは、検出されたオブジェクトを有する環境において動作している間に、車両がとることが可能である1つまたは複数のアクションを決定してよい。アクションは、車両が環境を通してとり得る1つまたは複数の可能性のある経路(例えば、1つまたは複数の車両軌道)を表現してよい。アクションは、右に車線変更、左に車線変更、車線にとどまること、障害物(例えば、二重駐車車両、トラフィックコーンなど)を迂回することなどのような1つまたは複数の参照アクション(例えば、車両が動的な動作環境に反応して実行するように構成される操作のグループのうちの1つ)を含んでよい。アクションは、さらに、速度の変化(例えば、速度維持、加速、減速など)、位置の変化(例えば、車線での位置の変更)などのような1つまたは複数のサブアクションを含んでよい。例えば、アクションは、車線にとどまる(参照アクション)こと、および車線での車両の位置を中央位置から車線の左側で動作するまで調整する(サブアクション)ことを含んでよい。別の例示に対して、アクションは、車線に2秒間とどまって(第1の参照アクション)、左への車線変更に続く(第2の参照アクション)間に、一時停止の標識での初期位置から加速すること(サブアクション)を含んでよい。このような例示において、アクションは、連続したアクションを含んでよい。
ある例示において、車両コンピューティングシステムは、車両が優先権を有さない(例えば、オブジェクトが優先権を有する)状況において車両がとるアクション(例えば、参照アクションおよびサブアクション)を決定するように構成されてよい。ある例示において、車両コンピューティングシステムは、優先権を有する車両が優先権を行使することを妨げられ得る状況において、車両が安全に前進し得る手段を決定するように構成されてよい。例えば、車両は、自動車の後で4方向の停止標識に接近することがある。しかしながら、歩行者は、自動車の前の道路を横断し得ることによって、自動車が優先権を行使して車両の前を通過することを妨げる。車両コンピューティングシステムは、自動車を遮断している歩行者を識別することができ、遮断されている自動車に基づいて車両がとるべき1つまたは複数のアクションを決定することができる。第1のアクションは、停止標識にとどまる(例えば、車線での位置を維持し、実質的にゼロ速度を維持する)ことを含んでよく、優先権を有する自動車が車両の前を通過することを待つ。第2のアクションは、車線での車両の位置を維持すること、および停止標識から加速することを含んでよく、優先権を有して、自動車の前の交差点を通って横断する。
さまざまな例示において、車両コンピューティングシステムは、環境における車両に適用可能である参照アクションおよび/またはサブアクションを決定するように構成されてよい。例えば、車線変更は、1つの車線の道路上を動作している車両に対して適用可能である参照アクションではないことがある。別の例示において、加速することは、制限速度で動作している車両に対して適用可能であるサブアクションではないことがある。
さまざまな例示において、車両コンピューティングシステムは、環境において検出されたそれぞれのオブジェクトの初期位置を決定するように構成されてよい。さまざまな例示において、車両コンピューティングシステムは、共に関連する初期位置からのようなそれぞれの検出されたオブジェクトに関連付けられる1つまたは複数の予測される軌道を決定してよい。ある例示において、1つまたは複数の予測される軌道は、センサーデータに基づいて決定されてよい。予測されるそれぞれの軌道は、検出されたオブジェクトが環境を通して走行し得る可能性のある経路を表現してよい。1つまたは複数の予測される軌道は、車両のアクションに対するオブジェクトの予測される反応(例えば、アクティブ予測)に基づいてよい。例えば、アクションは、別の車両が現在走行している車線への車線変更操作を実行する車両を含んでよい。車両コンピューティングシステムは、他の車両の予測される軌道が車両に対して車線変更を実行するための空間を提供するためにわずかな負の加速(減速)を含み得るということの決定をしてよい。
ある例示において、1つまたは複数の予測される軌道は、2017年11月8日に出願された米国特許出願番号第15/807,521号に記載されているようなオブジェクトの動作を予測するための確率的ヒートマップ(例えば、離散化された確率分布)を用いて決定されてよく、「Probabilistic Heat Maps for Behavior Prediction」と題され、その内容全体が参照により本明細書に組み込まれる。ある例示において、1つまたは複数の予測される軌道は、2018年10月4日に出願された「Trajectory Prediction on Top-Down Scenes」と題された米国特許出願番号第16/151,607号で、および2019年7月5日に出願された「Prediction on Top-Down Scenes based on Action Data」と題された米国特許出願番号第16/504,147号に記載される技術を利用することによるような環境のトップダウン表現に基づいてよく、それらの全内容は参照により本明細書に組み込まれる。さまざまな例示において、1つまたは複数の予測される軌道は、木探索法、時相論理式、および/または機械学習技術を利用して決定されてよい。
追加、または代替において、車両コンピューティングシステムは、環境(これは、対向する交通を含んでよい)の視界が障害物によるような遮断され得る閉塞区域(例えば、閉塞領域とも称される)を識別するように構成されてよい。閉塞区域は、車両コンピューティングシステムがオブジェクトを検出することが可能ではない領域を画定することができる。さまざまな例示において、車両コンピューティングシステムは、閉塞区域に関連付けられる道路の関連するセクションを識別するように構成されてよい。このような例示において、道路のセクションは、車両に関連し得る方向にオブジェクトが動作するように構成される1つまたは複数の車線、歩道、自転車専用車線などを含んでよい。例えば、閉塞区域は、オブジェクトが車両への走行し得る道路の2つの車線を含んでよい。このような例示において、オブジェクトが車両から離れる方向に走行する道路の任意のさらなる車線は、閉塞区域において含まれないことがある。
さまざまな例示において、車両コンピューティングシステムは、道路の関連するセクションに基づいて、オブジェクトが閉塞区域を通して走行することとなるという確率を決定することができる。ある例示において、オブジェクトが閉塞区域を通して走行することとなるという確率は、道路の関連セクションに関連付けられる格納データに基づいてよい。格納されたデータは、時間の経過とともにキャプチャされた道路の関連セクションに関連付けられるセンサーデータを含んでよい。ある例示において、確率は、時刻、曜日、月、季節などに基づいてよい。ある例示において、確率は、機械学習技術を利用して決定されてよい。このような例示において、機械学習モデルは、経時的にキャプチャされた道路の関連するセクションに関連付けられるセンサーデータのような訓練データで訓練されてよい。オブジェクトが存在し得るという確率に基づいて、車両コンピューティングシステムは、予測されるオブジェクト軌道を有する予測されるオブジェクトを生成してよく、とるべきアクションを決定する。
それぞれの可能性のある車両アクション(例えば、参照アクションおよびサブアクション)ごとに、車両コンピューティングシステムは、時間期間(例えば、5秒、8秒、12秒など)、車両およびオブジェクトを環境における前方に投影することによって、将来の状態(例えば、推定される状態)をシミュレートしてよい。車両コンピューティングシステムは、共に関連付けられる1つまたは複数の予測される軌道に基づいて、オブジェクトを前方に投影(例えば、オブジェクトの将来の位置を推定)してよい。車両コンピューティングシステムは、アクションに関連付けられる1つまたは複数の車両軌道に基づいて、車両を前方に投影(例えば、車両の将来の位置を推定する)してよい。推定される状態は、車両の推定される場所(例えば、推定される位置)、将来の時点でのオブジェクトの推定される場所、および/またはオブジェクトの任意の他の対応する運動学的説明(速度、加速度、ヨー、ヨーレートなど)を表現してよい。さまざまな例示において、車両コンピューティングシステムは、時間期間を通して所定のレート(例えば、10ヘルツ、20ヘルツ、50ヘルツなど)で推定される状態を決定してよい。少なくとも1つの例示において、推定される状態は、10ヘルツ(例えば、8秒の時間期間にわたって80個の推定される状態)のレートで実行されてよい。ある例示において、車両コンピューティングデバイスは、実質的に平行してさまざまな時間間隔で車両およびオブジェクトの推定される状態を決定してよい。このような例示において、車両コンピューティングデバイスは、要求される時間を減少させてよく、時間期間にわたって一組の推定される状態を生成する。
車両コンピューティングシステムは、車両およびオブジェクトの互いに対する推定される位置に基づくようなそれぞれの推定される状態に関連付けられるコストを決定してよい。ある例示において、車両コンピューティングシステムは、1つまたは複数の因子に基づいて、それぞれの推定される状態を分析してよく、コスト値を推定される状態に適用するか、またはそうでなければ決定してよい。このような例示において、推定される状態のコストは、因子のそれぞれに関連付けられるコストの合計を含んでよい。1つまたは複数の因子は、車両および/またはオブジェクトの安全性(例えば、車両とオブジェクトとの間の衝突回避)、快適性(例えば、車両とオブジェクトとの間の最短の距離よりも短いときの高い加速度にペナルティを科すことによる、例えば、突然の動きの欠如)、進行(例えば、目的地への動き)、運用規則(例えば、道路の規則、法律、条令、規制など)などを含んでよい。
車両および/またはオブジェクトの安全性は、車両とオブジェクトとの間の衝突の尤度(例えば、衝突の確率)を含んでよい。衝突の尤度は、車両とオブジェクトとの間の距離(例えば、5フィート、2メートル、0.5メートル以内など)、収束軌道(例えば、アクションに関連付けられる車両軌道と実質的に交差することとなるオブジェクト軌道)、車両とオブジェクトとの間の収束レート(例えば、毎秒2メートル、毎秒10フィートなど)などに基づいて算定されてよい。ある例示において、衝突の尤度は、距離および/または収束レートに関連付けられる閾値に基づいてよい。例えば、車両に関連付けられる推定される状態とオブジェクトに関連付けられる推定される位置との間の距離は、閾値距離(例えば、6フィート、2.5メートルなど)よりも短いかまたは等しくてよい。そのため、車両コンピューティングシステムは、車両とオブジェクトとの間に衝突の尤度が存在するということを決定してよい。別の例示に対して、車両に関連付けられる軌道およびオブジェクトに関連付けられる軌道は、収束の閾値レート(例えば、6フィート、2.5メートル、毎秒1.5メートルの収束など)と等しいかまたはそれもより高い速度で収束してよい。そのため、車両コンピューティングシステムは、車両とオブジェクトとの間に衝突の尤度が存在するということを決定してよい。ある例示において、衝突の尤度または確率は、実際の距離および/または収束レートが閾値を下回るかまたは上回る量に基づいてよい。このような例示において、衝突の確率は、車両により近いほど増加してよく、オブジェクトは、推定される状態(例えば、互いに6インチ以内の場合は、95%の衝突確率)および/または収束レートが閾値を上回る量(例えば、毎秒10メートルの収束レートを有する90%の衝突確率)にある。ある例示において、衝突の確率は、機械学習技術を利用して決定されてよい。このような例示において、機械学習モデルは、車両およびオブジェクトが環境においてインタラクトする状況を含む訓練データに基づいて衝突の確率を決定するために訓練されてよい。
さまざまな例示において、安全因子に関連付けられるコストは、衝突の確率に基づいてよい。ある例示において、衝突の確率が、衝突が起こり得るということを示す事前に定義された閾値(例えば、30%、50%など)よりも高い場合、固定コスト(例えば、50、75、90など)を含んでよい。ある例示において、コストは、衝突決定の確率に基づいてよい。例えば、車両コンピューティングシステムは、推定される状態における衝突の確率が95%であると決定してよく、車両コンピューティングシステムは、推定される状態の安全因子に対する95のコストを評価してよい。
さまざまな例示において、因子は、オブジェクトおよび/または車両の快適性を含んでよい。ある例示において、快適性のコストは、安全性のコストに基づいて決定されてよい。ある例示において、快適性のコストは、安全性のコストの一部(例えば、50%、20%など)を含んでよい。ある例示において、安全性のコストは、衝突の確率に基づくなどのベースのコストを含んでよい。このような例示において、推定される状態に対する合計の安全性のコストを決定するために、車両コンピューティングシステムは、第1の多項式関数(例えば、x4、x6など)をベースのコストに適用してよく、快適性のコストを決定するために、第2の多項式関数(例えば、x2、x3など)を適用してもよい。例えば、車両コンピューティングシステムは、衝突の確率になどに基づいて、推定される状態に関連付けられる4のベースのコストを決定してよい。推定される状態の安全性のコストは、256(ベースのコスト4)であってよく、快適性のコストは、16(ベースのコスト2)であってよい。別の例示に対して、車両コンピューティングシステムは、推定される状態に関連付けられる安全性のコストが40であると決定してよく、推定される状態に関連付けられる快適性のコストが20(安全性のコストの50%)であると決定してもよい。
ある例示において、快適性は、車両のアクションによって引き起こされるオブジェクトおよび/または車両に関連付けられる推定される加速度(例えば、正、負、横方向など)および/または加速度の変化(例えば、ジャーク)を含んでよい。例えば、車両のアクションは、オブジェクトにかなりの力でブレーキを適用させてよく、衝突を回避するような、-2メートル毎秒毎秒の加速(例えば、減速)を引き起こしてよい。ある例示において、快適性のコストは、加速度に関連付けられる値に基づいてよい。例えば、毎秒2フィートの負の加速度(例えば、毎秒-2フィート)は、2の快適性のコストをもたらしてよい。言うまでもなく、加速度値および/またはコストの例示、限定されることを意図するものではなく、他の値および/またはコストは、本明細書で企図される。
本明細書で列挙される任意のこのような例示において、快適性のコストおよび安全性のコストは、同一のパラメーター、および/またはこのようなパラメーターの同一の機能に基づいて決定されてよいが、安全性のコストは、安全性の臨界体制(オブジェクトへの近接、オブジェクトクラスへの近接、速度など)における快適性のコストを大幅に上回る。
さまざまな例示において、快適性のコストは、推定される状態における推定される状態において車両とオブジェクトとの相対位置の間の距離(例えば、10フィート、5フィート、2メートルなど)に関連付けられてよい。ある例示において、距離は、時間期間にわたって車両とオブジェクトとの間の最接近点を含んでよい。距離は、オブジェクトおよび車両が互いに最接近点に接近するにつれて、車両および/またはオブジェクトにおける乗員の快適性に関連付けられてよい。ある例示において、快適性のコストは、距離の逆数、または距離が減少するにつれてコストが増加するという着想を表現する任意の他の算定に基づくコストを適用することによるなど、距離に基づいて算定されてよい。さまざまな例示において、快適性のコストは、閾値距離に関連付けられてよい。このような例示において、快適性のコストは、車両およびオブジェクトの相対位置が互いの閾値距離内にあるという事実に基づいて評価されてよい。
さまざまな例示において、快適性のコストは、推定される状態における車両とオブジェクトとの間の閉包レートに関連付けられてよい。このような例示において、快適性のコストは、オブジェクト軌道および/または車両軌道に関連付けられる相対速度に基づいてよい。例えば、毎時20マイルの閉包レートを有するオブジェクトおよび車両は、4の快適性のコストを含んでよく、毎時5マイルの閉包レートを有するオブジェクトおよび車両は、1の快適性のコストを含んでよい。さまざまな例示において、コストおよび/または距離は、オブジェクトの分類に基づいてよい。例えば、別の車両から5フィート離れた車両位置は、1の快適性のコストを含んでよく、歩行者から5フィート離れた車両位置は、5の快適性のコストを含んでよい。
さまざまな例示において、因子は、目的地への動いているオブジェクトおよび/または車両の進行を含んでよい。ある例示において、コストは、衝突を回避するためなど、オブジェクトおよび/または車両の速度の変化(例えば、減速、停止など)および/または停止位置からの車両の動きの遅延に基づいて算定されてよい。さまざまな例示において、進行のコストは、推定される状態に起因する遅延に実質的に類似する値を含んでよい。例えば、アクションは、オブジェクトが交差点に近接して、交差点を通過する間に、車両が交差点で11秒間待機することを含んでよい。アクションに関連付けられる進行のコストは、11の値を含んでよいが、他の値は本明細書で企図される。
さまざまな例示において、因子は、運用規則のコストを含んでよい。運用規則のコストは、道路の規則(例えば、運輸省の法律、条令、規制など)、良好な運転の規則、地域の運転習慣(例えば、一般的な運転慣行)、運転作法(例えば、別の自動車が自転車専用車線などを占有しないで右折するための空間を提供するために車線での位置を調整すること)に基づいてよい。さまざまな例示において、推定される状態に関連付けられる運用規則のコストは、破られたおよび/または満たされている1つまたは複数の規則に基づいて算定されてよい。このような例示において、運用規則のコストは、満たされたもしくは履行された規則に基づいて、破られたもしくは履行されていない、および/または減少した規則(例えば、規則、習慣、作法など)に基づいて増加されてよい。例えば、経路は、交差点における車線変更をする車両を含んでよい。ある環境において違法ではないが、交差点において車線変更をすることは、良好な運転の規則では推奨されないことがあり、それ故に、5のペナルティコストを科すことがある。車線変更は、車線変更の作法のための最短の距離とみなされる別の車両の閾値距離内(例えば、20フィート、30フィート、10メートルなど)であってよい。閾値距離内の車線変更は、10のさらなるペナルティコストを科すことがある。したがって、推定される状態に関連付けられる合計の運用規則のコストは、15であってよい。別の例示に対して、経路は、赤信号で停止するために来る間に、車両が車線での位置を左側に調整することを含んでよい。調整された位置は、信号が青に変わることを待たせることなく、後ろにある別の車両が車両の隣を走行するための空間を提供してよく、右折を実行してもよい。位置を調整する作法は、-3の報酬をもたらし(例えば、推定される状態に関連付けられる合計のコストを減少させ)てよい。
ある例示において、因子は、重大性の順にランク付けされてよい。このような例示において、因子のうちの少なくとも1つは、他の因子よりもより高く重み付けされるコストを含んでよい。ある例示において、安全性のコストは、他の因子よりも高く重み付けされてよい。このような例示において、車両コンピューティングシステムは、車両がとるべきアクションの決定において、他の因子を上回る安全性を強調してよい。ある例示において、初期の安全性のコストは、2倍、3倍、4倍などを乗じてよい。ある例示において、車両コンピューティングシステムは、多項式関数(例えば、2次、3次など)を初期の安全性のコストに適用してよい。例えば、車両コンピューティングシステムは、アルファ*(安全性のコスト)2+ベータ*(快適性のコスト)+ガンマ*(進行のコスト)+デルタ*(運用規則のコスト)に基づいて、推定される状態に関連付けられる合計のコストを決定してよい。
ある例示において、車両コンピューティングシステムは、ランキングに基づいて、それぞれの因子に関連付けられるコストに減少量を乗じてよい。例えば、車両コンピューティングシステムは、安全性のコストに4倍、快適性のコストに3倍などを乗じてよい。ある例示において、車両コンピューティングシステムは、ランキングに基づいて多項式関数を因子に適用してよい。例えば、車両コンピューティングシステムは、アルファ*(安全性のコスト)4+ベータ*(快適性のコスト)3+ガンマ*(進行のコスト)2+デルタ*(運用規則のコスト)に基づいて、推定される状態に関連付けられる合計のコストを決定してよい。
ある例示において、車両コンピューティングシステムは、アクションに関連付けられるそれぞれの推定される状態に対応するコストを合計してよく、アクションに対する合計のコストを決定する。さまざまな例示において、車両コンピューティングシステムは、それぞれの因子に関連付けられる合計のコストおよび全体の合計のコストを算定してよい。このような例示において、車両コンピューティングシステムは、アクションに関連付けられる全体の合計のコストと同様に、アクションに関連付けられる安全性、快適性、進行、および/または運用規則に関連付けられる合計のコストを決定してよい。
さまざまな例示において、車両コンピューティングシステムは、それぞれのアクションに関連付けられる合計のコストを比較してよく、合計のコストに基づいてとるべきアクション(例えば、車両を制御すること)を決定してよい。ある例示において、選択されるアクションは、共に関連付けられる最低コストを有するアクションを含んでよい。このような例示において、他のオブジェクトに対する影響を最小限とする安全なアクションは、低いスコアを含むことがある。ある例示において、選択されるアクションは、共に関連付けられる最高コストを有するアクションを含むことがある。このような例示において、ペナルティは、負の値で報酬をもたらせられてよく、報酬は、正の値でもたらせられてよいことによって、他のオブジェクトに対する影響が最小である安全なアクションは、ハイスコアを含んでよい。
さまざまな例示において、車両コンピューティングシステムは、個別にそれぞれの因子に関連付けられるコストに基づいてアクションをランク付けすることによって、とるべきアクションを決定してよい。少なくとも1つの例示において、車両コンピューティングシステムは、まず安全性のコストに基づいてアクションをランク付けしてよい。このような例示において、車両コンピューティングシステムは、さらなるコスト(例えば、快適性のコスト、進行のコストなど)に対して処理され得る最も安全なアクションに対応する第1の一組のアクションを選択してよい。ある例示において、第1の一組のアクションは、所定の値(例えば、閾値)を上回るか、または下回る安全性のコストを有するアクションを含んでよい。ある例示において、第1の一組のアクションは、最も安全なアクション(例えば、コストをどのように算定するかに応じて、最低ランクまたは最高ランクの安全性のコストを有するアクション)の所定の数および/またはパーセンテージを含んでよい。例えば、第1の一組のアクションは、5つの最低の安全性のコストを有するアクション(例えば、5つの最も安全なアクション)を含んでよい。別の例示において、第1の一組のアクションは、上位25%の最高の安全性のコスト(最も安全なアクションの25%)を有するアクションを含んでよい。
さまざまな例示において、車両コンピューティングシステムは、一組のアクションのそれぞれの因子に対して、1つまたは複数の因子(例えば、安全性を下回るようにランク付けされる因子)の第2のランク付けされた因子に関連付けられるコストを決定してよい。少なくとも1つの例示において、第2の因子は、オブジェクトおよび/または車両の快適性を含んでよい。ある例示において、車両コンピューティングシステムは、第2のランク付けされた因子に関連付けられるコストに基づいて、一組のアクションをランク付けしてよい。さまざまな例示において、車両コンピューティングシステムは、第2のランク付けされた因子に関連付けられるコストに基づいて、第2の一組のアクションを識別してよい。さまざまな例示において、第2の一組のアクションは、第2の因子に関連付けられる最高(または最低)のコストを有するアクションの所定の数および/またはパーセンテージを含んでよい。例えば、第2の一組のアクションは、最低の快適性のコストを有する第1の一組のアクションの4つのアクション(例えば、4つの最も快適なアクション)を含んでよい。
さまざまな例示において、車両コンピューティングシステムは、第2の一組のアクションのそれぞれに対して、1つまたは複数の因子の第3のランク付けされた因子に関連付けられるコストを決定してよい。車両コンピューティングシステムは、第2の一組のアクションをランク付けしてよく、上記のような第3のランク付けされた因子に関連付けられるコストに基づいて、第3の一組のアクションを識別してよい。車両コンピューティングシステムは、因子のそれぞれが考慮されるまでその次にランク付けされた因子に関連付けられるコストに基づいて一組のアクションを継続して決定してよい。ある例示において、車両コンピューティングシステムは、因子のそれぞれが考慮された後で、最高ランクのアクションに基づいてとるべきアクションを決定してよい。このような例示において、車両コンピューティングシステムは、アクションに基づいて車両を制御してよい。
本明細書で説明される技術は、自律的および/または半自律的な車両制御プランニングの技術分野への改善を含んでよい。従来、自律車両の制御プラニングにおいて、車両コンピューティングデバイスは、検出されたオブジェクトから最長距離が維持されることをもたらす多様なアクションのうちの1つのアクションのような車両に対して最も保守的な経路をとり、選択するために多様なアクションを考慮してよい。最も保守的な経路は、車両および他のオブジェクトの安全性を確実にする一方で、進行および快適性のような他の因子をよく犠牲にする。しかしながら、本明細書で説明される技術は、車両コンピューティングシステムが、双方の車両に対して、安全性、快適性、進行、および運用規則を最適化するというアクションを選択し得る手段を含む。したがって、本明細書で説明される技術は、自律型および/または半自律型車両の技術分野を改善する。
さらに、上記で説明されるように、従来の制御プラニング技術は、環境において動作しているオブジェクトに対するアクションの影響を考慮しないという点で車両中心である。そのため、従来の制御プラニング技術を採用する車両コンピューティングシステムは、アクションが環境における別のオブジェクトを動作させ得る悪影響を無視してよい。しかしながら、本明細書で説明される技術は、車両コンピューティングシステムが、車両と同様に検出されたオブジェクトに対して、安全性、快適性、進行、および運用規則を最適化するというアクションを選択し得る手段を含む。したがって、本明細書で説明される技術は、自律型および/または半自律型車両の技術分野を改善する。
本明細書で説明される技術は、複数の方法で実装されてよい。例示的な実装は、以下の図面を参照して下記に提供される。自律車両のコンテキストにおいて説明されるが、本明細書で説明される方法、装置、およびシステムは、さまざまなシステム(例えば、センサーシステム、またはロボティックプラットホーム)に適用されてよく、自律車両に限定されない。ある例示において、同様の技術は、このようなシステムがさまざまな操作を実行することが安全であるかの表示を提供し得る運転者制御車両で利用されてよい。別の例示において、この技術は、航空または航海の文脈で、またはプランニング技術を使用する任意のシステムで利用されてよい。
図1は、環境100における自律車両102の図であり、ここで、例示的なコストベースの経路決定システムは、環境100において使用する自律車両102に対して経路を決定することに利用されてよい。車両コンピューティングデバイスは、車両102のコストベースの経路決定システムを実行してよい。ある例示において、本明細書で説明されるコストベースの経路決定技術は、図7のプラニングコンポーネント724のような車両コンピューティングデバイスのプラニングコンポーネントによって少なくとも部分的に実装されてよく、またはそれに関連付けられて実装されてよい。
さまざまな例示において、車両コンピューティングデバイスは、知覚システムを介するような環境100における1つまたは複数の動的オブジェクト104(例えば、オブジェクト104)を検出するように構成されてよい。車両コンピューティングシステムは、1つまたは複数のセンサーから受信したセンサーデータに基づいて、オブジェクト104を検出してよい。ある例示において、センサーは、例えば、カメラ、モーションディテクター、ライダー、レーダーのような車両102に搭載されるセンサーを含んでよい。ある例示において、センサーは、例えば、別の自律車両に搭載されるセンサー、および/または環境100に備え付けられるセンサー106のような1つまたは複数のリモートセンサーを含んでよい。
さまざまな例示において、車両102は、他の自律車両および/またはセンサー106からデータを伝送および/または受信するように構成されてよい。データは、環境100で検出されたオブジェクト104に関するデータのようなセンサーデータを含んでよい。さまざまな例示において、環境100は、交通監視、衝突回避などのためのセンサー106を含んでよい。ある例示において、センサー106は、例えば、見通しの悪いまたはいくぶん見通しの悪い交差点のような視認性が低下した領域における環境に備え付けられてよく、さらなる視認性を提供する。例えば、環境100における交差点は、見通しの悪い交差点があると決定されることがあり、ここで、接近する車両102は、交差する道路で左または右から接近するオブジェクト104および/または他の車両を知覚することが可能ではないことがある。それ故に、環境における交差点は、交差する道路に位置するオブジェクト104(1)および104(2)のようなオブジェクト104に関するセンサーデータを接近する車両102に提供するセンサー106を含んでよい。さまざまな例示において、車両コンピューティングシステムは、センサーデータを受信してよく、例えば、オブジェクト104が、自動車、トラック、バス、セミトレーラートラック、バイク、モペット、自転車運転者、歩行者などであるかのようなオブジェクト104のタイプを決定(例えば、オブジェクトのタイプを分類)してもよい。
さまざまな例示において、車両コンピューティングシステムは、検出されたオブジェクト104を用いて環境において動作している車両102に対して1つまたは複数のアクション110を決定してよい。アクション110は、車両102が環境100を通してとり得る1つまたは複数の可能性のある経路(例えば、1つまたは複数の車両軌道)を表現してよい。ある例示において、アクション110は、検出されたオブジェクト104に基づいて決定されてよい。例えば、車両コンピューティングシステムは、右から交差点に接近するオブジェクト104(1)および104(2)のような1つまたは複数のオブジェクト104を検出してよい。車両コンピューティングシステムは、第1のアクション110(1)は、初期位置112でとどまることを含んでよく、第2のアクション110(2)は、初期位置112から加速して、オブジェクト104(1)および104(2)の前の交差点を通過することを含んでよい。
アクション110は、右に車線変更、左に車線変更、車線にとどまること、障害物(例えば、二重駐車車両、トラフィックコーンなど)を迂回することなどのような1つまたは複数の参照アクション(例えば、車両が動的な動作環境に反応して実行するように構成される操作のグループのうちの1つ)を含んでよい。アクション110は、さらに、速度の変化(例えば、速度維持、加速、減速など)、位置の変化(例えば、車線での位置の変更)などのような1つまたは複数のサブアクションを含んでよい。例えば、第2のアクション110(2)のようなアクション110は、車線にとどまること(参照アクション)、および第1の加速度で初期位置112から加速すること(サブアクション)を含む一方で、第3のアクション110(3)は、車線にとどまること(参照アクション)、および第2の加速度で初期位置112から加速すること(サブアクション)を含んでよい。別の例示において、アクション110(4)のようなアクション110は、2秒間車線にとどまっている(第1の参照アクション)間に、初期位置112から加速(サブアクション)して、その後で車線変更左にする(第2の参照アクション)ことを含んでよい。さらに別の例示において、アクション110(5)のようなアクション110は、車線変更を左にしている間(参照アクション)に、第1の加速度で加速すること(サブアクション)、および左車線で確立される場合に第2の加速度で加速することを含んでよい。
ある例示において、車両コンピューティングシステムは、車両102が優先権を有さない(例えば、オブジェクト104が優先権を有する)状況において車両102がとるアクション110(例えば、参照アクションおよびサブアクション)を決定するように構成されてよい。このような例示において、車両コンピューティングシステムは、最も保守的な接近を用いるような従来の制御プラニング技術を用いることが可能となることとなるよりも早い時間で車両102が安全に前進し得る手段を決定するように構成されてよい。例えば、車両コンピューティングシステムは、車両102との衝突を回避するために、車両104(1)および104(2)を減速するように要求することによるようなオブジェクト104(1)および104(2)に悪影響を及ぼすことなく、車両102がオブジェクト104(1)および104(2)の前の交差点を安全に通過し得るアクション110(5)のようなアクション110を識別してよい。そのため、車両102は、そうでなければ、最も保守的な接近を用いて可能となることとなるよりもより安全でより速く目的地へ進行するように構成されてよく、これは、オブジェクト104(1)および104(2)が車両102の前の交差点を通過するまで、車両が初期位置112にとどまるように要求することとなる。
ある例示において、車両コンピューティングシステムは、交差点における優先権を有するオブジェクト104が優先権を行使することを阻止するということの決定をしてよい。例えば、車両102は、オブジェクト104(例えば、自動車)の後で4方向の停止標識に接近してよい。しかしながら、歩行者は、オブジェクト104の前の道路を横断していることがあり、それによってオブジェクト104が優先権を行使して、車両102の前の交差点を通過することを阻止する。車両コンピューティングシステムは、オブジェクト104を遮断する歩行者を識別してよく、オブジェクト104が遮断されていることに基づいて、車両102がとるべき1つまたは複数のアクション110を決定してもよい。第1のアクション110(1)は、停止標識(例えば、初期位置112)にとどまって、車両102の前を通過する優先権を有するオブジェクト104を待つことを含んでよい。第2のアクション110(2)は、車線での車両102の位置を維持すること、および停止標識から優先権を有するオブジェクト104の前方の交差点に通過するために加速することを含んでよい。
さまざまな例示において、車両コンピューティングシステムは、環境100における車両102に適用可能であるアクション110(例えば、参照アクションおよび/またはサブアクション)を決定するように構成されてよい。例えば、車線変更は、1つの車線の道路で動作している車両に対して適用可能である参照アクションではないことがある。別の例示において、加速することは、制限速度で動作している車両に対して適用可能であるサブアクションではないことがある。
さまざまな例示において、車両コンピューティングシステムは、それぞれ、オブジェクト104(1)、104(2)、および104(3)に関連付けられる軌道108(1)、108(2)、および108(3)のようなアクション110、センサーデータ、および/またはオブジェクト104のタイプに基づいて、1つまたは複数の予測されるオブジェクト軌道108(軌道108)を決定してよい。さまざまな例示において、軌道108は、車両の予測システムによって決定されるように、オブジェクトの予測されるモーションに基づいて決定されてよい。ある例示において、オブジェクト104に関連付けられる軌道108は、アクティブ予測に基づいてよい。アクティブ予測は、車両102の可能性のあるアクションに基づき得るオブジェクト104が有する可能性および/または起こり得る反応を決定することを含む。例えば、車両コンピューティングシステムは、車両102と同一の道路上にあり、反対方向に走行するオブジェクト104(3)のようなオブジェクト104が、車両102が交差点におけるアクション110(4)または110(5)を実行することのような車線変更を実行することに応答して、車線での位置を調整し得るということを決定してよい。したがって、車両コンピューティングシステムは、軌道108(3)を決定してよく、(オブジェクト104(3)の進行方向に対する)右へのわずかな逸脱を含んでもよい。
さまざまな例示において、軌道108は、1つまたは複数の機械学習アルゴリズムを利用して決定されてよい。このような例示において、車両コンピューティングシステムは、予測システムを介するなどで、オブジェクト104に関連付けられるセンサーデータを受信してよく、センサーデータに基づいてオブジェクト104の挙動を予測してよい。例えば、車両コンピューティングシステムは、経時的に、オブジェクト104の動きのキャプチャされた画像データに対して訓練されてよいことによって、車両コンピューティングシステムは、オブジェクト104がとり得る将来のアクション(例えば、軌道108)を提案し得るという挙動を認識してよい。追加、または代替において、車両コンピューティングシステムは、ヒートマップ(例えば、離散化された確率分布)、環境のトップダウン表現、木探索方法、および/または時間論理式を利用してよく、上記の参照により組み込まれた特許出願で説明されるそれらのようなオブジェクト104の1つまたは複数の軌道108を決定するが、オブジェクトの将来の状態および/または不確実性の任意の他の表現が企図される。
アクション110(1)、110(2)、110(3)、110(4)、および110(5)のようなそれぞれの車両アクション110に対して、車両コンピューティングシステムは、時間期間(例えば、5秒、8秒、12秒など)の間に、車両およびオブジェクトを環境において前方に投影することによって、将来の状態(例えば、推定される状態)をシミュレートしてよい。車両コンピューティングシステムは、それぞれのアクション110に関連付けられる1つまたは複数の予測される軌道に基づいて、オブジェクトを前方に投影(例えば、オブジェクト104の将来の位置を推定)してよい。例えば、車両コンピューティングシステムは、第2のアクション110(2)が、一定の進行方向を維持している間に、毎時1マイルの減速(例えば、負の加速)を含むオブジェクト軌道108(1)をもたらし得るということを決定してよい。車両コンピューティングシステムは、アクション110に関連付けられる1つまたは複数の車両軌道に基づいて、車両102を前方に投影(例えば、車両の将来の位置を推定)してよい。図2に図示されるように、推定される状態は、車両102の推定される場所(例えば、推定される位置)および将来のある時間でのオブジェクト104の推定される位置を表現することができる。さまざまな例示において、車両コンピューティングシステムは、一組の推定される状態(例えば、時間期間を通して車両および/またはオブジェクトの推定される位置を表現する推定される状態のグループ)を通して、所定のレート(例えば、10ヘルツ、20ヘルツ、50ヘルツなど)で推定される状態を決定してよい。少なくとも1つの例示において、推定される状態は、10ヘルツ(例えば、8秒の時間期間にわたって80個の推定される状態)のレートで実行されてよい。ある例示において、車両コンピューティングデバイスは、実質的に平行してさまざまな時間間隔で車両およびオブジェクトの推定される状態を決定してよい。このような例示において、車両コンピューティングデバイスは、要求される時間を減少させてよく、時間期間にわたって一組の推定される状態を生成する。
さまざまな例示において、車両コンピューティングシステムは、車両102に関係のない104(4)のような1つまたは複数のオブジェクト104を識別するように構成されてよい。オブジェクト104は、オブジェクト104および車両102が同一の空間を潜在的に占有するか、またはある時間期間(例えば、衝突の可能性)にわたって互いの閾値距離内に来ることが可能である場合、車両102に関連してよい。さまざまな例示において、オブジェクトは、オブジェクト104(4)に関連付けられる軌道108(4)のようなオブジェクト104に関連付けられる軌道108が、アクション110に関連付けられる車両軌道で交差および/または収束することとはならないということの決定に基づいて、車両に関係のないということの決定をしてよい。例えば、オブジェクト104(4)に関連付けられる軌道108(4)は、車両102の進行方向に実質的に直交する道路の車両102から離れることを含む。ある例示において、オブジェクト104は、オブジェクト104の推定される位置が時間期間(例えば、一組の推定される状態)を通して、車両102の推定される位置からの閾値距離よりも長くなることとなるということの決定に基づいて、車両102に関係のないということの決定をしてよい。オブジェクト104が車両102に関係のないということの決定に基づいて、オブジェクト104は、アクション110に関連付けられる推定される状態で無視されてよい。例えば、車両コンピューティングシステムは、オブジェクト104(4)が車両102に関係のないということの決定をしてよく、オブジェクト104(4)に関連付けられる軌道108(4)を推定される状態で含まなくてよい。オブジェクト104(4)のような関係のないオブジェクト104を無視することによって、本明細書で説明される技術は、異なるアクション110に関連付けられるコストを決定すること、車両を制御することなどのような関連するオブジェクトおよび車両コンピューティングシステムの他の機能に関連付けられる推定される位置を決定するためのさらなるストレージおよび処理能力を提供することによって、車両コンピューティングシステムの機能を改善してよい。
車両コンピューティングシステムは、車両102およびオブジェクト104の互いに対する推定される位置に基づくようなそれぞれの推定される状態に関連付けられるコストを決定してよい。ある例示において、車両コンピューティングシステムは、1つまたは複数の因子に基づいて、それぞれの推定される状態を分析してよく、コスト値を推定される状態に適用してもよい。このような例示において、推定される状態のコストは、因子のそれぞれに関連付けられるコストの合計を含んでよい。1つまたは複数の因子は、車両102および/またはオブジェクト104の安全性(例えば、車両102とオブジェクト104との間の衝突を回避すること)、快適性(例えば、車両102および/またはオブジェクト104による突然の動きの欠如)、進行(例えば、車両102および/またはオブジェクト104の目的地への動き)、運用規則(例えば、道路の規則、法律、条令、規制など)などを含んでよい。少なくともある例示において、(例えば、具体的な状態での)個々のコストは、互いに比較されてよい。
車両102および/またはオブジェクト104の安全性は、車両102とオブジェクト104との間の衝突の尤度(例えば、衝突の確率)を含んでよい。衝突の尤度は、車両102とオブジェクト104との間の距離(例えば、5フィート、2メートル、0.5メートル以内など)、収束軌道(例えば、アクション110に関連付けられる車両軌道と実質的に交差することとなるオブジェクト104の軌道108)、車両102とオブジェクト104との間の収束レート(例えば、毎秒2メートル、毎秒10フィートなど)などに基づいて算定されてよい。ある例示において、衝突の尤度は、距離および/または収束レートに関連付けられる閾値に基づいてよい。例えば、車両102に関連付けられる推定される状態とオブジェクト104に関連付けられる推定される位置との間の距離は、閾値距離(例えば、6フィート、2.5メートルなど)よりも短いかまたは等しくてよい。そのため、車両コンピューティングシステムは、車両とオブジェクトとの間に衝突の尤度が存在するということを決定してよい。別の例示に対して、アクション110および軌道108に関連付けられる車両軌道は、収束の閾値レート(例えば、毎秒8フィート、毎秒3メートル、毎秒2メートルの収束など)に等しいかまたはそれより高い速度で収束してよい。そのため、車両コンピューティングシステムは、車両102とオブジェクト104との間に衝突の尤度が存在するということを決定してよい。ある例示において、衝突の尤度または確率は、実際の距離および/または収束レートが閾値を下回るかまたは上回る量に基づいてよい。このような例示において、衝突の確率は、車両により近いほど増加してよく、オブジェクトは、推定される状態(例えば、互いに6インチ以内の場合は、95%の衝突確率)および/または収束レートが閾値を上回る量(例えば、毎秒10メートルの収束レートを有する90%の衝突確率)にある。さまざまな例示において、衝突の確率は、機械学習技術を用いて決定されてよい。このような例示において、機械学習モデルは、車両102およびオブジェクト104が衝突したか、または衝突しなかった状況を含む訓練データを利用して訓練されてよい。
さまざまな例示において、安全因子(例えば、安全性のコスト)に関連付けられるコストは、衝突の確率に基づいてよい。ある例示において、衝突の確率が衝突が起こり得るということを示す事前に定義された閾値(例えば、40%、51%、など)よりも高い場合、固定コスト(例えば、60、80、100など)を含んでよい。ある例示において、固定コストは、閾値を上回るコスト値を含んでよいことによって、車両コンピューティングシステムが共に関連付けられるアクションを選択することが可能ではない。このような例示において、衝突の確率は、車両102がとり得るアクション110に対する制約を含んでよい。ある例示において、コストは、衝突判断の確率に基づいてよい。ある例示において、安全性のコストと衝突の確率との間の相関は、1:1、2:1、1:2の相関関係などがあってよい。例えば、車両コンピューティングシステムは、推定される状態における衝突の確率が95%であるということの決定をしてよく、車両コンピューティングシステムは、推定される状態の安全因子に対する95のコストを評価してよい。ある例示において、安全性のコストは、衝突の確率の多項式関数を含んでよい。ある例示において、安全性のコストは、衝突の閾値確率に基づいて決定されてよい。このような例示において、閾値を下回る衝突の確率に関連付けられる安全性のコストは、第1の関係(例えば、1:1、2:1、x2など)を含んでよく、閾値を上回る衝突の確率に関連付けられる安全性のコストは、第2の関係(例えば、10:1、x4など)を含んでよい。
ある例示において、車両コンピューティングデバイスがアクション110(例えば、制約)を選択しないことがある上記の閾値コスト値は、具体的な衝突の確率に関連付けられてよい。例えば、閾値コスト値は、60%で設定されてよいことによって、60%またはそれより高い衝突の確率を有するアクション110は、車両コンピューティングシステムによって選択されなくてよい。閾値コスト値は、車両102がとるアクション110の決定において、車両コンピューティングシステムが他の因子を上回る安全性を強調し得る手段を提供してよい。
さまざまな例示において、安全性のコストは、少なくとも部分的に、オブジェクト104に関連付けられる分類に基づいてよい。例えば、2台の車両との間の同一の衝突の確率は、車両とバイクとの間の衝突の確率よりも低い安全性のコストをもたらすことがある。ある例示において、歩行者との衝突の確率は、他のすべてが等しい別の車両との衝突の確率に関連付けられるコストを上回ってよい。ある例示において、車両コンピューティングシステムは、オブジェクトに関連付けられる安全性のコストを決定してよく、分類因子(例えば、バイクに対して1.3、歩行者に対して1.5など)によって安全性のコストを増加させてよい。
さまざまな例示において、車両コンピューティングシステムは、衝突の確率に基づくような決定された安全性のコストを2倍、3倍、4倍などに増加させること、または多項式関数(例えば、2次、3次など)を決定された安全性のコストに適用することによって、上記の他の因子の安全性を強調してよい。例えば、車両コンピューティングシステムは、合計の安全性コスト=(決定された安全性のコスト)2のような安全性のコストに2次方程式を適用してよい。
さまざまな例示において、因子は、オブジェクト104および/または車両102の快適性を含んでよい。ある例示において、オブジェクト104の快適性は、アクション110に応答するようなオブジェクト104の軌道108に関連付けられる推定される加速度(例えば、正、負、横方向など)および/または推定される加速度の変化(例えば、ジャーク)を含んでよい。車両102の快適性は、アクション110(横方向および/または長手方向)に対応する軌道に関連付けられる推定される加速度を含んでよい。例えば、オブジェクト104(1)のようなオブジェクト104は、かなりの力でブレーキを適用すると予測されてよく、初期位置112からゆっくりと加速する車両102を含むアクション110(2)に応答して、-2メートル毎秒毎秒の加速(例えば、減速)を引き起こす。ある例示において、コストは、加速度に関連付けられる値に基づいてよい。例えば、2フィート毎秒毎秒の負の加速度(例えば、毎秒-2フィート毎秒毎秒)は、2の快適性のコストをもたらしてよい。他の例示において、考慮されるオブジェクト104の任意の他の状態/制御は、快適性のコスト(例えば、最も近い隣人、または次に最も近い隣人、ステアリングレート、回転レート、速度、道路の規則の考慮事項として算定され得るように、他の車両にどのくらい近いか、例えば、他のオブジェクトが走り去るために必要とされる速度制限にどのくらい近いか、またはそれを超えるかなど)を決定することに用いられてよい。
ある例示において、快適性コストは、推定される状態で車両102とオブジェクト104との間の距離に基づいて決定されてよい。ある例示において、アクション110に関連付けられる快適性のコストは、時間期間にわたって車両102の推定される位置とオブジェクト104の推定される位置との間の最も近い接近ポイントに基づいてよい。さまざまな例示において、快適性のコストは、軌道108とアクションに関連付けられる車両軌道との間の相対速度に基づいてよい。このような例示において、快適性のコストは、車両102とオブジェクト104との間の閉包レートに関連付けられてよい。例えば、毎時30マイルの閉包レートを有するオブジェクトおよび車両は、20の快適性のコストを含んでよく、毎時6マイルの閉包レートを有するオブジェクトおよび車両は、2の快適性のコストを含んでよい。
ある例示において、快適性のコストに関連付けられる距離および/または相対速度は、オブジェクト104に関連付けられる分類に基づいてよい。ある例示において、分類は、快適性のコストに関連付けられる共に関連付けられる距離の範囲を有してよいことによって、車両102の推定される位置が推定される状態で具体的な範囲内にある場合、関連する快適性のコストを推定される状態の快適性のコストに加えられる。例えば、歩行者は、関連付けられる快適性のコストが50である歩行者から任意の方向に1ヤードの第1の範囲を有してよく、関連付けられる快適性のコストが20である歩行者から任意の方向に3ヤードの第2の範囲を有してもよい。
さまざまな例示において、快適性のコストは、少なくとも部分的に安全性のコストに基づいて決定されてよい。ある例示において、快適性のコストは、安全性のコストの一部(例えば、50%、20%など)を含んでよい。ある例示において、安全性のコストは、衝突の確率に基づくなどのベースのコストを含んでよい。このような例示において、推定される状態に対する合計の安全性のコストを決定するために、車両コンピューティングシステムは、第1の関数(例えば、x4、x6など)をベースのコストに適用してよく、快適性のコストを決定するために、第2の関数(例えば、x2、x3など)を適用してもよい。例えば、車両コンピューティングシステムは、衝突の確率に基づくなどの推定される状態に関連付けられる4のベースのコストを決定してよい。推定される状態の安全性のコストは、256(ベースのコスト)4であってよく、快適性のコストは、16(ベースのコスト)2であってよい。別の例示に対して、車両コンピューティングシステムは、推定される状態に関連付けられる安全性のコストが40であると決定してよく、推定される状態に関連付けられる快適性のコストが20(安全性のコストの50%)であると決定してもよい。ある例示において、安全性のコストは、オブジェクト状態の第1の関数(例えば、位置、速度、加速度)および/またはオブジェクト104と車両102との間の相対状態(例えば、それぞれの位置との間の距離、相対速度、相対加速度など)を含んでよく、快適性のコストは、オブジェクト状態の第2の関数および/またはオブジェクト104と車両102との間の相対状態を含んでよい。
ある例示において、車両コンピューティングシステムは、それぞれの加速方向に基づいて快適性のコストを評価してよい。このような例示において、負の加速(例えば、減速)および/または横方向の加速度のコストは、正の加速度よりも高いコストを含んでよい。ある例示において、車両コンピューティングシステムは、負の加速度および/または横方向の加速度に2倍、3倍などを乗じてよいか、または負の加速度および/または横方向の加速度に多項式関数(例えば、2次など)を適用してもよい。ある例示において、加速度(例えば、正、負、横方向)は、閾値(例えば、閾値正、負、および/または横方向の加速度)を上回る加速度に基づいて、共に関連付けられるコストを有してよい。このような例示において、車両コンピューティングシステムは、加速度がそれぞれの閾値加速度と等しいかまたはそれを上回るということの決定に基づいてコストを適用してよい。さまざまな例示において、加速度に関連付けられる快適性のコストは、加速度が1つまたは複数の加速度範囲の範囲内にあるということの決定に基づいてよい。このような例示において、範囲は、快適性のコスト値に関連付けられてよい。例えば、-0.5フィート毎秒毎秒から-2フィート毎秒毎秒の1の加速度範囲は、5のコスト値を有してよく、-2.1フィート毎秒毎秒から-5フィート毎秒毎秒の第2の加速度範囲は、10のコスト値を有してよく、-5.1フィート毎秒毎秒から-10フィート毎秒毎秒の第3の加速度範囲は、15のコスト値を有してよい。
さまざまな例示において、車両コンピューティングシステムは、車両102に関連付けられる快適性にわたって、オブジェクト104に関連付けられる快適性を強調するように構成されてよい。このような例示において、車両コンピューティングシステムは、オブジェクトの快適性のコストに2倍、3倍、4倍などを乗じてよいか、またはオブジェクトのコストに多項式関数を適用してもよい。さまざまな例示において、所与の推定される状態の合計の快適性のコストは、オブジェクトの快適性のコスト(強調のために調整されるか否か)および/または車両の快適性のコストを含んでよい。
さまざまな例示において、因子は、目的地への動いているオブジェクト104および/または車両102の進行を含んでよい。ある例示において、コストは、衝突を回避するためなど、オブジェクト104および/または車両102の速度の変化(例えば、減速、停止、加速、減速など)および/または停止位置からの車両102の動きの遅延(例えば、車両の時間遅延)に基づいて算定されてよい。さまざまな例示において、進行のコストは、アクション110および/または推定される状態(例えば、オブジェクトの時間遅延、車両の時間遅延など)に起因する遅延の秒数に実質的に類似する値を含んでよい。説明される例示において、アクション110(1)は、オブジェクト104が交差点に接近して、交差点を通過する間に、交差点(例えば、停止標識)で11秒間待機する車両を含んでよい。アクション110(1)に関連付けられる進行のコストは、11の値を含んでよい。ある例示において、進行のコストは、遅延のレベル(例えば、遅延時間の範囲)に関連付けられてよい。例えば、非常に短い遅延(例えば、1秒よりも短いなど)は、1の進行のコストをもたらしてよい一方で、短い遅延(例えば、1~3秒)は、2の進行のコストなどをもたらしてよい。
さまざまな例示において、進行のコストは、環境100において動作しているオブジェクト104の決定された公称速度のプロファイルに基づいて算定されてよい。公称速度のプロファイルは、オブジェクト104が車両102の欠如における環境100を通って走行し得るベースライン速度のプロファイルを含んでよい。ある例示において、公称速度のプロファイルは、事前に記録されたデータに基づくなどの環境100に関連付けられる速度制限、環境100において動作しているオブジェクト104の周知の特徴などに基づいてよい。さまざまな例示において、車両コンピューティングシステムは、進行のコストを決定するために、公称速度のプロファイルとオブジェクト軌道108との間の差を決定してよい。ある例示において、車両コンピューティングシステムは、多項式関数または因子を差に適用してよく、アクションに関連付けられる進行のコストを決定する。少なくともある例示において、このようなコストは、少なくとも部分的に、車両102が存在するオブジェクトの予測される軌道と可能性のあるアクションをとることとの間の差に基づいてよい。
さまざまな例示において、因子は、運用規則のコストを含んでよい。運用規則のコストは、道路の規則(例えば、運輸省の法律、条令、規制など)、良好な運転の規則、地域の運転習慣(例えば、一般的な運転慣行)、運転作法(例えば、別の自動車が自転車専用車線などを占有しないで右折するための空間を提供するために車線での位置を調整すること)に基づいてよい。さまざまな例示において、推定される状態に関連付けられる運用規則のコストは、破られたおよび/または満たされている1つまたは複数の規則に基づいて算定されてよい。このような例示において、運用規則のコストは、満たされたもしくは履行された規則に基づいて、破られたもしくは履行されていない、および/または減少した規則(例えば、規則、習慣、作法など)に基づいて増加されてよい。例えば、アクション110(4)のようなアクション110は、交差点における車線変更をする車両102を含んでよい。ある環境において違法ではないが、交差点において車線変更をすることは、良好な運転の規則では推奨されないことがあり、それ故に、10のペナルティコストを科すことがある。車線変更は、車線変更の作法のための最短の距離とみなされる別の車両の閾値距離内(例えば、20フィート、30フィート、10メートルなど)であってよい。閾値距離内の車線変更は、さらなる10のペナルティコストを科すことがある。したがって、推定される状態に関連付けられる合計の運用規則のコストは、15であってよい。別の例示に対して、アクション110は、赤信号で停止するために来る間に、車両102が車線での位置を左側に調整することを含んでよい。調整された位置は、信号が青に変わることを待たせることなく、車両102の後ろから接近するオブジェクトが車両102の隣を走行するための空間を提供してよく、右折を実行してもよい。位置を調整する作法は、-3の報酬をもたらし(例えば、推定される状態に関連付けられる合計のコストを減少させ)てよい。
ある例示において、因子は、重大性の順にランク付けされてよい。このような例示において、因子のうちの少なくとも1つは、他の因子よりも高く重み付けされるというコストを含んでよい。上記のように、安全性のコストは、他の因子よりも高く重み付けされてよい。このような例示において、車両コンピューティングシステムは、車両がとるべきアクションの決定において、他の因子を上回る安全性を強調してよい。例えば、車両コンピューティングシステムは、以下の式を用いて、推定される状態に関連付けられる合計のコストを決定してよい。
ESコスト=(安全性のコスト)2+(快適性のコスト)+(進行のコスト)+(op.規則のコスト) (1)
別の例示に対して、車両コンピューティングシステムは、以下の式を用いて、推定される状態に関連付けられる合計のコストを決定してよい。
ESコスト=[2×(安全性のコスト)]+(快適性のコスト)+(進行のコスト)+(op.規則のコスト) (2)
ある例示において、車両コンピューティングシステムは、ランキングに基づいて、それぞれの因子に関連付けられるコストに減少量を乗じてよい。例えば、車両コンピューティングシステムは、安全性のコストに4倍、快適性のコストに3倍、進行のコストに2倍、および運用規則のコストに1倍を乗じてよい。ある例示において、車両コンピューティングシステムは、ランキングに基づいて多項式関数を因子に適用してよい。例えば、車両コンピューティングシステムは、以下の式に従って、推定される状態に関連付けられる合計のコストを決定してよい。
ESコスト=(安全性のコスト)4+(快適性のコスト)3+(進行のコスト)2+(op.規則のコスト) (3)
さまざまな例示において、車両コンピューティングシステムは、推定される状態に関連付けられるコスト(例えば、ESコスト)が閾値の推定される状態のコストを上回るということを決定してよい。ある例示において、車両コンピューティングシステムは、ESコストが部分的に閾値を上回ることに基づいて、アクションに関連付けられるデータを無視してよい。
ある例示において、車両コンピューティングシステムは、アクションに関連付けられる一部またはすべての推定される状態に対応するコストを合計してよく、アクションに対する合計のコストを決定する。非限定的な例示として、車両コンピューティングシステムは、以下の式に従って合計のアクションコストを決定してよい。
合計のアクションコスト=(ES1コスト)+(ES2コスト)+…+(ESNコスト) (4)
追加的または代替的に、車両コンピューティングシステムは、それぞれの因子に関連付けられる合計のコストを算定してよい。このような例示において、車両コンピューティングシステムは、安全性、快適性、進行、および/またはアクションに関連付けられる運用規則に関連付けられる合計のコストを決定してよい。例えば、アクションに関連付けられる合計の安全性のコストは、以下のように表現されてよい。
合計の安全性のコスト=(ES1安全性のコスト)+(ES2安全性のコスト)+…+(ESN安全性のコスト) (5)
言うまでもなく、コストの任意の他の組み合わせ(線形、非線形、重み付け、非重み付け、機械学習などか)が企図される。
さまざまな例示において、車両コンピューティングシステムは、それぞれのアクションに関連付けられる合計のコストを比較してよく、合計のコストに基づいてとるべきアクション(例えば、車両を制御すること)を決定してよい。ある例示において、選択されるアクションは、共に関連付けられる最低コストを有するアクションを含んでよい。このような例示において、他のオブジェクトに対する影響を最小限とする安全なアクションは、低いスコアを含むことがある。ある例示において、選択されるアクションは、共に関連付けられる最高コストを有するアクションを含むことがある。このような例示において、ペナルティは、負の値で報酬をもたらせられてよく、報酬は、正の値でもたらせられてよいことによって、他のオブジェクトに対する影響が最小である安全なアクションは、ハイスコアを含んでよい。さまざまな例示において、車両コンピューティングシステムは、決定された(例えば、選択された)アクションに基づいて車両を制御してよい。ある例示において、閾値を上回る任意の1つのコストは、このような軌道を考慮から不適格とみなしてよい。
図2は、環境100のような環境においてとるべき車両102のような車両202に対して、可能性のあるアクション(候補アクションとも称される)204、206、208、および210の図面200の集合であり、共に関連付けられるそれぞれのコスト212、214、216、および218である。4つのアクションとして説明されるが、第1のアクション204は、第1の加速度を有するアクション110(2)に対応してよく、第2のアクション206は、第2の加速度を有するアクション110(2)に対応してよく、第3のアクション208は、アクション110(5)に対応してよく、および第4のアクション210は、アクション110(1)に対応してよく、より多くまたはより少ない数のアクションが車両コンピューティングシステムによって考慮されてよい。
ある例示において、アクション204、206、208、および/または210は、プラニングコンポーネント(例えば、図7のプラニングコンポーネント724)によってアクセス可能であるような車両コンピューティングデバイスのメモリにおいて事前に定義されてよく、および/または格納されてよい。例えば、プラニングコンポーネントは、アクション204、206、208、および/または210を、車両202が2方向の停止(例えば、ここで、横断する交通が優先権を有する)でとり得る事前に定義された一組のアクションとして格納してよい。ある例示において、アクション204、206、208、および/または210は、環境において検出されたオブジェクト222(1)および222(2)の数および/または近接性に基づくような環境に基づいてプラニングコンポーネントによって決定されてよい。さまざまな例示において、車両コンピューティングシステムは、アクションが具体的な時間(例えば、初期位置から)の環境における車両に適用可能であるかを決定してよい。このような例示において、車両コンピューティングシステムは、所定のアクションにアクセスしてよく、所定のアクションのそれぞれが環境100に適用可能であるかを決定してよい。アクションは、環境において実行可能である(例えば、車両が2車線道路の右側車線で動作している場合に左側車線への変更)、環境において実行可能でない(例えば、車両が単一の車線の道路で動作している間の車線変更など)、環境に論理的である(例えば、スクールゾーンにおけるゆっくりとした加速など)、環境に論理的でない(例えば、遊び場に近接した急速な加速など)などの決定に基づく環境に適用可能であってよい。
上記のように、アクション204、206、208、および/または210は、参照アクションおよび/またはサブアクションを含んでよい。参照アクションは、車線にとどまること、右に車線変更すること、左に車線変更すること、障害物を迂回すること、障害物への迂回を中止することなどを含んでよい。サブアクションは、速度を維持すること、加速すること、減速すること、車線での位置を調整することなどを含んでよい。説明的な例示において、アクション204は、車線にとどまること(参照アクション)、および第1の加速度で加速すること(サブアクション)を含み、アクション206は、車線にとどまること(参照アクション)、および第2の加速度で加速すること(サブアクション)を含む。さらに、説明的な例示において、アクション208は、初期位置220から加速している間に車線変更をすることを含み、アクション210は、初期位置220での位置を実質的に維持することを含む。
さまざまな例示において、アクション204、206、208、および210のそれぞれに対して、車両コンピューティングシステムは、それぞれのアクション204、206、208、210に基づいて、軌道108のような1つまたは複数の予測されるオブジェクト軌道を決定してよい。ある例示において、予測されるオブジェクト軌道は、車両の1つまたは複数のセンサーおよび/または環境におけるセンサー(例えば、別の車両に搭載され、見通しの悪い交差点などのような定位置に固定される)によって収集されるセンサーデータに部分的に基づいてよい。ある例示において、予測されるオブジェクト軌道は、オブジェクト222(1)および222(2)に関連付けられるそれぞれの分類に部分的に基づいてよい。例えば、自動車として分類されるオブジェクト222(1)に関連付けられる第1の予測されるオブジェクト軌道は、オブジェクト222(1)の前の交差点を通って走行する車両202に応答してブレーキに適用される第1の圧力量に対応する第1の減速を含んでよい。セミトレーラートラックとして分類されるオブジェクト222(1)に関連付けられる第2の予測されるオブジェクト軌道は、オブジェクト222(1)の前で車両202が横断することに応答して、ブレーキに適用される第2の圧力量(例えば、より大きな車両を停止させるためのより大きな圧力)に対応する第2の減速を含んでよい。
さまざまな例示において、予測されるオブジェクト軌道は、車両の予測システムによって決定されるように、オブジェクト222(1)および222(2)の予測されるモーションに基づいて決定されてよい。ある例示において、オブジェクト222(1)および222(2)に関連付けられる予測されるオブジェクト軌道は、アクティブ予測に基づいてよい。アクティブ予測は、オブジェクト222(1)および222(2)がそれぞれのアクション204、206、208、および210に基づいて、有し得る可能性のあるおよび/または起こり得る反応を決定することを含む。例えば、車両コンピューティングシステムは、車両202と同一の道路にあり、反対方向に走行しているオブジェクト222(2)が第3のアクション208に示されるように交差点における車線変更を実行することに応答して車線での位置を調整し得るということを決定してよい。したがって、車両コンピューティングシステムは、予測されるオブジェクト軌道が(推定される位置226(2)に示される)右へのわずかな逸脱を含み得るということを決定してよい。さまざまな例示において、予測されるオブジェクト軌道は、本明細書に組み込まれる米国特許出願に説明されるものなどの環境100、ヒートマップ、時相論理式、木探索法、および/または機械学習技術のトップダウン表現を利用して決定されてよい。
図2に図示されるように、それぞれのアクション204、206、208、および210に対して、車両コンピューティングシステムは、車両202およびオブジェクト222(1)およびオブジェクト222(2)を時間期間(例えば、5秒、8秒、12秒など)の間に環境における前方に投影することによって、将来の状態(例えば、推定される状態)をシミュレートすることができる。第1の推定される状態は、オブジェクト222(1)に関連付けられる第1の推定されるオブジェクト位置224(1)(例えば、オブジェクト位置224(1))、オブジェクト222(2)に関連付けられる第1の推定されるオブジェクト位置226(1)、および第1の推定される車両位置228(1)を含んでよく、第2の推定される状態は、オブジェクト222(1)に関連付けられる第2の推定されるオブジェクト位置224(2)、オブジェクト222(2)に関連付けられる第2の推定されるオブジェクト位置226(2)、および第2の推定される車両位置228(2)などを含んでよい。推定されるオブジェクト位置224(1)、224(2)、224(3)および226(1)、226(2)、226(3)は、それぞれのオブジェクト222(1)および222(2)に関連付けられる予測されるオブジェクト軌道に基づいて決定されてよい。第1のオブジェクト222(1)、第2のオブジェクト222(2)、および車両202にそれぞれ関連付けられる3つの位置224(1)、224(2)、224(3)、226(1)、226(2)、226(3)、および228(1)、228(2)、228(3)として説明されるが、3つの推定される状態の視覚的表現におけるような時間期間にわたって、オブジェクト222(1)、222(2)、および車両202に対して、より多くまたはより少ない数の推定される状態(例えば、位置)が決定されてよい。
さまざまな例示において、車両コンピューティングシステムは、所定のレート(例えば、10ヘルツ、20ヘルツ、50ヘルツなど)で、時間期間(例えば、4秒、8秒、10秒など)にわたって推定される状態(このように、推定されるオブジェクト位置224(1)、224(2)、224(3)、および226(1)、226(2)、226(3)、および推定される車両位置228(1)、228(2)、および228(3))を決定してよい。少なくとも1つの例示において、推定される状態は、10ヘルツ(例えば、8秒の時間期間にわたって80個の推定される状態)のレートで実行されてよい。このような例示において、推定される位置224(1)、224(2)、224(3)、226(1)、226(2)、226(3)、および228(1)、228(2)、および228(3)は、0.1秒間隔で決定されてよい。ある例示において、車両コンピューティングデバイスは、実質的に平行なさまざまな時間間隔で車両202ならびにオブジェクト222(1)および222(2)の推定される状態を決定してよい。このような例示において、車両コンピューティングデバイスは、要求される時間を減少させてよく、時間期間にわたって一組の推定される状態を生成する。
図2に図示されるように、車両コンピューティングシステムは、第1のアクション204に関連付けられる第1のコスト212、第2のアクション206に関連付けられる第2のコスト214、第3のアクション208に関連付けられる第3のコスト216、第4のアクション210に関連付けられる第4のコスト218を決定することができる。ある例示において、車両コンピューティングシステムは、車両202およびオブジェクト222(1)および222(2)の推定される位置、ならびに/またはそれぞれのアクション204、206、208、210に関連付けられるオブジェクトおよび車両軌道に基づいて、それぞれの推定される状態に関連付けられるコストを決定してよい。このような例示において、コスト212、214、216、および218は、それぞれ推定される位置に関連付けられるコストの合計を表現してよい。例えば、第1のコスト212に関連付けられる16の安全性のコストは、それぞれの推定される状態に対して算定されるそれぞれの安全性のコストの合計のコストを表現してよい。例えば、第1の推定される状態は、第1の推定される車両位置228(1)から第1の推定されるオブジェクト位置222(1)に関連付けられる第1の推定されるオブジェクト位置224(1)および/または第2のオブジェクト222(2)に関連付けられる第1の推定されるオブジェクト位置226(1)までの距離のために少なくとも0の第1の安全性のコストを含んでよく、第2の推定される状態は、車両202とオブジェクト222(1)および222(2)との間のそれぞれの距離が収束する軌道に接近するにつれて、2の第2の安全性のコストを含んでよく、第3の推定される状態は、少なくとも第3の推定される車両位置228(3)と第3の推定されるオブジェクト位置224(3)との間の限定された距離に基づいて14の第3の安全性のコストを含んでよい。言うまでもなく、本明細書で説明されるすべてのコストを参照して、任意の数値は、さまざまなコストが互いにどのように比較され得るかを示すためだけの例示的な目的であり、実際の数を反映するものではない。
上記のように、コスト212、214、216、および218は、1つまたは複数の因子に基づいて決定されてよい。1つまたは複数の因子は、車両202および/またはオブジェクト222(1)および222(2)の安全性(例えば、車両202とオブジェクト222(1)および222(2)との間の衝突を回避すること)、快適性(例えば、車両202および/またはオブジェクト222(1)および222(2)による突然の動きの欠如)、進行(例えば、車両202および/またはオブジェクト222(1)および222(2)の目的地への動き)、運用規則(例えば、道路の規則、法律、条令、規制など)などを含んでよい。
安全性、快適性、進行、および/または道路の規則に関連付けられる合計のコストとして説明されるが、それぞれの因子コストは、車両202および/またはオブジェクト222(1)および222(1)に対する安全性、快適性、進行、および/または道路の規則を含んでよい。例えば、第2のアクション206は、乗員にとってわずかに不快となり得るレートで、初期位置220からの車両202の加速度を含んでよい。車両コンピューティングシステムは、乗員の不快感が車両202に対して2の快適性のコストを含み得るということを決定してよい。さらに、車両コンピューティングシステムは、車両202が交差点を横断することに応答して、オブジェクト222(1)がわずかな減速を含む予測されるオブジェクト軌道を有し得るということを決定してよい。車両コンピューティングシステムは、オブジェクト222(1)の2の快適性のコストを評価してよい。車両の快適性のコストおよびオブジェクト222(1)快適性のコストを組み合わせることで、車両コンピューティングシステムは、第2のアクションに対する合計の快適性のコストが4であるということを決定してよい。別の例示において、車両コンピューティングシステムは、第3のアクション208が右車線から左車線に車線変更するわずかな横方向の加速度を含むということを決定してよい。初期位置220から進行する間のわずかな横方向の加速度に基づいて、車両コンピューティングシステムは、車両の1の快適性のコストを評価してよい。さらに、車両コンピューティングシステムは、わずかな横方向の加速度を含み得るオブジェクト222(2)に関連付けられる予測される軌道が車線での位置を右にゆっくりと調整するということを予測してよい。車両コンピューティングシステムは、オブジェクトの1の快適性のコストを第3のアクション208に評価してよく、2の合計の快適性のコストをもたらす。さらに別の例示に対して、第4のアクション210は、第4のアクション210がオブジェクト222(1)および222(1)に影響を与えることのないということの決定に基づくような車両202だけに関連付けられるコストをもたらしてよい。したがって、安全性、快適性、進行、および運用規則(ラベル付けされた道路の規則)コストは、車両に関連付けられる。
ある例示において、それぞれの因子コストは、オブジェクト222(1)および222(2)のうちの1つまたは複数に関連付けられる安全性、快適性、進行、および/または道路の規則を含んでよい。このような例示において、車両コンピューティングシステムは、アクション204、206、208、または210がオブジェクト222(1)および222(2)に有し得る影響に基づいて、とるべきアクション204、206、208、または210を決定するように構成されてよい。例えば、車両コンピューティングシステムは、第1のアクションにおいて車両202が交差点を横断することに応答して、オブジェクト222(1)が第1の減速で減速し得るということを予測してよい。第1の減速は、オブジェクト222(1)の操作者および/または乗員に対するような不快な減速を含んでよい。したがって、快適性のコストは、オブジェクトの6の快適性のコストを含んでよい。しかしながら、第2のアクション206は、オブジェクト222(1)を第2の減速で減速させ、第2の減速は、第1の減速よりもわずかに低くなると予測されてよい。第2の減速は、第1の減速よりも低い(例えば、不快感がより少ない)ため、オブジェクトの快適性のコストは、4であると決定されてよい。別の例示に対して、第1のアクション204に応答して第1のオブジェクト222(1)に関連付けられる第1の減速は、第1のオブジェクト222(1)が目的地に到達することに遅延をもたらすことがある。したがって、車両コンピューティングシステムは、2の進行のコストを評価してよい。しかしながら、第2のアクション206に応答してオブジェクト222(1)の第2の減速は、より少ない遅延をもたらすことができ、これによって、1の進行のコストをもたらす。上記のように、進行のコスト値は、アクション204、206、208、または210に応答してオブジェクト222(1)が遅延する秒数を表現してよく、または、遅延のレベルに対応する値(例えば、1の進行のコストをもたらす非常に短い遅延(例えば、1秒よりも短いなど)、2の進行のコストをもたらす短い遅延(例えば、1~3秒など)など)を表現してもよい。このようなコストのうちの任意の1つまたは複数は、アクションの変化および/または車両の欠如に基づいて、予測される軌道のうちの1つまたは複数に対して決定されてよい。
運用規則のコスト(道路の規則)は、道路の規則(例えば、運輸省の法律、条令、規制など)、良好な運転の規則、地域の運転習慣(例えば、一般的な運転慣行)、運転作法(例えば、別の自動車が自転車専用車線などを占有しないで右折するための空間を提供するために車線での位置を調整すること)に基づいてよい。さまざまな例示において、推定される状態に関連付けられる運用規則のコストは、破られたおよび/または満たされている1つまたは複数の規則に基づいて算定されてよい。このような例示において、運用規則のコストは、満たされたもしくは履行された規則に基づいて、破られたもしくは履行されていない、および/または減少した規則(例えば、規則、習慣、作法など)に基づいて増加されてよい。説明的な例示において、第1のアクション204および第2のアクション206は、共に、交差点における優先権を有するオブジェクト222(1)に基づいて、1の運用規則のコストを含む。第3のアクション208は、交差点内の車線変更に基づいて6の運用規則のコストを含む。
さまざまな例示において、車両コンピューティングシステムは、それぞれのアクション204、206、208、および210に関連付けられるコスト212、214、216、および218を比較してよく、取るべきアクション(例えば、車両を制御する)を決定してよい。ある例示において、車両コンピューティングシステムは、共に関連付けられる最低コストに基づいてとるべきアクションを選択してよい。さまざまな例示において、車両コンピューティングシステムは、因子に関連付けられる閾値レベルを下回る因子コストを有するアクション204、206、208、および210を識別してよく、識別されたアクションから最低コストのアクションを選択してよい。例えば、閾値の安全性のコストは、10の値を含んでよい。第1のアクション204は、閾値の安全性のコストを上回る安全性のコストを含むため、車両コンピューティングシステムは、プラニングの考慮事項から第1のアクション204を無視してよい。ある例示において、車両コンピューティングシステムは、アクション204、206、208、または210に関連付けられる因子コストが閾値を上回っているとして識別してよく、アクション204、206、208、または210に関連付けられるコスト値の決定(例えば、算定)を停止してよい。例えば、車両コンピューティングシステムは、第3の推定される状態の後で、第1のアクション204が閾値を上回る安全性のコストを有するということを決定してよい。安全性のコストが閾値を上回っているということの決定に基づいて、車両コンピューティングシステムは、推定される状態を生成することを停止してよく、共に関連付けられるコストを決定してよい。このような例示において、本明細書で説明される技術は、他の(実行可能な)アクションに関連付けられるコストを決定するためにさらなるコンピューティングリソースを提供してよく、これによって車両コンピューティングシステムの機能を改善する。
図3は、環境100における車両102のような環境300における車両302の図であり、ここで例示的なコストベースの経路決定システムは、二次的なオブジェクト304(2)に対するアクションの影響に基づいてアクションに関連付けられるコストを決定することができる。上記のように、車両コンピューティングシステムは、図1に図示されるアクション110(1)、110(2)、110(3)、110(4)、および110(5)、および/または図2に図示されるアクション204、206、208、および210のような1つまたは複数のアクションを決定してよい。図3に図示されるアクションは、2方向の交差点312での初期位置306から加速する車両302を含み、ここで、主要なオブジェクト304(1)および二次的なオブジェクト304(2)のような交差する道路を走行するオブジェクト304は、優先権を有する。
さまざまな例示において、車両コンピューティングシステムは、車両、別の車両の、および/または環境において取り付けられたうちの1つまたは複数のセンサーによってキャプチャされたセンサーデータに基づくようなオブジェクト304を検出してよい。ある例示において、車両コンピューティングシステムは、オブジェクト304を主要なオブジェクト304(1)および二次的なオブジェクト304(2)として指定してよい。二次的なオブジェクト304(2)は、二次的なオブジェクト304(2)が主要なオブジェクト304(1)に続いている(例えば、実質的に同様の進行方向を有して、主要なオブジェクト304(1)の後ろに位置される)ということの決定に基づくように指定されてよい。ある例示において、二次的なオブジェクト304(2)としての指定は、二次的なオブジェクト304(2)が主要なオブジェクト304(1)の閾値距離(例えば、10フィート、4メートルなど)内にあるということの決定に基づいてよい。このような例示において、閾値距離は、オブジェクト304の速度、環境に関連付けられる速度制限などに基づいて決定されてよい。さまざまな例示において、二次的なオブジェクト304(2)としての指定は、二次的なオブジェクト304(2)が車両302のアクション(例えば、オブジェクト間の同様の予測される軌道など)に応答するような主要なオブジェクト304(1)と同様の方法で反応すると予測される決定に基づいてよい。
ある例示において、車両コンピューティングシステムは、アクションに基づいてオブジェクト304の1つまたは複数の予測される軌道を決定してよい。少なくとも1つの例示において、車両コンピューティングシステムは、主要なオブジェクト304(1)の1つまたは複数の予測される軌道および主要なオブジェクト304(1)に関連付けられる予測される軌道の二次的なオブジェクト304(2)に対する影響を決定してよい。さまざまな例示において、車両コンピューティングシステムは、指定されたレート(例えば、5ヘルツ、10ヘルツなど)で、時間期間(例えば、6秒、7秒、8秒など)にわたって車両302およびオブジェクト304を前方に投影してよい。推定される車両位置308(1)、308(2)および308(3)ならびに推定されるオブジェクト位置310(1)、310(2)、および310(3)は、例示の目的のために提供されて、より多くまたはより少ない数の推定されるオブジェクト位置は、車両コンピューティングシステムによって決定されてよい。さらに、主要なオブジェクト304(1)に関連付けられる推定されるオブジェクト位置310(1)、310(2)、および310(3)として説明されるが、車両コンピューティングシステムは、二次的なオブジェクト304(2)の推定されるオブジェクト位置を追加的に生成してよい。
上記のように、推定される車両位置308(1)、308(2)および308(3)ならびに推定されるオブジェクト位置310(1)、310(2)、および310(3)に部分的に基づいて、車両コンピューティングシステムは、アクションが主要なオブジェクト304(1)に有する影響に基づいて合計のアクションコストを決定してよい。合計のアクションコストは、1つまたは複数の因子(例えば、安全性、快適性、進行、運用規則など)に関連付けられるコストを含んでよい。ある例示において、車両コンピューティングシステムは、主要なオブジェクト304(1)に関連付けられる合計のアクションコスト(例えば、アクションが因子を考慮する主要なオブジェクト304(1)に有する合計の影響)を二次的なオブジェクト304(2)に適用してよい。このような例示において、オブジェクト304に関連付けられる合計のアクションコストは、2倍にされてよい。
ある例示において、車両コンピューティングシステムは、安全性のコスト、快適性のコスト、進行のコスト、および主要なオブジェクト304(1)に関連付けられる運用規則のコストを決定してよく、コスト(安全性、快適性、進行、運用規則)の一部またはすべてを二次的なオブジェクト304(2)に適用してよい。このような例示において、選択のコストは、アクションに関連付けられる主要なオブジェクト304(1)の予測される軌道に応答して、快適性および進行のような二次的なオブジェクト304(2)に影響を与えることとなる因子に関連付けられてよい。例えば、図示されるように、アクションは、車両302が主要なオブジェクト304(1)の前で交差点を横断することを含んでよい。アクションに応答して、車両コンピューティングデバイスは、主要なオブジェクト304(1)が交差点に入る前に減速するためにブレーキを適用することとなることが起こり得ることによって、車両302との衝突を回避するということを決定してよい。主要なオブジェクト304(1)の負の加速度に基づいて、車両コンピューティングシステムは、アクションに関連付けられるオブジェクトの快適性のコストは、4であり、アクションに関連付けられるオブジェクトの進行のコストは、2であるということを決定してよい。さらに、車両コンピューティングシステムは、主要なオブジェクト304(1)の負の加速度が二次的なオブジェクト304(2)も減速させ得ることによって、主要なオブジェクト304(1)との衝突を回避するということの決定をしてよい。そのため、車両コンピューティングシステムは、4のオブジェクトの快適性のコストおよび2のオブジェクトの進行のコストを二次的なオブジェクト304(2)に適用してよく、8のオブジェクトの合計の快適性のコストおよび4のオブジェクトの合計の進行のコストをもたらす。
さまざまな例示において、車両コンピューティングシステムは、二次的なオブジェクト304(2)に関連付けられるコストが主要なオブジェクト304(1)に関連付けられるコストの一部またはすべてのパーセンテージ(例えば、50%、75%など)を含むということを決定してよい。上記からの例示用いて、主要なオブジェクト304(1)は、4の快適性のコストおよび2のオブジェクトの進行のコストと評価されてよい。車両コンピューティングシステムは、二次的なオブジェクト304(2)がそれほど減速する必要がないこととなり、それ故に、3のオブジェクトの快適性のコストおよび1.5のオブジェクトの進行のコスト(例えば、主要なオブジェクトのコストの75%)を適用することとなるということを決定してよい。ある例示において、パーセンテージは、主要なオブジェクト304(1)と二次的なオブジェクト304(2)との間の距離に基づいてよい。このような例示において、すぐ後ろから続く(例えば、自動車2台分の長さ以内、20フィート以内など)二次的なオブジェクト304(2)は、より大きな影響を受けることがあり、こういうわけで、より高いパーセンテージ(例えば、80%、85%など)が適用されることがあり、主要なオブジェクト304(1)(例えば、10メートル、自動車3台分の長さなど)後ろからより長い距離に続く二次的なオブジェクト304(2)は、より低いパーセンテージ(例えば、50%、25%など)が適用されることがある。
さまざまな例示において、車両コンピューティングシステムは、主要なオブジェクト304(1)(例えば、二次的なオブジェクト304(2)、三次的なオブジェクトなど)から離れた車両の数に基づいてパーセンテージを決定してよい。ある例示において、車両コンピューティングシステムは、二次的なオブジェクト304(2)に関連付けられるコストが主要なオブジェクト304(1)に適用されるコストの第1のパーセンテージを含み、三次的なオブジェクト304(1)に関連付けられるコストは、主要なオブジェクト304(1)に適用されるコストの第2のパーセンテージを含むということを決定してよい。このような例示において、第2のパーセンテージは、第1のパーセンテージよりも小さくてよい。例えば、二次的なオブジェクト304(2)に関連付けられるコストは、主要なオブジェクト304(1)に関連付けられるコストの75%であってよく、三次的なオブジェクトに関連付けられるコストは、主要なオブジェクト304(1)に関連付けられるコストの50%であってよい。ある例示において、車両コンピューティングシステムは、二次的なオブジェクト304(2)に関連付けられるコストが主要なオブジェクト304(1)に適用されるコストのパーセンテージを含み、三次的なオブジェクト304(1)に関連付けられるコストは、二次的なオブジェクト304(2)に適用されるコストのパーセンテージを含むということを決定してよい。例えば、二次的なオブジェクト304(2)に関連付けられるコストは、主要なオブジェクト304(1)に関連付けられるコストの80%であってよく、三次的なオブジェクトに関連付けられるコストは、二次的なオブジェクト304(2)に関連付けられるコストの80%であってよい。
図4は、環境100における車両102のような環境500における車両402の図であり、ここで、例示的なコストベースの経路決定システムは、閉塞区域404を識別して、部分的に閉塞区域404に基づいて取るべきアクションを決定するように構成されてよい。1つまたは複数の障害物408が閉塞区域404に関連付けられる領域を遮断するため、閉塞区域404は、車両コンピューティングシステムがオブジェクト104のような1つまたは複数のオブジェクト406を検出することが可能ではないことがある領域を画定してよい。説明的な例示において、閉塞区域404は、障害物408(例えば、駐車した自動車)によって遮断された道路410の一部を含んでよい。他の例示において、閉塞区域404は、歩道、通路、自転車専用車線、または1つまたは複数のオブジェクト406の視界が閉塞され得る他の領域を含んでよい。
さまざまな例示において、車両コンピューティングシステムは、閉塞区域404の前方境界412および後方境界414を識別してよい。前方境界412は、閉塞区域404の前方の大部分のラインを含んでよく、ここの前で、車両コンピューティングシステムは、オブジェクト406を検出するように構成されてよい。後方の境界414は、閉塞区域404の最も遠い後方のラインを含んでよく、ここで結び付けられる境界で、車両コンピューティングシステムは、オブジェクト406を検出するように構成されてよい。さまざまな例示において、車両コンピューティングシステムは、1つまたは複数の閉塞された道路領域416を識別するように構成されてよい。閉塞された道路領域416は、前方の境界から後方の境界414まで延長してよい。説明的な例示は、閉塞された道路領域416は、それぞれが道路410のセクションの個々の車線に関連付けられる。
さまざまな例示において、車両コンピューティングシステムは、道路410のセクションに関連付けられる識別子418を決定するように構成されてよい。識別子418は、環境400において動作するために車両コンピューティングデバイスによって利用される道路ネットワークの一部に関連付けられる一意の識別子を表現してよい。道路ネットワークの一部は、リモートコンピューティングデバイスを介して、マップデータなどに事前に定義されてよく、車両コンピューティングデバイスに格納され、および/またはアクセス可能であってよい。
さまざまな例示において、車両コンピューティングシステムは、オブジェクト406が閉塞区域404において走行し得るという確率を決定するように構成されてよい。ある例示において、確率は、識別子418および共に関連付けられる事前に記録されたセンサーデータに基づいてよい。ある例示において、確率は、時刻、曜日、月などに基づいてよい。少なくとも1つの例示において、確率は、機械学習技術を利用して決定されてよい。このような例示において、1つまたは複数の機械学習モデルは、さまざまな時間でキャプチャされた事前に記録されたセンサーデータを利用して訓練されてよく、オブジェクト406が閉塞区域404において動作し得るという確率を決定する。さまざまな例示において、車両コンピューティングシステムは、オブジェクト406が「Radar Spatial Estimation」と題された2018年9月28日に出願された米国特許出願第16/147,177号、および「Occlusion Aware Planning」と題された2018年6月18日に出願された米国特許出願第16/011,436号に説明される技術に従って閉塞区域404において動作し得るという確率を決定するように構成されてよく、これらの両方は、参照により本明細書に組み込まれる。
さまざまな例示において、オブジェクト406が閉塞区域404において動作し得るという確率に基づいて、車両コンピューティングシステムは、予測されるオブジェクト420が閉塞区域404において動作しているということが起こり得るということを決定(例えば、予測されるオブジェクト420を生成してよく、アクションの決定における予測されるオブジェクトに関連付けられるデータを含む)してよい。さまざまな例示において、車両コンピューティングシステムは、オブジェクト406が閉塞区域404において走行し得るという確率が閾値確率(例えば、>20%、>30%、>50%など)を上回っているということの決定に基づいて、予測されるオブジェクト420を生成してよい。例示的な例示において、車両コンピューティングシステムは、確率が閾値確率を上回っているということを決定してよく、道路410のセクションの右車線で予測されるオブジェクト420を生成してよい。
さらに、確率が閾値を上回っているということの決定に基づいて、車両コンピューティングシステムは、1つまたは複数の予測されるオブジェクト軌道422を決定してよい。上記のように、予測されるオブジェクト軌道422は、予測されるオブジェクト420が車両402がとるべきアクションに応答して走行し得る経路および/または速度を含んでよい。予測されるオブジェクト軌道422は、識別子418(例えば、道路410のセクション)に関連付けられる事前に記録されたセンサーデータで訓練された機械学習アルゴリズムおよび/または本明細書で説明されるオブジェクト軌道を決定するための他の技術を利用して決定されてよい。さまざまな例示において、車両コンピューティングシステムは、車両402が初期位置424からとり得るそれぞれのアクションに関連付けられる予測されるオブジェクト軌道422を決定してよい。
さまざまな例示において、車両コンピューティングシステムは、環境400における予測されるオブジェクト軌道422および/または検出されたオブジェクト406に関連付けられる軌道に基づいて、それぞれのアクションに関連付けられるコストを算定してよい。このような例示において、車両コンピューティングデバイスは、予測されるオブジェクト420および/または検出されたオブジェクト406に関連付けられる安全性のコスト、快適性のコスト、進行のコスト、および/または運用規則のコストを決定してよい。ある例示において、検出されたオブジェクト406は、二次的なオブジェクト304(2)のような予測されるオブジェクト420に対する二次的なオブジェクトとみなされてよい。このような例示において、共に関連付けられるコストは、図3に関して上記の二次的なオブジェクトのコスト決定技術を用いて決定されてよい。
さまざまな例示において、車両コンピューティングデバイスは、予測されるオブジェクト420、検出されたオブジェクト406、および/または車両402に関連付けられるコスト(例えば、安全性のコスト、快適性のコスト、進行のコスト、運用規則のコストなど)に基づいて、それぞれのアクションに関連付けられる合計のコストを決定してよい。少なくとも1つの例示において、最低コストを有するアクションは、車両に対してとるべきために車両コンピューティングシステムによって選択されてよい。ある例示において、車両コンピューティングデバイスは、アクションに従って車両を制御させてよい。
図5は、環境100における車両102のような環境500における車両502の図であり、ここで、例示的なコストベースの経路決定システムは、優先権を有するオブジェクト506の経路504が遮断されるということの決定に基づいてとるべきアクションを決定するように構成されてよい。説明的な例示において、オブジェクト506の経路504は、歩行者508によって遮断される。他の例示において、オブジェクト506の経路504は、工事区域、事故、前を通過する自転車などのような任意の数の他の理由によって遮断されてよい。本明細書で説明されるように、経路504の遮断は、実質的に0の速度を有するオブジェクト506に関連付けられる予測されるオブジェクト軌道をもたらしてよい。
さまざまな例示において、車両502は、車両502のセンサーおよび/または1つまたは複数のリモートセンサーによってキャプチャされたセンサーデータに基づいて、環境500におけるオブジェクト104のようなオブジェクト506を検出してよい。ある例示において、車両コンピューティングシステムは、環境500および/または交差点510に関連付けられる道路の規則に基づくようなオブジェクト506が優先権を有するということを決定してよい。例えば、車両コンピューティングシステムは、オブジェクト506が車両502の前に4方向の停止である交差点510に到着したということを決定してよく、それ故に、オブジェクト506に優先権を与える。別の例示に対して、交差点は、2方向の停止を含んでよく、ここで、車両502は、停止することが要求されているが、オブジェクト506は、要求されていない、それ故に、オブジェクト506に優先権を与える。
説明的な例示において、車両コンピューティングシステムは、センサーデータに基づくような、オブジェクト506の経路504を遮断する歩行者508を検出してよい。ある例示において、歩行者508は、車両コンピューティングシステムによって歩行者として分類される第2のオブジェクトを含んでよい。さまざまな例示において、車両コンピューティングシステムは、センサーデータに基づいて、歩行者508に関連付けられる1つまたは複数の軌道512を決定してよい。さまざまな例示において、軌道512は、歩行者508としての分類、分類に関連付けられる最高速度、一定の運動学的運動(例えば、一定の速度、進行方向など)のようなさまざまな因子に基づいて決定されてよい。さまざまな例示において、軌道512は、本明細書に組み込まれる米国特許出願において説明されるような環境500、ヒートマップ、時相論理式、木探索法、機械学習技術、および/または予測されるオブジェクト506および/または環境における歩行者508の動きに対する任意の他の技術のトップダウン表現を利用して決定されてよい。ある例示において、車両コンピューティングシステムは、歩行者508としての分類に基づいて軌道512を決定してよい。このような例示において、軌道512は、歩行者508の平均速度、歩行者508の最高速度などに基づいてよい。ある例示において、軌道512は、歩行者508の1つまたは複数の特徴に基づいて決定されてよい。特徴は、身体の位置決め、衣類、履物などを含んでよい。例えば、ビジネスウェアの歩行者508に関連付けられる軌道512は、時速2マイルであってよく、一方、ランニングウェアを着用している歩行者508に関連付けられる軌道512は、時速4マイルであってよい(ただし、任意の値が本明細書で用いられることが可能である)。
さまざまな例示において、軌道512に基づいて、車両コンピューティングシステムは、経路504の遮断に関連付けられる時間遅延(例えば、オブジェクトの時間遅延)を決定してよい。オブジェクトの時間遅延は、歩行者が経路504を横断し、オブジェクト506に関連付けられる車線を横断し、および/またはオブジェクト506に関連付けられる道路を横断するために要求される時間を含んでよい。さまざまな例示において、車両コンピューティングシステムは、オブジェクトの時間遅延に部分的に基づいて、交差点510でとるべき1つまたは複数のアクションを決定してよい。例えば、車両コンピューティングシステムは、車両502が、オブジェクト506が横断することを待つために初期位置514(第1のアクション)にとどまってよく、第1の加速度でオブジェクト506の前で加速してもよく(第2のアクション)、および第2の加速度でオブジェクト506の前で加速してもよい(第3のアクション)ということを決定してよい。
さまざまな例示において、車両コンピューティングシステムは、1つまたは複数の因子に基づいて、1つまたは複数のアクションのそれぞれのアクションに関連付けられるコストを算定してよい。上記のように、1つまたは複数の因子は、安全性、快適性、進行、および/または運用規則を含んでよい。説明的な例示において、車両コンピューティングシステムは、少なくとも、安全性および運用規則に関連付けられるオブジェクト506および車両502のコスト、ならびに快適性に関連付けられるオブジェクト506のコストがそれぞれのアクションに対して同一であり得るということを決定してよい。そのため、車両コンピューティングシステムは、オブジェクト506の進行ならびに/または車両502の快適性および進行に関連付けられるコストを決定してよい。
さまざまな例示において、オブジェクト506に関連付けられる進行のコストは、オブジェクトの時間遅延(例えば、歩行者508のためのオブジェクト506の動きの遅延)に基づいて決定されてよい。ある例示において、車両コンピューティングシステムは、交差点510を通ってオブジェクト506の経路504の外に加速することに要求される時間を決定してよい。このような例示において、進行のコストは、オブジェクト506の前を通過するために要求される時間とオブジェクトの時間遅延との間の差に関連付けられてよい。差は、車両502アクションに基づいて、前方運動からのオブジェクト506のさらなる遅延を表現してよい。例えば、加速度を有するアクションは、オブジェクトの1秒間のさらなる遅延を引き起こすことがあり、オブジェクト506の1の進行のコストをもたらす。別の例示において、加速度を有するアクションは、オブジェクト506のさらなる遅延を引き起こすことなく、アクションに関連付けられるオブジェクト506の0の進行のコストをもたらす。
上記のように、車両502の快適性のコストおよび/または進行のコストは、初期位置514からの加速度に基づいてよい。例えば、車両コンピューティングシステムは、第1の加速度を有するアクションに関連付けられる快適性のコストが1であり、進行のコストが1であり、第2の加速度を有する第2のアクションに関連付けられる第2の快適性のコストが2であり、進行のコストが1であるということを決定してよく、第1の加速度は、第2の加速度よりも遅い(例えば、より快適である)。
さまざまな例示において、車両コンピューティングシステムは、1つまたは複数のアクションのそれぞれのアクションのそれぞれの合計のコスト(例えば、1つまたは複数の因子に関連付けられる決定されたコスト)に基づいて、とるべきアクションを決定してよい。さまざまな例示において、車両コンピューティングシステムは、アクションに基づいて車両を制御させてよい。
図6は、少なくとも部分的にアクション報酬に基づいて、とるべきアクション604を決定するように構成される環境100における車両102のような環境600における車両602を図示する。さまざまな例示において、アクション報酬は、アクションペナルティの反対(例えば、コストの増加)を含んでよい。このような例示において、アクション報酬は、アクション604に関連付けられるコストの減少をもたらしてよい。
ある例示において、車両コンピューティングシステムは、環境600における1つまたは複数のオブジェクト606を検出してよい。車両コンピューティングシステムは、1つまたは複数のセンサーから受信したセンサーデータに基づいて、オブジェクト606を検出してよい。ある例示において、センサーは、例えば、カメラ、モーションディテクター、ライダー、レーダーのような車両602に搭載されるセンサーを含んでよい。ある例示において、センサーは、1つまたは複数のリモートセンサーを含んでよい。図6に図示されるように、車両コンピューティングデバイスは、車両602の後ろにあるオブジェクト606(1)を検出してよく、インジケーター610など(例えば、方向指示器、ウインカーなど)に基づいて、オブジェクト606(1)が交差点608で右折することを意図している(例えば、オブジェクト経路614をたどる)ということを決定してよい。
さまざまな例示において、車両コンピューティングシステムは、環境600および/または検出されたオブジェクト606に基づいてとるべき1つまたは複数のアクション604を決定するように構成されてよい。例えば、停止標識612を有する交差点608に接近する車両602は、停止するまで減速すること(環境600ベースの決定)が要求される。車両コンピューティングデバイスは、車両602が車線での位置を維持することを含む第1のアクション604(1)を実行してよく、または停止するまで減速しながら車線での位置を調整すること(オブジェクトベースの決定)を含む第2のアクション604(2)を実行してもよいということを決定よい。説明的な例示において、車両コンピューティングデバイスは、隣接する車線での第2のオブジェクト606(2)の検出に部分的に基づいて、左への車線変更が実行可能なオプションではないということを決定してよい。隣接する車線が占有されていない他の例示において、車両コンピューティングデバイスは、車線変更が実行可能なオプションであってよいということを決定してよい。
上記のように、車両コンピューティングシステムは、1つまたは複数の因子(例えば、安全性、快適性、進行、運用規則など)に基づいて、それぞれのアクション604に関連付けられるコストを決定してよい。さまざまな例示において、車両コンピューティングデバイスは、第2のアクション604(2)が車線での車両602の右側で動作するためにオブジェクト606(1)に対する十分な空間を提供してよいことによって、オブジェクト606(1)が共に関連付けられる目的地に到達するために要求される時間を減少させるということを決定してよい。ある例示において、車両コンピューティングデバイスは、アクション604(2)に対する進行報酬(例えば、アクション報酬)を評価してよい。ある例示において、進行報酬は、負のコストとして適用されてよい。このような例示において、進行報酬は、アクション604(2)の合計のコストの減少をもたらしてよい。車両コンピューティングデバイスは、アクション604が共に関連付けられる最低コストを有するということの決定に基づいて、取るべきアクションを決定してよい。例えば、第1のアクション604(1)および第2のアクション604(2)は、実質的に同一の安全性、快適性、および/または運用規則のコストを有してよい。したがって、進行報酬からもたらせられる合計のコストの低減は、共に関連付けられるより低いコストを有する第2のアクション604(2)をもたらしてよい。そのため、車両コンピューティングシステムは、車両がとるべきアクション604として第2のアクション604(2)を選択してよい。
さまざまな例示において、車両コンピューティングシステムは、安全性、快適性、および/または運用規則の因子がアクション604(1)および604(2)に対して実質的に同一であるということを決定してよい。このような例示において、車両コンピューティングシステムは、アクション報酬がアクションに適用されるかに対してアクション604の決定に焦点を当てる代わりに、安全性、快適性、および/または運用規則の因子に関連するコストを算定しないことがある。それ故に、車両コンピューティングシステムは、オブジェクト経路614に従って、オブジェクト606(1)に対して交差点608を通してより速く進行する能力を提供するために位置を調整する作法のため、アクション604(2)に適用されるアクション報酬に基づいて、アクション604(2)を決定してよい。
図7は、本明細書で説明される技術を実装するための例示的なシステム700のブロック図である。少なくとも1つの例示において、システム700は、車両102のような車両702を含んでよい。
車両702は、車両コンピューティングデバイス704、1つまたは複数のセンサーシステム706、1つまたは複数のエミッター708、1つまたは複数の通信接続710、少なくとも1つの直接接続712、および1つまたは複数の駆動システム714を含んでよい。
車両コンピューティングデバイス704は、1つまたは複数のプロセッサ716、および1つまたは複数のプロセッサ716と通信可能に結合されたメモリ718を含んでよい。説明される例示において、車両702は、自律車両であるが、車両702は、半自律車両のような任意の他のタイプの車両であることが可能であるか、または少なくとも画像キャプチャデバイス(例えば、カメラ対応のスマートフォン)を有する任意の他のシステムであることが可能である。説明される例示において、車両コンピューティングデバイス704のメモリ718は、ローカリゼーションコンポーネント720、知覚コンポーネント722、アクションのコストコンポーネント730および予測コンポーネント732を含むプラニングコンポーネント724、1つまたは複数のシステムコントローラー726、ならびに1つまたは複数のマップ728を格納する。例示的な目的のためにメモリ718に存在するように図7に図示されるが、ローカリゼーションコンポーネント720、知覚コンポーネント722、プラニングコンポーネント724、1つまたは複数のシステムコントローラー726、1つまたは複数のマップ728、アクションのコストコンポーネント730、および予測コンポーネント732は、追加的に、または代替的に、車両702にアクセス可能であってよい(例えば、1つまたは複数のコンピューティングデバイス736のメモリ734に対するように、車両702から離れたメモリ702に対して格納されるか、またはさもなければ、車両702からアクセス可能である)ということが企図される。例えば、メモリ734は、車両702のプランニングコンポーネント724によってアクセス可能なアクションのコストコンポーネント738を格納してよい。
少なくとも1つの例において、ローカリゼーションコンポーネント720は、車両702の位置および/または方向(例えば、x位置、y位置、z位置、ロール、ピッチ、またはヨーのうちの1つまたは複数)を決定するためにセンサーシステム706からのデータを受信する機能を含んでよい。例えば、ローカリゼーションコンポーネント720は、マップ728からのような環境のマップを含む、および/または要求/受信することができ、マップ内の自律車両の位置および/または方向を継続的に決定することができる。ある例示において、ローカリゼーションコンポーネント720は、画像データ、ライダーデータ、レーダーデータ、IMUデータ、GPSデータ、ホイールエンコーダーデータなどを受信するためにSLAM(simultaneous localization and mapping)、CLAMS(calibration, localization and mapping, simultaneously)、相対SLAM、バンドル調整、非線形最小二乗最適化などを利用してよく、自律車両の位置を正確に決定する。ある例において、ローカリゼーションコンポーネント720は、本明細書で説明されるように、車両702のさまざまなコンポーネントにデータを提供してよく、オブジェクトの車両702の関連性を決定するための自律車両の初期位置を決定する。
ある例示において、知覚コンポーネント722は、オブジェクト検出、セグメンテーション、および/または分類を実行する機能を含んでよい。ある例示において、知覚コンポーネント722は、車両702に近接するオブジェクト(例えば、エンティティ)の存在、および/またはオブジェクトのタイプ(例えば、自動車、歩行者、自転車運転者、動物、建造物、樹木、路面、縁石、歩道、未知のものなど)としてのオブジェクトの分類を示す処理されたセンサーデータを提供してよい。ある例において、知覚コンポーネント722は、車両702に近接する静止エンティティの存在および/またはタイプとしての静止エンティティの分類(例えば、建造物、樹木、路面、縁石、歩道、未知のものなど)を示す処理されたセンサーデータを提供してよい。追加的または代替的な例示において、知覚コンポーネント722は、検出されたオブジェクト(例えば、追跡されたオブジェクト)および/またはオブジェクトが配置される環境に関連付けられる1つまたは複数の特徴を示す処理されたセンサーデータを提供してよい。ある例示において、オブジェクトに関連付けられる特徴は、xの位置(グローバルおよび/またはローカルの位置)、yの位置(グローバルおよび/またはローカルの位置)、zの位置(グローバルおよび/またはローカルの位置)、方向(例えば、ロール、ピッチ、ヨー)、オブジェクトのタイプ(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲(サイズ)などを含んでよいが、これらに限定されない。環境に関連付けられる特徴は、環境における別のオブジェクトの存在、環境における別のオブジェクトの状態、時間帯、曜日、季節、気象条件、暗さ/明るさの表示などを含んでよいが、これらには限定されない。
一般に、プラニングコンポーネント724は、環境を横断するために車両702がたどる経路を決定してよい。例えば、プランニングコンポーネント724は、さまざまなルートおよび車両軌道、ならびにさまざまな詳細のレベルを決定してよい。例えば、プランニングコンポーネント724は、第1の位置(例えば、現在位置)から第2の位置(例えば、対象位置)まで走行する経路を決定してよい。この説明の目的のために、ルートは、2つの位置との間を走行するための連続するウェイポイント含んでよい。非限定的な例示として、ウェイポイントは、車道、交差点、全地球測位システム(GPS)の座標などを含む。さらに、プランニングコンポーネント724は、第1の位置から第2の位置までルートの少なくとも一部に沿って自律車両を誘導するための命令を生成してよい。少なくとも1つの例示において、プランニングコンポーネント724は、連続するウェイポイントにおける第1のウェイポイントから連続するウェイポイントにおける第2のウェイポイントにどのように自律車両を誘導するかを決定してよい。ある例示において、命令は、車両軌道であってよく、または軌道の一部であってもよい。ある例において、多様な軌道は、後退ホライズン技術(receding horizon technique)に従って(例えば、技術的な許容範囲内で)実質的に同時に生成されてよく、ここで、多様な軌道のうちの1つは、車両702に対して選択され、ナビゲートする。
さまざまな例示において、ルートは、本明細書で説明されるように、プラニングコンポーネント724がアクションコストに基づいて選択する1つまたは複数のアクションのアクションを含んでよい。このような例示において、プラニングコンポーネント724は、環境に適用可能な1つまたは複数のアクションを決定するように構成されるアクションのコストコンポーネント730を含んでよい。アクションは、車両702が実行し得る参照アクションおよびサブアクションを含んでよい。ある例示において、アクションのコストコンポーネント730は、1つまたは複数のアクションのそれぞれのアクションに関連付けられる1つまたは複数の予測されるオブジェクト軌道を受信してよい。例えば、予測コンポーネント732は、アクションを実行している車両702に対するオブジェクトの予測される反応に基づいて、車両702から閾値距離内のオブジェクトに対する1つまたは複数の予測される軌道を生成してよい。ある例示において、予測コンポーネント732は、オブジェクトのトレースを測定してよく、観察および予測される動作に基づいてオブジェクトに対する軌道を生成してよい。ある例示において、予測コンポーネント732は、本明細書を参照することによって組み込まれる米国特許出願において説明されるように、機械学習技術、環境のトップダウン表現、ヒートマップ、時相論理式、および/または木探索法のうちの1つまたは複数を利用してよく、予測されるオブジェクト軌道を決定する。
さまざまな例示において、アクションのコストコンポーネント730は、安全性、快適性、進行、および/または運用規則のような1つまたは複数の因子に基づいて、それぞれのアクションに関連付けられるコストを決定してよい。ある例示において、コストは、アクションに関連付けられる予測されるオブジェクト軌道および/または車両に関連付けられるコストに基づくなどオブジェクトに関連付けられてよい。さまざまな例示において、プラニングコンポーネント724は、アクションのそれぞれに関連付けられるコストに基づいて、とるべきアクションを決定してよい。例えば、プラニングコンポーネント724は、最低の全体のコストに関連付けられるアクションを選択してよく、車両702にアクションを実行させてよい。
さまざまな例示において、コンピューティングデバイス736に格納されたアクションのコストコンポーネント738は、アクションのコストコンポーネント730と同様の機能(例えば、車両702がとることが可能である1つまたは複数のアクションを決定し、それぞれのアクションに関連付けられるコストを算定するなど)を実行するように構成されてよい。ある例示において、アクションのコストコンポーネント738は、予測コンポーネント732から1つまたは複数の予測されるオブジェクト軌道を受信してよい。ある例示において、アクションのコストコンポーネントは、センサーシステム706および/または知覚コンポーネント722からセンサーデータ(例えば、生のおよび/または処理されたセンサーデータ)を受信してよい。このような例示において、アクションのコストコンポーネント738は、本明細書で説明される予測されるオブジェクト軌道を決定するための技術のいずれかを利用する1つまたは複数のアクションに基づいて、1つまたは複数の予測されるオブジェクト軌道を決定するように構成されてよい。アクションのコストコンポーネント738は、予測されるオブジェクト軌道(例えば、受信および/または決定された)を利用して、それぞれのアクションに関連付けられるコストを決定してよい。ある例示において、アクションのコストコンポーネント738は、それぞれのアクションに関連付けられるコストを車両コンピューティングデバイス704に送信してよい。ある例示において、アクションのコストコンポーネント738は、最低コストのアクションに関連付けられるコストを車両コンピューティングデバイス704に送信してよい。
少なくとも1つの例示において、車両コンピューティングデバイス704は、1つまたは複数のシステムコントローラー726を含んでよく、これは、ステアリング、推進、制動、安全性、エミッター、通信、および車両702の他のシステムを制御するように構成されてよい。システムコントローラー726は、駆動システム714および/または車両702の他のコンポーネントに対応するシステムと通信してよく、および/または制御してよい。
メモリ718は、環境内をナビゲートするために車両702によって用いられ得る1つまたは複数のマップ728をさらに含んでよい。この説明の目的のために、マップは、限定されるわけではないが、(交差点のような)トポロジー、車道、山脈、道路、地形、および一般的な環境などの環境についての情報を提供することが可能な2次元、3次元、またはN次元でモデル化される任意の数のデータ構造であってよい。ある例示において、マップは、限定されるわけではないが、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)など)、強度情報(例えば、ライダー情報、レーダー情報など)、空間情報(例えば、メッシュの上に投影された画像データ、個々の「サーフェル」(例えば、個々の色および/または強度に関連付けられるポリゴン))、反射性情報(例えば、鏡面性情報、再帰反射性情報、BRDF情報、BSSRDF情報など)を含んでよい。ある例示において、マップは、環境の3次元メッシュを含んでよい。ある例示において、車両702は、少なくとも部分的にマップ728に基づいて制御されてよい。つまり、マップ728は、ローカリゼーションコンポーネント720、知覚コンポーネント722、および/またはプラニングコンポーネント724に関連して用いられてよく、ローカリゼーションコンポーネント720、知覚コンポーネント722、および/またはプラニングコンポーネント724に関連して用いられてよく、車両702の位置を決定し、環境におけるオブジェクトを検出し、ルートを生成し、アクションおよび/または軌道を決定し、環境内をナビゲートする。
ある例示において、1つまたは複数のマップ728は、1つまたは複数のネットワーク740を介してアクセス可能なリモートコンピューティングデバイス(コンピューティングデバイス736など)に格納されてよい。ある例示において、多様なマップ728は、例えば、特徴(例えば、エンティティのタイプ、時刻、曜日、季節など)に基づいて格納されてよい。多様なマップ728を格納することは、同様のメモリ要件を有してよいが、マップにおけるデータがアクセスされ得る速度を増加させてよい。
理解されるように、本明細書で説明されるコンポーネント(例えば、ローカリゼーションコンポーネント720、知覚コンポーネント722、アクションコストコンポーネント730および予測コンポーネント732を含むプラニングコンポーネント724、1つまたは複数のシステムコントローラー726、1つまたは複数のマップ728)は、例示的な目的のために分割されるように説明される。しかしながら、さまざまなコンポーネントによって実行される動作は、任意の他のコンポーネントにおいて組み合わされてよく、または実行されてもよい。
ある例示において、本明細書で説明されるコンポーネントのいくつかまたはすべての態様は、任意のモデル、技術、および/または機械学習技術を含んでよい。例えば、ある例示において、メモリ718(および以下で説明されるメモリ734)におけるコンポーネントは、ニューラルネットワークとして実装されてよい。
本明細書で説明されるように、例示的なニューラルネットワークは、連続して接続されるレイヤーを通して入力データを通過させ、出力を生成する生物学に着想を得た技術である。ニューラルネットワークにおけるそれぞれのレイヤーは、また、別のニューラルネットワークを含んでよく、または(畳み込みか否かには関係なく)任意の数のレイヤーを含んでもよい。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、機械学習を利用してよく、これは、学習したパラメーターに基づいて出力が生成される技術のような広範囲なクラスを参照してよい。
ニューラルネットワークのコンテキストにおいて説明されるが、任意のタイプの機械学習が本開示と一致するように用いられてよい。例えば、機械学習技術は、回帰技術(例えば、通常最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、段階的回帰、MARS(multivariate adaptive regression splines)、LOESS(locally estimated scatterplot smoothing))、インスタンスベースの技術(例えば、リッジ回帰、LASSO(least absolute shrinkage and selection operator)、Elastic Net、LARS(least-angle regression))、決定木技術(例えば、CART(classification and regression tree)、ID3(iterative dichotomiser 3)、カイ二乗自動相互作用検出(CHAID)、決定株、条件付き決定木)、ベイジアン技術(例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、AODE(average one-dependence estimators)、ベイジアン信頼度ネットワーク(BNN)、ベイジアンネットワーク)、クラスタリング技術(例えば、k平均法、kメジアン法、期待値最大化(EM)、階層的クラスタリング)、関連規則学習技術(例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、RBFN(Radial Basis Function Network))、深層学習技術(例えば、深層ボルツマンマシン(DBM)、深層信頼ネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、積層型オートエンコーダ)、次元削減技術(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡法、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブル技術(例えば、ブースティング、ブートストラップ集約(バギング)、エイダブースト、階層型一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースト回帰木(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師付き学習、教師なし学習、半教師付き学習などを含んでよいが、これらに限定されない。アーキテクチャのさらなる例示は、ResNet50、ResNet101、VGG、DenseNet、PointNetなどのようなニューラルネットワークを含む。
少なくとも1つの例示において、センサーシステム706は、ライダーセンサー、レーダーセンサー、超音波トランスデューサー、ソナーセンサー、位置センサー(例えば、GPS、コンパスなど)、慣性センサー(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深度、飛行時間など)、マイク、ホイールエンコーダー、環境センサー(例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど)、などを含んでよい。センサー706は、これらまたは他のタイプのセンサーのそれぞれの多様な例示を含んでよい。例えば、ライダーセンサーは、車両702の角部、前部、後部、側部、および/または上部に位置する個々のライダーセンサーを含んでよい。別の例示として、カメラセンサーは、車両702の外部および/または内部についてのさまざまな位置に配置される多様なカメラを含んでよい。センサー706は、入力を車両コンピューティングデバイス704に提供してよい。追加的または代替的に、センサーシステム706は、1つまたは複数のネットワーク740を介して、所定の時間期間の経過の後で、ほぼリアルタイムなどで、具体的な周波数で、センサーデータを1つまたは複数のコンピューティングデバイス736に送信してよい。
車両702は、また、光および/または音を放出するための1つまたは複数のエミッター708を含んでよい。エミッター708は、車両702の乗員と通信する内部オーディオおよび視覚エミッターを含んでよい。例示の目的であり、限定ではなく、内部エミッターは、スピーカー、照明、標識、ディスプレイスクリーン、タッチスクリーン、触覚エミッター(例えば、振動および/または力フィードバック)、機械的アクチュエータ(例えば、シートベルトテンショナー、座席ポジショナー、ヘッドレストポジショナーなど)などを含んでよい。エミッター708は、また、外部エミッターを含んでよい。例示の目的であり、限定ではなく、外部エミッターは、走行の方向のシグナルを送るための照明、もしくは車両のアクションの他のインジケーター(例えば、インジケーターライト、標識、ライトアレイなど)、ならびに歩行者または音響ビームステアリング技術を含む1つまたは複数の他の近隣の車両と音響で通信するための1つまたは複数のオーディオエミッター(例えば、スピーカー、スピーカーアレイ、ホーンなど)を含んでよい。
車両702は、また、車両702と1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能とする1つまたは複数の通信接続710を含んでよい。例えば、通信接続710は、車両702上の他のローカルコンピューティングデバイスおよび/または駆動モジュール714との通信を容易にすることができる。また、通信接続710は、車両が他の近隣のコンピューティングデバイス(例えば、コンピューティングデバイス736、他の近隣の車両など)および/またはセンサーデータを受信することに対して1つまたは複数のリモートセンサーシステム742と通信することを可能としてよい。
通信接続710は、車両コンピューティングデバイス704をネットワーク740のような別のコンピューティングデバイスまたはネットワークに接続するための物理的および/または論理的インターフェースを含んでよい。例えば、通信接続710は、IEEE802.11標準規格によって定義される周波数、ブルートゥースのような短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4G LTE、5Gなど)、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェース接続することを可能とする任意の適切な有線もしくは無線通信プロトコルを介してWi-Fiベースの通信を有効にすることが可能である。
少なくとも1つの例示において、車両702は、1つまたは複数の駆動システム714を含んでよい。ある例示において、車両702は、1つの駆動システム714を有してよい。少なくとも1つの例示において、車両702が多様な駆動システム714を有する場合、個々の駆動システム714は、車両702の反対側の端部(例えば、前部および後部など)に配置されてよい。少なくとも1つの例示において、駆動システム714は、駆動システム714および/または車両702の周囲の状態を検出する1つまたは複数のセンサーシステムを含んでよい。例示の目的であり、限定ではなく、センサーシステムは、駆動システムのホイールの回転を感知するための1つまたは複数のホイールエンコーダー(例えば、ロータリーエンコーダー)、駆動モジュールの方向および加速度を測定するための慣性センサー(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサー、駆動モジュールの周囲のオブジェクトを音響的に検出するための超音波センサー、ライダーセンサー、レーダーセンサーなどを含んでよい。ホイールエンコーダーのようなあるセンサーは、駆動システム714に一意であってよい。ある場合において、駆動システム714上のセンサーシステムは、車両702の対応するシステム(例えば、センサーシステム706)と重複してよく、または車両702の対応するシステムを補完してもよい。
駆動システム714は、高電圧バッテリー、車両を推進させるためのモーター、他の車両システムによる使用のためにバッテリーからの直流を交流へと変換するためのインバーター、ステアリングモーターおよびステアリングラックを含むステアリングシステム(これは電動式とすることが可能である)、油圧または電動アクチュエータを含むブレーキシステム、油圧および/または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和して、制御を維持するために制動力を分配するための安定性制御システム、HVACシステム、照明(例えば、車両の外部周囲を照らすためのヘッド/テールライトのような照明)、および1つまたは複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバーターのような他の電気コンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど)を含む車両システムの多くを含んでよい。さらに、駆動システム714は、センサーシステムからデータを受信して、前処理をし得るさまざまな車両システムの動作を制御するための駆動モジュールコントローラーを含んでよい。ある例示において、駆動モジュールコントローラーは、1つまたは複数のプロセッサ、および1つまたは複数のプロセッサと通信可能に結合されたメモリを含んでよい。メモリは、1つまたは複数のシステムを格納してよく、駆動システム714のさまざまな機能を実行する。さらに、駆動システム714は、また、それぞれの駆動システムによって、1つまたは複数の他のローカルコンピューティングデバイスまたはリモートコンピューティングデバイスとの通信を可能とする1つまたは複数の通信接続を含んでよい。
少なくとも1つの例示において、直接接続部712は、物理的なインターフェースを提供してよく、1つまたは複数の駆動システム714を車両702の本体と連結する。例えば、直接接続712は、駆動システム714と車両との間のエネルギー、流体、空気、データなどの転送を可能としてよい。ある例示において、直接接続712は、車両702の本体に駆動システム714をさらにリリース可能に固定してよい。
少なくとも1つの例示において、ローカリゼーションコンポーネント720、知覚コンポーネント722、プラニングコンポーネント724、1つまたは複数のシステムコントローラー726、1つまたは複数のマップ728、アクションのコストコンポーネント730、および予測コンポーネント732は、上記のようにデータ(例えば、センサーデータ)を処理してよく、1つまたは複数のネットワーク740にわたってそれらのそれぞれの出力をコンピューティングデバイス736に送信してよい。少なくとも1つの例示において、ローカリゼーションコンポーネント720、知覚コンポーネント722、プラニングコンポーネント724、1つまたは複数のシステムコントローラー726、1つまたは複数のマップ728、アクションのコストコンポーネント730、および予測コンポーネント732は、所定の時間期間の経過の後で、ほぼリアルタイムなどで、具体的な周波数で、それらのそれぞれの出力をコンピューティングデバイス736に送信してよい。
ある例示において、車両702は、ネットワーク740を介してセンサーデータをコンピューティングデバイス736に送信してよい。ある例示において、車両702は、コンピューティングデバイス736および/またはリモートセンサーシステム742からネットワーク740を介してセンサーデータを受信してよい。センサーデータは、生のセンサーデータおよび/または処理されたセンサーデータおよび/またはセンサーデータの表現を含んでよい。ある例示において、(生または処理された)センサーデータは、1つまたは複数のログファイルとして送信および/または受信されてよい。
コンピューティングデバイス736は、1つまたは複数のプロセッサ744、ならびにアクションのコストコンポーネント738およびセンサーデータ処理コンポーネント746を格納するメモリ734を含んでよい。さまざまな例示において、センサーデータ処理コンポーネント746は、センサーシステム706および/またはリモートセンサーシステム742のような1つまたは複数のリモートセンサーからデータを受信するように構成されてよい。ある例示において、センサーデータ処理コンポーネント746は、車両702の可能性のあるまたは候補アクションに関連付けられるコストを決定することに対して、データを処理して、処理されたデータをアクションのコストコンポーネント738に送信するように構成されてよい。ある例示において、センサーデータ処理コンポーネント746は、アクションのコストコンポーネント730および/または予測コンポーネント732によって用いられるようにデータを処理して、処理されたセンサーデータを車両コンピューティングデバイス704に送信するように構成されてよい。ある例示において、センサーデータ処理コンポーネント746は、生のセンサーデータを車両コンピューティングデバイス704に送信するように構成されてよい。
車両702のプロセッサ716およびコンピューティングデバイス736のプロセッサ744は、本明細書で説明されるように、データを処理して動作を行うための命令を実行することが可能である任意の適切なプロセッサであってよい。例示の目的であり、限定ではなく、プロセッサ716および744は、1つまたは複数の中央処理装置(CPU)、Graphics Processing Units(GPU)、または、電子データを処理して、その電子データをレジスタおよび/またはメモリに格納され得る他の電子データへと変換する任意の他のデバイスまたはデバイスの一部を含んでよい。ある例示において、集積回路(例えば、ASICなど)、ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスは、また、それらが符号化された命令を実装するように構成される限り、プロセッサとみなされてよい。
メモリ718および734は、非一時的コンピューター可読媒体の例示である。メモリ718および734は、オペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを格納してよく、本明細書で説明される方法およびさまざまなシステムに起因する機能に実装する。さまざまな実装において、メモリは、スタティックRAM(SRAM)、シンクロナスDRAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または情報を格納することが可能である任意の他のタイプのメモリのような任意の適切なメモリ技術を用いて実装されてよい。本明細書で説明されるアーキテクチャ、システム、および個々のエレメントは、多くの他の論理的、プログラム的、および物理的なコンポーネントを含んでよく、それらのうちの添付図面に示されるものは、単に本明細書での説明に関連する例示に過ぎない。
ある例示において、メモリ718および734は、少なくともワーキングメモリおよびストレージメモリを含んでよい。例えば、ワーキングメモリは、プロセッサ716および744によって操作されるデータを格納するために用いられる制限された容量の高速メモリ(例えば、キャッシュメモリ)であってよい。ある例示において、メモリ718および734は、データの長期保存のために用いられる比較的大容量の低速メモリであり得るストレージメモリを含んでよい。ある例示において、プロセッサ716および744は、本明細書で説明されるように、ストレージメモリに格納されているデータを直接操作することが可能ではなく、データは、データに基づく動作を実行させるためにワーキングメモリへとロードされる必要があることがある。
図7は、分散システムとして図示されているが、代替の例示において、車両702のコンポーネントは、コンピューティングデバイス736に関連付けられてよく、および/またはコンピューティングデバイス736のコンポーネントは、車両702に関連付けられてよいことに留意されたい。つまり、車両702は、コンピューティングデバイス736に関連付けられる1つまたは複数の機能を実行してよく、逆もまた同様である。
図8~図10は、本開示の実施形態に従って例示的なプロセスを図示する。これらのプロセスは、論理フローグラフとして図示され、それぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装され得る動作のシーケンスを表現する。ソフトウェアのコンテキストにおいて、動作は、1つまたは複数のプロセッサによって実行された場合に、列挙された動作を実行する1つまたは複数のコンピューター可読媒体に格納されたコンピューター実行可能命令を表現する。一般に、コンピューター実行可能命令は、具体的な機能を実行するか、または具体的な抽象データ型を実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図したものではなく、任意の数の説明される動作は、任意の順序で、および/または並行して組み合わされてよく、プロセスを実装する。
図8は、少なくとも部分的に、アクションに関連付けられるコストに基づくアクションに従って車両を制御するための例示的なプロセス800を図示する。プロセス800のうちの一部またはすべては、本明細書で説明されるように、図7における1つまたは複数のコンポーネントによって実行されてよい。例えば、プロセス800のうちの一部またはすべては、車両コンピューティングデバイス704および/またはコンピューティングデバイス736によって実行されてよい。
動作802で、プロセスは、少なくとも部分的に、車両のセンサーに関連付けられるセンサーデータに基づいて、環境におけるオブジェクトを検出することを含むことができる。センサーは、カメラ、モーションディテクター、ライダー、レーダー、飛行時間などを含んでよい。ある例示において、車両コンピューティングシステムは、例えば、別の自律車両に搭載されたセンサー、および/または環境において搭載されたセンサーなどの1つまたは複数のリモートセンサーからセンサーデータを受信してよい。
さまざまな例示において、車両は、他の自律車両および/またはセンサーからデータを伝送および/または受信するように構成されてよい。データは、環境において検出されたオブジェクトに関するデータなどのセンサーデータを含んでよい。さまざまな例示において、環境は、交通監視、衝突回避などのためのセンサーを含んでよい。さまざまな例示において、車両コンピューティングシステムは、センサーデータを受信してよく、例えば、オブジェクトが、自動車、トラック、バス、セミトレーラートラック、バイク、モペット、自転車運転者、歩行者などであるかのようなオブジェクトのタイプを決定(例えば、オブジェクトのタイプを分類)してよい。
動作804で、プロセスは、車両102のような車両が環境においてとり得るアクションを決定することを含むことができる。アクションは、車両が環境を通してとることが可能である1つまたは複数の可能性のある経路(例えば、1つまたは複数の車両軌道)を表現してよい。アクションは、右に車線変更、左に車線変更、車線にとどまること、障害物(例えば、二重駐車車両、トラフィックコーンなど)を迂回することなどのような1つまたは複数の参照アクション(例えば、車両が動的な動作環境に反応して実行するように構成される操作のグループのうちの1つ)を含んでよい。アクションは、さらに、速度の変化(例えば、速度維持、加速、減速など)、位置の変化(例えば、車線での位置の変更)などのような1つまたは複数のサブアクションを含んでよい。例えば、アクションは、車線にとどまる(参照アクション)こと、および車線での車両の位置を中央位置から車線の左側で動作するまで調整する(サブアクション)ことを含んでよい。
動作806で、プロセスは、少なくとも部分的にアクションに基づくオブジェクトに関連付けられるオブジェクト軌道(例えば、予測される軌道)を決定することを含むことができる。オブジェクト軌道は、センサーデータに基づいて決定されてよい。オブジェクト軌道は、検出されたオブジェクトが環境を通して走行し得る可能性のある経路を表現してよい。オブジェクト軌道は、車両アクションに対するオブジェクトの予測される反応(例えば、アクティブ予測)に基づいてよい。例えば、アクションは、別の車両が右から接近して、優先権を有する交差点へと車両が加速することを含んでよい。車両コンピューティングシステムは、他の車両の予測される軌道が車両との衝突を回避するために急速な負の加速度(減速)を含み得るということを決定してよい。さまざまな例示において、オブジェクト軌道は、参照により本明細書に組み込まれる米国特許出願に記載されるように、環境、ヒートマップ、時相論理式、木探索法、機械学習技術、または環境におけるオブジェクトに関連付けられるアクティブ予測を決定することの他の手段のトップダウン表現を利用して決定されてよい。このような例示において、センサーデータ、センサーデータの表現(例えば、境界ボックス、範囲など)、マップ、道路ネットワーク情報、およびアクションに関連付けられる経路(これらのすべては、時間期間にわたってデータのシーケンスを含んでよい)のうちの1つまたは複数は、選択されたオブジェクトの予測される軌道を出力するために訓練された機械学習モデルへと入力されてよい。ある例示において、このようなコストは、車両不在のオブジェクトの予測される軌道に対するベースラインコスト(例えば、車両が存在しなかった場合に、オブジェクトが何をすることとなるか)と比較して算定されてよい。
動作808で、プロセスは、少なくとも部分的にオブジェクト軌道に基づくアクションに関連付けられるコストを決定することを含むことができる。コストは、車両を有する環境において動作しているオブジェクト(例えば、別の車両、自転車運転者、歩行者など)に対するアクションの影響に部分的に基づいてよい。上記のように、コストは、1つまたは複数の因子に基づいてよい。因子は、安全性(例えば、衝突の確率、他のオブジェクトからの距離など)、快適性(例えば、突然の動きの欠如、加速度)、進行(例えば、目的地への動き、遅延など)、運用規則(例えば、道路の規則、法律、条令、規制など)などを含んでよいが、任意の数の他の考慮事項が企図される。因子は、車両および/またはオブジェクトに起因してよい。例えば、アクションは、車両およびオブジェクトが減速することなどのため、車両およびオブジェクトへの進行の遅延を引き起こすことがある。
さまざまな例示において、車両コンピューティングシステムは、それぞれの軌道に基づくような車両および/またはオブジェクトの将来の状態(例えば、推定される状態)に関連付けられるコストに基づいて、コストを決定してよい。このような例示において、車両コンピューティングシステムは、時間期間(例えば、6秒、8秒、16秒など)、環境における車両およびオブジェクトを前方に投影することによって推定される状態を決定してよい。車両コンピューティングシステムは、オブジェクト軌道に基づいてオブジェクトを前方に投影(例えば、オブジェクトの将来の位置を推定)してよい。車両コンピューティングシステムは、アクションに関連付けられる1つまたは複数の車両軌道に基づいて、車両を前方に投影(例えば、車両の将来の位置を推定する)してよい。推定される状態は、車両の推定される場所(例えば、推定される位置)および将来のある時間でのオブジェクトの推定される位置を表現してよい。さまざまな例示において、車両コンピューティングシステムは、時間期間を通して所定のレート(例えば、10ヘルツ、20ヘルツ、50ヘルツなど)で推定される状態を決定してよい。少なくとも1つの例示において、推定される状態は、10ヘルツ(例えば、0.1秒ごと)のレートで実行されてよい。
さまざまな例示において、車両コンピューティングシステムは、車両およびオブジェクトの互いに対する推定される位置に基づくようなそれぞれの推定される状態に関連付けられるコストを決定してよい。ある例示において、車両コンピューティングシステムは、1つまたは複数の因子に基づいて、それぞれの推定される状態を分析してよく、コスト値を推定される状態に適用してよい。このような例示において、推定される状態のコストは、因子のそれぞれに関連付けられるコストの合計を含んでよい。さまざまな例示において、アクションコストは、それぞれの推定される状態に関連付けられるコストのそれぞれの合計を含んでよい。
動作810で、プロセスは、アクションに関連付けられるコストを車両がとり得る他のアクションに関連付けられるコストと比較すること(例えば、上記のアクションに対して同様の方法で算定され得るように)を含むことができる。さまざまな例示において、車両コンピューティングシステムは、アクションの合計のコスト(例えば、それぞれの推定される状態に関連付けられるコストの合計)を、他のアクションに関連付けられるコストと比較してよい。ある例示において、車両コンピューティングデバイスは、因子および/または車両および/またはオブジェクトに関連付けられるアクションの合計のコスト(例えば、安全性のコスト、オブジェクトの快適性のコストなど)を他のアクションに関連付けられる対応するコストと比較してよい。例えば、車両コンピューティングデバイスは、第1のアクションに関連付けられる第1の合計の安全性のコストを第2のアクションに関連付けられる第2の合計の安全性のコストと比較してよい。少なくともある例示において、具体的な時間ステップに関連付けられる1つのコストは、さらなるアクションに関連付けられる同様の瞬時のコストと比較されてよい。
動作812で、プロセスは、アクションに関連付けられるコストが他のアクションと比較して最低コストであるかを決定することを含むことができる。さまざまな例示において、車両コンピューティングシステムは、アクションに関連付けられる合計のコストが最低コストであるかを決定してよい。ある例示において、車両コンピューティングシステムは、因子(例えば、安全性のコスト、オブジェクトの快適性のコストなど)に関連付けられる合計のコストが最低コストのアクションであるということを決定してよい。
コストが最低コストのアクションである(動作812で「Yes」)ということの決定に基づいて、プロセスは、動作814で、プロセスが少なくとも部分的にアクションに基づいて車両を制御させることを含むことができる。さまざまな例示において、アクションに基づいて車両を制御させることは、車両を、アクションに関連付けられる1つまたは複数の軌道に沿って走行させることを含んでよい。
コストが最低コストのアクションではない(動作812で「No」)ということの決定に基づいて、プロセスは、動作816で、車両を、少なくとも部分的に別のアクションに基づいて制御されるようにさせる。他のアクションは、アクションよりも低いコストを有する別のアクションを含んでよい。他のアクションは、1つまたは複数の他の車両軌道と共に関連付けられていることがある。
図9は、少なくとも部分的にアクションに関連付けられる安全性のコストに基づくアクションに従って、車両を制御するための例示的なプロセスを示すための例示的なプロセス900を図示する。プロセス900のうちの一部またはすべては、本明細書で説明されるように、図7における1つまたは複数のコンポーネントによって実行されてよい。例えば、プロセス900のうちの一部またはすべては、車両コンピューティングデバイス704によって実行されてよい。
動作902で、プロセスは、車両が環境においてとり得るアクションを決定することを含むことができる。アクションは、車両が環境を通してとることが可能である1つまたは複数の可能性のある経路(例えば、1つまたは複数の車両軌道)を表現してよい。アクションは、右に車線変更、左に車線変更、車線にとどまること、障害物(例えば、二重駐車車両、トラフィックコーンなど)を迂回することなどのような1つまたは複数の参照アクション(例えば、車両が動的な動作環境に反応して実行するように構成される操作のグループのうちの1つ)を含んでよい。アクションは、さらに、速度の変化(例えば、速度維持、加速、減速など)、位置の変化(例えば、車線での位置の変更)などのような1つまたは複数のサブアクションを含んでよい。例えば、アクションは、車線にとどまる(参照アクション)こと、および車線での車両の位置を中央位置から車線の左側で動作するまで調整する(サブアクション)ことを含んでよい。このようなアクションは、複数のアクションのうちの1つであってよく、これは、ある例示において実質的に同時に評価されてよく、車両は、任意の瞬間に実行することが可能であってよい。
動作904で、プロセスは、少なくとも部分的にアクションに基づいて、環境において動作するオブジェクトに関連付けられるオブジェクト軌道(例えば、オブジェクトが将来のさまざまな時点で進行し得る場所を示す予測されるオブジェクト軌道)を決定することを含むことができる。オブジェクト軌道は、センサーデータに基づいて決定されてよい。オブジェクト軌道は、検出されたオブジェクトが環境を通して走行し得る可能性のある経路を表現してよい。オブジェクト軌道は、車両アクションに対するオブジェクトの予測される反応(例えば、アクティブ予測)に基づいてよい。例えば、アクションは、別の車両が右から接近して、優先権を有する交差点へと車両が加速することを含んでよい。車両コンピューティングシステムは、他の車両の予測される軌道が車両との衝突を回避するために急速な負の加速度(減速)を含み得るということを決定してよい。さまざまな例示において、オブジェクト軌道は、参照により本明細書に組み込まれる米国特許出願に記載されるように、環境、ヒートマップ、時相論理式、木探索法、機械学習技術、または環境におけるオブジェクトに関連付けられるアクティブ予測を決定することの他の手段のトップダウン表現を利用して決定されてよい。これらの例示は、図8に関して提供される。
動作906で、プロセスは、少なくとも部分的にオブジェクト軌道に基づくアクションに関連付けられる安全性のコストを決定することを含むことができる。さまざまな例示において、安全性のコストは、車両とオブジェクトとの間の衝突の尤度(例えば、衝突の確率)を含んでよい。衝突の尤度は、車両とオブジェクトとの間の距離(例えば、5フィート、2メートル、0.5メートル以内など)、収束軌道(例えば、アクションに関連付けられる車両軌道と実質的に交差することとなるオブジェクト軌道)、車両とオブジェクトとの間の収束レート(例えば、毎秒2メートル、毎秒10フィートなど)などに基づいて算定されてよい。ある例示において、衝突の尤度は、距離および/または収束レートに関連付けられる閾値に基づいてよい。例えば、車両に関連付けられる推定される状態とオブジェクトに関連付けられる推定される位置との間の距離は、閾値距離(例えば、8フィート、3メートルなど)よりも短いかまたは等しくてよい。そのため、車両コンピューティングシステムは、車両とオブジェクトとの間に衝突の尤度が存在するということを決定してよい。別の例示に対して、車両に関連付けられる軌道およびオブジェクトに関連付けられる軌道は、収束の閾値レート(例えば、毎秒6フィート、毎秒2.5メートル、毎秒1.5メートルの収束など)と等しいかまたはそれもより高い速度で収束してよい。そのため、車両コンピューティングシステムは、車両とオブジェクトとの間に衝突の尤度が存在するということを決定してよい。ある例示において、衝突の尤度または確率は、実際の距離および/または収束レートが閾値を下回るかまたは上回る量に基づいてよい。このような例示において、衝突の確率は、車両により近いほど増加してよく、オブジェクトは、推定される状態(例えば、互いに6インチ以内の場合は、95%の衝突確率)および/または収束レートが閾値を上回る量(例えば、毎秒10メートルの収束レートを有する90%の衝突確率)にある。ある例示において、衝突の確率は、機械学習技術を利用して決定されてよい。このような例示において、機械学習モデルは、車両およびオブジェクトが環境においてインタラクトする状況を含む訓練データに基づいて衝突の確率を決定するために訓練されてよい。ある例示において、安全性のコストは、収束レート(例えば、毎秒3フィート=3の安全性のコスト、毎秒3フィート=9の安全性のコストなど)に基づいて決定され得るが、このようなパラメーターの任意の他の線形および/または非線形の組み合わせが企図される。
さまざまな例示において、安全性のコストは、衝突の確率に基づいてよい。ある例示において、衝突の確率が衝突が起こり得るということを示す事前に定義された閾値(例えば、30%、50%など)よりも高い場合、固定コスト(例えば、50、75、90など)を含んでよい。ある例示において、コストは、衝突判断の確率に基づいてよい。例えば、車両コンピューティングシステムは、推定される状態における衝突の確率が95%であるということを決定してよく、車両コンピューティングシステムは、推定される状態の安全因子に対する95のコストを評価してよいが、上記のように確率の任意の線形/非線形関数(多項式、積など)が企図されている。
さまざまな例示において、車両コンピューティングシステムは、衝突の確率に基づくような決定された安全性のコストを2倍、3倍、4倍などに増加させること、または多項式関数(例えば、2次、3次など)を決定された安全性のコストに適用することによって、上記の他の因子の安全性を強調してよい。このような例示において、車両コンピューティングシステムは、衝突の尤度に基づくなどの初期値で安全性のコストを評価してよく、階乗および/または多項式関数を適用することによって安全性のコストを増加させてよい。例えば、車両コンピューティングシステムは、合計の安全性コスト=(決定された安全性のコスト)2のような安全性のコストに2次方程式を適用してよい。
動作908で、プロセスは、安全性のコストが閾値を上回っているかを決定することを含むことができる。閾値は、車両の安全な動作を確実にするために定義されてよい。さまざまな例示において、閾値は、安全因子に関連付けられる所定の最大コストを含んでよい。ある例示において、閾値の安全性のコストは、環境において検出されたオブジェクトの数、検出されたオブジェクトの分類、運用領域(例えば、スクールゾーン、工事区域、幹線道路、ビジネス地区など)などに基づいて動的に決定されてよい。例えば、車両コンピューティングシステムは、閾値の歩行者数が検出される領域で動作する車両のための閾値の安全性のコストを5に設定してよく、高速道路で動作する車両のための閾値の安全性のコストを10に設定してよい。
安全性のコストが閾値を上回っている(動作908で「Yes」)ということの決定に基づいて、動作910で、プロセスは、車両プラニングの考慮事項におけるアクションを無視することを含むことができる。さまざまな例示において、車両コンピューティングシステムは、車両を制御するための別のアクションを選択してよい。
安全性のコストが閾値を上回っていない(動作908で「No」)ということに基づいて、プロセスは、動作912で、1つまたは複数の因子に基づくアクションに関連付けられる合計のコストを決定することを含むことができる。上記のように、因子は、安全因子、快適因子、進行因子、および/または車両および/またはオブジェクトに関連付けられる運用規則因子を含んでよい。合計のコストは、個々の因子(例えば、安全性のコスト、オブジェクトの進行のコストなど)の合計のコストおよび/または因子のそれぞれを含むアクションの合計のコストを含んでよい。
動作914で、プロセスは、車両プラニングの考慮事項におけるアクションを含むことができる。さまざまな例示において、車両コンピューティングシステムは、アクションに関連付けられる合計のコストを車両が環境においてとり得る他のアクションに関連付けられる合計のコストと比較してよい。さまざまな例示において、車両コンピューティングシステムは、考慮されるアクションの最低コストのアクションを選択してよい。このような例示において、車両コンピューティングシステムは、最低コストのアクションに基づいて車両を制御させてよい。
図10は、少なくとも部分的にオブジェクトが閉塞区域に存在するという確率に基づいて車両を制御するための例示的なプロセス1000を図示する。プロセス1000のうちの一部またはすべては、本明細書で説明されるように、図7における1つまたは複数のコンポーネントによって実行されてよい。例えば、プロセス1000のうちの一部またはすべては、車両コンピューティングデバイス704によって実行されてよい。
動作1002で、プロセスは、車両が動作する環境における閉塞区域を識別することを含むことができる。さまざまな例示において、閉塞区域は、車両の1つまたは複数のセンサー(例えば、ライダー、レーダー、カメラなど)から受信したセンサーデータに基づいて識別されてよい。閉塞区域は、車両の知覚システムがオブジェクトを検出することが可能ではない(例えば、障害物、視界の遮断などによって遮断される)環境における領域を画定してよい。さまざまな例示において、車両コンピューティングシステムは、閉塞区域に関連付けられる道路の関連するセクションを識別するように構成されてよい。このような例示において、道路のセクションは、車両に関連し得る方向にオブジェクトが動作するように構成される1つまたは複数の車線、歩道、自転車専用車線などを含んでよい。図4に関して上記で説明されるように、閉塞区域は、オブジェクトが車両へと走行し得る道路の2車線を含んでよい。
動作1004で、プロセスは、オブジェクトが閉塞区域において動作している確率を決定することを含むことができる。さまざまな例示において、確率は、機械学習技術、および/または上記の参照によって組み込まれる、米国特許出願第16/147,177号、および米国特許出願第16/011,436号に記載されている1つまたは複数の技術を利用して決定されてよい。さまざまな例示において、車両コンピューティングシステムは、道路の関連するセクションに基づいて、オブジェクトが閉塞区域において動作している確率を決定してよい。ある例示において、オブジェクトが閉塞区域を通して走行することとなるという確率は、道路の関連セクションに関連付けられる格納データに基づいてよい。格納されたデータは、経時的にキャプチャされた道路の関連セクションに関連付けられるセンサーデータ(例えば、事前に記録されたデータ)を含んでよい。ある例示において、確率は、時刻、曜日、月、季節などに基づいてよい。ある例示において、確率は、機械学習技術を利用して決定されてよい。このような例示において、機械学習モデルは、経時的にキャプチャされた道路の関連するセクションに関連付けられるセンサーデータのような訓練データで訓練されてよい。オブジェクトが存在し得るという確率に基づいて、車両コンピューティングシステムは、予測されるオブジェクト軌道を有する予測されるオブジェクトを生成してよく、とるべきアクションを決定する。
動作1006で、プロセスは、確率が閾値を上回っているかを決定することを含むことができる。閾値確率は、環境、道路のセクション、曜日、週番号などに基づいてよい。さまざまな例示において、閾値確率は、所定の値を含んでよい。ある例示において、閾値は、動的に決定されてよい。このような例示において、閾値確率は、車両が環境において動作している間、道路のセクション、時間、曜日などに基づいて決定されてよい。
確率が閾値を上回っていない(動作1006で「No」)ということの決定に基づいて、プロセスは、動作1008で、オブジェクトが閉塞区域において動作していないということを決定することを含むことができる。
動作1010で、プロセスは、オブジェクトが閉塞区域において動作していないということを決定することに基づいて車両を制御することを含むことができる。さまざまな例示において、車両コンピューティングシステムは、上記の技術を利用するような環境において1つまたは複数の検出されたオブジェクトに基づいて、とるべきアクションを決定してよい。
確率が閾値を上回っている(動作1006で「Yes」)ということの決定に基づいて、プロセスは、動作1012で、車両プラニングの考慮事項においてオブジェクトに関連付けられるデータを含むことができる。さまざまな例示において、車両コンピューティングシステムは、本明細書で説明される技術を利用するようなオブジェクトに基づいて車両がとり得る1つまたは複数の可能性のあるアクションに関連付けられるコストを決定してよい。このような例示において、車両コンピューティングシステムは、アクションコストに基づいて、車両がとるべきアクション(例えば、制御プラニング)を決定してよい。さまざまな例示において、車両コンピューティングシステムは、少なくとも部分的に、閉塞区域において動作するオブジェクト(例えば、予測されるオブジェクト)に基づいて車両を制御してよい。
(例示的な条項)
A:センサー、1つまたは複数のプロセッサ、および1つまたは複数のプロセッサによって実行された場合に、センサーから環境のセンサーデータを受信し、少なくとも部分的にセンサーデータに基づいて、環境における第1の位置でのオブジェクトを識別し、車両が環境においてとることが可能である第1のアクションおよび第2のアクションを決定し、第1のアクションに関連付けられる第1のオブジェクト軌道および第2のアクションに関連付けられる第2のオブジェクト軌道を決定し、少なくとも部分的に第1のオブジェクト軌道に基づいて、第1のアクションに関連付けられる第1のアクションコストを決定することであって、第1のアクションは、第1の安全性のコスト、第1の快適性のコスト、第1の進行のコスト、または第1の運用規則のコストのうちの少なくとも1つに少なくとも部分的に基づいて決定し、少なくとも部分的に第2のオブジェクト軌道に基づいて、第2のアクションに関連付けられる第2のアクションコストを決定することであって、第2のアクションコストは、第2の安全性のコスト、第2の快適性のコスト、第2の進行のコスト、または第2の運用規則のコストのうちの少なくとも1つに少なくとも部分的に基づいて決定し、第1のアクションに関連付けられる第1のアクションコストが第2のアクションに関連付けられる第2のアクションコストよりも低いということを決定し、および少なくとも部分的に、第1のアクションコストが第2のアクションコストよりも低いということを決定することに基づき、少なくとも部分的に第1のアクションに基づいて車両を制御するように車両を構成するプロセッサ実行可能命令を格納するメモリを備える。
B:段落Aが説明するような車両で、第1の安全性のコストは、少なくとも部分的に、第1のオブジェクト軌道に関連付けられるオブジェクトの状態の第1の関数、または第1のオブジェクト軌道と車両との間の相対的な状態に基づき、第1の快適性のコストは、少なくとも部分的に、第1のオブジェクト軌道に関連付けられるオブジェクトの状態の第2の関数、または第1のオブジェクト軌道と車両との間の相対的な状態に基づき、第1の進行のコストは、少なくとも部分的に、オブジェクトの第1のオブジェクト時間の遅延に基づき、および第1の運用規則のコストは、少なくとも部分的に、環境に関連付けられる1つまたは複数の規制に基づいている。
C:段落AまたはBのいずれかが説明するような車両で、命令は、車両が環境においてとることが可能である第3のアクションを決定し、第3のアクションに関連付けられる第3のオブジェクト軌道を決定し、第3のアクションに関連付けられる第3のコストを決定し、第3のコストが閾値コストよりも高いということを決定し、および制御プラニングの考慮事項から第3のアクションに関連付けられるデータを無視するように車両をさらに構成する。
D:段落A~Cのいずれかが説明するような車両で、命令は、少なくとも部分的にセンサーデータに基づいて、環境における閉塞区域を決定し、機械学習技術を利用して、閉塞区域において動作する第2のオブジェクトに関連付けられる確率を決定し、確率が閾値を上回っているということを決定し、および第2のオブジェクトに関連付けられる予測されるオブジェクト軌道を決定し、第1のアクションコストおよび第2のアクションコストを決定することは、少なくとも部分的に、第2のオブジェクトに関連付けられる予測されるオブジェクト軌道にさらに基づくように車両をさらに構成する。
E:段落A~Dのいずれかが説明するような車両で、第1のオブジェクト軌道および第2のオブジェクト軌道は、機械学習アルゴリズム、環境のトップダウン表現、離散化された確率分布、時相論理式、または木探索法のうちの少なくとも1つに少なくとも部分的に基づいて決定される。
F:方法は、少なくとも部分的にセンサーデータに基づいて、環境における第1の位置でのオブジェクトを決定すること、環境においてとるべき車両の候補アクションを決定すること、候補アクションに関連付けられるオブジェクト軌道を決定すること、少なくとも部分的に、候補アクションに関連付けられる車両のオブジェクト軌道および車両軌道に基づいて、候補アクションに関連付けられるアクションコストを決定すること、および、少なくとも部分的に、候補アクションに関連付けられるアクションコストに基づいて、車両を制御することを備える。
G:段落Fが説明するような方法で、アクションコストを決定することは、候補アクションに関連付けられる安全性のコストを決定すること、少なくとも部分的にオブジェクト軌道に基づいて、候補アクションに関連付けられる快適性のコストを決定すること、少なくとも部分的にオブジェクト軌道に基づいて、候補アクションに関連付けられる進行のコストを決定すること、または候補アクションに関連付けられる運用規則のコストを決定することのうちの少なくとも1つを含む。
H:段落FまたはGのいずれかが説明するような方法で、アクションコストは、オブジェクトに関連付けられる快適性のコストを含み、快適性のコストは、オブジェクトの正の加速度、オブジェクトの負の加速度、またはオブジェクトの横方向の加速度のうちの少なくとも1つに少なくとも部分的に基づいている。
I:段落F~Hのいずれかが説明するような方法で、アクションコストは、安全性のコストを含み、安全性のコストは、車両の推定される車両位置と前記オブジェクトの推定されるオブジェクト位置との間の距離を決定すること、時間期間にわたって車両の推定される位置とオブジェクトの推定される位置との間の収束レートを決定すること、または車両とオブジェクトとの間の衝突の確率を決定することのうちの少なくとも1つに少なくとも部分的に基づいている。
J:段落F~Iのいずれかが説明するような方法で、候補アクションは、第1の候補アクションであり、オブジェクト軌道は、第1のオブジェクト軌道であり、方法は、環境においてとるべき車両の第2の候補アクションを決定すること、少なくとも部分的に第2の候補アクションに基づいて、第2のオブジェクト軌道を決定すること、少なくとも部分的に第2のオブジェクト軌道に基づいて、第2の候補アクションに関連付けられる安全性のコストを決定すること、安全性のコストが閾値の安全性のコストよりも高いということを決定するステップ、および少なくとも部分的に、安全性のコストが閾値の安全性のコストよりも高いということを決定することに基づいて、第2の候補アクションに関連付けられるデータを制御プラニングの考慮事項において除外することをさらに備える。
K:段落F~Iのいずれかが説明するような方法で、車両およびオブジェクトの第1の推定される状態を決定することであって、第1の推定される状態は、第1の時間での車両の第1の推定される位置および第1の時間でのオブジェクトの第1の推定される位置を含むこと、車両およびオブジェクトの第2の推定される状態を決定することであって、第2の推定される状態は、第2の時間での車両の第2の推定される位置および第2の時間でのオブジェクトの第2の推定される位置を含むこと、および第1の推定される状態に関連付けられる第1のコストおよび第2の推定される状態に関連付けられる第2のコストを決定することをさらに備え、アクションコストを決定するステップは、少なくとも部分的に、第1のコストおよび第2のコストに基づいている。
L:段落F~Kのいずれかが説明するような方法で、候補アクションは、第1の候補アクションであり、アクションコストは、第1のアクションコストであり、少なくとも部分的に第1のアクションコストに基づいて車両を制御することは、環境においてとるべき車両の第2の候補アクションを決定すること、少なくとも部分的に第2の候補アクションに基づいて、第2のオブジェクト軌道を決定すること、少なくとも部分的に第2のオブジェクト軌道に基づいて、第2の候補アクションに関連付けられる第2のアクションコストを決定すること、第1のアクションコストが第2のアクションコストよりも低いということを決定すること、および少なくとも部分的に、第1のアクションが第2のアクションよりも小さいことに基づいて、第1のアクションをたどるために車両を制御することを含む。
M:段落F~Lのいずれかが説明するような方法で、オブジェクトは、第1のオブジェクトであり、方法は、少なくとも部分的にセンサーデータに基づいて、環境における閉塞区域を決定することをさらに備え、候補アクションに関連付けられるアクションコストを決定することは、少なくとも部分的に閉塞区域に基づいている。
N:段落Mが説明するような方法で、第2のオブジェクトが閉塞区域において動作している確率は、機械学習技術、閉塞区域に関連付けられる道路のセクション、閉塞区域に関連付けられる車線の数、閉塞区域のサイズ、時刻、または曜日のうちの少なくとも1つに少なくとも部分的に基づいている。
O:システムまたはデバイスは、プロセッサ、および実行された場合に、プロセッサに、段落F~Nのいずれか1つで説明されるコンピューター実装方法を実行させる命令を格納する非一時的なコンピューター可読媒体を備える。
P:システムまたはデバイスは、処理のための手段、および処理のための手段に結合された格納のための手段を備え、格納のための手段は、段落F~Nのいずれか1つで説明されるコンピューター実装方法を実行するために1つまたは複数のデバイスを構成する命令を含む。
Q:非一時的なコンピューター可読媒体は、実行された場合に、1つまたは複数のプロセッサに、少なくとも部分的にセンサーデータに基づいて、環境における第1の位置でのオブジェクトを決定すること、環境においてとるべき車両の候補アクションを決定すること、候補アクションに関連付けられるオブジェクト軌道を決定すること、オブジェクト軌道に関連付けられる加速度、または候補アクションに関連付けられるオブジェクト軌道と車両軌道との間の距離のうちの少なくとも1つに少なくとも部分的に基づいて、候補アクションに関連付けられるコストを決定すること、および、少なくとも部分的に、候補アクションに関連付けられるコストに基づいて、車両を制御することを含む動作を実行させる命令を格納する。
R:段落Qが説明するような非一時的なコンピューター可読媒体で、オブジェクトは、主要なオブジェクトであり、動作は、環境において二次的なオブジェクトを決定することであって、二次的なオブジェクトは、環境における主要なオブジェクトの後ろに位置されて、主要なオブジェクトと同一方向で走行すること、主要なオブジェクトに関連付けられる第1のコストを決定することであって、第1のコストは、少なくとも部分的に、候補アクションに応答するオブジェクトの加速度に基づいて、決定すること、および二次的なオブジェクトに関連付けられる第2のコストを決定することであって、第2のコストは、第1のコストのパーセンテージを含むことをさらに含み、コストは、少なくとも第1のコストおよび第2のコストを含む。
S:段落QまたはRのいずれかが説明するような非一時的なコンピューター可読媒体で、候補アクションは、第1の候補アクションであり、オブジェクト軌道は、第1のオブジェクト軌道であり、動作は、環境においてとるべき車両の第2の候補アクションを決定すること、少なくとも部分的に第2の候補アクションに基づいて、第2のオブジェクト軌道を決定すること、少なくとも部分的に第2のオブジェクト軌道に基づいて、第2の候補アクションに関連付けられる安全性のコストを決定すること、安全性のコストが閾値の安全性のコストよりも高いということを決定すること、および少なくとも部分的に、安全性のコストが閾値の安全性のコストよりも高いということを決定することに基づいて、第2の候補アクションに関連付けられるデータを制御プラニングの考慮事項において除外することをさらに含む。
T:段落Q~Sのいずれかが説明するような非一時的なコンピューター可読媒体で、候補アクションは、第1の候補アクションであり、オブジェクト軌道は、第1のオブジェクト軌道であり、動作は、環境においてとるべき車両の第2の候補アクションを決定すること、少なくとも部分的に第2のオブジェクト軌道に関連付けられる加速度に基づいて、第2の候補アクションに関連付けられるオブジェクトの快適性のコストを決定すること、オブジェクトの快適性のコストが閾値の快適性のコストよりも高いということを決定すること、および少なくとも部分的に、快適性のコストが閾値の快適性のコストよりも高いということを決定することに基づいて、第2の候補アクションに関連付けられるデータを制御プラニングの考慮事項において除外することをさらに含む。
U:段落Q~Tのいずれかが説明するような非一時的なコンピューター可読媒体で、アクションコストを決定することは、候補アクションに関連付けられる安全性のコストを決定すること、少なくとも部分的にオブジェクト軌道に基づいて、候補アクションに関連付けられる安全性のコストを決定すること、少なくとも部分的にオブジェクト軌道に基づいて、候補アクションに関連付けられる進行のコストを決定すること、または候補アクションに関連付けられる運用規則のコストを決定することのうちの少なくとも1つを含む。
V:段落Q~Uのいずれかが説明するような非一時的なコンピューター可読媒体で、動作は、少なくとも部分的にセンサーデータに基づいて、環境における閉塞区域を決定することをさらに含み、コストを決定することは、少なくとも部分的に閉塞区域にさらに基づいている。
上記のような例示的な条項が1つの具体的な実装に対して説明される一方で、本願の文脈において、本例示的な条項の内容はまた、方法、デバイス、システム、コンピューター可読媒体、および/または別の実装を介して実装されることが可能であることを理解されたい。さらに、例示的な条項A~Vのいずれかは、単独で、または他の1つもしくは複数の例示的な条項A~Vと組み合わせて実装されてよい。
(結論)
本明細書で説明される技術の1つまたは複数の例示が説明されてきた一方で、それらの例示の様々な変更形態、追加形態、置換形態、および均等形態が、本明細書で説明される技術範囲内に含まれる。
例示の説明において、主張される特許の主題の特定の例を示す、本願の一部を形成する添付図面に対する参照が行われる。他の例示が用いられることが可能であること、および構造上の変更などの変更または変形が行われることが可能であることを理解されたい。このような例示、変更または変形は、意図された発明の主題に対する範囲から必ずしも逸脱するものではない。本明細書におけるステップは、特定の順序で提供される一方で、ある場合において、順序が変更され得ることによって、説明されるシステムおよび方法の機能を変更することなく、特定の入力が異なる時間または異なる順序で提供される。開示された手順は、また、異なる順序で実行されることが可能である。さらに、本明細書におけるさまざまな算定は、開示される順序で実行される必要はなく、算定の代替の順序を用いる他の例示が容易に実装されることが可能である。順序変更されることに加えて、算定は、また、同一の結果を伴って部分的計算に分解されることが可能である。

Claims (15)

  1. 車両であって、
    センサーと、
    1つまたは複数のプロセッサと、
    1つまたは複数の前記プロセッサによって実行された場合に、
    前記センサーから環境のセンサーデータを受信し、
    少なくとも部分的に前記センサーデータに基づいて、前記環境における第1の位置でのオブジェクトを識別し、
    前記車両が前記環境においてとることが可能である第1のアクションおよび第2のアクションを決定し、
    前記第1のアクションに関連付けられる第1のオブジェクト軌道および前記第2のアクションに関連付けられる第2のオブジェクト軌道を決定し、
    少なくとも部分的に前記第1のオブジェクト軌道に基づいて、前記第1のアクションに関連付けられる第1のアクションコストを決定することであって、前記第1のアクションは、第1の安全性のコスト、第1の快適性のコスト、第1の進行のコスト、または第1の運用規則のコストのうちの少なくとも1つに少なくとも部分的に基づいており、
    少なくとも部分的に前記第2のオブジェクト軌道に基づいて、前記第2のアクションに関連付けられる第2のアクションコストを決定することであって、前記第2のアクションコストは、第2の安全性のコスト、第2の快適性のコスト、第2の進行のコスト、または第2の運用規則のコストのうちの少なくとも1つに少なくとも部分的に基づいており、
    前記第1のアクションに関連付けられる前記第1のアクションコストが前記第2のアクションに関連付けられる前記第2のアクションコストよりも低いということを決定し、および
    少なくとも部分的に、前記第1のアクションコストが前記第2のアクションコストよりも低いということを決定することに基づき、少なくとも部分的に前記第1のアクションに基づいて前記車両を制御するように、
    前記車両を構成するプロセッサ実行可能命令を格納するメモリと
    を備える車両。
  2. 前記第1の安全性のコストは、少なくとも部分的に、前記第1のオブジェクトに関連付けられるオブジェクトの状態の第1の関数、または前記第1のオブジェクトと前記車両との間の相対的な状態に基づき、
    前記第1の快適性のコストは、少なくとも部分的に、前記第1のオブジェクトに関連付けられる前記オブジェクトの状態の第2の関数、または前記第1のオブジェクトと前記車両との間の前記相対的な状態に基づき、
    前記第1の進行のコストは、少なくとも部分的に、前記オブジェクトの第1のオブジェクト時間の遅延に基づき、および
    前記第1の運用規則のコストは、少なくとも部分的に、前記環境に関連付けられる1つまたは複数の規制に基づいている、
    請求項1に記載の車両。
  3. 前記命令は、
    前記車両が前記環境においてとることが可能である第3のアクションを決定し、
    前記第3のアクションに関連付けられる第3のオブジェクト軌道を決定し、
    前記第3のアクションに関連付けられる第3のコストを決定し、
    前記第3のコストが閾値コストよりも高いということを決定し、および
    制御プラニングの考慮事項から前記第3のアクションに関連付けられるデータを無視するように、
    前記車両をさらに構成する請求項1または2のいずれかに記載の車両。
  4. 前記命令は、
    少なくとも部分的に前記センサーデータに基づいて、前記環境における閉塞区域を決定し、
    機械学習技術を利用して、前記閉塞区域において動作する第2のオブジェクトに関連付けられる確率を決定し、
    前記確率が閾値を上回っているということを決定し、
    前記第2のオブジェクトに関連付けられる予測されるオブジェクト軌道を決定し、および
    前記第1のアクションコストおよび前記第2のアクションコストを決定することは、少なくとも部分的に、前記第2のオブジェクトに関連付けられる前記予測されるオブジェクト軌道にさらに基づくように、
    前記車両をさらに構成する請求項1ないし3のいずれか一項に記載の車両。
  5. 前記第1のオブジェクト軌道および前記第2のオブジェクト軌道は、
    機械学習アルゴリズム、
    前記環境のトップダウン表現、
    離散化された確率分布、
    時相論理式、または
    木探索法のうちの少なくとも1つに少なくとも部分的に基づいて決定される、
    請求項1ないし4のいずれか一項に記載の車両。
  6. 少なくとも部分的にセンサーデータに基づいて、環境における第1の位置でのオブジェクトを決定するステップと、
    前記環境においてとるべき車両の候補アクションを決定するステップと、
    前記候補アクションに関連付けられるオブジェクト軌道を決定するステップと、
    少なくとも部分的に、前記アクションに関連付けられる前記車両の前記オブジェクト軌道および車両軌道に基づいて、前記候補アクションに関連付けられるアクションコストを決定するステップと、
    少なくとも部分的に、前記候補アクションに関連付けられる前記アクションコストに基づいて、前記車両を制御するステップと
    を備える方法。
  7. 前記アクションコストを決定するステップは、
    前記候補アクションに関連付けられる安全性のコストを決定するステップ、
    少なくとも部分的に前記オブジェクト軌道に基づいて、前記候補アクションに関連付けられる快適性のコストを決定するステップ、
    少なくとも部分的に前記オブジェクト軌道に基づいて、前記候補アクションに関連付けられる進行のコストを決定するステップ、または
    前記候補アクションに関連付けられる運用規則のコストを決定するステップのうちの少なくとも1つを含む、
    請求項6に記載の方法。
  8. 前記アクションコストは、前記オブジェクトに関連付けられる快適性のコストを含み、 前記快適性のコストは、
    前記オブジェクトの正の加速度、
    前記オブジェクトの負の加速度、または
    前記オブジェクトの横方向の加速度のうちの少なくとも1つに少なくとも部分的に基づいている、
    請求項6または7のいずれかに記載の方法。
  9. 前記アクションコストは、安全性のコストを含み、
    前記安全性のコストは、
    前記車両の推定される車両位置と前記オブジェクトの推定されるオブジェクト位置との間の距離を決定するステップ、
    時間期間にわたって前記車両の推定される位置と前記オブジェクトの推定される位置との間の収束レートを決定するステップ、または
    前記車両と前記オブジェクトとの間の衝突の確率を決定するステップのうちの少なくとも1つに少なくとも部分的に基づいている、
    請求項6ないし8のいずれか一項に記載の方法。
  10. 前記候補アクションは、第1の候補アクションであり、前記オブジェクト軌道は、第1のオブジェクト軌道であり、
    前記方法は、
    前記環境においてとるべき車両の第2の候補アクションを決定するステップと、
    少なくとも部分的に前記第2の候補アクションに基づいて、第2のオブジェクト軌道を決定するステップと、
    少なくとも部分的に前記オブジェクト軌道に基づいて、前記第2の候補アクションに関連付けられる安全性のコストを決定するステップと、
    前記安全性のコストが閾値の安全性のコストよりも高いということを決定するステップと、
    少なくとも部分的に、前記安全性のコストが前記閾値の安全性のコストよりも高いということを決定することに基づいて、前記第2のアクションに関連付けられるデータを制御プラニングの考慮事項において除外するステップと
    をさらに備える請求項6ないし9のいずれか一項に記載の方法。
  11. 前記車両および前記オブジェクトの第1の推定される状態を決定するステップであって、前記第1の推定される状態は、第1の時間での前記車両の第1の推定される位置および前記第1の時間での前記オブジェクトの第1の推定される位置を含むステップと、
    前記車両および前記オブジェクトの第2の推定される状態を決定するステップであって、前記第2の推定される状態は、第2の時間での前記車両の第2の推定される位置および前記第2の時間での前記オブジェクトの第2の推定される位置を含むステップと、
    前記第1の推定される状態に関連付けられる第1のコストおよび前記第2の推定される状態に関連付けられる第2のコストを決定するステップとをさらに備え、
    前記アクションコストを決定するステップは、少なくとも部分的に、前記第1のコストおよび前記第2のコストに基づいている、
    請求項6ないし10のいずれか一項に記載の方法。
  12. 前記候補アクションは、第1の候補アクションであり、
    前記アクションコストは、第1のアクションコストであり、
    少なくとも部分的に前記第1のアクションコストに基づいて前記車両を制御するステップは、
    前記環境においてとるべき前記車両の第2の候補アクションを決定するステップと、
    少なくとも部分的に前記第2の候補アクションに基づいて、第2のオブジェクト軌道を決定するステップと、
    少なくとも部分的に前記第2のオブジェクト軌道に基づいて、前記第2の候補アクションに関連付けられる第2のアクションコストを決定するステップと、
    前記第1のアクションコストが前記第2のアクションコストよりも低いということを決定するステップと、
    少なくとも部分的に、前記第1のアクションが前記第2のアクションよりも小さいことに基づいて、前記第1のアクションをたどるために前記車両を制御するステップとを含む、
    請求項6ないし11のいずれか一項に記載の方法。
  13. 前記オブジェクトは、第1のオブジェクトであり、
    前記方法は、
    少なくとも部分的に前記センサーデータに基づいて、前記環境における閉塞区域を決定するステップをさらに備え、
    前記候補アクションに関連付けられる前記アクションコストを決定するステップは、少なくとも部分的に前記閉塞区域に基づいている、
    請求項6ないし12のいずれか一項に記載の方法。
  14. 第2のオブジェクトが、
    機械学習技術、
    前記閉塞区域に関連付けられる道路のセクション、
    前記閉塞区域に関連付けられる車線の数、
    前記閉塞区域のサイズ、
    時刻、または
    曜日のうちの少なくとも1つに少なくとも部分的に基づいて、前記閉塞区域において動作しているということを決定するステップをさらに備える、
    請求項13に記載の方法。
  15. 実行された場合に、1つまたは複数のプロセッサに、請求項6ないし14のいずれか一項に記載の方法を実行させる命令を格納する非一時的なコンピューター可読媒体。
JP2022508871A 2019-08-13 2020-08-12 コストベースの経路決定 Pending JP2022544770A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/539,928 US11161502B2 (en) 2019-08-13 2019-08-13 Cost-based path determination
US16/539,928 2019-08-13
PCT/US2020/045989 WO2021030476A1 (en) 2019-08-13 2020-08-12 Cost-based path determination

Publications (1)

Publication Number Publication Date
JP2022544770A true JP2022544770A (ja) 2022-10-21

Family

ID=72240506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022508871A Pending JP2022544770A (ja) 2019-08-13 2020-08-12 コストベースの経路決定

Country Status (5)

Country Link
US (1) US11161502B2 (ja)
EP (1) EP4014157A1 (ja)
JP (1) JP2022544770A (ja)
CN (1) CN114222691A (ja)
WO (1) WO2021030476A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7265862B2 (ja) * 2018-12-25 2023-04-27 株式会社デンソー 運転支援装置
KR20200129374A (ko) * 2019-05-08 2020-11-18 현대자동차주식회사 차량 및 그 제어 방법
US11131993B2 (en) 2019-05-29 2021-09-28 Argo AI, LLC Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
WO2020245769A1 (en) * 2019-06-04 2020-12-10 Motional Ad Llc Autonomous vehicle operation using linear temporal logic
WO2021062593A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for predicting bicycle trajectory
US11230285B2 (en) * 2019-10-14 2022-01-25 Pony Ai Inc. System and method for determining a vehicle action
JP7215392B2 (ja) * 2019-10-15 2023-01-31 トヨタ自動車株式会社 車両制御システム
US11351996B2 (en) * 2019-11-01 2022-06-07 Denso International America, Inc. Trajectory prediction of surrounding vehicles using predefined routes
US20210149404A1 (en) * 2019-11-16 2021-05-20 Uatc, Llc Systems and Methods for Jointly Performing Perception, Perception, and Motion Planning for an Autonomous System
US12036990B2 (en) * 2019-11-22 2024-07-16 Magna Electronics Inc. Vehicular control system with controlled vehicle stopping and starting at intersection
US11891087B2 (en) * 2019-12-20 2024-02-06 Uatc, Llc Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
CN113366400B (zh) * 2019-12-20 2023-07-21 百度时代网络技术(北京)有限公司 自动驾驶车辆的动态成本函数的实现方法
CN114829225A (zh) * 2019-12-27 2022-07-29 伟摩有限责任公司 自主载具的条件行为预测
US11415992B2 (en) * 2019-12-27 2022-08-16 Woven Planet North America, Inc. Resource prioritization based on travel path relevance
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US20210237264A1 (en) * 2020-02-03 2021-08-05 Eli Altaras Method and devices for a smart tripod
KR20210108115A (ko) * 2020-02-25 2021-09-02 현대자동차주식회사 Adas를 연동한 오조작에 의한 비정상적인 가속 방지 장치 및 adas를 연동한 오조작에 의한 비정상적인 가속 방지 방법
US11834069B2 (en) * 2020-03-05 2023-12-05 Uatc, Lcc Systems and methods for selecting trajectories based on interpretable semantic representations
JP7036857B2 (ja) * 2020-03-27 2022-03-15 本田技研工業株式会社 車両及びその制御装置
US11475774B2 (en) * 2020-04-03 2022-10-18 Verizon Patent And Licensing Inc. Systems and methods for machine learning based collision avoidance
US11878682B2 (en) * 2020-06-08 2024-01-23 Nvidia Corporation Path planning and control to account for position uncertainty for autonomous machine applications
US11505211B2 (en) * 2020-06-18 2022-11-22 Baidu Usa Llc Relative speed based speed planning for buffer area
US11634161B2 (en) * 2020-06-24 2023-04-25 Woven Planet North America, Inc. Path planning using delta cost volume generated from movement restrictions and observed driving behavior
EP4165476A4 (en) 2020-07-01 2024-07-03 May Mobility Inc METHOD AND SYSTEM FOR DYNAMIC MANAGEMENT OF AUTONOMOUS VEHICLE INTERVENTIONS
US20220017112A1 (en) * 2020-07-20 2022-01-20 Uatc, Llc Systems and Methods for Generating Vehicle Corridors to Improve Path Planning Efficiency
US11814075B2 (en) * 2020-08-26 2023-11-14 Motional Ad Llc Conditional motion predictions
US11648965B2 (en) * 2020-09-28 2023-05-16 Argo AI, LLC Method and system for using a reaction of other road users to ego-vehicle actions in autonomous driving
GB2599727A (en) * 2020-10-12 2022-04-13 Daimler Ag Predicting the behavior of a vehicle using agent-to-agent relations to control an autonomous vehicle
US11858536B1 (en) * 2020-10-31 2024-01-02 Uatc, Llc Systems and methods for interactive prediction and planning
US11753044B2 (en) * 2020-11-18 2023-09-12 Argo AI, LLC Method and system for forecasting reactions of other road users in autonomous driving
US20220227391A1 (en) * 2021-01-20 2022-07-21 Argo AI, LLC Systems and methods for scenario dependent trajectory scoring
US20220274625A1 (en) * 2021-02-26 2022-09-01 Zoox, Inc. Graph neural networks with vectorized object representations in autonomous vehicle systems
JP2022147924A (ja) * 2021-03-24 2022-10-06 株式会社Subaru 運転支援装置
CN112849156B (zh) * 2021-04-25 2021-07-30 北京三快在线科技有限公司 一种行驶风险识别方法及装置
CN115257798A (zh) * 2021-04-29 2022-11-01 沃尔沃汽车公司 自动驾驶控制方法及用于自动驾驶车辆的控制单元和系统
US11932282B2 (en) * 2021-08-04 2024-03-19 Zoox, Inc. Vehicle trajectory control using a tree search
US12043289B2 (en) * 2021-08-17 2024-07-23 Argo AI, LLC Persisting predicted objects for robustness to perception issues in autonomous driving
US20230078779A1 (en) * 2021-09-14 2023-03-16 Motional Ad Llc Operation envelope detection with situational assessment using metrics
US11851091B2 (en) 2021-09-14 2023-12-26 Motional Ad Llc Immobility detection within situational context
US11845454B2 (en) 2021-09-14 2023-12-19 Motional Ad Llc Operational envelope detection with situational assessment
US12037024B1 (en) * 2021-10-20 2024-07-16 Waymo Llc Trajectory planning with other road user reactions for autonomous vehicles
GB2612631A (en) * 2021-11-08 2023-05-10 Jaguar Land Rover Ltd Control system for a vehicle and method thereof
WO2023102098A1 (en) * 2021-12-01 2023-06-08 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
CN114312831B (zh) * 2021-12-16 2023-10-03 浙江零跑科技股份有限公司 一种基于空间注意力机制的车辆轨迹预测方法
US11987249B2 (en) * 2021-12-22 2024-05-21 Motional Ad Llc Precedence determination at multi-way stops
US20230322266A1 (en) * 2022-04-06 2023-10-12 Motional Ad Llc Vehicle action selection based on simulated states
US20230419830A1 (en) * 2022-06-27 2023-12-28 Zoox, Inc. Determining right of way
DE102022212993A1 (de) 2022-12-01 2024-06-06 Continental Autonomous Mobility Germany GmbH Computerimplementiertes Verfahren zum Planen einer Agenten-Navigationsaufgabe zum Navigieren eines Agenten aus einem aktuellen Agentenzustand in einen Ziel-Agentenzustand
US20240190473A1 (en) * 2022-12-12 2024-06-13 Zoox, Inc. Maintaining distance during vehicle interactions
WO2024129832A1 (en) 2022-12-13 2024-06-20 May Mobility, Inc. Method and system for assessing and mitigating risks encounterable by an autonomous vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3836122A1 (en) 2016-12-23 2021-06-16 Mobileye Vision Technologies Ltd. Navigational system with imposed constraints
DE112019000065T5 (de) * 2018-02-02 2020-03-05 Nvidia Corporation Sicherheitsprozeduranalyse zur hindernisvermeidung in einem autonomen fahrzeug
US11077845B2 (en) * 2018-03-20 2021-08-03 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle

Also Published As

Publication number Publication date
WO2021030476A1 (en) 2021-02-18
EP4014157A1 (en) 2022-06-22
CN114222691A (zh) 2022-03-22
US20210046924A1 (en) 2021-02-18
US11161502B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
US11161502B2 (en) Cost-based path determination
JP7150983B2 (ja) 車両のための衝突予測及び回避
EP3908493B1 (en) Occlusion prediction and trajectory evaluation
US11225247B2 (en) Collision prediction and avoidance for vehicles
US11774975B2 (en) Collision zone detection for vehicles
US11708093B2 (en) Trajectories with intent
JP2022544715A (ja) 譲歩挙動のモデリングおよび予測
JP2022550279A (ja) 妨害物の回避
US11433885B1 (en) Collision detection for vehicles
US11577722B1 (en) Hyper planning based on object and/or region
EP4045364A1 (en) Dynamic vehicle warning signal emission
JP2022549832A (ja) 粒子状物質に対する調節のプランニング
US11801864B1 (en) Cost-based action determination
US20220371613A1 (en) Vehicle trajectory determination
US11738772B1 (en) Object avoidance with perceived safety subgoal
US11970164B1 (en) Adverse prediction planning
JP2023525054A (ja) 軌道分類
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
WO2021034756A1 (en) Collision prediction and avoidance for vehicles

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230801