JP2022539245A - アクションデータに基づくトップダウンシーンの予測 - Google Patents
アクションデータに基づくトップダウンシーンの予測 Download PDFInfo
- Publication number
- JP2022539245A JP2022539245A JP2022500033A JP2022500033A JP2022539245A JP 2022539245 A JP2022539245 A JP 2022539245A JP 2022500033 A JP2022500033 A JP 2022500033A JP 2022500033 A JP2022500033 A JP 2022500033A JP 2022539245 A JP2022539245 A JP 2022539245A
- Authority
- JP
- Japan
- Prior art keywords
- action
- vehicle
- data
- environment
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 282
- 238000000034 method Methods 0.000 claims abstract description 81
- 238000010801 machine learning Methods 0.000 claims description 73
- 230000001133 acceleration Effects 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 28
- 230000015654 memory Effects 0.000 description 26
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000008447 perception Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- HCDMJFOHIXMBOV-UHFFFAOYSA-N 3-(2,6-difluoro-3,5-dimethoxyphenyl)-1-ethyl-8-(morpholin-4-ylmethyl)-4,7-dihydropyrrolo[4,5]pyrido[1,2-d]pyrimidin-2-one Chemical compound C=1C2=C3N(CC)C(=O)N(C=4C(=C(OC)C=C(OC)C=4F)F)CC3=CN=C2NC=1CN1CCOCC1 HCDMJFOHIXMBOV-UHFFFAOYSA-N 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 230000003750 conditioning effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000237519 Bivalvia Species 0.000 description 1
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 235000020639 clam Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 231100000817 safety factor Toxicity 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18145—Cornering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18159—Traversing an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/164—Centralised systems, e.g. external to vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
- B60W2720/106—Longitudinal acceleration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
車両のアクションに基づいて、環境のトップダウン表現で予測を決定するための手法について、本明細書で説明する。第1の車両(自律車両など)のセンサは、環境のセンサデータをキャプチャでき、これは、第1の車両から離れたオブジェクト(車両または歩行者など)を含み得る。オブジェクトおよび環境のトップダウンビューを表すマルチチャネル画像を、センサデータ、マップデータ、および/またはアクションデータに基づいて生成できる。環境データ(オブジェクトの範囲、速度、レーンの位置、横断歩道など)を画像にエンコードできる。アクションデータは、第1の車両のターゲットレーン、軌道などを表すことができる。時間の経過に伴う環境を表す複数の画像を生成し、将来のオブジェクトの可能な位置に関連付けられた予測確率を出力するように構成された予測システムに入力することができ、これは自律車両のアクションに基づき得る。
Description
[関連出願の相互参照]
この特許出願は、2019年7月5日に出願されたシリアル番号16/504,147の米国実用特許出願の優先権を主張する。出願シリアル番号16/504,147は、参照により本明細書に完全に組み込まれている。
この特許出願は、2019年7月5日に出願されたシリアル番号16/504,147の米国実用特許出願の優先権を主張する。出願シリアル番号16/504,147は、参照により本明細書に完全に組み込まれている。
予測技術を使用して、環境内のエンティティの将来の状態を決定できる。つまり、予測技術を使用して、特定のエンティティが将来どのように動作する可能性があるかを決定できる。現在の予測技術は、多くの場合、環境内のエンティティの将来の状態を予測するための物理ベースのモデリングまたは道路規則シミュレーションを含む。
詳細な説明は添付の図面を参照して説明される。図面において、参照番号の左端の数字は参照番号が最初に現れる図を特定している。異なる図面における同じ参照番号の使用は類似または同一の項目または特徴を示す。
環境および車両のアクションのトップダウン表現に基づいて予測を決定するための技術について、本明細書で説明する。第1の車両(自律車両など)のセンサは、環境のセンサデータをキャプチャでき、これは、第2の車両または歩行者などの車両から離れたオブジェクトを含み得る。トップダウンビューでオブジェクトおよび/または環境のさまざまなパラメータをエンコードするマルチチャネル画像(全体を通して単に画像と呼ばれ得る)を、センサデータ、マップデータ、および/またはアクションデータに基づいて生成できる。センサデータを使用して、オブジェクトに関連付けられたバウンディングボックスおよび速度情報、マップデータ、ならびにその他の意味情報(例えば、制限速度、レーン幅、レーン端、停止線、信号機、信号機の状態など)を表すマルチチャネル画像の1つまたは複数のチャネルを生成できる。アクションデータを使用して、第1の車両のターゲットレーン、軌道などを表すマルチチャネル画像の1つまたは複数のチャネル(たとえば、交差点を通過する車両、レーン変更、方向転換などを含むアクションに対応し得る)を生成できる。時間の経過に伴う環境を表す複数の画像を生成し、将来のオブジェクトの可能な位置に関連付けられた予測確率を出力するように構成された予測システムに入力することができる。予測確率を特定の候補アクションに基づいて生成または決定でき、予測確率を評価して、自律車両を制御する候補アクションを選択または決定できる。
密集した都市環境での自動運転は、オブジェクト間の多方向の相互作用を解決するためによく使用される複雑な推論のために、困難である。この推論は時間が重要であり得、絶えず進化し得る。本明細書で説明する技術は運転中のシナリオを対象としており、これは信号のない都市の交差点含み得るが、これに限定されない。これらのジャンクションでは、複数のオブジェクト(車両、歩行者、自転車など)が同じ共有スペースをめぐって競合することが多いため、交差点をうまくナビゲートするためにオブジェクトの意図を予測することが有効である。本明細書で説明する技術は、環境の履歴のいくつかのスナップショットが与えられた場合に、ジャンクションを通り横断するオブジェクトの運転動作を予測することを対象としている。一部の技術は、本明細書で説明するように、意味セグメンテーションスタイルのアプローチを使用して、予測確率(ヒートマップなど)として将来を予測できるディープ畳み込みニューラルネットワーク(CNN)アーキテクチャを公式化する。
いくつかの例では、オブジェクトに関連付けられた予測確率は、異なる一連の操作にわたるガウス分布に限定され得ないが、代わりに、オブジェクトが将来存在する場所の時間の経過とともにインデックス付けされたヒートマップを含み得る(たとえば、任意の分布で)。いくつかの例では、ヒートマップの輝度は、セルまたはピクセルが時間内に指定されたインスタンス(例えば、占有グリッド)にて任意のオブジェクトによって占有される確率を表し得る。いくつかの例では、ヒートマップは、オブジェクトごとの任意の軌道分布と、明示的な操作仕様を使用せずに個別の操作(候補アクションなど)にわたる分布の両方をキャプチャし得る。いくつかの例では、このアプローチは多くの将来のモードを単一のヒートマップに自然に集約する。いくつかの例では、自律車両の意図に関するいくつかの信号を使用して、このマルチモダリティを解決できる。そのような例(例えば、アクションの意図を条件とする場合)では、そのようなヒートマップは、よりしっかりと密集した確率分布を含み得る。
車両(自律車両または自律ロボットなど)が交差点を安全に運転するために、世の中の他のオブジェクトの動作について推論すべきである。図1に関連して以下で論じられる例では、自律車両は交差点を横断し得る。自律車両は、対向するオブジェクトに譲るか否かを推測できる場合、安全にジャンクションを通過できる。いくつかの例では、本明細書で説明する技術は、予測確率(例えば、ヒートマップ)を、自律車両の意図(アクションデータとして表される)に条件づけることを含み得る。ヒートマップを自律車両の意図に条件付けすることにより、本明細書で説明する技術は、予測されるヒートマップのマルチモダリティを最小化することを含むことができる。すなわち、環境内のオブジェクトの予測は、自律車両によって実行することが提案された候補アクションに基づくことができ、そのような予測は、追加のオブジェクトに関して改善された予測を含み得る。機械学習モデルの出力を計画システムで使用して、ヒートマップ出力に基づいてコスト関数を決定し、ヒートマップ出力のコストを最小化する自律車両の最適なアクションを検索できる。
上記のように、技術は、時間の経過とともに環境を表す複数のマルチチャネル画像を生成することを含むことができる。画像または複数の画像を、将来のオブジェクトの可能な位置に関連付けられた予測確率を出力するように構成された予測システム(例えば、機械学習モデル)に入力できる。予測確率は、複数の候補アクションの候補アクションに関連付けることができる。個々の候補アクションを評価し、候補アクションに関連付けられたリスク、コスト、および/またはリワード(reward)を決定でき、候補アクションを、候補アクションの評価に少なくとも部分的に基づいて選択または決定できる。自律車両を、選択または決定された候補アクションに少なくとも部分的に基づいて制御できる。
自律車両によってキャプチャされるセンサデータは、lidarデータ、radarデータ、画像データ、飛行時間データ(time of flight data)、sonarデータなどを含むことができる。いくつかのケースでは、センサデータを、環境内のオブジェクトのタイプ(例えば、車両、歩行者、自転車、動物、駐車中の自動車、樹木、建物など)を決定するように構成される知覚システムに対して提供できる。さらに、知覚システムは、センサデータに基づいて、環境内のオブジェクトに関する動き情報を決定できる。センサデータおよびセンサデータに基づく任意のデータを、環境のトップダウンビューで表すことができる。たとえば、画像は、環境内のオブジェクトの位置、ならびに、オブジェクトの範囲(例えば、オブジェクトの長さおよび幅)およびオブジェクトの分類(例えば、車両、歩行者など)を表す2次元のバウンディングボックスとしてオブジェクトを表すことができる。速度情報などの動き情報は、バウンディングボックスに関連付けられた速度ベクトルとして表すことができるが、他の表現も想定される。
いくつかのケースでは、予測システムに入力される画像は、マルチチャネル画像の個々のチャネルで表すことができ、各チャネルは、オブジェクトおよびオブジェクトが位置する環境に関するさまざまな情報を表す。たとえば、チャネルはセンサデータに基づいて決定、またはそうでなければ、システムで利用可能なマップデータで受信/エンコードされ得る道路ネットワーク情報(例えば、レーン、横断歩道、停止線、レーン仕切り、一時停止標識、交差点、信号機などを示す意味ラベル)、信号機の状態(例えば、赤信号、黄信号、緑信号など)、オブジェクトに関連付けられたバウンディングボックス、x方向およびy方向のオブジェクトの速度、x方向およびy方向のオブジェクトの加速度、オブジェクトの点滅状態(左折、右折、ブレーキ、後進、ハザード、ライトなしなど)など、の1つまたは複数を表し得るが、これらに限定されない。
いくつかの例では、計画システムは自律車両が環境内で実行する1つまたは複数の候補アクションを生成する、またはそうでなければ決定できる。例えば、第1の候補アクションは、現在のレーンに留まることを含み得、一方、第2の候補アクションは、現在のレーンの左または右へのレーン変更を含み得る。別の例として、第3の候補アクションはジャンクションを通り横断することを含み得、一方、第4の候補アクションはジャンクションでの左または右の調整を含み得る。いくつかの例では、候補アクションは、マルチチャネル画像において、強調表示、図解、注釈付け、またはその他の表示として、車両が環境内で辿るターゲットレーンまたは候補軌道を表すことができる。
いくつかの例では、候補アクションは、1つまたは複数のサブゴールに関連付けられ得る。例えば、サブゴールは、目標速度または加速度、平均速度または加速度、最大あるいは最小速度または加速度などの速度情報または加速度情報を含み得る。いくつかの例では、サブゴールは、ステアリング角度、オブジェクトからの距離、基準線からの距離などを含み得るが、これらに限定されない。いくつかの例では、サブゴールは、マルチチャネル画像のチャネルとして表すことができる。
いくつかの例では、複数のチャネルを予測システムに入力して、予測確率を生成できる。いくつかの例では、画像を予測システムに直接入力して(たとえば、画像に基づいて複数のチャネルを生成することなく)、予測確率を生成できる。
いくつかの例では、チャネルの数をより少ないチャネルに減らし得る。非限定的な例として、単純な3チャネル(例えば、RGB)画像を使用して、複数の意味情報を表し得る。そのような例では、例えば、赤のチャネルを使用してバウンディングボックスを示し得、赤の値の輝度は、速度、加速度などに関連付け得る。そのような例では、第2のチャネルは、速度制限などを示す輝度でレーン幅をエンコードし得る。さらに、そのような例では、第3のチャネルは、特定の候補アクションに関連付けられたターゲットレーンを識別することによって候補アクションをエンコードし得る。
いくつかの例では、予測システムは、1つまたは複数の予測軌道を生成するために使用できるデータを出力するようにトレーニングされた機械学習モデルを含むことができる。たとえば、機械学習モデルは、将来の1つまたは複数の時間(例えば、1秒、2秒、3秒など)において、オブジェクト(例えば、サードパーティの車両)に関連付けられた座標(例えば、x座標およびy座標)を出力できる。いくつかの例では、機械学習モデルは、オブジェクトに関連付けられた座標、および各座標に関連付けられた確率情報を出力できる。いくつかの例では、機械学習モデルは、畳み込みニューラルネットワーク(CNN)を含むことができ、これは長短期記憶(LSTM)層などの1つまたは複数のリカレントニューラルネットワーク(RNN)層を含み得るが、これらに限定されない。いくつかの例では、機械学習モデルは予測確率に関連付けられたヒートマップを出力できる。いくつかの例では、少なくとも1つの予測軌道を、ヒートマップに少なくとも部分的に基づいて決定できる。
ヒートマップは、自律車両に近接する環境の個別化された領域を表すことができる。たとえば、ヒートマップは、自律車両の周囲の100メートル×100メートルの領域を表す64x64グリッド(またはJxKサイズのグリッド)を表すことができる。もちろん、ヒートマップは任意のサイズの領域を表すことができ、任意の数の個別の部分の領域を表すことができる。いくつかのケースでは、ヒートマップの一部をヒートマップのセルと呼ぶことができる。各セルは、オブジェクトがヒートマップに対応する時間に環境内の対応する場所にいる確率を表す予測確率を含むことができる。いくつかの例では、機械学習モデルは複数のヒートマップを出力でき、複数のヒートマップのヒートマップは、将来の特定の時間(例えば、0.5秒、1秒、3秒、5秒、10秒など)における環境に関連付けられた確率予測(例えば、オブジェクトおよび/または自律車両)を表すことができる。
いくつかの例では、1つまたは複数のヒートマップを、少なくとも1つの予測軌道の代わりにまたは加えて、計画システムに提供できる。
いくつかの例では、本明細書で説明する技術は、相互作用を考慮して、ツリー検索の解釈可能な限界コストを提示する、1つまたは複数の確率的マップとして可能なシナリオを生成することを含むことができる。いくつかの例では、この技術は、ネットワーク入力を介した自律車両の意図に条件づけること(たとえば、自律車両の軌道を制約することなく、マルチチャネル画像の1つまたは複数のチャネルとして)を含む。さらに、本開示の態様は、自律車両の周囲のオブジェクトならびに自律車両自体の将来の状態を、時間の経過とともに積み重ねられたヒートマップとして予測できる機械学習アルゴリズム(例えば、畳み込みニューラルネットワーク)を含む。上記のように、機械学習モデルから出力されるヒートマップ(または予測確率)は、自律車両の1つまたは複数の候補アクションを条件とすることができる。さらに、技術は、自律車両の意図をゴールおよびサブゴールに個別化することを含むことができ、プランニングシステムが自律車両の最良の(または最適な)候補アクションを検索することを可能にする。さらに、本開示の態様は、自律車両と環境内の他のオブジェクトとの間の異なるタイプの相互作用を示すデータを含む。
本明細書で説明する技術は、いくつかの追加の手段でコンピューティングデバイスの機能を改善できる。いくつかのケースでは、環境と環境内のオブジェクトをトップダウンビューとして表すことは、予測確率を生成することおよび/または候補アクションから選択することを目的として、環境の単純化された表現を表すことができる。いくつかのケースでは、画像は環境の特定の特徴を抽出せずに環境を表すことができ、これは、予測システムの生成およびその後の少なくとも1つの予測軌道の生成が単純化され得る。いくつかのケースでは、予測確率を評価することは、自律車両が環境を横断するためのより正確および/または安全な軌道を、自律車両が生成することを可能にし得る。たとえば、第1の候補アクションに関連付けられた予測確率を評価して、衝突または衝突寸前の可能性を決定でき、環境を安全に横断するために、自律車両が別の候補アクション(例:車線変更、停止など)を選択または決定することを可能にし得る。本明細書に記載の少なくともいくつかの例では、意図されたアクションに加えて環境のトップダウンエンコーディングに基づく条件付け予測が、オブジェクトに関連付けられた確率分布関数の拡大を最小化(改善)し、システムのより安全な意思決定をもたらし得る。コンピュータの機能に対するこれらおよびその他の改善を本明細書で説明する。
本明細書で説明される技術を、いくつかのやり方で実装できる。例示的な実装形態について、以下の図面を参照しながら以下に説明する。自律車両のコンテキストで説明されるが、本明細書で説明される方法、装置、およびシステムは、様々なシステム(例えば、センサシステム、またはロボットプラットフォーム)に適用することができ、自律車両に限定されない。一例において、同様の技術は、そのようなシステムが様々な操作を実行することが安全であるかどうかの指示を提供し得る運転者制御車両において利用され得る。別の例において、技術を、航空もしくは航海のコンテキストにおいて、またはシステムに対して知られていない動作に関連付けられ得るオブジェクトもしくはエンティティを含む任意のシステムにおいて、利用できる。さらに、センサデータは、画像データ(例えば、ステレオカメラ、飛行時間データ(time-of-flight data)など)、lidarデータ、radarデータ、sonarデータなどのような任意の2次元、3次元、または多次元データを含むことができる。加えて、本明細書で説明される技術は、実データ(例えば、センサを使用してキャプチャされた)、シミュレートデータ(例えば、シミュレータによって生成された)、またはその2つの任意の組合せで使用できる。
図1は、開示の例による、オブジェクトデータおよびアクションデータを受信し、環境を表すマルチチャネル画像を機械学習モデルに入力し、オブジェクトデータおよびアクションデータに基づく予測確率を受信するための例示的なプロセス100の挿絵付きフロー図である。
操作102において、プロセスは、環境内のオブジェクトを表すオブジェクトデータを受信することを含むことができる。いくつかの例では、オブジェクトデータを、自律車両の知覚システムから受信できる。例えば、オブジェクトデータは、環境、速度および/または加速度情報、分類情報などに関連付けられた1つまたは複数のバウンディングボックスを含むことができるが、これに限定されない。いくつかの例では、操作102は、環境のセンサデータをキャプチャすることを含むことができる。いくつかの例では、センサデータを、自律車両の1つまたは複数のセンサによってキャプチャできる。例えば、センサデータは、lidarセンサ、radarセンサ、画像センサ、飛行時間センサ(time of flight sensor)、sonarセンサなどのうちの1つまたは複数によってキャプチャされるデータを含むことができる。少なくともいくつかの例では、追加の環境データ(例えば、レーン、基準線、横断歩道、交通デバイスおよび/または標識などの部分をエンコードする環境のマップデータ)を受信し得る。
例104は、自律車両106が環境を横断している環境を示している。いくつかの例では、自律車両106はプロセス100の操作を実行でき、これは環境のセンサデータをキャプチャすることを含むことができる。説明を目的として、センサデータをキャプチャする(または利用する)車両は、ドライバー(または乗員)の車両の常時制御を期待せず、全体行程の全ての安全上重要な機能を実行可能な車両について説明する米国国家高速道路交通安全局が発行するレベル5分類に従って操作するように構成された自律車両とすることができる。このような例では、全ての駐車機能を含む開始から停止までの全ての機能を制御するように、車両を構成できるので、無人化できる。これは単なる例であり、本明細書で説明するシステムおよび方法は、ドライバーが常に手動で制御する必要がある車両から、部分的または完全に自律的に制御されているものまでを含む任意の地上、空中、または水上車両に組み込むことができる。車両に関連付けられた追加の詳細は、本開示全体を通して説明される。
オブジェクト108も環境内に配置されている。いくつかの例では、オブジェクト108は、車両、歩行者、自転車、動物などを表すことができる。例104に示される環境は、運転可能領域および運転不可能領域を含むことができる。いくつかの例では、操作102は、環境内の自律車両106を位置推定すること、および、環境に関連付けられたマップデータにアクセスすることを含むことができる。たとえば、マップデータは、レーン標示、レーン境界、1つまたは複数のレーン参照110(たとえば、レーンに関連付けられた中心線および/または利用可能な(たとえば、合法的な)レーン間のルートを示す)などのマップ要素を含むことができる。マップ要素の追加の例は、1つまたは複数のレーン要素、自転車専用レーン要素、横断歩道要素、交差要素、レーン分割要素、信号機要素、一時停止の標識要素、停止線要素、譲歩記号要素、譲歩線要素、駐車レーン要素、ドライブウェイ要素、スピードバンプ要素、ジョイウォーキング領域(仮想横断歩道など)、軌道の通過点(既知の軌道など)、乗客のピックアップポイント、標識位置要素、ジオフェンス要素などを含むことができるが、これらに限定されない。
いくつかの例では、操作102でキャプチャされたセンサデータを使用して、オブジェクト108に関する情報、限定ではないがオブジェクトのタイプ(例えば、車両、歩行者、自転車、動物などのオブジェクトの分類を示す意味情報)を含む、を決定できる。いくつかの例では、操作102は、本明細書で説明されるように、オブジェクト108のタイプ、オブジェクト108に関連付けられたバウンディングボックス、および/またはオブジェクトに関連付けられた動き情報を決定することを含むことができる。
操作112において、プロセスは、環境内の自律車両の候補アクションに関連付けられたアクションデータを受信することを含むことができる。例114は、候補アクション116(例えば、譲歩アクションなどの第1の候補アクション)および候補アクション118(例えば、「交差点を通過する」アクションなどの第2の候補アクション)を示す。
すなわち、候補アクション116は、自律車両106の計画システムからの、オブジェクト108に譲歩し、オブジェクト108が交差点を通り横断するまで交差点を通り横断することを控えるという指示(または、一定期間の経過などの一部の他のトリガー)を含むことができる。
候補アクション118は、オブジェクト108がジャンクションを横断することを可能にする前に、例104に示されるジャンクションを横断することを含むことができる。
いくつかの例では、アクションデータはさまざまなやり方で表すことができる。いくつかの例では、例104は、アクションデータを現在のレーン120およびターゲットレーン122として示している。いくつかの例では、本明細書で説明されるように、候補アクション116および118に関連付けられた情報は、現在のレーン120および/またはターゲットレーン122、ならびに、速度プロファイルおよび/または加速度プロファイル(例えば、サブゴール)、を介して表すことができる。
操作124において、プロセスは、環境のトップダウンビューを表すマルチチャネル画像を機械学習モデルに入力することを含むことができ、マルチチャネル画像はオブジェクトデータおよびアクションデータに基づいている。そのようなマルチチャネル画像の例は、例126および128に示されている。
例126は、第1の候補アクション116に関連付けられた第1のマルチチャネル画像を表す。例えば、例126は、第1のチャネル132、第2のチャネル134、および第3のチャネル136を含む。いくつかの例では、第1のチャネル132は、環境内の自律車両106および/またはオブジェクト108のバウンディングボックス、位置、範囲(例えば、長さおよび幅)などを表すことができる。いくつかの例では、第2のチャネル134は、候補アクション116に関連付けられたアクションデータを表すことができる。例えば、第2のチャネル134は、候補アクション116に関連付けられた現在のレーン120および/またはターゲットレーン122を示すことができる。いくつかの例では、第3のチャネル136は、追加のアクションデータを表すことができ、このケースでは、候補アクション116を実施する自律車両106に関連付けられた速度情報140(例えば、V1)に対応する。いくつかの例では、速度情報140は、瞬間速度、平均速度などを含むことができる。例えば、候補アクション116が譲歩行動を示すところでは、速度情報140は比較的低い速度を表すことができる(または、自律車両106がオブジェクト108に譲歩する間の停止速度を表すことができる)。速度のコンテキストで説明しているが、速度情報140は、加速度(たとえば、アクション全体の平均、アクションに関連付けられた最大加速度など)、ステアリング角度、基準線または障害物からの距離などに関連付けられた情報を表すことができる。
例128は、第2の候補アクション118に関連付けられた第2のマルチチャネル画像を表す。いくつかの例では、例128のいくつかの態様は、例126のいくつかの態様と等しくすることができる。例えば、例128は、第1のチャネル132、第2のチャネル134、および第3のチャネル142を含むことができる。いくつかの例では、第3のチャネルは、第2の候補アクション118に関連付けられ得る速度情報144を含むことができる。例えば、第2の候補アクション118がオブジェクト108の前に交差点を通り横断する自律車両106を表し得るところでは、速度情報144(例えば、V2)は、第1の候補アクション116に関連付けられた第2の速度情報140よりも高い平均速度(または速度プロファイル)を表し得る。上記のように、速度のコンテキストで説明しているが、速度情報144は、加速度(たとえば、アクション全体の平均、アクションに関連付けられた最大加速度など)、ステアリング角度、基準線または障害物からの距離などに関連付けられた情報を表すことができる。
もちろん、例128は、第2の候補アクション118が第1の候補アクション116とは異なる位置を表す場合(たとえば、第1の候補アクション116が直進を表し、第2の候補アクション118が左または右折を表す場合)、第2のチャネル134で表されるアクションデータとは異なるアクションデータを含み得る。
いくつかの例では、自律車両106の意図をエンコード(例えば、チャネル134を介して)することを、自律車両106の正確な軌道を指定することなく、部分的な将来の情報として提供できる。いくつかの例では、1)入口レーン(例えば、現在のレーン120)と出口レーン(例えば、ターゲットレーン122)をペイントする、またはそうでなければ示すことによって、2)高いおよび低い将来の平均加速度ならびに速度を(例えば、チャネル136および/または142として)示す個別のブロブ(blob)を提供することによって、意図をエンコードすることができる。
上記の第1の意図信号(例えば、第2のチャネル134)は、特定の候補アクションに関連付けられたターゲットレーン122を使用する。ターゲットレーン122を提供することにより、技術は、自律車両106に関連付けられた計画された軌道に基づくものを優先して、各ジャンクション出口に対するようなマルチモーダル出力を削除できる。
上記の第2の意図(例えば、チャネル136および142)は、サブゴールを示し、自律車両106の意図された速度および/または加速度プロファイルを含み得る。いくつかのケースでは、このサブゴールの意図は、指定された予測地平までの将来の自律車両106の平均加速度の個別化された値を提供する。いくつかのケースでは、サブゴールの意図は、自律車両が近い将来に何をするかを示している。たとえば、急な減速は、自律車両が一部の他のオブジェクトのためにブレーキすることを意味する。急な加速は、オブジェクトがジャンクションを通過するためにスピードを上げていることを意味する。同様の意図はまた、自律車両106の速度次元に適用される。意図はマルチモーダル出力を削除するように設計されているが、同時に、自律車両106および/またはオブジェクト108の出力を単一の軌道に制約しない。
理解できるように、例126および128は、環境内の様々な時点での環境を表す複数のマルチチャネル画像を含むことができる。例えば、例126および/または128は、自律車両106およびオブジェクト108(および歩行者や車両などの他のオブジェクト)の履歴を、過去4秒間にわたって0.5秒間隔で表すことができるが、任意の数のインスタンスおよび期間を使用して環境を表すことができる。
いくつかの例では、例126および/または128は、最新の時間ステップ(例えば、時間t0)および/または経時的(例えば、時間t-mから時間t0)な方向指示器、ブレーキライト、ハザードライトなどの補助入力を表すチャネルを含むことができる。追加のチャネルは、自律車両106および/またはオブジェクト108の運動学的情報(運動学的データ、モーション情報、またはモーションデータとも呼ばれる)(たとえば、一定期間の平均速度または加速度、前の時点での瞬間速度または加速度、ホイール角度、ターン速度、ヨー、ピッチ、ロールなど)、意味情報(例えば、車両分類、ターンシグナルインジケータ、ブレーキライトインジケータ、二重駐車車両表示など)、閉塞グリッド(例えば、自律車両106の1つまたは複数のセンサから不可視の環境のエリア、または閉塞すると予測されるエリアなどを示す)などを含み得るが、これらに限定されない。
理解できるように、操作124は、本明細書で説明されるように、マルチチャネル画像を生成または決定することを含むことができる。マルチチャネル画像の生成または決定の例は、「Trajectory Prediction on Top-Down Scenes」と題され、2018年10月4日に出願された米国特許出願番号16/151,607に関連して説明されている。米国特許出願番号16/151,607は、その全体が参照によって本明細書に組み込まれている。
操作146にて、プロセスは、機械学習モデルから、およびマルチチャネル画像に基づいて、オブジェクトおよび/または自律車両に関連付けられた予測確率を受信することを含むことができる。理解できるように、マルチチャネル画像は本明細書で論じられるように、アクションデータに基づくことができるので、予測確率はアクションデータに基づくことができる。
例148および150はそれぞれ機械学習モデルの出力を示しています。いくつかの例では、例148および150は、オブジェクト108がそれぞれのヒートマップに対応する時間におよびそれぞれの候補アクションに基づいて、環境内の対応する位置にいるであろう確率を示す予測確率を表す(例えば、環境のトップダウンの観点から)ことができるヒートマップを含む。すなわち、つまり、例148は、時間t0の後の時間t1Aを表すことができ、「A」の指定は第1の候補アクション116に対応する。例150は、時間t0の後の時間t1Bを表すことができ、「B」指定は第2の候補アクション118に対応する。例148および150は、将来の自律車両106および/またはオブジェクト108のヒートマップおよび/または予測確率を表すことができる。もちろん、ヒートマップの例148および150は、任意の期間における予測確率を表すことができ、本明細書で説明されるエクスプレス時間に限定されない。
例148は、予測確率152、154、156、および156を表す。いくつかの例では、予測確率152および154は、第1の候補アクション116を実行する自律車両106に少なくとも部分的に基づく、環境内のオブジェクト108の可能な位置を表す。予測確率156および158は、アクションデータ(たとえば、チャネル134および136)を条件とする自律車両106の可能な位置を表す。
例150は、予測確率160、162、および164を表します。いくつかの例では、予測確率160は、第2の候補アクション118を実行する自律車両106に少なくとも部分的に基づく、環境内のオブジェクト108の可能な位置を表す。予測確率162および164は、アクションデータ(たとえば、チャネル134および142)を条件とする自律車両106の可能な位置を表す。
さらに、プロセス100は、候補アクションを評価すること、および/または候補アクションに少なくとも部分的に基づいて自律車両106を制御することを含むことができる。例えば、プロセス100は、自律車両106を表すバウンディングボックスの重複の量と、オブジェクト108に関連付けられた予測確率と、を決定することを含むことができる。いくつかの例では、プロセスは、自律車両106の候補軌道を評価して、予測される将来の動きと予測確率156、158、162、および/または164との間の重複を決定することを含むことができる。
図2Aは、本明細書に記載の技術を実施するための例示的なシステム200のブロック図を示している。少なくとも1つの例では、システム200は、車両202を含むことができる。
車両202は、1つまたは複数の車両コンピューティングデバイス204(1つの車両コンピューティングデバイス204または複数の車両コンピューティングデバイス204とも呼ばれる)、1つまたは複数のセンサシステム206、1つまたは複数のエミッタ208、1つまたは複数の通信接続部210、少なくとも1つの直接接続部212、および1つまたは複数のドライブシステム214を含むことができる。
車両コンピューティングデバイス204は、1つまたは複数のプロセッサ216および1つまたは複数のプロセッサ216と通信可能に結合されたメモリ218を含むことができる。図示の例では、車両202は自律車両であるが、車両202は任意の他のタイプの車両とすることができる。図示の例では、車両コンピューティングデバイス204のメモリ218は、位置推定コンポーネント220、知覚コンポーネント222、1つまたは複数のマップ224、1つまたは複数のシステムコントローラ226、画像生成コンポーネント230および機械学習コンポーネント232を含む予測コンポーネント228、および軌道生成コンポーネント236および評価コンポーネント238を含む計画コンポーネント234を格納する。例示の目的でメモリ218に存在するものとして図2に示されているが、位置推定コンポーネント220、知覚コンポーネント222、1つまたは複数のマップ224、1つまたは複数のシステムコントローラ226、予測コンポーネント228、画像生成コンポーネント230、機械学習コンポーネント232、計画コンポーネント234、軌道生成コンポーネント236、および評価コンポーネント238は、追加的に、または代替的に、車両202(例えば、遠隔に格納された)にアクセス可能であり得ることが企図されている。
少なくとも1つの例では、位置推定コンポーネント220は、センサシステム206からデータを受信して、車両202の位置および/または方向(例えば、1つまたは複数のx、y、z位置、ロール、ピッチ、またはヨー)を決定する機能を含むことができる。例えば、位置推定コンポーネント220は、環境のマップを含み、および/または要求/受信でき、マップ内の自律車両の位置および/または方向を継続的に決定できる。いくつかの例では、位置推定コンポーネント220は、SLAM(同時位置推定およびマッピング)、CLAMS(較正、位置推定およびマッピングを同時に)、相対SLAM、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、LIDARデータ、radarデータ、IMUデータ、GPSデータ、ホイールエンコーダデータなどを受信し、自律車両の位置を正確に決定できる。いくつかの例では、位置推定コンポーネント220は、本明細書で説明するように、車両202の様々なコンポーネントにデータを提供し、軌道を生成するための、および/またはマップデータを生成もしくは受信するための自律車両の初期位置を決定できる。
いくつかの例では、知覚コンポーネント222は、オブジェクトの検出、セグメンテーション、および/または分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント222は、車両202に近接するエンティティの存在および/またはエンティティタイプ(例えば、自動車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、不明など)としてのエンティティの分類を示す処理済みセンサデータを提供できる。追加または代替の例では、知覚コンポーネント222は、検出されたエンティティ(例えば、追跡されたオブジェクト)に、および/またはエンティティが位置している環境に関連付けられた1つまたは複数の特性を示す処理されたセンサデータを提供できる。いくつかの例では、エンティティに関連付けられた特性は、x位置(グローバルおよび/またはローカル位置)、y位置(グローバルおよび/またはローカル位置)、z位置(グローバルおよび/またはローカル位置)、方向(たとえば、ロール、ピッチ、ヨー)、エンティティタイプ(たとえば、分類)、エンティティの速度、エンティティの加速度、エンティティの範囲(サイズ)などを含むことができるが、これらに限定されない。環境に関連付けられた特性は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇/光の表示などを含むことができるが、これらに限定されない。
メモリ218は、環境内でナビゲートするために車両202によって使用できる1つまたは複数のマップ224をさらに含むことができる。この説明を目的として、マップは、これらに限定されないが、トポロジー(交差点など)、車道、山脈、道路、地形、および一般的な環境などの環境についての情報を提供することが可能である、2次元、3次元、またはN次元でモデル化された任意の数のデータ構造とすることができる。いくつかの例では、マップは、テクスチャ情報(例えば、色情報(例えば、RGB色情報、ラボ色情報、HSV/HSL色情報)など)、強度情報(例えば、LIDAR情報、RADAR情報など)、空間情報(たとえば、メッシュに投影された画像データ、個々の「サーフェル」(たとえば、個々の色および/または強度に関連付けられたポリゴン))、および反射率情報(例えば、鏡面反射率情報、再帰反射率情報、BRDF情報、BSSRDF情報など)を、含むことができるが、これらに限定されない。一例では、マップは環境の3次元メッシュを含むことができる。いくつかの例では、マップの個々のタイルが環境の個別の部分を表すように、マップをタイルフォーマットで格納でき、本明細書で説明するように、必要に応じて作業メモリにロードできる。少なくとも1つの例では、1つまたは複数のマップ224は、少なくとも1つのマップ(例えば、画像および/またはメッシュ)を含むことができる。いくつかの例では、車両202はマップ224に少なくとも部分的に基づいて制御できる。すなわち、マップ224を、位置推定コンポーネント220、知覚コンポーネント222、予測コンポーネント228、および/または計画コンポーネント234に関連して使用し、車両202の位置を決定し、環境内のオブジェクトを識別し、オブジェクトおよび/または車両202に関連付けられた予測確率を生成し、および/または環境内をナビゲートするためのルートおよび/または軌道を生成できる。
いくつかの例では、1つまたは複数のマップ224は、ネットワーク240を介してアクセス可能なリモートコンピューティングデバイス(コンピューティングデバイス242など)に格納できる。いくつかの例では、複数のマップ224は、例えば、特性(例えば、エンティティタイプ、時刻、曜日、季節など)に基づいて格納できる。複数のマップ224を格納することは同様のメモリ要件を有することができるが、マップ内のデータにアクセスできる速度を増加させる。
少なくとも1つの例示において、車両コンピューティングデバイス204は、1つまたは複数のシステムコントローラ226を含むことができ、これは、車両202のステアリング、推進、ブレーキ、安全性、エミッタ、通信、およびその他のシステムを制御するよう構成できる。これらのシステムコントローラ226は、ドライブシステム214の対応するシステムおよび/または車両202の他のコンポーネントと通信および/または制御できる。
概して、予測コンポーネント228は、環境内のオブジェクトの予測された軌道を生成できる。例えば、予測コンポーネント228は、車両202からの閾値距離内で、車両、歩行者、動物などの1つまたは複数の予測軌道を生成できる。いくつかの例では、予測コンポーネント228は、オブジェクトのトレースを測定し、観察および予測された動作に基づいてオブジェクトの軌道を生成できる。
いくつかの例では、画像生成コンポーネント230は、シーンのトップダウンビューを表す画像を生成する機能を含むことができる。画像生成コンポーネント230によって生成されたそのような画像の例は、例104、126、および128として図1に示されている。
いくつかの例では、画像生成コンポーネント230は、車両202の周りのエリアを表す画像を生成できる。いくつかの例では、エリアは、センサから可視のエリア(例えば、センサ範囲)、後退地平線(a receding horizon)、アクション(例えば、交差点を横断する)に関連付けられたエリアなどに少なくとも部分的に基づくことができる。いくつかの例では、画像は、車両202の周りの100メートル×100メートルのエリアを表し得るが、任意のエリアが企図される。画像生成コンポーネント230は、知覚コンポーネント222から環境内のオブジェクトに関するデータを受信でき、位置推定コンポーネント220、知覚コンポーネント222、および1つまたは複数のマップ224から環境自体に関するデータを受信できる。画像生成コンポーネント230は、環境内のオブジェクト(たとえば、本明細書で説明するように、バウンディングボックスで表される)、オブジェクトに関する意味情報(例えば、分類タイプ)、動き情報(例えば、速度情報、加速度情報など)などを含む環境のトップダウンビューを生成できる。画像生成コンポーネント230は、オブジェクトおよび環境の様々な属性を表す画像内に画像要素(例えば、記号または他の表現)をさらに生成することができ、1つまたは複数の速度ベクトル、1つまたは複数の加速度ベクトル、照明インジケータ(たとえば、それぞれのインジケーターステータスとして表される、オブジェクトのブレーキライト、オブジェクトのターンシグナルライトなど)、信号機情報(信号機の状態など)、レーン情報(たとえば、レーンが左折専用レーンであるか、右折専用レーンであるかなど)、などを含むが、これらに限定されない。
さらに、画像生成コンポーネント230は、本明細書で説明されるように、アクションデータを含む1つまたは複数のチャネルを生成できる。例えば、アクションデータは、候補アクションに関連付けられた現在のレーンおよび/またはターゲットレーンを識別することを含むことができる。
いくつかの例では、画像生成コンポーネント230は、本明細書で詳細に説明されるように、環境の意味情報を含む1つまたは複数の画像を生成できる。
いくつかの例では、画像生成コンポーネント230は、環境内のオブジェクトのトレースを表す1つまたは複数の画像を生成できる。画像生成コンポーネント230によって生成された画像は、本明細書で説明されるように、予測確率で生成するために使用できる環境および環境内のオブジェクトの状態に関する事前情報を表すことができる。
本明細書で説明される例のいずれかにおいて、画像生成コンポーネント230は、複数のチャネルを有する画像を生成し得、各チャネルは、いくつかの情報(意味的またはその他の)を表す。
いくつかの例では、機械学習コンポーネント232(機械学習モデルコンポーネント232とも呼ばれる)は、本明細書で説明されるように、画像生成コンポーネント230によって生成された画像を受信する、および予測確率を含む1つまたは複数のヒートマップを生成する機能を含むことができる。
いくつかの例では、機械学習コンポーネント232は、モデルに入力されたトップダウン画像に基づいて1つまたは複数のヒートマップを出力するようにトレーニングされた1つまたは複数の機械学習モデルを含むことができる。いくつかの例では、機械学習コンポーネント232は、畳み込みニューラルネットワーク(CNN)を含むことができ、これは、1つまたは複数のリカレントニューラルネットワーク(RNN)層、例えば、長短期記憶(LSTM)層、を含んでもよい、または含まなくてもよい。
いくつかの例では、機械学習コンポーネント232によって出力されたヒートマップは、自律車両に近接する環境の個別化された領域を表すことができる。たとえば、ヒートマップは、自律車両の周囲の100メートル×100メートルの領域を表す64x64グリッド(またはJxKサイズのグリッド)を表すことができる。いくつかの例では、ヒートマップによって表されるエリアは、機械学習コンポーネント232に入力された画像によって表されるエリアに対応できる。もちろん、ヒートマップは任意のサイズの領域を表すことができ、任意の数の個別の部分の領域を表すことができる。いくつかのケースでは、ヒートマップの一部をヒートマップのセルと呼ぶことができる。各セルは、オブジェクトがヒートマップに対応する時間において、環境内の対応する位置にいる確率を表す予測確率を含むことができる。いくつかの例では、機械学習モデルは複数のヒートマップを出力でき、複数のヒートマップのヒートマップは、将来の特定の時間(例えば、0.5秒、1秒、3秒、5秒、10秒など)におけるオブジェクトに関連付けられた確率予測を表すことができる。
いくつかの例では、機械学習コンポーネント232を、任意の数の入力画像に基づいて任意の数のヒートマップを生成するようにトレーニングできる。例えば、機械学習コンポーネント232は、N個の入力画像を受信でき、M個のヒートマップを出力できる。
一般に、計画コンポーネント234は環境を通り横断するために車両202が辿る経路を決定できる。
いくつかの例では、軌道生成コンポーネント236は、様々なルートおよび軌道ならびに様々な詳細レベルを決定する機能を含むことができる。例えば、軌道生成コンポーネント236は、第1の位置(例えば、現在の位置)から第2の位置(例えば、ターゲット位置)へ進行するルートを決定できる。本説明を目的に、ルートは2つの位置の間を走行するための一連の通過点にできる。非限定的な例として、通過点は、道路、交差点、全地球測位システム(GPS)座標などを含む。さらに、軌道生成コンポーネント236は、第1の位置から第2の位置への経路の少なくとも一部に沿って自律車両をガイドするための命令を生成できる。少なくとも1つの例では、軌道生成コンポーネント236は一連の通過点内の第1の通過点から一連の通過点の第2の通過点まで自律車両をどのようにガイドするかを決定できる。いくつかの例では、命令は軌道または軌道の一部とすることができる。いくつかの例では、receding horizon技術に従って、複数の軌道を実質的に同時に(例えば、技術的許容範囲内で)生成でき、複数の軌道のうちの1つが車両202の走行ために選択される。
いくつかの例では、評価コンポーネント238は、1つまたは複数の候補アクションおよび/または候補軌道を評価する機能を含むことができる。例えば、各アクションに関連付けられた予測確率を含むヒートマップの各セットについて、評価コンポーネント238は、1つまたは複数のコスト、リスクの量、および/またはリワード(reward)を決定できる。いくつかの例では、評価コンポーネント238は、車両202の候補位置と、環境内のオブジェクトに関連付けられた予測確率との間の重複の量を決定できる。いくつかの例では、評価コンポーネント238は、車両202の表現(例えば、バウンディングボックスまたは拡張バウンディングボックス)と、オブジェクトに関連付けられた予測確率および/または拡張予測確率との間の距離を決定できる。少なくともいくつかの例では、そのような拡張(入力としてのバウンディングボックスへの、または出力される予測確率への)は、将来のオブジェクトのおそらくの位置の周りの領域を人為的に増やすために、安全要素に基づき得る。いくつかの例では、評価コンポーネント238は、車両202の軌道が、車両202に関連付けられた予測確率(拡張された予測確率を含み得る)に関連付けられた領域を通り横断するかどうかを決定できる。評価コンポーネント238は、将来の個々のタイムステップで、および/または候補アクションに関連付けられた一部のまたは全てのタイムステップについて累積的に、コスト、リスク、および/またはリワード(reward)を決定できる。したがって、評価コンポーネント238は、異なる候補アクションのコスト、リスク、および/またはリワード(reward)を比較でき、車両を制御するためのアクションを選択できる。
候補アクションの評価の例は、「Probabilistic Risk Assessment for Trajectory Evaluation」と題され、2018年11月30日に出願された米国特許出願番号16/206,877に関連して説明される。米国特許出願第16/206,877号は、その全体が参照によって本明細書に組み込まれている。
評価コンポーネント238によって考慮されるべき追加のコストは、位置ベースのコスト(例えば、車両202に関連付けられた予測確率とオブジェクトとの間の距離に基づく)、速度コスト(たとえば、予測確率に関連付けられた領域を通り横断する間の速度を適用することに基づく)、加速度コスト(例えば、軌道候補アクション全体に加速度限界を適用する)、オブジェクトが道路の規則に従い得るという期待などを含むことができるが、これらに限定されない。
いくつかの例では、機械学習コンポーネント232は、ヒートマップを計画コンポーネント234に直接提供でき、次に、車両202が実行するアクションを選択または決定でき、および/または車両202が辿る軌道を生成できる。
いくつかの例では、本明細書で説明されるコンポーネントの一部または全ての態様は、任意のモデル、アルゴリズム、および/または機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、メモリ218(および以下で説明されるメモリ246)の中のコンポーネントをニューラルネットワークとして実装できる。
本明細書で説明されるように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成する生物学的に着想を得たアルゴリズムである。ニューラルネットワークの各層は別のニューラルネットワークを含むことができ、または任意の数の層を含むことができる(畳み込みかどうかに関係なく)。本開示のコンテキストで理解できるように、ニューラルネットワークは、機械学習を利用でき、これは、学習されたパラメータに基づいて出力が生成されるそのようなアルゴリズムの広範囲のクラスを指すことができる。
ニューラルネットワークのコンテキストで説明したが、任意のタイプの機械学習を本開示と一致させて使用できる。例えば、機械学習アルゴリズムは、回帰アルゴリズム(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン(MARS)、局所的に推定されたスカープロット平滑化(LOESS))、インスタンスベースのアルゴリズム(例えば、リッジ回帰、最小絶対収縮および選択演算子(LASSO)、弾性ネット、最小角度回帰(LARS))、決定木アルゴリズム(例えば、分類および回帰木(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定切り株、条件付き決定木))、ベイジアンアルゴリズム(例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均1依存推定量(AODE)、ベイジアン信念ネットワーク(BNN)、ベイジアンネットワーク)、クラスタリングアルゴリズム(例えば、k平均、k中央値、期待値最大化(EM)、階層的クラスタリング)、相関ルール学習アルゴリズム(例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、ディープラーニングアルゴリズム(例えばディープボルツマンマシン(DBM)、ディープブリーフネットワーク(DBN)、重畳型ニューラルネットワーク(CNN)、スタック・オートエンコーダ)、次元数削減アルゴリズム(例えば主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップ集計(バギング)、アダブースト、スタック一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースティング回帰ツリー(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師あり学習、教師なし学習、半教師あり学習などの方法を含むことができるが、これらに限定されない。
アーキテクチャの追加の例は、ResNet50、ResNet101、VGG、DenseNet、PointNetなどのニューラルネットワークを含む。
少なくとも1つの例では、センサシステム206は、lidarセンサ、radarセンサ、超音波トランスデューサー、sonarセンサ、位置センサ(例えば、GPS、コンパスなど)、慣性センサ(例えば、慣性測定ユニット(IMUs)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えばRGB、IR、強度、深度など)、飛行時間センサ(time of flight sensor)、マイク、ホイールエンコーダ、環境センサ(例えば温度センサ、湿度センサ、光センサ、圧力センサなど)など、を含むことができる。センサシステム206は、これらまたは他のタイプのセンサのそれぞれの複数のインスタンスを含むことができる。例えば、lidarセンサは、車両202の角部、前部、後部、側部、および/または上部に位置する個々のlidarセンサを含むことができる。別の例として、カメラセンサは、車両202の外部および/または内部の周りの様々な位置に配置された複数のカメラを含むことができる。センサシステム206は車両コンピューティングデバイス204に入力を提供できる。追加的または代替的に、センサシステム206は、所定の期間が経過した後、ほぼ実時間で、特定の周波数にて1つまたは複数のコンピューティングデバイスに、1つまたは複数のネットワーク240を介して、センサデータを送信できる。
車両202はまた、上記のように、光および/または音を放出するための1つまたは複数のエミッタ208を含むことができる。この例示のエミッタ208は車両202の乗客と通信する内部オーディオおよびビジュアルエミッタを含む。限定ではなく例として、内部エミッタは、スピーカー、光、記号、ディスプレイ画面、タッチ画面、触覚エミッタ(例えば、振動および/またはフォースフィードバック)、機械的アクチュエータ(例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど)などを含むことができる。この例示のエミッタ208はまた外部エミッタを含む。限定ではなく例として、この例示の外部エミッタは、走行の方向または車両のアクションの他のインジケータ(例えば、インジケータライト、標識、ライトアレイなど)を信号で送るためのライト、および音響ビームステアリング技術を備える、1つまたは複数の歩行者または他の近くの車両と音声で通信するための1つまたは複数のオーディオエミッタ(例えば、スピーカー、スピーカーアレイ、ホーンなど)を含む。
車両202はまた、車両202と1つまたは複数の他のローカルもしくはリモートコンピューティングデバイスとの間の通信を可能にする1つまたは複数の通信接続部210を含むことができる。例えば、通信接続部210は車両202および/またはドライブシステム214上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続部210は、車両が他の近くのコンピューティングデバイス(例えば、他の近くの車両、交通信号など)と通信することを可能にできる。通信接続部210はまた、車両202が遠隔操作コンピューティングデバイスまたは他の遠隔サービスと通信することを可能にする。
通信接続部210は、車両コンピューティングデバイス204を別のコンピューティングデバイスまたはネットワーク240などのネットワークに接続するための物理的および/または論理的インターフェースを含むことができる。例えば、通信接続部210は、IEEE802.11規格によって定義された周波数を介するようなWi-Fiベースの通信、Bluetoothなどの短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4G LTE、5Gなど)、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能にする任意の適切な有線または無線通信プロトコルを可能にできる。
少なくとも1つの例では、車両202は、1つまたは複数のドライブシステム214を含むことができる。いくつかの例では、車両202は、単一のドライブシステム214を有することができる。少なくとも1つの例では、車両202が複数のドライブシステム214を有する場合、個々のドライブシステム214を車両202の両端部(例えば前部および後部など)に配置できる。少なくとも1つの例では、ドライブシステム214はドライブシステム214および/または車両202の周囲の状態を検出するための1つまたは複数のセンサシステムを含むことができる。限定ではなく例として、センサシステムは、ドライブシステムのホイールの回転を感知するための1つまたは複数のホイールエンコーダ(例えば、ロータリーエンコーダ)、ドライブシステムの方向および加速度を測定するための慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたはその他の画像センサ、ドライブシステムの周囲のオブジェクトを音響的に検出するための超音波センサ、lidarセンサ、radarセンサなど、を含むことができる。一部のセンサ、ホイールエンコーダなど、はドライブシステム214に固有とすることができる。いくつかのケースでは、ドライブシステム214上のセンサシステムは車両202の対応するシステム(例えば、センサシステム206)と重複または補足できる。
ドライブシステム214は、高電圧バッテリー、車両を推進するモーター、バッテリーからの直流を他の車両システムで使用する交流に変換するインバーター、ステアリングモーターおよびステアリングラック(電動とすることができる)を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および/または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、HVACシステム、照明(例えば車両の外部環境を照らすヘッド/テールライトなどの照明)、および1つまたは複数の他のシステム(例えば冷却システム、安全システム、車載充電システム、DC/DCコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電装コンポーネント)を含む多くの車両システムを含むことができる。さらに、ドライブシステム214は、センサシステムからデータを受信および前処理し、様々な車両システムの操作を制御することができるドライブシステムコントローラを含むことができる。いくつかの例では、ドライブシステムコントローラは、1つまたは複数のプロセッサおよび1つまたは複数のプロセッサと通信可能に結合されたメモリを含むことができる。メモリはドライブシステム214の様々な機能を実行する1つまたは複数のコンポーネントを格納できる。さらに、ドライブシステム214はまた、それぞれのドライブシステムによる1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする1つまたは複数の通信接続部を含む。
少なくとも1つの例では、直接接続部212は1つまたは複数のドライブシステム214を車両202の本体と結合するための物理的インターフェースを提供できる。例えば、直接接続部212は、ドライブシステム214と車両との間のエネルギー、流体、空気、データなどの転送を可能にすることができる。いくつかの例では、直接接続部212はさらにドライブシステム214を車両202の本体に着脱可能に固定できる。
いくつかの例では、車両202はネットワーク240を介してセンサデータを1つまたは複数のコンピューティングデバイス242に送信できる。いくつかの例では、車両202は未処理のセンサデータをコンピューティングデバイス242に送信できる。他の例では、車両202は処理済みセンサデータおよび/またはセンサデータの表現をコンピューティングデバイス242に送信できる。いくつかの例では、車両202は、所定の期間の経過後、ほぼ実時間などで、特定の周波数でセンサデータをコンピューティングデバイス242に送信できる。いくつかの例では、車両202はセンサデータ(未処理または処理済み)を1つまたは複数のログファイルとしてコンピューティングデバイス242に送信できる。
コンピューティングデバイス242は、プロセッサ244およびトレーニングコンポーネント248を格納するメモリ246を含むことができる。
いくつかの例では、トレーニングコンポーネント248は、予測確率を含む1つまたは複数のヒートマップを出力するように機械学習モデルをトレーニングする機能を含むことができる。例えば、トレーニングコンポーネント248は、環境のトップダウンビューを表す画像のセットを受信できる。いくつかのケースでは、画像のセットは、5秒、7秒、10秒、20秒などの期間にわたって環境を通り横断するオブジェクトを表すことができる。画像のセットの少なくとも一部は、機械学習モデルをトレーニングするための入力として使用でき、画像のセットの少なくとも一部は、機械学習モデルをトレーニングするためのグラウンドトゥルース情報として使用できる。非限定的な例として、画像のシーケンスの第1のセット(例えば、3、4、5、またはそれ以上)を機械学習モデルに入力し得る。いくつかの例では、車両202の意図、ゴール、サブゴールなども、トレーニングのために入力できる(例えば、マルチチャネル画像のチャネルとしてエンコードされ得るように)。次に、第1のセットの直前にある一連の画像の第2のセットの画像(またはそこに関連付けられた軌道情報、たとえば、画像から位置および/または速度を抽出することによる)を、モデルをトレーニングするためのグラウンドトゥルースとして使用できる。したがって、オブジェクトが環境を横断する記録された軌道の画像を提供することによって、予測コンポーネント228は、本明細書で説明されるように、予測確率を含む1つまたは複数のヒートマップを出力するようにトレーニングされ得る。
いくつかの例では、トレーニングコンポーネント248は、シミュレータによって生成されたトレーニングデータを含むことができる。たとえば、シミュレートされたトレーニングデータは、車両が環境内のオブジェクトと衝突した、または環境内のオブジェクトと衝突寸前だった例を表して、追加のトレーニング例を提供できる。
トレーニングコンポーネント248の追加の詳細は、図2Bに関連して、ならびに本開示全体を通して、以下で説明される。
トレーニングのためのデータの追加の例は、図3に関連して、ならびに本開示全体を通して説明される。
車両202のプロセッサ216およびコンピューティングデバイス242のプロセッサ244は、本明細書で説明されるように、データを処理し操作を実施するための命令を実行可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ216および244は、1つまたは複数の中央処理装置(CPU)、グラフィック処理装置(GPU)、または電子データを処理して当該電子データをレジスタまたはメモリに格納できる他の電子データに変換する任意の他のデバイスまたはデバイスの一部、を備えることができる。いくつかの例で、集積回路(例えば、ASICなど)、ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスはまた、それらがエンコードされた命令を実装するよう構成される限り、プロセッサとみなすことができる。
メモリ218および246は、非一時的コンピュータ可読媒体の例である。メモリ218および246は、本明細書に記載の方法および様々なシステムに起因する機能を実装する、オペレーティングシステムおよび1つもしくは複数のソフトウェアアプリケーション、命令、プログラム、ならびに/またはデータを格納できる。様々な実装形態では、メモリを、スタティックランダムアクセスメモリ(SRAM)、シンクロナスダイナミックRAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または情報を格納可能な任意の他のタイプのメモリなど、任意の適切なメモリ技術を用いて実装できる。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含むことができ、添付図面に示されるそれらは、本明細書での説明に関連する単なる例にすぎない。
いくつかの例では、メモリ218および246は、少なくとも作業メモリおよび記憶メモリを含むことができる。例えば、作業メモリは、プロセッサ216および244によって操作されるデータを格納するために使用される、限られた容量の高速メモリ(例えば、キャッシュメモリ)であり得る。いくつかの例では、メモリ218および246は、データの長期記憶に使用される比較的大容量の低速メモリであり得る記憶メモリを含むことができる。いくつかのケースでは、プロセッサ216および244は、ストレージメモリに格納されているデータを直接操作できず、本明細書で説明するように、データに基づいて操作を実行するために、データを作業メモリにロードする必要があり得る。
図2は分散システムとして示されているが、代替の例では、車両202のコンポーネントをコンピューティングデバイス242に関連付けることができ、および/またはコンピューティングデバイス242のコンポーネントを車両202に関連付けることができる、という事に留意すべきである。すなわち、車両202はコンピューティングデバイス242に関連付けられた機能のうちの1つまたは複数を実行でき、逆もまた同様である。
図2Bは、本明細書で説明される技術を実装する、機械学習モデルをトレーニングするための例示的なトレーニングコンポーネントのブロック図250を示す。
いくつかの例では、トレーニングデータ258は、環境を通り横断する際に車両によってキャプチャされるデータを含むことができる。そのようなトレーニングデータは、自律車両がトレーニングデータ258をキャプチャした場合、そのような自律車両によって実行される行動を表し得る、アクションデータ262を含むことができる。いくつかの例では、入力252は、アクションデータ262およびトレーニングデータ258に、少なくとも部分的に基づくことができる。
1つまたは複数のマルチチャネル画像を含む入力252を、機械学習コンポーネント232に入力できる。いくつかの例では、機械学習コンポーネント232は、ResNetアーキテクチャを含むことができる。いくつかの例では、機械学習コンポーネント232は、ベースバックボーンとしてResNetアーキテクチャを含むことができる。いくつかの例では、アクションデータを入力252に沿って入力でき、アクションデータをアクションデータ262として表すことができる。
いくつかの例では、出力特徴マップを1×1の畳み込みに通して、最終的なチャネル次元を取得でき、これは、入力解像度に一致するように双線形にアップサンプリングして(例えば、アップサンプリングコンポーネント254を介して)、出力256(例えば、ヒートマップおよび/または予測確率)として表すことができる。
いくつかの例では、機械学習コンポーネント232からの出力ロジットは、シグモイドクロスエントロピー損失を使用してトレーニングデータ258(例えば、占有マップを表すグラウンドトゥルース)と比較できる。
クロスエントロピー損失および/または確率質量コンポーネント260は、出力ロジットをトレーニングデータ258と比較する機能を含むことができる。次いで、結果として得られる損失行列は、以下の関数
に従って、トレーニングデータ258内の占有および非占有ピクセルの間でバランスを取ることができ、ここで、Liは、将来の第iのステップでのシグモイドクロスエントロピー損失から得られる損失行列であり、Nは、予測される将来のステップの数である。用語1occupiedおよび1unoccupiedは、将来のオブジェクトの占有および非占有マップを表すインジケーターマトリックスであり、用語noccupiedおよびnunoccupiedは、将来の占有および非占有セルの数を表す。占有間のバランスをとることは、同数(またはほぼ等しい)の占有および非占有勾配がバックプロパゲーションを通過すること、および予測コンポーネント228が全てのセルが占有されているとして、または全てのセルが占有されていないとして予測することに偏らないこと、を確実にする。
上記の式(1)で指定された密なセグメンテーションのコストは、シーン内のエンティティの総数を保存し得ない。いくつかの例では、クロスエントロピー損失および/または確率質量コンポーネント260は、シーン内の予測コンポーネント228によって予測される総確率質量(例えば、ヒートマップに関連付けられた確率の合計)と、
としての占有セルの実際の数との間の差を最小化するための追加コストを含むことができ、ここでφiは将来のステップiでの占有マップを表す。確率質量コンポーネントを追加することにより、予測コンポーネント228は、追加の確率質量を作成することなく、利用可能なセル間で総確率質量を分配できる。たとえば、自律車両が2つの可能なモードを有する場合、次いで、ネットワークは2つのモード間で占有の確率を分配し、任意の追加の占有確率を追加し得ない。
さらに、シーンの質量を制約することまたはそうでなければ管理することは、環境にオブジェクトを追加するためのネットワークの可用性を制限し、これは処理を単純化し得る。
図3は、本開示の例による、予測システムへの入力および予測システムをトレーニングするためのトレーニングデータの例示的な図300を示す。
例えば、マルチチャネル画像302は、予測コンポーネント228への入力を表し、過去のオブジェクトを表す。たとえば、各画像に関連付けられた時間は、右下隅に示されている(たとえば、t-8、t-7、t-6、t-5、t-4、t-3、t-2、t-1、およびt0)。上記のように、各フレームはさらにいくつかのチャネルで構成され得る。
たとえば、個々のチャネルは、バウンディングボックス(例えば、バウンディングボックスは車両304またはオブジェクト306を表し、バウンディングボックスの色またはチャネルはバウンディングボックスに関連付けられたオブジェクトの分類を表す、)、x方向およびy方向のバウンディングボックスの速度(速度が、バウンディングボックスに対応する別のチャネル(例えば、チャネル136および142)のエリアを表すエリアにエンコードされた数として表すことができ、x速度およびy速度が異なるチャネルで表される)、x方向およびy方向内のオブジェクトの加速度(加速度は1つのチャネルまたは複数のチャネルのベクトルとして表すことができ、x加速度とy加速度は異なるチャネルで表される)、バウンディングボックスに関連付けられたブリンカーステータス(左折、右折、ブレーキング、リバース、ハザード、ライトなしなど)、道路ネットワーク情報(例えば、レーンを示す意味ラベル、基準線(例えば、基準線308)、横断歩道、停止標識、交差点、信号機など)、信号機の状態(例えば、赤色光、黄色光、緑色光など)など、の1つまたは複数を表し得るが、これらに限定されない。いくつかの例では、複数のチャネルを予測システムに入力して、少なくとも1つのヒートマップを生成できる。
さらに、アクションデータは、現在のレーン310およびターゲットレーン312として表すことができる。いくつかの例では、アクションデータは、時間t-7からt0までの環境を表す1つまたは複数の画像にエンコードできる。
トップダウン特徴は、上記の特徴画像の一部または全てをスタックすることにより、画像ブロブとして表される。いくつかの例では、マルチチャネル画像302の解像度は、センサ解像度の解像度に基づいて、ピクセルあたり15cmに設定できる。いくつかの例では、マルチチャネル画像302の単一のフレームは、50メートル×50メートルのサイズのエリアに対応できるが、任意のエリアを選択できる。いくつかの例では、マルチチャネル画像302は、車両304(例えば、自律車両)が左から右に向く、および構成可能な水平オフセットでマルチチャネル画像302のほぼ中央に位置するように回転および平行移動できる。いくつかの例では、マルチチャネル画像によって表される環境は予測のための信号のないジャンクションを表し得、そのケースでは、各レーンの信号状態はトップダウン表現に含まれ得ない。
トレーニングデータ314は、環境内の全てのオブジェクトおよび車両のグラウンドトゥルースを表す。トレーニングデータ314は、将来の任意の数のフレームを含むことができる。図3は、時間t1、t2、t3、t4、t5、t6、t7、およびt8におけるトレーニングデータを示している。トレーニングデータ314は、例えば、機械学習コンポーネント232をトレーニングする目的で、図2のトレーニングデータ258に対応できる。
図4は、本開示の例による、2つの二重駐車車両を含むシナリオの第1および第2の予測確率の図400であり、第2の予測確率はアクションデータに部分的に基づいている。
予測確率402は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、それにより、予測確率402は、アクションデータに部分的に基づいていない。予測確率402の第1のフレーム(フレームt1として示されている)において、シナリオは、車両406ならびにオブジェクト408および410を表す。矢印412は、環境に関連付けられた交通の方向を示している。トラフィックの方向の同様の表示は、この開示全体を通して使用される。
シナリオのオブジェクト408および410は、2台の二重駐車車両を表している。予測確率414は、時間t1における車両406に関連付けられた予測確率を表す予測コンポーネント228によって出力される。予測確率416および418は、それぞれ、オブジェクト408および410に関連付けられている。予測確率402は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
予測確率404は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、これにより、予測確率は、アクションデータ420(灰色の影付きレーンとして示されている)に部分的に基づいている。予測確率422は車両406に関連付けられ、一方、予測確率424および426はそれぞれオブジェクト408および410に関連付けられる。予測確率404は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
図5は、本開示の例による、二重駐車車両を含むシナリオの第1および第2の予測確率の図500であり、第2の予測確率はアクションデータに部分的に基づいている。
予測確率502は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、それにより、予測確率502は、アクションデータに部分的に基づいていない。予測確率502の第1のフレーム(フレームt1として示されている)において、シナリオは、車両506ならびにオブジェクト508、510、および512を表す。
オブジェクト508は二重駐車車両を表す。オブジェクト510および512は車両506に対する対向交通を表す。
注目すべきことに、予測確率502は、車両506に関連付けられた非連続の予測確率を表す。例えば、時間t6において、予測確率514および516は、車両506に関連付けられている。時間t7において、予測確率518および520は、車両506に関連付けられている。そして、時間t8において、予測確率522および524は、車両506に関連付けられている。予測確率502は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
予測確率504は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、これにより、予測確率はアクションデータ526(灰色の影付きレーンとして示されている)に部分的に基づいている。
注目すべきことに、車両506に関連付けられた予測確率504は非隣接エリアを示さず、代わりに、オブジェクト508の周りを横断する車両506を表す。予測確率504は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
図6は、本開示の例による、自律車両の前でターンするオブジェクトを含むシナリオの第1および第2の予測確率の図600であり、第2の予測確率はアクションデータに部分的に基づいている。
予測確率602は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、それにより、予測確率602はアクションデータに部分的に基づいていない。予測確率602の第1のフレーム(フレームt1として示されている)において、シナリオは車両606およびオブジェクト608を表す。
オブジェクト608は車両606の前のレーンにターンする車両を表す。
注目すべきことに、フレームt2の領域610(およびフレームt3乃至t8の対応する領域)に関連付けられた予測確率はオブジェクト608に関連付けられ、一方、予測確率612は車両606に関連付けられている。予測確率602は予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
予測確率604は予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、これにより、予測確率はアクションデータ614および616(灰色の影付きレーンとして示されている)に部分的に基づいている。アクションデータ614は現在の(または出口)レーンに対応でき、一方、アクションデータ616はターゲット(または入口)レーンに対応できる。
フレームt2の領域618(およびフレームt3乃至t8の対応する領域)に関連付けられた予測確率は、オブジェクト608に関連付けられ、一方、予測確率620は車両606に関連付けられている。予測確率604は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
図7は、本開示の例による、ジャンクションを横断する自律車両を含むシナリオの第1および第2の予測確率の図700であり、第2の予測確率はアクションデータに部分的に基づいている。
予測確率702は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、それにより、予測確率702は、アクションデータに部分的に基づいていない。予測確率702の第1のフレーム(フレームt1として示されている)において、シナリオは、車両706およびオブジェクト708を表す。
図7のシナリオは車両606の前のレーンにターンする車両を表すオブジェクト708の前のジャンクションを横切る車両706を表す。
注目すべきことに、予測確率710、712、714、および716(例えば、それぞれの破線の内側の)は、車両706に関連付けられた予測確率を表し、予測確率のマルチモーダル出力を示している。予測確率702は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
予測確率704は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、これにより、予測確率はアクションデータ718および720(灰色の影付きレーンとして示されている)に部分的に基づいている。アクションデータ718は現在の(または出口)レーンに対応でき、一方、アクションデータ720はターゲット(または入口)レーンに対応できる。
予測確率722、724、726、および728は、オブジェクト708に関連付けられ、一方、それぞれの残りの予測確率は車両706に関連付けられる。したがって、予測確率704は車両706に関連付けられた位置のより鮮明な(crisper)予測を表し、これはより正確な予測を導くことができる。予測確率704は予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
図8は、本開示の例による、ブロックされたジャンクションに進入する自律車両を含むシナリオの第1および第2の予測確率の図800であり、第2の予測確率はアクションデータに部分的に基づいている。
予測確率802は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、それにより、予測確率802はアクションデータに部分的に基づいていない。予測確率802の第1のフレーム(フレームt1として示されている)において、シナリオは、車両806ならびにオブジェクト808、810、および812を表す。
図8のシナリオは、右にターンして、オブジェクト808および120に続こうとしていることを意図している、ジャンクションにおける車両806を表す。
注目すべきことに、予測確率814、816、818、および820(例えば、それぞれの破線の内側の)は車両806に関連付けられた予測確率を表し、予測確率のマルチモーダル出力を示している。予測確率802は予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
予測確率804は予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、これにより、予測確率はアクションデータ822および824(灰色の影付きレーンとして示されている)に部分的に基づいている。アクションデータ822は現在の(または出口)レーンに対応でき、一方、アクションデータ824はターゲット(または入口)レーンに対応できる。
予測確率826、828、830、および832は、車両806に関連付けられており、一方、それぞれの残りの予測確率はオブジェクト808、810、または812に関連付けられている。したがって、予測確率804は車両806に関連付けられた位置のより鮮明な(crisper)予測を表し、これはより正確な予測を導くことができる。予測確率804は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
図9は、本開示の例による、別のジャンクションを横断する自律車両を含むシナリオの第1および第2の予測確率の図900であり、第2の予測確率はアクションデータに部分的に基づいている。
予測確率902は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、それにより、予測確率902は、アクションデータに部分的に基づいていない。予測確率902の第1のフレーム(フレームt1として示されている)において、シナリオは、車両806ならびにオブジェクト808、810、および812を表す。
図9のシナリオは、ジャンクションを横切ることを意図しているジャンクションにおける車両906を表す。この例では、車両906のターゲットレーンがブロックされていないため、車両906はゴールに向かって進む。無条件のケース(例えば、予測確率902によって表される)では、車両906が右、左、または直進することができるが、車両906がどれをするかわからないということ、をネットワークは提案する。
注目すべきことに、予測確率914、916、918、および920(例えば、それぞれの破線の内側の)は、車両906に関連付けられた予測確率を表し、予測確率の分散モーダル出力を示している。予測確率902は、予測コンポーネント228によって決定されるように、時間の経過とともに進展するように示されている。
予測確率904は、予測コンポーネント228の出力を示す一連の8つのフレーム(t1乃至t8とラベル付けされている)を指し、これにより、予測確率は、アクションデータ922および924(灰色の影付きレーンとして示されている)に部分的に基づいている。アクションデータ922は、現在の(または出口)レーンに対応でき、一方、アクションデータ924は、ターゲット(または入口)レーンに対応できる。
予測確率926、928、930、および932は、車両906に関連付けられ、一方、それぞれの残りの予測確率は、オブジェクト908、910、または912に関連付けられている。したがって、予測確率904は、車両906に関連付けられた位置のより鮮明な(crisper)予測を表し、これは、より正確な予測を導くことができる。予測確率904は、のように時間の経過とともに進展するように示されている。
図1、2B、および10は、本開示の実施形態による例示的なプロセスを示している。これらのプロセスは論理フローグラフとして図示され、各操作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装できる一連の操作を表す。ソフトウェアのコンテキストにおいては、操作は、1つまたは複数のプロセッサで実行したときに、列挙した操作を実行する、1つまたは複数のコンピュータ可読記録媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行する、または特定の抽象的データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。操作が記載される順序は、制限として解釈されることを意図するものではなく、任意の数の記載される操作を、任意の順序および/または並行して組み合わせて、プロセスを実行できる。
図10は、本開示の例による、センサデータおよびアクションデータを受信し、マルチチャネル画像を生成し、予測確率を評価し、予測確率に基づいて車両を制御するための例示的なプロセス1000を示す。例えば、プロセス1000の一部または全ては、本明細書で説明されるように、図2における1つまたは複数のコンポーネントによって実行できる。例えば、プロセス1000の一部または全ては、車両コンピューティングデバイス204および/またはコンピューティングデバイス242によって実行できる。
操作1002にて、プロセスは、環境のオブジェクトデータを受信することを含むことができ、オブジェクトデータはオブジェクトを表す。いくつかの例では、オブジェクトデータは、自律車両の知覚システムによって出力されたデータを表すことができる。例えば、オブジェクトデータは、バウンディングボックス情報、速度/加速度情報、分類などを含むことができるが、これらに限定されない。いくつかの例では、操作1002は、自律車両のセンサを使用して環境のセンサデータをキャプチャすることを含むことができる。例えば、センサデータは、lidarセンサ、radarセンサ、画像センサ、飛行時間センサ(time of flight sensor)、sonarセンサなどのうちの1つまたは複数によってキャプチャされるデータを含むことができる。いくつかの例では、操作1002は、複数のセンサを使用してセンサデータをキャプチャし、センサデータを融合または組み合わせて、環境の詳細および有益な表現にすることを含むことができる。少なくともいくつかの例では、環境に関する追加のデータ(横断歩道の位置、レーンの境界など)をエンコードし得る追加のデータを受信し得る(マップデータなど)。
操作1004で、プロセスは、車両が環境内で実行するための候補アクションに関連付けられたアクションデータを受信することを含むことができる。いくつかの例では、アクションデータは、現在のレーン、ターゲットレーン、および/または各アクションに関連付けられた速度プロファイルまたは加速度プロファイルなどの速度あるいは加速度情報を含むことができる。候補アクションの例は、レーン内アクション、左折アクション、右折アクション、レーン変更アクション、停止アクション、譲歩アクション、合流アクションなどを含み得が、これらに限定されない。
操作1006で、プロセスは、センサデータおよびアクションデータに少なくとも部分的に基づいて、環境のトップダウンビューを表すマルチチャネル画像を生成することを含むことができる。そのようなマルチチャネル画像の例は本開示を通し説明される。たとえば、マルチチャネル画像は、オブジェクトを、バウンディングボックス、オブジェクトの速度、環境内のオブジェクトの位置などとして表すことができる。いくつかの例では、マルチチャネル画像は、加速度情報(速度情報の代わりに、またはそれに加えて)を含むことができる。
いくつかの例では、アクションデータは、マルチチャネル画像のチャネルにエンコードされた、現在のレーンおよびターゲットレーン、速度情報または加速度情報として表すことができる。
マルチチャネル画像に含めることができる追加情報は、バウンディングボックスに関連付けられたオブジェクトの分類、x方向、y方向、および/またはz方向のバウンディングボックスの速度(速度は1つのチャネルまたは複数のチャネルで数値またはベクトルとして表すことができ、x速度、y速度、および/またはz方向は異なるチャネルで表される)、x方向、y方向、および/またはz方向のオブジェクトの加速度(加速度は、1つのチャネルまたは複数のチャネルで数値またはベクトルとして表すことができ、x加速度、y加速度、および/またはz加速度は異なるチャネルで表される)、車両のポーズ(例えば、x、y、z、ロール、ピッチ、ヨー)、ポーズの変化率、バウンディングボックスに関連付けられたブリンカーステータス(例えば、左折、右折、ブレーキ、後進、ハザード、ライトなしなど)、道路ネットワーク情報(例えば、レーン、横断歩道、一時停止標識、交差点、信号機などを示す意味ラベル)、信号機の状態(例えば、赤色光、黄色光、緑色光など)などを含むことができるが、これらに限定されない。そのようなマルチチャネル画像では、オブジェクトおよび環境に関する意味情報は、本明細書で詳細に説明されるように、1つまたは複数のチャネルにエンコードされ得る。
本明細書で説明されるように、操作1006は、時間の経過に伴う環境内のオブジェクトの動作を表す複数の画像を生成することを含むことができる。
操作1008で、プロセスは、候補アクションが考慮されたことを決定することを含むことができる。例えば、操作1008は、マルチチャネル画像が複数の候補アクションの各候補アクションに対して生成されたかどうかを決定することを含むことができる。全てではない(または実質的に全てではない)候補アクションが考慮された場合(たとえば、操作1008で「いいえ」)、プロセスは、操作1006に戻り、追加のマルチチャネル画像を生成できる。全ての候補アクションが考慮された場合(たとえば、操作1008で「はい」)、プロセスは操作1010に進む。もちろん、いくつかの例では、実装形態に応じて、操作を並行して実行できる。
操作1010で、プロセスは、マルチチャネル画像を機械学習モデルに入力することを含むことができる。そのような機械学習モデルは、複数の予測確率を生成するように(たとえば、ヒートマップとして)トレーニングできる。機械学習モデル、ヒートマップ、および予測確率の追加の詳細については、本開示全体で説明される。
操作1012において、プロセスは、機械学習モデルから、オブジェクトおよび/または車両に関連付けられた予測確率を受信することを含むことができる。機械学習モデル、ヒートマップ、および予測確率の追加の詳細については、本開示全体で説明される。
操作1014において、プロセスは、予測確率に少なくとも部分的に基づいて、候補アクションを評価することを含むことができる。本明細書で説明するように、操作1014は、候補アクションに関連付けられた1つまたは複数のコスト、リスク、および/またはリワード(reward)を決定することを含むことができる。例えば、候補アクションを評価して、候補アクションに関連付けられた軌道について、候補軌道に沿った自律車両に関連付けられた領域と1つまたは複数の予測確率との間の重複の量を決定できる。いくつかの例では、自律車両に関連付けられた領域とオブジェクトの予測確率との間の重複の量は、そのような候補アクションに関連付けられたリスクの量を表すことができる。いくつかの例では、自律車両に関連付けられた領域と自律車両の予測確率との間の重複の量は、自律車両が予測確率内にとどまる程度を表すことができる。いくつかの例では、候補アクションを、自律車両に関連付けられた予想される位置とオブジェクトに関連付けられた予測確率との間の1つまたは複数の距離に基づいて評価できる。
操作1014は、評価に少なくとも部分的に基づいて候補アクションを選択する、またはそうでなければ、決定することをさらに含むことができる。たとえば、候補アクションに関連付けられたコストを比較でき、最低のコストに関連付けられた候補アクションを選択して、自律車両を制御できる。
操作1016において、プロセスは、予測確率に少なくとも部分的に基づいて車両を制御することを含むことができる。いくつかの例では、操作1016は、自律車両の軌道を決定することを含むことができる。いくつかの例では、本明細書で説明するように、軌道は車両によって実行されるように選択された候補アクションに基づくことができ、予測確率を評価することなく生成された軌道と比較してより安全および/またはより滑らかな軌道を表すことができる。いくつかの例では、操作1016は、環境を横断するために自律車両のステアリング、ブレーキ、および/または加速のうちの1つまたは複数を制御することを含むことができる。
したがって、本明細書で説明する操作は、予測を改善し、計画システムが可能な将来を検索する方法を提供する。
[例示的な発明内容]
A:1つまたは複数のプロセッサと、命令が実行されると、前記システムに自律車両のセンサによってキャプチャされた環境のセンサデータを受信することと、前記自律車両が前記環境内で実行する候補アクションに関連付けられたアクションデータを受信することとであって、前記候補アクションは、レーン内アクション、ターンアクション、またはレーン変更アクションの1つまたは複数を含み、前記アクションデータは前記候補アクションを示している、ことと、前記センサデータおよび前記アクションデータに少なくとも部分的に基づいて、前記環境のトップダウンビューを表すマルチチャネル画像を生成することであって、前記マルチチャネル画像は、前記自律車両に近接する前記環境内の車両に関連付けられたバウンディングボックス、前記車両に関連付けられた1つまたは複数の運動学的情報または意味情報、および前記自律車両に関連付けられた前記候補アクションを表す、ことと、前記マルチチャネル画像を、前記車両に関連付けられた可能な位置の予測確率を含むヒートマップを生成するようにトレーニングされた機械学習モデル内へ、入力することと、前記ヒートマップに少なくとも部分的に基づいて、前記候補アクションに関連付けられたコストを決定することと、前記候補アクションに関連付けられた前記コストに少なくとも部分的に基づいて、前記自律車両が前記環境を横断するための軌道を決定することと、を含む操作を実行させる、前記1つまたは複数のプロセッサによって実行可能な前記命令を格納する1つまたは複数のコンピュータ可読媒体と、を含むシステム。
A:1つまたは複数のプロセッサと、命令が実行されると、前記システムに自律車両のセンサによってキャプチャされた環境のセンサデータを受信することと、前記自律車両が前記環境内で実行する候補アクションに関連付けられたアクションデータを受信することとであって、前記候補アクションは、レーン内アクション、ターンアクション、またはレーン変更アクションの1つまたは複数を含み、前記アクションデータは前記候補アクションを示している、ことと、前記センサデータおよび前記アクションデータに少なくとも部分的に基づいて、前記環境のトップダウンビューを表すマルチチャネル画像を生成することであって、前記マルチチャネル画像は、前記自律車両に近接する前記環境内の車両に関連付けられたバウンディングボックス、前記車両に関連付けられた1つまたは複数の運動学的情報または意味情報、および前記自律車両に関連付けられた前記候補アクションを表す、ことと、前記マルチチャネル画像を、前記車両に関連付けられた可能な位置の予測確率を含むヒートマップを生成するようにトレーニングされた機械学習モデル内へ、入力することと、前記ヒートマップに少なくとも部分的に基づいて、前記候補アクションに関連付けられたコストを決定することと、前記候補アクションに関連付けられた前記コストに少なくとも部分的に基づいて、前記自律車両が前記環境を横断するための軌道を決定することと、を含む操作を実行させる、前記1つまたは複数のプロセッサによって実行可能な前記命令を格納する1つまたは複数のコンピュータ可読媒体と、を含むシステム。
B:前記自律車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられた前記環境内のターゲットレーンを表す前記マルチチャネル画像のチャネルを生成することを含み、前記ターゲットレーンは、前記自律車両が占有する予定のレーンを表す、
段落Aに記載のシステム。
段落Aに記載のシステム。
C:前記自律車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられた前記自律車両の目標速度または目標加速度を表す前記マルチチャネル画像のチャネルを生成することを含む、段落AまたはBに記載のシステム。
D:前記予測確率は、将来の時間に関連付けられた占有グリッドとして表され、前記占有グリッドのセルは、将来の時間にて、前記車両が前記セルに関連付けられた領域に存在する確率を示す、段落A乃至Cのいずれかに記載のシステム。
E:前記候補アクションが第1候補アクションであり、前記ヒートマップが第1のヒートマップであり、前記予測確率が第1の予測確率であり、前記コストは第1のコストであり、前記操作が、前記センサデータおよび第2の候補行動に少なくとも部分的に基づいて、前記車両に関連付けられた第2の予測確率を含む第2のヒートマップを決定することと、前記第2のヒートマップに少なくとも部分的に基づいて、第2のコストを決定することと、前記第1のコストおよび前記第2のコストに少なくとも部分的に基づいて、前記第1候補アクションまたは前記第2の候補行動から選択された行動を選択することと、前記選択された行動に少なくとも部分的に基づく前記軌道を決定することと、をさらに含む、
段落A乃至Dのいずれかに記載のシステム。
段落A乃至Dのいずれかに記載のシステム。
F:環境内のオブジェクトを表すオブジェクトデータを受信することと、車両が前記環境内で実行するための候補アクションに関連付けられたアクションデータを受信することと、前記オブジェクトデータおよび前記アクションデータに少なくとも部分的に基づいて、前記環境のトップダウンビューを表すマルチチャネル画像を生成することであって、前記マルチチャネル画像は、前記オブジェクト、前記オブジェクトに関連付けられたモーション情報、および前記車両に関連付けられた前記候補アクションを表す、ことと、前記マルチチャネル画像を機械学習モデル内へ入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた予測確率を受信することと、前記予測確率に少なくとも部分的に基づいて、前記車両が前記環境を横断するように、制御することと、を含む方法。
G:前記予測確率は第1の予測確率であり、前記方法は前記機械学習モデルから前記車両に関連付けられた第2の予測確率を受信すること、をさらに含む、段落Fに記載の方法。
H:前記候補アクションは、レーン内アクション、レーン変更アクション、またはターンアクションの少なくとも1つを含み、前記車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられたターゲットレーンを表す前記マルチチャネル画像のチャネルを生成することを含む、
段落FまたはGに記載の方法。
段落FまたはGに記載の方法。
I:前記チャネルは第1のチャネルであり、前記車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられた前記車両の目標の速度または目標の加速度を表す前記マルチチャネル画像の第2のチャネルをさらに含む、段落Hに記載の方法。
J:前記マルチチャネル画像は、前記環境内の追加のオブジェクトの追加のオブジェクト情報を含む1つまたは複数のチャネルをさらに含み、前記マルチチャネル画像は現在の時間より前の1つまたは複数の前回の時間に関連付けられた複数のマルチチャネル画像の1つである、段落F乃至Iのいずれかに記載の方法。
K:前記機械学習モデルから、前記現在の時間の後の1つまたは複数の将来の時間における前記環境を表す複数の予測確率を、受信すること、をさらに含むに段落J記載の方法。
L:前記予測確率は現在の時間の後の第1の時間に関連付けられた第1の予測確率であり、前記方法は、前記機械学習モデルから前記オブジェクトに関連付けられた第2の予測確率を受信することをさらに含み、前記第2の予測確率は前記第1の時間の後の第2の時間に関連付けられており、前記第1の予測確率に関連付けられた第1の確率の量は前記第2の予測確率に関連付けられた第2の確率の量の閾値量内である、段落F乃至Kのいずれかに記載の方法。
M:前記オブジェクトデータが画像データ、lidarデータ、radarデータ、または飛行時間データ(time-of-flight data)の少なくとも1つに少なくとも部分的に基づいている、段落F乃至Lのいずれかに記載の方法。
N:前記機械学習モデルは畳み込みニューラルネットワークを含む、段落F乃至Mのいずれかに記載の方法。
O.前記アクションデータは第1のアクションデータであり、前記候補アクションは第1の候補アクションであり、前記マルチチャネル画像は第1のマルチチャネル画像であり、前記環境の前記トップダウンビューは前記環境の第1のトップダウンビューであり、前記予測確率は前記第1の候補アクションに関連付けられた第1の予測確率であり、前記方法は前記車両が前記環境内で実行するための第2の候補アクションに関連付けられた第2のアクションデータを受信することと、前記オブジェクトデータおよび前記第2のアクションデータに少なくとも部分的に基づいて、前記環境の第2のトップダウンビューを表す第2のマルチチャネル画像を生成することと、前記第2のマルチチャネル画像を前記機械学習モデル内に入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた第2の予測確率を受信することと、をさらに含む、段落F乃至Nのいずれかに記載の方法。
P.前記第1の予測確率に関連付けられた第1のコストを決定することと、前記第2の予測確率に少なくとも部分的に基づいて、第2のコストを決定することと、選択されたアクションとして、ならびに前記第1のコストおよび記第2のコストに少なくとも部分的に基づいて、前記第1の候補アクションまたは前記第2の候補アクションの1つを選択することと、前記選択されたアクションに少なくとも部分的に基づいて、前記車両が前記環境を横断するように制御することと、をさらに含む、段落Oに記載の方法。
Q:実行されると、1つまたは複数のプロセッサに、環境内のオブジェクトを表すオブジェクトデータを受信することと、車両が前記環境内で実行するための候補アクションに関連付けられたアクションデータを受信することであって、前記候補アクションは、レーン内アクション、ターンアクションまたはレーン変更アクションの1つまたは複数を含み、前記アクションデータは前記候補アクションを示している、ことと、前記オブジェクトデータおよび前記アクションデータに少なくとも部分的に基づいて、前記オブジェクト、前記オブジェクトに関連付けられたモーション情報、および前記車両に関連付けられた前記候補アクションを表すマルチチャネル画像を生成することと、前記マルチチャネル画像を機械学習モデル内へ入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた予測確率を受信することと、前記予測確率および前記候補アクションに少なくとも部分的に基づいて、前記車両が前記環境を横断するように制御することと、を含む操作を実行させる、命令を格納する1つまたは複数の非一時的コンピュータ可読媒体。
R:前記車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられたターゲットレーンを表す前記マルチチャネル画像のチャネルを生成することを含み、前記ターゲットレーンは前記車両が占有する予定のレーンを示す、段落Qに記載の非一時的コンピュータ可読媒体。
S:前記チャネルは第1のチャネルであり、前記車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられた前記車両の目標の速度または目標の加速度を表す前記マルチチャネル画像の第2のチャネル生成することをさらに含む、段落QまたはSに記載の非一時的コンピュータ可読媒体。
T:前記アクションデータは第1のアクションデータであり、前記候補アクションは第1の候補アクションであり、前記マルチチャネル画像は第1のマルチチャネル画像であり、前記予測確率は前記第1の候補アクションに関連付けられた第1の予測確率であり、前記操作は前記車両が前記環境内で実行するための第2の候補アクションに関連付けられた第2のアクションデータを受信することと、前記オブジェクトデータおよび前記第2のアクションデータに少なくとも部分的に基づいて、前記オブジェクト、前記モーション情報、および前記第2の候補アクションを表す第2のマルチチャネル画像を生成することと、前記第2のマルチチャネル画像を前記機械学習モデル内に入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた第2の予測確率を受信することと、をさらに含む、段落Q乃至Tのいずれかに記載の非一時的コンピュータ可読媒体。
上述の例示の発明内容は1つの特定の実装形態に関して説明しているが、この文書のコンテキストでは、例示の発明内容はまた、方法、デバイス、システム、コンピュータ可読媒体、および/またはその他の実装形態を介して実装できることを理解されたい。さらに、例示A乃至Tのいずれかは、単独でまたは他の1つまたは複数の例示A乃至Tと組み合わせて実装され得る。
[結論]
本明細書で説明する技術の1つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
本明細書で説明する技術の1つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことできることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、いくつかのケースでは、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順をまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた、同じ結果となるサブ計算に分解できる。
Claims (15)
- 環境内のオブジェクトを表すオブジェクトデータを受信することと、
車両が前記環境内で実行するための候補アクションに関連付けられたアクションデータを受信することと、
前記オブジェクトデータおよび前記アクションデータに少なくとも部分的に基づいて、前記環境のトップダウンビューを表すマルチチャネル画像を生成することであって、前記マルチチャネル画像は、前記オブジェクト、前記オブジェクトに関連付けられたモーション情報、および前記車両に関連付けられた前記候補アクションを表す、ことと、
前記マルチチャネル画像を機械学習モデル内へ入力することと、
前記機械学習モデルから、前記オブジェクトに関連付けられた予測確率を受信することと、
前記予測確率に少なくとも部分的に基づいて、前記車両が前記環境を横断するように、制御することと、
を含む方法。 - 前記予測確率は第1の予測確率であり、前記方法は
前記機械学習モデルから前記車両に関連付けられた第2の予測確率を受信すること、
をさらに含む、請求項1に記載の方法。 - 前記候補アクションは、
レーン内アクション、
レーン変更アクション、または
ターンアクションの少なくとも1つを含み、
前記車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、
前記候補アクションに関連付けられたターゲットレーンを表す前記マルチチャネル画像の第1のチャネル、または
前記候補アクションに関連付けられた前記車両の目標の速度または目標の加速度を表す前記マルチチャネル画像の第2のチャネルの少なくとも1つを生成することを含む、
請求項1または請求項2に記載の方法。 - 前記マルチチャネル画像は、前記環境内の追加のオブジェクトの追加のオブジェクト情報を含む1つまたは複数のチャネルをさらに含み、
前記マルチチャネル画像は現在の時間より前の1つまたは複数の前回の時間に関連付けられた複数のマルチチャネル画像の1つである、請求項1乃至請求項3のいずれか一項に記載の方法。 - 前記機械学習モデルから、前記現在の時間の後の1つまたは複数の将来の時間における前記環境を表す複数の予測確率を、受信すること、をさらに含む請求項4に記載の方法。
- 前記予測確率は現在の時間の後の第1の時間に関連付けられた第1の予測確率であり、前記方法は、
前記機械学習モデルから前記オブジェクトに関連付けられた第2の予測確率を受信することをさらに含み、前記第2の予測確率は前記第1の時間の後の第2の時間に関連付けられており、
前記第1の予測確率に関連付けられた第1の確率の量は前記第2の予測確率に関連付けられた第2の確率の量の閾値量内である、
請求項1乃至請求項5のいずれか一項に記載の方法。 - 前記オブジェクトデータが画像データ、lidarデータ、radarデータ、または飛行時間データ(time-of-flight data)の少なくとも1つに少なくとも部分的に基づいている、または
前記機械学習モデルは畳み込みニューラルネットワークを含む、
うちの少なくとも1つの請求項1乃至請求項6のいずれか一項に記載の方法。 - 前記予測確率は将来の時間に関連付けられた占有グリッドとして表され、
前記占有グリッドのセルは、前記将来の時間における前記車両が前記セルに関連付けられた領域内にいる確率を示している、
請求項1乃至請求項7のいずれか一項に記載の方法。 - 前記アクションデータは第1のアクションデータであり、
前記候補アクションは第1の候補アクションであり、
前記マルチチャネル画像は第1のマルチチャネル画像であり、
前記環境の前記トップダウンビューは前記環境の第1のトップダウンビューであり、
前記予測確率は前記第1の候補アクションに関連付けられた第1の予測確率であり、
前記方法は
前記車両が前記環境内で実行するための第2の候補アクションに関連付けられた第2のアクションデータを受信することと、
前記オブジェクトデータおよび前記第2のアクションデータに少なくとも部分的に基づいて、前記環境の第2のトップダウンビューを表す第2のマルチチャネル画像を生成することと、
前記第2のマルチチャネル画像を前記機械学習モデル内に入力することと、
前記機械学習モデルから、前記オブジェクトに関連付けられた第2の予測確率を受信することと、
をさらに含む、請求項1乃至請求項8のいずれか一項に記載の方法。 - 前記第1の予測確率に関連付けられた第1のコストを決定することと、
前記第2の予測確率に少なくとも部分的に基づいて、第2のコストを決定することと、
選択されたアクションとして、ならびに前記第1のコストおよび記第2のコストに少なくとも部分的に基づいて、前記第1の候補アクションまたは前記第2の候補アクションの1つを選択することと、
前記選択されたアクションに少なくとも部分的に基づいて、前記車両が前記環境を横断するように制御することと、
をさらに含む、請求項9に記載の方法。 - コンピュータ上で実行されると、請求項1乃至請求項10のいずれか1項に記載の方法を実施する、コード化された命令を含むコンピュータプログラム製品。
- 1つまたは複数のプロセッサと、
命令が実行されると、システムに
環境内のオブジェクトを表すオブジェクトデータを受信することと、
車両が前記環境内で実行するための候補アクションに関連付けられたアクションデータを受信することであって、前記候補アクションは、レーン内アクション、ターンアクションまたはレーン変更アクションの1つまたは複数を含み、前記アクションデータは前記候補アクションを示している、ことと、
前記オブジェクトデータおよび前記アクションデータに少なくとも部分的に基づいて、前記オブジェクト、前記オブジェクトに関連付けられたモーション情報、および前記車両に関連付けられた前記候補アクションを表すマルチチャネル画像を生成することと、
前記マルチチャネル画像を機械学習モデル内へ入力することと、
前記機械学習モデルから、前記オブジェクトに関連付けられた予測確率を受信することと、
前記予測確率および前記候補アクションに少なくとも部分的に基づいて、前記車両が前記環境を横断するように制御することと、
を含む操作を実行させる、前記1つまたは複数のプロセッサによって実行可能な前記命令を格納する1つまたは複数の非一時的コンピュータ可読媒体と、
を含むシステム。 - 前記車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられたターゲットレーンを表す前記マルチチャネル画像のチャネルを生成することを含み、前記ターゲットレーンは前記車両が占有する予定のレーンを示す、請求項12に記載のシステム。
- 前記チャネルは第1のチャネルであり、前記車両に関連付けられた前記候補アクションを表す前記マルチチャネル画像を生成することは、前記候補アクションに関連付けられた前記車両の目標の速度または目標の加速度を表す前記マルチチャネル画像の第2のチャネル生成することをさらに含む、請求項13に記載のシステム。
- 前記アクションデータは第1のアクションデータであり、
前記候補アクションは第1の候補アクションであり、
前記マルチチャネル画像は第1のマルチチャネル画像であり、
前記予測確率は前記第1の候補アクションに関連付けられた第1の予測確率であり、
前記操作は
前記車両が前記環境内で実行するための第2の候補アクションに関連付けられた第2のアクションデータを受信することと、
前記オブジェクトデータおよび前記第2のアクションデータに少なくとも部分的に基づいて、前記オブジェクト、前記モーション情報、および前記第2の候補アクションを表す第2のマルチチャネル画像を生成することと、
前記第2のマルチチャネル画像を前記機械学習モデル内に入力することと、
前記機械学習モデルから、前記オブジェクトに関連付けられた第2の予測確率を受信することと、
をさらに含む、請求項12乃至請求項14のいずれか一項に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/504,147 US11023749B2 (en) | 2019-07-05 | 2019-07-05 | Prediction on top-down scenes based on action data |
US16/504,147 | 2019-07-05 | ||
PCT/US2020/040713 WO2021007106A1 (en) | 2019-07-05 | 2020-07-02 | Prediction on top-down scenes based on action data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022539245A true JP2022539245A (ja) | 2022-09-07 |
JPWO2021007106A5 JPWO2021007106A5 (ja) | 2023-07-11 |
Family
ID=74066426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022500033A Pending JP2022539245A (ja) | 2019-07-05 | 2020-07-02 | アクションデータに基づくトップダウンシーンの予測 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11023749B2 (ja) |
EP (1) | EP3994539A4 (ja) |
JP (1) | JP2022539245A (ja) |
CN (1) | CN114245885A (ja) |
WO (1) | WO2021007106A1 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11468766B2 (en) * | 2020-01-03 | 2022-10-11 | Xorail, Inc. | Obstruction detection system |
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
IL282172B2 (en) | 2018-10-11 | 2024-02-01 | Tesla Inc | Systems and methods for training machine models with enhanced data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11188799B2 (en) * | 2018-11-12 | 2021-11-30 | Sony Corporation | Semantic segmentation with soft cross-entropy loss |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
JP6825754B1 (ja) * | 2019-06-20 | 2021-02-03 | 住友電気工業株式会社 | 車載通信システム、スイッチ装置、機能部、通信制御方法および通信制御プログラム |
CN114080634B (zh) * | 2019-07-03 | 2024-04-26 | 伟摩有限责任公司 | 使用锚定轨迹的代理轨迹预测 |
US11023749B2 (en) | 2019-07-05 | 2021-06-01 | Zoox, Inc. | Prediction on top-down scenes based on action data |
US11409304B1 (en) | 2019-09-27 | 2022-08-09 | Zoox, Inc. | Supplementing top-down predictions with image features |
US11380108B1 (en) * | 2019-09-27 | 2022-07-05 | Zoox, Inc. | Supplementing top-down predictions with image features |
US11373519B2 (en) * | 2019-11-11 | 2022-06-28 | GM Global Technology Operations LLC | Traffic signal management for autonomous vehicle operation |
US11354913B1 (en) * | 2019-11-27 | 2022-06-07 | Woven Planet North America, Inc. | Systems and methods for improving vehicle predictions using point representations of scene |
US11193683B2 (en) * | 2019-12-31 | 2021-12-07 | Lennox Industries Inc. | Error correction for predictive schedules for a thermostat |
US11834069B2 (en) * | 2020-03-05 | 2023-12-05 | Uatc, Lcc | Systems and methods for selecting trajectories based on interpretable semantic representations |
US20210295171A1 (en) * | 2020-03-19 | 2021-09-23 | Nvidia Corporation | Future trajectory predictions in multi-actor environments for autonomous machine applications |
US11250279B2 (en) * | 2020-03-31 | 2022-02-15 | Robert Bosch Gmbh | Generative adversarial network models for small roadway object detection |
US20200324794A1 (en) * | 2020-06-25 | 2020-10-15 | Intel Corporation | Technology to apply driving norms for automated vehicle behavior prediction |
US11814075B2 (en) | 2020-08-26 | 2023-11-14 | Motional Ad Llc | Conditional motion predictions |
US20220188581A1 (en) * | 2020-12-10 | 2022-06-16 | Toyota Research Institute, Inc. | Learning-based online mapping |
CN113129603B (zh) * | 2021-03-26 | 2022-06-17 | 深圳市跨越新科技有限公司 | 平行道路超速判定方法、装置、终端及存储介质 |
WO2022212060A1 (en) * | 2021-03-30 | 2022-10-06 | Zoox, Inc. | Top-down scene generation |
US11858514B2 (en) | 2021-03-30 | 2024-01-02 | Zoox, Inc. | Top-down scene discrimination |
US11810225B2 (en) * | 2021-03-30 | 2023-11-07 | Zoox, Inc. | Top-down scene generation |
US11708073B2 (en) * | 2021-04-26 | 2023-07-25 | Ford Global Technologies, Llc | Vehicle-to-X communication and handling for vehicle coordination and management |
US20220379910A1 (en) * | 2021-05-26 | 2022-12-01 | Nissan North America, Inc. | Real-time Map and Prediction Diagnostics |
CN114475585B (zh) * | 2022-03-11 | 2022-11-01 | 阿波罗智能技术(北京)有限公司 | 路口自动驾驶方法、装置、电子设备及自动驾驶车辆 |
CN115131874B (zh) * | 2022-06-29 | 2023-10-17 | 深圳市神州云海智能科技有限公司 | 一种用户行为识别预测方法、系统及智能安全帽 |
CN115471708B (zh) * | 2022-09-27 | 2023-09-12 | 禾多科技(北京)有限公司 | 车道线类型信息生成方法、装置、设备和计算机可读介质 |
DE102023001646A1 (de) | 2023-04-24 | 2023-06-29 | Mercedes-Benz Group AG | Verfahren zu einer szenenkonsistenten Belegungsprädiktion mittels Rasterkarten |
CN117133131B (zh) * | 2023-10-26 | 2024-02-20 | 深圳市地铁集团有限公司 | 基于arm技术体系的智能通行控制系统 |
CN117246320B (zh) * | 2023-11-10 | 2024-02-09 | 新石器慧通(北京)科技有限公司 | 车辆的控制方法、装置、设备及存储介质 |
DE102024000515A1 (de) | 2024-02-16 | 2024-04-18 | Mercedes-Benz Group AG | Verfahren zur Prädiktion von am Straßenverkehr teilnehmenden Agenten in einer Umgebung eines automatisiert fahrenden Fahrzeugs |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3240714B1 (en) | 2014-12-29 | 2023-08-30 | Robert Bosch GmbH | Systems and methods for operating autonomous vehicles using personalized driving profiles |
DE102016218549B3 (de) | 2016-09-27 | 2017-12-28 | Audi Ag | Verfahren zur Ermittlung eines eine Kollision betreffenden Prognoseergebnisses |
EP4357869A2 (en) | 2017-03-20 | 2024-04-24 | Mobileye Vision Technologies Ltd. | Trajectory selection for an autonomous vehicle |
US10551842B2 (en) | 2017-06-19 | 2020-02-04 | Hitachi, Ltd. | Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive |
US20190113920A1 (en) * | 2017-10-18 | 2019-04-18 | Luminar Technologies, Inc. | Controlling an autonomous vehicle using model predictive control |
US10562538B2 (en) | 2017-11-22 | 2020-02-18 | Uatc, Llc | Object interaction prediction systems and methods for autonomous vehicles |
US11755018B2 (en) * | 2018-11-16 | 2023-09-12 | Uatc, Llc | End-to-end interpretable motion planner for autonomous vehicles |
US11215997B2 (en) * | 2018-11-30 | 2022-01-04 | Zoox, Inc. | Probabilistic risk assessment for trajectory evaluation |
US11023749B2 (en) | 2019-07-05 | 2021-06-01 | Zoox, Inc. | Prediction on top-down scenes based on action data |
-
2019
- 2019-07-05 US US16/504,147 patent/US11023749B2/en active Active
-
2020
- 2020-07-02 JP JP2022500033A patent/JP2022539245A/ja active Pending
- 2020-07-02 EP EP20836188.1A patent/EP3994539A4/en active Pending
- 2020-07-02 CN CN202080049024.XA patent/CN114245885A/zh active Pending
- 2020-07-02 WO PCT/US2020/040713 patent/WO2021007106A1/en unknown
-
2021
- 2021-05-20 US US17/325,562 patent/US11631200B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN114245885A (zh) | 2022-03-25 |
WO2021007106A1 (en) | 2021-01-14 |
EP3994539A4 (en) | 2023-07-19 |
US20210004611A1 (en) | 2021-01-07 |
US11631200B2 (en) | 2023-04-18 |
US20210271901A1 (en) | 2021-09-02 |
EP3994539A1 (en) | 2022-05-11 |
US11023749B2 (en) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11631200B2 (en) | Prediction on top-down scenes based on action data | |
US11734832B1 (en) | Prediction on top-down scenes based on object motion | |
US11169531B2 (en) | Trajectory prediction on top-down scenes | |
US11215997B2 (en) | Probabilistic risk assessment for trajectory evaluation | |
EP3908493B1 (en) | Occlusion prediction and trajectory evaluation | |
US11351991B2 (en) | Prediction based on attributes | |
US11195418B1 (en) | Trajectory prediction on top-down scenes and associated model | |
US11021148B2 (en) | Pedestrian prediction based on attributes | |
US11126180B1 (en) | Predicting an occupancy associated with occluded region | |
US20210278853A1 (en) | Determining occupancy of occluded regions | |
US11409304B1 (en) | Supplementing top-down predictions with image features | |
EP3948656A1 (en) | Pedestrian prediction based on attributes | |
US11380108B1 (en) | Supplementing top-down predictions with image features | |
US11851054B2 (en) | Active prediction based on object trajectories | |
WO2021225822A1 (en) | Trajectory classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |