JP2022539150A - リバースする車両のための余地をプランニングすること - Google Patents

リバースする車両のための余地をプランニングすること Download PDF

Info

Publication number
JP2022539150A
JP2022539150A JP2021577396A JP2021577396A JP2022539150A JP 2022539150 A JP2022539150 A JP 2022539150A JP 2021577396 A JP2021577396 A JP 2021577396A JP 2021577396 A JP2021577396 A JP 2021577396A JP 2022539150 A JP2022539150 A JP 2022539150A
Authority
JP
Japan
Prior art keywords
vehicle
reverse
trajectory
machine learning
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021577396A
Other languages
English (en)
Inventor
クリシュナ アケラ アビシェク
ガファリアンザデー マーサ
マイケル シーベルト ケネス
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2022539150A publication Critical patent/JP2022539150A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G08G1/093—Data selection, e.g. prioritizing information, managing message queues, selecting the information to be output

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

第１の車両がリバース状態に関連付けられていると決定し、そのリバース状態に基づいて第２の車両を制御するための技術がここでは説明される。いくつかの例において、第１の車両は、所望の位置へのリバース操作を可能にするために、車両上のリバースライトを伴う、又は、道路又は駐車スペースに関連する角度で位置していることによってなど、第１の車両がリバース操作を実行しているであろうというインジケーションを提供しうる。第２の車両（自律車両など）のプランニングシステムは、センサデータを受信し、様々なこれらのインジケーションを決定して、車両がリバース操作を実行している確率を決定しうる。第２の車両は、さらに、リバース操作のおおよその軌道を決定することができ、適切な余地（例えば、時間及び／又は空間）を提供して第２の車両が安全かつ効率的に操作を実行可能にすることができる。

Description

関連出願の相互参照
本出願は、２０１９年６月２８日に出願され、「ＰＬＡＮＮＩＮＧ ＡＣＣＯＭＭＯＤＡＴＩＯＮＳ ＦＯＲ ＲＥＶＥＲＳＩＮＧ ＶＥＨＩＣＬＥＳ」と題された米国特許出願第１６／４５６，９８７号明細書の優先権を主張するものであり、その全内容は、参照により本明細書に組み込まれる。
様々な静的及び動的なオブジェクトを含む環境を通して自律車両を導くために、様々な方法、装置、及びシステムが利用されている。例えば、自律車両は、他の動いている、及び静止している（自律的な、又はそうではない）車両、人々、建物、並びに他のオブジェクトで混雑したエリアを通して自律車両を導くための、ルートプランニング方法、装置、及びシステムを利用する。いくつかの例において、自律車両は、環境を横断しながら、搭乗者並びに周囲の人物及びオブジェクトのための安全を保証するための決定を行いうる。しかし、環境における他の車両又はオブジェクトの挙動を予測することは、課題を呈することがある。
詳細な説明が、添付の図を参照して説明される。図においては、参照番号の最も左側の数字が、参照番号が最初に現れた図を識別する。異なる図における同じ参照番号の利用は、本開示の例による、類似した、若しくは同一のコンポーネント又は特徴を示す。
本開示の例による、リバース（reverse）状態に関連付けられていると決定された車両の予測された軌道に基づいて自律車両を制御するための挿絵入りフロー図である。 本開示の例による、車両がリバース状態に関連付けられているというインジケーションに部分的に基づいて１つ又は複数の軌道を決定するために利用されうるシステムの例証の図である。 本開示の例による、リバース企図状態を決定するための環境特徴、及び車両のためのその後の軌道推定を利用する例証の図である。 本明細書で説明される技法を実装するための例示的なシステムのブロック図である。 本開示の例による、車両がリバース状態に関連付けられていることを決定し、車両がリバース状態に関連付けられていることに基づいて車両のための軌道を予測し、予測された軌道に基づいて自律車両を制御するための例示的なプロセスを表す図である。
本開示は、車両がリバース状態において操作を実施する見込みがあることを決定し、これらの操作に、安全かつ効率的な仕方で自律車両を制御することによって適応するための技法に関する。いくつかの例において、車両は、車両がリバース操作を実行することになるというインジケーションを、車両上のリバースライトを用いて、及び／又は、所望の位置へのリバース操作を考慮するように道路若しくは駐車スペースに対する角度で位置決めすることなどによって提供することがある。自律車両のプランニングシステムは、センサデータを利用して、多様なこれらのインジケーションを決定して、その後車両がリバース操作を実行しようとしている確率を決定し、リバース操作の見込みがある軌道を決定し、操作を安全かつ効率的に実行するための適切な余地（例えば、時間及び／又はスペース）を、車両に提供しうる。
自律車両によってキャプチャされるセンサデータは、個々の画像、ビデオ、その他などの画像センサによってキャプチャされるデータ、並びにｌｉｄａｒセンサ、ｒａｄａｒセンサ、飛行時間（time-of-flight）センサ、ソナーセンサ、その他などの他のセンサによってキャプチャされるデータを含みうる。いくつかのケースにおいて、センサデータは、環境におけるオブジェクトのタイプ（例えば、車両、歩行者、自転車、自動二輪車、動物、駐車された車、木、建物、その他）を決定する、又は分類するように構成された知覚システムに提供されうる。
センサデータは、自律車両が環境を横断するときに、自律車両によってキャプチャされてよい。いくつかの例において、自律車両は、センサの中でも特に、周囲環境の画像（例えば、個々の画像及び／又はビデオ）をキャプチャするように構成された１つ又は複数のカメラを含みうる。１つ又は複数のカメラによってキャプチャされた画像は、車両の他のセンサによるオブジェクトの検出から独立して、又は他のセンサによるオブジェクトの検出と併せてのいずれかで、オブジェクトを検出するために分析されてよい。一旦検出されると、いくつかの例において、画像は、例えば、個々のオブジェクトを取り囲むサイズ（センチメートル、ピクセル、その他）に基づいて、オブジェクトを取り囲む境界ボックス、その他に基づいて、オブジェクトを取り囲む対象のエリアにトリミングされてもよい。
例において、自律車両の軌道決定コンポーネントは、画像において、車両などのオブジェクトを、その車両の特徴を検出することと共に識別しうる。例えば、軌道決定コンポーネントは、画像をセグメント化して、車両がリバース状態にあることを示すことが可能でありうる、車両のライトを検出しうる。いくつかのケースにおいて、車両がリバース状態に関連付けられていることを示すライトは、画像において見えなくされていることがある。そのようなケースにおいて、軌道決定コンポーネントは、別のライト（例えば、異なるリバースインジケータライト、ブレーキライト、その他）を識別して、車両に関連付けられた状態（例えば、フォワード（forward）状態、リバース状態、その他）を決定しうる、及び／又は、車両に関係した追加のコンテキストを利用して、車両がリバース状態に関連付けられているかどうかを決定しうる。
いくつかの例において、軌道決定コンポーネントは次いで、特徴を表す画像の一部を、特徴の特性に少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに入力することなどによって、特徴を表す画像を利用して、車両がリバース状態に関連付けられていることをライトが示しているかどうかを決定しうる。いくつかの例において、車両が「リバースギアにある」ためには必ずしも物理的なリバースギアを必要としないことが理解されうるものの、リバース状態に関連付けられた車両はまた、リバースギアにある車両と呼ばれてもよい。例えば、車両は、電気モータを含むことがあり、モータの方向をリバースするように電圧の極性を変化させることによって、リバース方向にスラスト（thrust）を提供しうる。
具体的には、機械学習モデルは、車両のリバースライトがオンであることを決定してよく、リバースライトがオンであることに基づいて、車両の挙動を予測しうる。追加として、機械学習モデルは、車両が、リバース状態にあるのか、非リバース状態にあるのか、又は、車両はまだリバースしていないものの今にも（例えば、３秒内に、５秒内に、１ブロック内に、３ブロック内に、２５フィート（７．６２メートル）内に、５０フィート（１５．２４メートル）内に、その他に）リバース操作を実施する見込みがある「リバース企図状態」であるのかどうかについて、追加の情報を提供することがある環境の多様な特徴を受信しうる。いくつかの例において、車両がリバース状態にある（又はリバース状態に入るつもりである）かどうかについて、手がかりを提供することがある環境の特徴は、（例えば、トラフィックのレーンに対する）車両の向き、環境における車両の位置での速度制限に対する車両の速度、周囲環境における他の車両に対する車両の速度、車両が現在ある特定のレーン、車両が現在あるレーンに隣接するレーン（例えば、隣接する駐車レーン、ドライブウェイ、その他）、車両がジャンクションに、又はジャンクションの近くに位置付けられているかどうか、環境における車両と他の車両との間の距離、車両の近くの他の車両の速度、その他を含みうる。他の車両の挙動を予測する際に利用するための環境についての情報を軌道決定コンポーネントに提供するために、環境の特徴は、異なるセンサ様式（sensor modalities）から収集されてよい。
機械学習モデルは、車両のリバースライトがオンであることに応答して、車両がリバース状態にあるというインジケーションを、車両を取り囲む環境の特徴の分析と共に出力しうる。いくつかの例において、機械学習モデルは、車両がリバース状態にあること、車両が非リバース状態にあること、又は車両がリバース企図状態であることに対応したインジケーションを出力する分類機であってもよい。代替として、機械学習モデルは、車両がリバース状態にあるのか、それとも非リバース状態にあるのかのバイナリインジケーションを出力しうる。車両の状態の決定に基づいて車両のための予測された軌道を出力することなどの、他の例もまた考えられる。
例えば、軌道決定コンポーネントは、上で説明されたように、車両のリバース状態のインジケーション及び／又は環境の特徴に少なくとも部分的に基づいて、車両の軌道を予測しうる。いくつかの例において、環境の特徴は、一旦車両がリバースギアの操作を実行し始めると車両が辿りうる経路又は軌道を決定するために利用されてよい。例えば、軌道決定コンポーネントは、車両を取り囲む環境の特徴及び／又はリバースインジケーションに基づいて、車両のための多数の考えうる軌道を決定しうる。いくつかのケースにおいて、軌道決定コンポーネントは、多数の軌道から最も見込みがある軌道（又はいくつかの最も見込みがある軌道）を選択し、予想されたリバース操作に車両が適応するのに最も見込みがある予測された軌道に基づいて、自律車両が辿るための軌道をプランニングしうる。
例えば、軌道決定コンポーネントは、上で説明された機械学習モデル、又は別の機械学習モデルを利用して、トラフィックレーン、マップデータ、環境におけるオブジェクト、その他などの環境の特徴に関連付けられた情報を含んだチャネルを含むトップダウン画像を生成することによって、軌道を予測しうる。予測された軌道を生成するために利用される機械学習モデルは、この先における１つ又は複数の時間（例えば、１秒、２秒、３秒、その他）に車両に関連付けられた座標（例えば、ｘ座標及びｙ座標）を出力しうる。いくつかの例において、機械学習モデルは、車両に関連付けられた座標、並びに各座標に関連付けられた確率情報を出力しうる。さらに、機械学習モデルは、予測確率に関連付けられたヒートマップを出力しうる。いくつかの例において、少なくとも１つの予測された軌道が、ヒートマップに少なくとも部分的に基づいて決定されてよい。トップダウン手法を利用して軌道を予測することに関する追加の詳細は、その全体において参照により本明細書に組み込まれる米国特許出願第１６／１５１，６０７号明細書において見出すことができる。リバース状態が変化したと決定されるまで、予め決められた時間の量（例えば、１秒、２秒、３秒、その他）にわたって車両が車両の観察された速度でリバースにおいて進行するであろうという予測などの、リバース状態（又はリバース企図状態）にあると決定された車両のための軌道を予測するための他の手法もまた考えられる。
いくつかの例において、軌道決定コンポーネントは、（例えば、自律車両を停止させることによって）現在の位置を維持するように自律車両を制御してよく、又は、自律車両の意図された目的地までルートに沿って続くが、リバース操作を実行する車両の予測軌道を迂回する、軌道を辿るように、自律車両を制御してよい。これらの例に加えて、軌道決定コンポーネントは、自律車両をリバースするように制御して、リバース操作を実行する車両の予測された軌道に追加のスペースを提供しうる。
具体的な例の例証として、駐車スペースのレーンの隣にあるトラフィックのレーンから、縦列駐車するための準備をしている車両を考える。その車両の背後で、自律車両は、トラフィックのレーンを移動していて、車両が縦列駐車操作を実行するための準備においてそのリバースライトをオンにしていること（及び／又は、ホイール方向、その他などの他のコンテキスト情報）を検出しうる。自律車両は、縦列駐車操作を実行するために車両が辿ることがある１つ又は複数の予測された軌道（例えば、縦列駐車操作に成功した最初の試行、及び縦列駐車操作の実行に失敗し、トラフィックのレーンに再び入ることによって一からやり直すよう車両にさせうる軌道）を決定しうる。自律車両は、トラフィックのレーン及び／又は駐車レーンに対する車両の角度を、駐車された車両の位置と共に評価して、例えば、予測された軌道を決定しうる。次いで、第１の例において、自律車両は、車両が縦列駐車操作を実行するのを可能にする位置で（例えば、車両が入っていく駐車スペースの背後で）トラフィックのレーンに停止することによって、車両が操作を実行するのを待つように制御されてよい。
別の例において、自律車両は、例えば、車両が入っていく駐車スペースの背後の位置で異なるトラフィックのレーンに入ることによって、縦列駐車操作の予測された軌道を迂回するように、駐車レーンの反対側にある異なるトラフィックのレーンに入るように制御されてもよい。
本明細書で議論される技法は、いくつかのやり方でコンピューティングデバイスが機能することを改善しうる。例えば、軌道決定コンポーネントは、僅か１つの画像（又は１つの画像のトリミングされた一部）を利用して、環境における車両のリバース操作の信頼しうる決定を行いうる。結果として、車両のリバース挙動を決定するために多数の画像若しくはビデオに適用される複雑な画像分析アルゴリズム、及び／又は他のセンサによって供給されるデータを求める従来の技法と比較して、大幅に少ない処理リソースが利用される。１つの画像からリバースインジケーションが決定されうるので、軌道決定コンポーネントは、多数の画像又はビデオが求められていた場合に可能であったよりも多くの、リバース中の車両及び／又は一般に環境における他の車両若しくはオブジェクトのために、軌道を決定することができうる。いくつかのケースにおいて、説明される技法は、他のリバース決定メカニズムよりも正確である。例えば、リバースライトが環境における他のオブジェクトによって見えなくされている、車両のリバースライトが切れている、若しくは別の状況で動作していない、及び／又は完全に見えなくされている、又は、車両は明るくされたリバースライトを表示するためのリバースギアをまだ入れていない場合、車両がリバース中であるかどうかの決定は、不正確であることがある。これらの決定は、本明細書で説明される、周囲環境における追加の情報及び車両それ自体についての他の情報（例えば、トラフィックのレーン又は駐車レーンに対する角度）を利用することによって、改善されてよい。
他の車両によって供給されたインジケーションと周囲環境について集められた情報との両方を利用して、他の車両がリバースギアにあるかどうかについての決定に部分的に基づいて車両を制御することによって、車両の安全は、より迅速かつより早期に他の車両がリバース中であることを決定することによって改善されてよく、従って、他の車両によるリバース操作に余地（accommodations）を提供する軌道決定を、車両がより早期に行うことを可能にする。追加として、たった今説明された通り、別の車両によるリバース操作を決定することに部分的に基づいて車両を制御することは、リバース決定の間、一度に僅か１つの画像が処理リソースによって評価されることに伴って、処理リソースを削減しうる。
さらに、別の車両によるリバース操作を決定することに部分的に基づいて車両を制御するための技法は、より早期に、及びより優れた精度でリバース操作を決定することによって、近づいてくるトラフィック及び／又は歩行者との衝突を車両が回避しうるという自信を増加させることができ、これは、安全の成果、パフォーマンス、及び／又は精度を改善しうる。コンピュータが機能することに対するこれらの、及び他の改善点が本明細書で議論される。
本明細書で説明される技法は、いくつかのやり方で実装されうる。例示的な実装が、以下の図を参照して下で提供される。自律車両のコンテキストにおいて議論されるものの、本明細書で説明される方法、装置、及びシステムは、多様なシステム（例えば、センサシステム又はロボットプラットフォーム）に適用されることができ、自律車両に限定はされない。一例において、本明細書で説明される技法は、そのようなシステムが様々な操作を実施することが安全であるかどうかのインジケーションを車両の運転者に提供しうる、運転者制御の車両において利用されてもよい。別の例において、本技法は、航空若しくは航海のコンテキストにおいて、又は、システムに未知である挙動に関連付けられうるオブジェクト又はエンティティを内包する任意のシステムにおいて利用されてもよい。そのような技法はまた、例えば、コンポーネントが組み立てラインを流れる際にそれらを検査するための、製造及び組み立てのコンテキストにおいて利用されてもよい。追加として、本明細書で説明される技法は、（例えば、センサを利用してキャプチャされた）実データ、（例えば、シミュレータによって生成された）シミュレートされたデータ、又はその２つの任意の組合せと共に利用されうる。
図１は、本開示の例による、リバースギアにあると決定された車両の予測された軌道に基づいて自律車両を制御するための挿絵入りフロー図１００である。
動作１０２は、画像に表された車両の特徴を検出することを含み、特徴は、車両がリバースギアにあるかどうかを示す特徴タイプである。例えば、特徴タイプは、車両がリバースギアにあることを示す車両のライト、車両がリバースギアにあるという車両によって出力された音声、その他であってよい。いくつかのケースにおいて、説明されるプロセスは、それでもなお、上及び下で説明されるように、他の情報に基づいて車両の予測された軌道を決定し続けうるけれども、画像に車両が表されていることがあっても、特徴それ自体は表されていないことがある（例えば、特徴が見えなくされている、又は特徴が音声（例えば、バックアップビーパー、バックアップアラーム、若しくは車両モーションアラーム）であるとき）。
例において、画像１０４は、自律車両が環境を横断するときに、自律車両１０８の画像センサ１０６によってキャプチャされてよい。画像１０４は、環境を横断している車両１１０もまた表しうる。いくつかのケースにおいて、画像１０４は、車両１１０のまわりでトリミングされて、車両１１０の１つ又は複数の特徴を検出するために利用されうるトリミングされた画像１１２を生成してもよい。このケースにおいて、自律車両１０８は、車両１１０がリバースギアにあることを示しうる車両１１０のライト、車両１１０がブレーキをかけていること、車両１１０が左又は右に曲がるように意図することを示すためのブリンカ（blinkers）、車両１１０のハザードライト、その他に対応する、特徴１１４（Ａ）、１１４（Ｂ）、及び１１４（Ｃ）（一括して特徴１１４）を検出しうる。
ホイール角度、二重駐車車両（例えば、環境における第３の車両）の検出、その他などの、他の特徴もまた考えられる。特徴１１４と共に、環境についての追加の情報がまた、自律車両１０８の画像センサ１０６及び／又は他のセンサを利用して検出されてもよい。上で説明され、下でより詳細に説明されるように、車両１１０がリバースギアにある（又は、リバースギアを入れるつもりである、また、「リバース企図状態」と称する）かどうかについて、情報を提供しうる環境の特徴は、（例えば、トラフィックのレーンに対する）車両の向き、環境における車両１１０の位置での速度制限に対する車両１１０の速度、周囲環境における他の車両に対する車両１１０の速度、車両１１０が現在ある特定のレーン、車両１１０が現在あるレーンに隣接するレーン（例えば、隣接する駐車レーン、ドライブウェイ、その他）、車両１１０がジャンクションに、又はジャンクションの近くに位置付けられているかどうか、環境における車両１１０と他の車両との間の距離、車両１１０の近くの他の車両の速度、その他を含みうる。車両１１０及び／又は特徴１１４は、例えば、オブジェクト及びオブジェクトの特徴を識別するようにトレーニングされた意味論的セグメンテーションアルゴリズムを利用して検出されてもよいが、車両１１０及び特徴１１４を検出する他の例もまた考えられる。車両点灯状態の決定に関する追加の詳細は、その全体において参照により本明細書に組み込まれる米国特許出願第１５／９８２，６５８号明細書において見出しうる。
動作１１６は、車両がリバース状態にあることを決定することを含む。例えば、車両がリバースギアにあるかどうかを決定するために、機械学習モデル（又は多数のモデル）が利用されてもよい。いくつかの例において、動作１０２で検出された特徴（及び／又は、車両１１０を取り囲む環境の追加の特徴、検出された特徴あり、又は特徴なしで、動作１０２でキャプチャされた、又は受信されたセンサデータ、その他）は、特定の特徴の特徴タイプに少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに入力されてよい。上の例を続けると、トリミングされた画像１１２が、車両のリバースライトがオンである（例えば、明るくされている）ことに基づいて車両がリバース操作を実施することになることを予測するようにトレーニングされた機械学習モデルに入力されてよい。機械学習モデルは、いくつかのケースにおいて、車両１１０のリバーシング（reversing）状態を、リバース状態、非リバース状態、又はリバース企図状態のうちの１つ又は複数に分類して、いくつかの分類例を命名するようにトレーニングされた分類機であってもよい。車両がリバースギアにあることを決定するために利用されうる機械学習モデルに関する追加の詳細は、図２及び図４の議論において見出すことができる。
動作１１８は、車両がリバース状態にあることと環境の特徴とに少なくとも部分的に基づいて、車両の軌道を予測することを含む。例えば、車両１１０がリバースギアにあると決定されている例１２０を考える。自律車両１０８は、車両１１０の予測された軌道１２６を生成することに関係することがある、車両１２２及び駐車レーン１２４などの、環境の様々な特徴を識別しうる。例えば、車両１１０が、まっすぐにリバースし続ける、又はトラフィックレーン１２８へとリバースするのではなく、駐車レーン１２４に駐車するために、車両１２２のまわりで前進しながら駐車レーン１２４に入る見込みがあることを、自律車両１０８が決定することがある。例において、環境の特徴は、環境のマップデータ（例えば、トラフィックレーン、駐車レーン、ジャンクション、歩道、その他）から決定されてもよいし、環境におけるオブジェクト（例えば、車、歩行者、自転車、建設ゾーン、その他）を表現する画像データ又は他のセンサデータ、その他から決定されてもよい。環境の特徴は、駐車スペース、ドライブウェイ、（例えば、三点方向転換を実施する際の）特定のトラフィックのレーン、荷積みドックなどの、車両１１０が通り抜ける、又は入る見込みがあるオブジェクト、又はトレーラーなどの車両付属品に接続するためのオブジェクトさえもまた決定しながら、他の車両、歩道、歩行者、その他などの、車両１１０が回避する、又は迂回する見込みがあるオブジェクトに基づいて、予測された軌道を決定するために利用されてよい。例えば、環境におけるオブジェクトの予測確率に関連付けられたヒートマップを生成するために、トップダウン手法が利用されてもよく、ヒートマップは次いで、本明細書で議論されるように、車両１１０のための予測された軌道を決定するために利用されてよい。軌道を予測する追加の詳細は、図２と関連して、及び本開示全体を通して議論される。
動作１３０は、軌道に適応するように、自律車両を制御することを含む。例１３２は、車両１１０がリバースギアにあるという決定に基づいて、車両１１０の予測された軌道１２６（例えば、動作１１８の出力）に適応する軌道１３４を決定する自律車両１０８を例証する。自律車両１０８の軌道１３４は、予測された軌道１２６によって予測されたリバース操作を実行し続けるためのスペースを車両１１０に提供しながら、トラフィックレーン１２８へと操作することを含む。いくつかの例において、車両１１０の予測された軌道１２６に適応するのに適したスペースを提供するために、自律車両１０８はまた、車両１１０の幅を決定し、予測された軌道１２６の長さに適用された車両１１０の幅に基づいて、軌道１３４を生成しうる。軌道１３４はまた、予測された軌道１２６に沿って車両１１０の幅を越えて延長された緩衝域（例えば、車両１１０の幅のさらなる２０パーセント）を含んでもよく、これは、車両１１０が辿りうる実際の軌道における僅かな変動のために追加のスペースを提供する、及び／又は、自律車両１０８が車両１１０と衝突することにはならないという車両１１０の運転者による自信を植え付けうる。このようにして、以前の技法に存在していたよりも少ない中断で、自律車両１０８に所望の目的地へと続くためのメカニズムを提供しながら、自律車両１０８は、リバース操作を含む車両１１０の予測された軌道１２６に、安全かつ効果的に適応しうる。
図２は、本開示の例による、車両がリバースギアにあるというインジケーションに部分的に基づいて１つ又は複数の軌道を決定するために利用されうるシステム２００の例証である。
第１の例２０２は、自律車両２０４が環境を通って軌道２０６に沿って進行しているシナリオを例証する。例２０２には、時間ｔ0の位置に図示された車両２０８もまた含まれている。車両２０８の軌道２１０は、車両２０８が時間ｔ0に至るまで実行していた操作を表現する（例えば、過去における）時間ｔ-nから時間ｔ0まで示されている。いくつかの例において、ｔ-nからｔ0までの時間は、１秒、３秒、５秒、ビデオの１０フレーム、ビデオの３０フレーム、その他などの、車両２０８の挙動についての情報を提供するために車両２０８がトラッキングされた時間の量に対応してよい。トップダウン予測実装のコンテキストにおいて、動作は、経時的に環境を表現するデータ（例えば、Ｔ＝－２．０秒、ｔ＝－１．５秒、ｔ＝－１．０秒、ｔ＝－０．５秒での、その時の環境を表現するデータを入力することを含みうる。時間ｔ0で、自律車両２０４は、車両２０８の画像２１２（又は他のデータ）をキャプチャしうる。画像２１２は、車両２０８の予測された軌道などに基づいて、時間ｔ0の後で進行し続けるために、自律車両２０４をどのように制御するかを決定するために利用されてよい。
画像２１２は、いくつかの実例において、車両２０８に関連付けられた境界ボックスに基づいてトリミングされた画像であってもよい。例えば、境界ボックスは、画像データにおいてオブジェクト（車両など）を識別しうる、分類機、ディテクタ、又はセグメンタ（segmenter）によって生成されうる。システム２００に関連付けられて説明される例においては画像が利用されているが、センサデータ又は他の信号の任意の組合せによって決定されうるとき、車両の挙動の周囲環境にインジケーションを提供し、車両についての決定を行うために依拠されうる、他のタイプの視覚信号（例えば、手信号、ディスプレイスクリーン、その他）、聴覚信号、その他などの他のインジケータが、車両に関連付けられてもよい。
車両２０８のための軌道を予測するために、自律車両２０４は、画像２１２（又は、他のインジケータ、センサデータ、信号、データ（例えば、マップデータ）その他）を、機械学習コンポーネント２１４に入力してよく、機械学習コンポーネント２１４は次いで、車両２０８がリバースギアにあるかどうかについてのインジケーションに対応するリバースインジケータ２１６を出力しうる。いくつかの例において、機械学習コンポーネント２１４は、車両２０８のライトの点灯状態などに基づいて、車両２０８がリバース中であることに関連付けられた確率を出力しうる。代替として、又は加えて、機械学習コンポーネント２１４は、車両２０８がリバース状態にあること、車両２０８が非リバース状態にあること、及び／又は車両２０８がリバース企図状態であることなどの考えうるリバースインジケーションに対応する多数の分類のうちの、分類を出力しうる。リバース状態、非リバース状態、及び／又はリバース企図状態へのリバースインジケーション２１６を出力する分類機に関係して一般に説明されているが、機械学習コンポーネントは、代替として、車両がリバースしているのか、それともリバースしていないのかのバイナリインジケーションも出力しうる。
機械学習コンポーネント２１４はまた、リバースインジケータ２１６を決定することを含む、車両２０８の挙動を決定するために利用されうる環境の特徴を受信しうる。環境の特徴は、自律車両２０４のセンサから、及び／又は、自律車両２０４及び車両２０８を取り囲む環境に関連付けられたマップデータから受信されてよい。例えば、機械学習コンポーネント２１４は、車両２０８に関連付けられた車両属性２２２を受信しうる。車両属性２２２は、例えば、車両２０８がリバースギアにあるというインジケータ（例えば、ライト）が可視であるか否かを示しうるインジケータ可視性２１８を含みうる。いくつかのケースにおいて、車両２０８のライトが、見えなくされていること、動作していないこと、又は画像２１２に表されていないことをインジケータ可視性２１８が示す場合、他の特徴が、車両２０８のためのこの先の軌道の予測を行うことにおいてより重く依拠される（例えば、より高く重み付けされる）ことがある。
車両属性２２２はまた、車両２０８の車両方位２２４を含みうる。車両方位２２４は、画像２１２から決定されてよく、例えば、車両２０８があるトラフィックのレーンに対する、及び／又は、駐車レーン若しくは別のトラフィックのレーンなどの、車両２０８があるトラフィックのレーンに隣接するレーンに対する車両２０８の角度に基づいてよい。いくつかのケースにおいて、車両２０８がトラフィックのレーンの移動の方向に概して平行ではない角度で位置する場合、機械学習コンポーネント２１４は、この情報を利用して、車両２０８のリバース状態を予測しうる。
追加として、車両属性２２２は、車両２０８に関連付けられた車両速度２２６を含みうる。車両速度２２６は、例えば、ｌｉｄａｒデータ、ｒａｄａｒデータ、飛行時間データ、画像データ、又は環境におけるオブジェクトの速度を決定するための他の技法に少なくとも部分的に基づいて決定されてよい。機械学習コンポーネント２１４は、車両速度２２６を、環境のための速度制限、又は環境における他の車両の速度のうちの１つ又は複数と比較して、車両２０８がリバース操作を実行している、又はリバース操作を実行するつもりであるという見込みを決定しうる。多くのケースにおいて、リバース操作を実行している車両は、運転可能な領域のために許可された速度制限よりも、遙かに低い速度で進行する。追加として、リバース操作の実行を意図している（例えば、バックして入るための駐車スペースを探している）車両もまた、通常、許可された速度制限及び／又は環境における他の車両よりも低いスピードで動く。従って、機械学習コンポーネント２１４は、車両速度２２６を活用して、車両２０８がリバース操作を実行しているかどうか、及び／又は車両２０８がリバース操作の実行を意図しているかどうかを決定し、それに応じて車両２０８についてのリバース状態を出力しうる。追加の車両属性２２２もまた考えられる。
追加として、機械学習コンポーネント２１４は、自律車両２０４及び車両２０８を取り囲む環境に関連付けられたマップデータ２２８を受信しうる。例えば、マップデータ２２８は、現在のレーンタイプ２３０、隣接レーンタイプ２３２、及び／又はジャンクションのインジケーション２３４を含みうる。現在のレーンタイプ２３０は、車両２０８が占有している現在のレーンを示しうる。例えば、車両２０８は、現在のレーンタイプ２３０として、ドライブウェイを占有していることがある。機械学習コンポーネント２１４は、現在のレーンタイプ２３０を利用して、例えば、ドライブウェイからバックして出る車両２０８に関連付けられた予測された軌道を決定しうる。隣接レーンタイプ２３２は、駐車レーン、他のトラフィックレーン、その他などの、車両２０８が占有している現在のレーンに最も近いレーンを示しうる。例において、機械学習コンポーネント２１４は、隣接レーンタイプ２３２を利用して、縦列駐車操作、バックして直角駐車スペースに入る操作、三点方向転換操作、その他などの間の、車両２０８のリバース状態を予測しうる。ジャンクションのインジケーション２３４は、曲がり角をバックするなどの操作について車両２０８のリバース状態を予測するために機械学習コンポーネント２１４が利用しうる、車両２０８に最も近いジャンクションを示しうる。追加のマップデータ２２８がまた、車両２０８についてのリバース状態を予測するために、機械学習コンポーネント２１４によって利用されてもよい。
さらに、機械学習コンポーネント２１４は、自律車両２０４及び車両２０８以外の車両に関係した情報に、並びに時間ｔ0に車両２０８によって実施されている操作に他の車両がどのように反応しているかに対応してよい、周囲車両属性２３６を受信しうる。周囲車両属性２３６は、例えば、車両２０８からの距離２３８、及び／又は車両２０８に最も近い速度２４０を含みうる。距離２３８及び／又は速度２４０は、ｌｉｄａｒデータ、ｒａｄａｒデータ、飛行時間データ、画像データ、又は環境におけるオブジェクトの相対距離若しくは速度を決定するための他のデータ若しくは技法に少なくとも部分的に基づいて決定されてよい。
多くのケースにおいて、車両２０８がリバース操作を行っている可能性があることを他の車両（又は他の車両の運転者）が予想するとき、他の車両は、車両２０８に追加のスペースを提供することがある。従って、機械学習コンポーネント２１４は、他の車両が、それら自体と車両２０８との間に追加の距離２３８を提供していることを決定してよく、この情報を利用して、車両２０８がリバース操作を実行しているかどうか、又はリバース操作の実行を意図しているかどうかを予測しうる。同様に、多くのケースにおいて、車両２０８がリバース操作を行っている可能性があることを他の車両が予想するとき、他の車両は、（例えば、車両がリバース操作を完了するのを待つために）より遅い速度で、又は（例えば、予想されるリバース操作を車両が実行する前に進行するために）より速い速度で進行することがある。従って、機械学習コンポーネント２１４は、他の車両が車両２０８に最も近い異なる速度２４０で進行していることを決定してよく、この情報を利用して、車両２０８がリバース操作を実行しているかどうか、又はリバース操作の実行を意図しているかどうかを予測しうる。追加の周囲車両属性２３６がまた、車両２０８についてのリバース状態を予測するために、機械学習コンポーネント２１４によって利用されてもよい。
車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６は、リバースインジケータ２１６を出力するために、機械学習コンポーネント２１４によって多様なやり方で活用されてよい。例えば、機械学習コンポーネント２１４は、例えば、カルマンフィルタを適用することによって、又は畳み込みニューラルネットワークを利用することによってデータフュージョン手法を利用して、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６に関係した多数のセンサ様式から受信されたデータを組み合わせうる。機械学習コンポーネント２１４は、加えて、リバース状態、非リバース状態、及び／又はリバース企図状態から選択するための分類機を利用して、機械学習コンポーネント２１４のデータフュージョンレイヤから受信された情報に基づいてリバースインジケータ２１６を生成しうる。
画像２１２、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６のいずれかを利用して決定されたリバースインジケータ２１６は、軌道決定コンポーネント２２０に出力されてよく、軌道決定コンポーネント２２０は、リバースインジケータ２１６を利用して、車両２０８のためのこの先の軌道を予測してよく、車両２０８のための予測された軌道に基づいて、自律車両２０４の軌道２０６を調整しうる。いくつかの例において、軌道決定コンポーネント２２０はまた、車両２０８の予測された軌道を洗練するために利用されうる及び／又は軌道２０６を調整するために利用されうる、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６を含む、環境の特徴を受信しうる。環境の特徴は、自律車両２０４のセンサから、及び／又は自律車両２０４及び車両２０８を取り囲む環境に関連付けられたマップデータから受信されてよい。
いくつかの例において、軌道決定コンポーネント２２０は、リバースインジケータ２１６、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６から受信された入力を組み合わせて、リバースインジケータ２１６と併せて異なる環境属性の重み付けされた平均を利用することなどによって、車両２０８のための軌道を予測しうる。いくつかの例において、リバースインジケータ２１６、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６から受信された入力は、例えば、カルマンフィルタを適用することによって、又は畳み込みニューラルネットワークを利用することによって、１つ又は複数のデータフュージョン手法を利用して組み合わせられて、車両２０８のための予測された軌道を生成しうる。例えば、マップデータ２２８は、車両属性２２２及び／又は周囲車両属性２３６と組み合わせられて、候補駐車位置（又は他のリバース操作可能性の位置）を決定してよく、物理学ベースのモデルを利用して、車両２０８がバックして候補駐車位置の駐車スペースに入る見込みを決定しうる。
別の例において、画像２１２、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６は、車両２０８の考えうる軌道を示すヒートマップを出力する機械学習モデルに入力されてもよい。上で説明されたように、軌道決定コンポーネント２２０は、機械学習モデルを利用して、車両属性２２２、マップデータ２２８、周囲車両属性２３６、その他などの環境の特徴に関連付けられた情報を含んだチャネルを含むトップダウン画像を生成することによって、軌道を予測しうる。予測された軌道を生成するために利用される機械学習モデルは、この先における１つ又は複数の時間（例えば、１秒、２秒、３秒、その他）に対応する時間ｔnに車両２０８に関連付けられた座標（例えば、ｘ座標及びｙ座標）を出力しうる。いくつかの例において、軌道決定コンポーネント２２０の機械学習モデルは、車両２０８に関連付けられた座標、並びに各座標に関連付けられた確率情報を出力しうる。さらに、機械学習モデルは、予測確率に関連付けられたヒートマップを出力しうる。いくつかの例において、少なくとも１つの予測された軌道が、ヒートマップに少なくとも部分的に基づいて決定されてよい。トップダウン手法を利用して軌道を予測することに関する追加の詳細は、その全体において参照により本明細書に組み込まれる米国特許出願第１６／１５１，６０７号明細書において見出すことができる。リバース状態が変化したと決定されるまで、予め決められた時間の量（例えば、０．５秒、１秒、２秒、３秒、その他）にわたって車両が車両の観察された速度でリバースにおいて進行するであろうという予測などの、リバース状態（又はリバース企図状態）にあると決定された車両２０８のための軌道を予測するための他の手法もまた考えられる。他の例もまた考えられる。
例２４２は、例２０２と同じ時間（ｔ0）に対応しているが、このケースでは、車両２０８の軌道決定コンポーネント２２０への入力に基づいた、車両２０８の予測された軌道２４４を表す。このケースにおいて、リバースインジケータ２１６は、上で説明されたように、（例えば、車両２０８のリバースライトの点灯状態がオンであることに基づいて）車両２０８がリバースギアにあるという決定、及び／又は環境の追加の特徴に基づいてよい。
軌道決定コンポーネント２２０はまた、車両が占有している現在のレーンに最も近い、車両２０８がバックして入りうる直角駐車スペースの位置、車両２０８が占有している現在のレーン及び／又は駐車レーンに対する車両２０８の向き、時間ｔ-nから時間ｔ0までの車両２０８の速度、並びに車両２０８に対する周囲環境における他の車両の距離及び／又は速度などの環境の特徴を活用して、予測された軌道２４４を生成しうる。予測された軌道２４４は、１秒、３秒、５秒、及びその他などの、この先における時間ｔnに対応してよい。いくつかの例において、軌道決定コンポーネント２２０はまた、減速して時間ｔnまで車両２０８を待つためになど、予測された軌道２４４に基づいて、自律車両２０４の軌道２０６を軌道２４６に変更して、予測された軌道２４４によって示されたリバース操作を車両２０８が完了するのを可能にしうる。
図３は、本開示の例による、リバース企図状態を決定するための環境特徴、及び車両のためのその後の軌道推定を利用する例証３００である。
例３０２は、時間ｔ1で環境を横断する自律車両３０４及び車両３０６を表す。自律車両３０４は、車両３０６が軌道３１０に沿って環境を横断するときに、車両３０６を辿ることに一致してよい軌道３０８に沿って環境を横断していてよい。例３０２において、自律車両３０４及び車両３０６は、駐車レーン３１２の様々な駐車スペースにおける車両を含む駐車レーン３１２を通過していてよい。
例３１４は、駐車レーン３１２のなおも近傍で、時間ｔ1後の時間ｔ2での自律車両３０４及び車両３０６を表す。自律車両３０４及び車両３０６は、時間ｔ1から時間ｔ2まで、駐車レーン３１２に沿って前進している。しかし、時間ｔ2で、車両３０６は、減速するためにブレーキを適用して、車両３０６のブレーキライト３１６を明るくさせてよい。明るくしている車両３０６のブレーキライト３１６の検出に応答して、自律車両３０４は、軌道３０８を、自律車両３０４が車両３０６との衝突を回避するために減速する、及び／又は停止する軌道３１８に変更しうる。
車両３０６は、時間ｔ2で、車両３０６が現在リバースギアにあるというインジケーションを提供していないが、自律車両３０４は、他の情報を利用して、車両３０６がリバース操作を実行するより一層の見込みがある（例えば、リバース企図状態である）ことを決定し、時間及び／又はスペースを車両３０６に提供することによって、予想されるリバース操作に適応しうる。例えば、時間ｔ2で、自律車両３０４は、（例えば、環境の速度制限及び／又は環境における他の車両に対する）車両３０６のスピード、駐車レーン３１２までの車両３０６の近接性を示すマップデータ、及び／又は、占有されていないことがある駐車レーン３１２の個々の駐車スペースを示す画像データを分析し、車両３０６がリバースギアにあることを現在示していないにもかかわらず、車両３０６が今にもリバース操作を実行しうるという見込みを増加させうる。
例えば、例３２０及び例３２２は、時間ｔ3での自律車両３０４及び車両３０６を表し、ここで、例３２０は、時間ｔ3Aに対応し、例３２２は、時間ｔ3Bに対応する（例えば、２つの例は例証目的のために表されているが、概して同じ時間）。例３２０において、車両３０６は、車両３０６が駐車レーン３１２から向きを変えて離れ始める軌道３２４に沿って前進する。自律車両３０４は、車両３０６の軌道３２４の観察を、駐車レーン３１２に関連付けられたマップデータ、及び／又は占有されていないことがある駐車レーン３１２の個々の駐車スペースを示す画像データと組み合わせ、車両３０６がリバース操作を実行しようとしている見込みを増加させうる。いくつかの例において、自律車両３０４はまた、車両３０６の現在位置で、車両３０６がフォワード方向の左折を行うためのスペースがないことを（例えば、画像データ又はマップデータから）検出することがあり、これは、車両３０６がリバース操作を実行しようとしている見込みを増加させうる。車両３０６がリバース操作を実行しようとしている増加された見込みは、車両３０６がリバース企図状態であることをラベル付けされるようにしうる。
例３２２において、自律車両３０４は、車両３０６の挙動の観察及び／又は車両３０６を取り囲む環境の特徴に基づいて、並びに車両３０６がリバース企図状態であるという決定に従って、予測された軌道３２６を生成しうる。予測された軌道３２６は、駐車レーン３１２における特定のスペースに入るために車両３０６によって実行されることになるリバース操作に対応してよい。予測された軌道３２６に基づいて、自律車両３０４は、時間ｔ2で自律車両３０４が辿っていた軌道３１８を、予測された軌道３２６のリバース操作に適応しうる軌道３２８に変更しうる。
いくつかの例において、軌道３２８は、自律車両３０４に、減速させる、位置を維持させる（例えば、停止させる）、及び／又は予測された軌道３２６を迂回しうる。例において、自律車両３０４は、時間ｔ3の後に、車両３０６の挙動を評価し続けて、車両３０６が実際にリバース操作を実行することになる見込みを決定する。車両３０６がリバース操作を実行することになる見込みは、例えば、図２に関係して議論されたように、リバース状態が明るくされていることを示す車両３０６のライトに応答して、増加されてよい。いくつかのケースにおいて、リバースライトが明るくされていることなどによる車両３０６がリバース状態にあるという識別は、自律車両３０４に、車両３０６に関連付けられたラベルを、リバース企図状態からリバース状態へと変化させうる。
図４は、本明細書で説明される技法を実装するための例示的なシステム４００のブロック図を表す。少なくとも一例において、システム４００は、自律車両、半自律車両、又は手動制御車両などの車両４０２を含みうる。
車両４０２は、車両コンピューティングデバイス４０４と、１つ又は複数のセンサシステム４０６と、１つ又は複数のエミッタ４０８と、１つ又は複数の通信接続４１０と、少なくとも１つの直接接続４１２と、１つ又は複数の駆動システム４１４とを含みうる。
車両コンピューティングデバイス４０４は、１つ又は複数のプロセッサ４１６と、１つ又は複数のプロセッサ４１６に通信可能に結合されたメモリ４１８とを含みうる。例証された例において、車両４０２は、自律車両であり、しかし、車両４０２は、任意の他のタイプの車両又はロボットプラットフォームであってもよい。例証された例において、車両コンピューティングデバイス４０４のメモリ４１８は、位置特定コンポーネント４２０と、知覚コンポーネント４２２と、１つ又は複数のマップ４２４と、１つ又は複数のシステムコントローラ４２６と、軌道決定コンポーネント４２８と、特徴識別子コンポーネント４３０と、軌道予測コンポーネント４３２と、プランニングコンポーネント４３４とを記憶する。例証目的のために、図４にはメモリ４１８に常駐しているように表されているものの、位置特定コンポーネント４２０、知覚コンポーネント４２２、１つ又は複数のマップ４２４、１つ又は複数のシステムコントローラ４２６、軌道決定コンポーネント４２８、特徴識別子コンポーネント４３０、軌道予測コンポーネント４３２、及びプランニングコンポーネント４３４は、追加として、又は代替として、車両４０２にアクセス可能（例えば、車両４０２からリモートのメモリ上に記憶される、又はそうでなければ車両４０２からリモートのメモリによってアクセス可能）であってもよいことが企図される。
少なくとも一例において、位置特定コンポーネント４２０は、車両４０２の位置及び／又は向き（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、又はヨーのうちの１つ又は複数）を決定するために、センサシステム４０６からデータを受信するための機能を含みうる。例えば、位置特定コンポーネント４２０は、環境のマップを含む、及び／又は要求／受信することができ、マップ内での自律車両の位置及び／又は向きを継続して決定しうる。いくつかの実例において、位置特定コンポーネント４２０は、自律車両の位置を正確に決定するために、ＳＬＡＭ（同時の位置特定及びマッピング）、ＣＬＡＭＳ（較正、位置特定、及びマッピングを同時に）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化、その他を利用して、画像データ、ｌｉｄａｒデータ、ｒａｄａｒデータ、飛行時間データ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータ、その他を受信しうる。いくつかの実例において、位置特定コンポーネント４２０は、本明細書で議論されるように、車両４０２の様々なコンポーネントにデータを提供して、軌道を生成するための、マップデータを取り出すことを決定するための、その他のための自律車両の初期位置を決定しうる。
いくつかの実例において、知覚コンポーネント４２２は、オブジェクト検出、セグメンテーション、及び／又は分類を実施するための機能を含みうる。いくつかの例において、知覚コンポーネント４２２は、車両４０２に最も近いエンティティ若しくはオブジェクトの存在、及び／又はエンティティタイプ（例えば、車、ホイール、歩行者、サイクリスト、動物、建物、木、道路表面、縁石、歩道、停止ライト、停止サイン、レーンマーカ、車両ライト、不明のもの、その他）としてのエンティティの分類を示す、処理されたセンサデータを提供しうる。追加又は代替の例において、知覚コンポーネント４２２は、検出されたエンティティ（例えば、トラッキングされたオブジェクト）、及び／又はエンティティが位置する環境に関連付けられた１つ又は複数の特性を示す、処理されたセンサデータを提供しうる。いくつかの例において、エンティティに関連付けられた特性は、ｘ位置（全体的及び／又は局所的位置）、ｙ位置（全体的及び／又は局所的位置）、ｚ位置（全体的及び／又は局所的位置）、向き（例えば、ロール、ピッチ、ヨー）、エンティティタイプ（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの広さ（サイズ）、その他を含みうるが、それらに限定はされない。環境に関連付けられた特性は、環境における別のエンティティの存在、環境における別のエンティティの状態、時刻、曜日、季節、天候条件、暗さ／明るさのインジケーション、その他を含みうるが、それらに限定はされない。
知覚コンポーネント４２２が検出を実施する例において、知覚コンポーネント４２２は、画像におけるオブジェクトの検出及び／又は検出されたオブジェクトの特徴を出力しうる。そのような検出は、検出されたオブジェクトの、二次元境界ボックス（その後画像をトリミングするために利用されてもよい）及び／又はマスクを含みうる。いくつかの例において、そのような検出は、機械学習手法（例えば、スケール不変特徴変換（ＳＩＦＴ）、方向付けられた勾配のヒストグラム（ＨＯＧ）、その他）、それに続くサポートベクトルマシン（ＳＶＭ）を利用して、センサシステム４０６のカメラから受信された画像に表されているオブジェクトを分類しうる。代替として、又は追加として、検出は、畳み込みニューラルネットワーク（ＣＮＮ）に基づいた深層学習手法を利用して、センサシステム４０６のカメラから受信された画像に表されているオブジェクトを分類しうる。例において、検出は、説明される技法に従って、オブジェクト検出技法（又はその他）のうちの１つ又は複数を利用して、画像に表されているオブジェクトを検出する、及び／又は画像に表されているオブジェクトの特徴を検出しうる。
メモリ４１８は、環境内でナビゲートするために、及び／又は環境における特徴の位置を決定するために、車両４０２によって利用されうる１つ又は複数のマップ４２４をさらに含みうる。この議論の目的のために、マップは、限定はされないが、トポロジ（交差点など）、通り、山岳地帯、道路、地形、及び環境一般などの、環境についての情報を提供することが可能な二次元、三次元、又はＮ次元でモデル化された任意の数のデータ構造であってよい。いくつかの実例において、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）、その他）、輝度情報（例えば、ｌｉｄａｒ情報、ｒａｄａｒ情報、その他）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル（surfel）」（例えば、個々の色及び／又は輝度に関連付けられた多角形））、反射性情報（例えば、鏡面反射性情報、再帰反射性情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報、その他）を含みうるが、それらに限定はされない。一例において、マップは、環境の三次元メッシュを含みうる。いくつかの実例において、マップは、マップの個々のタイルが環境の不連続な一部を表現するようなタイル形式で記憶されてもよく、必要に応じて、作業メモリの中にロードされてもよい。少なくとも一例において、１つ又は複数のマップ４２４は、少なくとも１つのマップ（例えば、画像及び／又はメッシュ）を含みうる。いくつかの例において、車両４０２は、マップ４２４に少なくとも部分的に基づいて制御されてよい。即ち、マップ４２４は、車両４０２の位置を決定する、環境におけるオブジェクト及び／又は環境特徴を識別する、及び／又は環境内でナビゲートするためのルート及び／又は軌道を生成するために、位置特定コンポーネント４２０、知覚コンポーネント４２２、軌道決定コンポーネント４２８、又はプランニングコンポーネント４３４と関連して利用されてよい。
いくつかの例において、１つ又は複数のマップ４２４は、ネットワーク４３６を介してアクセス可能な、リモートのコンピューティングデバイス（コンピューティングデバイス４３８など）上に記憶されてもよい。いくつかの例において、多数のマップ４２４が、例えば、特性（例えば、エンティティのタイプ、時刻、曜日、一年の季節、その他）に基づいて記憶されてもよい。多数のマップ４２４を記憶することは、同様のメモリ要件を有しつつ、マップにおけるデータがアクセスされうるスピードを増加させうる。いくつかの例において、１つ又は複数のマップ４２４は、環境における個々の位置に関連付けられたオブジェクトのサイズ又は寸法を記憶しうる。例えば、車両４０２が環境を横断するときに、及び車両４０２に最も近いエリアを表現するマップがメモリの中にロードされるときに、位置に関連付けられたオブジェクトの１つ又は複数のサイズ又は寸法もまた、メモリの中にロードされてよい。
一般に、軌道決定コンポーネント４２８は、車両４０２を取り囲む環境における車両がリバースギアにあることを決定し、車両がリバースギアにあるという決定に基づいて車両の軌道を予測し、センサシステム４０６によって提供されたデータに基づいて、車両の予測された軌道に適応する、車両４０２のための軌道を生成しうる。いくつかの実例において、軌道決定コンポーネント４２８は、環境を横断するために、いつ及び／又はどのように車両４０２を制御するかを決定するために、特徴識別子コンポーネント４３０及び／又は軌道予測コンポーネント４３２によって生成された情報を、プランニングコンポーネント４３４に提供しうる。本明細書で議論されるように、軌道決定コンポーネント４２８は、画像データ、マップデータ、ｌｉｄａｒデータ、その他を受信して、環境におけるオブジェクトについての情報を決定しうる。
特徴識別子コンポーネント４３０は、車両の画像（又はトリミングされた画像）から、及び画像又は他のセンサ様式からの環境の特徴に関する情報から、車両がリバースギアにあるかどうかのインジケーションを生成しうる。例えば、特徴識別子コンポーネント４３０は、いくつか例を挙げると、リバース状態、非リバース状態、又は見えなくされた状態などのカテゴリに、車両のライトの点灯状態を分類するようにトレーニングされた機械学習モデルを利用しうる。いくつかの例において、本技法は、環境におけるオブジェクトのリバース状態を決定するために環境において継続して実施されてもよく、及び／又は、車両の位置、環境におけるオブジェクトの存在、その他などの前提条件に関連付けられてもよい。いくつかの例において、特徴識別子コンポーネント４３０は、ライトの点灯状態が検出されている限り、及び／又は車両がリバース状態にあると分類されている限り、車両がリバース状態にあることを示す車両に関連付けられたタグ（又はフラグ、追加の情報、その他）を、プランニングコンポーネント４３４に出力しうる。追加として、いくつかのケースにおいて、特徴識別子コンポーネント４３０は、本明細書で説明されるように、車両がリバース企図状態であるという車両に関連付けられたタグを、プランニングコンポーネント４３４に出力しうる。例において、特徴識別子コンポーネント４３０によって利用される機械学習モデルが分類機である場合、機械学習モデルは、特徴（例えば、図２に関係して説明された、車両のライトの点灯状態、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６）のグラウンドトルス（ground truth）状態を示すように注釈付けされたトレーニング画像データを利用して、トレーニングされてよい。さらに、特徴識別子コンポーネント４３０によって利用される機械学習モデルは、画像がキャプチャされた時間、又は車両が別のやり方でリバース状態にある、若しくはリバース企図状態であると分類される時間に最も近い時間の量、例えば、画像がキャプチャされた時間の１秒前及び／又は１秒後、画像がキャプチャされた時間の３秒前及び／又は３秒後、画像がキャプチャされた時間の５秒前及び／又は５秒後、その他の時間の量にわたって、車両の移動の方向のグラウンドトルス状態を示すように注釈付けされたトレーニング画像データを利用して、トレーニングされてもよい。いくつかの例において、トレーニングデータは、本明細書で議論される技法の特定の実装に対応しうる。即ち、トレーニングデータは、環境における車両で本技法を実行するための設計された入力に対応しうる。
特徴識別子コンポーネント４３０は、別の車両がリバースギアにあることを決定することに関係してよい、及び／又は他の車両の予測された軌道を決定することに関係してよい環境の特徴を識別しうる。例えば、特徴識別子コンポーネント４３０は、マップ４２４から、トラフィックレーン、駐車レーン、自転車レーン、ジャンクション、及び／又は歩道などの、環境における特徴を識別しうる、及び／又は、センサシステム４０６によってキャプチャされたセンサデータから、他の車両、歩行者、自転車、その他などの、環境における特徴を識別しうる。これらの特徴は、車両に関連付けられたリバースインジケータを提供するなどのために、車両挙動を予測するために機械学習モデルの中に入力されてよい。いくつかの例において、特徴識別子コンポーネント４３０は、車両がリバースギアにあることを決定することに関係する車両の特徴及び／又は環境の特徴に関する情報を、車両４０２を制御する際に利用するために、プランニングコンポーネント４３４に提供しうる。
軌道予測コンポーネント４３２は、車両がリバースギアにあるというインジケーションから、及び／又は環境の特徴から、車両がリバース操作を実行するために辿りうる予測された軌道を決定しうる。例えば、軌道予測コンポーネント４３２は、車両がリバースギアにあるというインジケーション、及び環境の特徴に基づいて、いくつか例を挙げると、車両が縦列駐車操作を実施していること、車両がバックして駐車スペースに入っていること、車両が曲がり角をバックしていること、又はバックしてドライブウェイに入っていることを決定しうる。
いくつかのケースにおいて、軌道予測コンポーネント４３２は、特徴識別子コンポーネント４３０から、車両が現在リバースギアにないというインジケーションを受信することがあるが、車両の挙動に基づいて、上で説明されたように、車両は操作を実行するためにリバースギアに移行する見込みがある（例えば、リバース企図状態である）ことを決定することがある。いくつかの例において、軌道予測コンポーネント４３２は、リバース操作を含む車両の予測された軌道に関する情報を、例えば、車両によるリバース操作に安全かつ効果的に適応するように車両４０２を制御する際に利用するために、プランニングコンポーネント４３４に提供しうる。
一般に、プランニングコンポーネント４３４は、車両４０２が環境を横断するために辿るための経路を決定しうる。例えば、プランニングコンポーネント４３４は、様々なルート及び軌道、並びにリバース操作を実行する見込みがあると決定された他の車両のための余地を提供することを含む、様々なレベルの詳細を決定しうる。例えば、プランニングコンポーネント４３４は、第１の位置（例えば、現在の位置）から第２の位置（例えば、ターゲット位置）まで移動するためのルートを決定しうる。この議論の目的のために、ルートは、２つの位置の間を移動するためのウェイポイントのシーケンスであってよい。非限定的な例として、ウェイポイントは、通り、交差点、全地球測位システム（ＧＰＳ）座標、その他を含む。さらに、プランニングコンポーネント４３４は、第１の位置から第２の位置までのルートの少なくとも一部に沿って、自律車両を導くための命令を生成しうる。少なくとも一例において、プランニングコンポーネント４３４は、ウェイポイントのシーケンスにおける第１のウェイポイントから、ウェイポイントのシーケンスにおける第２のウェイポイントまで、自律車両をどのように導くのかを決定しうる。いくつかの例において、命令は、軌道、又は軌道の一部であってよい。いくつかの例において、後退ホライズン技法に従って、多数の軌道が実質的に同時に（例えば、技術的許容内で）生成されることが可能であり、その中で多数の軌道のうちの１つが、車両４０２がナビゲートするために選択される。
いくつかの実例において、プランニングコンポーネント４３４は、本明細書で議論されるように、車両がリバース操作を実行している、又は実行する見込みがあるという決定に少なくとも部分的に基づいて、車両４０２のための１つ又は複数の軌道を生成しうる。プランニングコンポーネント４３４は、ルートに沿ったウェイポイントのシーケンスに沿い続けながら、別の車両によるリバース操作に適応する１つ又は複数の軌道を生成しうる。いくつかの例において、プランニングコンポーネント４３４は、線形時相論理及び／又は信号時相論理などの時相論理を利用して、車両４０２の１つ又は複数の軌道を評価しうる。
少なくとも一例において、車両コンピューティングデバイス４０４は、車両４０２のステアリング、推進、ブレーキング、安全、エミッタ、通信、及び他のシステムを制御するように構成されうる、１つ又は複数のシステムコントローラ４２６を含みうる。システムコントローラ４２６は、駆動システム４１４の対応するシステム、及び／又は車両４０２の他のコンポーネントと通信する、及び／又はそれらを制御しうる。
理解されうるように、本明細書で議論されるコンポーネント（例えば、位置特定コンポーネント４２０、知覚コンポーネント４２２、１つ又は複数のマップ４２４、１つ又は複数のシステムコントローラ４２６、軌道決定コンポーネント４２８、特徴識別子コンポーネント４３０、軌道予測コンポーネント４３２、及びプランニングコンポーネント４３４）は、例証目的のために分割されるように説明されている。しかし、様々なコンポーネントによって実施される動作は、組み合わせられても、又は任意の他のコンポーネントにおいて実施されてもよい。例として、軌道決定コンポーネント４２８、特徴識別子コンポーネント４３０、及び／又は軌道予測コンポーネント４３２に関係して説明された機能が、システムによって伝達されるデータの量を削減するために、知覚コンポーネント４２２によって実施されてもよい。
少なくとも一例において、センサシステム４０６は、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパス、その他）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁気計、ジャイロスコープ、その他）、カメラ（例えば、ＲＧＢ、ＩＲ、輝度、深度、飛行時間、その他）、マイクロフォン、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサ、その他）その他を含みうる。センサシステム４０６は、センサのこれらの、又は他のタイプの各々の多数の実例を含みうる。例えば、ｌｉｄａｒセンサは、車両４０２の隅、前部、バック、側部、及び／又は上部に位置付けられた個々のｌｉｄａｒセンサを含みうる。別の例として、カメラセンサは、車両４０２の外側及び／又は内側についての様々な位置に配置された多数のカメラを含みうる。センサシステム４０６は、車両コンピューティングデバイス４０４に、入力を提供しうる。追加として、又は代替として、センサシステム４０６は、１つ又は複数のネットワーク４３６を介して、特定の頻度で、予め決められた時間の期間の経過後に、準実時間に、その他に、１つ又は複数のコンピューティングデバイスにセンサデータを送信しうる。
車両４０２はまた、上で説明されたように、光及び／又は音声を発するための１つ又は複数のエミッタ４０８を含みうる。この例におけるエミッタ４０８は、車両４０２の搭乗者と通信するための内側のオーディオ及びビジュアルエミッタを含む。限定ではなく例として、内側のエミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動及び／又は力フィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナー、その他）、その他を含みうる。この例におけるエミッタ４０８はまた、外側のエミッタを含む。限定ではなく例として、この例における外側のエミッタは、移動の方向を合図するためのライト、又は車両アクションの他のインジケータ（例えば、インジケータライト、サイン、ライトアレイ、その他）、及び歩行者又は他の付近の車両と可聴的に通信するための１つ又は複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーン、その他）を含み、そのうちの１つ又は複数は、音響ビームステアリング技術を含む。
車両４０２はまた、車両４０２と、１つ又は複数の他のローカル又はリモートのコンピューティングデバイスとの間で通信を容易にする、１つ又は複数の通信接続４１０を含みうる。例えば、通信接続４１０は、車両４０２上の他のローカルコンピューティングデバイス及び／又は駆動システム４１４との通信を促進しうる。また、通信接続４１０は、車両が、他の付近のコンピューティングデバイス（例えば、他の付近の車両、トラフィック信号、その他）と通信することを可能にしうる。通信接続４１０はまた、車両４０２が、リモートの遠隔操作コンピューティングデバイス又は他のリモートのサービスと通信するのを容易にする。
通信接続４１０は、車両コンピューティングデバイス４０４を、別のコンピューティングデバイス、又はネットワーク４３６などのネットワークに接続するための、物理的及び／又は論理的インターフェースを含みうる。例えば、通信接続４１０は、ＩＥＥＥ８０２．１１標準によって定義された周波数などを介したＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離ワイヤレス周波数、セルラ通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇ、その他）、又は、それぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースを取ることを容易にする任意の好適なワイヤード若しくはワイヤレス通信プロトコルを、容易にしうる。
少なくとも一例において、車両４０２は、１つ又は複数の駆動システム４１４を含みうる。いくつかの例において、車両４０２は、単一の駆動システム４１４を有することがある。少なくとも一例において、車両４０２が多数の駆動システム４１４を有する場合、個々の駆動システム４１４は、車両４０２の反対側端部（例えば、前部及び後部、その他）に位置決めされてよい。少なくとも一例において、駆動システム４１４は、駆動システム４１４及び／又は車両４０２の周囲の条件を検出するための１つ又は複数のセンサシステムを含みうる。限定ではなく例として、センサシステムは、駆動モジュールのホイールの回転を検知するための１つ又は複数のホイールエンコーダ（例えば、ロータリエンコーダ）、駆動モジュールの向き及び加速を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計、その他）、カメラ又は他の画像センサ、駆動システムの周囲におけるオブジェクトを音響的に検出するための超音波センサ、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、その他を含みうる。ホイールエンコーダなどのいくつかのセンサは、駆動システム４１４に独自であってよい。いくつかのケースにおいて、駆動システム４１４上のセンサシステムは、車両４０２の対応するシステム（例えば、センサシステム４０６）と重なる、又は対応するシステムを補足しうる。
駆動システム４１４は、高電圧バッテリ、車両を推進させるためのモータ、他の車両システムによる利用のためにバッテリからの直流電流を交流電流にコンバートするためのインバータ、ステアリングモータ及びステアリングラック（電気式であってもよい）を含むステアリングシステム、液圧式又は電気式アクチュエータを含むブレーキングシステム、液圧式及び／又は空気圧式コンポーネントを含むサスペンションシステム、トラクションの喪失を軽減し、制御を維持するためにブレーキ力を分散するための安定制御システム、ＨＶＡＣシステム、照明（例えば、車両の外側の周囲を明るくするためのヘッド／テールライトなどの照明）、並びに１つ又は複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気式コンポーネント、その他）を含む、車両システムの多くを含みうる。追加として、駆動システム４１４は、センサシステムからのデータを受信し前処理することができて、様々な車両システムの動作を制御するための、駆動システムコントローラを含みうる。いくつかの例において、駆動システムコントローラは、１つ又は複数のプロセッサと、１つ又は複数のプロセッサに通信可能に結合されたメモリとを含みうる。メモリは、駆動システム４１４の様々な機能を実施するための１つ又は複数のコンポーネントを記憶しうる。さらに、駆動システム４１４はまた、１つ又は複数の他のローカル又はリモートのコンピューティングデバイスとのそれぞれの駆動システムによる通信を容易にする、１つ又は複数の通信接続を含む。
少なくとも一例において、直接接続４１２は、１つ又は複数の駆動システム４１４を車両４０２の本体に結合するための、物理インターフェースを提供しうる。例えば、直接接続４１２は、駆動システム４１４と車両との間で、エネルギー、流体、空気、データ、その他の伝達を可能にしうる。いくつかの実例において、直接接続４１２は、駆動システム４１４を、車両４０２の本体にさらに解除可能に固定しうる。
少なくとも一例において、位置特定コンポーネント４２０、知覚コンポーネント４２２、１つ又は複数のマップ４２４、１つ又は複数のシステムコントローラ４２６、軌道決定コンポーネント４２８、特徴識別子コンポーネント４３０、軌道予測コンポーネント４３２、及びプランニングコンポーネント４３４は、上で説明されたようにセンサデータを処理することができ、それらのそれぞれの出力を、１つ又は複数のネットワーク４３６上で、１つ又は複数のコンピューティングデバイス４３８に送信しうる。少なくとも一例において、位置特定コンポーネント４２０、知覚コンポーネント４２２、１つ又は複数のマップ４２４、１つ又は複数のシステムコントローラ４２６、軌道決定コンポーネント４２８、特徴識別子コンポーネント４３０、軌道予測コンポーネント４３２、及びプランニングコンポーネント４３４は、それらのそれぞれの出力を、特定の頻度で、予め決められた時間の期間の経過後に、準実時間に、その他に、コンピューティングデバイス４３８に送信しうる。
いくつかの例において、車両４０２は、センサデータを、ネットワーク４３６を介して、１つ又は複数のコンピューティングデバイス４３８に送信しうる。いくつかの例において、車両４０２は、生のセンサデータを、コンピューティングデバイス４３８に送信しうる。他の例において、車両４０２は、処理されたセンサデータ及び／又はセンサデータの表現を、コンピューティングデバイス４３８に送信しうる。いくつかの例において、車両４０２は、センサデータを、特定の頻度で、予め決められた時間の期間の経過後に、準実時間に、その他に、コンピューティングデバイス４３８に送信しうる。いくつかのケースにおいて、車両４０２は、（生の、又は処理された）センサデータを、１つ又は複数のログファイルとして、コンピューティングデバイス４３８に送信しうる。
コンピューティングデバイス４３８は、プロセッサ４４０と、トレーニングコンポーネント４４４を記憶するメモリ４４２とを含みうる。
いくつかの実例において、トレーニングコンポーネント４４４は、オブジェクト及び／又はオブジェクトの特徴を検出し、オブジェクト及び／又はオブジェクトの特徴を決定し（分類又は回帰し）、環境におけるオブジェクトの位置、その他を決定するように、１つ又は複数のモデルをトレーニングするための機能を含みうる。本明細書で留意されるように、センサデータは、リバースする操作を表現するように注釈付けされる、又は示されることができ、そのような注釈付けされた、又は示されたデータは、トレーニングデータとして識別されうる。トレーニングデータは、機械学習モデルに入力されてよく、ここで、知られている結果（例えば、知られている「この先の（future）」属性などのグラウンドトルス）は、エラーを最小化するように、機械学習モデルの重み及び／又はパラメータを調整するために利用されうる。
いくつかの実例において、トレーニングコンポーネント４４４は、異なる状況に応答して、車両４０２をどのように制御するのかを改正するために、１つ又は複数のモデルによって生成された情報を、車両コンピューティングデバイス４０４に通信しうる。
例えば、本明細書で議論されるコンポーネントのいくつか又は全ての態様は、任意のモデル、アルゴリズム、及び／又は機械学習アルゴリズムを含みうる。例えば、いくつかの実例において、メモリ４４２（及び上で議論されたメモリ４１８）におけるコンポーネントは、ニューラルネットワークとして実装されてもよい。いくつかの例において、トレーニングコンポーネント４４４は、車両４０２の軌道プランニングにおいて利用するためのオブジェクト軌道推定の様々な態様を改善するために、ニューラルネットワークを利用して、１つ又は複数のモデルを生成する、及び／又は実行しうる。
本明細書で説明されるように、典型的なニューラルネットワークは、入力データを接続されたレイヤの連続に通して出力を生み出す、生物学的に着想されたアルゴリズムである。ニューラルネットワークにおける各レイヤはまた、別のニューラルネットワークを含みうる、又は（畳み込みであろうと、なかろうと）任意の数のレイヤを含みうる。本開示のコンテキストにおいて理解されうるように、ニューラルネットワークは、学習されたパラメータに基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指しうる機械学習を利用しうる。
ニューラルネットワークのコンテキストにおいて議論されているものの、任意のタイプの機械学習が、本開示と一貫して利用されてよい。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所推定散布図平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対値縮小及び選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類及び回帰木（ＣＡＲＴ）、反復二分器３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定株、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウシアンナイーブベイズ、多項ナイーブベイズ、平均単依存エスティメータ（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋ中央値法、期待値最大化法（ＥＭ）、階層的クラスタリング）、関連付けルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、深層ボルツマンマシン（ＤＢＭ）、深層ビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層オートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分的最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度法（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、２次判別分析（ＱＤＡ）、フレキシブル判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、積層一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクトルマシン）、教師あり学習、教師なし学習、半教師あり学習、その他を含みうるが、それらに限定はされない。
アーキテクチャの追加の例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔ、その他などのニューラルネットワークを含む。
車両４０２のプロセッサ４１６及びコンピューティングデバイス４３８のプロセッサ４４０は、本明細書で説明されるようにデータを処理し、動作を実施するための命令を実行することが可能な任意の好適なプロセッサであってよい。限定ではなく例として、プロセッサ４１６及び４４０は、１つ又は複数の中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、又は電子データを処理して、その電子データをレジスタ及び／又はメモリに記憶されうる他の電子データに変換する、任意の他のデバイス若しくはデバイスの一部を含みうる。いくつかの例において、集積回路（例えば、ＡＳＩＣ、その他）、ゲートアレイ（例えば、ＦＰＧＡ、その他）、及び他のハードウェアデバイスはまた、それらが符号化された命令を実装するように構成されている限りにおいて、プロセッサと考えられてもよい。
メモリ４１８及び４４２は、非一時的なコンピュータ可読媒体の例である。メモリ４１８及び４４２は、本明細書で説明される方法、及び様々なシステムに帰された機能を実装するための、オペレーティングシステム及び１つ又は複数のソフトウェアアプリケーション、命令、プログラム、及び／又はデータを記憶しうる。様々な実装において、メモリは、静的ランダムアクセスメモリ（ＳＲＡＭ）、同期動的ＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、又は情報を記憶することが可能な任意の他のタイプのメモリなどの、任意の好適なメモリ技術を利用して実装されてよい。本明細書で説明されるアーキテクチャ、システム、及び個々の要素は、多くの他の論理的な、プログラム的な、及び物理的なコンポーネントを含むことができ、それらのうちの添付の図に示されたものは、本明細書での議論に関係した単なる例にすぎない。
図４は分散システムとして例証されているが、代替例において、車両４０２のコンポーネントは、コンピューティングデバイス４３８に関連付けられていてもよいし、及び／又はコンピューティングデバイス４３８のコンポーネントが、車両４０２に関連付けられていてもよいことが留意されるべきである。即ち、車両４０２は、コンピューティングデバイス４３８に関連付けられた機能のうちの１つ又は複数を実施することができ、その逆もまた同様である。さらに、軌道決定コンポーネント４２８及び／又はプランニングコンポーネント４３４の態様が、本明細書で議論されたデバイスのうちのいずれかの上で実施されてもよい。
図５は、本開示の例による、車両がリバースギアにあることを決定し、車両がリバースギアにあることに基づいて車両のための軌道を予測し、予測された軌道に基づいて自律車両を制御するための例示的なプロセス５００を表す。例えば、プロセス５００のいくつか又は全ては、本明細書で説明されるように、図４における１つ又は複数のコンポーネントによって実施されてよい。例えば、プロセス５００のいくつか又は全ては、車両コンピューティングデバイス４０４、コンピューティングデバイス４３８、又は任意の他のコンピューティングデバイス若しくはコンピューティングデバイスの組合せによって実施されてよい。さらに、例示的なプロセス５００において説明される動作のうちのいずれかが、並行して、プロセス５００に表された以外の異なる順序で、省略されて、他のプロセスと組み合わせられて、その他で実行されてもよい。
動作５０２で、プロセスは、環境における車両を表す画像をキャプチャすることを含みうる。例えば、画像は、環境を横断する自律車両のカメラなどの、センサによってキャプチャされてよい。
動作５０４で、プロセスは、画像に表された車両の特徴を抽出することを含みうる。いくつかの例において、特徴は、車両がリバースギアにあることを示す車両のライトであってよい。特徴は、いくつかのケースにおいて、画像を意味論的にセグメント化すること、及び特徴を含む画像の一部をラベル付けすることによって検出されてもよい。動作８０４は、さらなる分析のために特徴を含む画像の一部をトリミングすることを含みうる。プロセス５００を参照して車両の特徴が説明されているが、図２に関係して説明された、車両属性２２２、マップデータ２２８、及び／又は周囲車両属性２３６のうちのいずれかなどの他の特徴が、車両挙動を予測するために利用されてもよいことが理解されるべきである。
動作５０６で、プロセスは、特徴を、特徴の特徴タイプに少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに入力することを含みうる。例えば、機械学習モデルは、いくつか分類例を挙げると、リバース状態、非リバース状態、又はリバース企図状態のうちの１つ又は複数に、車両のリバース状態を分類するようにトレーニングされた分類機であってもよい。機械学習モデルは、代替として、又は追加として、例えば、車両がリバースギアにあることを示しうる聴覚信号又は環境特徴に基づいて車両挙動を予測するようにトレーニングされてもよい。
動作５０８で、プロセスは、機械学習モデルから、車両がリバース状態にあるというインジケーションを受信することを含みうる。いくつかのケースにおいて、機械学習モデルは、ライトの点灯状態が車両がリバース状態にあることを示す時間の長さに対応する持続時間の間、タグを出力しうる。
動作５１０で、プロセスは、車両がリバース状態にあるというインジケーション及び環境の特徴に少なくとも部分的に基づいて、車両の第１の軌道を予測することを含みうる。例えば、（例えば、トラフィックのレーンに対する）車両の向き、環境における車両の位置での速度制限に対する車両の速度、周囲環境における他の車両に対する車両の速度、車両が現在ある特定のレーン、車両が現在あるレーンに隣接するレーン（例えば、隣接する駐車レーン、ドライブウェイ、その他）、車両がジャンクションに、又はジャンクションの近くに位置付けられているかどうか、環境における車両と他の車両との間の距離、車両の近くの他の車両の速度、その他などの多様な特徴が、車両の予測された軌道を決定するために分析されてよい。動作５１０は、動作５０８に続いて実施されるものとして本明細書で一般に説明されているが、動作５１０は、いくつかのケースにおいて、車両のための予測された軌道が、機械学習モデルによって生成され、かつ機械学習モデルから受信もまたされるように、動作５０８と組み合わせられてもよい。
動作５１２で、プロセスは、自律車両が現在の軌道に沿い続ける場合などに、第１の軌道を実行するためのスペースがあるかどうかについての決定を含みうる。例えば、自律車両は、現在の軌道に沿って進行し、自律車両と車両との間に車半分の長さを提供することなどによって、あたかも車両が停止ライトで停止しているかのように車両の背後で停止することがある。しかし、現在の軌道によって提供されるそのような距離（例えば、車半分の長さ）は、車両が、縦列駐車をすること、又はバックして駐車スペースに入ることなどの、リバース操作を実行することを可能にするには十分に適応しないことがある。
第１の軌道を実行するために十分なスペースがある場合、プロセスは、第２の軌道（例えば、自律車両の現在の軌道）に沿い続けるように自動車両が制御される動作５１４を含みうる。例えば、自律車両は、別の車両がリバース操作を実行することが予測されるというインジケーションを受信することがあり、しかし、例えば、予測されたリバース操作によって妨げられないトラフィックのレーンに沿った現在の軌道が、他の車両がリバース操作を実行するために十分なスペースを提供することがある。従って、自律車両は、現在の軌道に沿い続けるように制御されてよい。
しかし、車両が第１の軌道を実行するために十分なスペースがない場合、プロセスは、車両の第１の軌道に適応するために、第３の軌道を辿るように自動車両が制御される動作５１６を含みうる。上で説明されたように、車両の第１の軌道に適応するために決定された第３の軌道は、自律車両を停止させることなどによって、現在の位置を維持することを含みうる。代替として、又は追加として、車両の第１の軌道に適応するために決定された第３の軌道は、自律車両の意図された目的地までルートに沿って続くが、リバース操作を実行する車両の予測軌道を迂回する、軌道を辿るように、自律車両を制御することを含みうる。
例示的条項
Ａ：１つ以上のプロセッサと、１つ以上のプロセッサによって実行可能な命令を記憶する１つ以上のコンピュータ可読媒体と、を含むシステムであって、命令は、実行されたとき、システムに、自律車両上の画像センサを利用して、環境の画像データをキャプチャすることと、画像データが環境内の車両を表すと決定することと、車両に関連付けられた第１の特徴を決定することであって、第１の特徴は、車両がリバース状態に関連付けられているかどうかを示す車両タイプのものである、ことと、特徴タイプに少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに第１の特徴を入力することと、機械学習モデルから、車両がリバース状態に関連付けられていることのインジケーションを受信することと、車両がリバース状態に関連付けられていることのインジケーション及びマップデータから決定された環境の第２の特徴に少なくとも部分的に基づいて、車両の軌道を予測することと、車両の軌道に少なくとも部分的に基づいて、軌道を実行するためのスペースを車両に提供するように自律車両を制御することと、を含む動作を実行させる、システム。
Ｂ：特徴タイプは、車両に関連付けられたライトを示しており、機械学習モデルは、トレーニング画像データがキャプチャされる時間でのライトの点灯状態のグラウンドトルス状態と、トレーニング画像データがキャプチャされた時間に最も近い、ある量の時間にわたっての、その車両についてのトレーニング車両の移動の方向と、を示すように注釈付けされたトレーニング画像データを利用してトレーニングされている、条項Ａのシステム。
Ｃ：車両は、第１の車両であり、動作は、第１の車両の第１の速度を決定することと、第１の車両の第１の速度と、環境内の第１の車両の位置での速度制限との間の第１の差、又は、第１の車両の第１の速度と、環境内の第２の車両の第２の速度との間の第２の差を決定することと、をさらに含み、機械学習モデルは、さらに、車両速度の差に少なくとも部分的に基づいて、車両挙動を予測するようにトレーニングされており、第１の差又は第２の差のうちの１つ以上は、機械学習モデルに入力される、条項Ａのシステム。
Ｄ：軌道は、第１の軌道であり、自律車両を制御することは、車両に関連付けられた幅を決定することと、幅を第１の軌道の長さに関連付けることと、自律車両が第１の軌道の長さに沿った幅を周航するために、自律車両が環境を横断するための第２の軌道を決定することと、を含む、条項Ａのシステム。
Ｅ：自律車両を制御することは、軌道を実行する車両に関連付けられた持続時間の間、自律車両の位置を維持することを含む、条項Ａのシステム。
Ｆ：環境内のセンサによってキャプチャされたセンサデータを受信することと、センサデータが車両を表すと決定することと、車両に関連付けられた特徴を決定することであって、特徴は、車両がリバース状態に関連付けられているかどうかを示す特徴タイプのものである、ことと、特徴タイプに少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに特徴を入力することと、機械学習モデルから、車両がリバース状態に関連付けられていることのインジケーションを受信することと、車両がリバース状態に関連付けられていることのインジケーションに少なくとも部分的に基づいて、車両に関連付けられた軌道を予測することと、を含む、方法。
Ｇ：車両がリバース状態に関連付けられていることのインジケーションは、環境の第２の特徴に関連する車両の角度を含み、車両の軌道を予測することは、さらに、第２の特徴に関連する車両の角度に少なくとも部分的に基づく、条項Ｆの方法。
Ｈ：車両の軌道を予測することは、車両が縦列駐車を準備していると決定することを含み、方法は、縦列駐車する車両についての持続時間の間、停止位置を維持する、又は環境内の車両の周囲を横断するためにトラフィックレーンに進入するように自律車両を制御することをさらに含む、条項Ｆの方法。
Ｉ：車両がリバースで進入することを許可されている、車両に最も近い領域を決定することをさらに含み、軌道を予測することは、さらに、車両に関連する領域の位置に基づく、条項Ｆの方法。
Ｊ：領域は、トラフィックのレーン、駐車スペース、又はドライブウェイのうちの１つ以上を含む、条項Ｉの方法。
Ｋ：車両が、領域の閾値距離内の位置にあると決定することと、位置での車両の第１の速度を決定することと、車両の第１の速度と、他の車両の第２の速度又は位置に関連付けられた速度制限のうちの１つ以上との間の差を決定することと、をさらに含み、機械学習モデルは、さらに、環境特徴に少なくとも部分的に基づいて、車両挙動を予測するようにトレーニングされており、位置、第１の速度、及び差のうちの１つ以上は、機械学習モデルに入力される、条項Ｉの方法。
Ｌ：特徴は、車両に関連付けられたライトを示しており、機械学習モデルは、車両のリバーシング状態を、リバース状態、非リバース状態、又はリバース企図状態のうちの１つ以上に分類するようにトレーニングされた分類機を含む、条項Ｆの方法。
Ｍ：１つ以上のプロセッサによって実行されたとき、環境内のセンサによってキャプチャされたセンサデータを受信することと、センサデータが車両を表すと決定することと、車両に関連付けられた特徴を決定することであって、特徴は、車両がリバース状態に関連付けられているかどうかを示す特徴タイプのものである、ことと、特徴タイプに少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに特徴を入力することと、機械学習モデルから、車両がリバース状態に関連付けられていることのインジケーションを受信することと、車両がリバース状態に関連付けられていることのインジケーションに少なくとも部分的に基づいて、車両に関連付けられた軌道を予測することと、リバース状態に少なくとも部分的に基づいて、自律車両が実行するための操作を決定することと、を含む動作を実行する命令を記憶する１つ以上のコンピュータ可読媒体。
Ｎ：動作は、車両に関連付けられた幅を決定することと、幅を軌道の長さに関連付けることと、をさらに含み、操作は、軌道の長さに沿った幅を少なくとも周航する自律車両に関連付けられている、条項Ｍの１つ以上のコンピュータ可読媒体。
Ｏ：操作は、軌道を実行する車両に関連付けられた持続時間の間、自律車両の現在の位置を維持するように自律車両を制御することを含む、条項Ｍの１つ以上のコンピュータ可読媒体。
Ｐ：特徴は、第１の特徴であり、動作は、環境の第２の特徴に関連する車両の角度を決定することをさらに含み、機械学習モデルは、さらに、環境特徴に少なくとも部分的に基づいて、車両挙動を予測するようにトレーニングされており、角度又は第２の特徴のうちの１つ以上は、機械学習モデルに入力される、条項Ｍの１つ以上のコンピュータ可読媒体。
Ｑ：動作は、車両がリバースで進入することを許可されている、車両に最も近い領域を決定することをさらに含み、軌道を予測することは、さらに、車両に関連する領域の位置に基づく、条項Ｍの１つ以上のコンピュータ可読媒体。
Ｒ：領域は、トラフィックのレーン、駐車スペース、又はドライブウェイのうちの１つ以上を含む、条項Ｑの１つ以上のコンピュータ可読媒体。
Ｓ：動作は、車両が領域の閾値距離内に位置すると決定することと、その位置での車両の第１の速度を決定することと、車両の第１の速度と、他の車両の第２の速度又はその位置に関連付けられた速度制限のうちの１つ以上との間の差を決定することとをさらに含み、機械学習モデルは、さらに、環境特徴に少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされており、位置、第１の速度、及び差のうちの１つ以上は、機械学習モデルに入力される、条項Ｑの１つ以上のコンピュータ可読媒体。
Ｔ：特徴は、車両に関連付けられたライトを示しており、機械学習モデルは、車両のリバーシング状態を、リバース状態、非リバース状態、又はリバース企図状態のうちの１つ以上に分類するようにトレーニングされた分類機を含む、条項Ｍの１つ以上のコンピュータ可読媒体。
上記の例示的条項は１つの特定の実装に関して説明されているが、このドキュメントのコンテキストにおいて、例示的条項の内容は、また、方法、デバイス、システム、コンピュータ可読媒体、及び／又は他の実装を介して実装されることができると理解されるべきである。加えて、例Ａ～Ｔのいずれかは、単独で又は例Ａ～Ｔのうちのいずれか別のものと組み合わせて実装されうる。
結論
本明細書で説明された技術についての１つ以上の例が説明されたが、それらの様々な変更、追加、置き換え、及び等価物は、本明細書で説明された技術の範囲内に含まれる。
例の説明において、その一部を形成する添付図に対する参照がなされており、それは、クレームされた主題の特定の例を説明のために示している。他の例が利用されることができ、構造変形などの変形又は変更がなされることができると理解されるべきである。そのような例、変更または変更は、必ずしも、意図してクレームされた主題に関する範囲から逸脱するものではない。ある特徴又はコンポーネントを有するものとして本明細書では個々の例が説明されているが、個々の例の特徴及びコンポーネントは、組み合わされて一緒に利用されることができる。本明細書での動作は、ある順序で表されることができるが、いくつかのケースにおいて、順序は、ある入力が異なる時点で又は異なる順序で提供されるように、説明されたシステム及び方法の機能を変えることなく変更されることができる。開示された手順は、また、異なる順序で実行されうる。加えて、本明細書での様々な計算は、開示された順序で実行される必要はなく、計算の代替順序を利用する他の例は容易に実施されうる。並べ替えに加えて、計算は、また、同じ結果を伴うサブ計算に分解されうる。

Claims (15)

  1. １つ以上のプロセッサと、前記１つ以上のプロセッサによって実行可能な命令を記憶する１つ以上のコンピュータ可読媒体と、を含むシステムであって、
    前記命令は、実行されたとき、前記システムに、
    環境内のセンサによってキャプチャされたセンサデータを受信することと、
    前記センサデータが車両を表すと決定することと、
    前記車両に関連付けられた特徴を決定することであって、前記特徴は、前記車両がリバース状態に関連付けられているかどうかを示す特徴タイプのものである、ことと、
    前記特徴タイプに少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに前記特徴を入力することと、
    前記機械学習モデルから、前記車両が前記リバース状態に関連付けられていることのインジケーションを受信することと、
    前記車両が前記リバース状態に関連付けられていることの前記インジケーションに少なくとも部分的に基づいて、前記車両に関連付けられた軌道を予測することと、
    前記リバース状態に少なくとも部分的に基づいて、自律車両が実行する操作を決定することと、を含む動作を実行させる、
    システム。
  2. 前記特徴タイプは、車両に関連付けられたライトを示しており、
    前記機械学習モデルは、
    トレーニング画像データがキャプチャされる時間での前記ライトの点灯状態のグラウンドトルス状態と、前記トレーニング画像データがキャプチャされた前記時間に最も近い、ある量の時間にわたっての、前記車両についてのトレーニング車両の移動の方向と、を示すように注釈付けされた前記トレーニング画像データを利用してトレーニングされている、
    請求項１に記載のシステム。
  3. 前記車両は、第１の車両であり、
    前記動作は、
    前記第１の車両の第１の速度を決定することと、
    前記第１の車両の前記第１の速度と、前記環境内の前記第１の車両の位置での速度制限との間の第１の差、又は、前記第１の車両の前記第１の速度と、前記環境内の第２の車両の第２の速度との間の第２の差を決定することと、
    をさらに含み、
    前記機械学習モデルは、さらに、車両速度の差に少なくとも部分的に基づいて、前記車両挙動を予測するようにトレーニングされており、前記第１の差又は前記第２の差のうちの１つ以上は、前記機械学習モデルに入力される、
    請求項１又は２に記載のシステム。
  4. 前記動作は、
    前記車両に関連付けられた幅を決定することと、
    前記幅を前記軌道の長さに関連付けることと、
    をさらに含み、
    前記操作は、前記軌道の前記長さに沿った前記幅を少なくとも周航する前記自律車両に関連付けられている、
    請求項１～３のいずれか１項に記載のシステム。
  5. 前記操作は、前記軌道を実行する前記車両に関連付けられた持続時間の間、前記自律車両の位置を維持することを含む、
    請求項４に記載のシステム。
  6. 前記特徴は、第１の特徴であり、
    前記動作は、
    前記環境の第２の特徴に関連する前記車両の角度を決定することをさらに含み、
    前記機械学習モデルは、さらに、環境特徴に少なくとも部分的に基づいて、前記車両挙動を予測するようにトレーニングされており、前記角度又は前記第２の特徴のうちの１つ以上は、前記機械学習モデルに入力される、
    請求項１～５のいずれか１項に記載のシステム。
  7. 前記動作は、
    前記車両がリバースで進入することを許可されている、前記車両に最も近い領域を決定することであって、前記軌道を予測することは、さらに、前記車両に関連する前記領域の位置に基づく、ことと、
    前記領域の閾値距離内に前記車両が位置すると決定することと、
    前記位置での前記車両の第１の速度を決定することと、
    前記車両の前記第１の速度と、他の車両の第２の速度又は前記位置に関連付けられた速度制限のうちの１つ以上との差を決定することと、
    をさらに含み、
    前記機械学習モデルは、環境特徴に少なくとも部分的に基づいて、車両挙動を予測するようにさらにトレーニングされており、前記位置、前記第１の速度、及び前記差のうちの１つ以上は、前記機械学習モデルに入力される、
    請求項１～６のいずれか１項に記載のシステム。
  8. 環境内のセンサによってキャプチャされたセンサデータを受信することと、
    前記センサデータが車両を表すと決定することと、
    前記車両に関連付けられた特徴を決定することであって、前記特徴は、前記車両がリバース状態に関連付けられているかどうかを示す特徴タイプのものである、ことと、
    前記特徴タイプに少なくとも部分的に基づいて車両挙動を予測するようにトレーニングされた機械学習モデルに前記特徴を入力することと、
    前記機械学習モデルから、前記車両が前記リバース状態に関連付けられていることのインジケーションを受信することと、
    前記車両が前記リバース状態に関連付けられていることの前記インジケーションに少なくとも部分的に基づいて、前記車両に関連付けられた軌道を予測することと、
    を含む、方法。
  9. 前記車両が前記リバース状態に関連付けられていることの前記インジケーションは、マップデータから決定される前記環境の第２の特徴に関連する前記車両の角度を含み、
    前記車両の前記軌道を予測することは、さらに、前記第２の特徴に関連する前記車両の前記角度に少なくとも部分的に基づく、
    請求項８に記載の方法。
  10. 前記車両の前記軌道を予測することは、前記車両が縦列駐車を準備していると決定することを含み、
    前記方法は、
    縦列駐車する前記車両についての持続時間の間、停止位置を維持する、又は前記環境内の前記車両の周囲を横断するためにトラフィックレーンに進入するように自律車両を制御することをさらに含む、
    請求項８又は９に記載の方法。
  11. 前記車両がリバースで進入することを許可されている、前記車両に最も近い領域を決定することをさらに含み、
    前記軌道を予測することは、さらに、前記車両に関連する前記領域の位置に基づく、
    請求項８～１０のいずれか１項に記載の方法。
  12. 前記領域は、トラフィックのレーン、駐車スペース、又はドライブウェイのうちの１つ以上を含む、
    請求項１１に記載の方法。
  13. 前記位置は、第１の位置であり、
    前記方法は、
    前記車両が、前記領域の閾値距離内の第２の位置にあると決定することと、
    前記第２の位置での前記車両の第１の速度を決定することと、
    前記車両の前記第１の速度と、他の車両の第２の速度又は前記第２の位置に関連付けられた速度制限のうちの１つ以上との間の差を決定することと、
    をさらに含み、
    前記機械学習モデルは、さらに、環境特徴に少なくとも部分的に基づいて、車両挙動を予測するようにトレーニングされており、前記第１の位置、前記第２の位置、前記第１の速度、及び前記差のうちの１つ以上は、前記機械学習モデルに入力される、
    請求項１１又は１２に記載の方法。
  14. 前記特徴は、前記車両に関連付けられたライトを示しており、
    前記機械学習モデルは、前記車両のリバーシング状態を、リバース状態、非リバース状態、又はリバース企図状態のうちの１つ以上に分類するようにトレーニングされた分類機を含む、
    請求項８～１３のいずれか１項に記載の方法。
  15. コンピュータ上で実行されたとき、請求項８～１４のいずれか１項に記載された方法を実装する命令を含む、コンピュータプログラム製品。
JP2021577396A 2019-06-28 2020-06-26 リバースする車両のための余地をプランニングすること Pending JP2022539150A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/456,987 US11682296B2 (en) 2019-06-28 2019-06-28 Planning accommodations for reversing vehicles
US16/456,987 2019-06-28
PCT/US2020/039784 WO2020264268A1 (en) 2019-06-28 2020-06-26 Planning accommodations for reversing vehicles

Publications (1)

Publication Number Publication Date
JP2022539150A true JP2022539150A (ja) 2022-09-07

Family

ID=71670436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577396A Pending JP2022539150A (ja) 2019-06-28 2020-06-26 リバースする車両のための余地をプランニングすること

Country Status (5)

Country Link
US (2) US11682296B2 (ja)
EP (1) EP3990329A1 (ja)
JP (1) JP2022539150A (ja)
CN (1) CN114040869A (ja)
WO (1) WO2020264268A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097587A1 (en) * 2019-09-26 2021-04-01 Uatc, Llc Managing self-driving vehicles with parking support
US11351995B2 (en) 2019-09-27 2022-06-07 Zoox, Inc. Error modeling framework
US11625513B2 (en) * 2019-09-27 2023-04-11 Zoox, Inc. Safety analysis framework
US11734473B2 (en) * 2019-09-27 2023-08-22 Zoox, Inc. Perception error models
US11315431B2 (en) 2019-10-09 2022-04-26 Uatc, Llc Systems and methods for autonomous vehicle controls
US11377112B2 (en) * 2019-11-13 2022-07-05 Baidu Usa Llc Low-speed, backward driving vehicle controller design
US11242057B2 (en) * 2019-11-22 2022-02-08 Baidu Usa Llc Method for optimizing three-point turn of autonomous driving vehicles
KR20210080720A (ko) * 2019-12-20 2021-07-01 주식회사 만도 운전자 보조 장치 및 운전자 보조 방법
US11430333B2 (en) * 2020-06-10 2022-08-30 Spaces Operations, Llc Method and system for dynamic mobile data communication
US11688179B2 (en) * 2020-09-03 2023-06-27 Pony Ai Inc. Inferring intent using computer vision
US20220169243A1 (en) * 2020-12-02 2022-06-02 GM Global Technology Operations LLC Reverse operation detection systems and methods
US11810367B2 (en) * 2021-06-29 2023-11-07 Toyota Research Institute, Inc. System and method for determining if a vehicle is parked
US20230099674A1 (en) * 2021-09-29 2023-03-30 Subaru Corporation Vehicle backup warning systems
CN118369984A (zh) * 2021-10-11 2024-07-19 瑞典爱立信有限公司 使用车辆操纵预测的资源分配
US11565696B1 (en) * 2022-01-11 2023-01-31 Geotab Inc. Systems and methods for vehicle reversing detection using machine learning
EP4210018B1 (en) * 2022-01-11 2024-10-09 GEOTAB Inc. Systems and methods for vehicle reversing detection using edge machine learning
DE102022202718A1 (de) 2022-03-21 2023-09-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln optimierter Basisfunktionen zur Beschreibung von Trajektorien
US20230324183A1 (en) * 2022-03-23 2023-10-12 Here Global B.V. Method and apparatus for determining vehicle change of direction
US20240246574A1 (en) * 2023-01-23 2024-07-25 Gm Cruise Holdings Llc Multimodal trajectory predictions based on geometric anchoring

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112005003266T5 (de) * 2004-12-28 2008-09-04 Kabushiki Kaisha Toyota Chuo Kenkyusho Fahrzeugbewegungssteuerungsvorrichtung
US7865277B1 (en) * 2007-05-07 2011-01-04 The United States Of America As Represented By The Secretary Of The Navy Obstacle avoidance system and method
US20180056858A1 (en) * 2013-11-06 2018-03-01 Frazier Cunningham, III Vehicle signaling system
CN110654306A (zh) * 2015-04-10 2020-01-07 麦克赛尔株式会社 车辆
US20170217361A1 (en) * 2016-02-02 2017-08-03 Jeffrey James Miller Optical Warning Illumination Array
DE102017211044A1 (de) * 2017-06-29 2019-01-03 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem zur Kollisionswarnung durch Radwinkelbestimmung benachbarter Fahrzeuge
US20190101924A1 (en) * 2017-10-03 2019-04-04 Uber Technologies, Inc. Anomaly Detection Systems and Methods for Autonomous Vehicles
JP2019151207A (ja) * 2018-03-02 2019-09-12 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10632913B2 (en) * 2018-04-13 2020-04-28 GM Global Technology Operations LLC Vehicle behavior using information from other vehicles lights
JP6661695B2 (ja) * 2018-05-09 2020-03-11 三菱電機株式会社 移動体検出装置、車両制御システム、移動体検出方法および車両制御方法
US20190392308A1 (en) * 2018-06-21 2019-12-26 Denso International America, Inc. Grading And Unlearning Implementations For Neural Network Based Course Of Action Selection
US20200013292A1 (en) * 2018-07-08 2020-01-09 Peloton Technology, Inc. Systems and methods for analyzing vehicles
JP7026242B2 (ja) * 2018-08-28 2022-02-25 日立Astemo株式会社 走行制御装置及び走行制御方法
US10762791B2 (en) * 2018-10-29 2020-09-01 Peloton Technology, Inc. Systems and methods for managing communications between vehicles
US10832575B2 (en) * 2018-12-04 2020-11-10 Toyota Motor North America, Inc. Network connected parking system
US11919516B2 (en) * 2019-04-15 2024-03-05 Peloton Technology, Inc. Systems and methods for platooning

Also Published As

Publication number Publication date
US20230274636A1 (en) 2023-08-31
CN114040869A (zh) 2022-02-11
US20200410853A1 (en) 2020-12-31
WO2020264268A1 (en) 2020-12-30
EP3990329A1 (en) 2022-05-04
US11682296B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
US11682296B2 (en) Planning accommodations for reversing vehicles
US11126873B2 (en) Vehicle lighting state determination
US12115990B2 (en) Trajectory modifications based on a collision zone
US11740633B2 (en) Determining occupancy of occluded regions
CN112789481B (zh) 对自上而下场景的轨迹预测
US11643073B2 (en) Trajectory modifications based on a collision zone
US11682137B2 (en) Refining depth from an image
US11554790B2 (en) Trajectory classification
JP2022539245A (ja) アクションデータに基づくトップダウンシーンの予測
US11584389B2 (en) Teleoperations for collaborative vehicle guidance
US20230067887A1 (en) Techniques for detecting road blockages and generating alternative routes
US11292462B1 (en) Object trajectory from wheel direction
US11460850B1 (en) Object trajectory from wheel direction
EP4136004A1 (en) Teleoperations for collaborative vehicle guidance
US12130621B2 (en) Collaborative vehicle guidance
JP7570332B2 (ja) オクルージョン予測および軌道評価
US20240208536A1 (en) Cascaded trajectory refinement
US20210325880A1 (en) Collaborative vehicle guidance

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240917