JP2022527072A - 属性に基づく歩行者の予測 - Google Patents

属性に基づく歩行者の予測 Download PDF

Info

Publication number
JP2022527072A
JP2022527072A JP2021557327A JP2021557327A JP2022527072A JP 2022527072 A JP2022527072 A JP 2022527072A JP 2021557327 A JP2021557327 A JP 2021557327A JP 2021557327 A JP2021557327 A JP 2021557327A JP 2022527072 A JP2022527072 A JP 2022527072A
Authority
JP
Japan
Prior art keywords
time
attribute
environment
determining
examples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021557327A
Other languages
English (en)
Inventor
ガファリアンザデー マーサ
マーティン ハンセン ルーク
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/363,627 external-priority patent/US11351991B2/en
Priority claimed from US16/363,541 external-priority patent/US11021148B2/en
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2022527072A publication Critical patent/JP2022527072A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

物体の属性、及び／又は物体に近接する他の物体の属性に基づいて、物体の位置を予測する技術が論じられる。この技術は、横断歩道を横断する、又は横断する準備をしているときに、横断歩道に近接する歩行者の位置を予測することができる。また、物体が環境を通過する際に、物体の位置を予測することができる。属性は、位置、速度、加速度、分類、方位、領域、又は他の物体との相対的な距離、境界ボックスなど、物体についての情報を含むことができる。属性は、一連の属性が予測コンポーネント（例えば、機械学習モデル）に入力されたとき、予測コンポーネントが、例えば、将来のある時点における物体の予測位置を出力できるように、経時的に物体に対して決定されることができる。自律車両などの車両は、予測位置に基づいて環境を横断するように制御されることができる。

Description

本開示は、属性に基づく歩行者の予測に関する。
本特許出願は、２０１９年３月２５日に出願された出願番号１６/３６３５４１の米国実用特許出願、及び番号１６/３６３６２７の米国実用特許出願の優先権を主張するものである。出願番号１６/３６３５４１、及び１６/３６３６２７は、参照により本明細書に完全に組み込まれている。
予測技術は、環境内におけるエンティティの将来の状態を決定するために使用されることができる。すなわち、予測技術は、特定のエンティティが将来どのように振る舞う可能性があるかを決定するために使用されることができる。現在の予測技術は、環境内におけるエンティティの将来の状態を予測するために、物理ベースのモデリングやルールオブザロードのシミュレーションを必要とすることが多い。
詳細な説明は、添付の図面を参照して述べられる。図中で、符号の左端の数字は、その符号が最初に現れる図面を示している。異なる図で同じ符号を使用することは、類似または同一の構成要素または機能を示す。
センサーデータを取得すること、物体に関連付けられた属性を決定すること、属性に基づいて予測位置を決定すること、及び予測位置に基づいて車両の制御を制御することの例示的なプロセスの絵画的フロー図である。 物体の属性の例を示す図である。 環境内の物体に関連付けられた目的地を決定することの例示する図である。 環境内の物体に関連付けられた目的地を決定することの別の例を示す図である。 経時的な物体の属性に基づいて、物体の予測位置を決定することを例示する図である。 予測位置の決定において使用する参照フレームを更新することを例示する図である。 センサーデータを取得すること、第１の物体と第２の物体が環境内にあることを決定すること、第２の物体に関連付けられた属性を決定すること、属性と参照線に基づいて予測位置を決定すること、及び予測位置に基づいて車両を制御することのプロセスを例示する絵画的フロー図である。 物体の属性の例を示す図である。 経時的な第２の物体の属性に基づいて、第1の物体の予測位置を決定することの例を示す図である。 本明細書で述べられる技術を実装するための例示的なシステムを示すブロック図である。 センサーデータを取得すること、物体に関連付けられた属性を決定すること、属性に基づいて予測位置を決定すること、及び予測位置に基づいて車両を制御することのプロセスを例示する図である。 センサーデータを取得すること、第１の物体と第２の物体が環境内にあることを決定すること、第２の物体に関連付けられた属性を決定すること、属性と参照線に基づいて予測位置を決定すること、及び予測位置に基づいて車両を制御することのプロセスを例示する図である。
本開示は、物体の属性に基づいて、及び／又は物体に近接する他の物体の属性に基づいて、物体の位置を予測する技術に向けられる。第１の例において、本明細書で論じられる技術は、環境内の横断歩道領域に近接する歩行者が横断歩道領域を横断するとき、或いは、横断する準備をしているときに、歩行者の位置を予測するために実装されることができる。第２の例において、本明細書で論じられる技術は、車両が環境を横断するときに、物体（例えば、車両）の位置を予測するために実装されることができる。例えば、車両の予測位置は車両の属性、及び環境内で車両に近接する他の車両の属性に基づくことができる。属性は、場所、速度、加速度、境界ボックスなど、物体に関する情報を備えることができるが、これらに限定はされない。属性は、予測コンポーネント（例えば、ニューラルネットワークなどの機械学習モデル）に入力されたとき、予測コンポーネントが将来の時間（例えば、時間Ｔ1、Ｔ2、Ｔ3、．．．、ＴN）における予測（例えば、物体の予測位置）を出力できるよう、物体に対して時間（例えば、時間Ｔ-M、．．．、Ｔ-2、Ｔ-1、Ｔ0）にわたって決定されることができる。自律車両のような車両は、物体の予測位置に少なくとも部分的に基づいて、環境を横断するように制御されることができる。
上述のように、第１の例では、本明細書で論じられる技術は、歩行者が横断歩道領域を横断するとき、或いは、横断歩道領域を横断する準備をしているときに、環境内の横断歩道領域に近接する歩行者の位置を予測するために実装されることができる。例えば、センサーデータは環境内で取得されることができ、物体は識別され、歩行者として分類されるができる。さらに、横断歩道領域は、マップデータに基づいて、及び／又はセンサーデータに基づいて、環境内で識別されることができる（例えば、センサーデータから、横断歩道領域の視覚的な指示（ストライプ、横断歩道標識など）を観察することによって直接的に、或いは、そのような場所で道路を横断する歩行者の履歴の検出によって間接的に、横断歩道領域を識別する）。少なくとも１つの目的地は、横断歩道領域に関連付けられることができる。例えば、歩行者が横断歩道に近接した歩道上にいる場合、目的地は、横断歩道領域の道路の反対側を表すことができる。歩行者が路上（横断歩道領域の内側または外側のいずれか）にいる場合、目的地は、歩行者の属性（例えば、位置、速度、加速度、進路など）に基づいて選択、又は他の方法で決定されることができる。互いに近接する多様な横断歩道領域の場合、歩行者が特定の横断歩道を渡る可能性に関連付けられたスコアは、歩行者の属性（例えば、位置、速度、加速度、進路など）に基づいて決定されることができる。最高スコアに関連付けられた横断歩道領域は、歩行者に関連付けられた対象となる横断歩道となるように選択、又は他の方法で決定されることができる。
いくつかの例では、信号無視や、横断歩道領域が容易に識別できない道路を横断する場合のように、歩行者に関連付けられた目的地は、多くの要因に基づいて決定することができる。例えば、目的地は、歩行者の速度の直線外挿、歩行者に関連付けられた歩道領域の最も近い位置、駐車している車両の間のギャップ、車両に関連付けられた開いたドアなどの１つまたは複数に少なくとも部分的に基づいて決定されることができる。いくつかの例では、センサーデータは環境に関して取得され、これらの例示的な目的地候補が環境に存在する可能性を決定することができる。いくつかの例では、スコアは各目的地候補に関連付けられることができ、可能性の高い目的地は、本明細書で論じられる技術に従って使用されることができる。
横断歩道領域（または他の場所）が歩行者の目的地であると決定された場合、技術は、横断歩道領域を横断する歩行者の場所を、経時的に予測することを含むことができる。いくつかの例では、物体の属性は、時間（例えば、時間Ｔ-M、．．．、Ｔ-2、Ｔ-1、Ｔ0）にわたって決定されることができ、それによって、属性は、時間Ｔ0において物体に関連付けられた参照のフレームで表されることができる。すなわち、Ｔ0における物体の位置は、原点（例えば、ｘ－ｙ座標系の座標（０，０））とみなされることができ、それによって、第１の軸は、原点と、横断歩道領域に関連関連付けられた目的地とによって定義されることができる。いくつかの例では、別の参照のフレームに対して、他の点が原点とみなされることができる。上述のように、歩行者が道路の第１の側にいる場合、横断歩道領域に関連付けられた目的地は、道路の第１の側とは反対側の道路の第２の側にある点として選択されることができるが、任意の目的地が選択されることもできる。参照のフレームの第２の軸は、第１の軸に垂直であることができ、少なくともいくつかの例では、横断歩道領域を含む平面に沿って存在する。
いくつかの例では、歩行者の属性は、経時的に取り込まれたセンサーデータに基づいて決定されることができ、ある時点における歩行者の位置（例えば、位置は、上述の参照のフレームで表されることができる）、その時の歩行者の速度（例えば、第１軸（または他の参照線）に対する大きさ、及び／又は角度）、その時の歩行者の加速度、歩行者が運転可能なエリアにいるかどうかの指示（例えば、歩行者が歩道、又は道路の上にいるかどうか）、歩行者が横断歩道領域にいるかどうかの指示、領域を制御する指示器の状態（例えば、交差点が信号で制御されているかどうか、及び／又は横断歩道が信号で制御されているかどうか（例えば、歩く／歩かない）、及び／又は信号の状態）、車両コンテキスト（例えば、環境内における車両の存在、及び車両に関連付けられた属性）、一定期間における横断歩道領域を通過するフラックス（例えば、一定期間に横断歩道領域を通過した物体（例えば、車両）の数）、物体の関連付け（例えば、歩行者が複数の歩行者のグループの中を移動しているかどうか）、第１の方向における横断歩道までの距離（例えば、グローバルｘ－方向、又は参照のフレームに基づいたｘ－方向の距離）、第２の方向における横断歩道までの距離（例えば、グローバルｙ－方向、又は参照のフレームに基づいたｙ－方向の距離）、横断歩道領域における道路までの距離（例えば、横断歩道領域内の道路までの最短距離）、歩行者のハンドジェスチャー、歩行者の視線検出、歩行者が立っているか、歩いているか、走っているかなどの指示、他の歩行者が横断歩道にいるかどうか、歩行者の横断歩道フラックス（例えば、一定期間において横断歩道（例えば、走行可能なエリア）を横断して横断歩道を通過する歩行者の数）、歩道（又は、走行不能なエリア）の上にいる第１の歩行者の数と、横断歩道領域（又は走行可能なエリア）の上にいる第２の歩行者の数との比率、各属性に関連付けられた分散、信頼度、及び／又は確率など、の１つまたは複数を含むことができるが、これに限定はされない。
属性は、時間（例えば、限定ではないが、０．０１秒、０．１秒、１秒、２秒など、現在の時間の前および／または現在の時間を含む任意の時間を表す時間Ｔ-M、...、Ｔ-2、Ｔ-1、Ｔ0（ここで、Ｍは整数である）)にわたって決定され、歩行者の予測位置を決定するために予測コンポーネントに入力されることができる。いくつかの例では、予測コンポーネントは、ニューラルネットワーク、完全接続ニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワークなどの機械学習モデルである。
いくつかの例では、予測コンポーネントは、将来の歩行者に関連付けられた情報を出力することができる。例えば、予測コンポーネントは、将来の時間（例えば、現在時間の後の任意の時間を表す時間Ｔ1、Ｔ2、Ｔ3、...、ＴN（ここで、Ｎは整数である））に関連付けられた予測情報を出力することができる。いくつかの例では、予測情報は、将来の時間における歩行者の予測位置を備えることができる。例えば、予測位置は、参照のフレームにおいて、原点（例えば、Ｔ0における歩行者の位置）とＴ1における歩行者との間の距離（例えば、距離ｓ）、及び／又は第１の軸に対する（例えば、参照線に対する）横方向のオフセット（ｅy）として表されることができる。いくつかの例では、距離ｓ、及び／又は横方向のオフセットｅyは、有理数（例えば、０．１メートル、１メートル、１．５メートルなど）で表されることができる。いくつかの例では、距離ｓ、及び／又は横方向のオフセットはビン化（例えば、ビン化アルゴリズムへの入力）され、元のデータ値を１つまたは多数の離散的なインターバルに離散化することができる。いくつかの例では、距離ｓのビンは、０～１メートル、１～２メートル、３～４メートルなどとすることができるが、このようなビンには、任意の規則的または不規則的な間隔を使用することもできる。
いくつかの例では、自律車両などの車両は、歩行者の予測位置に少なくとも部分的に基づいて、環境を横断するように制御されることができる。
上述のように、第２の例では、本明細書で論じられる技術が実装され、車両が環境を通過する際に物体（例えば、車両）の位置を予測することができる。例えば、環境内でセンサーデータが取得されることができ、物体は識別され、車両として分類されることができる。さらに、参照線は、マップデータ（例えば、車線などの走行可能なエリアを識別）、及び／又はセンサーデータ（例えば、センサーデータから走行可能なエリア、又は車線を識別）に基づいて識別され、車両に関連付けられることができる。理解できるように、環境は任意の数の物体を含む。例えば、対象となる物体、又は対象となる車両（例えば、そのような予測技術の対象となる車両）は、対象となる車両に近接する他の車両が存在する環境を移動している。いくつかの例では、技術は、対象となる物体に最も近いＫ個の物体を識別することを含む（ここで、Ｋは整数である）。例えば、技術は、対象となる車両に最も近い５つの車両または他の物体を識別することを含むが、任意の数の車両、又は他の物体が識別、又は別の方法で決定されることもできる。いくつかの例では、技術は、対象となる物体に対して閾値距離内にある物体を識別することを含む。いくつかの例では、センサーデータを取り込む車両は、対象となる車両に近接している物体の１つとして識別される。少なくともいくつかの例では、考慮すべき物体を決定するために、付加的な特徴が使用される。非限定的な例として、反対方向に走行している物体、分断された道路の反対側にある物体、特定の分類（例えば、車両以外）を有する物体などは、Ｋ個の最近接物体を検討するときは無視される。
いくつかの例では、属性は、対象となる物体、及び／又は対象となる物体に近接する他の物体に対して決定されることができる。例えば、属性は、物体のある時点での速度、物体のある時点での加速度、物体のある時点での位置（例えば、グローバル座標またはローカル座標）、物体のある時点での境界ボックス（例えば、物体の範囲、ロール、ピッチ、および／またはヨーを表す）、最初の時点での物体に関連づけられた照明の状態（ヘッドライト、ブレーキライト、ハザードライト、方向指示ライト、バックライトなど）、車両の車輪の向き、その時点での物体とマップ要素の間の距離（停止線、スピードバンプ、イールドライン、交差点、車道までの距離など）、物体の分類（自動車、車両、動物、トラック、自転車など）、物体に関連付けられた特徴（物体が車線変更しているかどうか、二重駐車の車両かどうかなど）、車線の種類（車線の方向、駐車レーンなど）、道路標識（追い越しや車線変更が許可されているかどうかを示すものなど）などの１つまたは複数を含むことができるが、これらに限定はされない。
いくつかの例では、対象となる物体、及び／又は対象となる物体に近接する他の物体に関連付けられた属性情報は、経時的に取り込まれることができ、対象となる物体に関連付けられた予測情報を決定するために予測コンポーネントに入力されることができる。いくつかの例では、予測情報は、様々な時間間隔における対象の予測位置（例えば、時間Ｔ1、Ｔ2、Ｔ3、...、ＴNにおける予測位置）を表すことができる。
いくつかの例では、予測された位置は、対象となる物体に関連付けられた参照線を決定するため、環境内の候補参照線と比較されることができる。例えば、環境は、対象となる車両が横断するための適格な（例えば、適法な）走行可能なエリアである２つの車線を含む。さらに、そのような走行可能なエリアは、代表的な参照線（例えば、車線または走行可能なエリアの中央）と関連付けられる。いくつかの例では、予測位置と参照線候補との間の類似性スコアを決定するため、予測位置は参照線と比較されることができる。いくつかの例では、類似性スコアは、予測位置と参照線との間の距離などに少なくとも部分的に基づくことができる。いくつかの例では、物体に関連付けられた属性（例えば、時間Ｔ-M、Ｔ-1、Ｔ0）は、物体に関連付けられる可能性が高い参照線を出力することができる参照線予測コンポーネントに入力されることができる。技術は、参照線を受信、選択、又は別の方法で決定することと、環境内の参照線に関する予測位置を表すこととを含むことができる。すなわち、予測位置は、時間Ｔ0における物体の位置と、将来の時間（例えば、時間Ｔ1）における物体の予測された位置との間の距離を表す、参照線に沿った距離ｓとして表されることができる。横方向のオフセットｅyは、参照線と、参照線に関連付けられた接線に垂直な線と交差する点との間の距離を表すことができる。
予測技術は、環境内の物体に関連付けられた予測位置を決定するために、反復して、又は並行して繰り返されることができる。すなわち、第１の対象となる物体は、環境内の物体の第１のサブセットと関連付けられ、第２の対象となる物体は、環境内の物体の第２のサブセットと関連付けられる。いくつかの例では、第１の対象となる物体は、物体の第２のサブセットに含まれ、一方、第２の対象となる物体は、物体の第１のサブセットに含まれる。このように、予測位置は、環境内の複数の物体に対して決定されることができる。場合によっては、予測位置は、技術的な許容範囲内で実質的に同時に決定されることができる。
いくつかの例では、自律車両などの車両は、物体の予測位置に少なくとも部分的に基づいて環境を横断するように制御されることができる。例えば、そのような予測位置は、環境内の物体の予測位置を理解して環境を横断するために、車両の計画コンポーネントに入力されることができる。
本明細書で論じられる技術は、自律車両のコンピューティングデバイスなどのコンピューティングデバイスの機能を、多くの付加的な方法で改善することができる。いくつかの例では、属性を決定し、その属性を機械学習コンポーネントなどの予測コンポーネントに入力することは、他の方法で環境を柔軟性に欠くように表すハードコード化されたルールを回避することができる。場合によっては、環境内の物体（歩行者や車両など）に関連付けられた予測位置を決定することは、他の車両や物体に対して環境内を安全かつ快適に移動するための軌道をより適切に計画することを与えることができる。例えば、衝突、又は衝突に近いものの可能性を示唆する予測位置は、自律車両に対して環境を安全に横断するために軌道を変更すること（例えば、車線変更、停止など）を与える。このような、及び他のコンピューティングデバイスの機能の改善については、本明細書で論じられる。
本明細書で述べられる技術は、多くの方法で実装されることができる。例示的な実装は、以下の図を参照して提供される。自律車両のコンテキストで論じられているが、本明細書で述べられる方法、装置、およびシステムは、様々なシステム（例えば、センサーシステムまたはロボットプラットフォーム）に適用されることができ、自律車両に限定はされない。一例では、同様の技術は、そのようなシステムが、様々な操縦を行うことが安全であるかどうかの指示を提供する、運転者が制御する車両に利用される。別の例では、この技術は、製造業の組み立てラインのコンテキストや、航空測量のコンテキストで利用されることができる。さらに、本明細書で述べられる技術は、実データ（例えば、センサーの使用によって取り込まれたもの）、シミュレーションデータ（例えば、シミュレータによって生成されたもの）、またはこれら２つの任意の組み合わせで使用されることができる。
図１は、センサーデータを取り込むこと、物体に関連付けられた属性を決定すること、属性に基づいて予測位置を決定すること、予測位置に基づいて車両を制御することの例示的なプロセス１００の絵画的フロー図である。
動作１０２において、プロセスは、環境のセンサーデータを取り込むことを含むことができる。いくつかの例では、センサーデータは、車両（自律的、又はその他の方法による）上の１つまたは複数のセンサーによって取り込まれることができる。例えば、センサーデータは、ＬＩＤＡＲセンサー、画像センサー、ＲＡＤＡＲセンサー、Time of flightセンサー、ソナーセンサーなどによって取り込まれたデータを含むことができる。いくつかの例では、動作１０２は、物体の分類を決定すること（例えば、物体が環境内の歩行者であることを決定すること）を含むことができる。
動作１０４において、プロセスは、物体（例えば、歩行者）に関連付けられた目的地を決定することを含むことができる。例１０６は、環境内の車両１０８、及び物体１１０（例えば、歩行者）を示している。いくつかの例では、車両１０８は、プロセス１００で論じられる動作を実行することができる。
動作１０４は、物体１１０の属性を決定して、物体１１０の位置、速度、進路などを決定することを含むことができる。さらに、動作１０４は、マップデータにアクセスして、横断歩道領域（例えば、横断歩道領域１１２）が環境内に存在するかどうかを決定することを含むことができる。いくつかの例では、横断歩道領域１１２は、環境内の横断歩道の周辺を表すことができる。いくつかの例では、動作１０４は、物体が横断歩道領域１１２の一部の閾値距離（例えば、５メートル）内にあることを決定することを含むことができる。いくつかの例では、閾値距離は、物体から横断歩道領域の任意の部分までの最短距離とみなされる。物体１１０が環境内の多様な横断歩道領域の閾値距離内にある場合、動作１０４は、歩行者（例えば、物体１１０）がそれぞれの横断歩道領域を横断することに関連付けられた確率、又はスコアを決定し、最も可能性の高い横断歩道領域を選択することを含むことができる。いくつかの例では、目的地１１４は、横断歩道領域１１２に関連付けられることができる。いくつかの例では、目的地１１４は、横断歩道領域１１２に関連付けられた環境内の任意の点を表すことができるが、物体１１０の位置に対向する横断歩道領域１１２の側部の中心または中間点を表すことができる。目的地を決定することの付加的な詳細は、図３Ａ、及び図３Ｂに関連して、同様に、本開示を通して論じられる。
動作１１６では、プロセスは、物体に関連付けられた属性を決定することを含むことができる。例１１８に例示されるように、属性は物体１１０に対して、属性に関連付けられた最新の時間まで、及びそれを含む時間内の様々な例（例えば、時間Ｔ-M、．．．、Ｔ-2、Ｔ-1、Ｔ0）において、決定されることができる。物体１１０は、物体１２０（例えば、時間Ｔ-2における）として、物体１２２（例えば、時間Ｔ-1における）として、および物体１２４（例えば、時間Ｔ0における）として参照されることができる。いくつかの例では、時間Ｔ0は、データが予測コンポーネント（後述）に入力される時間を表し、時間Ｔ-1は、時間Ｔ0の１秒前を表し、時間Ｔ-2は、時間Ｔ0の２秒前を表す。しかしながら、時間Ｔ0、Ｔ-1、及びＴ-2は、任意の時間インスタンス、及び／又は時間の期間を表すことができることが理解されることができる。例えば、時間Ｔ-1は時間Ｔ0の０．１秒前を表し、時間Ｔ-2は時間Ｔ0の０．２秒前を表す。いくつかの例では、動作１１６で決定された属性は、物体１２０、１２２、及び／又は１２４についての情報を含むことができるが、これらに限定はされない。例えば、物体１２０に関連付けられた速度属性は、時間Ｔ-2における物体１２０の速度を表す。物体１２２に関連付けられた速度属性は、時間Ｔ-1における物体の速度を表す。そして、物体１２４に関連付けられた速度属性は、時間Ｔ0における物体の速度を表す。いくつかの例では、属性のいくつか、又はすべては、物体１２４（例えば、時刻Ｔ0における物体１１０）と目的地１１４との相対的な参照のフレームで表される。そのような例では、各先行した時間ステップ（Ｔ-MからＴ0）に関連付けられた３つの一意的な参照フレームがあり、各属性はその特定の時間の参照フレームに関連付けられる。属性の付加的な詳細は、図２に関連して、同様に、本開示を通して論じられる。
動作１２６において、プロセスは、属性に基づいて、物体に関連付けられた予測位置を決定することを含むことができる。例１２８は、予測位置１３０（例えば、Ｔ0後の時間である時間Ｔ1における物体１１０の予測位置）を示している。いくつかの例では、動作１２６が時間Ｔ0、又はその付近で実行されることができるため、時間Ｔ1における予測位置１３０は、将来における物体１１０の場所を表すことができる。理解できるように、いくつかの例では、動作１２６は、将来の物体１２４に関連付けられた複数の時間に対して予測位置を決定することを含むことができる。例えば、動作１２６は、時間Ｔ1、Ｔ2、Ｔ3、...、ＴNにおける物体の予測位置を決定することを含むことができ、ここでＮは、将来における時間、例えば、１秒、２秒、３秒などを表す整数である。いくつかの例では、予測位置は、参照線に沿った距離ｓ、及び参照線からの横方向のオフセットｅyとして表されることができる。少なくともいくつかの例では、距離ｓ、及びオフセットｅyは、各時間のステップで定義された相対座標系に対するもの、及び／又は最後に決定された参照フレームに対するものである。予測位置の決定に関する付加的なの詳細は、図４および図５に関連して、また本開示を通して論じられる。
いくつかの例では、動作１０２、１０４、１１６、及び／又は１２６は、反復して、又は繰り返して（例えば、各時間のステップで、１０Ｈｚの周波数で、など）実行されることができるが、プロセス１００は、任意の間隔または任意の時間で実行されることができる。
動作１３２において、プロセスは、予測位置に少なくとも部分的に基づいて、車両を制御することを含むことができる。いくつかの例では、動作１３２は、車両１０８が従うべき軌道を生成すること（例えば、交差点の前および／または横断歩道領域１１２の前で停止し、歩行者１１０が横断歩道領域１１２を通過して目的地１１４まで横断することを与えること）を含むことができる。
図２は、物体の例示的な属性２００を示している。いくつかの例では、属性２０２は、環境内の物体（例えば、図１における物体１１０）についての、又は関連付けられた様々な情報を表すことができる。いくつかの例では、属性２０２は、物体に関連付けられた１つまたは複数の時間インスタンスに対して決定されることができる。例えば、物体１２０は、時間Ｔ-2における物体１１０を表し、物体１２２は、時間Ｔ-1における物体１１０を表し、物体１２４は、時間Ｔ0における物体１１０を表す。属性は、例えば、時間インスタンスＴ-2、Ｔ-1、及びＴ0のそれぞれにおける物体に対して決定されることができる。
属性２０２の例は、物体と道路との間の距離、領域までのｘ－距離（又は第１の距離）、領域までのｙ－距離（又は第２の距離）、目的地までの距離、速度（大きさ）、速度（角度）、ｘ－位置、ｙ－位置、領域フラックス、領域を制御する指示器の状態、車両コンテキスト（又は一般的には、物体コンテキスト）、物体の関連付けなどを含むが、これらに限定はされない。少なくともいくつかの例では、本明細書で論じられる属性は、各時間のステップで定義された（例えば、物体１２０、１２２、１２４の各々に関連付けられた）相対座標系に対するもの、最後に決定された参照フレームに対するもの、車両１０８に関して（例えば、様々な時間のステップ（ｓ）で）定義された参照フレームに対するもの、グローバル座標の参照フレームに対するもの、などである。
例２０４は、物体１２４に関連付けられた様々な属性を例示している。例えば、例２０４は、横断歩道領域１１２、及び目的地１１４に関する属性を示している。いくつかの例では、領域までのｘ－距離は、距離２０６に対応することができる。すなわち、距離２０６は、物体１２４と、物体１２４に最も近い横断歩道領域１１２のエッジとの間の第１の方向（グローバルまたはローカルな参照フレームである）における距離を表すことができる。いくつかの例では、領域までのｙ－距離は、距離２０８に対応することができる。すなわち、距離２０８は、物体１２４と横断領域１１２のエッジとの間の第２の方向の距離を表すことができる。少なくともいくつかの例では、物体１２４と横断歩道領域との間の最単距離が決定され、その後、ｘ－距離、及びｙ－距離として、それぞれのｘ－成分およびｙ－成分に分解される。
例２０４に示されるように、物体１２４は、歩道領域２１０（又は一般的に、走行不能領域２１０）上の位置にある。いくつかの例では、横断歩道領域１１２は、道路２１２（または、一般に、運転可能な領域２１２）を横切る経路を提供する。いくつかの例では、道路までの距離は距離２１４に対応することができ、物体１２４と横断歩道領域１１２内の道路２１２の一部との間の最短、又は最小の距離に対応することができる。
いくつかの例では、目的地までの距離は、距離２１６に対応することができる。図示されているように、距離２１６は、対象物１２４と目的地１１４との間の距離を表している。
上述したように、いくつかの例では、属性２０２は、参照のフレームで表されることができる。本明細書で論じられるように、参照のフレームは、各時間のステップにおける物体の位置に関して、最後の参照フレーム、グローバル座標系などを基準にして定義される。いくつかの例では、参照のフレームに対応する原点は、物体１２４の位置に対応することができる。例２１８は、参照のフレーム２２０（参照フレーム２２０とも呼ばれる）を示している。いくつかの例では、参照のフレーム２２０の第１の軸は、物体１２４の位置から、目的地１１４の方向への単位ベクトルによって定義される。第１の軸は、例２１８ではｘ軸と表示されている。いくつかの例では、第２の軸は、第２の軸に垂直であり、横断歩道を備える平面内に存在することができる。第２の軸は、例２１８では、ｙ軸と表示されている。いくつかの例では、第１の軸は、距離ｓが決定されることができる参照線を表すことができ、一方、横方向のオフセットｅyは、第２の方向（例えば、ｙ軸）に対して決定されることができる。
例２２２は、物体１２４に関連付けられた速度ベクトル２２４と、速度ベクトル２２４と参照線との間の角度を表す角度２２６を示している。いくつかの例では、参照線は、参照のフレーム２２０の第１の軸に対応することができるが、任意の基準線を選択、又は他の方法で決定されることができる。
本明細書で論じられるように、物体１２４、１２２、及び１２０に関連付けられた属性は、参照のフレーム２２０を基準にして表されることができる。すなわち、時間Ｔ０において、物体１２４のｘ－位置およびｙ－位置は、（０，０）として表されることができる（例えば、物体１２４は、参照のフレーム２２０の原点を表す）。さらに、参照のフレーム２２０に対して、物体１２２（時間Ｔ0における）のｘ－位置およびｙ－位置は（－ｘ1，－ｙ1）で表されることができ、物体１２０（時刻Ｔ0における）のｘ－位置およびｙ－位置は（－ｘ2，－ｙ2）で表されることができる。少なくともいくつかの例では、単一の座標フレームが使用されるが、他の例では、相対座標フレームが全ての点に関連付けられ、各相対座標フレームに対して属性が定義される。
上述したように、属性２０２は、領域フラックスを含むことができる。いくつかの例では、領域フラックスは、ある期間内に横断歩道領域１１２を通過した物体の数を表すことができる。例えば、領域フラックスは、Ｋ秒内に横断歩道領域１１２（または任意の領域）を通過したＪ個の自動車（及び／又は他の歩行者などの他の物体）に対応することができる（例えば、Ｔ-2からＴ0の間の時間内に５台）。いくつかの例では、領域フラックスは、任意の期間を表すことができる。さらに、領域フラックスは、期間内に横断歩道領域１１２を通過した、そのような車両についての速さ、加速度、速度などの情報を含むことができる。
さらに、属性２０２は、領域を制御する指示器を含むことができる。いくつかの例では、領域を制御する指示器は、横断歩道領域１１２内の歩行者の交通を制御する信号または指示器の状態に対応することができる。いくつかの例では、領域を制御する指示器は、信号が存在するかどうか、信号の状態（例えば、緑、黄、赤など）、及び／又は横断歩道の指示器の状態（例えば、歩く、歩かない、不明など）を示すことができる。
いくつかの例では、属性２０２は、車両、又は他の物体が物体（例えば、１２４）に近接しているかどうかを示す車両コンテキスト、及びそのような任意の車両、又は物体に関連付けられた属性を含むことができる。いくつかの例では、車両コンテキストは、速度、方向、加速度、境界ボックス、位置（例えば、参照のフレーム２２０内）、物体と物体１２４との間の距離などを含むが、これらに限定はされない。
いくつかの例では、属性２０２は、物体の関連付けを含むことができる。例えば、物体の関連付けは、物体１２４が他の物体と関連付けられているかどうか（例えば、物体１２４が歩行者のグループにいるかどうか）を示すことができる。いくつかの例では、物体の関連付け属性２０２は、関連する物体に関連杖蹴られた属性を含むことができる。
属性２０２はさらに、加速度、ヨー、ピッチ、ロール、相対速度、相対加速度、物体が道路２１２にいるかどうか、物体が歩道２１０にいるかどうか、物体が横断歩道領域１１２内にいるかどうか、目的地が変わったかどうか（例えば、物体が交差点で引き返したかどうか）、物体の高さ、物体が自転車に乗っているかどうか、などに関連付けられた情報を含むが、これらに限定はされない。
属性２０２はさらに、歩行者の手のジェスチャー、歩行者の視線検出、歩行者が立っているか、歩いているか、走っているかなどの指示、他の歩行者が横断歩道にいるかどうか、歩行者の横断歩道フラックス（例えば、一定期間に横断歩道を通って（例えば、走行可能なエリアを横断して）移動する歩行者の数）、歩道（又は走行不能なエリア）にいる第１の歩行者数と、横断歩道領域（又は走行可能なエリア）にいる第２の歩行者数との比率、各属性に関連付けられた分散、信頼度、及び／又は確率などをさらに含むが、これらに限定はされない。
図３Ａ、及び図３Ｂは、環境内の物体に関連付けられた目的地を決定することの例を示している。一般的に、図３Ａは、２つの横断歩道領域の間で選択することを例示し、一方、図３Ｂは、単一の横断歩道領域に関連付けられた２つの目的地の間で選択することを例示している。
図３Ａは、環境内の物体に関連付けられた目的地を決定することの例３００を示している。上述したように、また一般的に、図３Ａは、２つの横断歩道領域の間で選択することを示している。例３０２は、時間Ｔ-1において歩行者に対応した物体３０４と、時間Ｔ0において歩行者に対応した物体３０６を示している。例えば、車両１０８などの車両は、環境のセンサーデータを取り込むことができ、歩行者が環境にいることを決定することができる。
さらに、物体３０４、及び３０６に少なくとも部分的に基づいて、コンピューティングシステムは、物体３０４、及び／又は３０６が環境内の１つまたは複数の横断歩道領域に近接していることを決定することができる。例えば、コンピューティングデバイスは、そのような横断歩道領域の位置および範囲（例えば、長さ、及び幅）を示すマップ要素を含むマップデータにアクセスすることができる。例３０２は、環境を、第１の横断歩道領域３０８（領域３０８とも呼ばれる）、及び第２の横断歩道領域３１０（領域３１０とも呼ばれる）を含むものとして示している。
いくつかの例では、領域３０８は、閾値領域３１２（閾値３１２とも呼ばれる）と関連付けられることができ、領域３１０は、閾値領域３１４（閾値３１４とも呼ばれる）と関連付けられることができる。図示されているように、物体３０４、及び３０６は、閾値３１２、及び３１４の範囲内にある。物体３０４、及び／又は３０６が閾値３１２、及び３１４内にあることに少なくとも部分的に基づいて、コンピューティングデバイスは、物体３０４、及び／又は３０６がそれぞれ領域３０８、及び、３１０に関連付けられていると決定することができる。
いくつかの例では、閾値３１２は、領域３０８に関連付けられた任意の領域、又はエリアを表すことができる。図示されるように、閾値３１２は、領域３０８を囲む５メートルの閾値を表すことができるが、閾値３１２の任意の距離、又は形状が、領域３０８に関連付けられることができる。同様に、閾値３１４は、領域３１０に関連付けられた任意の距離、又は、形状を含むことができる。
いくつかの実施例では、領域３０８は、目的地３１６と関連付けられることができる。さらに、いくつかの例では、領域３１０は、目的地３１８と関連付けられることができる。いくつかの例では、目的地３１６、及び／又は３１８の位置は、物体３０４、及び／又は３０６から道路を横断して位置される。すなわち、横断歩道領域に関連付けられた目的地は、横断歩道領域に対する歩行者の位置に少なくとも部分的に基づいて選択されることができる
物体３０４、及び／又は３０６は、本明細書で論じられるような属性と関連付けられることができる。すなわち、技術は、物体３０４、及び３０６の位置、速度、進路、加速度などをそれぞれ決定することを含むことができる。
さらに、例３０２に表された情報（例えば、物体３０４、及び／又は３０６に関連付けられた属性、領域３０８、及び／又は３１０の位置、閾値３１２、及び／又は３１４の位置、目的地３１６、及び／又は３１８の位置など）は、目的地予測コンポーネント３２０に入力されることができる。いくつかの例では、目的地予測コンポーネント３２０は、物体３０６が領域３０８、及び／又は領域３１０を横断するスコア、又は確率を出力することができる。例３０２では、２つの時間のステップ（例えば、Ｔ-1、及びＴ0）に関連付けられた物体情報を示しているが、任意の経時的な物体情報が目的地の決定に使用されることができる。
いくつかの例では、物体３０２、及び３０６に関連付けられた属性は、１つ又は複数の参照のフレームを用いて、目的地予測コンポーネント３２０に入力されることができる。例えば、目的地３１６を評価するために、物体３０４、及び３０６に関連付けられた属性は、目的地３１６に少なくとも部分的に基づいた参照のフレームを使用して、目的地予測コンポーネント３２０に入力されることができる。さらに、目的地３１８を評価するために、物体３０４、及び３０６に関連付けられた属性は、目的地３１８に少なくとも部分的に基づいた参照のフレームを使用して、目的地予測コンポーネント３２０に入力されることができる。
いくつかの例では、信号無視をしている歩行者、又は横断歩道領域が容易に識別できない道路を横断する歩行者の場合のように、歩行者に関連付けられた目的地は、多くの要因に基づいて決定されることができる。例えば、目的地は、歩行者の速度の直線外挿、歩行者に関連付けられた歩道領域の最も近い位置、駐車している車両の間の隙間、車両に関連付けられた開いたドアなどの１つ又は複数に少なくとも部分的に基づいて、決定されることができる。いくつかの例では、環境内の可能な目的地を識別するために、環境のセンサーデータを取り込むことができる。さらに、物体に関連付けられた属性は、決定された目的地に少なくとも部分的に基づいて、参照のフレーム内に表されることができ、その属性は、本明細書で論じられるように、評価のために目的地予測コンポーネント３２０に入力されることができる。
例３２２は、目的地予測コンポーネント３２０の出力を示している。例えば、物体３０４、及び／又は３０６の属性に少なくとも部分的に基づいて、目的地予測コンポーネント３２０は、物体３０４、及び／又は３０６が目的地３１８に向かっていることを予測する。
図３Ｂは、環境内の物体に関連付けられた目的地を決定することの別の例３２４を示している。上述したように、図３Ｂは、単一の横断歩道領域に関連付けられた２つの目的地の間で選択することを示している。
例３２４は、時間Ｔ-1における歩行者に対応した物体３２６と、時間Ｔ0における歩行者に対応した物体３２８を示している。いくつかの例では、物体３２６、及び３２８が道路３３０（または運転可能なエリア３３０）にあるので（歩道３３２（または運転不能なエリア３３２）に位置するのとは対照的に）、コンピューティングデバイスは、領域３３８に関連付けられた２つの目的地３３４、及び３３６を識別する。いくつかの例では、物体３２６、及び３２８に関連付けられた属性は、目的地３３４、及び３３６のどちらが最も可能性が高いかを決定するために、目的地予測コンポーネント３２０に入力されることができる（目的地３３４と３３６、及び領域３３８についての情報、同様に、他の情報）。この図３Ｂでは、例示のために、横断歩道を出入りするように描かれているが、このような横断歩道領域は必須ではない。非限定的な例として、そのような目的地予測コンポーネント３２０は、歩行者が信号無視をしようとしている、又はそうでなくとも横断歩道領域ではないエリアで横断すると一般的に決定し、対応する目的地を出力する。このような例では、領域に関連付けられた属性は決定されない（領域が存在しないため）。しかしながら、いくつかの例では、道路セグメントに直交し、一定の幅を有する固定された領域が、そのようなパラメータを決定するための領域として使用される。
上述したように、いくつかの例では、領域３３８は、物体３２６、及び／又は３２８が領域３３８の閾値距離内にある時間に、物体３２６、及び／又は３２８と関連付けられる。
図４は、経時的な物体の属性に基づいて、物体の予測位置を決定する例４００を示している。
例４０２は、物体１２０（例えば、時間Ｔ-2における歩行者）、物体１２２（例えば、時間Ｔ-1における歩行者）、及び物体１２４（例えば、時間Ｔ0の歩行者）を示している。本明細書で論じられるように、物体１２０、１２２、及び１２４は、物体１２４を原点とする参照のフレーム（及び／又は任意の１つ又は複数の時間に関連付けられた１つまたは複数の参照のフレーム）で表されることができる。さらに、例４０２では、横断歩道領域１１２、及び目的地１１４に関連付けられた物体１２０、１２２、および１２４を示している。
例４０２に関連付けられたデータは、物体１２０、１２２、及び／又は１２４に関連付けられた予測位置を出力することができる位置予測コンポーネント４０４に入力されることができる。
例４０６は、物体１２０、１２２、及び／又は１２４に基づく予測位置を示している。例えば、位置予測コンポーネント４０４は予測位置４０８を出力することができ、予測位置４０８は時間Ｔ1における物体の位置を表す。いくつかの例では、予測位置４０８は、物体１２４（例えば、原点）及び目的地１１４によって定義される参照のフレームに少なくとも部分的に基づいて、距離（例えば、ｓ）４１０、及び横方向のオフセット４１２（例えば、ｅy）として表される。
図示されているように、位置予測コンポーネント４０４は、それぞれ時間Ｔ1、Ｔ2、Ｔ3、Ｔ4、及びＴ5の各々に対応する５つの予測位置を出力することができるが、位置予測コンポーネント４０４は、任意の将来の時間に関連付けられた任意の数の予測位置を出力できることが理解されることができる。いくつかの例では、そのような付加的な予測位置は、グローバル座標フレーム、ローカル座標フレーム、以前の予測点に関連付けられた相対的参照フレームに関するものなどによって定義される。
いくつかの例では、位置予測コンポーネント４０４は、距離ｓまたは横方向オフセットｅyなどの出力値をビン化する機能を含むことができる。すなわち、位置予測コンポーネント４０４は、ビンに入る値を、そのビンを代表する値に置き換えるビン化機能を含むことができる。例えば、ビンに該当する距離ｓは、ビン化された値を代表する値に置き換えられることができる。例えば、距離ｓ＝０．９メートルで、０．０メートルから１．０メートルの第１のビンが０．５メートルのビン値に対応する場合、距離ｓ＝０．９メートルに対するビン化された出力は、０．５メートルに対応する。任意の数のビンが、任意の範囲にかけて使用されることができる。もちろん、いくつかの例では、元の値はビン化なしでそのような出力が出力されることができる。そのような例では、ビンの中心部分からのオフセットを示す追加の値が出力ビンに関連付けられる。非限定的な例として、次の予測位置が第１のビン（例えば、０から１ｍの間）に入ることを示す出力と、関連付けられた０．２ｍのオフセットが、予測位置の可能性が高い位置が０．７ｍ（例えば、０．５ｍ＋０．２ｍ）であることを示すために使用される。
一般的に、例４０６に示された予測位置は、予測位置４１４と呼ばれることができる。
いくつかの例では、位置予測コンポーネント４０４は、物体１２４がそれぞれの時間にそれぞれの予測位置に位置するという確実性を示す、それぞれの予測場所４１４に関連付けられた分散、共分散、確率、又は確実性を出力することができる。
図５は、予測位置の決定で使用される参照のフレームの更新の例５００を示している。
例４０６は、例４０６で表される時間Ｔ0に対応した時間ＴAを表すために、図５で再現される。図示されるように、物体１２０、１２２、及び１２４は、物体１２４の位置、及び目的地１１４の位置によって部分的に定義される参照のフレーム２２０で表される。
いくつかの例では、例４０６は次の時間のステップのために更新され、更新された予測位置は決定されることができる（例えば、動作５０２において）。
そのような更新された例は、例５０４として示され、例５０４は、例４０６に対応する環境を示すが、時間ＴAの後に発生する時間ＴBにおいてである。例５０４の物体５０６は、参照のフレーム５０８に関する時間Ｔ0を表す。同様に、例５０４は、時間Ｔ-1における物体を表す物体５１０を含む。さらに、物体５１２は、時間Ｔ-2における物体を表す。
いくつかの例では、物体５１０（例えば、参照のフレーム５０８内の時間Ｔ-1における物体）は、物体１２４（例えば、参照のフレーム２２０内の時間Ｔ0における物体）に対応することができる。同様に、物体５１２（例えば、参照のフレーム５０８内の時間Ｔ-2における物体）は、物体１２２（例えば、参照のフレーム２２０内の時間Ｔ-1における物体）に対応することができる。比較のために、例５０４は、物体１２０を示しており、それによって、物体１２０（及び／又は物体１２０に関連付けられた属性）が使用される、又は例５０４において更新された予測位置を決定するとき、物体１２０は使用されない。
理解されることができるように、参照のフレーム５０８は、物体５０６、及び目的地１１４の位置によって、又は少なくとも部分的に基づいて定義されることができる。このように、相対参照フレームは、目的地１１４、及び物体１２４の最近決定された位置（例えば、このような座標参照フレームは、環境内の物体の変化によって変化する）に関して定義されることができる。
したがって、例５０４に関連付けられた情報（物体１２０に関連付けられた情報を含むか否か）は、更新された予測位置５１４決定するために、位置予測コンポーネント４０４に入力されることができる。本明細書で論じられるように、更新された予測位置５１４は、参照のフレーム５０８に少なくとも部分的に基づいている。
いくつかの例では、更新された予測位置は、１０Ｈｚの周波数で決定されることができるが、予測位置は、任意の周波数で、又は任意の定期的或いは不定期的な時間間隔で決定されることができる。
図６は、センサーデータを取り込むこと、第１の物体、及び第２の物体が環境内にあることを決定すること、第２の物体に関連付けられた属性を決定すること、属性、及び参照線に基づいて予測位置を決定すること、予測位置に基づいて車両を制御することのプロセス６００を例示した絵画的フロー図である。
第１の物体に関連付けられた予測位置を決定するために、第１、及び第２の物体の属性を決定するというコンテキストで論じられるが、いくつかの例では、１つ又は複数の第２の物体に対して属性が決定されることはなく、第１の物体の予測位置は、第１の物体に関連付けられた属性に基づいて決定されることができる。
動作６０２において、プロセスは、環境のセンサーデータを取り込むことを含むことができる。いくつかの例では、センサーデータは、車両（自律的、又はその他の方法による）上の１つ又は複数のセンサーによって取り込まれることができる。例えば、センサーデータは、ＬＩＤＡＲセンサー、画像センサー、ＲＡＤＡＲセンサー、Time of flightセンサー、ソナーセンサーなどによって取り込まれたデータを含むことができる。いくつかの例では、動作６０２は、物体の分類を決定すること（例えば、物体が環境内の車両であると決定すること）を含むことができる。
例６０４は、動作６０２でセンサーデータを取り込む車両６０６を示す。環境は、物体６０８、６１０、６１２、６１４、６１６、及び６１８をさらに含む。いくつかの例では、物体６１８は、本明細書で論じられるような予測動作の対象（例えば、対象）であるため、対象物体６１８と呼ぶことができる。
いくつかの例では、車両６０６は、軌道６２０を介して環境を横断する。図６のコンテキストで理解されることができるように、物体６０８は、車両６０６と同じ方向に（例えば、車両６０６と同じ車線で）移動されることができ、一方、いくつかの例では、物体６１０から６１８、及び対象物体６１８は、反対方向に走行することができる（例えば、対象物体６１８は、車両６０６に関する対向車を表すことができる）。もちろん、プロセス６００は、任意の環境で使用されることができ、図６に示される特定の物体、及び／又はジオメトリに限定されない。
動作６２２において、プロセスは、対象物体、及び対象物体に近接する物体に関連付けられた属性を決定することを含むことができる。例６２４は、車両６０６、物体６０６から６１６、及び対象物体６１８を示している。いくつかの例では、動作６２２は、他の物体の属性を決定することなく、対象物体に関連付けられた属性を決定することを含む。例えば、そのような他の物体が環境内に存在しない、又は他の物体のそのような属性が、本明細書で論じられる技術の実装に従って、対象物体６１８の予測位置を決定することに対し、必要とされない、望まれない、または要求されない。
図示のために、物体６１２の輪郭は点線で示され、物体６１２に対応する要素６２６、６２８、及び６３０は点で表されている。いくつかの例では、要素６２６は、時間Ｔ-2における物体６１２に関連付けられた位置を表している。いくつかの例では、要素６２８は、時間Ｔ-1における物体６１２に関連付けられた位置を表している。また、いくつかの例では、要素６３０は、時間Ｔ0における物体６１２に関連付けられた位置を表している。
さらに図示されるように、車両６０６、物体６０８から６１６、及び対象物体６１８は、図６ではそのような要素はラベル付けされていないが、要素と関連付けられている。そのような要素は、それぞれの時間（例えば、時間Ｔ-2、Ｔ-1、及びＴ0）において車両、及び／又は物体に関連付けられた位置を表し、及び／又はそれぞれの時間において物体に関連付けられた属性を表すことができることが、本開示のコンテキストにおいて理解されることができる。
いくつかの例では、動作６２２で決定された属性は、それぞれの物体についての情報を表すことができる。例えば、そのような属性は、物体の位置（例えば、グローバル位置、及び／又は任意の参照のフレームに関する相対的な位置）、速度、加速度、境界ボックス、照明の状態、車線属性、参照線、又は予測経路からのオフセットなどを含むことができるが、これらに限定はされない。このような属性の付加的な詳細については、図７に関連して、同様に、本開示を通して述べられる。
いくつかの例では、動作６２２は、対象物体に対する物体の近接に少なくとも部分的に基づいて、物体を決定、又は識別することを含むことができる。例えば、動作６２２は、対象物体６１８に近接する最も近いＮ個の物体を決定することを含むことができ、ここで、Ｎは整数である。付加的にまたは代替として、動作６２２は、物体が対象物体６１８の閾値距離内にあることに基づいて、物体を識別、又は選択することを含む。少なくともいくつかの例では、そのような選択は、例えば、物体の分類（例えば、車両のみを考慮する）、動きの方向（例えば、同じ方向に動く物体のみを考慮する）、マップに対する位置（例えば、道路の１つまたは複数の車線にいる車両のみを考慮する）などの１つまたは複数の特徴に基づいて、特定の物体を除外するが、これらに限定はされない。
動作６３２において、プロセスは、属性に少なくとも部分的に基づいて対象物体に関連付けられた予測位置を決定することを含むことができ、予測位置は、環境内の参照線（いくつかの例では、物体に関連付けられた車線の中心線を備える）に関する。例６３４は、環境内の対象物体６１８に関連付けられた予測位置６３６を示している。いくつかの例では、予測位置６３６は、参照線６３８によって、及び／又は参照線６３８に少なくとも部分的に基づくことによって定義されることができる。すなわち、予測位置６３６は、参照線６３８に沿った距離ｓと、参照線６３８からの横方向のオフセットｅyとによって表されることができる。
いくつかの例では、参照線６３８は、環境内のマップデータに少なくとも部分的に基づくことができる。さらに、いくつかの例では、参照線６３８は、道路、又は他の走行可能なエリアの車線の中央線に対応することができる。
いくつかの例では、動作６３２は、参照線予測コンポーネントからなど、対象物体６１８に関連付けられた参照線を受信することを含むことができる。いくつかの例では、参照線予測コンポーネントは、マップデータ、環境内の物体の属性などに少なくとも部分的に基づいて、最も可能性の高い参照線を出力するように訓練された機械学習モデルを備えることができる。いくつかの例では、参照線予測コンポーネントは、本明細書で論じられる他の機械学習モデルに統合されることができ、いくつかの例では、参照線予測コンポーネントは、個別のコンポーネントとすることができる。
いくつかの例では、動作６３２は、複数の候補参照線から参照線６３８を選択することを含むことができる。いくつかの例では、参照線６３８は、参照線６３８に対する予測位置６３６の類似性を表す類似性スコアに少なくとも部分的に基づいて選択されることができる。いくつかの例では、予測された経路、及び／又は軌道、以前に予測されたウェイポイントなどに対する予測位置６３６が挙げられる。予測位置、参照線、及び類似性スコアの付加的なの例は、図８に関連して、同様に、本開示を通して論じられる。
動作６４０において、プロセスは、予測位置に少なくとも部分的に基づいて車両を制御することを含むことができる。いくつかの例では、動作６４０は、車両６０８が従うための軌道、又は更新された軌道６４２を生成すること（例えば、物体６１８が車両６０８の予想された経路に対して密接に横断する場合に、車両６０６を車両６１８に関連付けられた予測位置６３６から遠ざけるようにバイアスすること）を含むことができる。
図７は、物体の属性の例７００を示している。いくつかの例では、属性７０２は、環境内の物体（例えば、図７で再現された例６０４で表される、図６の物体６１２、及び対象物体６１８）に関する、又は物体に関連付けられた様々な情報を表すことができる。
いくつかの例では、属性７０２は、物体の１つ又は複数の時間インスタンス対して決定されることができる。例７０４は、時間インスタンスＴ2、Ｔ-1、及びＴ0における物体６１２を示している。例えば、要素６２６は、時間Ｔ-2における物体６１２を表し、要素６２８は、時間Ｔ-1における物体６１２を表し、要素６３０は、時間Ｔ０における物体６１２を表す。
さらに、属性は、例７０４における任意の種類、及び／又は数の物体に対して決定されることができ、物体６１２に限定されない。例えば、属性は、要素７０６（例えば、時間Ｔ-2における対象物体６１８を表す）、要素７０８（例えば、時間Ｔ-1における対象物体６１８を表す）、及び要素７１０（例えば、時間Ｔ0における対象物体６１８を表す）に対して決定されることができる。さらに、属性は、任意の数の時間インスタンスについて決定されることができ、Ｔ-2、Ｔ-1、及びＴ0に限定されない。
属性７０２の例には、物体の速度、物体の加速度、物体のｘ位置（例えば、グローバル位置、ローカル位置、及び／又は他の参照のフレームに対する位置）、物体のｙ位置（例えば、ローカル位置、グローバル位置、及び／又は他の参照のフレームに対する位置）、物体に関連付けられた境界ボックス（例えば、範囲（長さ、幅、及び／又は高さ）、ヨー、ピッチ、ロールなど）、照明の状態（例えば、ブレーキ照明、ブリンカー照明、ハザードライト、ヘッドライト、バックライトなど）物体のホイール方向、マップ要素（例えば、物体と停止照明との間の距離、停止サイン、スピードバンプ、交差点、イールドサインなど）、物体の分類（例えば、車両、車、トラック、自転車、オートバイ、歩行者、動物など）、物体の特徴（例えば、車線変更中かどうか、物体が二重駐車された車両であるかどうかなど）、１つ又は複数の物体との近接（任意の座標フレームにおいて）、車線の種類（車線の方向、駐車レーンなど）、道路標識（追い越しや車線変更が許可されているかどうかを示すものなど）などが含まれるが、これに限定はされない。
いくつかの例では、物体の属性は、ローカルの参照のフレーム、グローバル座標などに関して決定されることができる。例えば、参照のフレームは、時間Ｔ0における対象物体６１８の位置（例えば、物体７１０）に対応する原点を有するように決定されることができる。
図８は、経時的な第２の物体の属性に基づいて、第１の物体の予測位置を決定する例８００をしている。
図示されているように、図７の例７０４に関連付けられた情報は、位置予測コンポーネント８０２に入力されることができ、これにより、対象物体に関連付けられた予測位置を出力することができる。例えば、様々な時間（例えば、Ｔ-2、Ｔ-1、及びＴ0）における車両６０６、物体６０８から６１６、及び／又は対象物体６１８に関連付けられた属性情報は、位置予測コンポーネント８０２に入力されることができる。
例８０４は、対象物体６１８に関連付けられた予測位置８０６を示している。すなわち、位置予測コンポーネント８０２は、対象物体６１８に関連付けられた属性情報だけでなく、対象物体６１８に近接する物体に関連付けられた属性情報も受信し、対象物体６１８を表す予測位置８０６を将来的に出力することができる。
物体８０８は、時間Ｔ-2における対象物体６１８を表している。物体８１０は、時間Ｔ-1における対象物体６１８を表している。そして、物体８１２は、時間Ｔ0における対象物体を表している。
位置予測コンポーネント８０２は、本明細書で論じられる属性情報に基づいて、予測位置８０６を決定することができる。いくつかの例では、予測位置は、最初に、グローバル座標系で、対象物体を原点とする参照のフレームによって、などで表されることができる。さらに、予測位置は、環境内の参照線を基準にして表されることができる。
いくつかの例では、環境は、参照線８１４、及び参照線８１６のような複数の参照線を表す。図示のために図８で描かれているように、参照線８１６は、例えば、物体の車線変更に対応している。いくつかの例では、参照線８１４は、第１の道路セグメントの中心線を表し、基準線８１６は、第２の道路セグメントの中心線（及び／又はその間の移行部）を表す。単一車線の道路のようないくつかの例では、環境は単一の参照線を表す。しかしながら、いくつかの例では、環境は複数の参照線を表す。
いくつかの例では、位置予測コンポーネント８０２は、最も可能性の高い参照線（例えば、８１４）の指示を入力として受信ことができる。いくつかの例では、位置予測コンポーネント８０２は、本明細書で述べられるように、対象物体６１８の、他の物体の、及び／又は環境の１つまたは複数の属性に少なくとも部分的に基づいて、可能性の高い参照線を決定することができる。
いくつかの例では、位置予測コンポーネント８０２は、予測位置８０６と参照線８１４との間の類似性を表す類似性スコア８１８を決定することができる。さらに、位置予測コンポーネント８０２は、予測位置８０６と参照線８１６との間の類似性を表す類似性スコア８２０を決定することができる。いくつかの例では、類似性スコアは、予測位置とそれぞれの参照線との間の個別、又は累積の横方向のオフセットに少なくとも部分的に基づくことができるが、他の要因を使用して類似性スコアを決定することもできる。
いくつかの例では、位置予測コンポーネント８０２は、類似性スコア８１８が類似性スコア８２０よりも低いことを決定し、それに応じて、予測位置８０６を部分的に定義するための基礎として、参照線８１４を選択することができる。しかしながら、他の例では、各潜在的な参照線は、位置予測コンポーネント８０２が機械学習されたパラメータに基づいて、基礎として使用する適切な参照線、及び／又は軌道を選択するように、以前に計算された属性とともに位置予測コンポーネント８０２に入力される。
予測位置８０６は、予測位置８２２、８２４、８２６、８２８、及び／又は８３０を含むことができる。いくつかの例では、予測位置８２２は、参照線８１４に対する第１の距離ｓ、及び第１の横方向のオフセット（例えば、（ｓ1，ｅy1））を表すことができる。予測位置８２４は、参照線８１４に対する第２の距離ｓ、及び第２の横方向のオフセット（例えば、（ｓ2，ｅy2））を表すことができる。予測位置８２６は、参照線８１４に対する第３の距離ｓ、及び第３の横方向のオフセット（例えば、（ｓ3，ｅy3））を表すことができる。予測位置８２８は、参照線８１４に対する第４の距離ｓ、及び第４の横方向のオフセット（例えば、（ｓ4，ｅy4））を表すことができる。そして、予測位置８３０は、参照線８１４に対する第５の距離ｓ、及び第５の横方向オフセット（例えば、（ｓ5，ｅy5））を表すことができる。もちろん、位置予測コンポーネント８０２は、本明細書で論じられるように、より少ない、又はより多い予測位置を決定することができる。
図９は、本明細書で述べられる技術を実装するための例示的なシステム９００のブロック図を示している。少なくとも１つの例では、システム９００は、図１の車両１０８、及び図６の車両６０６に対応することができる車両９０２を含むことができる。
例示的な車両９０２は、運転者（または乗員）がいつでも車両を制御することを期待されていない状態で、移動全体のすべての安全上重要な機能を実行することができる車両について述べている、米国道路交通安全局によって発行されたレベル５の分類に従って動作するように構成された自律車両など、運転者なしの車両とすることができる。このような例では、車両９０２は、すべての駐車機能を含む、移動の開始から完了までのすべての機能を制御するように構成されることができるので、運転者、及び／又はステアリングホイール、加速ペダル、及び／又はブレーキペダルなどの車両９０２を運転するための制御装置を含まない。これは単なる例であり、本明細書で述べられるシステム、及び方法は、常に運転者によって手動で制御される必要がある車両から、部分的、又は、完全に自律的に制御される車両までを含む、あらゆる地上走行型、空中走行型、または水上走行型の車両に組み込まれる。
車両９０２は、車両コンピューティングデバイス９０４、１つ又は複数のセンサーシステム９０６、１つ又は複数のエミッタ９０８、１つ又は複数の通信接続部９１０、少なくとも１つの直接接続部９１２、及び１つ又は複数の駆動システム９１４を含むことができる。
車両コンピューティングデバイス９０４は、１つ又は複数のプロセッサ９１６と、１つ又は複数のプロセッサ９１６と通信可能に結合されたメモリ９１８とを含むことができる。図示された例では、車両９０２は自律車両であるが、車両９０２は他の種類の車両、又は、ロボットプラットフォームであり得る。図示された例では、車両コンピューティングデバイス９０４のメモリ９１８は、ローカライゼーションコンポーネント９２０、知覚コンポーネント９２２、１つ又は複数のマップ９２４、１つ又は複数のシステムコントローラ９２６、属性コンポーネント９３０、目的地予測コンポーネント９３２、及び位置予測コンポーネント９３４を備える予測コンポーネント９２８、及び計画コンポーネント９３６を格納する。図９では、説明のためにメモリ９１８に存在するものとして描かれているが、ローカライゼーションコンポーネント９２０、知覚コンポーネント９２２、１つ又は複数のマップ９２４、１つまたは複数のシステムコントローラ９２６、予測コンポーネント９２８、属性コンポーネント９３０、目的地予測コンポーネント９３２、位置予測コンポーネント９３４、及び計画コンポーネント９３６は、付加的に、又は代替的に、車両９０２にアクセス可能であることが考えられている（例えば、車両９０２から離れたメモリに格納されている、または別の方法で車両９０２からアクセス可能である）。
少なくと１つの例では、ローカライゼーションコンポーネント９２０は、車両９０２の位置、及び／又は方向（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、又はヨーの１つ又は複数）を決定するために、センサーシステム９０６からデータを受信する機能を含むことができる。例えば、ローカライゼーションコンポーネント９２０は、環境のマップを含み、及び／又は要求／受信し、マップ内の自律車両の位置、及び／又は方向を連続的に決定することができる。いくつかの例では、ローカライゼーションコンポーネント９２０は、ＳＬＡＭ（ローカライゼーション、及びマッピングの同時実行）、ＣＬＡＭＳ（キャリブレーション、ローカリゼーション、及びマッピングの同時実行）、相対的ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、Time of flightデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置を正確に決定することができる。いくつかの例では、ローカライゼーションコンポーネント９２０は、本明細書で論じられるように、軌道を生成するために、及び／又は物体が１つ又は複数の横断歩道領域に近接していることを決定するために、及び／又は候補参照線を識別するために、自律車両の初期位置を決定するために、車両９０２の様々なコンポーネントにデータを提供することができる。
いくつかの例では、及び一般的には、知覚コンポーネント９２２は、物体検出、セグメント化、及び／又は分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント９２２は、車両９０２に近接しているエンティティの存在を示す処理されたセンサーデータ、及び／又はエンティティをエンティティの種類（例えば、自動車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、停止ライト、停止サイン、不明など）として分類することを提供することができる。付加的、又は代替的な例では、知覚コンポーネント９２２は、検出されたエンティティ（例えば、追跡された物体）、及び／又はエンティティが配置されている環境に関連付けられた１つ又は複数の特徴を示す、処理されたセンサーデータを提供することができる。いくつかの例では、エンティティに関連付けられた特徴は、ｘ位置（グローバル、及び／又はローカル位置）、ｙ位置（グローバル、及び／又はローカル位置）、ｚ位置（グローバル、及び／又はローカル位置）、方向（例えば、ロール、ピッチ、ヨー）、エンティティの種類（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（大きさ）などを含むことができるが、これらに限定はされない。環境に関連付けられた特徴は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時間帯、曜日、季節、天候、暗さ/明るさの表示などを含むことができるが、これらに限定はされない。
メモリ９１８は、環境内をナビゲートするために車両９０２によって使用されることができる１つ又は複数のマップ９２４をさらに含むことができる。この議論の目的のために、マップは、２次元、３次元、又はＮ次元でモデル化された任意の数のデータ構造であって、トポロジー（交差点など）、街路、山脈、道路、地形、および環境全般などの環境についての情報を提供することができるものであるが、これらに限定はされない。いくつかの例では、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ/ＨＳＬ色情報）など）、強度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュに投影された画像データ、個々の「サーフェル」（例えば、個々の色、及び／又は強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）などを含むことができるが、これらに限定はされない。一例では、マップは、環境の３次元メッシュを含むことができる。いくつかの例では、マップは、マップの個々のタイルが環境の離散的な部分を表すように、タイル形式で格納されることができ、必要に応じてワーキングメモリにロードされることができる。少なくとも１つの例では、１つ又は複数のマップ９２４は、少なくとも１つのマップ（例えば、画像、及び／又はメッシュ）を含むことができる。
いくつかの例では、車両９０２は、マップ９２４に少なくとも部分的に基づいて、制御されることができる。すなわち、マップ９２４は、車両９０２の位置を決定するために、ローカライゼーションコンポーネント９２０、知覚コンポーネント９２２、予測コンポーネント９２８、及び／又は計画コンポーネント９３６と関連して使用され、環境内の物体を識別し、及び／又は環境内をナビゲートするルート、及び／又は軌道を生成することができる。
いくつかの例では、１つ又は複数のマップ９２４は、ネットワーク９３８を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス９４０など）に格納されることができる。いくつかの例では、多様なマップ９２４は、例えば、特徴（例えば、エンティティの種類、時間帯、曜日、１年の季節など）に基づいて格納されることができる。多様なマップ９２４を格納することは、同様のメモリ要件を有することができるが、マップ内のデータにアクセスすることができる速度を向上させることができる。
少なくとも１つの例では、車両コンピューティングデバイス９０４は、１つ又は複数のシステムコントローラ９２６を含むことができ、これらのシステムコントローラ９２６は、車両９０２の操舵、推進、ブレーキ、安全、エミッタ、通信、及びその他のシステムを制御するように構成されることができる。これらのシステムコントローラ９２６は、駆動システム９１４、及び／又は車両９０２の他の構成要素の対応するシステムと通信、及び／又は制御することができる。
一般に、予測コンポーネント９２８は、環境内の物体に関連付けられた予測情報を生成する機能を含むことができる。いくつかの例では、予測コンポーネント９２８は、環境内の横断歩道領域（又は道路を横断する歩行者に関連付けられた領域、或いは場所）に近接する歩行者が、横断歩道領域を横切る、又は横切る準備をしているときに、歩行者の位置を予測するように実装されることができる。いくつかの例では、本明細書で論じられる技術は、車両が環境を横断する際に物体（例えば、車両、歩行者など）の位置を予測するために実装されることができる。いくつかの例では、予測コンポーネント９２８は、対象物体、及び／又は対象物体に近接する他の物体の属性に基づいて、そのような対象物体の１つ又は複数の予測軌道を生成することができる。
属性コンポーネント９３０は、環境内の物体に関連付けられた属性情報を決定する機能を含むことができる。いくつかの例では、属性コンポーネント９３０は、知覚コンポーネント９２２からデータを受信し、経時的に物体の属性情報を決定することができる。
いくつかの例では、物体（例えば、歩行者）の属性は、経時的に取り込まれたセンサーデータに基づいて決定されることができ、ある時点における歩行者の位置（例えば、位置は上述の参照のフレームで表されることができる）、ある時点における歩行者の速度（例えば、第１の軸（又は他の参照線）に関する大きさ、及び／又は角度）、ある時点における歩行者の加速度の１つ又は複数を含むことができる。歩行者の速度（例えば、第１の軸（又は他の参照線）に関する大きさ、及び／又は角度）、その時の歩行者の加速度、歩行者が走行可能なエリアにいるかどうかの指示（例えば、歩行者が歩道または道路にいるかどうか）、歩行者が横断歩道領域にいるかどうかの指示、歩行者が信号無視をしているかどうかの指示、領域を制御する指示器の状態（例えば、断歩道が信号によって制御されているかどうか、及び／又は信号の状態など）、車両コンテキスト（環境内の車両の存在、及び車両に関連付けられた属性など）、一定期間に横断歩道領域を通過するフラックス（一定期間に横断歩道領域を通過する物体（車両、及び／又は歩行者など）の数など）、物体の関連付け（例えば、歩行者が歩行者のグループの中を移動しているかどうか）、第１の方向（例えば、グローバルなｘ－方向）における横断歩道までの距離、第２の方向（例えば、グローバルなｙ－方向）における横断歩道までの距離、横断歩道領域内における道路までの距離（例えば、横断歩道領域内の道路までの最短距離）などを含むことができるが、これに限定はされない。
いくつかの例では、属性は、対象物体（例えば、車両）、及び／又は対象物体に近接している他の物体（例えば、他の車両）に対して決定されることができる。例えば、属性は、物体のある時点における速度、物体のある時点における加速度、物体のある時点における位置（例えば、グローバル座標、又はローカル座標）、物体のある時点で関連付けられた境界ボックス（例えば、物体の範囲、ロール、ピッチ、及び／又はヨーを表す）、物体のある時点で関連付けられた照明の状態（例えば、ヘッドライト、ブレーキライト、ハザードライト、方向指示ライト、バックライトなど）、ある時点における物体とマップ要素との距離（停止線、通行ライン、スピードバンプ、イールドライン、交差点、車道までの距離など）、物体と他の物体との距離、対象物の分類（車、車両、動物、トラック、など）、対象物に関連付けられた特徴（車線変更中かどうか、二重駐車かどうかなど）などを含むことができるが、これに限定はされない。
いくつかの例では、本明細書で論じられるように、物体の属性の任意の組み合わせが決定されることができる。
属性は、時間（例えば、時間Ｔ-M、...、Ｔ-2、Ｔ-1、Ｔ0（ここで、Ｍは整数である）において、そして、様々な時間は最新の時間までの任意の時刻を表す）にわたって決定され、目的地予測コンポーネント９３２、及び／又は位置予測コンポーネント９３４に入力され、そのような物体に関連付けられた予測情報を決定することができる。
目的地予測コンポーネント９３２は、本明細書で論じられるように、環境内の物体の目的地を決定する機能を含むことができる。歩行者のコンテキストでは、目的地予測コンポーネント９３２は、本明細書で論じられるように、歩行者が横断歩道領域の閾値距離内にいることに基づいて、どの横断歩道領域が歩行者に適用されるかを決定することができる。少なくともいくつかの例では、そのような目的地予測コンポーネント９３２は、横断歩道の存在にかかわらず、反対側の歩道上の点を決定する。さらに、任意の期間に関連付けられた物体の属性は目的地予測コンポーネント９３２に入力されることができ、歩行者が横断歩道領域に向かっている、又は横断歩道領域に関連付けられているというスコア、確率、および／または裕度を決定する。
いくつかの例では、目的地予測コンポーネント９３２は、ニューラルネットワーク、完全結合ニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワークなどの機械学習モデルである。
いくつかの例では、目的地予測コンポーネント９３２は、歩行者が横断歩道を渡ったイベントを決定するための、データログのレビューによって訓練されることができる。そのようなイベントは識別されることができ、属性は、物体（例えば、歩行者）、及び環境に対して決定されることができ、イベントを表すデータは、訓練データとして識別されることができる。訓練データは、機械学習モデルに入力されることができ、既知の結果（例えば、既知の「未来」の属性などのグランドトゥルース）を使用して、機械学習モデルの重み、及び／又はパラメータを調整し、誤差を最小化することができる。
位置予測コンポーネント９３４は、環境内の物体に関連付けられた予測位置を生成、又はその他の方法で決定する機能を含むことができる。例えば、本明細書で論じられるように、属性情報は、対象物体、及び／又は対象物体に近接した他の物体を含む、環境内の１つ又は複数の物体について決定されることができる。いくつかの例では、車両９０２に関連付けられた属性を使用して、環境内の物体に関連付けられた予測位置を決定することができる。
位置予測コンポーネント９３４は、本明細書で論じられるように、様々な参照のフレームで属性情報を表現する機能をさらに含むことができる。いくつかの例では、位置予測コンポーネント９３４は、参照のフレームの原点として、時間Ｔ0における物体の位置を使用することができ、これは、各時間のインスタンスに対して更新されることができる。
いくつかの例では、位置予測コンポーネント９３４は、（例えば、マップデータに基づいて）環境内の候補参照線を識別する機能を含むことができ、（例えば、類似性スコアに基づいて）参照線を選択して、参照線に関する予測位置を決定することができる。
いくつかの例では、位置予測コンポーネント９３４は、ニューラルネットワーク、完全結合ニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワークなどの機械学習モデル、又はそれらの任意の組み合わせである。
例えば、位置予測コンポーネント９３４は、データログをレビューし、属性情報を決定することによって訓練されることができる。関連するイベント（例えば、参照線から閾値距離を走行する車両、横断歩道を横断する歩行者、信号無視をする歩行者など）を表す訓練データは、機械学習モデルに入力されることができ、ここで既知の結果（例えば、既知の「未来」の属性／場所などのグランドトゥルース）を使用して、機械学習モデルの重み、及び／又はパラメータを調整し、誤差を最小化することができる。
一般に、計画コンポーネント９３６は、環境を横断するために車両９０２が従うべき経路を決定することができる。例えば、計画コンポーネント９３６は、様々なルート及び軌道、及び様々なレベルの詳細を決定することができる。例えば、計画コンポーネント９３６は、第１の場所（例えば、現在の場所）から第２の場所（例えば、対象となる場所）まで移動するルートを決定することができる。この議論の目的のために、ルートは、２つの場所の間を移動するためのウェイポイントのシーケンスであることができる。非限定的な例として、ウェイポイントは、街路、交差点、グローバルポジショニングシステム（ＧＰＳ）座標などを含む。さらに、計画コンポーネント９３６は、第１の場所から第２の場所へのルートの少なくとも一部に沿って自律車両を誘導するための命令を生成することができる。少なくとも１つの例では、計画コンポーネント９３６は、自律車両を、ウェイポイントのシーケンスにおける第１のウェイポイントから、ウェイポイントのシーケンスにおける第２のウェイポイントまで案内する方法を決定することができる。いくつかの例では、命令は、軌道、又は軌道の一部分であることができる。いくつかの例では、多様な軌道は、Ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ技術に従って、実質的に同時に（例えば、技術的な許容範囲内で）生成されることができ、多様な軌道の１つが、車両９０２がナビゲートするために選択される。
いくつかの例では、計画コンポーネント９３６は、環境内の物体に関連付けられた予測位置に少なくとも部分的に基づいて、車両９０２の１つ又は複数の軌道を生成することができる。いくつかの例では、計画コンポーネント９３６は、車両９０２の１つ又は複数の軌道を評価するために、線形時相論理、及び／又は信号時相論理などの時相論理を使用することができる。
理解できるように、本明細書で論じられる構成要素（例えば、ローカライゼーションコンポーネント９２０、知覚コンポーネント９２２、１つ又は複数のマップ９２４、１つ又は複数のシステムコントローラ９２６、予測コンポーネント９２８、属性コンポーネント９３０、目的地予測コンポーネント９３２、位置予測コンポーネント９３４、及び計画コンポーネント９３６）は、説明のために分割されたものとして述べられている。しかし、様々な構成要素によって実行される動作は、組み合わされたり、他の任意の構成要素で実行されたりすることができる。さらに、ソフトウェアで実装されるものとして論じられる構成要素はいずれも、ハードウェアで実装されることができ、その逆も可能である。さらに、車両９０２に実装された任意の機能は、コンピューティングデバイス９４０、又は別の構成要素で実装されることができる（そして、その逆も可能である）。
少なくとも１つの例では、センサーシステム９０６は、Time of flightセンサー、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、超音波トランスデューサ、ソナーセンサー、位置センサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁気計、ジャイロスコープなど）、カメラ（ＲＧＢ、赤外線、強度、深度など）、マイク、ホイールエンコーダ、環境センサー（温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含むことができる。センサーシステム９０６は、これらの、又は他の種類のセンサーそれぞれの多様なインスタンスを含むことができる。例えば、Time of flightセンサーは、車両９０２の角部、前部、後部、側面、及び／又は上部に配置された個々のTime of flightセンサーを含むことができる。別の例として、カメラセンサーは、車両９０２の外部、及び／又は内部の様々な場所に配置された多様なカメラを含むことができる。センサーシステム９０６は、車両コンピューティングデバイス９０４に入力を提供することができる。付加的に、又は代替的に、センサーシステム９０６は、１つ又は複数のネットワーク９３８を介して、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムで、１つ又は複数のコンピューティングデバイス９４０にセンサーデータを送信することができる。
車両９０２は、上述したように、光、及び／又は音を放出するための１つ又は複数のエミッタ９０８を含むこともできる。この例のエミッタ９０８は、車両９０２の乗客と通信するための内部音声、及び映像のエミッタを含む。限定ではなく例として、内部エミッタは、スピーカ、照明、標識、表示画面、タッチスクリーン、触覚エミッタ（例えば、振動、及び／又はフォースフィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含むことができる。本実施例のエミッタ９０８は、外部エミッタも含む。限定はされないが、本例の外部エミッタは、進行方向、又は車両の動作の他の指示器を知らせるための照明（例えば、方向指示器、標識、ライトアレイなど）、及び歩行者又は他の近くの車両と音声的に通信するための１つ又は複数の音声エミッタ（例えば、スピーカ、スピーカアレイ、ホーンなど）を含み、そのうちの１つ又は複数は、音響ビームステアリング技術を備える。
車両９０２は、車両９０２と１つ又は複数の他のローカル、又はリモートコンピューティングデバイスとの間の通信を可能にする１つ又は複数の通信接続部９１０を含むこともできる。例えば、通信接続部９１０は、車両９０２、及び／又は駆動システム９１４上の他のローカルコンピューティングデバイスとの通信を容易にすることができる。また、通信接続部９１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、信号など）と通信することを可能にすることができる。また、通信接続部９１０は、車両９０２が、遠隔操作コンピューティングデバイス、又は他の遠隔サービスと通信することも可能にする。
通信接続部９１０は、車両コンピューティングデバイス９０４を別のコンピューティングデバイス、又はネットワーク９３８などのネットワークに接続するための物理的、及び／又は論理的インターフェースを含むことができる。例えば、通信接続部９１０は、ＩＥＥＥ ８０２．１１規格によって定義された周波数を介したようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４ＧＬＴＥ、５Ｇなど）、または、それぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線、又は無線通信プロトコルを可能にすることができる。
少なくとも１つの例では、車両９０２は、１つ又は複数の駆動システム９１４を含むことができる。いくつかの例では、車両９０２は、単一の駆動システム９１４を有することができる。少なくとも１つの例では、車両９０２が多様な駆動システム９１４を有する場合、個々の駆動システム９１４は、車両９０２の反対側の端部（例えば、前部および後部など）に配置されることができる。少なくとも１つの例では、駆動システム９１４は、駆動システム９１４、及び／又は車両９０２の周囲の状態を検出するための１つまたは複数のセンサーシステムを含むことができる。例示であって限定ではないが、センサーシステムは、駆動モジュールの車輪の回転を感知する１つ又は複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、駆動モジュールの方向、及び加速度を測定する慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計など）、カメラ、又は他の画像センサー、駆動システムの周囲の物体を音響的に検出する超音波センサー、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサーなどを含むことができる。ホイールエンコーダのようないくつかのセンサーは、駆動システム９１４に固有のものとすることができる。場合によっては、駆動システム９１４上のセンサーシステムは、車両９０２に対応するシステム（例えば、センサーシステム９０６）と重複、又は補完することができる。
駆動システム９１４は、高電圧バッテリ、車両を推進するためのモータ、バッテリからの直流を他の車両システムで使用するために交流に変換するインバータ、ステアリングモータ、及びステアリングラックを含む操舵システム（電気とすることができる）、油圧、又は電気アクチュエータを含むブレーキシステム、油圧、及び／又は空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し制御を維持するためにブレーキ力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周辺を照らすヘッド／テールライトなどの照明）、及び１つ又は複数の他のシステム（例えば、冷却システム、安全システム、オンボード充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの電気部品など）など、多くの車両システムを含むことができる。さらに、駆動システム９１４は、センサーシステムからデータを受信及び前処理することができ、様々な車両システムの動作を制御することができる駆動システムコントローラを含むことができる。いくつかの例では、駆動システムコントローラは、１つ又は複数のプロセッサと、１つ又は複数のプロセッサと通信可能に結合されたメモリを含むことができる。メモリは、駆動システム９１４の様々な機能を実行するための１つ又は複数のコンポーネントを格納することができる。さらに、駆動システム９１４は、それぞれの駆動システムが１つ又は複数の、他のローカル又はリモートコンピューティングデバイスと通信することを可能にする１つ又は複数の通信接続部も含む。
少なくとも１つの例では、直接接続部９１２は、１つ又は複数の駆動システム９１４を車両９０２の本体と結合するための物理的インターフェースを提供することができる。例えば、直接接続部９１２は、駆動システム９１４と車両との間で、エネルギー、流体、空気、データなどの転送を与えることができる。いくつかの例では、直接接続部９１２は、駆動システム９１４を車両９０２の本体に対し、さらに解放可能に固定することができる。
少なくとも１つの例では、ローカライゼーションコンポーネント９２０、知覚コンポーネント９２２、１つ又は複数のマップ９２４、１つ又は複数のシステムコントローラ９２６、予測コンポーネント９２８、属性コンポーネント９３０、目的地予測コンポーネント９３２、位置予測コンポーネント９３４、及び計画コンポーネント９３６は、上述したように、センサーデータを処理することができ、１つ又は複数のネットワーク９３８を介して、１つ又は複数のコンピューティングデバイス９４０に、それぞれの出力を送信することができる。少なくとも１つの例では、ローカライゼーションコンポーネント９２０、１つ又は複数のマップ９２４、１つ又は複数のシステムコントローラ９２６、予測コンポーネント９２８、属性コンポーネント９３０、目的地予測コンポーネント９３２、位置予測コンポーネント９３４、及び計画コンポーネント９３６は、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムでなど、それぞれの出力を１つ又は複数のコンピューティングデバイス９４０に送信することができる。
いくつかの例では、車両９０２は、ネットワーク９３８を介して１つ又は複数のコンピューティングデバイス９４０にセンサーデータを送信することができる。いくつかの例では、車両９０２は、生のセンサーデータをコンピューティングデバイス９４０に送信することができる。他の例では、車両９０２は、処理されたセンサーデータ、及び／又はセンサーデータの表現をコンピューティングデバイス９４０に送信することができる。いくつかの例では、車両９０２は、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムでなど、センサーデータをコンピューティングデバイス９４０に送信することができる。いくつかの例では、車両９０２は、センサデータ（生、又は処理済み）を１つ又は複数のログファイルとしてコンピューティングデバイス９４０に送信することができる。
コンピューティングデバイス９４０は、プロセッサ９４２と、訓練コンポーネント９４６を格納するメモリ９４４を含むことができる。
いくつかの例では、訓練コンポーネント９４６は、本明細書で論じられるように、予測情報を決定するために１つ又は複数のモデルを訓練する機能を含むことができる。いくつかの例では、訓練コンポーネント９４６は、異なる状況に対応して車両９０２を制御する方法を修正するために、１つ又は複数のモデルによって生成された情報を車両コンピューティングデバイス９０４に通信することができる。
例えば、訓練コンポーネント９４６は、本明細書で論じられる予測コンポーネントを生成するため、１つ又は複数の機械学習モデルを訓練することができる。いくつかの例では、訓練コンポーネント９４６は、データログを検索し、物体に関連付けられた属性、及び／又は位置（例えば、任意の１つ又は複数の参照フレームにおいて）の情報を決定する機能を含むことができる。特定のシナリオに対応するログデータ（例えば、横断歩道領域に近づいて横断する歩行者、信号無視をする歩行者、中央線からオフセットしてカーブを曲がる物体など）は、訓練データを表すことができる。訓練データは、機械学習モデルに入力されることができ、既知の結果（例えば、既知の「未来」の属性などのグランドトゥルース）は、誤差を最小化するために機械学習モデルの重み、及び／又はパラメータを調整するために使用することができる。
例えば、本明細書で論じられる構成要素の一部、又はすべての側面は、任意のモデル、アルゴリズム、及び／又は機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、メモリ９４４（及び上述のメモリ９１８）内の構成要素は、ニューラルネットワークとして実装されることができる。いくつかの例では、訓練コンポーネント９４６は、本明細書で論じられるように、ニューラルネットワークを利用して、センサーデータからセグメント化情報を決定するための１つ又は複数のモデルを生成、及び／又は実行することができる。
本明細書で述べられるように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成する、生物学的に触発されたアルゴリズムである。ニューラルネットワークの各層は、別のニューラルネットワークを備えることもでき、又は任意の数の層（畳み込みであるか否かは問わない）を備えることもできる。本開示のコンテキストで理解されることができるように、ニューラルネットワークは、機械学習を利用することができ、これは、訓練されたパラメータに基づいて出力が生成されるようなアルゴリズムの広範なクラスを指すことができる。
ニューラルネットワークのコンテキストで論じられているが、本開示と一致する任意の種類の機械学習が使用されることができる。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に重み付けされた散布図平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対縮退選択演算子(ＬＡＳＳＯ)、弾性ネット、最小角回帰(ＬＡＲＳ))、決定木アルゴリズム(例えば、分類回帰木（ＣＡＲＴ）、反復二分木３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定スタンプ、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、平均一従属性分類器（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ－ｍｅａｎｓ、ｋ－ｍｅｄｉａｎｓ、期待値最大化（ＥＭ）、階層型クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｎｅｔｗｏｒｋ（ＲＢＦＮ））、深層学習アルゴリズム（Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ（ＤＢＭ）、Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、Ｓｔａｃｋｅｄ Ａｕｔｏ－Ｅｎｃｏｄｅｒｓ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度法（ＭＤＳ）、Ｐｒｏｊｅｃｔｉｏｎ Ｐｕｒｓｕｉｔ、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、フレキシブル判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、Ｂｏｏｓｔｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｅｄ Ａｇｇｒｅｇａｔｉｏｎ(Ｂａｇｇｉｎｇ)、ＡｄａＢｏｏｓｔ、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ(Ｂｌｅｎｄｉｎｇ)、Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｍａｃｈｉｎｅｓ(ＧＢＭ)、Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｅｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ(ＧＢＲＴ)、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ)、ＳＶＭ(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ)、教師付き学習、教師なし学習、半教師付き学習、などを含むことができるが、これらに限定はされない。
アーキテクチャの付加的な例としては、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
車両９０２のプロセッサ９１６およびコンピューティングデバイス９４０のプロセッサ９４２は、動作を実行し、本明細書で述べられているようにデータを処理するための命令を実行することができる任意の適切なプロセッサであることができる。限定ではなく例として、プロセッサ９１６、及び９４２は、１つ又は複数の中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、又は、電子データを処理して、その電子データをレジスタ、及び／又はメモリに格納することができる他の電子データに変換する他の装置、又は、装置の一部を備えることができる。いくつかの例では、集積回路（ＡＳＩＣなど）、ゲートアレイ（ＦＰＧＡなど）、及びその他のハードウェアデバイスも、コード化された命令を実装するように構成されている限りにおいて、プロセッサとみなすことができる。
メモリ９１８、及び９４４は、例示的な非一時的コンピュータ可読媒体である。メモリ９１８、及び９４４は、本明細書で述べられる方法、及び様々なシステムに帰属する機能を実装するために、動作システム、及び１つ又は複数のソフトウェアアプリケーション、命令、プログラム、及び／又はデータを格納することができる。様々な実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または情報を格納することができる他の種類のメモリなど、任意の適切なメモリ技術を用いて実装されることができる。本明細書で述べられるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、及び物理的な構成要素を含むことができるが、添付の図面に示されているものは、ここでの議論に関する単なる例である。
図９は分散システムとして図示されているが、代替的な例では、車両９０２の構成要素をコンピューティングデバイス９４０に関連付けること、及び／又はコンピューティングデバイス９４０の構成要素を車両９０２に関連付けることができることに留意すべきである。すなわち、車両９０２は、コンピューティングデバイス９４０に関連付けられた機能のうちの１つ又は複数を実行することができ、その逆も可能である。さらに、予測コンポーネント９２８（及びサブコンポーネント）の側面は、本明細書で論じられているデバイスのいずれかで実行されることができる。
図１０は、センサーデータを取り込むこと、物体に関連付けられた属性を決定すること、属性に基づいて予測位置を決定すること、予測位置に基づいて車両を制御することの例示的なプロセス１０００を示している。例えば、プロセス１０００の一部、又は全ては、本明細書で述べられるように、図９の１つ又は複数の構成要素によって実行されることができる。例えば、プロセス１０００の一部、又は全ては、車両コンピューティングデバイス９０４によって実行されることができる。さらに、例示のプロセス１０００に記載された任意の動作は、プロセス１０００に示されたものとは異なる順序で、示されるプロセス１０００の動作のいずれかを省略して、及び／又は本明細書で論じられる動作のいずれかと組み合わされて、並行で実行される。
動作１００２において、プロセスは、環境のセンサーデータを受信することを含むことができる。いくつかの例では、動作１００２は、環境のTime of flightデータ、ＬＩＤＡＲデータ、画像データ、ＲＡＤＡＲデータなどを受信、及び／又は取り込むことを含むことができる。いくつかの例では、動作１００２は、車両が環境を横断する際に車両（例えば、自律車両）によって実行されることができる。
動作１００４において、プロセスは、センサーデータに少なくとも部分的に基づいて、物体が環境内にあることを決定することを含むことができる。例えば、動作１００４は、物体を環境内の歩行者として分類することを含むことができる。いくつかの例では、動作１００４は、物体（例えば、歩行者）が、歩道にいるのか、道路にいるのか、信号無視をしているのか、などを決定することを含むことができる。
動作１００６において、プロセスは、物体が環境内の目的地に関連付けられているかどうかを決定することを含むことができる。例えば、動作１００６は、環境のマップデータにアクセスし、横断歩道領域が物体の閾値距離内にあるかどうかを決定することを含むことができる。横断歩道領域が１つあり、物体が歩道にある場合、動作１００６は、走行可能なエリアを横切る場所を、目的地として識別することを含むことができる。物体が道路にあり、１つの横断歩道に近接している場合、動作１００６は、２つの目的地間の曖昧さを解消することを含むことができる。いくつかの例では、動作１００６は、物体に関連付けられた属性に少なくとも部分的に基づいて、物体が特定の横断歩道領域に接近、及び／又は横断する可能性を決定することを含むことができる。いくつかの例では、動作１００６は、歩行者に近接した横断歩道領域の存在にかかわらず、そのような目的地を提供する。
いくつかの例では、動作１００６は、環境内の物体に関連付けられた目的地を決定するために、目的地予測コンポーネント（例えば、目的地予測コンポーネント３２０）に属性を入力することを含むことができる。いくつかの例では、目的地予測コンポーネント３２０に入力される属性は、動作１００８、及び１０１０で以下に決定される属性と同じ、又は類似したものとすることができる。いくつかの例では、属性は、環境内の目的地を決定する前に、物体に対して決定されることができる。また、いくつかの例では、属性は、環境内の可能性の高い目的地を決定するために、環境内の異なる目的地に基づく参照フレームを用いて、並行して決定されることができる。
物体が目的地と関連付けられていない場合（例えば、動作１００６で「ＮＯ」）、動作１００６は、環境内の追加データを取り込むために、動作１００２を継続されることができる。
そこで物体が目的地と関連付けられている場合（例えば、動作１００６で「ＹＥＳ」）、動作は、動作１００８に継続されることができる。
動作１００８において、プロセスは、物体に関連付けられた第１の属性を決定することを含むことができ、第１の属性は、第１の時間に関連付けられる。いくつかの例では、属性は、ある時点における物体（例えば、歩行者）の位置（例えば、位置は、本明細書で論じられる参照のフレームで表されることができる）、物体、又は物体に関連付けられた境界ボックスの大きさ（例えば、長さ、幅、及び／又は高さ）、ある時点における歩行者の速度（例えば、第１の軸（又は他の参照線）に対する大きさ、及び／又は角度）、ある時点における歩行者の加速度、歩行者が走行可能なエリアにいるかどうかの指示（例えば、歩行者が歩道、又は道路にいるかどうか）、歩行者が横断歩道領域にいるかどうかの指示、歩行者が信号無視をしているかどうかの指示、領域を制御する指示器の状態（例えば、横断歩道が信号によって制御されているかどうか、及び／又は信号の状態など）、車両コンテキスト（環境における車両の存在、及び車両に関連付けられた属性など）、一定期間において横断歩道領域を通過するフラックス（一定期間において横断歩道領域を通過する物体（車両、及び／又は追加の歩行者など）の数など）、物体の関連付け（例えば、歩行者が歩行者のグループの中を移動しているかどうか）、第１の方向（例えば、グローバルなｘ－方向）の横断歩道までの距離、第２の方向（例えば、グローバルなｙ－方向）の横断歩道までの距離、横断歩道領域内の道路までの距離（例えば、横断歩道領域内の道路までの最短距離）、他の物体までの距離などの１つまたは複数を含むことができるが、これらに限定はされない。
動作１０１０において、プロセスは、物体に関連付けられた第２の属性を決定することを含むことができ、第２の属性は、第１の時間の後の第２の時間に関連付けられる。いくつかの例では、動作１０１０は（第１の時間に関連付けられた属性のみを決定、及び／又は使用することができるように）省略されることができ、一方、いくつかの例では、付加的な、又は異なる時間インスタンスに関連付けられた属性が決定されることができる。
動作１０１２において、プロセスは、第１の属性、第２の属性、及び目的地に少なくとも部分的に基づいて、第２の時間の後の第３の時間における物体の予測場所を決定することを含むことができる。いくつかの例では、動作１０１２は、属性情報を位置予測コンポーネント（例えば、位置予測コンポーネント４０４）に入力すること、及び環境内の物体に関連付けられた予測位置を出力として受信することを含むことができる。本明細書で述べられるように、いくつかの例では、属性、及び／又は予測位置は、第１の時間、及び／又は第２の時間における物体の位置と、環境内における目的地の位置とに少なくとも部分的に基づいて、１つ又は複数の参照のフレームで表現されることができる。
動作１０１４において、プロセスは、予測位置に少なくとも部分的に基づいて、車両を制御することを含むことができる。いくつかの例では、動作１０１４は、車両を停止させるために、又は安全に環境を横断すべく別の方法で制御するために、軌道を生成することを含むことができる。
図１１は、センサーデータを取り込むこと、第１の物体、及び第２の物体が環境内にあることを決定すること、第２の物体に関連付けられた属性を決定すること、属性、及び参照線に基づいて予測位置を決定すること、予測位置に基づいて車両を制御することの例示的なプロセスを示している。例えば、プロセス１１００の一部、又は全ては、本明細書で述べられるように、図９の１つ又は複数の構成要素によって実行されることができる。例えば、プロセス１１００の一部、又は全ては、車両コンピューティングデバイス９０４によって実行されることができる。さらに、例示されたプロセス１１００に記載された任意の動作は、プロセス１１００に示されたものとは異なる順序で、示されたプロセス１１００の動作のいずれかを省略して、及び／又は本明細書で論じられる動作のいずれかと組み合わされて、並行で実行される。
動作１１０２において、プロセスは、環境のセンサーデータを受信することを含むことができる。いくつかの例では、動作１１０２は、環境のTime of flightデータ、ＬＩＤＡＲデータ、画像データ、ＲＡＤＡＲデータなどを受信、及び／又は取り込むことを含むことができる。いくつかの例では、動作１１０２は、車両が環境を横断する際に車両（例えば、自律車両）によって実行されることができる。
動作１１０４において、プロセスは、センサーデータに少なくとも部分的に基づいて、第１の物体が環境内にあることを決定することを含むことができる。例えば、動作１１０４は、本明細書で論じられるように、予測動作の対象となる対象物体を決定することを含むことができる。例として、対象物体を決定することは、環境内の複数の物体から物体を対象物体として選択することを含むことができる。いくつかの例では、対象物体は、対象物体の経路とセンサーデータを取り込む車両（例えば、車両９０２）との間の交差の可能性、対象物体とセンサーデータを取り込む車両（例えば、車両９０２）との間の距離などに基づいて選択されることができる。
動作１１０６において、プロセスは、第２の物体が環境内で第１の物体に近接しているかどうかを決定することを含むことができる。いくつかの例では、動作１１０６は、第２の物体が第１の物体の閾値距離内にあるかどうかを決定することを含むことができる。いくつかの例（例えば、混雑した環境において）では、動作１１０６は、第１の物体に最も近いＮ個の物体を決定することを含むことができる（ここで、Ｎは整数である）。限定されないが、少なくともいくつかの例において、そのような決定は、異なる分類の物体、反対の運動方向の物体などの、特定の特徴を有する物体を除外する。
第２の物体が第１の物体に近接していない場合（例えば、動作１１０６で「ＮＯ」）、プロセスは動作１１０２に戻ることができる。しかしながら、いくつかの例では、プロセスは、第２の物体に関連付けられた属性なしに第１の物体の予測位置が決定される動作１１１２に継続されることができる（例えば、第１の物体の予測位置は、第１の物体に関連付けられた属性に、少なくとも部分的に基づいて決定されることができる）。すなわち、第１の物体の予測位置は、第２の物体が第１の物体に近接しているか否かにかかわらず、及び／又は任意の第２の物体について属性が決定されているか否かにかかわらず、いくつかの例において決定されることができる。
第２の物体が第１の物体に近接している場合（例えば、動作１１０６で「ＹＥＳ」）、処理は動作１１０８に継続される。
動作１１０８において、プロセスは、第２の物体に関連付けられた第１の属性を決定することを含むことができ、第２の属性は、第１の時間に関連付けられる。いくつかの例では、属性は、第１の物体、第２の物体、及び／又は環境内の他の物体に対して決定されることができる。例えば、属性には、ある時点における物体の速度、ある時点における物体の加速度、ある時点における物体の位置（例えば、グローバル座標、又は、ローカル座標）、ある時点において物体に関連付けられた境界ボックス（例えば、物体の範囲、ロール、ピッチ、及び／又はヨーを表す）、第１の時間において物体に関連付けられた照明の状態（例えば、ヘッドライト、ブレーキライト、ハザードライト、方向指示ライト、バックライトなど）、物体のホイール方向の指示、ある時点における物体とマップ要素との距離（例えば、停止線、通行ライン、スピードバンプ、イールドライン、交差点、車道までの距離など）、１つ又は複数の参照フレームにおける他の物体との相対的な距離、物体の分類（自動車、車両、動物、トラック、自転車など）、物体に関連付けられた特徴（物体が車線変更中であるかどうか、二重駐車車両であるかどうかなど）、車線の特徴などの１つ又は複数を含むことができるが、これらに限定はされない。
動作１１１０において、プロセスは、第２の物体に関連付けられた第２の属性を決定することを含むことができ、第２の属性は、第１の時間の後の第２の時間に関連付けられる。いくつかの例では、動作１１１０は（第１の時間に関連付けられた属性のみを使用することができるように）省略されることができ、一方でいくつかの例では、付加的な、又は、異なる時間インスタンスに関連付けられた属性が決定されることができる。
動作１１１２において、プロセスは、第１の属性および第２の属性に少なくとも部分的に基づいて、第２の時間の後の第３の時間における第１の物体の予測位置を決定することを含むことができ、予測位置は、環境内の参照線に関する。いくつかの例では、動作１１１２は、第１の物体に関連付けられた予測位置を決定するために、第１の物体、及び／又は第２の物体に関連付けられた属性情報を位置予測コンポーネント（例えば、位置予測コンポーネント８０２）に入力することを含むことができる。
いくつかの例では、動作１１１２は、予測位置に最も密接に関連付けられた参照線を受信する、または他の方法で決定すること、及び参照線に関する予測位置を表すことを含むことができる。例えば、動作１１１２は、予測位置と候補参照線との間の類似性スコアを決定し、類似性スコアに基づいて参照線を選択すること、又は任意の他の機構を含むことができる。
動作１１１４において、プロセスは、予測位置に少なくとも部分的に基づいて、車両を制御することを含むことができる。いくつかの例では、動作１１１４は、車両を停止させるために、又は安全に環境を横断すべく車両を別の方法で制御するために、軌道を生成することを含むことができる。
（例示項）
Ａ：システムであって、１つ又は複数のプロセッサと、命令が実行されると、自律車両のセンサーを使用して環境のセンサーデータを取り込むことと、センサーデータに少なくとも部分的に基づいて、物体が環境内にあることを決定することと、マップデータ、及びセンサーデータに少なくとも部分的に基づいて、物体が環境内の目的地に関連付けられていることを決定することと、物体に関連付けられた第１の属性を決定することであって、第１の属性は第１の時間に関連付いていることと、物体に関連付けられた第２の属性を決定することであって、第２の属性は、第１の時間の後の第２の時間に関連付いていることと、第１の属性、第２の属性、及び目的地を機械学習モデルに入力することであって、第１の属性、及び第２の属性は、目的地に少なくとも部分的に基づいた参照のフレームによって表されることと、機械学習モデルから、第２の時間の後の第３の時間における物体の予測位置を受信することと、第３の時間での環境内における物体の予測位置に少なくとも部分的に基づいて、自律車両を制御することと、を備えた動作をシステムに実行させる１つ又は複数のプロセッサによって実行可能な命令を格納する１つ又は複数のコンピュータ可読媒体と、を備えたシステム。
Ｂ：段落Ａのシステムであって、物体が歩行者であり、目的地が環境内の横断歩道領域の周囲に関連付けられ、歩行者に関連付く走行可能な面に対向する、システム。
Ｃ：段落Ａ又はＢのシステムであって、動作は、第１の属性、及び第２の属性を目的地予測コンポーネントに入力することに少なくとも部分的に基づいて、物体が目的地に関連付けられていると決定することと、目的地予測コンポーネントから目的地を受信することであって、目的地予測コンポーネントは他の機械学習モデルを備えることと、をさらに備えたシステム。
Ｄ：段落ＡからＣのいずれかのシステムであって、動作は、第３の時間における物体に関連付けられた予測位置が、参照のフレームに少なくとも部分的に基づいた横方向のオフセットと、第２の時間における物体の位置と予測位置との間の差を表す、参照のフレームの軸に沿った距離とを備えることをさらに備えたシステム。
Ｅ：段落ＡからＤのいずれかのシステムであって、動作は、参照のフレームを設立することであって、第２の時間における物体の第１の位置が、参照のフレームの座標に関連付けられ、第１の軸が、目的地と材表に少なくとも部分的に基づいており、第２の軸が、第１の軸に対して垂直であり、予測位置は参照のフレームに少なくとも部分的に基づいていることをさらに備えたシステム。
Ｆ：方法であって、環境を表すセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、物体が環境内にあることを決定することと、環境内の位置を決定することであって、位置は横断歩道領域に関連付けられていることと、物体に関連付けられた第１の属性を決定することでって、第１の属性は第１の時間に関連付いていることと、物体に関連付けられた第２の属性を決定することであって、第２の属性は第１の時間の後の第２の時間に関連付いていることと、第１の属性、第２の属性、及び位置を危害学習モデルに入力することと、機械学習モデルから、第２の時間の後の第３の時間における物体に関連付けられた予測位置を受信することと、を備えた方法。
Ｇ：段落Ｆの方法であって、車両上のセンサーを使用してセンサーデータを取り込むことと、第３の時間における環境内の物体の予測位置に少なくとも部分的に基づいて、車両を制御することと、をさらに備えた方法。
Ｈ：段落Ｆ又はＧの方法であって、位置は第１の位置であり、環境を表すマップデータ、又はセンサーデータの少なくとも１つに少なくとも部分的に基づいて第１の位置を決定することと、第１の位置に関連付けられた閾値領域を決定することと、環境内における物体の第２の位置を決定することと、物体の第２の位置閾値領域内にあると決定することと、第２の位置が閾値領域内にあることに少なくとも部分的に、及び第１の属性、又は第２の属性の少なくとも１つとに少なくとも部分的に基づいて、物体に関連付けられた目的地として位置を選択することと、をさらに備えた方法。
Ｉ：段落ＦからＨのいずれかの方法であって、位置は第１の位置であり、参照のフレームを設立することであって、第２の時間における物体の第２の位置が参照のフレームの座標に関連付けられ、第１の軸が座標、及び第１の位置に少なくとも部分的に基づいており、第２の軸が第１の軸に垂直であり、第１の属性が参照のフレームに少なくとも部分的に基づいていることをさらに備えた方法。
Ｊ：段落Ｉの方法であって、第２の時間における物体の速度を決定することと、速度を表す速度ベクトルと第１の軸との間の角度を決定することと、をさらに備え、第２の属性は角度を備える方法。
Ｋ：段落Ｉ又はＪの方法であって、位置は第１の位置であり、第３の時間における物体に関連付けられた予測位置が、第２の軸に対する横方向のオフセットと、第２の時間における物体の第２の位置と予測位置との間の差を表す第１の軸に沿った距離とを備えた方法。
Ｌ：段落ＦからＫのいずれかの方法であって、一定期間において横断歩道領域に入る物体の数を決定することをさらに備え、第２の属性は物体の数を備えた方法。
Ｍ：段落ＦからＬのいずれかの方法であって、物体は第１の物体であり、センサーデータに少なくとも部分的に基づいて第２の物体が環境内にあることを決定することと、第２の物体に関連付けられた位置、速度、又は加速度の少なくとも１つを、物体コンテキストとして決定することと、物体コンテキストに少なくとも部分的にさらに基づいて、物体に関連付けられた予測位置を決定することと、をさらに備えた方法。
Ｎ：段落ＦからＭのいずれかの方法であって、ビン化された予測位置を決定するために予測位置の少なくとも一部をビン化することをさらに備えた方法。
Ｏ：段落ＦからＮのいずれかの方法であって、第１の属性が、第１の時間における物体の位置、第１の時間における物体の速度、第１の時間における物体の進路、第１の時間における物体と横断歩道領域の第１の部分との間の第１の距離、第１の時間における物体と横断歩道領域の第２の部分との間の第２の距離、第１の時間における物体の加速度、物体が走行可能なエリアにあるかどうかの指示、領域を制御すり指示器の状態、車両コンテキスト、又は物体の関連付け、の少なくとも１つを備えた方法。
Ｐ：実行されたとき、１つ又は複数のプロセッサに対して動作を実行させる命令を格納した非一時的コンピュータ可読媒体であって、動作は、環境を表すセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、物体が環境内にあることを決定することと、環境内における位置を決定することであって、位置は環境の横断歩道領域、又は走行不能領域の少なくとも１つに関連付けられていることと、物体に関連付けられた第１の属性を決定することであって、第１の属性は第１の時間に関連付いていることと、物体に関連付けられた第２の属性を決定することであって、第２の属性は第１の時間の後の第２の時間に関連付いていることと、第１の属性、第２の属性、及び位置を機械学習モデルに入力することと、機械学習モデルから、第２の時間の後の第３の時間における物体に関連付けられた予測位置を受信することと、を備えた非一時的コンピュータ可読媒体。
Ｑ：段落Ｐの非一時的コンピュータ可読媒体であって、位置は第１の位置であり、動作が、環境を表すマップデータ、又は環境を表すセンサーデータの少なくとも１つに少なくとも部分的に基づいて、第１の位置を決定することと、第１の位置に関連付けられた閾値領域を決定することと、環境内の物体の第２の位置を決定することと、物体の第２の位置が閾値領域内にあることを決定することと、物体の第２の位置が閾値領域内にあること、及び第１の属性、又は、第２の属性の少なくとも一つとに少なくとも部分的に基づいて、物体に関連付けられた目的地として第１の位置を選択することと、をさらに備えた非一時的コンピュータ可読媒体。
Ｒ：段落Ｐ又はＱの非一時的コンピュータ可読媒体であって、位置は第１の位置であり、動作は、参照のフレームを設立することであって、第２の時間における物体の第２の位置が参照のフレームの座標に関連付けられ、第１の軸が座標、及び第１の位置に少なくとも部分的に基づいており、第２の軸が第１の軸に対して垂直であり、第１の属性は参照のフレームに少なくとも部分的に基づいている非一時的コンピュータ可読媒体。
Ｓ：段落Ｒの非一時的コンピュータ可読媒体であって、位置は第１の位置であり、第３の時間における物体に関連付けられた予測位置が、第２の軸に沿った横方向のオフセットと、第２の時間における物体の第２の位置と予測位置との差を表す第１の軸に沿った距離とを備える非一時的コンピュータ可読媒体。
Ｔ：段落ＰからＳのいずれかの非一時的コンピュータ可読媒体であって、物体が横断歩道領域に関連付けられていないことを決定することと、位置が環境の走行不能領域に関連付けられていることを決定することと、をさらに備えた非一時的コンピュータ可読媒体。
Ｕ：システムであって、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行可能な指示を格納した１つ又は複数のコンピュータ可読媒体であって、実行されると命令はシステムに対して、自律車両上のセンサーを使用して環境のセンサーデータを取り込むことと、センサーデータに少なくとも部分的に基づいて、物体が環境内にあることを決定することと、環境内の物体に関連付けられた参照線を受信することと、物体に関連付けられた第１の属性を決定することであって、第１の属性は第１の時間に関連付けられていることと、物体に関連付けられた第２の属性を決定することであって、第２の属性は第１の時間の後の第２の時間に関連付けられていることと、第１の属性、第２の属性、及び参照線を機械学習モデルに入力することと、機械学習モデルから、第２の時間の後の第３の時間における物体の予測位置を受信することであって、予測位置が環境内の参照線に関することと、第３の時間における環境内の物体の予測位置に少なくとも部分的に基づいて、自律車両を制御することと、を備えた動作を実行させる１つ又は複数のコンピュータ可読媒体と、を備えたシステム
Ｖ：段落Ｕのシステムであって、物体は第１の物体であり、動作は第１の物体に近接する第２の物体に関連付けられた第３の属性を決定することであって、第３の属性は第１の時間に関連付けられていることと、第２の物体に関連付けられた第４の属性であって、第４の属性は第２の時間に関連付けられていることと、第３の時間における第１の物体の予測位置を決定するために、第３の属性、及び第４の属性を機械学習モデルに入力することと、をさらに備えたシステム。
Ｗ：段落Ｖのシステムであって、第１の属性、第２の属性、第３の属性、又は第４の属性の少なくとも１つは、
第１の時間における第２の物体の速度、
第１の時間における第２の物体の加速度、
第１の時間における第２の物体の位置、
第１の時間における第２の物体に関連付けられた境界ボックス、
第１の時間における第２の物体に関連付けられた照明の状態、
第２の物体と第１の時間におけるマップ要素との間の第１の距離、
第１の物体と第２の物体との間の第２の距離、
第２の物体の分類、
又は第２の物体に関連付けられた特徴、
の少なくとも１つを備えるシステム。
Ｘ：段落ＵからＷのいずれかのシステムであって、予測位置が参照線に沿った距離、及び参照線からの横方向のオフセットを備えたシステム。
Ｙ：段落ＵからＸのいずれかのシステムであって、機械学習モデルは第１の機械学習モデルであり、参照線は、参照線を出力するように訓練された第２の機械学習モデルから受信されるシステム。
Ｚ：方法であって、環境を表すセンサーデータを受信することと、物体が環境内にあることを決定することと、物体に関連付けられた参照線を受信することと、物体に関連付けられた第１の属性を決定することであって、第１の属性は第１の時間に関連付けられていることと、物体に関連付けられた第２の属性を決定することであって、第２の属性は第１の時間の後の第２の時間に関連付けられていることと、第１の属性、第２の属性、及び参照線を機械学習モデルに入力することと、機械学習モデルから、第２の時間の後の第３の時間における物体の予測位置を受信することであって、予測位置は環境内の参照線に関することと、を備えた方法。
ＡＡ：段落Ｚの方法であって、車両のセンサーを使用してセンサーデータを取り込むことと、第３の時間における環境内の物体の予測位置に少なくとも部分的に基づいて、車両を制御することと、をさらに備えた方法。
ＡＢ：段落ＡＡの方法であって、物体は環境内の多数の物体の１つであり、物体と環境内の車両との距離に少なくとも部分的に基づいて、物体を対象物体として選択することをさらに備えた方法。
ＡＣ：段落ＺからＡＢのいずれかの方法であって、物体が環境内の多数の物体の１つであり、物体は対象物体であり、対象物体に近接した多数の物体に少なくとも部分的に基づいて、多数の物体の数を選択することと、物体に関連付けられた属性を決定することと、予測位置を決定するために属性を機械学習モデルに入力することと、をさらに備えた方法。
ＡＤ：段落ＡＣの方法であって、物体に関連付けられた分類に少なくとも部分的に基づいて、物体を選択することをさらに備えた方法。
ＡＥ：段落ＺからＡＤのいずれかの方法であって、参照線は走行可能なエリアの中央線に対応し、予測位置は参照線に沿った距離、及び参照線からの横方向のオフセットを備えた方法。
ＡＦ：段落ＺからＡＥのいずれかの方法であって、第１の属性、及び第２の属性は、参照のフレーム関して表され、参照のフレームの座標は、第２の時間における物体の位置に少なくとも部分的に基づいている方法。
ＡＧ：段落ＺからＡＦのいずれかの方法であって、第１の属性が、第１の時間における物体の速度、第１の時間における物体の加速度、第１の時間における物体の位置、第１の時間における物体に関連付けられた境界ボックス、第１の時間における物体に関連付けられた照明の状態、第１の時間における物体とマップ要素との間の距離、物体の分類、物体に関連付けられた特徴の少なくとも１つを備えた方法。
ＡＨ：段落ＡＧの方法であって、物体は第１の物体であり、距離は第１の距離であり、第２の物体が環境内の第１の物体に近接していることを決定することであって、第１の属性は、第１の時間における第１の物体と第２の物体との間の第２の距離をさらに備えた方法。
ＡＩ：実行されると、１つ又は複数のプロセッサに対して動作を実行させる命令を格納した非一時的コンピュータ可読媒体であって、動作は、環境を表すセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、物体が環境内にあることを決定することと、物体に関連付けられた参照線を受信することと、物体に関連付けられた第１の属性を決定することで合って、第１の属性は第１の時間に関連付けられていることと、物体に関連付けられた第２の属性であって、第２の属性は第１の時間の後の第２の時間に関連付けられていることと、第１の属性、第２の属性、及び参照線を機械学習モデルに入力することと、機械学習モデルから、第２の時間の後の第３の時間における物体の予測位置を受信することであって、予測位置は環境内の参照線に関することと、を備えた非一時的コンピュータ可読媒体。
ＡＪ：段落ＡＩの非一時的コンピュータ可読媒体であって、物体は第１の物体であり、動作は、第２の物体が環境内の第１の物体に近接していることを決定することと、第２の物体に関連付けられた第３の属性を決定することであって、第３の属性は第１の時間に関連付けられていることと、第２の物体に関連付けられた第４の属性を決定することで合って、第４の属性は第２の時間に関連付けられていることと、第１の物体に関連付けられた予測位置を決定するために、第３の属性、及び第４の属性を機械学習モデルに入力することと、をさらに備えた非一時的コンピュータ可読媒体。
ＡＫ：段落ＡＩ又はＡＪの非一時的コンピュータ可読媒体であって、第１の属性、及び第２の属性は参照のフレームに関して表され、参照のフレームの座標は、第２の時間における物体の位置に少なくとも部分的に基づいている非一時的コンピュータ可読媒体。
ＡＬ：段落ＡＫの非一時的コンピュータ可読媒体であって、予測位置が、参照線に沿った距離、及び参照線からの横方向のオフセットとして表される非一時的コンピュータ可読媒体。
ＡＭ：段落ＡＩからＡＬのいずれかの非一時的コンピュータ可読媒体であって、第１の属性が、第１の時間における物体の速度、第１の時間における物体の加速度、第１の時間における物体の位置、第１の時間における物体に関連付けられた境界ボックス、第１の時間における物体に関連付けられた照明の状態、第１の時間における物体とマップ要素との間の距離、物体の分類、又は物体に関連付けられた特徴の少なくとも１つを備えた非一時的コンピュータ可読媒体。
ＡＮ：段落ＡＭの非一時的コンピュータ可読媒体であって、物体は第１の物体であり、距離は第１の距離であり、第１の属性は、第１の時間における第１の物体と第２の物体との間の第２の距離さらに備える非一時的コンピュータ可読媒体。
上述の例示項は、ある特定の実装に関して述べられるているが、本書のコンテキストでは、例示項の内容は、方法、装置、システム、コンピュータ可読媒体、及び／又は別の実装を介して実装されることもできることが理解されるべきである。
（結論）
本明細書で述べられる技術の１つ又は複数の例が説明されているが、その様々な変更、追加、交換、及び等価なものは、本明細書で述べられる技術の範囲内に含まれる。
例の説明では、本明細書の一部を構成する添付の図面を参照し、請求された主題の具体的な例を例示している。他の例が使用されることは可能であり、また、構造的な変更などの変更または代替を行うことが可能であることを理解されたい。そのような例、変更または代替は、意図された請求項の主題に関する範囲から必ずしも逸脱するものではない。本明細書の手順は、一定の順序で提示することができるが、場合によっては、記載されたシステムおよび方法の機能を変更することなく、特定の入力が異なるタイミングまたは異なる順序で提供されるように、順序を変更することが可能である。また、開示された手順を異なる順序で実行することも可能である。さらに、本明細書で説明されている様々な計算は、開示されている順序で実行される必要はなく、計算の代替的な順序を使用する他の例も容易に実装されることができる。順序を変えることに加えて、計算は、同じ結果のサブ計算に分解することも可能である。

Claims (15)

  1. 方法であって、
    環境を表すセンサーデータを受信することと、
    前記センサーデータに少なくとも部分的に基づいて、物体が前記環境内にあることを決定することと、
    前記環境内における位置を決定することであって、前記位置は、前記環境の横断歩道領域、又は走行不能領域の少なくとも一つに関連付けられることと、
    前記物体に関連付けられた第１の属性を決定することであって、前記第１の属性は第１の時間に関連付けられることと、
    前記物体に関連付けられた第２の属性を決定することであって、前記第２の属性は、前記第１の時間の後の第２の時間に関連付けられることと、
    前記第１の属性、前記第２の属性、及び前記位置を機械学習モデルに入力することと、
    前記機械学習モデルから、前記第２の時間の後の第３の時間における前記物体に関連付けられた予測位置を受信することと、
    を備える方法。
  2. 車両上のセンサーを使用して前記センサーデータを取り込むことと、
    前記第３の時間での前記環境内において前記物体の前記予測位置に少なくとも部分的に基づいて、前記車両を制御することと、
    をさらに備えた、請求項１に記載の方法。
  3. 前記位置が第１の位置であり、前記方法は、
    前記環境を表すマップデータ、又はセンサーデータの少なくとも１に、少なくとも部分的に基づいて、前記第１の位置を決定することと、
    前記第１の位置に関連付けられた閾値領域を決定することと、
    前記環境内の前記物体の第２の位置を決定することと、
    前記物体の前記第２の位置が、前記閾値領域内にあることを決定することと、
    前記閾値領域内にある前記第２の位置と、前記第１の属性、又は前記第２の属性の少なくとも一つとに少なくとも部分的に基づいて、前記物体に関連付けられた目的地として前記位置を選択することと、
    をさらに備える、請求項１又は２に記載の方法。
  4. 前記位置が第１の位置であり、前記方法は、
    参照のフレームを設立することであって、
    前記第２の時間における前記物体の第２の位置が、前記参照のフレームの座標に関連付けられ、
    第１の軸が、前記座標、及び前記第１の位置に少なくとも部分的に基づいており、
    第２の軸が、前記第１の軸に対して垂直であることをさらに備え、
    前記第１の属性が、前記参照のフレームに少なくとも部分的に基づいている、請求項１から３のいずれか一項に記載の方法。
  5. 前記第２の時間における前記物体の速度を決定することと、
    前記速度を表す速度ベクトルと前記第１の軸との間の角度を決定することと、
    をさらに備え、
    前記第２の属性が前記角度を備える、請求項４に記載の方法。
  6. 前記位置が第１の位置であり、前記方法は、
    前記第３の時間における前記物体に関連付けられた前記予測位置が、
    前記第２の軸に対する横方向のオフセットと、
    前記第２の時間における前記物体の第２の位置と前記予測位置との間の差を表す第１の軸に沿った距離と、
    を備える、請求項４に記載の方法。
  7. 一定期間に前記横断歩道領域に入る物体の数を決定することをさらに備え、前記第２の属性が前記物体の数を備える、請求項１から６のいずれか一項に記載の方法。
  8. 前記物体が第１の物体であり、前記方法は、
    前記センサーデータに少なくとも部分的に基づいて、第２の物体が前記環境内にあることを決定することと、
    前記第２の物体に関連付けられた位置、速度、又は、加速度の少なくとも一つを、物体コンテキストとして、決定することと、
    前記物体コンテキストに少なくとも部分的にさらに基づいて、前記物体に関連付けられた前記予測位置を決定することと、
    をさらに備える、請求項１から７のいずれか一項に記載の方法。
  9. ビン化された予測位置を決定するために、前記予測位置の少なくとも一部をビン化することをさらに備えた、請求項１から８のいずれか一項に記載の方法。
  10. 前記第１の属性が、
    前記第１の時間における前記物体の位置、
    前記第１の時間における前記物体の速度、
    前記第１の時間における前記物体の進路、
    前記第１の時間における前記物体と前記横断歩道領域の第１の部分との間の第１の距離、
    前記第１の時間における前記物体と前記横断歩道領域の第２の部分との間の第２の距離、
    前記第１の時間における前記物体の加速度、
    前記物体が走行可能なエリアに居るかどうかの指示、
    領域を制御する指示器の状態
    車両コンテキスト
    又は、物体の関連付け、
    の少なくとも１つを備える、請求項１から９のいずれか一項に記載の方法。
  11. コンピュータ上で実行されると、請求項１乃至１０のいずれか一項に記載の方法を実装する、コード化された命令を備えたコンピュータプログラム製品。
  12. システムであって、
    １つ又は複数のプロセッサと、
    実行されると、前記システムに動作を実行させる命令を格納した、１つ又は複数の非一時的コンピュータ可読媒体であって、前記動作は、
    環境を表すセンサーデータを受信することと、
    前記センサーデータに少なくとも部分的に基づいて、物体が前記環境内にあることを決定することと、
    前記環境における位置を決定することであって、前記位置は前記環境の横断歩道領域、又は、走行不能領域の少なくとも１つに関連付けられていることと、
    前記物体に関連付けられた第１の属性を決定することであって、前記第１の属性は第１の時間に関連付けられることと、
    前記物体に関連付けられた第２の属性を決定することであって、前記第２の属性は前記第１の時間の後の第２の時間に関連付けられることと、
    前記第１の属性、前記第２の属性、及び前記位置を機械学習モデルに入力することと、
    前記機械学習モデルから、前記第２の時間の後の第３の時間における前記物体に関連付けられた予測位置を受信することと、
    を備えた、システム。
  13. 前記位置が第１の位置であり、
    前記動作が、
    前記環境を表すマップデータ、又は、前記環境を表すセンサーデータの少なくとも１に、少なくとも部分的に基づいて、前記第１の位置を決定することと、
    前記第１の位置に関連付けられた閾値領域を決定することと、
    前記環境内の前記物体の第２の位置を決定することと、
    前記物体の前記第２の位置が、前記閾値領域内にあることを決定することと、
    前記閾値領域内にある前記第２の位置と、前記第１の属性、又は、前記第２の属性の少なくとも一つとに少なくとも部分的に基づいて、前記物体に関連付けられた目的地として前記第１の位置を選択することと、
    をさらに備えた、請求項１２に記載のシステム。
  14. 前記位置が第１の位置であり、
    前記動作が、
    参照のフレームを設立することであって、
    前記第２の時間における前記物体の第２の位置が、前記参照のフレームの座標に関連付けられ、
    第１の軸が、前記座標、及び前記第１の位置に少なくとも部分的に基づいており、
    第２の軸が、前記第１の軸に対して垂直であることをさらに備え、
    前記第１の属性が、前記参照のフレームに少なくとも部分的に基づいている、請求項１２又は１３に記載のシステム。
  15. 前記動作が、
    前記物体が前記横断歩道領域に関連付けられていないと決定することと、
    前記位置が前記環境の前記走行不能領域に関連付けられていると決定することと、
    をさらに備えた、請求項１２乃至１４のいずれか一項に記載のシステム。
JP2021557327A 2019-03-25 2020-03-24 属性に基づく歩行者の予測 Pending JP2022527072A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/363,541 2019-03-25
US16/363,627 US11351991B2 (en) 2019-03-25 2019-03-25 Prediction based on attributes
US16/363,541 US11021148B2 (en) 2019-03-25 2019-03-25 Pedestrian prediction based on attributes
US16/363,627 2019-03-25
PCT/US2020/024386 WO2020198189A1 (en) 2019-03-25 2020-03-24 Pedestrian prediction based on attributes

Publications (1)

Publication Number Publication Date
JP2022527072A true JP2022527072A (ja) 2022-05-30

Family

ID=70289862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557327A Pending JP2022527072A (ja) 2019-03-25 2020-03-24 属性に基づく歩行者の予測

Country Status (4)

Country Link
EP (1) EP3948656A1 (ja)
JP (1) JP2022527072A (ja)
CN (1) CN113632096A (ja)
WO (1) WO2020198189A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US20220101155A1 (en) * 2020-09-25 2022-03-31 Motional Ad Llc Trajectory Generation Using Road Network Model
CN112785845B (zh) * 2020-12-30 2022-11-01 桂林电子科技大学 一种基于K-means聚类与RBF神经网络的车速预测方法
EP4131180A1 (en) * 2021-08-05 2023-02-08 Argo AI, LLC Methods and system for predicting trajectories of actors with respect to a drivable area
CN114743157B (zh) * 2022-03-30 2023-03-03 中科融信科技有限公司 一种基于视频的行人监控方法、装置、设备及介质
FR3140701A1 (fr) * 2022-10-11 2024-04-12 Psa Automobiles Sa Méthodes et systèmes de conduite à l’approche d’un passage piéton

Also Published As

Publication number Publication date
EP3948656A1 (en) 2022-02-09
CN113632096A (zh) 2021-11-09
WO2020198189A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US11351991B2 (en) Prediction based on attributes
US11021148B2 (en) Pedestrian prediction based on attributes
JP2022527072A (ja) 属性に基づく歩行者の予測
US11734832B1 (en) Prediction on top-down scenes based on object motion
US11631200B2 (en) Prediction on top-down scenes based on action data
US11169531B2 (en) Trajectory prediction on top-down scenes
EP3908493B1 (en) Occlusion prediction and trajectory evaluation
US20220363256A1 (en) Trajectory modifications based on a collision zone
US11126180B1 (en) Predicting an occupancy associated with occluded region
JP2022544715A (ja) 譲歩挙動のモデリングおよび予測
US20220274625A1 (en) Graph neural networks with vectorized object representations in autonomous vehicle systems
JP2022538535A (ja) 画像からの奥行の精緻化
US11513519B1 (en) Sharing occlusion data
US20210325880A1 (en) Collaborative vehicle guidance
US11584389B2 (en) Teleoperations for collaborative vehicle guidance
US20220371613A1 (en) Vehicle trajectory determination
JP2023505059A (ja) センサデータを使用した高さ推定
WO2022093891A1 (en) Collision avoidance planning system
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
US11772643B1 (en) Object relevance determination

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423