JP2020531993A - 自律車両に関する物体予測を優先順位化するためのシステムおよび方法 - Google Patents

Abstract

物体優先順位化を決定し、自律車両に関する将来的物体場所を予測するためのシステムおよび方法が、提供される。本方法は、１つ以上のプロセッサを備える、コンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する、状態データを取得するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の物体内の各物体に対する優先順位分類を決定するステップを含むことができる。

Description

（優先権の主張）
本願は、両方とも、参照することによって本明細書に組み込まれる、２０１７年８月２３日の出願日を有する米国仮出願第６２／５４９，４０７号、２０１７年１１月１４日の出願日を有する米国出願第１５／８１１，８６５号に基づき、その優先権を主張する。

本開示は、概して、自律車両に関する。より具体的には、本開示は、自律車両によって知覚された物体に関する優先順位分類を決定し、少なくとも部分的に、各物体に対する個別の優先順位分類に基づいて、物体に関する将来的場所を予測するためのシステムおよび方法に関する。

自律車両は、その環境を感知し、殆どまたは全く人間入力を伴わずに、ナビゲートすることが可能である車両である。特に、自律車両は、種々のセンサを使用して、その周囲環境を観察することができ、種々の処理技法をセンサによって収集されたデータ上で実施することによって、環境を把握するように試みることができる。その周囲環境の知識を前提として、自律車両は、そのような周囲環境を通した適切な運動経路を識別することができる。

本開示の実施形態の側面および利点は、以下の説明に部分的に記載されるであろう、または説明から学習されることができる、または実施形態の実践を通して学習されることができる。

本開示の一例示的側面は、コンピュータ実装方法を対象とする。本方法は、１つ以上のプロセッサを備える、コンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する、状態データを取得するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の物体内の各物体に対する優先順位分類を決定するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、各物体に対する優先順位分類に基づいて、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップを含むことができる。

本開示の別の例示的側面は、コンピューティングシステムを対象とする。コンピューティングシステムは、１つ以上のプロセッサを備える、知覚システムを含むことができる。知覚システムは、複数の連続タイムフレームの各々に対し、自律車両によって知覚された複数の物体のそれぞれの少なくとも現在の状態を説明する、状態データを生成するように構成されることができる。コンピューティングシステムはさらに、１つ以上のプロセッサを備える、優先順位分類システムを含むことができる。優先順位分類システムは、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の連続タイムフレームの各々に対し、複数の物体内の各物体を高優先順位または低優先順位のいずれかとして分類するように構成されることができる。コンピューティングシステムはさらに、１つ以上のプロセッサを備える、予測システムを含むことができる。予測システムは、複数の連続タイムフレームの各々に対し、各個別の物体に対する優先順位分類を受信し、現在のタイムフレームに対して、高優先順位として分類された各物体に対する予測される将来的状態を決定し、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態を、１つ以上のプロセッサによって実装される運動計画システムに提供するように構成されることができる。

本開示の別の例示的側面は、自律車両を対象とする。自律車両は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、動作を実施させる、命令を集合的に記憶する、１つ以上の非一過性コンピュータ可読媒体とを含むことができる。動作は、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する、状態データを取得するステップを含むことができる。動作はさらに、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の物体内の各物体に対する優先順位分類を決定するステップを含むことができる。動作はさらに、少なくとも部分的に、各物体に対する優先順位分類に基づいて、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップを含むことができる。動作はさらに、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップを含むことができる。

本開示の他の側面は、種々のシステム、装置、非一過性コンピュータ可読媒体、ユーザインターフェース、および電子デバイスを対象とする。

本開示の種々の実施形態のこれらおよび他の特徴、側面、および利点は、以下の説明および添付の請求項を参照して、より深く理解されるようになるであろう。本明細書内に組み込まれ、その一部を構成する、付随の図面は、本開示の例示的実施形態を図示し、説明とともに、関連原理を説明する役割を果たす。

当業者を対象とする実施形態の詳細な議論は、添付の図を参照する、明細書に記載される。

図１は、本開示の例示的側面による、例示的自律車両のブロック図を描写する。

図２は、本開示の例示的側面による、例示的知覚システムを描写する。

図３は、本開示の例示的側面による、例示的予測システムを描写する。

図４は、本開示の例示的側面による、例示的物体予測プロセスのブロック図を描写する。

図５は、本開示の例示的側面による、例示的コンピューティングシステムのブロック図を描写する。

図６は、本開示の例示的側面による、自律車両に関する運動計画を決定するための例示的方法のフローチャート図を描写する。

概して、本開示は、自律車両によって知覚された物体に関する優先順位分類を決定し、少なくとも部分的に、各物体に対する個別の優先順位分類に基づいて、物体に関する将来的場所を予測するためのシステムおよび方法を対象とする。特に、自律車両は、少なくとも部分的に、物体および／または周囲環境の現在および／または過去の状態を説明する、知覚情報に基づいて、例えば、他の車両、歩行者、自転車乗用者等の物体の将来的場所を予測するために、予測システムを含むかまたは別様に使用することができる。いくつかの実装では、自律車両は、知覚システムによって知覚された各物体の個別の優先順位を分類するために、優先順位分類システムを含むかまたは別様に使用することができる。例えば、いくつかの実装では、各物体は、高優先順位または低優先順位のいずれかとして分類されることができる。予測システムは、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、いくつかの実装では、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序が、各物体に対する優先順位分類に基づいて、例えば、予測される将来的状態が低優先順位として分類された物体に関して決定される前に、高優先順位として分類された物体に関する予測される将来的状態を決定すること等によって、決定されることができる。

一実施例として、いくつかのタイムフレームにわたって反復的に動作する、システムでは、予測システムは、現在のタイムフレームにおいて、高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。しかしながら、予測システムは、現在のタイムフレームにおいて低優先順位として分類された各物体に対する予測される将来的状態を待機および決定することができる（例えば、後続タイムフレームにおいて、または少なくとも高優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供することに続いて）。そのような方式では、高優先順位物体に関する予測される将来的状態は、繰上方式（例えば、「スケジュールの先頭」）で運動計画システムに送達され、それによって、運動計画システムに、高優先順位物体に対する運動計画を決定するための付加的時間をもたらし、車両に、決定された運動計画を実装するための付加的時間をもたらすことができる。そのような方式では、自律車両は、高優先順位として分類された物体に対してより迅速に反応するように制御されることができる。例えば、予測システムによる予測される将来的状態の繰上を通して得られた付加的時間は、車両をより迅速に停止状態になるかまたは別様に改良された操縦を行うことを可能にすることができ、これは、乗車者および車両安全性を向上させる。

本開示の別の側面によると、いくつかの実装では、各物体に対する予測される将来的状態を決定するために使用される、予測システムのタイプが、各物体に対する優先順位分類に基づいて、決定されることができる。例えば、いくつかの実装では、高忠実性予測システムが、高優先順位として分類された物体のために使用されることができる一方、低忠実性予測システムが、低優先順位として分類された物体のために使用されることができる。

本開示の別の側面によると、本明細書に説明される優先順位分類システムは、自律車両によって知覚された各物体を分類することを補助する１つ以上の機械学習式モデルを含むかまたは活用することができる。実施例として、いくつかの実装では、優先順位分類システムは、各物体を高優先順位または低優先順位として分類すること等によって、各知覚された物体を分類するように構成される、機械学習された物体分類子を含むことができる。機械学習式モデルの使用は、物体優先順位分類の速さ、品質、および／または正確度を改良することができる。優先順位に従って物体を分類する改良された能力は、例えば、より低い優先順位物体の前に、より高い優先順位物体の将来的状態が予測されることを可能にすることによって、予測システムリソースのより効率的使用を可能にすることができる。さらに、これは、より高い優先順位物体に関して予測される将来的状態が、運動計画システムにより迅速に提供されることを可能にし、運動計画を決定するための全体的待ち時間を短縮させ、それによって、自律車両応答時間を短縮させ、乗車者の安全性および車両効率を向上させることができる。

より具体的には、いくつかの実装では、自律車両は、自律車両を制御することを補助する、コンピューティングシステムを含むことができる。自律車両は、陸上ベースの自律車両（例えば、車、トラック、バス等）、空中ベースの自律車両（例えば、航空機、ドローン、ヘリコプター、または他の航空機）、または他のタイプの車両（例えば、船舶）であることができる。いくつかの実装では、コンピューティングシステムは、協働して、自律車両の周囲環境を知覚し、適宜、自律車両の運動を制御するための運動計画を決定する、知覚システム、予測システム、および運動計画システムを含むことができる。例えば、知覚システムは、自律車両に近接する、１つ以上の物体を知覚し、１つ以上の物体を示す状態データを予測システムに提供することができる。予測システムは、次いで、知覚システムによって知覚された、各物体に対する予測される将来的状態を決定することができる。運動計画システムは、次いで、物体に関する予測される将来的状態に基づいて、自律車両に関する運動計画を決定することができる。このように、自律車両は、自律車両に近接する、物体を知覚し、それに応答して、適宜、自律車両を制御することができる。

いくつかの実装では、自律車両は、複数の連続タイムフレーム内で取得されるデータを使用して、知覚、予測、および運動計画ステップのそれぞれを順次実施することができる。例えば、タイムフレームＮに対し、知覚システムは、タイムフレームＮに対するセンサデータを受信することができ、知覚システムは、並行して、タイムフレームＮ−１に対して知覚システムによって知覚された、１つ以上の物体に関する状態データを生成し、予測システムに提供することができ、予測システムは、並行して、タイムフレームＮ−２に対して、知覚システムによって知覚された、各物体に対する予測される将来的状態を決定することができ、運動計画システムは、並行して、タイムフレームＮ−３に対して予測される将来的状態を使用して、自律車両に関する運動計画を決定することができる。したがって、自律車両に関する運動計画は、複数の連続タイムフレームのそれぞれからのデータを使用して、反復的に決定されることができる。

しかしながら、そのような実装では、知覚、予測、および運動計画システムはそれぞれ、各システムが、続いて、そのタイムフレームに対するデータを分析し得る前に、先行システムが、タイムフレームに対するデータの個別の分析を完了することを要求し得る。例えば、各連続タイムフレームに対し、知覚システムは、予測システムによって使用される状態データを生成するために、自律車両上の１つ以上のセンサから取得されるデータの分析を完了する必要があり得る。同様に、予測システムは、運動計画システムが自律車両に関する運動計画を決定し得る前に、各物体に対する予測される将来的状態を決定するために、あるタイムフレームに対する状態データの分析を完了する必要があり得る。したがって、物体がセンサによって感知されるときから、運動計画が物体に応答して決定されるまでの全体的時間は、各システムが、物体と同時に知覚された全ての他の物体とともに、物体のその個別の分析を完了することに依存し得る。

対照的に、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に関する優先順位分類を決定し、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することを可能にし、それによって、より高い優先順位物体がより低い優先順位物体の前に分析されることを可能にすることができる。

特に、いくつかの実装では、知覚システムは、センサデータを、自律車両に結合される、または別様にその中に含まれる、１つ以上のセンサから受信することができる。実施例として、１つ以上のセンサは、光検出および測距（ＬＩＤＡＲ）システム、無線検出および測距（ＲＡＤＡＲ）システム、１つ以上のカメラ（例えば、可視スペクトルカメラ、赤外線カメラ等）、および／または他のセンサを含むことができる。センサデータは、自律車両の周囲環境内の物体の場所を説明する、情報を含むことができる。いくつかの実装では、センサデータは、複数の連続タイムフレームにおいて取得されることができる。１つ以上のセンサから受信されたセンサデータおよび／またはマップデータに基づいて、知覚システムは、各タイムフレームにおいて、自律車両に近接する、１つ以上の物体を識別することができる。実施例として、いくつかの実装では、知覚システムは、センサデータ（例えば、ＬＩＤＡＲデータ）を離散物体ポリゴンにセグメント化し、および／または物体をフレーム毎に追跡することができる（例えば、いくつかの連続タイムフレームまたは周期にわたって反復的に）。

特に、いくつかの実装では、知覚システムは、各物体に対して、そのような物体の現在の状態（物体の１つ以上の特徴とも称される）を説明する、状態データを生成することができる。実施例として、各物体に対する状態データは、物体の場所（位置とも称される）、速さ（速度とも称される）、加速、進行方向、ヨーレート、配向、サイズ／占有面積（例えば、境界ポリゴンまたは他の形状によって表されるような）、タイプ／クラス（例えば、車両、歩行者、自転車）、自律車両からの距離、自律車両と相互作用するための最小経路、自律車両と相互作用するための最小持続時間、および／または他の状態情報および／または上記に説明される形態の状態情報の共分散の推定値を説明することができる。いくつかの実装では、物体に関するある状態データは、物体に関する１つ以上の他の特徴を決定するために使用されることができる。例えば、いくつかの実装では、物体の位置、速さ、加速、および／または進行方向は、自律車両と相互作用するための最小経路または自律車両と相互作用するための最小持続時間を決定するために使用されることができる。知覚システムは、状態データを優先順位分類システムおよび／または予測システムに提供することができる（例えば、各タイムフレームに対して反復的に）。

本開示のある側面によると、自律車両はさらに、自律車両によって知覚された各物体を分類するように構成される、優先順位分類システムを含むことができる。いくつかの実装では、優先順位分類システムは、知覚システム内に含まれる、または別様にその中に組み込まれることができる。いくつかの実装では、優先順位分類システムは、予測システム内に含まれる、または別様にその中に組み込まれることができる。優先順位分類システムは、各物体に対する状態データに基づいて、知覚システムによって知覚された物体を分類することができる。例えば、優先順位分類システムは、各物体を複数の優先順位カテゴリのうちの１つに分類し、および／または各物体を相互の物体に対してランク付けすることができる。各物体に対する相対的優先順位分類および／またはランク付けは、各物体に対する状態データに基づいて、決定されることができる。各物体に対する優先順位分類は、自律車両に関する運動計画のための決定にとっての物体の重要性を示すことができる。実施例として、各物体に割り当てられる優先順位分類は、物体が自律車両と相互作用する可能性、物体が自律車両と相互作用する可能性が高い時間、物体が自律車両に関する運動計画に影響を及ぼす可能性が高いかどうか等の複数の要因に基づくことができる。例えば、自律車両に向かって高速で進行している車両は、自律車両から離れるように進行している車両より高い優先順位物体として分類されることができる。

いくつかの実装では、優先順位分類は、１つ以上のヒューリスティックプロセスに基づくことができる。例えば、１つ以上の閾値が、物体の１つ以上の特徴に基づいて、物体を分類するために使用されることができる。例えば、自律車両と相互作用するための最小持続時間、最小経路、または最小距離が、自律車両から物体までの距離または物体が自律車両と相互作用する可能性が高いであろう時間に基づいて、物体を分類するために使用されることができる。同様に、進行方向および／または速度も、物体を分類するために使用されることができる。例えば、自律車両から離れるような進行方向に進行している物体は、自律車両に向かって進行している物体より低い優先順位として分類されることができ、自律車両に向かってより高速で進行している物体は、自律車両に向かってより低速で進行している物体より高い優先順位として分類されることができる。物体タイプ（例えば、車両、自転車、歩行者等）、物体サイズ、位置、または本明細書に説明される任意の他の特徴等の他の特徴も同様に、使用されることができる。

いくつかの実装では、各物体は、高優先順位または低優先順位のいずれかとして分類されることができる。例えば、優先順位分類システムは、各物体に対する個別の状態データに基づいて、各物体を高優先順位または低優先順位のいずれかとして分類することができる。いくつかの実装では、各高優先順位の物体に対する予測される将来的状態は、予測される将来的状態が任意の低優先順位物体に関して決定される前に、決定されることができる。

いくつかの実装では、高優先順位物体と低優先順位物体との比は、少なくとも部分的に、自律車両の速度に基づいて、決定されることができる。例えば、いくつかの実装では、より高速における運動計画を決定するための全体的待ち時間を低減させるために、より低速におけるものより少ない物体が、高優先順位として分類されてもよい。例えば、１つ以上の閾値または範囲が、自律車両の速度に基づいて、高優先順位物体対低優先順位物体の比を決定するために使用されることができる。各物体は、次いで、高優先順位物体対低優先順位物体の比に基づいて、高優先順位または低優先順位のいずれかとして分類されることができる。

本開示の別の側面によると、本明細書に説明される優先順位分類システムおよび方法は、物体を分類することを補助する１つ以上の機械学習式モデルを含むかまたは活用することができる。実施例として、いくつかの実装では、優先順位分類システムは、機械学習された物体優先順位分類子を含み、自律車両によって知覚された各物体を分類することができる。いくつかの実装では、機械学習された物体優先順位分類子は、各物体を高優先順位または低優先順位のいずれかとして、分類することができる。

本開示のさらに別の側面によると、本明細書に説明される優先順位分類システム内に含まれる、またはそれによって採用される、機械学習式モデルは、進行路（例えば、車道）上の自律車両の実際の動作の間に収集されたログデータを使用して、訓練されることができる。例えば、ログデータは、自律車両（例えば、自律車両の知覚システム）によって知覚された種々の物体に関するセンサデータおよび／または状態データと、また、センサデータの収集および／または状態データの生成に続いておよび／またはそれと同時に生じた各物体に対する結果として生じる将来的状態とを含むことができる。したがって、ログデータは、物体が、物体の結果として生じる将来的状態において、自律車両と相互作用する可能性がより高くなるまたはより低くなるかどうか等、そのような知覚と同時に自律車両によって収集および／または生成されたデータ（例えば、センサデータ、マップデータ、知覚データ等）とペアリングされる、物体の多数の実世界実施例を含むことができる。機械学習式モデルをそのような実世界ログデータ上で訓練することは、機械学習式モデルが、物体分類を決定することを可能にすることができ、これは、実世界物体挙動をより良好に模写または模倣する。

本開示の付加的側面によると、予測システムは、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、予測システムが各物体に対する予測される将来的状態を決定する順序は、少なくとも部分的に、物体に割り当てられる優先順位分類に基づくことができる。例えば、いくつかの実装では、より高い優先順位物体に関する予測される将来的状態は、より低い優先順位物体に関する予測される将来的状態が決定される前に、決定されることができる。いくつかの実装では、高優先順位として分類された各物体に対する予測される将来的状態は、予測される将来的状態が低優先順位として分類された任意の物体に関して決定される前に決定されることができる。いくつかの実装では、各物体に対する予測される将来的状態は、相互の物体と比較した物体の相対的優先順位に基づいて、決定されることができる。例えば、自律車両によって知覚された各物体は、相対的優先順位ランク付け（例えば、Ｙ個の物体に関して、１〜Ｙのランク付け）を割り当てられることができ、予測される将来的状態は、物体の優先順位ランク付けに基づいて、決定されることができる。

予測システムは、少なくとも部分的に、物体、自律車両、周囲環境、および／またはその間の関係の過去および／または現在の状態を説明する、知覚システム、マップデータ、センサデータ、および／または任意の他のデータから受信された知覚情報（例えば、各物体に対する状態データ）に基づいて、物体の将来的場所を予測することができる。例えば、予測システムは、自律車両に関する運動計画が生成される時間周期に対応する、計画範囲にわたる動作主または他の物体の将来的運動を推定することができる。いくつかの実装では、予測システムは、確率尤度と物体の各予測される運動または他の将来的場所を結び付けることができる。

いくつかの実装では、予測システムは、複数の連続タイムフレームに対し、自律車両によって知覚された各個別の物体に対する優先順位分類および各物体に対する個別の状態データを受信することができる。例えば、知覚システムは、複数の連続タイムフレームにおける複数の物体に関する状態データを提供することができ、優先順位分類システムは、複数の連続タイムフレームの各々に対し、各物体に対する個別の優先順位分類を提供することができる。

いくつかの実装では、現在の（すなわち、直近で取得された）タイムフレームに対する複数の物体に関する優先順位分類および個別の状態データの受信に応じて、予測システムは、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。本明細書で使用されるように、用語「現在の」または「直近で取得された」は、タイムフレームを参照して使用されるとき、特定のシステム（例えば、知覚システム、予測システム）に直近で提供されたタイムフレームを指す。例えば、現在のタイムフレームに対する状態データを使用して、予測される将来的場所が、各高優先順位の物体に対して決定されることができる。いったん予測される将来的状態が、現在のタイムフレームに対して高優先順位として分類された各物体に対して決定されると、高優先順位として分類された各物体に対する予測される将来的状態は、次いで、運動計画システムに提供されることができる。したがって、予測される将来的状態が、各高優先順位の物体に対して決定されるとすぐに、運動計画が、自律車両に関して決定されることができる。

さらに、いくつかの実装では、予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供した後、予測システムは、現在のタイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を決定することができる。したがって、自律車両によって知覚された各物体は、各タイムフレームに対し、予測システムによって決定された予測される将来的状態を有することができる。

加えて、いくつかの実装では、予測システムは、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態と並行して、前の順次タイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供することができる。例えば、現在のタイムフレームに対して予測される将来的状態が、各高優先順位の物体に対して決定されるとすぐに、各高優先順位の物体に対して現在のタイムフレームに対して予測される将来的状態は、各低優先順位の物体に対して、前の順次タイムフレームに対して予測される将来的状態とともに、運動計画システムに提供されることができる。例えば、低優先順位として分類された各物体に対する予測される将来的状態は、前の順次タイムフレームからの各低優先順位の物体に対する予測される将来的状態を選択する、取得する、または別様に使用することによって、予測システムによって決定されることができる。したがって、現在のタイムフレームにおいて自律車両によって知覚された各物体に対する予測される将来的状態が決定されるまで待機するのではなく、高優先順位物体に関する現在の予測される将来的状態および低優先順位物体に関する前の順次予測される将来的状態を備える、予測される将来的状態の完全セットが、予測システムが、全ての高優先順位物体に関する予測される将来的状態を決定するとすぐに、運動計画システムに提供されることができる。これは、車両に関する運動計画を決定するための全体的待ち時間を短縮させ、それによって、自律車両に関する応答時間を短縮させ、乗車者の安全性を増加させることができる。

いくつかの実装では、予測システムは、低忠実性予測システムと、高忠実性予測システムとを含むことができる。本明細書で使用されるように、用語「低忠実性」および「高忠実性」は、個別の予測システムによって使用される予測システムまたはアルゴリズムの相対的算出強度を指す。例えば、いくつかの実装では、高忠実性予測システムは、各物体に対する将来的場所を予測するために、１つ以上の機械学習式モデルを含むかまたは別様に活用することができる。例えば、いくつかの実装では、予測システムは、１つ以上の潜在的目標を生成し、最も可能性が高い潜在的目標のうちの１つ以上のものを選択し、それによって物体が１つ以上の選択された目標を達成し得る、１つ以上の軌道を展開する、目標指向予測システムであることができる。例えば、予測システムは、物体に関する１つ以上の目標を生成および／またはスコア化する、シナリオ生成システムと、それによって物体が目標を達成し得る、１つ以上の軌道を決定する、シナリオ開発システムとを含むことができる。いくつかの実装では、予測システムは、機械学習された目標スコア化モデル、機械学習された軌道開発モデル、および／または他の機械学習式モデルを含むことができる。いくつかの実装では、高忠実性予測システムは、高優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができる。

いくつかの実装では、低忠実性予測システムは、１つ以上の状態前方統合モデルを含むことができる。例えば、低忠実性予測システムは、現在の状態を前方統合することによって、物体に関する将来的状態を予測することができる。例えば、低忠実性予測システムは、物体の現在の位置、現在の速度、および現在の進行方向を使用して、将来的時間周期における物体に関する予測される将来的場所を決定することができる。いくつかの実装では、低忠実性予測システムは、低優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができる。

このように、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に関する優先順位分類を決定することを可能にすることができる。特に、１つ以上のヒューリスティックプロセスを適用し、および／または機械学習式モデルを使用することによって、本開示のシステムおよび方法は、自律車両によって知覚された各物体に対する個別の優先順位分類を決定することができる。予測される将来的状態が各物体に対して決定される順序は、次いで、少なくとも、各物体に対する個別の優先順位分類に基づいて、決定されることができる。個別の優先順位に従って物体を分類する能力は、算出リソースがより高い優先順位物体に集中されることを可能にすることができる。

したがって、本開示の１つの技術的効果および利点は、低優先順位物体より自律車両に関する運動計画に影響を及ぼす可能性が高いより高い優先順位物体に関して予測される将来的場所を決定するための短縮された待ち時間である。特に、本開示は、コンピューティングシステムが、全ての高優先順位物体に関する予測される将来的場所が決定されるとすぐに、自律車両に関する運動計画を決定することを可能にする、技法を提供する。したがって、本開示は、自律車両が、物体を知覚し、物体に応答して、運動計画を決定するために要求される、時間の短縮を可能にすることができる。さらに、本開示は、より高い忠実性予測システムが、より高い優先順位物体に関して予測される将来的場所を決定するために使用され、より低い忠実性予測システムが、より低い優先順位物体に関する予測される将来的場所を決定するために使用されることを可能にすることができる。これは、自律車両にオンボード搭載されるコンピューティングリソースのより効率的使用を可能にすることができる。

本開示はまた、例えば、乗車者の安全性の向上を含む、付加的技術的効果および利点を提供する。例えば、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に応答して運動計画を決定するために、短縮された反応時間を可能にすることができる。これは、自律車両が、より迅速に停止状態になる、物体の周囲をナビゲートする、または別様に物体により迅速に応答し、それによって、自律車両が物体と衝突する可能性を低減させることを可能にすることができる。

ここで図を参照すると、本開示の例示的実施形態が、さらに詳細に議論されるであろう。図１は、本開示の例示的側面による、例示的自律車両１０のブロック図を描写する。自律車両１０は、１つ以上のセンサ１０１と、車両コンピューティングシステム１０２と、１つ以上の車両制御１０７とを含む。車両コンピューティングシステム１０２は、自律車両１０を制御することを補助することができる。特に、車両コンピューティングシステム１０２は、センサデータを１つ以上のセンサ１０１から受信し、種々の処理技法をセンサ１０１によって収集されたデータ上で実施することによって、周囲環境を把握するように試み、そのような周囲環境を通した適切な運動経路を生成することができる。車両コンピューティングシステム１０２は、１つ以上の車両制御１０７を制御し、運動経路に従って、自律車両１０を動作させることができる。

車両コンピューティングシステム１０２は、１つ以上のプロセッサ１１２と、メモリ１１４とを含むことができる。１つ以上のプロセッサ１１２は、任意の好適な処理デバイス（例えば、プロセッサコア、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、コンピューティングデバイス、マイクロコントローラ等）であることができ、動作可能に接続される、１つのプロセッサまたは複数のプロセッサであることができる。メモリ１１４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク等、およびそれらの組み合わせ等の１つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。メモリ１１４は、データ１１６と、プロセッサ１１２によって実行され、車両コンピューティングシステム１０２に動作を実施させ得る、命令１１８とを記憶することができる。

図１に図示されるように、車両コンピューティングシステム１０２は、自律車両１０の周囲環境を知覚し、適宜、自律車両１０の運動を制御するための運動計画を決定するように協働する、知覚システム１０３と、予測システム１０４と、運動計画システム１０５とを含むことができる。

特に、いくつかの実装では、知覚システム１０３は、センサデータを、自律車両１０に結合されるかまたは別様にその中に含まれる、１つ以上のセンサ１０１から受信することができる。実施例として、１つ以上のセンサ１０１は、光検出および測距（ＬＩＤＡＲ）システム、無線検出および測距（ＲＡＤＡＲ）システム、１つ以上のカメラ（例えば、可視スペクトルカメラ、赤外線カメラ等）、および／または他のセンサを含むことができる。センサデータは、自律車両１０の周囲環境内の物体の場所を説明する、情報を含むことができる。

一実施例として、ＬＩＤＡＲシステムに関して、センサデータは、測距レーザを反射した物体に対応するいくつかの点の（例えば、ＬＩＤＡＲシステムに対する３次元空間内の）場所を含むことができる。例えば、ＬＩＤＡＲシステムは、短レーザパルスが、センサから物体に進行し、そこから戻る、飛行時間（ＴＯＦ）を測定し、距離を光の既知の速さから計算することによって、距離を測定することができる。

別の実施例として、ＲＡＤＡＲシステムに関して、センサデータは、測距無線波を反射した物体に対応するいくつかの点の（例えば、ＲＡＤＡＲシステムに対する３次元空間内の）場所を含むことができる。例えば、ＲＡＤＡＲシステムによって伝送される無線波（例えば、パルス状または連続）は、物体から反射し、ＲＡＤＡＲシステムの受信機に戻り、物体の場所および速さについての情報を与えることができる。したがって、ＲＡＤＡＲシステムは、物体の現在の速さについての有用な情報を提供することができる。

さらに別の実施例として、１つ以上のカメラに関して、種々の処理技法（例えば、運動からの構造、構造化された光、立体三角測量、および／または他の技法等の、例えば、範囲結像技法）が、１つ以上のカメラによって捕捉された画像に描写される物体に対応するいくつかの点の（例えば、１つ以上のカメラに対する３次元空間内の）場所を識別するために実施されることができる。他のセンサシステムも同様に、物体に対応する点の場所を識別することができる。

別の実施例として、１つ以上のセンサ１０１は、測位システムを含むことができる。測位システムは、車両１０の現在の位置を決定することができる。測位システムは、車両１０の位置を分析するための任意のデバイスまたは回路であることができる。例えば、測位システムは、慣性センサのうちの１つ以上のもの、衛星測位システムを使用することによって、ＩＰアドレスに基づいて、ネットワークアクセスポイントまたは他のネットワークコンポーネント（例えば、セルラータワー、ＷｉＦｉアクセスポイント等）との三角測量および／または近接度、および／または他の好適な技法を使用することによって、位置を決定することができる。車両１０の位置は、車両コンピューティングシステム１０２の種々のシステムによって使用されることができる。

したがって、１つ以上のセンサ１０１が、自律車両１０の周囲環境内の物体に対応する点の（例えば、自律車両１０に対する３次元空間内の）場所を説明する情報を含む、センサデータを収集するために使用されることができる。いくつかの実装では、センサ１０１は、自律車両１０上の種々の異なる場所に位置することができる。実施例として、いくつかの実装では、１つ以上のカメラおよび／またはＬＩＤＡＲセンサは、自律車両１０の屋根上に搭載される、ポッドまたは他の構造内に位置することができる一方、１つ以上のＲＡＤＡＲセンサは、自律車両１０のフロントおよび／またはリアバンパまたはボディパネル内またはその背後に位置することができる。別の実施例として、カメラも同様に、車両１０の正面または背面バンパに位置することができる。他の場所も同様に、使用されることができる。

センサデータに加え、知覚システム１０３は、自律車両１０の周囲環境についての詳細な情報を提供する、マップデータ１２６を読み出す、または別様に取得することができる。マップデータ１２６は、異なる進行路（例えば、車道）、道路区画、建物、または他のアイテムまたは物体（例えば、街灯、横断歩道、縁石等）の識別および場所、交通車線の場所および方向（例えば、駐車車線、方向転換車線、自転車車線、または特定の車道または他の進行路内の他の車線の場所および方向）、交通制御データ（例えば、標識、交通信号灯、または他の交通制御デバイスの場所および命令）、および／または車両コンピューティングシステム１０２がその周囲環境およびそれとのその関係を把握および知覚することを補助する情報を提供する、任意の他のマップデータに関する情報を提供することができる。

知覚システム１０３は、１つ以上のセンサ１０１から受信されたセンサデータおよび／またはマップデータ１２６に基づいて、自律車両１０に近接する１つ以上の物体を識別することができる。特に、いくつかの実装では、知覚システム１０３は、各物体に対して、そのような物体の現在の状態（また、物体の特徴とも称される）を説明する、状態データを決定することができる。実施例として、各物体に対する状態データは、物体の推定値、すなわち、現在の場所（位置とも称される）、現在の速さ（速度とも称される）、現在の加速、現在の進行方向、現在の配向、サイズ／形状／占有面積（例えば、境界ポリゴンまたは多面体等の境界形状によって表されるように）、タイプ／クラス（例えば、車両対歩行者対自転車対その他）、ヨーレート、自律車両からの距離、自律車両と相互作用するための最小経路、自律車両と相互作用するための最小持続時間、および／または他の状態情報を説明することができる。

いくつかの実装では、知覚システム１０３は、数回の反復にわたって、各物体に対する状態データを決定することができる。特に、知覚システム１０３は、各反復時に、各物体に対する状態データを更新することができる。したがって、知覚システム１０３は、自律車両１０に近接する物体（例えば、車両）を経時的に検出および追跡することができる。

予測システム１０４は、状態データを知覚システム１０３から受信し、そのような状態データに基づいて、各物体に対して、１つ以上の将来的場所を予測することができる。例えば、予測システム１０４は、各物体が、次の５秒、１０秒、２０秒等以内に位置するであろう、場所を予測することができる。一実施例として、物体は、その現在の速さに従って、その現在の軌道に準拠して予測されることができる。別の実施例として、他のより高度な予測技法またはモデル化が、使用されることができる。

運動計画システム１０５は、少なくとも部分的に、物体に関する予測される１つ以上の将来的場所および／または知覚システム１０３によって提供される物体に関する状態データに基づいて、自律車両１０のための運動計画を決定することができる。換言すると、物体の現在の場所および／または近接物体の予測される将来的場所についての情報を前提として、運動計画システム１０５は、自律車両１０をそのような場所における物体に対して最良にナビゲートする、自律車両１０のための運動計画を決定することができる。いくつかの実装では、運動計画システム１０５は、本明細書に説明されるように、１つ以上の調節された車両パラメータを使用して、自律車両に関する運動計画を決定することができる。

いくつかの実装では、運動計画システム１０５は、自律車両１０に関する１つ以上の候補運動計画の各々に対し、１つ以上のコスト関数および／または１つ以上の報酬関数を評価することができる。例えば、コスト関数は、特定の候補運動計画に固執することに関するコストを説明することができる（例えば、経時的に）一方、報酬関数は、特定の候補運動計画に固執することに関する報酬を説明することができる。例えば、報酬は、コストの反対符号であることができる。

したがって、物体の現在の場所および／または予測される将来的場所についての情報を前提として、運動計画システム１０５は、特定の候補経路に固執することに関する総コスト（例えば、コスト関数および／または報酬関数によって提供される、コストおよび／または報酬の和）を決定することができる。運動計画システム１０５は、少なくとも部分的に、コスト関数および報酬関数に基づいて、自律車両１０のための運動計画を選択または決定することができる。例えば、総コストを最小限にする、運動計画が、選択または別様に決定されることができる。運動計画システム１０５は、選択された運動計画を、１つ以上の車両制御１０７（例えば、ガスフロー、操向、制動等を制御する、アクチュエータまたは他のデバイス）を制御し、選択された運動計画を実行する車両コントローラ１０６に提供することができる。

本開示の例示的側面によると、車両コンピューティングシステム１０２はまた、自律車両１０によって知覚された１つ以上の物体を分類するように構成される、優先順位分類システム１５０を含むことができる。例えば、いくつかの実装では、優先順位分類システム１５０は、自律車両１０によって知覚された１つ以上の物体を説明する、状態データを、知覚システム１０３から受信することができる。優先順位分類システム１５０は、次いで、少なくとも部分的に、各物体に対する個別の状態データに基づいて、各物体を分類することができる。

例えば、いくつかの実装では、各物体に対する優先順位分類は、物体の位置、速度、および／または進行方向に基づくことができる。例えば、自律車両により近い、物体は、より高い優先順位分類を与えられることができる。同様に、自律車両に向かう方向および／または来る時間周期において自律車両が達するであろう位置に向かう方向に進行している、物体は、より高い優先順位分類を与えられることができる。いくつかの実装では、自律車両に向かってより高速で進行している物体等のより高速で進行している、物体は、より低速で進行している物体より高い優先順位分類を与えられることができる。

いくつかの実装では、優先順位分類は、物体が、自律車両と相互作用するであろう、または別様に、自律車両に関する運動計画を決定するために重要となるであろう、可能性に基づくことができる。例えば、自律車両と反対方向に進行している、物体は、自律車両の運動経路と相互作用するであろう方向に進行している物体より低い優先順位分類を与えられるであろう。

いくつかの実装では、優先順位分類は、物体タイプに基づくことができる。例えば、いくつかの実装では、歩行者は、静的（すなわち、非移動）車両等の他の物体より高い優先順位を割り当てられることができる。同様に、他の物体タイプおよび／またはクラスも、各物体に対する優先順位分類を決定するために使用されることができる。

いくつかの実装では、各物体に対する優先順位分類は、自律車両と相互作用するための最小経路または自律車両と相互作用するための最小持続時間に基づくことができる。例えば、自律車両と相互作用するための最小経路は、物体が物体と相互作用するために横断する必要があるであろう、１つ以上の進行路に沿った距離に対応し得る。したがって、例えば、自律車両と反対方向に幹線道路に沿って進行している車両は、自律車両と相互作用するためには、幹線道路から退出し、方向転換し、幹線道路に再進入し、自律車両に追い付く必要があり得る。そのような場合では、車両は、自律車両と相互作用するための長い最小経路および／または相互作用するための最小持続時間を有する可能性が高い。逆に言えば、自律車両に対して垂直進行経路との交差点に接近している車両は、自律車両と相互作用するためのより短い最小経路および／または相互作用するための最小持続時間を有する可能性が高い。そのような場合では、交差点に接近している車両は、反対方向に進行している車両より高い優先順位分類を与えられることができる。

いくつかの実装では、優先順位分類システム１５０は、各物体を高優先順位または低優先順位として分類することができる。例えば、各物体は、各物体が高優先順位または低優先順位物体のいずれかである、バイナリ分類に従って、分類されることができる。例えば、閾値未満である、自律車両と相互作用するための最小経路および／または相互作用するための最小持続時間を有する物体は、高優先順位物体として分類されることができる。同様に、閾値を超える、相互作用するための最小経路および／または相互作用するための最小持続時間を有する物体は、低優先順位として分類されることができる。いくつかの実装では、特定のタイプの物体（例えば、歩行者）は、常時、高優先順位として分類された物体であることができる。いくつかの実装では、自律車両または自律車両に関する運動計画の決定と相互作用する可能性が低いと決定された物体は、低優先順位として分類された物体であることができる。

いくつかの実装では、優先順位分類システム１５０は、各物体を自律車両によって知覚された他の物体に対して分類することができる。例えば、いくつかの実装では、各物体は、自律車両によって知覚された相互の物体に関連して相対的優先順位を割り当てられることができる。例えば、各物体は、物体の個別の優先順位に基づいて、相対的優先順位ランク付けを割り当てられることができる。例えば、自律車両が、自律車両の周囲環境内でＹ個の物体を知覚する場合、各物体は、１〜Ｙのスケールで相対的ランク付けを割り当てられることができる。このように、各物体は、自律車両によって知覚された相互の物体に対して優先順位分類を割り当てられることができる。

いくつかの実装では、優先順位分類システム１５０は、自律車両の速度に基づいて、各物体を分類することができる。いくつかの実装では、高優先順位物体対低優先順位物体の比は、車両の速度に基づいて、決定されることができる。例えば、より高速では、そのような物体に応答して運動計画を決定するための待ち時間を短縮および／または最小限にするため、予測システム１０４が現在のタイムフレーム内の将来予測される状態を決定しなければならない、高優先順位物体の数を低減および／または最小限にするために、高優先順位物体の数を限定することが好ましくあり得る。そのような場合では、より低い速度におけるよりも少ない物体が、高優先順位物体として分類され得る。

いくつかの実装では、高優先順位物体対低優先順位物体の比は、１つ以上の閾値速度に基づいて、決定されることができる。例えば、１〜Ｘの第１の速度範囲に関して、１個の高優先順位物体対Ｙ個の低優先順位物体の比が、使用されることができる一方、Ｘ〜２Ｘの第２の速度範囲に関して、１個の高優先順位物体対２Ｙ個の低優先順位物体の比が、使用されることができる。他の実装では、他の所定の比が、使用されることができる。いくつかの実装では、各物体は、高優先順位物体対低優先順位物体の比が、概して、所定の比に準拠する（すなわち、高優先順位対低優先順位の物体の比が、所定の比の閾値分散内にある）ように、高優先順位または低優先順位のいずれかとして分類されることができる。

いくつかの実装では、機械学習式モデルが、各物体に対する個別の状態データに基づいて、各物体に対する優先順位分類を決定するために使用されることができる。例えば、いくつかの実装では、機械学習式モデルは、各物体を高優先順位または低優先順位のいずれかとして分類し、各物体に対する優先順位分類を予測システム１０４に提供するように構成されることができる。いくつかの実装では、各物体に対する個別の状態データは、機械学習式モデルの中に入力されることができ、物体に関する個別の優先順位分類を示すデータは、機械学習式モデルの出力として、受信されることができる。

いくつかの実装では、機械学習式モデルは、少なくとも部分的に、前の自律車両運転セッションの間に事前に収集された注釈が付けられた車両データログを備える、訓練データに基づいて、訓練されることができる。例えば、車両データログは、１つ以上の自律車両運転セッションの間、記録されることができ、これは、自律車両によって知覚された物体に関する状態データを含むことができる。いくつかの実装では、車両データログは、機械学習式モデルを訓練することに役立てるために、人間の精査者によって、注釈が付けられることができる。例えば、いくつかの実装では、物体は、高優先順位または低優先順位のいずれかとして標識されることができる。機械学習式モデルは、次いで、訓練データに基づいて、物体に関する優先順位分類を決定するように訓練されることができる。

本開示の例示的側面によると、車両コンピューティングシステム１０２は、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、優先順位分類システム１５０は、知覚システム１０３によって知覚された各物体に対する優先順位分類を予測システム１０４に提供するように構成されることができる。予測システム１０４は、次いで、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。

例えば、いくつかの実装では、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序は、少なくとも部分的に、各物体に割り当てられる優先順位分類に基づくことができる。例えば、いくつかの実装では、高優先順位として分類された全ての物体に関する予測される将来的状態は、予測される将来的状態が任意の低優先順位物体に関して決定される前に、決定されることができる。いくつかの実装では、予測される将来的状態は、各物体に対する個別の優先順位ランク付けに従って、各物体に対して決定されることができる。例えば、Ｙ個の物体に関して、各物体は、１〜Ｙの相対的優先順位ランク付けを割り当てられることができ、各物体に対する予測される将来的状態は、各物体に対する相対的優先順位ランク付け（すなわち、１から開始して、Ｙで終了する）に基づいて、決定されることができる。

図５に関してより詳細に議論されるであろうように、いくつかの実装では、将来的場所予測システムは、少なくとも部分的に、各物体に対する優先順位分類に基づいて、選択されることができる。例えば、いくつかの実装では、低忠実性予測システムは、低優先順位物体に関する予測される将来的状態を決定するために使用されることができ、高忠実性予測システムは、高優先順位物体に関する予測される将来的状態を決定するために使用されることができる。

知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、所望の機能性を提供するために利用される、コンピュータ論理を含むことができる。いくつかの実装では、知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、汎用プロセッサを制御する、ハードウェア、ファームウェア、および／またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、記憶デバイス上に記憶され、メモリの中にロードされ、１つ以上のプロセッサによって実行される、プログラムファイルを含む。他の実装では、知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、ＲＡＭハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の１つ以上のセットを含む。

ここで図２を参照すると、本開示の例示的側面による、例示的知覚システム１０３を描写する、ブロック図が、示される。図１に示されるものと同一または類似する、要素は、同一参照番号を用いて参照される。

示されるように、いくつかの実装では、優先順位分類システム１５０は、知覚システム１０３のサブ部分として実装されることができる。例えば、知覚システム１０３は、１つ以上のセンサ１０１（図１に示されるように）からのセンサデータと、マップデータ１２６とを受信することができる。知覚システム１０３は、自律車両１０によって知覚された各物体に対する状態データを生成し、優先順位分類システム１５０を使用して、各物体に対する優先順位分類を実施し、各物体に対する状態データおよび個別の優先順位分類を予測システム１０４に提供することができる。

ここで図３を参照すると、本開示の例示的側面による、例示的予測システム１０４を描写する、ブロック図が、示される。図１および２に示されるものと同一または類似する、要素は、同一参照番号を用いて参照される。

示されるように、いくつかの実装では、優先順位分類システム１５０は、予測システム１０４のサブ部分として実装されることができる。例えば、知覚システム１０３は、１つ以上のセンサ１０１（図１に示されるように）からのセンサデータと、マップデータ１２６とを受信することができる。知覚システム１０３は、次いで、１つ以上の物体を示す状態データを予測システム１０４に提供することができる。予測システム１０４は、次いで、優先順位分類システム１５０を使用して、各物体に対する優先順位分類を決定し、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。予測システム１０４は、次いで、各物体に対する予測される将来的状態を運動計画システム１０５に提供する。

したがって、図１−３に示されるように、優先順位分類システム１５０は、独立型優先順位分類システム１５０として、または知覚システム１０３または予測システム１０４のいずれかのサブシステムとして実装されることができる。

ここで図４を参照すると、本開示の例示的側面による、例示的物体予測プロセスの略図が、示される。図４において表されるように、いくつかの実装では、車両コンピューティングシステムは、複数の連続タイムフレーム内で取得されるデータを使用して、運動計画を反復的に決定することができる。例えば、図１−３に図示される知覚、予測、および運動計画システムはそれぞれ、並行して、分析を複数の連続タイムフレームからのデータ上で実施することができる。実施例として、タイムフレームＮに関して、知覚システムは、タイムフレームＮに対してセンサデータを受信することができ、知覚システムは、並行して、タイムフレームＮ−１に対して知覚システムによって知覚された１つ以上の物体に関する状態データを生成し、予測システムに提供することができ、予測システムは、並行して、タイムフレームＮ−２に対して知覚システムによって知覚された各物体に対する予測される将来的状態を決定することができ、運動計画システムは、並行して、タイムフレームＮ−３に対して予測される将来的状態を使用して、自律車両に関する運動計画を決定することができる。後続タイムフレームＮ＋１では、知覚、予測、および運動計画システムはそれぞれ、上流システムから受信されたデータの個別の分析を受信および実施し、運動計画システムがタイムフレームＮ−２に対して予測される将来的状態を使用して、運動計画を決定する結果をもたらすことができる。このように、自律車両に関する運動計画は、複数の連続タイムフレームのそれぞれからのデータを使用して、反復的に決定されることができる。

例えば、図４に示されるように、ブロック４１０は、フレームＮからのデータに関する知覚システムによる分析を表す。示されるように、フレームＮに対するデータの知覚システムの分析は、複数の物体４１１Ａ−Ｊを含むことができる。物体はそれぞれ、知覚システムによって生成された物体を説明する、関連付けられた状態データを有することができる。例えば、各物体４１１Ａ−Ｊに対し、知覚システムは、位置、速度、加速、進行方向、サイズ、タイプ、ヨーレートを説明する、状態データ、または本明細書に説明されるように物体を説明する、他の状態データを生成することができる。

ブロック４１０からブロック４３０への矢印によって表されるように、フレームＮに対して知覚システムによって生成された物体４１１Ａ−Ｊを説明する、状態データは、いったん知覚システムがその分析を完了すると、予測システムに提供されることができる。

しかしながら、本開示の例示的側面によると、予測システムはまた、各物体に対する優先順位分類を受信することができる。例えば、いくつかの実装では、各物体は、高優先順位（「ＨＰ」）または低優先順位（「ＬＰ」）のいずれかとして分類されることができる。本明細書に説明されるように、各物体に対する優先順位分類は、各物体に対する個別の状態データに基づいて、決定されることができる。さらに、いくつかの実装では、優先順位分類は、機械学習式モデルによって決定されることができる。

したがって、ブロック４３０によって表されるように、予測システムは、各物体に対する個別の優先順位分類および各物体を説明する個別の状態データを知覚システムから受信することができる。知覚システムは、次いで、少なくとも部分的に、各物体に対する個別の優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、いくつかの実装では、予測システムは、最初に、高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。例えば、図４に示されるように、予測システムは、最初に、ＨＰ物体４３１Ａ−Ｄに関する予測される将来的状態を決定することができる。換言すると、予測システムは、少なくとも部分的に、直近のタイムフレーム（フレームＮ）に対して取得された状態データに基づいて、高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。

本開示の付加的な例示的側面によると、いったん予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を決定すると、予測システムは、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供することができる。例えば、破線ブロック４４０からブロック４５０への矢印によって示されるように、いったん予測システムが、各高優先順位物体ＨＰ ４３１Ａ−Ｄに対して予測される将来的状態を決定すると、予測システムは、物体に関する予測される将来的状態ＨＰ ４３１Ａ−Ｄを運動計画システムに提供することができる。このように、運動計画システムは、繰上方式（例えば、「スケジュールの先頭」）で運動計画の決定を開始することができる。

本開示の付加的な例示的側面によると、いったん予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を決定すると、予測システムは、低優先順位と識別された各物体に対する予測される将来的状態を決定することができる。例えば、予測システムが、高優先順位物体ＨＰ ４３１Ａ−Ｄを運動計画システムに提供した後、予測システムは、各低優先順位物体ＬＰ ４３１Ｅ−Ｊに対して予測される将来的状態を決定することができる。このように、特定のフレーム（例えば、フレームＮ）内で知覚された各物体は、予測システムによって決定された予測される将来的状態を有することができる。

いくつかの実装では、予測システムはさらに、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態と並行して、前の順次タイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供するように構成されることができる。換言すると、いくつかの実装では、低優先順位物体に関する予測される将来的状態は、前の順次タイムフレームに対して取得された状態データに基づいて、物体に関する予測される将来的状態を選択する、取得する、または別様に決定することによって決定されることができる。

例えば、ブロック４２０によって示されるように、予測システムは、高優先順位物体ＨＰ ４２１Ａ−Ｄおよび低優先順位物体ＬＰ ４２１Ｅ−Ｊを含む、物体４２１Ａ−Ｊに関する予測される将来的状態を事前に決定している可能性がある。例えば、知覚システムは、ブロック４１０において、タイムフレームＮに対する物体４１１Ａ−Ｊに関する状態データを生成しているため、予測システムは、並行して、ブロック４２０において、タイムフレームＮ−１に対する高優先順位物体ＨＰ ４２１Ａ−Ｄおよび低優先順位物体ＬＰ ４２１Ｅ−Ｊに関する予測される将来的状態を決定し得る。さらに、実施例として、各高優先順位物体ＨＰ ４２１Ａ−Ｄは、それぞれ、タイムフレームＮ−１に対する各高優先順位物体ＨＰ ４３１Ａ−Ｄに対応し得る一方、各低優先順位物体ＬＰ ４２１Ｅ−Ｊは、それぞれ、タイムフレームＮ−１に対する各低優先順位物体ＬＰ ４３１Ｅ−Ｊに対応し得る。

したがって、ブロック４４０からブロック４５０への矢印によって表されるように、予測システムが、高優先順位物体ＨＰ ４３１Ａ−Ｄに関する予測される将来的状態を運動計画システムに提供すると、予測システムは、並行して、前の順次タイムフレーム（すなわち、ＬＰ ４２１Ｅ−Ｊ）に対する各低優先順位物体（すなわち、ＬＰ ４３１Ｅ−Ｊ）に対する事前に決定された予測される将来的状態を提供するように構成されることができる。このように、予測される将来的状態を備える、現在のタイムフレームに対する全ての高優先順位物体（ＨＰ ４３１Ａ−Ｄ）に関する予測される将来的状態と、前の順次タイムフレームに対する全ての低優先順位物体（ＬＰ ４２１Ｅ−Ｊ）に関する事前に決定された予測される将来的状態の完全セットが、並行して、予測システムが、高優先順位（ＨＰ ４３１Ａ−Ｄ）として分類された各物体に対する予測される将来的状態を決定するとすぐに、運動計画システムに提供されることができる。

図４に描写される物体予測プロセスによって提供される利点は、自律車両に関する運動計画を決定するために要求される時間が、短縮され得ることである。例えば、本明細書に説明される順次式車両自律型システム等の車両自律型システムに関して、運動計画システムは、各物体に対する予測される将来的状態をはるかに迅速に受信し、それによって、運動計画がスケジュールの先頭で決定されることを可能にすることができる。さらに、予測システムが各物体に対する予測される将来的状態を決定するための時間の短縮は、高優先順位物体対低優先順位物体の比に対応し得る。例えば、図４に描写されるように、予測システムは、各物体４３１Ａ−Ｄおよび４２１Ｅ−Ｊに対して予測される将来的状態を運動計画システムに提供する前に、タイムフレームＮに対する高優先順位物体ＨＰ ４３１Ａ−Ｄ（すなわち、１０個の物体中４個）に関する予測される将来的状態のみを決定する必要があり、要求される処理時間の約６０％の短縮を可能にするであろう。

さらに、低優先順位物体は、運動計画に及ぼすその無視可能な影響等に基づいて分類され得るため、前の順次タイムフレームからの低優先順位物体に関する予測される将来的状態を使用することは、乗車者および自律車両の安全性における正味増加を可能にすることができる。例えば、自律車両から遠く離れて位置付けられ、自律車両から離れるように進行している物体等の低優先順位物体は、自律車両に関する運動計画に影響を及ぼす可能性が低くあり得る。しかしながら、自律車両に向かって進行している、または自律車両の近傍に位置付けられる物体等の高優先順位物体は、自律車両に関する運動計画に影響を及ぼす可能性がはるかに高くあり得る。そのような高優先順位物体が、短縮された時間量において、センサによって感知され、知覚システムによって知覚され、予測システムによって予測され、運動計画システムによって計画されることを可能にすることによって、自律車両は、より迅速な方式で高優先順位物体に応答し、それによって、衝突等の非安全条件の可能性を低減させることができる。

ここで図５を参照すると、本開示の例示的実施形態による、例示的コンピューティングシステム１００のブロック図が、描写される。図１−３におけるものと同一または類似する、要素は、同一参照番号を用いて参照される。示されるように、例示的コンピューティングシステム１００は、１つ以上の通信ネットワーク１８０を経由して通信可能に結合される、コンピューティングシステム１０２（例えば、自律車両１０上の車両コンピューティングシステム１０２）と、機械学習コンピューティングシステム１３０とを含むことができる。

コンピューティングシステム１０２は、１つ以上のプロセッサ１１２と、メモリ１１４とを含むことができる。１つ以上のプロセッサ１１２は、任意の好適な処理デバイス（例えば、プロセッサコア、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、コントローラ、マイクロコントローラ等）であることができ、動作可能に接続される１つのプロセッサまたは複数のプロセッサであることができる。メモリ１１４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、１つ以上のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせ等の１つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。

メモリ１１４は、１つ以上のプロセッサ１１２によってアクセスされ得る、情報を記憶することができる。例えば、メモリ１１４（例えば、１つ以上の非一過性コンピュータ可読記憶媒体、メモリデバイス）は、取得される、受信される、アクセスされる、書き込まれる、操作される、作成される、および／または記憶され得る、データ１１６を記憶することができる。メモリ１１４はまた、１つ以上のプロセッサ１１２によって実行され得る、コンピュータ可読命令１１８を記憶することができる。命令は、任意の好適なプログラミング言語で書き込まれるソフトウェアであることができる、またはハードウェア内に実装されることができる。加えて、または代替として、命令は、プロセッサ１１２上の論理的および／または仮想的に別個のスレッド内で実行されることができる。例えば、メモリ１１４は、１つ以上のプロセッサ１１２によって実行されると、１つ以上のプロセッサ１１２に、本明細書に説明される動作および／または機能のいずれかを実施させる、命令を記憶することができる。

コンピューティングシステム１０２はまた、コンピューティングシステム１０２から遠隔に位置する、システムまたはデバイスを含む、１つ以上のシステムまたはデバイスと通信するために使用される、ネットワークインターフェース１２８を含むことができる。ネットワークインターフェース１２８は、１つ以上のネットワーク（例えば、１８０）と通信するために、任意の回路、コンポーネント、ソフトウェア等を含むことができる。いくつかの実装では、ネットワークインターフェース１２８は、データを通信するために、例えば、通信コントローラ、受信機、送受信機、送信機、ポート、導体、ソフトウェア、および／またはハードウェアのうちの１つ以上のものを含むことができる。

コンピューティングシステム１０２はまた、本明細書に説明されるように、知覚システム１０３と、予測システム１０４と、運動計画システム１０５と、車両コントローラ１０６と、優先順位分類システム１５０とを含むことができる。知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、所望の機能性を提供するために利用される、コンピュータ論理を含むことができる。いくつかの実装では、知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、汎用プロセッサを制御する、ハードウェア、ファームウェア、および／またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、記憶デバイス上に記憶され、メモリの中にロードされ、１つ以上のプロセッサによって実行される、プログラムファイルを含むことができる。他の実装では、知覚システム１０３、予測システム１０４、運動計画システム１０５、車両コントローラ１０６、および優先順位分類システム１５０はそれぞれ、ＲＡＭハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の１つ以上のセットを含むことができる。

本開示の例示的側面によると、いくつかの実装では、予測システム１０４は、低忠実性予測システム１２２と、高忠実性予測システム１２４とを含むことができる。例えば、いくつかの実装では、高忠実性予測システム１２４は、各物体に対する将来的場所を予測するために、１つ以上の機械学習式モデルを含むかまたは別様に活用することができる。例えば、いくつかの実装では、高忠実性予測システム１２４は、１つ以上の潜在的目標を生成し、最も可能性が高い潜在的目標のうちの１つ以上のものを選択し、それによって物体が１つ以上の選択された目標を達成し得る１つ以上の軌道を展開する目標指向予測システムであることができる。例えば、高忠実性予測システム１２４は、物体に関する１つ以上の目標を生成および／またはスコア化する、シナリオ生成システムと、それによって物体が目標を達成し得る、１つ以上の軌道を決定する、シナリオ開発システムとを含むことができる。いくつかの実装では、高忠実性予測システム１２４は、機械学習された目標スコア化モデル、機械学習された軌道開発モデル、および／または他の機械学習式モデルを含むことができる。

いくつかの実装では、低忠実性予測システム１２２は、１つ以上の状態前方統合モデルを含むことができる。例えば、低忠実性予測システム１２２は、現在の状態を前方統合することによって、物体に関する将来的状態を予測することができる。例えば、低忠実性予測システムは、物体の現在の位置、現在の速度、および現在の進行方向を使用して、将来的時間周期における物体に関する予測される将来的場所を決定することができる。

いくつかの実装では、コンピューティングシステム１０２は、少なくとも部分的に、物体に関する優先順位分類に基づいて、将来的場所予測システムを選択し、選択された将来的場所予測システムを使用して、物体に関する予測される将来的状態を決定することによって、少なくとも部分的に、物体に関する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、いくつかの実装では、低忠実性予測システム１２２は、低優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができ、高忠実性予測システム１２４は、高優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができる。

低忠実性予測システムおよび高忠実性予測システムを使用して、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することによって提供される利点は、コンピューティングリソースが、より効率的に配分されることができることである。例えば、その車両運動計画に無視可能な影響を及ぼす可能性が高いこと等に起因して分類された低優先順位物体は、そのような物体に関する予測される将来的状態を決定するために、高忠実性予測システム１２４等の高度な予測システムを要求し得ない。例えば、自律車両から遠く離れて位置し、および／または自律車両から離れるような方向に進行している、低優先順位物体は、自律車両に関する運動計画に殆ど乃至全く影響を及ぼし得ない。したがって、本明細書に説明されるような目標指向予測システムによって提供される粒度は、単純状態前方統合モデル等の低忠実性予測モデル１２２に優る利点を殆ど乃至全く提供し得ない。故に、最初に、各物体に対する優先順位分類を決定することによって、算出リソースは、各物体に対する予測される将来的状態を決定するために、より効率的に配分されることができる。

本開示の別の例示的側面によると、優先順位分類システム１５０は、１つ以上の機械学習式モデル１２０を記憶する、または含むことができる。例えば、機械学習式モデル１２０は、決定ツリーベースのモデル、サポートベクトルマシン、ｋ−最近傍近傍モデル、ニューラルネットワーク（例えば、深層ニューラルネットワーク）、または他の多層非線形モデル等の種々の機械学習式モデルである、または別様にそれを含むことができる。例示的ニューラルネットワークは、フィードフォワードニューラルネットワーク、再帰ニューラルネットワーク（例えば、長短期メモリ再帰ニューラルネットワーク）、または他の形態のニューラルネットワークを含む。

いくつかの実装では、１つ以上の機械学習式モデル１２０は、機械学習された物体優先順位分類子を含むことができる。例えば、いくつかの実装では、機械学習された物体優先順位分類子は、知覚システム１０３によって知覚された物体を高優先順位または低優先順位のいずれかとして分類するように構成されることができる。いくつかの実装では、機械学習された物体優先順位分類子は、本明細書に説明されるように、個別の物体優先順位に従って、物体をランク付けするように構成されることができる。

いくつかの実装では、コンピューティングシステム１０２は、機械学習式モデル１２０を使用して、各物体に対する優先順位分類を決定することができる。例えば、コンピューティングシステム１０２は、機械学習式モデルを説明する、データを取得し、知覚システム１０３によって知覚された各物体に対する個別の状態データを機械学習式モデル１２０の中に入力し、各物体に対する個別の優先順位分類を示すデータを、機械学習式モデルの出力として受信することができる。いくつかの実装では、機械学習式モデル１２０および／または優先順位分類システム１５０は、各物体に対する個別の優先順位分類を予測システム１０４に提供するように構成されることができる。

いくつかの実装では、車両コンピューティングシステム１０２は、ネットワーク１８０を経由して、１つ以上の機械学習式モデル１２０を機械学習コンピューティングシステム１３０から受信することができ、１つ以上の機械学習式モデル１２０をメモリ１１４内に記憶することができる。車両コンピューティングシステム１０２は、次いで、１つ以上の機械学習式モデル１２０を使用する、または別様に実装することができる（例えば、プロセッサ１１２によって）。

いくつかの実装では、本明細書に説明されるある動作は、コンピューティングシステム１０２から遠隔に位置し、１つ以上の無線ネットワーク１８０（例えば、セルラーデータネットワーク、衛星通信ネットワーク、広域ネットワーク等）を経由して、コンピューティングシステム１０２と通信する、機械学習コンピューティングシステム１３０によって実施されることができる。実施例として、機械学習コンピューティングシステム１３０は、１つ以上のサーバコンピューティングデバイスを含むことができる。複数のサーバコンピューティングデバイスが、使用される場合、サーバコンピューティングデバイスは、パラレルコンピューティングアーキテクチャ、シーケンシャルコンピューティングアーキテクチャ、またはそれらの組み合わせに従って、配列されることができる。

機械学習コンピューティングシステム１３０は、１つ以上のプロセッサ１３２と、メモリ１３４とを含むことができる。１つ以上のプロセッサ１３２は、任意の好適な処理デバイス（例えば、プロセッサコア、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、コントローラ、マイクロコントローラ等）であることができ、動作可能に接続される、１つのプロセッサまたは複数のプロセッサであることができる。メモリ１３４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、１つ以上のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせ等の１つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。

メモリ１３４は、１つ以上のプロセッサ１３２によってアクセスされ得る、情報を記憶することができる。例えば、メモリ１３４（例えば、１つ以上の非一過性コンピュータ可読記憶媒体、メモリデバイス）は、取得される、受信される、アクセスされる、書き込まれる、操作される、作成される、および／または記憶され得る、データ１３６を記憶することができる。いくつかの実装では、機械学習コンピューティングシステム１３０は、データを、システム１３０から遠隔の１つ以上のメモリデバイスから取得することができる。

メモリ１３４はまた、１つ以上のプロセッサ１３２によって実行され得る、コンピュータ可読命令１３８を記憶することができる。命令１３８は、任意の好適なプログラミング言語で書き込まれるソフトウェアであることができる、またはハードウェア内に実装されることができる。加えて、または代替として、命令１３８は、プロセッサ１３２上の論理的および／または仮想的に別個のスレッド内で実行されることができる。例えば、メモリ１３４は、１つ以上のプロセッサ１３２によって実行されると、１つ以上のプロセッサ１３２に、本明細書に説明される動作および／または機能のいずれかを実施させる、命令１３８を記憶することができる。

機械学習コンピューティングシステム１３０はまた、機械学習コンピューティングシステム１３０から遠隔に位置する、システムまたはデバイスを含む、１つ以上のシステムまたはデバイスと通信するために使用される、ネットワークインターフェース１６４を含むことができる。ネットワークインターフェース１６４は、１つ以上のネットワーク（例えば、１８０）と通信するために、任意の回路、コンポーネント、ソフトウェア等を含むことができる。いくつかの実装では、ネットワークインターフェース１６４は、データを通信するために、例えば、通信コントローラ、受信機、送受信機、送信機、ポート、導体、ソフトウェア、および／またはハードウェアのうちの１つ以上のものを含むことができる。

いくつかの実装では、機械学習コンピューティングシステム１３０は、１つ以上のサーバコンピューティングデバイスを含む。機械学習コンピューティングシステム１３０が、複数のサーバコンピューティングデバイスを含む場合、そのようなサーバコンピューティングデバイスは、例えば、シーケンシャルコンピューティングアーキテクチャ、パラレルコンピューティングアーキテクチャ、またはそれらのある組み合わせを含む、種々のコンピューティングアーキテクチャに従って、動作することができる。

コンピューティングシステム１０２におけるモデル１１０に加えて、またはその代替として、機械学習コンピューティングシステム１３０は、１つ以上の機械学習式モデル１４０を含むことができる。例えば、機械学習されたモデル１４０は、決定ツリーベースのモデル、サポートベクトルマシン、ｋ−最近傍近傍モデル、ニューラルネットワーク（例えば、深層ニューラルネットワーク）、または他の多層非線形モデル等の種々の機械学習式モデルであることができる、または別様にそれを含むことができる。例示的ニューラルネットワークは、フィードフォワードニューラルネットワーク、再帰ニューラルネットワーク（例えば、長短期メモリ再帰ニューラルネットワーク）、または他の形態のニューラルネットワークを含む。

実施例として、機械学習コンピューティングシステム１３０は、クライアント−サーバ関係に従って、コンピューティングシステム１０２と通信することができる。例えば、機械学習コンピューティングシステム１４０は、機械学習式モデル１４０を実装し、ウェブサービスをコンピューティングシステム１０２に提供することができる。例えば、ウェブサービスは、物体優先順位分類をコンピューティングシステム１０２に提供することができる。

したがって、機械学習式モデル１１０は、コンピューティングシステム１０２に位置し、そこで使用されることができ、および／または機械学習式モデル１４０は、機械学習コンピューティングシステム１３０に位置し、そこで使用されることができる。

いくつかの実装では、機械学習コンピューティングシステム１３０および／またはコンピューティングシステム１０２は、モデル訓練器１６０の使用を通して、機械学習式モデル１１０および／または１４０を訓練することができる。モデル訓練器１６０は、１つ以上の訓練または学習アルゴリズムを使用して、機械学習式モデル１１０および／または１４０を訓練することができる。一例示的訓練技法は、誤差の逆伝搬である。いくつかの実装では、モデル訓練器１６０は、標識された訓練データ１６２のセットを使用して、教師あり訓練技法を実施することができる。他の実装では、モデル訓練器１６０は、標識されていない訓練データ１６２のセットを使用して、教師なし訓練技法を実施することができる。モデル訓練器１６０は、いくつかの一般化技法を実施し、訓練されているモデルの一般化能力を改良することができる。一般化技法は、重み減衰、ドロップアウト、または他の技法を含む。

特に、モデル訓練器１６０は、訓練データ１６２のセットに基づいて、機械学習式モデル１１０および／または１４０を訓練することができる。訓練データ１６２は、例えば、事前に完了された自律車両運転セッションからの車両データログを含むことができる。車両データログは、例えば、自律車両の１つ以上のセンサによって取得されるセンサデータ、自律車両の知覚システム１０３によって知覚された１つ以上の物体を説明する状態データ、予測システム１０４によって決定された、自律車両によって知覚された物体に関する予測される将来的状態、運動計画システム１０５によって決定された前の運動計画、または本明細書に説明されるような他の車両データを含むことができる。いくつかの実装では、モデル訓練器１６０は、自律車両によって知覚された物体が自律車両の運動計画に影響を及ぼしたかどうかを決定することによって、機械学習式モデル１１０および／または１４０を訓練するように構成されることができる。

本開示の別の側面によると、訓練データ１６２は、機械学習式モデル１１０および／または１４０を訓練するために使用され得る、人間の精査者によって記録される物体優先順位分類ラベルを含む車両データログを含むことができる。特に、人間の精査者は、車両データログを精査し、知覚システム１０３によって知覚された物体に関する物体優先順位分類を標識することができる。

モデル訓練器１６０は、所望の機能性を提供するために利用される、コンピュータ論理を含み、汎用プロセッサを制御する、ハードウェア、ファームウェア、および／またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、モデル訓練器１６０は、記憶デバイス上に記憶され、メモリの中にロードされ、１つ以上のプロセッサによって実行される、プログラムファイルを含む。他の実装では、モデル訓練器１６０は、ＲＡＭハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の１つ以上のセットを含む。

ネットワーク１８０は、デバイス間の通信を可能にする、任意のタイプのネットワークまたはネットワークの組み合わせであることができる。いくつかの実施形態では、ネットワーク１８０は、ローカルエリアネットワーク、広域ネットワーク、インターネット、セキュアネットワーク、セルラーネットワーク、メッシュネットワーク、ピアツーピア通信リンク、および／またはそれらのある組み合わせのうちの１つ以上のものを含むことができ、任意の数の有線または無線リンクを含むことができる。ネットワーク１８０を経由した通信は、例えば、ネットワークインターフェースを介して、任意のタイプのプロトコル、保護スキーム、エンコーディング、フォーマット、パッケージング等を使用して、遂行されることができる。

図５は、本開示を実装するために使用され得る、一例示的コンピューティングシステム１００を図示する。他のコンピューティングシステムも同様に、使用されることができる。例えば、いくつかの実装では、コンピューティングシステム１０２は、モデル訓練器１６０と、訓練データセット１６２とを含むことができる。そのような実装では、機械学習式モデル１１０は、コンピューティングシステム１０２において、ローカルで訓練および使用の両方を行われることができる。別の実施例として、いくつかの実装では、コンピューティングシステム１０２は、他のコンピューティングシステムに接続されない。

加えて、コンピューティングシステム１０２または１３０のうちの１つ内に含まれるように図示および／または議論される、コンポーネントは、代わりに、コンピューティングシステム１０２または１３０の別のもの内に含まれることができる。そのような構成は、本開示の範囲から逸脱することなく、実装されることができる。コンピュータベースのシステムの使用は、コンポーネント間およびその中でのタスクおよび機能性の多種多様な可能性として考えられる構成、組み合わせ、および分割を可能にする。コンピュータ実装動作は、単一コンポーネント上で、または複数のコンポーネントを横断して、実施されることができる。タスクおよび／または動作を実装するコンピュータは、順次または並行して、実施されることができる。データおよび命令は、単一メモリデバイス内に記憶されることができるか、または、複数のメモリデバイスを横断して記憶されることができる。

ここで図６を参照すると、本開示の例示的側面による、少なくとも部分的に、物体に関する優先順位分類に基づいて、自律車両によって知覚された物体に関する予測される将来的状態を決定するための例示的方法（６００）が、描写される。図６は、例証および議論目的のために、特定の順序において実施されるステップを描写するが、本開示の方法は、特に図示される順序または配列に限定されない。方法（６００）の種々のステップは、本開示の範囲から逸脱することなく、種々の方法において、省略される、再配列される、組み合わせられる、および／または適合されることができる。方法（６００）は、１つ以上のコンピューティングデバイスを備えるコンピューティングシステム等のコンピューティングシステムによって実装されることができる。

（６０２）では、方法（６００）は、コンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得するステップを含むことができる。例えば、状態データは、位置、速度、加速、進行方向、ヨーレート、形状、サイズ、タイプ、自律車両からの距離、自律車両と相互作用するための最小経路、自律車両と相互作用するための最小持続時間、本明細書に説明される任意の他の状態データ、または自律車両によって知覚された物体を説明する任意の状態データ等の物体の１つ以上の特徴を説明するデータを含むことができる。いくつかの実装では、状態データは、自律車両の１つ以上のセンサから取得されるセンサデータに基づいて、状態データを生成するように構成される、自律車両の知覚システムから取得されることができる。

（６０４）では、方法（６００）は、コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の物体内の各物体に対する優先順位分類を決定するステップを含むことができる。例えば、いくつかの実装では、各物体に対する優先順位の分類は、優先順位分類システムによって決定されることができる。いくつかの実装では、優先順位分類は、各物体に対する高優先順位または低優先順位分類のいずれかであることができる。いくつかの実装では、優先順位分類は、自律車両によって知覚された相互の物体に対する各物体に対する個別の優先順位ランク付けであることができる。

いくつかの実装では、各物体に対する優先順位分類は、機械学習式モデルによって決定されることができる。例えば、（６０６）では、本方法は、機械学習式モデルを説明するデータを取得するステップを含むことができる。いくつかの実装では、機械学習式モデルを説明するデータは、コンピューティングシステムのメモリ（例えば、非一過性コンピュータ可読媒体）から取得されることができる。いくつかの実装では、機械学習式モデルは、各物体に対する個別の状態データに基づいて、各物体を高優先順位または低優先順位のいずれかとして分類するように構成される、機械学習された物体優先順位分類子であることができる。

（６０８）では、方法（６００）は、物体に関する個別の状態データを機械学習式モデルの中に入力するステップを含むことができる。例えば、知覚システムによって生成された状態データは、優先順位分類システムの機械学習式モデルによって受信されることができる。各物体に対する個別の状態データは、各個別の物体に対する優先順位分類を決定するために、機械学習式モデルの中に入力されることができる。

（６１０）では、方法（６００）は、個別の優先順位分類を示すデータを、機械学習式モデルの出力として受信するステップを含むことができる。例えば、いくつかの実装では、機械学習式モデルは、各物体を高優先順位または低優先順位のいずれかとして分類するように構成される、機械学習された物体優先順位分類子であることができ、機械学習式モデルは、各物体に対する個別の状態データに基づいて、個別の高優先順位または低優先順位分類を出力することができる。

（６１２）では、方法（６００）は、コンピューティングシステムによって、少なくとも部分的に、各物体に対する優先順位分類に基づいて、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップを含むことができる。例えば、いくつかの実装では、各物体は、高優先順位または低優先順位のいずれかとして分類されることができ、各高優先順位物体が、予測される将来的状態が任意の低優先順位物体に関して決定される前に、予測される将来的状態を決定されるように、順序が、決定されることができる。いくつかの実装では、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップは、各物体に割り当てられる優先順位ランク付けに基づくことができる。例えば、最高ランク付け物体は、予測される将来的状態を最初に決定されることができ、各連続してランク付けされた物体は、各物体に対する個別の優先順位ランク付けに従って連続的に決定される。

（６１４）では、方法（６００）は、コンピューティングシステムによって、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップを含むことができる。例えば、いくつかの実装では、予測システムは、低優先順位として分類された各物体に対する予測される将来的状態を決定する前に、高優先順位として分類された各物体に対する予測される将来的状態を決定するように、順序を決定することができる。いくつかの実装では、予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を決定するとすぐに、予測システムは、各高優先順位の物体に対する予測される将来的状態を運動計画システムに提供するように構成されることができる。いくつかの実装では、高優先順位として分類された各物体に対する予測される将来的状態を決定するステップは、少なくとも部分的に、直近のタイムフレームに対して取得された状態データに基づいて、各高優先順位の物体に対する将来的状態を決定するステップを含むことができる。いくつかの実装では、低優先順位として分類された各物体に対する予測される将来的状態を決定するステップは、前の順次タイムフレームに対して取得された状態データに基づいて決定された、物体に関する予測される将来的状態を決定するステップを含むことができる。例えば、いくつかの実装では、予測システムは、予測システムが、現在のタイムフレームに対する各高優先順位の物体に対する将来予測される状態を運動計画システムに提供するのと同時に、前の順次タイムフレームに対する各低優先順位の物体に対する事前に決定された将来予測される状態を運動計画システムに提供することができる。

いくつかの実装では、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップは、少なくとも部分的に、物体に関する優先順位分類に基づいて、将来的場所予測システムを選択するステップと、選択された将来的場所予測システムを使用して、物体に関する予測される将来的状態を決定するステップとを含むことができる。例えば、いくつかの実装では、予測システムは、低忠実性予測システムと、高忠実性予測システムとを含むことができる。いくつかの実装では、低忠実性保護システムは、各低優先順位の物体に対する予測される将来的状態を決定するために使用されることができ、高忠実性予測システムは、各高優先順位の物体に対する予測される将来的状態を決定するために使用されることができる。

（６１６）では、方法（６００）は、少なくとも部分的に、物体のうちの少なくとも１つに関する予測される将来的状態に基づいて、自律車両に関する運動計画を決定するステップを含むことができる。例えば、運動計画システムは、自律車両によって知覚された１つ以上の物体に関する１つ以上の予測される将来的状態を受信することができ、少なくとも部分的に、１つ以上の物体に関する予測される将来的状態に基づいて、自律車両に関する運動計画を決定することができる。

このように、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に関する優先順位分類を決定し、各物体に対する個別の優先順位分類に基づいて、各物体に対する予測される将来的状態を決定し、少なくとも部分的に、予測される将来的状態に基づいて、自律車両に関する運動計画を決定することを可能にすることができる。

本明細書で議論される技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、および行われるアクションおよびそのようなシステムへおよびそこから送信される情報を参照する。コンピュータベースのシステムの固有のフレキシビリティは、コンポーネント間およびその中のタスクおよび機能性の多様な可能性として考えられる構成、組み合わせ、および分割を可能にする。例えば、本明細書で議論されるプロセスは、単一デバイスまたはコンポーネントまたは組み合わせて作用する複数のデバイスまたはコンポーネントを使用して、実装されることができる。データベースおよびアプリケーションは、単一システム上に実装される、または複数のシステムを横断して分散されることができる。分散型コンポーネントは、順次または並行して動作することができる。

本主題は、その種々の具体的例示的実施形態に対して詳細に説明されたが、各実施例は、本開示の限定ではなく、説明として提供される。当業者は、前述の理解の試みに応じて、そのような実施形態の改変、変形例、および均等物を容易に生産することができる。故に、本開示は、当業者に容易に明白となるであろうような本主題のそのような修正、変形例、および／または追加の含有を除外しない。例えば、一実施形態の一部として図示または説明される特徴は、別の実施形態と併用され、依然として、さらなる実施形態をもたらすことができる。したがって、本開示は、そのような改変、変形例、および均等物を網羅することが意図される。

Claims (20)

1. コンピュータ実装方法であって、
   １つ以上のプロセッサを備えるコンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得することと、
   前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体に対する優先順位分類を決定することと、
   前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する前記優先順位分類に基づいて、前記コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定することと、
   前記コンピューティングシステムによって、少なくとも部分的に、前記決定された順序に基づいて、各物体に対する前記予測される将来的状態を決定することと
   を含む、方法。
2. 前記コンピューティングシステムによって、少なくとも部分的に、前記物体のうちの少なくとも１つに関する前記予測される将来的状態に基づいて、前記自律車両に関する運動計画を決定することをさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、各物体を高優先順位または低優先順位のいずれかとして分類することを含む、請求項１または２に記載のコンピュータ実装方法。
4. 前記コンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得することは、前記コンピューティングシステムによって、複数の連続タイムフレームに対して、前記自律車両によって知覚された前記複数の物体の現在の状態を説明する状態データを取得することを含む、前記請求項のいずれかに記載のコンピュータ実装方法。
5. 前記コンピューティングシステムによって、高優先順位として分類された物体に関する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、少なくとも部分的に、直近のタイムフレームに対して取得された状態データに基づいて、前記物体に関する前記予測される将来的状態を決定することを含む、請求項４に記載のコンピュータ実装方法。
6. 前記コンピューティングシステムによって、低優先順位として分類された物体に関する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、前の順次タイムフレームに対して取得された状態データに基づいて決定された前記物体に関する予測される将来的状態を決定することを含む、請求項４または５に記載のコンピュータ実装方法。
7. 前記コンピューティングシステムによって、少なくとも部分的に、物体に関する前記優先順位分類に基づいて、物体に関する予測される将来的状態を決定することは、
   前記コンピューティングシステムによって、少なくとも部分的に、前記物体に関する前記優先順位分類に基づいて、将来的場所予測システムを選択することと、
   前記コンピューティングシステムによって、前記選択された将来的場所予測システムを使用して、前記物体に関する前記予測される将来的状態を決定することと
   を含む、前記請求項のいずれかに記載のコンピュータ実装方法。
8. 前記将来的場所予測システムは、低忠実性予測システムまたは高忠実性予測システムのいずれかを備え、
   各物体に対する前記優先順位分類は、高優先順位または低優先順位分類のいずれかを備え、
   前記コンピューティングシステムによって、各低優先順位の物体に対する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、前記低忠実性予測システムを使用して、前記物体に関する前記予測される将来的状態を決定することを含み、
   前記コンピューティングシステムによって、各高優先順位の物体に対する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、前記高忠実性予測システムを使用して、前記物体に関する前記予測される将来的状態を決定することを含む、請求項７に記載のコンピュータ実装方法。
9. 前記コンピューティングシステムによって、各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、少なくとも部分的に、前記自律車両の速度に基づいて、高優先順位として分類されるべき前記物体の第１の数と低優先順位として分類されるべき前記物体の第２の数との間の比を決定することを含む、前記請求項のいずれかに記載のコンピュータ実装方法。
10. 前記コンピューティングシステムによって、各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、少なくとも部分的に、前記物体の１つ以上の特徴に基づいて、各物体に対する前記優先順位分類を決定することを含み、
    各物体に対する前記１つ以上の特徴は、位置、速度、加速、進行方向、ヨーレート、形状、サイズ、タイプ、前記自律車両からの距離、前記自律車両と相互作用するための最小経路、または前記自律車両と相互作用するための最小持続時間のうちの１つ以上のものを備える、前記請求項のいずれかに記載のコンピュータ実装方法。
11. 前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、機械学習式モデルを使用して、各物体に対する前記優先順位分類を決定することを含む、前記請求項のいずれかに記載のコンピュータ実装方法。
12. 前記機械学習式モデルは、少なくとも部分的に、前の自律車両運転セッションの間に事前に収集された注釈が付けられた車両データログを備える訓練データに基づいて、訓練されている、請求項１１に記載のコンピュータ実装方法。
13. 前記コンピューティングシステムによって、前記機械学習式モデルを使用して、各物体に対する前記優先順位分類を決定することは、
    前記コンピューティングシステムによって、前記機械学習式モデルを説明するデータを取得することと、
    前記コンピューティングシステムによって、各物体に対する個別の状態データを前記機械学習式モデルの中に入力することと、
    前記コンピューティングシステムによって、各物体に対する個別の優先順位分類を示すデータを前記機械学習式モデルの出力として受信することと
    を含む、請求項１１または１２に記載のコンピュータ実装方法。
14. 前記コンピューティングシステムは、前記自律車両にオンボード搭載される、前記請求項のいずれかに記載のコンピュータ実装方法。
15. コンピューティングシステムであって、
    １つ以上のプロセッサを備える知覚システムであって、前記知覚システムは、複数の連続タイムフレームの各々に対し、自律車両によって知覚された複数の物体の各々の少なくとも現在の状態を説明する状態データを生成するように構成される、知覚システムと、
    １つ以上のプロセッサを備える優先順位分類システムであって、前記優先順位分類システムは、前記複数の連続タイムフレームの各々に対し、少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体を高優先順位または低優先順位のいずれかとして分類するように構成される、優先順位分類システムと、
    １つ以上のプロセッサを備える予測システムであって、前記予測システムは、前記複数の連続タイムフレームの各々に対し、
    各個別の物体に対する前記優先順位分類を受信することと、
    現在のタイムフレームに対して、高優先順位として分類された各物体に対する予測される将来的状態を決定することと、
    前記現在のタイムフレームに対して高優先順位として分類された各物体に対する前記予測される将来的状態を前記１つ以上のプロセッサによって実装される運動計画システムに提供することと
    を行うように構成される、予測システムと
    を備える、コンピューティングシステム。
16. 高優先順位として分類された各物体に対する前記予測される将来的状態を前記運動計画システムに提供することに続いて、前記予測システムはさらに、
    前記現在のタイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を決定する
    ように構成される、請求項１５に記載のコンピューティングシステム。
17. 前記予測システムはさらに、
    前記運動計画システムに、前の順次タイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を提供する
    ように構成され、
    前記前の順次タイムフレームに対して低優先順位として分類された各物体に対する前記予測される将来的状態は、前記現在のタイムフレームに対して高優先順位として分類された各物体に対する前記予測される将来的状態と並行して、前記運動計画システムに提供される、請求項１５または１６に記載のコンピューティングシステム。
18. 前記優先順位分類システムは、各個別の物体を高優先順位または低優先順位のいずれかとして分類するように構成される機械学習された物体優先順位分類子を備える、請求項１５、１６、または１７のいずれか１項に記載のコンピューティングシステム。
19. 前記予測システムはさらに、低優先順位として分類された物体に関する低忠実性予測を実施するように構成され、
    前記予測システムはさらに、高優先順位として分類された物体に関する高忠実性予測を実施するように構成される、請求項１５、１６、１７、または１８のいずれか１項に記載のコンピューティングシステム。
20. 自律車両であって、
    １つ以上のプロセッサと、
    １つ以上の非一過性コンピュータ可読媒体であって、前記１つ以上の非一過性コンピュータ可読媒体は、命令を集合的に記憶しており、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、動作を実施させ、前記動作は、
    前記自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得することと、
    少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体に対する優先順位分類を決定することと、
    少なくとも部分的に、各物体に対する前記優先順位分類に基づいて、前記コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定することと、
    少なくとも部分的に、前記決定された順序に基づいて、各物体に対する前記予測される将来的状態を決定することと
    を含む、１つ以上の非一過性コンピュータ可読媒体と
    を備える、自律車両。