JP2021504812A - 自律車両のための物体相互作用予測システムおよび方法 - Google Patents

自律車両のための物体相互作用予測システムおよび方法 Download PDF

Info

Publication number
JP2021504812A
JP2021504812A JP2020528314A JP2020528314A JP2021504812A JP 2021504812 A JP2021504812 A JP 2021504812A JP 2020528314 A JP2020528314 A JP 2020528314A JP 2020528314 A JP2020528314 A JP 2020528314A JP 2021504812 A JP2021504812 A JP 2021504812A
Authority
JP
Japan
Prior art keywords
vehicle
predicted
interaction
objects
surrounding environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020528314A
Other languages
English (en)
Other versions
JP7150846B2 (ja
Inventor
ティアン ラン,
ティアン ラン,
ガレン クラーク ヘインズ,
ガレン クラーク ヘインズ,
アレクサンダー デイビッド スタイラー,
アレクサンダー デイビッド スタイラー,
Original Assignee
ユーエーティーシー, エルエルシー
ユーエーティーシー, エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユーエーティーシー, エルエルシー, ユーエーティーシー, エルエルシー filed Critical ユーエーティーシー, エルエルシー
Publication of JP2021504812A publication Critical patent/JP2021504812A/ja
Application granted granted Critical
Publication of JP7150846B2 publication Critical patent/JP7150846B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

物体の挙動を決定しかつ自律車両を制御するためのシステムおよび方法が提供される。実施形態の一例において計算システムは、プロセッサ(単数または複数)と、命令を集合的に記憶する1または複数の有形の非一過性コンピュータ読み取り可能な媒体とを含み、命令は、プロセッサ(単数または複数)によって実行されると、計算システムに動作を遂行することを行わせる。動作は、自律車両の周辺環境内の第1の物体および1または複数の第2の物体と関連付けられるデータを取得することと、少なくとも部分的にデータに基づいて第1の物体と1または複数の第2の物体との間の相互作用を決定することと、第1の物体と1または複数の第2の物体との間の相互作用に少なくとも部分的に基づいて周辺環境内の第1の物体の1または複数の予測される軌道を決定することと、第1の物体の1または複数の予測される軌道を表示するデータを出力することとを含む。

Description

優先権主張
本出願は、2017年11月22日の出願日を有する米国仮特許出願第62/589951号および2017年12月20日の出願日を有する米国非仮特許出願第15/848564号への優先権に基づきかつ主張し、その全てが参照によって本明細書へ援用される。
分野
本開示は概して、車両の周辺環境内の物体の将来の場所を決定するための自律車両の能力を向上させること、および同一のものに関する自律車両を制御することに関する。
背景
自律車両は、人間が入力せずにその環境を感知し、かつ操縦することが可能な車両である。特に、自律車両は、各種のセンサを用いてその周辺環境を観測することが可能であり、センサにより収集されるデータに対して種々の処理技術を遂行することによって、環境を把握することを試みることが可能である。その周辺環境の知識が与えられると、自律車両は、そのような周辺環境を通して操縦し得る。
要約
本開示の実施形態の側面および優位点は、以下の説明において部分的に述べられ、または、説明から学ばれ得、または、実施形態の実用を通して学ばれ得る。
本開示の側面の一例は、計算システムへ向けられる。計算システムは、1または複数のプロセッサと、命令を集合的に記憶する1または複数の有形の非一過性コンピュータ読み取り可能な媒体とを含み、命令は、1または複数のプロセッサによって実行されると、計算システムに動作を遂行することを行わせる。動作は、自律車両の周辺環境内の第1の物体および1または複数の第2の物体と関連付けられるデータを取得することを含む。動作は、第1の物体と1または複数の第2の物体と関連付けられるデータに少なくとも部分的に基づいて、第1の物体と1または複数の第2の物体との間の相互作用を決定することを含む。動作は、第1の物体と1または複数の第2の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第1の物体の1または複数の予測される軌道を決定することを含む。動作は、第1の物体の1または複数の予測される軌道を表示するデータを出力することを含む。
本開示の別の側面の例は、自律車両へ向けられる。自律車両は、1または複数のプロセッサと、命令を集合的に記憶する1または複数の有形の非一過性コンピュータ読み取り可能な媒体とを含み、命令は、1または複数のプロセッサによって実行されると、計算システムに動作を遂行することを行わせる。動作は、周辺環境内の第1の物体および1または複数の第2の物体の1または複数の現在または過去の状態を表示する状態データを取得することを含む。動作は、第1の物体の1または複数の現在または過去の状態を表示する状態データに少なくとも部分的に基づいて、周辺環境内の第1の物体の初期の予測される軌道を決定することを含む。動作は、第1の物体の初期の予測される軌道に少なくとも部分的に基づいて、第1の物体と1または複数の第2の物体との間の相互作用を決定することを含む。動作は、第1の物体と1または複数の第2の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第1の物体の1または複数の予測される軌道を決定することを含む。
本開示の側面のさらに別の例は、物体の挙動を決定するためのコンピュータで実施される方法へ向けられる。本方法は、1または複数の計算デバイスを含む計算システムが、自律車両の周辺環境内の第1の物体の初期の予測される軌道を表示するデータを取得することを含む。本方法は、計算システムが、自律車両の周辺環境内の第1の物体の初期の予測される軌道に少なくとも部分的に基づいて、1の物体と1または複数の第2の物体との間の相互作用を決定することを含む。本方法は、計算システムが、第1の物体と1または複数の第2の物体との相互作用に少なくとも部分的に基づいて、周辺環境内の第1の物体の1または複数の予測される軌道を決定することを含む。本方法は、計算システムが、第1の物体の1または複数の予測される軌道を表示するデータを出力することを含む。
本開示の側面の他の例は、自律車両の周辺環境内の物体の場所を予測し、かつその物体に対して自律車両を制御するための、システム、方法、車両、装置、有形の非一過性コンピュータ読み取り可能な媒体、およびメモリデバイスへ向けられる。
種々の実施形態のこれらのおよび他の特徴、側面および優位点は、以下の説明および付随の特許請求の範囲への参照とともにより理解されるようになる。本明細書に組み込まれかつその一部を構成する添付の図面は、本開示の実施形態を例示し、説明とともに、関連する原理を説明することに役立つ。
図面の簡単な説明
当業者へ向けた実施形態の詳細な検討は、添付される図面へ参照をなす本明細書において述べられる。その図面のうち、
図1は、本開示の実施形態の例による、システム例の概要を描写する。
図2は、本開示の実施形態の例による、自律車両の環境の例を描写する。
図3は、本開示の実施形態の例による、モデルの実施例の図を描写する。
図4A−Dは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。 図4A−Dは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。 図4A−Dは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。 図4A−Dは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。
図5は、本開示の実施形態の例による、物体の挙動を決定するための方法例のフロー図を描写する。
図6は、本開示の実施形態の例による、システムの構成要素の例を描写する。
詳細な説明
実施形態へ詳細に参照がなされ、それらの1または複数の例が図面において例示される。各々の例は、実施形態の説明として提供されるが、本開示を限定するものではない。実際は、本開示の範囲または意図から出ずに、実施形態へ種々の変形および変更がなされ得ることが、当業者へ明らかである。例えば、1つの実施形態の部分として例示されまたは説明される特徴は、別の実施形態でさらなる実施形態を産するために用いられ得る。従って、本開示の側面は、そのような変形および変更をカバーすることが意図される。
本開示は、自律車両によって知覚される物体の将来の場所を予測するための、向上されたシステムおよび方法へ向けられる。特に自律車両は、車両の周辺環境内で物体が経験し得る潜在的な相互作用に基づいて、物体の将来の場所(単数または複数)を予測し得る。例えば、自律車両は、周辺環境内の各物体(例えば、歩行者、車両、サイクリスト等)の初期軌道を予測し得る。初期軌道は、それぞれの物体が初めに通行することが予測される、予測される経路および関連付けられるタイミングを表現し得る。これらの予測を洗練することを助けるために、本開示のシステムおよび方法は、物体が、他の物体(単数または複数)、交通規則(単数または複数)および/または自律車両自体、ならびにそのような相互作用が物体の挙動に対して有し得る潜在的な効果と相互作用し得るかを、自律車両が決定することを可能とし得る。例として、自律車両は、相互に交差する各々の物体の予測される初期軌道に基づいて、信号無視する歩行者が迫り来る車両と相互作用し得ることを決定し得る。この相互作用に基づいて、自律車両は、歩行者のための1または複数の二次相互作用軌道を予測し得る。例えば、自律車両は、信号無視する歩行者が止まって、迫り来る車両が通過するのを待ち得ること、および/または、信号無視する歩行者が車両の先を行き、街路を横切り得ることを予測し得る。自律車両はまた、歩行者がこれらの相互作用軌道の各々に従い得る確率を決定し得る。自律車両の挙動を計画するときに、自律車両はこれらの潜在的な軌道の両方を考慮し得る。このようにして、自律車両は、車両の周辺環境内の相互作用する物体の将来の場所(単数または複数)をより正確に予測し得る。将来の物体の場所(単数または複数)を予測するための向上された能力は、向上された挙動計画または自律車両の他の制御を可能とし、それによって乗客の安全性および車両効率を高める。
より詳しくは、自律車両は、地上ベースの自律車両(例えば、車、トラック、バス等)、または、人間の操作者からの最小の相互作用で、かつ/または相互作用なしで動作し得る別のタイプの車両(例えば、航空車両)であり得る。自律車両は、自律車両を制御することを助けるための、自律車両に搭載して位置する車両計算システムを含み得る。車両計算システムが自律車両の上にまたはその中に位置し得るという点で、車両計算システムは自律車両に搭載して位置し得る。車両計算システムは、1または複数のセンサ(例えば、カメラ、光検出および測距(LIDAR)、電波検出および測距(RADAR)等)、(例えば、自律操縦を決定するための)自律計算システム、(例えば、ブレーキ、ステアリング、パワートレイン等を制御するための)1または複数の車両制御システム等、および/または他のシステムを含み得る。センサ(単数または複数)は、車両の周辺環境と関連付けられるセンサデータ(例えば、画像データ、RADARデータ、LIDARデータ等)を採集し得る。例えば、センサデータは、LIDARポイントクラウド(単数または複数)、および/または、自律車両へ接近する(例えばセンサ(単数または複数)の視野内の)1または複数の物体と関連付けられる他のデータ、および/または、地理的領域の1または複数の地理的特徴(例えば、カーブ、レーン標識、側道等)と関連付けられる他のデータを含み得る。物体(単数または複数)は、例えば、他の車両、歩行者、自転車等を含み得る。物体(単数または複数)は、静止物体(例えば、挙動中でない)またはアクター物体(例えば、挙動中のまたはこれから挙動する動的物体)であり得る。センサデータは、1回または複数回、物体(単数または複数)と関連付けられる特性(例えば位置)を表示し得る。センサ(単数または複数)は、車両の自律計算システムへそのようなセンサデータを提供し得る。
センサデータに加えて、自律計算システムは、物体(および/または自律車両)が位置する周辺環境と関連付けられる他のタイプのデータを取得し得る。例えば、自律計算システムは、自律車両の周辺環境についての詳細な情報を提供するマップデータを取得し得る。マップデータは、異なる車道、道路区分、建物、側道、または他のアイテムの識別および場所、交通レーンの場所および方向(例えば、駐車レーン、右左折レーン、自転車レーンまたは特定の通行道内の他のレーンの境界、場所、方向等)、交通制御データ(例えば、標識、信号機、法律/規則、または他の交通制御デバイスの場所および命令)、障害物(例えば、道路工事、事故等)の場所、イベント(例えば、予定されるコンサート、パレード等)を表示するデータ、および/または車両の周辺環境およびそれとの関係を把握しかつ知覚する際に、車両計算システムを支援する情報を提供する任意の他のマップデータに関する情報を提供し得る。
自律計算システムは、自律車両の周辺環境を知覚しかつ自律車両の挙動を制御するための挙動計画を決定するために協働する種々のサブシステムを含む計算システムであり得る。例えば、自律計算システムは、知覚システム、予測システム、および挙動計画システムを含み得る。
知覚システムは、自律車両の周辺環境内の1または複数の物体を知覚するように構成され得る。例えば、知覚システムは、自律車両へ接近する1または複数の物体、およびその物体と関連付けられる状態データを検出するために、センサ(単数または複数)からのセンサデータを処理し得る。状態データは、自律車両の周辺環境内にある1または複数の物体の1または複数の状態(例えば、現在または過去の状態(単数または複数))を表示し得る。例えば、各々の物体のための状態データは、物体の現在および/または過去の場所(位置としても称される)、現在および/または過去の速さ/速度、現在および/または過去の加速度、現在および/または過去の目的地、現在および/または過去の向き、サイズ/フットプリント、クラス(例えば、車両クラス対歩行者クラス対自転車クラス)、それと関連付けられる不確実性、ならびに/または、他の状態情報の推定を(例えば、所与の時間、期間等で)説明し得る。
予測システムは、自律車両の周辺環境内の物体(単数または複数)の挙動を予測するように構成され得る。例えば、予測システムは、1または複数の物体と関連付けられる予測データを作り出し得る。予測データは、各々のそれぞれの物体の1または複数の予測される将来の場所を表示し得る。予測データは、各々の物体と関連付けられる予測される経路を示し得る。予測システムは、それぞれの物体がある時間にわたって通行することが予測される、予測される軌道を決定し得る。予測される軌道は、予測される経路、および物体が経路を通行することが予測されるタイミングを表示し得る。これは、物体の意図を表示し得る。いくつかの実施において、予測データは、物体が予測される軌道に沿って通行することが予測される速さを表示し得る。
予測システムは、自律車両の周辺環境内の物体と関連付けられる初期の予測される軌道を決定するように構成され得る。例えば、予測システムは目標指向の予測システムであり得、自律車両によって知覚される各々の物体について、1または複数の潜在的目標を生成し、潜在的な目標のうちの1または複数を選択し、物体が1または複数の選択された目標を達成し得るための1または複数の初期の予測される軌道を展開する。例として、自律車両が通行している通行道(例えば街路等)に隣接する側道を、歩行者が歩いている場合がある。歩行者は、通行道に向かって歩いている場合がある。予測システムは、歩行者が通行道に向かって通行するときの、歩行者の1または複数の現在または過去の状態を表示する状態データを取得し得る。少なくとも部分的にそのようなデータに基づいて、歩行者が(例えば、信号無視して)通行道を横切るという目標を有していることを、予測システムが決定し得る。予測システムは、この目標に基づいて、歩行者が通行道を横切ることを予測する、歩行者についての初期軌道を決定し得る。
物体の初期の予測される軌道は、車両の環境内の物体と他の要素との間の潜在的な相互作用による影響を受け得る。よって、本開示によると、予測システムは、そのような相互作用および物体の軌道における相互作用のあり得る効果を予測する相互作用システムを含み得る。そうするために、予測システム(例えば、相互作用システム)は、自律車両の周辺環境内の物体と関連付けられるデータを取得し得る。例えば、予測システムは、周辺環境内の物体の初期の予測される軌道(例えば、目標指向ベースの初期軌道予測)を表示するデータを取得し得る。いくつかの実施において、予測システムは、1または複数の交通規則および/または他の地理的特徴(例えば、停止標識、停止灯等)を表示するマップデータを取得し得る。いくつかの実施において、予測システムは、環境内の他の物体および/または自律車両の計画される挙動軌道と関連付けられるデータ(例えば、状態データ、予測される軌道等)を取得する。
予測システム(例えば、相互作用システム)は、物体と関連付けられる相互作用を決定し得る。これは、種々のタイプの相互作用を含み得る。例えば、物体と関連付けられる相互作用は、周辺環境内の物体と別の物体との間の潜在的な相互作用であり得る。他の物体は、周辺環境内で動いている(または動くことが予期される)アクター物体(例えば、動いている車両)、および/または周辺環境内で静止している静止物体(例えば駐車された車両)であり得る。いくつかの実施において、相互作用は少なくとも部分的に交通規則に基づき得る。例えば、相互作用は、物体と、停止標識、合流区域、停止灯等との間の潜在的な相互作用を含み得る。いくつかの実施において、相互作用は、物体と(予測システムを実施している)自律車両との間の潜在的な相互作用を含み得る。
予測システムによって取得される物体と関連付けられるデータに少なくとも部分的に基づいて、予測システム(例えば相互作用システム)は、物体と関連付けられる相互作用を予測し得る。例えば、予測システムは、物体の初期軌道、別の物体の軌道および/または位置、自律車両の計画される軌道、マップデータ、ならびに/または、他のタイプのデータに基づいて、物体と関連付けられる相互作用を決定し得る。例えば、予測システムは、それぞれの物体の各々のための初期軌道が同様の時間で交差し得、かつ/または重複し得る事象において、物体が別のアクター物体と相互作用し得ることを決定し得る。加えて、または代替として、予測システムは、物体の初期軌道が周辺環境内の静止物体の場所(例えば、静止物体と関連付けられる境界ボックス)と交差し得る事象において、物体が静止物体と相互作用し得ることを決定し得る。加えて、または代替として、予測システムは、物体の初期軌道が自律車両の計画される挙動軌道(および/または車両の停止される位置)と交差する事象において、物体が自律車両と相互作用し得ることを決定し得る。いくつかの実施において、予測システムは、少なくとも部分的にマップデータに基づいて、相互作用の存在を決定し得る。例えば、予測システムは、物体の初期軌道および物体が通行している区域のマップに少なくとも部分的に基づいて、物体が、停止標識、合流区域、信号機等と相互作用し得ることを決定し得る。そのうえ、予測システムは、少なくとも部分的にマップデータに基づいて、物体が別の物体および/または自律車両と相互作用する可能性があることを決定し得る。例として、予測システムは、物体が別の物体および/または自律車両の軌道へ向かって1つの道路上へ左に合流するように強いられることを決定するために、初期軌道および物体が通行している区域のマップデータを評価し得る。
予測システム(例えば相互作用システム)は、少なくとも部分的に相互作用に基づいて、物体のための1または複数の予測される相互作用軌道を決定し得る。予測される相互作用軌道は、相互作用の結果として物体が横断し得る潜在的な軌道を表示し得る。予測システムは、(例えば単一の相互作用から生じる)自律車両の周辺環境内の物体の1または複数の予測される相互作用軌道を反復して決定し得る。例えば、各々の反復において、各々の軌道は以前の反復において展開された他の軌道との対立を避けるように調節され得る。
いくつかの実施において、予測システムは、少なくとも部分的に規則(単数または複数)ベースのモデルに基づいて、予測される相互作用軌道を決定し得る。規則(単数または複数)ベースのモデルは、相互作用のタイプおよび周辺の状況が与えられた場合に物体が従い得る潜在的な軌道を画定する、ヒューリスティクスを有するアルゴリズムを含み得る。ヒューリスティクスは、現実世界で自律車両によって獲得される運転ログデータに基づいて展開され得る。そのような運転ログデータは、(例えば静止物体および/またはアクター物体を含む)現実世界の物体−物体相互作用、物体−自律車両相互作用、物体−交通規則相互作用等を表示し得る。そのうえ、運転ログデータは、これらの相互作用に基づいて、現実世界で物体によって通行される経路を表示し得る。例えば、1または複数の規則は、迫り来る車両に基づいて、信号無視する歩行者が従い得る予測される相互作用軌道を表示し得る。これは、例えば、信号無視者が迫り来る車両の前の通行道を走って横切ることを示す、予測される相互作用軌道、および/または、信号無視者が止まって車両を通過させ、それから通行道を横切ることを示す、別の予測される相互作用軌道を含み得る。
いくつかの実施において、車両計算システムは、少なくとも部分的に機械学習されたモデルに基づいて、1または複数の予測される相互作用軌道を決定し得る。例えば、予測システムは、機械学習された相互作用予測モデルを含み得、使用し得、かつ/または別様に、モデルに影響を及ぼし得る。機械学習されたモデルの相互作用予測モデルは、例えば、ニューラルネットワーク(例えば深層ニューラルネットワーク)または他の多層非線形モデルのような、1または複数の種々のモデルであり得または別様に含み得る。ニューラルネットワークは、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク(例えば、長短期メモリ再帰型ニューラルネットワーク)、フィードフォワードニューラルネットワーク、および/または他の形式のニューラルネットワークを含み得る。例えば、物体と関連付けられる相互作用および/または物体と関連付けられる予測される相互作用軌道を等予測するようにモデルを(例えば、相互作用および/または結果的な軌道の既知の例を用いてラベル付けされた運転ログデータ、センサデータ、状態データ等を用いて)訓練するために、教師付き訓練技術が遂行され得る。いくつかの実施において、相互作用および/または軌道予測のために機械学習されるモデルを訓練することを助けるために、本明細書で説明されるように、訓練データは、規則(単数または複数)ベースのモデルを用いて決定される、予測される相互作用軌道に少なくとも部分的に基づき得る。訓練データは、機械学習されるモデルをオフラインで訓練するために用いられ得、それから、(より少ないレイテンシで)相互作用および/または相互作用軌道を予測するための追加的または代替の手法として用いられ得る。
車両計算システムは、機械学習されたモデル内へデータを入力し得、かつ出力を受け取り得る。例えば、車両計算システム(例えば予測システム)は、自律車両に搭載されたアクセス可能なメモリから、かつ/または(例えば、無線ネットワークを介して)車両から離れたメモリから、機械学習されたモデルを表示するデータを取得し得る。車両計算システムは、機械学習されたモデル内へデータを入力し得る。これは、物体および/または周辺環境内の他の物体と関連付けられるデータ(例えば、初期軌道、状態データ、センサデータ、他の物体の軌道/状態データ、計画される物体軌道、マップデータ等)を含み得る。機械学習されたモデルは、物体と関連付けられる相互作用(例えば物体−物体相互作用等)を予測するためにデータを処理し得る。そのうえ、機械学習されたモデルは、相互作用に基づいて、物体のための1または複数の相互作用軌道を予測し得る。機械学習されたモデルは、相互作用および/または予測される相互作用軌道を表示する出力を提供し得る。いくつかの実施において、本明細書でさらに説明されるように、出力はまた、各々のそれぞれの軌道と関連付けられる確率も表示し得る。
いくつかの実施において、予測システムは、少なくとも部分的に1または複数の方針に基づいて、物体のための1または複数の予測される相互作用軌道を決定し得る。方針は、予測される軌道のセットへ適用される特別な軌道戦略であり得る。例えば方針は、いずれの物体が、与えられたシナリオおよび/または相互作用のタイプをなし得るかを示し得る。例として、方針は、物体が全道停止で通行権規則に服従し得かつ/または遵守し得ることを示し得る。別の例において、方針は、先行−後行シナリオのために、後行する物体が先行する物体の後方で列に加わる(例えば、後行する物体は、余裕ある随従距離で先行する物体の速さに適合するように減速する)ことを示し得る。そのような方針は、予測される相互作用軌道を決定するために利用されるモデル(例えば、規則(単数または複数)ベースのモデル、機械学習されたモデル等)内で実施され得る。
いくつかの実施において、方針は、ワンタイムの方針および/または繰り返される方針を含み得る。ワンタイムの方針は、初期軌道(例えば第0反復)で適用され得、方針に従って展開される後続の軌道は変更されない。例えば、方針は、全道停止中の車両のために軌道を生産することを助けるために用いられ得る。繰り返される方針は、各々の反復で適用され得る。例えば反復Kにおいて、繰り返される方針は、最終反復からの全ての軌道を用いて軌道を展開するために適用され得、方針のない軌道は現在の反復で展開され得る。第1の物体が第2の物体に従うことを予測システムが決定する事象において、予測システムは、2つの物体の軌道を連続して展開するための方針を利用し得る。
加えて、または代替として、相互作用軌道が展開されるべき順序を表すように、予測システム(例えば、軌道システム)はグラフモデル(例えば方向性グラフ)を生成し得る。例えば、相互作用軌道は独立して展開され得る。各々の反復において、予測システムは、軌道を表す頂点と2つの軌道間の従属を表す辺とを有するグラフを作り出し得る。各々の軌道について、対立する軌道がまず展開されるべき場合には、対立する軌道を現在の軌道の根源としてマークするために、モデル(例えばクラス分け)および/またはヒューリスティクスのセットが適用され得る。辺は、この従属を表すためにグラフへ追加され得る。モデル/ヒューリスティクスは、車両の行動(例えば通過、列に並ぶ等)および他の別個の決定を決定するために用いられ得る。相互作用システムは、グラフ内のサイクルおよび二方向性の辺を探索し、サイクルおよび二方向性の辺の中の軌道を共同して展開し、連続して他の軌道を展開する。そのような手法は、2つの反復により作り出されるグラフが同一であるときに終了し得る。
予測システム(例えば、相互作用システム)は、それぞれの1または複数の予測される相互作用軌道の各々のための確率を決定し得る。確率は、物体がそのそれぞれの相互作用軌道に従って行動する可能性を表示し得る。確率は、スコア、パーセンテージ、小数等として表現され得る。例えば、相互作用システムは、信号無視する歩行者が停止して迫り来る車両が通過するのを待つことが、信号無視する歩行者が車の前を走ることよりも高い確率であることを決定し得る。いくつかの実施において、軌道の各々のための確率は、予測される相互作用軌道の各々のための最終スコアを決定するように構成される、軌道スコアリングシステムへ提供され得る。例えば、予測システムは、入力データとして、軌道および関連付けられる確率を受け取るように訓練されまたは別様に構成される、軌道スコアリングモデル(例えば、規則(単数または複数)ベースのモデルおよび/または機械学習されたモデル)にアクセスし得かつ利用し得る。軌道スコアリングモデルは、例えば、そのような軌道が物体のためにどのくらい現実的または達成可能であるかを表示する最終スコアを提供し得る。そのような軌道スコアリングモデルは、妥当な軌道(例えば観測された軌道)または妥当でない軌道(例えば合成された軌道)としてラベル付けされた軌道を含む訓練データにおいて訓練され得る。予測システムは、自律車両の挙動計画システムへ1または複数の予測される相互作用軌道を(例えば予測データとして)表示するデータを出力し得る。出力は、全ての予測される軌道および各々のそれぞれの軌道と関連付けられる最終スコアを表示し得る。
挙動計画システムは、1または複数の予測される相互作用軌道に少なくとも部分的に基づいて、自律車両のための挙動計画を決定し得る。挙動計画は、車両へ接近する物体に対する車両の行動(例えば、計画される車両の軌道、速さ(単数または複数)、加速度(単数または複数)、他の作用等)および物体の予測される挙動を含み得る。例えば、挙動計画システムは、挙動計画を作り上げる最適化された変数を決定するために、車両の行動と関連付けられるコストデータ、および、もしあるならば他の目的関数(例えば、速さ制限、信号機等に基づくコスト関数)を考慮する最適化アルゴリズムを実施し得る。挙動計画システムは、車両への潜在的なリスクを増加させることなく、かつ/またはいずれの交通法(例えば、速さ制限、レーンの境界、標識)も違反することなく、車両が特定の行動(例えば、物体を通過する)を遂行し得ることを決定し得る。例えば、挙動計画システムは、周辺環境を通る最適化された車両軌道を決定するようなそのコストデータ分析の間に、予測される相互作用軌道(および関連付けられるスコア(単数または複数))の各々を評価し得る。いくつかの実施において、予測される相互作用軌道のうちの1または複数は、最終的に自律車両の挙動を変化させない場合がある。いくつかの実施においては、自律車両が、周辺環境内で相互作用することが予測される物体(単数または複数)を避け、特定の物体(単数または複数)の周りのより多い車側間隔を与えるために速さを低減させ、慎重に前進し、停止する行動を遂行する等をするように、挙動計画が車両の挙動を画定し得る。
自律車両は、挙動計画の少なくとも一部に従って通行を開始し得る。例えば、挙動計画は車両制御システムへ提供され、車両制御システムは、挙動計画を実施するように構成される車両コントローラを含み得る。車両コントローラは、例えば、挙動計画を車両制御システムのための命令(例えば、加速制御、ブレーキ制御、ステアリング制御等)へ変換し得る。これは、車両の周辺環境内の物体の相互作用を考慮に入れながら、自律車両が自律的に通行することを可能とし得る。
本明細書で説明されるシステムおよび方法は、数々の技術的効果および利益を提供する。例えば、本開示は、自律車両の周辺環境内の物体の軌道の向上された予測および向上された車両制御のためのシステムおよび方法を提供する。相互作用(例えば、物体−物体相互作用、物体−交通規則相互作用、物体−自律車両相互作用等)を検出するための向上された能力は、そのような相互作用に基づいて、向上された自律車両の挙動計画および/または他の制御を可能とし得、それによって乗客の安全性および車両効率をさらに高める。従って、本開示は自律車両計算システムおよびそのシステムが制御する自律車両の動作を向上させる。加えて、本開示は、物体の相互作用および結果的な軌道を予測することの問題への特定の解決策を提供し、かつ、所望の結果を達成するための特定の方法(例えば、特定の規則の使用、機械学習されたモデル等)を提供する。本開示はまた、例えば、(例えば物体の相互作用により潜在的に引き起こされる)衝突を低減させることによって、乗客/車両の安全性を高め、かつ車両効率を向上させることを含む追加の技術的効果および利益を提供する。
本開示のシステムおよび方法はまた、自律車両計算テクノロジーのような車両計算テクノロジーへの向上を提供する。例えば、本システムおよび方法は、相互作用および結果として物体が従い得る潜在的な挙動軌道をそのような物体が経験し得るか否かを、車両テクノロジーが決定することを可能とする。特に、計算システム(例えば車両計算システム)は、自律車両の周辺環境内の第1の物体および1または複数の第2の物体と関連付けられるデータ(例えば、初期軌道データ、マップデータ等)を取得し得る。計算システムは、そのようなデータに少なくとも部分的に基づいて、第1の物体と1または複数の第2の物体との間の相互作用を決定し得る。計算システムは、第1の物体と1または複数の第2の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第1の物体の1または複数の予測される相互作用軌道を決定し得る。計算システムは、第1の物体の1または複数の予測される相互作用軌道を表示するデータを(例えば、挙動計画システム、ローカルメモリ等へ)出力し得る。予測される相互作用に基づいて物体の潜在的な軌道を識別することによって、計算システムは、予測される物体の挙動軌道が周辺環境内の相互作用による影響を受け得るという知らされる知識に基づいて、車両の挙動を計画し得る。これは、例えば、物体へのいずれの干渉も避けるようにより保守的であるように、これらの物体の近くでの自律車両の振る舞いを変更するために用いられ得る。よって、本開示のシステムおよび方法は、その周辺環境内の物体の挙動を予測するための車両計算システムの能力を向上させると共に、自律車両を制御するための能力も向上させる。
図へ参照すると、本開示の実施形態の例がさらに詳細に検討される。図1は、本開示の実施形態の例に従ったシステム例100を例示する。システム100は、車両104と関連付けられる車両計算システム102を含み得る。いくつかの実施において、システム100は、車両104から離れた動作計算システム106を含み得る。
いくつかの実施において、車両104は、エンティティ(例えば、サービス提供者、所有者、管理者)と関連付けられ得る。エンティティは、例えば車両104を含む車両の一団を介して、複数のユーザへ1または複数の車両サービス(単数または複数)を提示するものであり得る。いくつかの実施において、エンティティは、車両104のみ(例えば、1人の所有者、管理者)と関連付けられ得る。いくつかの実施において、動作計算システム106がエンティティと関連付けられ得る。車両104は、1または複数のユーザへ1または複数の車両サービスを提供するように構成され得る。車両サービス(単数または複数)は、輸送サービス(例えば、輸送されるためにユーザが車両104に乗る乗合サービス)、宅配サービス、送達サービス、および/または他のタイプのサービスを含み得る。車両サービス(単数または複数)は、例えばソフトウェアアプリケーション(例えば携帯電話ソフトウェアアプリケーション)を介して、エンティティによってユーザへ提示され得る。エンティティは、ユーザへ車両サービスを提供するように車両104(およびもしあるならば、その関連付けられる一団)を連繋しかつ/または管理するために、動作計算システム106を活用し得る。
動作計算システム106は、車両104から離れた(例えば、車両104に搭載されずに位置する)1または複数の計算デバイスを含み得る。例えば、そのような計算デバイス(単数または複数)は、クラウドベースのサーバシステム、および/または、車両104の車両計算システム102(および/またはユーザデバイス)と通信し得る他のタイプの計算システムの構成要素であり得る。動作計算システム106の計算デバイス(単数または複数)は、種々の動作および機能を遂行するための種々の構成要素を含み得る。例えば、計算デバイス(単数または複数)は、1または複数のプロセッサ(単数または複数)、および1または複数の有形の非一過性コンピュータ読み取り可能な媒体(例えばメモリデバイス等)を含み得る。1または複数の有形の非一過性コンピュータ読み取り可能な媒体は、1または複数のプロセッサ(単数または複数)により実行されるときに、動作計算システム106(例えば1または複数のプロセッサ等)が、例えば、(車両104を含む)車両の一団を管理するために、車両104へデータを提供しかつ/または車両104からデータを受け取る等の動作および機能を遂行することを引き起こす命令を記憶し得る。
車両計算システム102を統合する車両104は、地上ベースの自律車両(例えば車、トラック、バス等)、空中ベースの自律車両(例えば、飛行機、ヘリコプターまたは他の航空機)または他のタイプの車両(例えば船舶等)であり得る。車両104は、人間の操作者(例えば運転者)からの最小限の相互作用で、かつ/または相互作用なしで、運転し、操縦し、動作する等し得る自律車両であり得る。いくつかの実施において、人間の操作者は、車両104から省かれ得る(かつ/または車両104の遠隔制御からも省かれ得る)。いくつかの実施において、人間の操作者は車両104中に含まれ得る。
いくつかの実施において、車両104は、複数の動作モードで動作するように構成され得る。車両104は、車両104がユーザの入力なしで制御可能である完全に自律的な(例えば自走運転)動作モードで動作するように構成され得る(例えば、車両104内に存在する人間の操作者、および/または車両104から離れて存在する人間の操作者からの入力なしで運転し得かつ操縦し得る)。車両104内に(かつ/または車両104から離れて)存在する人間の操作者からのいくつかの入力で車両104が動作し得る半自律的動作モードで、車両104が動作し得る。車両104は、車両104が人間の操作者(例えば、人間の運転者、パイロット等)により完全に制御可能である手動動作モード中へ入り得、自律ナビゲーション(例えば自律運転)を遂行することを禁じられ得る。いくつかの実施において、車両104は、車両104の人間の操作者を支援することに役立つように、手動動作モードにある間、車両動作支援テクノロジー(例えば、衝突軽減システム、パワーアシストステアリング等)を実施し得る。
車両104の動作モードは、車両104に搭載されたメモリ内に記憶され得る。例えば動作モードは、特定の動作モードにある間の車両104のための1または複数の動作パラメータを示す動作モードデータストラクチャ(例えば、規則、リスト、表等)によって定義され得る。例えば、動作モードデータストラクチャは、完全な自律動作モードにあるときに、車両104が自律的にその挙動を計画すべきことを示し得る。車両計算システム102は、動作モードを実施しているときにメモリへアクセスし得る。
車両104の動作モードは、各種の方法で調節され得る。いくつかの実施において、車両104の動作モードは、車両104の車外で遠隔で選択され得る。例えば、車両104と関連付けられるエンティティ(例えばサービス提供者)は、車両104(および/または関連付けられる一団)を管理するために、動作計算システム106を利用し得る。動作計算システム106は、動作モードへ入ること、動作モードから出ること、動作モードを維持すること等をするように車両104に命令するデータを車両104に送り得る。例として、動作計算システム106は、完全な自律動作モードへ入るように車両104に命令するデータを車両104に送り得る。いくつかの実施において、車両104の動作モードは、車両104上でかつ/または車両104の近くでセットされ得る。例えば、車両計算システム102は、いつどこで車両104が特定の動作モードへ入り、変化させ、維持するべきか等を(例えばユーザの入力なしで)自動的に決定し得る。加えて、または代替として、車両104の動作モードは、車両104に搭載して位置する1または複数のインタフェース(例えば、キースイッチ、ボタン等)、および/または車両104へ近接する計算デバイスと関連付けられる1または複数のインタフェース(例えば、車両104の近くに位置する権限を与えられた人員により動作させられるタブレット)を介して手動で選択され得る。いくつかの実施において、車両104の動作モードは、車両104に位置するインタフェースの系列に少なくとも部分的に基づいて調節され得る。例えば、動作モードは、車両104が特定の動作モードへ入ることを引き起こすために、特定の順序で一連のインタフェースを操作することによって調節され得る。
車両計算システム102は、車両104に搭載して位置する1または複数の計算デバイスを含み得る。例えば、計算デバイス(単数または複数)は、車両104の上にかつ/または車両104内に位置し得る。計算デバイス(単数または複数)は、種々の動作および機能を遂行するための種々の構成要素を含み得る。例えば、計算デバイス(単数または複数)は、1または複数のプロセッサ、および1または複数の有形の非一過性コンピュータ読み取り可能な媒体(例えばメモリデバイス等)を含み得る。1または複数の有形の非一過性コンピュータ読み取り可能な媒体は、1または複数のプロセッサによって実行されるときに、本明細書で説明されるように、周辺環境を通して車両104を自律的に操縦し、物体の挙動を決定し、車両の挙動を制御する等のために本明細書に説明されるような動作および機能を遂行することを車両104(例えばその計算システム、1または複数のプロセッサ等)に行わせる命令を記憶し得る。
車両104は、車両計算システム102(およびその計算デバイス(単数または複数))が、他の計算デバイスと通信することを可能とするように構成された通信システム108を含み得る。車両計算システム102は、動作計算システム106および/または(例えば1または複数の無線信号接続を介して)1または複数のネットワークを経由して1または複数の他の計算デバイス(単数または複数)と通信するために、通信システム108を用い得る。いくつかの実施において、通信システム108は、車両104に搭載されたシステム(単数または複数)のうちの1または複数の間での通信を可能とし得る。通信システム108は、例えばトランスミッタ、レシーバ、ポート、コントローラ、アンテナおよび/または通信を促進することに役立ち得る他の適切な構成要素を含む、1または複数のネットワーク(単数または複数)とのインタフェースとなるための任意の適切な構成要素を含み得る。
図1に示されるように、車両104は、1または複数の車両センサ112、自律計算システム114、1または複数の車両制御システム116、および本明細書で説明されるように他のシステムを含み得る。これらのシステムのうちの1または複数は、通信チャンネルを介して相互に通信するように構成され得る。通信チャンネルは、1または複数のデータバス(例えば、コントローラエリアネットワーク(CAN))、車載診断コネクタ(例えば、OBD−II)、および/または、有線および/または無線の通信リンクの組み合わせを含み得る。車載システムは、通信チャンネルを介して互いの間でデータ、メッセージ、信号等を送りかつ/または受け取り得る。
車両センサ(単数または複数)112は、車両104の周辺環境内(例えば、車両センサ(単数または複数)112のうちの1または複数の視野内)にある1または複数の物体と関連付けられるセンサデータ118を獲得するように構成され得る。車両センサ(単数または複数)112は、光検出および測距(LIDAR)システム、電波検出および測距(RADAR)システム、1または複数のカメラ(例えば、可視スペクトルカメラ、赤外線カメラ等)、モーションセンサ、および/または、他のタイプの画像捕捉デバイスおよび/またはセンサを含み得る。センサデータ118は、画像データ、レーダデータ、LIDARデータ、および/または車両センサ(単数または複数)112により獲得される他のデータを含み得る。物体(単数または複数)は、例えば、歩行者、車両、自転車および/または他の物体を含み得る。物体(単数または複数)は、車両104の前方、後方、側方等に位置し得る。センサデータ118は、1回または複数回、車両104の周辺環境内の物体(単数または複数)と関連付けられる場所を表示し得る。車両センサ(単数または複数)112は、センサデータ118を自律計算システム114へ提供し得る。
センサデータ118に加えて、自律計算システム114がマップデータ120を回収し得または別様に取得し得る。マップデータ120は、車両104の周辺環境についての詳細な情報を提供し得る。例えば、マップデータ120は、異なる車道、道路区分、建物、または、他のアイテム若しくは物体(例えば、街灯柱、横断歩道、カーブ等)の識別および場所、交通レーンの場所および方向(例えば、駐車レーン、右左折レーン、自転車レーン、または特定の車道または他の通行道および/またはそれらと関連付けられる1または複数の境界マーク内の他のレーンの場所および方向)、交通制御データ(例えば、標識、信号機、または他の交通制御デバイスの場所および命令)、障害(例えば、道路工事、事故等)の場所、イベント(例えば、予定されるコンサート、パレード等)を表示するデータ、および/または、車両104の周辺環境および車両104とその周辺環境との関係を把握しかつ知覚する際に、車両104を支援する情報を提供する任意の他のマップデータに関する情報を提供し得る。いくつかの実施において、車両計算システム102は、少なくとも部分的にマップデータ120に基づいて、車両104のための車両ルートを決定し得る。
車両104は、ポシショニングシステム122を含み得る。ポシショニングシステム122は、車両104の現在位置を決定し得る。ポシショニングシステム122は、車両104の位置を分析するための任意のデバイスまたは回路構成であり得る。例えば、ポシショニングシステム122は、等ネットワークアクセスポイント若しくは他のネットワーク構成要素(例えば、携帯電話の中継塔、WiFiアクセスポイント等)への三角測量および/もしくは近接性を用いることにより、IPアドレスに基づいて、慣性センサ(例えば慣性測定ユニット(単数または複数)等)、衛星ポシショニングシステム、および/または他の適切な技術のうちの1または複数を用いることによって位置を決定し得る。車両104の位置は、車両計算システム102の種々のシステムによって用いられ得、かつ/または、遠隔の(例えば、動作計算システム106の)計算デバイスへ提供され得る。例えば、マップデータ120は、車両104の周辺環境の車両104の相対位置を提供し得る。車両104は、本明細書で説明されるデータに少なくとも部分的に基づいて、(例えば6軸にわたる)周辺環境内の車両104の位置を識別し得る。例えば、車両104は、その環境内の車両の位置の理解を得るために、周辺環境のマップへ車両センサデータ118(例えばLIDARデータ、カメラデータ)を適合させるようにそれを処理し得る。
自律計算システム114は、知覚システム124、予測システム126、挙動計画システム128、および/または、車両104の周辺環境を知覚し、それに従って車両104の挙動を制御するための挙動計画を決定するように協働する他のシステムを含み得る。例えば、自律計算システム114は、車両センサ(単数または複数)112からセンサデータ118を受け取り得、センサデータ118(および/または他のデータ)に対する種々の処理技術を遂行することによって周辺環境を把握することを試行し得、そのような周辺環境を通した適切な挙動計画を生成し得る。自律計算システム114は、挙動計画に従って車両104を動作させるために、1または複数の車両制御システム116を制御し得る。
車両計算システム102(例えば自律システム114)は、センサデータ118および/またはマップデータ120に少なくとも部分的に基づいて、車両104の近傍にある1または複数の物体を識別し得る。例えば、車両計算システム102(例えば知覚システム124)は、状態データ130を取得するために、センサデータ118、マップデータ120等を処理し得る。車両計算システム102は、車両104の周辺環境内にある1または複数の物体の1または複数の状態(例えば、現在および/または過去の状態(単数または複数))を表示する状態データ130を取得し得る。例えば、各々の物体のための状態データ130は、物体の現在および/または過去の場所(位置とも称される)、現在および/または過去の速さ/速度、現在および/または過去の加速度、現在および/または過去の目的地、現在および/または過去の向き、(例えば、境界形状により表されるような)サイズ/フットプリント、クラス(例えば、歩行者クラス対車両クラス対自転車クラス)、物体と関連付けられる不確実性、および/または他の状態情報の推定を、(例えば、所与の時間、期間の間)説明し得る。知覚システム124は、予測システム126へ状態データ130を提供し得る。
予測システム126は、車両104の周辺環境内の物体(単数または複数)の挙動を予測するように構成され得る。例えば、予測システム126は、そのような物体(単数または複数)と関連付けられる予測データ132を作り出し得る。予測データ132は、各々のそれぞれの物体の1または複数の予測される将来の場所を表示し得る。予測データ132は、もしあるならば各々の物体と関連付けられる予測される経路を示し得る。予測システム126は、それぞれの物体がある時間にわたって通行することが予測される、予測される軌道を決定し得る。予測される軌道は、予測される経路および物体が経路を横断することが予測されるタイミングを表示し得る。これは、物体の意図を表示し得る。いくつかの実施において、予測データは、物体が予測された軌道に沿って通行することが予測される速さを表示し得る。
予測システム126は、車両104の周辺環境内の物体と関連付けられる初期の予測される軌道を決定するように構成され得る。例えば、予測システム126は、車両104(例えば知覚システム124)により知覚される各々の物体のために、1または複数の潜在的な目標を生成し、潜在的な目標のうちの1または複数を選択し、物体が1または複数の選択された目標を達成し得る1または複数の初期の予測された軌道を展開する、目標指向の予測システムであり得る。
例として、図2は、本開示の実施形態の例に従った、物体104が通行する地理的区域の例200を描写する。第1の物体202(例えば歩行者)は、車両104が通行している通行道204(例えば街路)に隣接する側道を通行中であり得る。第1の物体202は、通行道204に向かって通行しているかもしれない。車両計算システム102は、(例えば、第1の物体202が通行道204へ向かって通行するときの)周辺環境内の第1の物体202の1または複数の現在または過去の状態を表示する状態データ130を取得し得る。車両計算システム102は、そのような状態データに基づいて、第1の物体202が通行道204を(例えば信号無視する方法で)横切るという目標を有することを決定し得る。車両計算システム102は、周辺環境内の第1の物体202の1または複数の現在または過去の状態を表示する状態データ130に少なくとも部分的に基づいて、第1の物体202の初期の予測される軌道206を決定し得る。例えば、車両計算システム102は、第1の物体202が通行道204を横切ることを予測する、第1の物体202のための初期軌道206を決定し得る。いくつかの実施において、1または複数の、1または複数の第2の物体は、周辺環境内の静止物体を含み得る。1または複数の第2の物体は、周辺環境内のアクター物体を含み得る。1または複数の第2の物体は、車両104を含み得る。
図1へ戻ると、車両計算システム102(例えば予測システム126)は、車両の環境内の物体と他の物体および/または要素との間の潜在的な相互作用を予測する相互作用システム134を含み得る。相互作用システム134は、物体の軌道上のそのような相互作用(単数または複数)の潜在的な効果(単数または複数)を決定するように構成され得る。そのために、車両計算システム102は、車両104の周辺環境内の第1の物体および1または複数の第2の物体と関連付けられるデータを取得し得る。例として、図2へ参照すると、周辺環境内の第1の物体および1または複数の第2の物体と関連付けられるデータは、周辺環境内の第1の物体202の初期の予測される軌道206を表示するデータ(例えば、目標指向ベースの初期軌道予測)を含み得る。加えて、または代替として、車両計算システム102は、第1の物体202と関連付けられる状態データ130を取得し得る。加えて、または代替として、車両計算システム102は、1または複数の交通規則および/または他の地理的特徴(例えば、停止標識、停止灯等)を表示するマップデータ120を取得し得る。車両計算システム102は、物体208のような1または複数の第2の物体と関連付けられるデータ(例えば、状態データ、予測される軌道等)を取得し得る。例えば、車両計算システム102は、物体208の初期の予測される軌道210を表示するデータを取得し得る。加えて、または代替として、車両計算システム102は、車両104の計画される挙動軌道211を表示するデータを取得し得る。
車両計算システム102(例えば相互作用システム134)は、第1の物体202と関連付けられる相互作用を決定し得る。これは、種々のタイプの相互作用を含み得る。例えば、これは第1の物体202と周辺環境内の第2の物体(例えば、物体208、車両104等)との間の潜在的な相互作用を含み得る。いくつかの実施において、相互作用は交通規則と関連付けられ得る。例えば、相互作用は、第1の物体202と停止標識、合流区域、停止灯等との間の潜在的な相互作用を含み得る。いくつかの実施において、相互作用は、ただ1つの物体の挙動が影響を受けるという点で、一方向性(例えば、交通規則、駐車された車両、先行−後行車両シナリオ等に対する反応)であり得る。いくつかの実施において、相互作用は、複数の相互作用する物体が影響を受けるという点で、双方向性であり得る。
車両計算システムは、物体と関連付けられる取得されたデータに基づいて、2つの物体間の相互作用を決定し得る。いくつかの実施において、車両計算システム102(例えば、相互作用システム134)は、物体と関連付けられるデータに少なくとも部分的に基づいて、その物体と関連付けられる相互作用を予測し得る。いくつかの実施において、車両計算システム102は、第1の物体202および1または複数の第2の物体(例えば物体208)と関連付けられるデータに少なくとも部分的に基づいて、第1の物体202と1または複数の第2の物体との間の相互作用を決定する間の相互作用を決定し得る。
例えば、車両計算システム102は、第1の物体202の初期の予測される軌道206、および、別の第2の物体208の初期の予測される軌道210および/または位置、マップデータ120、ならびに/または、他のタイプのデータに基づいて、第1の物体202と関連付けられる相互作用を決定し得る。例えば、車両計算システム102は、第1の物体202の初期軌道に少なくとも部分的に基づいて、第1の物体202と1または複数の第2の物体との間の相互作用を決定し得る。例として、車両計算システムは、それぞれの物体の各々のための初期軌道206、210が同様の時間で交差し得かつ/または重複し得る事象で、第1の物体202が別の第2の物体208と相互作用し得ることを予測し得る。別の例において、車両計算システム102は、物体212の初期軌道216、物体212の速さ、物体212の位置(例えば、物体が通行している通行レーン)、および/または物体212の他の特徴と物体214の初期軌道218および/または位置とに少なくとも部分的に基づいて、物体212(例えば後行する車両)と別の物体214(例えば先行する車両)との間の相互作用を予測し得る。加えて、または代替として、車両計算システム102は、物体214の初期軌道218が周辺環境内の静止物体216の場所(例えば、静止物体と関連付けられる境界ボックス)と交差し得る事象において、物体214が静止物体216(例えば、駐車された車両、駐輪された自転車等)と相互作用し得ることを決定し得る。別の例において、物体と車両104との間の相互作用は、物体の初期軌道、および、車両104の計画される挙動軌道211および/または位置に少なくとも部分的に基づいて決定され得る。
いくつかの実施において、第1の物体と1または複数の第2の物体との間の相互作用は、車両104の周辺環境と関連付けられるマップデータ120に少なくとも部分的に基づいて決定され得る。例えば、車両計算システム102は、物体の初期軌道および物体が通行している区域のマップに少なくとも部分的に基づいて、物体が、停止標識、合流区域、信号機等と相互作用し得ることを決定し得る。そのうえ、車両計算システム102は、少なくとも部分的にマップデータに基づいて、物体が別の物体および/または車両102と相互作用する可能性があることを決定し得る。例として、車両計算システム102は、物体212が別の物体214と同一の通行レーン内を通行しており他の物体214へ接近することを決定するために、初期軌道216、および物体212が通行している区域のマップデータ120を評価し得る。
車両計算システム102(例えば、相互作用システム134)は、少なくとも部分的に相互作用に基づいて、物体のための1または複数の予測される相互作用軌道を決定し得る。予測される相互作用軌道は、相互作用の結果として物体が横断する潜在的な軌道を表示し得る。例えば、車両計算システム102は、第1の物体202と1または複数の第2の物体(例えば物体208)との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第1の物体202の1または複数の予測される相互作用軌道220A−Bを決定し得る。加えて、または代替として、車両計算システム102は、第2の物体と関連付けられる相互作用(例えば、第1の物体202と物体208との間の相互作用)に少なくとも部分的に基づいて、1または複数の第2の物体(例えば物体208)の1または複数の予測される相互作用軌道222A−Bを決定し得る。別の例において、車両計算システム102は、物体214と静止物体216(例えば駐車された車両)との間の相互作用に少なくとも部分的に基づいて、物体214のための1または複数の予測される相互作用軌道224A−Bを決定し得る。車両計算システム102は、物体214(例えば先行する車両)との物体212(例えば後行する車両)の相互作用に基づいて、物体212のための1または複数の予測される相互作用軌道226A−Bを決定し得る。いくつかの実施において、予測される相互作用軌道は、車両の行動(例えば、通過する、列に並ぶ、停止する等)と関連付けられる別個の決定を表示し得る。
車両計算システム102は、(例えば単一の相互作用から生じる)車両104の周辺環境内の物体の1または複数の予測される相互作用軌道を反復して決定し得る。例えば、各々の反復において、各々の軌道は、以前の反復において展開された他の軌道との対立を避けるように調節され得る。車両計算システム102は、物体のそれぞれの軌道の間の潜在的な対立に基づいて、それらの物体間の相互作用を予測し得る。例えば、車両計算システム102は、第1の物体202の第1の予測される相互作用軌道が、1または複数の第2の物体(例えば物体208)の1または複数の第2の予測される相互作用軌道との対立にあることを決定し得る。例えばそれらの軌道が物体の衝突となり得る事象において、軌道は対立にあると考えられ得る。第1の物体の第1の予測される相互作用軌道202Aが、1または複数の第2の物体(例えば物体208)の1または複数の第2の予測される相互作用軌道との対立にあることを決定することへ応答して、車両計算システム102は、第1の物体の1または複数の予測される相互作用軌道220A−Bが、1または複数の第2の物体の1または複数の第2の予測される相互作用軌道222A−Bとの対立にないように、第1の物体202の1または複数の予測される相互作用軌道220A−Bを決定し得る。例えば、車両計算システム102は、反復の結果として発生し得る第1の物体202の予測される相互作用軌道220A−Bのように、1または複数の第2の物体の予測される相互作用軌道との対立にない(例えば、第1の物体202が第2の物体(単数または複数)と衝突することを引き起こし得ない)第1の物体202のための軌道を選択し得る。
いくつかの実施において、車両計算システム102は、1または複数の方針に少なくとも部分的に基づいて、物体のための1または複数の予測される相互作用軌道を決定し得る。方針は、予測される軌道のセットへ適用される特別な軌道戦略であり得る。例えば、方針は、物体が所与のシナリオおよび/または相互作用のタイプを行うことを表示し得る。例として方針は、物体が全道停止での通行権規則へ服従し得、かつ/または遵守し得ることを示し得る。別の例において、方針は、先行−後行シナリオのために、後行する物体が先行する物体の後方で列に並ぶことを示し得る(例えば、後行する物体は、余裕のある従属距離で先行する物体の速さに適合するように減速する)。そのような方針は、予測される相互作用軌道を決定するために利用されるモデル(例えば、規則(単数または複数)ベースのモデル、機械学習されたモデル等)内で実施され得る。例えば、車両計算システム102は、先行−後行方針に基づいて、物体212が物体214の速さに適合するように減速することを決定し得る。
いくつかの実施において、方針は、ワンタイムの方針および/または繰り返される方針を含み得る。ワンタイムの方針は初期の反復(例えば第0反復)で適用され得、方針に従って展開される後続の軌道は変更されない。例えば、方針は、全道停止において車両のための軌道の生産を助けるために用いられ得る。繰り返される方針は、各々の反復で適用され得る。例えば反復Kで、繰り返される方針は、最終反復からの全ての軌道を用いて軌道を展開するために適用され得、方針のない軌道が現在の反復において展開され得る。物体212が別の物体214に従うことを、車両計算システム102が決定する事象において、車両計算システム102は、連続して2つの物体212、214の軌道を決定するために方針を利用し得る。
加えて、または代替として、車両計算システム102(例えば軌道システム134)は、グラフモデルに基づいて、物体の予測される軌道を決定し得る。例えば、車両計算システム102は、グラフモデルを用いて第1の物体202を1または複数の第2の物体と関連付けることによって、第1の物体202および1または複数の第2の物体(例えば物体208)のための相互作用を決定し得る。第1の物体202を1または複数の第2の物体(例えば物体208)と関連付けた後、車両計算システム102は、グラフモデルに基づいて、第1の物体202の1または複数の予測される相互作用軌道を決定し得る。例として、車両計算システム102は方向性グラフを生成し得る。方向性グラフは、相互作用軌道が展開されるべき順序を表し得る。例えば、相互作用軌道は独立して展開され得る。各々の反復で、車両計算システム102は、軌道を表す頂点および2つの軌道間の従属を表す辺を有するグラフを作り出し得る。対立する軌道がまず展開されるべき場合には、現在の軌道の根源として対立する軌道をマークするために、各々の軌道ごとにモデル(例えばクラス分け)および/またはヒューリスティクスのセットが適用され得る。辺は、この従属を表すためにグラフへ加えられ得る。モデル/ヒューリスティクスは、車両の行動(例えば通過する、列に並ぶ等)および他の別個の決定を決定するために用いられ得る。車両計算システム102(例えば、相互作用システム134)は、グラフ内のサイクルおよび双方向性の辺を探索し得、サイクルおよび双方向性の辺内の軌道を共同で展開し得、その後他の軌道を展開し得る。そのような手法は、2つの反復により作り出されるグラフが同一であるときに終了し得る。
いくつかの実施において、車両計算システム102は、センサデータに少なくとも部分的に基づいて、相互作用および/または予測される相互作用軌道を決定し得る。例えば、車両計算システム102は、周辺環境と関連付けられる画像データ(例えば、ラスタライズされた画像データ)を取得し得る。画像データは、地理的特徴(例えば、停止線、レーン境界等)を表示し得る。車両計算システム102(例えば、相互作用システム134)は、少なくとも画像データに基づいて、相互作用を決定し得る。例えば、車両計算システム102は、そのような画像データに基づいて、物体が停止標識と相互作用しかつ/またはレーン内へ合流することを決定し得る。
いくつかの実施において、車両計算システム102は、規則(単数または複数)ベースのモデルに少なくとも部分的に基づいて、予測される相互作用軌道を決定し得る。規則(単数または複数)ベースのモデルは、相互作用のタイプおよび周辺の状況が与えられた場合に物体が従い得る潜在的な軌道を画定する、ヒューリスティックを有するアルゴリズムを含み得る。ヒューリスティックは、現実世界で車両(単数または複数)(例えば自律車両)により獲得される運転ログデータに基づいて展開され得る。そのような運転ログデータは、(例えば静止物体および/またはアクター物体を含む)現実世界の物体−物体相互作用、物体−車両相互作用、物体−交通規則相互作用等を表示し得る。そのうえ、運転ログデータは、これらの相互作用に基づいて、現実世界で物体によって通行される経路を表示し得る。例えば、1または複数の規則は、迫り来る車両に基づいて、信号無視する歩行者が従い得る予測される相互作用軌道を表示し得る。これは、例えば、信号無視者が迫り来る車両の前で通行道を横切ることを示す予測される相互作用軌道、および/または、信号無視者が停止して、迫り来る車両を通過させ、それから通行道を横切ることを示す別の予測される相互作用軌道を含み得る。
いくつかの実施において、車両計算システム102(例えば相互作用システム134)は、機械学習されたモデルに少なくとも部分的に基づいて、1または複数の予測される相互作用軌道を決定し得る。図3は、本開示の実施形態の例に従った、モデル302の実施例の例図300を描写する。例えば、車両計算システム102は、機械学習された相互作用予測モデル302を含み得、使用し得かつ/または別様に、モデルに影響を及ぼし得る。機械学習された相互作用予測モデル302は、例えば、ニューラルネットワーク(例えば深層ニューラルネットワーク)、または他の多層非線形モデルのような1または複数の種々のモデルであり得、または別様にそれを含み得る。ニューラルネットワークは、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク(例えば、長短期メモリ再帰型ニューラルネットワーク)、フィードフォワードニューラルネットワーク、および/または他の形式のニューラルネットワークを含み得る。例えば、教師付き訓練技術は、(例えば、相互作用および/または結果的な軌道の公知の例でラベル付けされた運転ログデータ、センサデータ、状態データ等を用いて、)第1の物体と1または複数の第2の物体との間の相互作用、および/または、等相互作用と関連付けられる予測される相互作用軌道を予測するように、機械学習される相互作用予測モデル302を訓練するために遂行され得る。いくつかの実施において、訓練データは、1または複数の相互作用および/または相互作用軌道を予測するように、機械学習される相互作用予測モデル302を訓練することを助けるために、本明細書において説明されるように、規則ベースのモデルを用いて決定される、予測される相互作用軌道に少なくとも部分的に基づき得る。訓練データは機械学習されるモデルをオフラインで訓練するために用いられ得、機械学習されたモデルは、相互作用および/または相互作用軌道を予測するための追加のまたは代替の手法として用いられ得る。
車両計算システム102は、機械学習されたモデル内へデータを入力し得、かつ出力を受け取り得る。例えば、車両計算システム102は、車両104に搭載されたアクセス可能なメモリから、かつ/または(例えば無線ネットワークを介して)車両104から離れたメモリから、機械学習された相互作用予測モデル302を表示するデータを取得し得る。車両計算システム102は、機械学習された相互作用予測モデル302内へ入力データ304を提供し得る。入力データ304は、第1の物体および1または複数の第2の物体と関連付けられるデータを含み得る。これは、第1の物体と関連付けられる初期軌道、状態データ、センサデータ、他の物体の軌道/状態データ、計画される車両軌道、マップデータ等を表示するデータ、および/または、1または複数の第2の物体と関連付けられる初期軌道、状態データ、センサデータ、他の物体の軌道/状態データ、計画される車両軌道、マップデータ等を表示するデータを含み得る。機械学習された相互作用予測モデル302は、物体と関連付けられる相互作用(例えば、物体−物体相互作用、物体−車両相互作用等)を予測するために、入力データ304を処理し得る。そのうえ、機械学習された相互作用予測モデル302は、少なくとも部分的に相互作用に基づいて、物体のための1または複数の相互作用軌道を予測し得る。車両計算システム102は、機械学習された相互作用予測モデル302から出力306を取得し得る。出力304は、周辺環境内の物体の1または複数の予測される相互作用軌道を表示し得る。例えば、出力304は、周辺環境内の第1の物体202の1または複数の予測される相互作用軌道220A−Bを表示し得る。いくつかの実施において、車両計算システム102は、予測される相互作用を表示する入力データを提供し得、機械学習された相互作用予測モデル302は、そのような入力データに基づいて、予測される相互作用軌道を出力し得る。いくつかの実施において、出力304はまた、各々のそれぞれの軌道と関連付けられる確率を表示し得る。
図4A−図4Dは、本開示の実施形態の例に従った、予測される相互作用軌道の確率の例の図を描写する。車両計算システム102(例えば相互作用システム134)は、それぞれの1または複数の予測される相互作用軌道の各々のための確率を決定し得る。確率は、物体(例えば第1の物体202)がそのそれぞれの予測される相互作用軌道に従って行動する可能性を表示し得る。確率は、スコア、パーセンテージ、小数および/または他の形式として表現され得る。
図4Aへ参照すると、車両計算システム102は、第1の物体202(例えば信号無視する歩行者)が、予測される相互作用軌道220Aに従って行動する(例えば、迫り来る車両が通過する前に、その車両の前を走る)確率(例えば確率2)よりも、第1の物体202が、例えば、通行道204を横切る前に停止して、物体208(例えば、迫り来る車両)が通過するのを待つことによって、相互作用軌道220Bに従って行動する、より高い確率(例えば確率1)が存在することを決定し得る。別の例において、図4Bへ参照すると、車両計算システム102は、物体208が予測される相互作用軌道222Aに従って行動する(例えば、歩行者の後方で列に並ぶ、速度を低減させる等)確率(例えば確率3)、および/または、物体208が予測される相互作用軌道222Bに従って行動する(例えば歩行者を通過する等)確率(例えば確率4)を決定し得る。別の例において、図4Cへ参照すると、車両計算システム102は、物体214が予測される相互作用軌道224Aに従って行動する(例えば、駐車された車両の周りをゆっくりと進む等)確率(例えば確率5)、および/または、物体214が予測される相互作用軌道224Bに従って行動する(例えば、駐車された車両の後方で停止する等)確率(例えば、確率6)を決定し得る。別の例において、図4Dへ参照すると、車両計算システム102は、物体212が予測される相互作用軌道226Aに従って行動する(例えば、先行する車両を通過する等)確率(例えば確率7)、および/または、物体212が予測される相互作用軌道226Bに従って行動する(例えば、先行する車両の後方で列に並ぶ等)確率(例えば確率8)を決定し得る。
いくつかの実施において、軌道の各々のための確率は、予測される相互作用軌道の各々のための最終スコアを決定するように構成される、軌道スコアリングシステムへ提供され得る。例えば、車両計算システム102(例えば予測システム126)は、軌道および関連付けられる確率を入力データとして受け取るよう訓練され、または別様に構成される軌道スコアリングモデル(例えば、規則(単数または複数)ベースのモデルおよび/または機械学習されたモデル)へアクセスし得、かつ利用し得る。軌道スコアリングモデルは、例えば、そのような軌道が物体にとってどのくらい現実的または達成可能かを表示する最終スコアを提供し得る。そのような軌道スコアリングモデルは、例えば、妥当な軌道(例えば、観測された軌道)または妥当でない軌道(例えば、合成された軌道)としてラベル付けされた軌道を含む訓練データで訓練され得る。
図1へ戻ると、車両計算システム102は、(例えば、第1の物体202の)1または複数の予測される相互作用軌道を表示するデータを出力し得る。例えばそのようなデータは、第1の物体202の予測される相互作用軌道220A−B、および各々のそれぞれの軌道と関連付けられる最終スコアを表示し得る。予測システム126は、(例えば、図3に示されるように)このデータを挙動計画システム128へ出力し得る。車両計算システム102(例えば挙動計画システム128)は、周辺環境内の第1の物体202の1または複数の予測される相互作用軌道220A−Bに少なくとも部分的に基づいて、車両104のための挙動計画136を決定し得る。挙動計画136は、車両の近傍の物体に対する車両の行動(例えば、計画される車両の軌道、速さ(単数または複数)、加速度(単数または複数)、他の行動等)、および物体の予測される動きを含み得る。例えば、挙動計画システム128は、挙動計画136を作り上げる最適化された変数を決定するために、車両の行動と関連付けられるコストデータ、および、もしあるならば、他の目的関数(例えば、速さ制限、信号機等に基づくコスト関数)を考慮する最適化アルゴリズムを実施し得る。挙動計画システム128は、車両への潜在的リスクを増加させずに、かつ/またはいずれの交通法(例えば、速さ制限、レーン境界、標識)も違反せずに、車両104が特定の行動(例えば物体を通過する)を遂行し得ることを決定し得る。例えば、周辺環境を通した最適化された車両の軌道を決定するような、そのコストデータ分析の間、挙動計画システム128は、予測される相互作用軌道220A−B(および関連付けられるスコア(単数または複数))の各々を評価し得る。いくつかの実施においては、(例えば、別の変数がより不可欠重要であるとみなされるため、)予測される相互作用軌道220A−Bのうちの1または複数は、車両104の挙動を最終的に変化させない場合がある。いくつかの実施において、車両104が周辺環境内で相互作用することが予測される物体(単数または複数)を避け、特定の物体(単数または複数)の周りのより多くの車側間隔を与えるために速さを低減させ、慎重に前進し、停止する行動を遂行する等するように、挙動計画136は車両の挙動を定義し得る。
挙動計画システム128は、車両の挙動計画136および対応する計画される車両挙動軌道を絶えず更新するように構成され得る。例えば、いくつかの実施において、挙動計画システム128は、(例えば、1秒当たりに複数回)車両104のための新たな挙動計画(単数または複数)136を生成し得る。各々の新たな挙動計画は、次の数秒(例えば5秒)の間、車両104の挙動を説明し得る。そのうえ、新たな挙動計画は、新たな計画される車両挙動軌道を含み得る。従って、いくつかの実施において、挙動計画システム128は、現在利用可能なデータに基づいて、短期の挙動計画を修正しまたは別様に生成するために、絶えず動作し得る。最適化プランナが最適な挙動計画を識別すると(またはいくつかの他の反復休止が発生すると)、最適な挙動計画(および計画される挙動軌道)が、車両104により選択され得かつ実行され得る。
車両計算システム102は、車両104が少なくとも挙動計画136の一部に従って挙動を開始することを引き起こし得る。例えば挙動計画136は、車両制御システム116へ提供され得、車両制御システム116は、挙動計画136を実施するように構成される車両コントローラを含み得る。車両コントローラは、例えば、挙動計画136を車両制御(例えば、加速制御、ブレーキ制御、ステアリング制御等)のための命令へ変換し得る。例として、車両コントローラは、決定された車両軌道136を、車両104のステアリングを「X」度調節し、ブレーキ力の特定の大きさを適用する等のための命令へ変換し得る。車両コントローラは、命令を実行しかつ挙動計画136を実施するために、1または複数の制御信号を、応答可能な車両制御(例えば、ブレーキ制御システム、ステアリング制御システム、加速制御システム等)へ送り得る。このことは、車両制御システム(単数または複数)116が、計画される挙動軌道に従って車両104の挙動を制御することを可能とし得る。
図5は、本開示の実施形態の例に従った、物体の挙動を決定しかつ車両の挙動を制御するための別の方法例500のフロー図を描写する。方法500の1または複数の部分は、例えば車両計算システム102および/または他のシステムのうちの1または複数の計算デバイスのような、1または複数の計算デバイスによって実施され得る。方法500の各々のそれぞれの部分は、1または複数の計算デバイスの任意のもの(または任意の組み合わせ)によって遂行され得る。そのうえ、方法500の1または複数の部分は、例えば物体の挙動を決定し物体の挙動に対して車両を制御するために、(例えば図1および図6におけるように)本明細書において説明されるデバイス(単数または複数)のハードウェア構成要素で、アルゴリズムとして実施され得る。図5は、例示および検討の目的のために、特定の順序で、遂行される要素を描写する。当業者は、本明細書で提供される開示を用いて、本開示の範囲から逸脱しない種々の方法で、本明細書で検討される方法のうちの任意のものの要素が適応され得、再配置され得、拡大され得、省略され得、組み合わされ得かつまたは変更され得ることを理解する。
(502)において、方法500は、車両の周辺環境内の物体と関連付けられるデータを取得することを含み得る。例えば、車両計算システム102は、車両104の周辺環境内の第1の物体および1または複数の第2の物体と関連付けられるデータを取得し得る。いくつかの実施において、車両計算システム102は、車両104の周辺環境内の第1の物体202および/または1または複数の第2の物体(例えば物体208)の初期の予測される軌道を表示するデータを取得し得る。いくつかの実施において、車両計算システム102は、周辺環境内の第1の物体202および1または複数の第2の物体の1または複数の現在または過去の状態を表示する状態データ130を取得し得る。車両計算システム102は、第1の物体202の1または複数の現在または過去の状態を表示する状態データ130に少なくとも部分的に基づいて、周辺環境内の第1の物体202の初期の予測される軌道206を決定し得、かつ/または、第2の物体(単数または複数)の1または複数の現在または過去の状態を表示する状態データ130に少なくとも部分的に基づいて、周辺環境内の第2の物体(単数または複数)の1または複数の初期の予測される軌道を決定し得る。
(504)において、方法500は、物体と関連付けられる相互作用を決定することを含み得る。例えば、車両計算システム102は、車両104の周辺環境内で、第1の物体202の初期の予測される軌道206、および/または、1または複数の第2の物体の1または複数の初期の予測される軌道に少なくとも部分的に基づいて、第1の物体202と1または複数の第2の物体(例えば、物体208)との間の相互作用を決定し得る。例えば、車両計算システム104は、各々の物体のそれぞれの軌道が交差し得または重複し得る事象において、2つの物体が相互作用し得ることを決定し得る。いくつかの実施において、車両計算システム102は、機械学習されたモデルに少なくとも部分的に基づいて、第1の物体202と1または複数の第2の物体との間の相互作用を決定し得る。
(506)において、方法500は、少なくとも部分的に相互作用に基づいて、物体のための1または複数の予測される相互作用軌道を決定することを含み得る。例えば、車両計算システム102は、第1の物体202と1または複数の第2の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第1の物体202の1または複数の予測される相互作用軌道220A−Bを決定し得る。本明細書で説明されるように、車両計算システム102は、規則(単数または複数)ベースのモデル、機械学習されたモデル、グラフモデル、センサデータ等に基づいて、予測される相互作用軌道を決定し得る。
(508)において、方法500は、1または複数のそれぞれの予測される相互作用軌道の各々のための確率を決定し得る。例えば、車両計算システム102は、それぞれの1または複数の予測される相互作用軌道の各々のための確率を決定し得る。それぞれの相互作用軌道のための確率は、第1の物体202がそれぞれの予測される相互作用軌道に従って行動する可能性を表示し得る。例として、車両計算システム102は、周辺環境内の第1の物体202の1または複数の予測される相互作用軌道220A−Bを反復して決定し得る。車両計算システム102は、1または複数の予測される相互作用軌道220A−Bの各々のために、第1の物体202がそれぞれの予測される相互作用軌道に従って行動する可能性を決定し得る。本明細書において説明されるように、車両計算システム102は、それぞれの1または複数の予測される相互作用軌道220A−Bの各々のための確率に少なくとも部分的に基づいて、1または複数の予測される相互作用軌道220A−Bの各々のためのスコアを決定し得る。
(510)において、方法500は、1または複数の予測される相互作用軌道を表示するデータを出力することを含み得る。例えば、車両計算システム102は、第1の物体202の1または複数の予測される相互作用軌道220A−Bを表示するデータを出力し得る。そのようなデータは、予測システム126から挙動計画システム128へ出力され得、かつ/または、(例えば車両104に搭載された)メモリへ出力され得る。(512)において、車両計算システム102は、1または複数の予測される相互作用に少なくとも部分的に基づいて、車両のための挙動計画を決定し得る。例えば、車両計算システム102は、(例えば、そのコストデータ分析の一部として)車両104のための挙動計画を決定するときに、第1の物体202のための予測される相互作用軌道の各々を考慮し得る。(514)において、車両計算システム102は挙動計画を実施し得る。例えば、車両計算システム102は、車両104が少なくとも挙動計画の少なくとも一部に従った挙動を開始することを引き起こし得る。
図6は、本開示の実施形態の例に従ったシステム例600のシステム構成要素の例を描写する。システム例600は、1または複数のネットワーク(単数または複数)680を経由して通信可能に結合される、車両計算システム102、動作計算システム106および機械学習計算システム630を含み得る。
車両計算システム102は、1または複数の計算デバイス601を含み得る。車両計算システム102の計算デバイス(単数または複数)601は、プロセッサ(単数または複数)602および(例えば車両104に搭載された)メモリ604を含み得る。1または複数のプロセッサ602は、任意の適切な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラ等)であり得、1つのプロセッサまたは動作可能に接続される複数のプロセッサであり得る。メモリ604は、RAM、ROM、EEPROM、EPROM、1または複数のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせのような、1または複数の非一過性コンピュータ読み取り可能なストレージ媒体を含み得る。
メモリ604は、1または複数のプロセッサ602によって取得され得る情報を記憶し得る。例えば、メモリ604(例えば、1または複数の非一過性コンピュータ読み取り可能なストレージ媒体、メモリデバイス)は、1または複数のプロセッサ602によって実行され得るコンピュータ読み取り可能な命令606を含み得る。命令606は、任意の適切なプログラミング言語で記されたソフトウェアであり得、またはハードウェア内で実行され得る。加えて、または代替として、命令606は、プロセッサ(単数または複数)602上の、論理的にかつ/または仮想的に分離したスレッドにおいて実行され得る。
例えば、メモリ604は、命令606を記憶し得、命令606は、1または複数のプロセッサ602によって実行されると、車両計算システム102の動作および機能、車両104の動作および機能、若しくは、本明細書で説明されるような、車両計算システム102が構成されるための動作および機能のうちの任意のもの、物体の挙動を決定しかつ車両を制御するための動作(例えば、方法500の1または複数の部分)、および/または、本明細書で説明されるような車両計算システム102のための任意の他の動作および機能等の動作を遂行すること1または複数のプロセッサ602(計算システム102)に行わせる。
メモリ604は、取得され得(例えば、受け取られ得、アクセスされ得、記され得、操作され得、生成され得、作り出され得る等)かつ/または記憶され得るデータ608を記憶し得る。データ608は、例えば、センサデータ、状態データ、予測データ、相互作用を表示するデータ、方針を表示するデータ、グラフモデルを表示するデータ、規則(単数または複数)ベースのモデルを表示するデータ、機械学習されたモデル(単数または複数)を表示するデータ、入力データ、出力データ、予測される相互作用軌道を表示するデータ、挙動計画を表示するデータ、マップデータ、および/または本明細書で説明される他のデータ/情報を含み得る。いくつかの実施において、計算デバイス(単数または複数)601は、車両104から離れた1または複数のメモリデバイス(単数または複数)からデータを取得し得る。
計算デバイス(単数または複数)601はまた、車両104に搭載された1または複数の他のシステム(単数または複数)、および/または、車両104から離れた遠隔計算デバイス(例えば、図6の他のシステム等)と通信するための用いられる通信インタフェース609を含み得る。通信インタフェース609は、1または複数のネットワーク(例えば680)を介して通信するために、任意の回路、構成要素、ソフトウェア等を含み得る。いくつかの実施において、通信インタフェース609は、例えば、データ/情報を通信するための、通信コントローラ、レシーバ、トランシーバ、トランスミッタ、ポート、コンダクタ、ソフトウェア、および/または、ハードウェアの1または複数を含み得る。
動作計算システム106は、車両(例えば、自律車両の一団)を管理しかつ/または本明細書で説明される別様のための動作および機能を遂行し得る。動作計算システム106は、車両104から離れて位置し得る。例えば、動作計算システム106は、オフラインで、搭載されない等して動作し得る。動作計算システム106は、1または複数の別個の物理計算デバイスを含み得る。
動作計算システム106は、1または複数の計算デバイス620を含み得る。1または複数の計算デバイス620は、1または複数のプロセッサ622およびメモリ624を含み得る。1または複数のプロセッサ622は、任意の適切な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラ等)であり得、1つのプロセッサまたは動作可能に接続される複数のプロセッサであり得る。メモリ624は、RAM、ROM、EEPROM、EPROM、1または複数のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせのような、1または複数の非一過性コンピュータ読み取り可能なストレージ媒体を含み得る。
メモリ624は、1または複数のプロセッサ622によってアクセスされ得る情報を記憶し得る。例えば、メモリ624(例えば、1または複数の非一過性コンピュータ読み取り可能なストレージ媒体、メモリデバイス)は、取得され得、受け取られ得、アクセスされ得、記され得、操作され得、作り出され得、かつ/または記憶され得るデータ626を記憶し得る。データ626は例えば、モデル(単数または複数)を表示するデータ、車両(単数または複数)と関連付けられるデータ、および/または本明細書で説明される他のデータまたは情報を含み得る。いくつかの実施において、動作計算システム106は、動作計算システム106から離れた1または複数のメモリデバイス(単数または複数)からデータを取得し得る。
メモリ624はまた、1または複数のプロセッサ622によって実行され得るコンピュータ読み取り可能な命令628を記憶し得る。命令628は、任意の適切なプログラミング言語で記されたソフトウェアであり得、またはハードウェアで実施され得る。加えて、または代替として、命令628は、プロセッサ(単数または複数)622上の論理的かつまたは事実上分離したスレッドで実行され得る。例えば、メモリ624は、命令628を記憶し得、命令628は、1または複数のプロセッサ622によって実行されると、動作計算システム106の動作および/または機能、および/または、他の動作および機能のうちの任意のものを遂行することを1または複数のプロセッサ622に行わせる。
計算デバイス(単数または複数)620はまた、1または複数の他のシステム(単数または複数)と通信するために用いられる通信インタフェース629を含み得る。通信インタフェース629は、1または複数のネットワーク(例えば680)を介して通信するための、任意の回路、構成要素、ソフトウェア等を含み得る。いくつかの実施において、通信インタフェース629は、例えば、データ/情報を通信するための通信コントローラ、レシーバ、トランシーバ、トランスミッタ、ポート、コンダクタ、ソフトウェアおよび/またはハードウェアのうちの1または複数を含み得る。
本開示の側面に従って、車両計算システム102および/または動作計算システム106は、1または複数の機械学習されたモデル640を記憶し得、または含み得る。例として、機械学習されたモデル640は、例えば、ニューラルネットワーク(例えば、深層ニューラルネットワーク)、サポートベクターマシン、決定木、アンサンブルモデル、k近傍法モデル、ベイジアンネットワーク、または、線形モデルおよび/または非線形モデルを含む他のタイプのモデルのような種々の機械学習されたモデルであり得、または別様に含み得る。ニューラルネットワークの例は、フィードフォワードニューラルネットワーク、再帰型ニューラルネットワーク(例えば、長短期メモリ再帰型ニューラルネットワーク)、または他の形式のニューラルネットワークを含む。機械学習されたモデル640は、本明細書で説明されるように、モデル302および/または他のモデル(単数または複数)を含み得る。
いくつかの実施において、車両計算システム102および/または動作計算システム106は、ネットワーク(単数または複数)680を経由して機械学習計算システム630から1または複数の機械学習されたモデル640を受け取り得、それぞれのシステムのメモリ中に1または複数の機械学習されたモデル640を記憶し得る。車両計算システム102および/または動作計算システム106は、1または複数の機械学習されたモデル640を(例えばプロセッサ(単数または複数)602、622によって)用い得、または別様に実施し得る。特に、車両計算システム102および/または動作計算システム106は、本明細書で説明されるように、物体の相互作用(単数または複数)および/または予測される相互作用軌道を決定するために、機械学習されたモデル(単数または複数)640を実施し得る。
機械学習計算システム630は、1または複数のプロセッサ632およびメモリ634を含み得る。1または複数のプロセッサ632は、任意の適切な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラ等)であり得、1つのプロセッサまたは動作可能に接続される複数のプロセッサであり得る。メモリ634は、RAM、ROM、EEPROM、EPROM、1または複数のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせのような1または複数の非一過性コンピュータ読み取り可能なストレージ媒体を含み得る。
メモリ634は、1または複数のプロセッサ632によってアクセスされ得る情報を記憶し得る。例えば、メモリ634(例えば、1または複数の非一過性コンピュータ読み取り可能なストレージ媒体、メモリデバイス)は、取得され得、受け取られ得、アクセスされ得、記され得、操作され得、作り出され得、かつ/または記憶され得るデータ636を記憶し得る。いくつかの実施において、機械学習計算システム630は、機械学習計算システム630から離れた1または複数のメモリデバイスからデータを取得し得る。
メモリ634はまた、1または複数のプロセッサ632によって実行され得るコンピュータ読み取り可能な命令638を記憶し得る。命令638は、任意の適切なプログラミング言語で記されたソフトウェアであり得、またはハードウェアで実施され得る。加えて、または代替として、命令638は、プロセッサ(単数または複数)632上の論理的にかつ/または事実上分離したスレッドで実行され得る。メモリ634は、命令638を記憶し得、命令638は、1または複数のプロセッサ632によって実行されると、1または複数のプロセッサ632に動作を実行することを行わせる。機械学習計算システム630は、車両計算システム102および/または動作計算システム106について説明されたものと同様のデバイスおよび/または機能を含む、通信システム639を含み得る。
いくつかの実施において、機械学習計算システム630は、1または複数のサーバ計算デバイスを含み得る。機械学習計算システム630が複数のサーバ計算デバイスを含む場合、そのようなサーバ計算デバイスは、例えば、逐次計算アーキテクチャ、並列計算アーキテクチャ、またはそれらのいくつかの組み合わせを含む、種々の計算アーキテクチャに従って動作し得る。
車両計算システム102および/または動作計算システム106でのモデル(単数または複数)640に加えてまたはその代替として、機械学習計算システム630は、1または複数の機械学習されたモデル650を含み得る。例として、機械学習されたモデル650は、例えば、ニューラルネットワーク(例えば、深層ニューラルネットワーク)、サポートベクターマシン、決定木、アンサンブルモデル、k近傍法モデル、ベイジアンネットワーク、または線形モデルおよび/または非線形モデルを含む他のタイプのモデルのような、種々の機械学習されたモデルであり得、または別様に含み得る。ニューラルネットワークの例は、フィードフォワードニューラルネットワーク、再帰型ニューラルネットワーク(例えば、長短期メモリ)再帰型ニューラルネットワーク、または他の形式のニューラルネットワークを含む。機械学習されたモデル650は、機械学習されたモデル640と同様かつ/または同一であり得る。
例として、機械学習計算システム630は、クライアント−サーバ関係に従って、車両計算システム102および/または動作計算システム106と通信し得る。例えば、機械学習計算システム630は、ウェブサービスを車両計算システム102および/または動作計算システム106へ提供するために、機械学習されたモデル650を実施し得る。例えば、ウェブサービスは、(例えば車両の周辺環境内の物体の挙動を予測する等のために)エンティティが機械学習されたモデルを実施し得るように、車両と関連付けられるエンティティへ機械学習されたモデルを提供し得る。従って、機械学習されたモデル650は、車両計算システム102および/または動作計算システム106に位置し得かつ用いられ得、かつ/または、機械学習されたモデル650は、機械学習計算システム630に位置し得かつ用いられ得る。
いくつかの実施において、機械学習計算システム630、車両計算システム102、および/または、動作計算システム106は、モデルトレーナ660の使用を通して、機械学習されたモデル640および/または650を訓練し得る。モデルトレーナ660は、1または複数の訓練または学習アルゴリズムを用いて、機械学習されたモデル640および/または650を訓練し得る。訓練技術の一例は、誤差逆伝播法である。いくつかの実施において、モデルトレーナ660は、ラベル付けされた訓練データのセットを用いて、教師付き訓練技術を遂行し得る。他の実施において、モデルトレーナ660は、ラベル付けされていない訓練データのセットを用いて教師なし訓練技術を遂行し得る。モデルトレーナ660は、訓練されるモデルの汎化能力を向上させるために、多数の汎化技術を遂行し得る。汎化技術は、重量減衰、ドロップアウト、または他の技術を含む。
特に、モデルトレーナ660は、訓練データのセット662に基づいて、機械学習されたモデル640および/または650を訓練し得る。訓練データ662は、例えば以前の事象からの多数のセットのデータ(例えば、以前に観測された相互作用と関連付けられる運転ログデータ)を含み得る。いくつかの実施において、訓練データ662は、規則(単数または複数)ベースのアルゴリズムを用いて決定される、相互作用および/または予測される相互作用軌道を表示するデータを含み得る。いくつかの実施において、訓練データ662は、そのモデル640/650を利用する車両と同一の車両から採取され得る。このようにして、モデル640/650は、特定の車両へ適合する方法で出力を決定するように訓練され得る。加えて、または代替として、訓練データ662は、そのモデル640/650を利用している車両と異なる1または複数の車両から採取され得る。モデルトレーナ660は、1または複数のプロセッサを制御するハードウェア、ファームウェア、および/またはソフトウェアで実施され得る。
ネットワーク(単数または複数)680は、デバイス間での通信を可能とするネットワークまたはネットワークの組み合わせの任意のタイプであり得る。いくつかの実施において、ネットワーク(単数または複数)680は、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、セキュアネットワーク、セルラーネットワーク、メッシュネットワーク、ピアトゥピア通信リンクおよび/またはいくつかのその組み合わせのうちの1または複数を含み得、任意の数の有線または無線リンクを含み得る。ネットワーク(単数または複数)680を経由する通信は、例えば、任意のタイプのプロトコル、保護スキーム、符号化、フォーマット、パッケージング等を用いて、ネットワークインターフェースを介して達成され得る。
図6は、本開示を実施するために用いられ得るシステムの一例600を例示する。他の計算システムが同様に用いられ得る。例えば、いくつかの実施において、車両計算システム102および/または動作計算システム106は、モデルトレーナ660および訓練データセット662を含み得る。そのような実施において、機械学習されたモデル640は、車両計算システム102および/または動作計算システム106においてローカルで訓練および使用の両方をし得る。別の例として、いくつかの実施において、車両計算システム102および/または動作計算システム106は、他の計算システムへ接続されない場合がある。
車両から離れた計算デバイス(単数または複数)で遂行されるように、本明細書で検討されたタスクを計算することは、代わりに(例えば車両計算システムを介して)車両で遂行され得、または、逆もまた同様である。そのような構成は、本開示の範囲から逸脱せずに実施され得る、コンピュータベースのシステムの使用は、多くの各種の可能な構成、組み合わせ、および、構成要素間のタスクおよび機能性の分割を可能とする。コンピュータで実施される動作は、単一の構成要素でまたは複数の構成要素にわたって遂行され得る。コンピュータで実施されるタスクおよび/または動作は、連続してまたは並行して遂行され得る。データおよび命令は、単一のメモリデバイスで、または複数のメモリデバイスにわたって記憶され得る。
本主題がその実施形態および方法の特定の例について詳細に説明された一方で、前述の理解を遂げる上で、当業者が、そのような実施形態への代替物、変更物および均等物を容易に生産し得ることが認識され得るであろう。よって、本開示の範囲は、限定としてというよりもむしろ例であり、本開示は、当業者へ容易に明らかであり得るように、本主題のそのような変形物、変更物、および/または追加物の含有を除外しない、

Claims (20)

  1. 計算システムであって、
    1または複数のプロセッサと、
    命令を集合的に記憶する1または複数の有形の非一過性コンピュータ読み取り可能な媒体と
    を備え、前記命令は、前記1または複数のプロセッサによって実行されると、
    自律車両の周辺環境内の第1の物体および1または複数の第2の物体と関連付けられるデータを取得することと、
    前記第1の物体および前記1または複数の第2の物体と関連付けられる前記データに少なくとも部分的に基づいて、前記第1の物体と前記1または複数の第2の物体との間の相互作用を決定することと、
    前記第1の物体と前記1または複数の第2の物体との間の前記相互作用に少なくとも部分的に基づいて、前記周辺環境内の前記第1の物体の1または複数の予測される軌道を決定することと、
    前記第1の物体の前記1または複数の予測される軌道を表示するデータを出力することと
    を備える動作を前記計算システムに行わせる、計算システム。
  2. 前記周辺環境内の前記第1の物体および前記1または複数の第2の物体と関連付けられる前記データは、前記周辺環境内の前記第1の物体の初期の予測される軌道を表示するデータを備える、請求項1に記載の計算システム。
  3. 前記周辺環境内の前記第1の物体の1または複数の現在または過去の状態を表示する状態データを取得することと、
    前記周辺環境内の前記第1の物体の前記1または複数の現在または過去の状態を表示する前記状態データに少なくとも部分的に基づいて、前記第1の物体の前記初期の予測される軌道を決定することと
    をさらに備える、請求項2に記載の計算システム。
  4. 前記第1の物体と前記1または複数の第2の物体との間の前記相互作用を決定することは、
    前記第1の物体の前記初期の予測される軌道に少なくとも部分的に基づいて、前記第1の物体と前記1または複数の第2の物体との間の前記相互作用を決定すること
    を備える、請求項2または請求項3のいずれか一項に記載の計算システム。
  5. 前記動作は、
    前記それぞれの1または複数の予測される軌道の各々のための確率を決定することであって、前記確率は、前記第1の物体が前記それぞれの予測される軌道に従って行動する可能性を表示する、こと
    をさらに備える、請求項1から請求項4のいずれか一項に記載の計算システム。
  6. 前記周辺環境内の前記第1の物体の前記1または複数の予測される軌道を決定することは、
    機械学習された相互作用予測モデルを表示するデータを取得することと、
    前記機械学習された相互作用予測モデル内へ前記第1の物体および前記1または複数の第2の物体と関連付けられる前記データを入力することと、
    前記機械学習された相互作用予測モデルからの出力を取得することであって、前記出力は、前記周辺環境内の前記第1の物体の前記1または複数の予測される軌道を表示する、ことと
    を備える、請求項1から請求項5のいずれか一項に記載の計算システム。
  7. 前記第1の物体と前記1または複数の第2の物体との間の前記相互作用は、前記自律車両の前記周辺環境と関連付けられるマップデータに少なくとも部分的に基づいて決定される、請求項1から請求項6のいずれか一項に記載の計算システム。
  8. 前記相互作用は交通規則と関連付けられる、請求項1から請求項7のいずれか一項に記載の計算システム。
  9. 前記1または複数の第2の物体は、前記周辺環境内の静止物体を含む、請求項1から請求項8のいずれか一項に記載の計算システム。
  10. 前記1または複数の第2の物体は、前記周辺環境内のアクター物体を含む、請求項1から請求項9のいずれか一項に記載の計算システム。
  11. 前記1または複数の第2の物体は、前記自律車両を含む、請求項1から請求項10のいずれか一項に記載の計算システム。
  12. 前記第1の物体と前記1または複数の第2の物体との間の前記相互作用を決定することは、前記第1の物体の第1の予測される軌道が前記1または複数の第2の物体の1または複数の第2の予測される軌道との対立にあることを決定することを備え、
    前記周辺環境内の前記第1の物体の前記1または複数の予測される軌道を決定することは、前記第1の物体の前記第1の予測される軌道が、前記1または複数の第2の物体の前記1または複数の第2の予測される軌道との対立にあることを決定することに応答して、前記第1の物体の前記1または複数の予測される軌道が前記1または複数の第2の物体の前記1または複数の第2の予測される軌道との対立にないように、前記第1の物体の前記1または複数の予測される軌道を決定すること
    を備える、請求項1から請求項11のいずれか一項に記載の計算システム。
  13. 前記第1の物体と前記1または複数の第2の物体との間の前記相互作用を決定することは、グラフモデルを用いて、前記第1の物体を前記1または複数の第2の物体と関連付けることを備え、
    前記周辺環境内の前記第1の物体の1または複数の予測される軌道を決定することは、前記第1の物体を前記1または複数の第2の物体と関連付けた後に、前記グラフモデルに基づいて、前記第1の物体の前記1または複数の予測される軌道を決定すること
    を備える、請求項1から請求項12のいずれか一項に記載の計算システム。
  14. 1または複数のプロセッサと、
    命令を集合的に記憶する1または複数の有形の非一過性コンピュータ読み取り可能な媒体と
    を備える自律車両であって、前記命令は、前記1または複数のプロセッサによって実行されると、
    周辺環境内の第1の物体および1または複数の第2の物体の1または複数の現在または過去の状態を表示する状態データを取得することと、
    前記第1の物体の前記1または複数の現在または過去の状態を表示する前記状態データに少なくとも部分的に基づいて、前記周辺環境内の前記第1の物体の初期の予測される軌道を決定することと、
    前記第1の物体の前記初期の予測される軌道に少なくとも部分的に基づいて、前記第1の物体と前記1または複数の第2の物体との間の相互作用を決定することと、
    前記第1の物体と前記1または複数の第2の物体との間の前記相互作用に少なくとも部分的に基づいて、前記周辺環境内の前記第1の物体の1または複数の予測される軌道を決定することと
    を備える動作を計算システムに行わせる、自律車両。
  15. 前記動作は、
    前記周辺環境内の前記第1の物体の前記1または複数の予測される軌道に少なくとも部分的に基づいて、前記自律車両のための挙動計画を決定することと、
    前記挙動計画の少なくとも一部に従って挙動を開始することを前記自律車両に行わせることと
    をさらに備える、請求項14に記載の自律車両。
  16. 前記動作は、
    前記それぞれの1または複数の予測される軌道の各々のための確率を決定することであって、前記それぞれの予測される軌道のための前記確率は、前記第1の物体が前記それぞれの予測される軌道に従って行動する可能性を表示する、こと
    をさらに備える、請求項14または請求項15に記載の自律車両。
  17. 前記動作は、
    前記それぞれの1または複数の予測される相互作用軌道の各々のための前記確率に少なくとも部分的に基づいて、前記1または複数の予測される相互作用軌道の各々のためのスコアを決定すること
    をさらに備える、請求項16に記載の自律車両。
  18. 前記第1の物体と前記1または複数の第2の物体との間の前記相互作用を決定することは、
    機械学習されたモデルに少なくとも部分的に基づいて、前記第1の物体と前記1または複数の第2の物体との間の前記相互作用を決定すること
    を備える、請求項14から請求項17のいずれか一項に記載の自律車両。
  19. 物体の挙動を決定するためのコンピュータで実施される方法であって、前記方法は、
    1または複数の計算デバイスを備える計算システムが、自律車両の周辺環境内の第1の物体の初期の予測される軌道を表示するデータを取得することと、
    前記計算システムが、前記自律車両の前記周辺環境内の前記第1の物体の前記初期の予測される軌道に少なくとも部分的に基づいて、前記第1の物体と1または複数の第2の物体との間の相互作用を決定することと、
    前記計算システムが、前記第1の物体と前記1または複数の第2の物体との間の前記相互作用に少なくとも部分的に基づいて、前記周辺環境内の前記第1の物体の1または複数の予測される軌道を決定することと、
    前記計算システムが、前記第1の物体の前記1または複数の予測される軌道を表示するデータを出力することと
    を備える、コンピュータで実施される方法。
  20. 前記計算システムが、前記第1の物体の前記1または複数の予測される軌道を決定することは、
    前記計算システムが、前記周辺環境内の前記第1の物体の前記1または複数の予測される軌道を反復して決定することと、
    前記計算システムが、前記1または複数の予測される軌道の各々のために、前記第1の物体が前記それぞれの予測される軌道に従って行動する可能性を決定することと
    を備える、請求項19に記載のコンピュータで実施される方法。
JP2020528314A 2017-11-22 2018-11-21 自律車両のための物体相互作用予測システムおよび方法 Active JP7150846B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762589951P 2017-11-22 2017-11-22
US62/589,951 2017-11-22
US15/848,564 US10562538B2 (en) 2017-11-22 2017-12-20 Object interaction prediction systems and methods for autonomous vehicles
US15/848,564 2017-12-20
PCT/US2018/062171 WO2019104112A1 (en) 2017-11-22 2018-11-21 Object interaction prediction systems and methods for autonomous vehicles

Publications (2)

Publication Number Publication Date
JP2021504812A true JP2021504812A (ja) 2021-02-15
JP7150846B2 JP7150846B2 (ja) 2022-10-11

Family

ID=66534386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528314A Active JP7150846B2 (ja) 2017-11-22 2018-11-21 自律車両のための物体相互作用予測システムおよび方法

Country Status (5)

Country Link
US (3) US10562538B2 (ja)
EP (1) EP3714345B1 (ja)
JP (1) JP7150846B2 (ja)
CN (2) CN111656295B (ja)
WO (1) WO2019104112A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021054388A (ja) * 2019-09-30 2021-04-08 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. 自動運転の制御方法、装置、電子機器及び記憶媒体
JP2022129233A (ja) * 2021-02-24 2022-09-05 トヨタ自動車株式会社 遠隔支援システム、遠隔支援方法、及び遠隔支援プログラム

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112796B2 (en) * 2017-08-08 2021-09-07 Uatc, Llc Object motion prediction and autonomous vehicle control
US10156850B1 (en) * 2017-12-08 2018-12-18 Uber Technologies, Inc. Object motion prediction and vehicle control systems and methods for autonomous vehicles
US20190220016A1 (en) * 2018-01-15 2019-07-18 Uber Technologies, Inc. Discrete Decision Architecture for Motion Planning System of an Autonomous Vehicle
JP6979366B2 (ja) * 2018-02-07 2021-12-15 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US20180215377A1 (en) * 2018-03-29 2018-08-02 GM Global Technology Operations LLC Bicycle and motorcycle protection behaviors
DE102018205199B4 (de) * 2018-04-06 2021-03-18 Volkswagen Aktiengesellschaft Ermittlung und Verwendung von Haltepunkten für Kraftfahrzeuge
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
US11249485B2 (en) * 2018-05-30 2022-02-15 Siemens Industry Software Nv Method and system for controlling an autonomous vehicle device to repeatedly follow a same predetermined trajectory
US11112795B1 (en) * 2018-08-07 2021-09-07 GM Global Technology Operations LLC Maneuver-based interaction system for an autonomous vehicle
US10795362B2 (en) * 2018-08-20 2020-10-06 Waymo Llc Detecting and responding to processions for autonomous vehicles
US10814870B2 (en) * 2018-12-04 2020-10-27 GM Global Technology Operations LLC Multi-headed recurrent neural network (RNN) for multi-class trajectory predictions
EP3683782B1 (en) * 2019-01-18 2023-06-28 Honda Research Institute Europe GmbH Method for assisting a driver, driver assistance system, and vehicle including such driver assistance system
US11351991B2 (en) * 2019-03-25 2022-06-07 Zoox, Inc. Prediction based on attributes
US10933867B2 (en) * 2019-05-10 2021-03-02 Arnouse Digital Devices Corporation Artificial intelligence based collision avoidance system and method
GB2587454B (en) * 2019-05-29 2021-12-29 Motional Ad Llc Estimating speed profiles
US11814046B2 (en) 2019-05-29 2023-11-14 Motional Ad Llc Estimating speed profiles
US20200406894A1 (en) * 2019-06-28 2020-12-31 Zoox, Inc. System and method for determining a target vehicle speed
JP7459224B2 (ja) * 2019-07-03 2024-04-01 ウェイモ エルエルシー アンカー軌道を使用したエージェント軌道予測
US11023749B2 (en) * 2019-07-05 2021-06-01 Zoox, Inc. Prediction on top-down scenes based on action data
WO2021004437A1 (en) * 2019-07-05 2021-01-14 Huawei Technologies Co., Ltd. Method and system for predictive control of vehicle using digital images
US11636307B2 (en) * 2019-07-08 2023-04-25 Uatc, Llc Systems and methods for generating motion forecast data for actors with respect to an autonomous vehicle and training a machine learned model for the same
DE102019118366A1 (de) * 2019-07-08 2021-01-14 Zf Friedrichshafen Ag Verfahren sowie Steuergerät für ein System zum Steuern eines Kraftfahrzeugs
US11427146B2 (en) * 2019-07-10 2022-08-30 Pony Ai Inc. Collision protection
CN112242069B (zh) * 2019-07-17 2021-10-01 华为技术有限公司 一种确定车速的方法和装置
US11741719B2 (en) * 2019-08-27 2023-08-29 GM Global Technology Operations LLC Approach to maneuver planning for navigating around parked vehicles for autonomous driving
US11403853B2 (en) * 2019-08-30 2022-08-02 Waymo Llc Occupancy prediction neural networks
US11537127B2 (en) * 2019-09-12 2022-12-27 Uatc, Llc Systems and methods for vehicle motion planning based on uncertainty
US11345342B2 (en) * 2019-09-27 2022-05-31 Intel Corporation Potential collision warning system based on road user intent prediction
US11754408B2 (en) 2019-10-09 2023-09-12 Argo AI, LLC Methods and systems for topological planning in autonomous driving
US11912271B2 (en) 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
CN110949381B (zh) * 2019-11-12 2021-02-12 深圳大学 一种驾驶行为危险度的监测方法及装置
WO2021111164A1 (ja) * 2019-12-02 2021-06-10 日産自動車株式会社 車両制御方法及び車両制御装置
EP3855120A1 (en) * 2020-01-23 2021-07-28 Robert Bosch GmbH Method for long-term trajectory prediction of traffic participants
JP2021131662A (ja) * 2020-02-19 2021-09-09 株式会社Ykg木谷 輸送手段の安全情報システム
US11634140B2 (en) * 2020-02-24 2023-04-25 Nissan Motor Co., Ltd. Vehicle control method and vehicle control device
US11328433B2 (en) * 2020-02-25 2022-05-10 Honda Motor Co., Ltd. Composite field based single shot prediction
US11385642B2 (en) 2020-02-27 2022-07-12 Zoox, Inc. Perpendicular cut-in training
WO2021206793A1 (en) * 2020-04-06 2021-10-14 B&H Licensing Inc. Method and system for detecting jaywalking of vulnerable road users
EP3896942A1 (en) * 2020-04-16 2021-10-20 Robert Bosch GmbH On-board unit, method for cooperative driving, model determination unit, method for determining a machine-learning communication model, system, method, vehicle, and user equipment
WO2021225822A1 (en) * 2020-05-08 2021-11-11 Zoox, Inc. Trajectory classification
US11577759B2 (en) 2020-05-26 2023-02-14 Toyota Research Institute, Inc. Systems and methods for hybrid prediction framework with inductive bias
US11465619B2 (en) * 2020-05-27 2022-10-11 Zoox, Inc. Vehicle collision avoidance based on perturbed object trajectories
US11698639B2 (en) * 2020-06-04 2023-07-11 Waymo Llc Predicting jaywalking behaviors of vulnerable road users
US20220048503A1 (en) 2020-08-12 2022-02-17 Argo AI, LLC Path-conditioned motion forecasting for vehicle motion planning
US11814075B2 (en) * 2020-08-26 2023-11-14 Motional Ad Llc Conditional motion predictions
US11767037B2 (en) 2020-09-22 2023-09-26 Argo AI, LLC Enhanced obstacle detection
GB2599727A (en) * 2020-10-12 2022-04-13 Daimler Ag Predicting the behavior of a vehicle using agent-to-agent relations to control an autonomous vehicle
CN114500736B (zh) * 2020-10-23 2023-12-05 广州汽车集团股份有限公司 一种智能终端运动轨迹决策方法及其系统、存储介质
US11858536B1 (en) * 2020-10-31 2024-01-02 Uatc, Llc Systems and methods for interactive prediction and planning
US11794732B2 (en) * 2020-11-05 2023-10-24 Zoox, Inc. Allocation of safety system resources based on probability of intersection
US20220156576A1 (en) * 2020-11-13 2022-05-19 Amir RASOULI Methods and systems for predicting dynamic object behavior
US11731663B2 (en) * 2020-11-17 2023-08-22 Uatc, Llc Systems and methods for actor motion forecasting within a surrounding environment of an autonomous vehicle
US11753044B2 (en) * 2020-11-18 2023-09-12 Argo AI, LLC Method and system for forecasting reactions of other road users in autonomous driving
US11807233B1 (en) * 2020-12-23 2023-11-07 Zoox, Inc. Procedurally generated safety system determination
EP4024366A1 (en) * 2020-12-30 2022-07-06 Argo AI GmbH Method for controlling a driving behavior of an autonomously driving vehicle, processing device for performing the method, data storage medium and vehicle
DE102021201410A1 (de) * 2021-02-15 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Ermittlung einer Fortbewegungsrichtung eines zumindest teil-autonomen oder autonomen bewegbaren Geräts und Vorrichtung oder System
US11884269B2 (en) * 2021-02-19 2024-01-30 Argo AI, LLC Systems and methods for determining future intentions of objects
WO2022231519A1 (en) * 2021-04-26 2022-11-03 Nanyang Technological University Trajectory predicting methods and systems
EP4082853A1 (en) * 2021-04-28 2022-11-02 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Evaluation apparatus for evaluating a trajectory hypothesis for a vehicle
US20220371622A1 (en) * 2021-05-21 2022-11-24 Honda Motor Co., Ltd. System and method for completing joint risk localization and reasoning in driving scenarios
US11851054B2 (en) * 2021-06-18 2023-12-26 Zoox, Inc. Active prediction based on object trajectories
US11837089B2 (en) 2021-08-05 2023-12-05 Cyngn, Inc. Modular extensible behavioral decision system for autonomous driving
WO2023028274A1 (en) 2021-08-25 2023-03-02 Cyngn, Inc. System and method of large-scale autonomous driving validation
US20230182782A1 (en) * 2021-12-14 2023-06-15 Zoox, Inc. Identifying relevant objects within an environment
CN114291116B (zh) * 2022-01-24 2023-05-16 广州小鹏自动驾驶科技有限公司 周围车辆轨迹预测方法、装置、车辆及存储介质
CN114506344B (zh) * 2022-03-10 2024-03-08 福瑞泰克智能系统有限公司 一种车辆轨迹的确定方法及装置
US20230339394A1 (en) 2022-04-22 2023-10-26 Velo.Ai, Inc Artificially intelligent mobility safety system
CN114715145B (zh) * 2022-04-29 2023-03-17 阿波罗智能技术(北京)有限公司 一种轨迹预测方法、装置、设备及自动驾驶车辆
US11618463B1 (en) * 2022-06-30 2023-04-04 Plusai, Inc. Modified minimal risk maneuver using sensor input
US20240103522A1 (en) * 2022-09-27 2024-03-28 Aurora Operations, Inc. Perception system for an autonomous vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
JP2016139163A (ja) * 2015-01-26 2016-08-04 株式会社日立製作所 車両走行制御装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
WO2011155043A1 (ja) * 2010-06-10 2011-12-15 トヨタ自動車株式会社 周囲状況予測装置
US9381916B1 (en) * 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9235212B2 (en) * 2012-05-01 2016-01-12 5D Robotics, Inc. Conflict resolution based on object behavioral determination and collaborative relative positioning
DE102013005362A1 (de) 2013-03-28 2013-10-10 Daimler Ag Verfahren zur Analyse einer Verkehrssituation
DE102013212318A1 (de) * 2013-06-26 2014-12-31 Bayerische Motoren Werke Aktiengesellschaft Automatisierter Einparkvorgang mit zusätzlichem Korrekturzug
DE102013214233B4 (de) 2013-07-19 2015-02-05 Honda Motor Co., Ltd. Intelligentes Vorwärtskollisionswarnsystem
EP2923911B1 (en) 2014-03-24 2019-03-13 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
DE102014221745A1 (de) * 2014-10-27 2016-04-28 Robert Bosch Gmbh Verfahren und System zur Überwachung eines Fahrzeugs auf einem Parkplatz
KR101664582B1 (ko) * 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US9701305B2 (en) * 2015-03-10 2017-07-11 GM Global Technology Operations LLC Automatic valet parking
DE102015214610A1 (de) * 2015-07-31 2017-02-02 Zf Friedrichshafen Ag Parkassistent
US10023231B2 (en) * 2015-08-12 2018-07-17 Madhusoodhan Ramanujam Parking autonomous vehicles
WO2017068697A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車支援情報の表示方法及び駐車支援装置
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
WO2017132143A1 (en) * 2016-01-29 2017-08-03 Faraday&Future Inc. System and method for tracking moving objects to avoid interference with vehicular door operations
US20180374341A1 (en) * 2017-06-27 2018-12-27 GM Global Technology Operations LLC Systems and methods for predicting traffic patterns in an autonomous vehicle
US10611371B2 (en) * 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
US20190101924A1 (en) * 2017-10-03 2019-04-04 Uber Technologies, Inc. Anomaly Detection Systems and Methods for Autonomous Vehicles
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
JP2016139163A (ja) * 2015-01-26 2016-08-04 株式会社日立製作所 車両走行制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021054388A (ja) * 2019-09-30 2021-04-08 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. 自動運転の制御方法、装置、電子機器及び記憶媒体
US11529971B2 (en) 2019-09-30 2022-12-20 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for autonomous driving control, electronic device, and storage medium
JP7271467B2 (ja) 2019-09-30 2023-05-11 アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド 自動運転の制御方法、装置、電子機器及び記憶媒体
JP2022129233A (ja) * 2021-02-24 2022-09-05 トヨタ自動車株式会社 遠隔支援システム、遠隔支援方法、及び遠隔支援プログラム
JP7388376B2 (ja) 2021-02-24 2023-11-29 トヨタ自動車株式会社 遠隔支援システム、遠隔支援方法、及び遠隔支援プログラム

Also Published As

Publication number Publication date
CN111656295B (zh) 2021-12-14
CN111656295A (zh) 2020-09-11
US10562538B2 (en) 2020-02-18
EP3714345B1 (en) 2022-12-28
CN114326705B (zh) 2023-07-14
CN114326705A (zh) 2022-04-12
US10882535B2 (en) 2021-01-05
WO2019104112A1 (en) 2019-05-31
US20210122380A1 (en) 2021-04-29
JP7150846B2 (ja) 2022-10-11
EP3714345A1 (en) 2020-09-30
US20190152490A1 (en) 2019-05-23
US20200180648A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP7150846B2 (ja) 自律車両のための物体相互作用予測システムおよび方法
US11835951B2 (en) Object motion prediction and autonomous vehicle control
US10656657B2 (en) Object motion prediction and autonomous vehicle control
US11667283B2 (en) Autonomous vehicle motion control systems and methods
US20230161344A1 (en) Discrete Decision Architecture for Motion Planning System of an Autonomous Vehicle
EP3704684B1 (en) Object motion prediction and vehicle control for autonomous vehicles
US20200134494A1 (en) Systems and Methods for Generating Artificial Scenarios for an Autonomous Vehicle
US20190101924A1 (en) Anomaly Detection Systems and Methods for Autonomous Vehicles
US20200159225A1 (en) End-To-End Interpretable Motion Planner for Autonomous Vehicles
US20190066506A1 (en) Autonomous Vehicles Featuring Vehicle Intention System
US10852721B1 (en) Autonomous vehicle hybrid simulation testing
CN113128326A (zh) 具有语义地图和lstm的车辆轨迹预测模型
EP3802260A1 (en) Gridlock solver for motion planning system of an autonomous vehicle
JP2020525948A (ja) 自律車両衝突軽減システムおよび方法
US9964952B1 (en) Adaptive vehicle motion control system
US20230043007A1 (en) Systems and Methods for Detecting Surprise Movements of an Actor with Respect to an Autonomous Vehicle

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211013

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20211021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220928

R150 Certificate of patent or registration of utility model

Ref document number: 7150846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531