JP2022539151A - 車両制御およびガイダンス - Google Patents

車両制御およびガイダンス Download PDF

Info

Publication number
JP2022539151A
JP2022539151A JP2021577397A JP2021577397A JP2022539151A JP 2022539151 A JP2022539151 A JP 2022539151A JP 2021577397 A JP2021577397 A JP 2021577397A JP 2021577397 A JP2021577397 A JP 2021577397A JP 2022539151 A JP2022539151 A JP 2022539151A
Authority
JP
Japan
Prior art keywords
vehicle
waypoint
computing device
determining
guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021577397A
Other languages
English (en)
Inventor
カルドウェル ティモシー
ゴーニャ ラヴィ
ジェームズ ゴールドマン メレディス
レイナルド ラミレス フランク
ミラー ヤング マシュー
ジャン リック
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2022539151A publication Critical patent/JP2022539151A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車両コンピューティングシステムは、動作制約に違反する環境内のシナリオを識別してもよい。車両コンピューティングシステムは、サービスコンピューティングデバイスのガイダンスシステムからのリモートガイダンスを要求してもよい。車両コンピューティングシステムは、ガイダンスシステムから、車両がシナリオを通じてナビゲートするための１つ以上のウェイポイントおよび／または関連する方位を含む入力を受信してもよい。車両コンピューティングシステムは、入力を検証するように構成されてもよい。検証は、ウェイポイント（複数可）および／またはそれと関連付けられた方位（複数可）が車両に安全性プロトコルに違反させるかどうかを判定するよう入力を処理することを含んでもよい。入力が車両に安全性プロトコルに違反させないとの判定に基づいて、車両コンピューティングシステムは、関連する方位において駆動系に各々のウェイポイントまで車両を動作させることなどによって、入力に従って車両を制御してもよい。

Description

関連出願への相互参照
この国際出願は、参照によってその全内容が本明細書に組み込まれる、２０１９年６月２８日に出願された「ＶＥＨＩＣＬＥ ＣＯＮＴＲＯＬ ＡＮＤ ＧＵＩＤＡＮＣＥ」と題する米国特許出願第１６／４５７，６５４号の継続出願であり、その利益を主張する。
状況が変化することが多い動的環境内で車両は動作する。変化する状況は、建設および事故などに起因した道路封鎖である。変化する状況に対応すると共に、規定された動作プロトコル内で車両を維持するよう、自律車両がプログラムされることがある。動作プロトコルは、反対方向のトラフィックに対して規定されたレーンに車両を動作させないことなど、定義された運転のルールを含むことがある。しかしながら、事故または建設地帯の周りでの迂回は、動作プロトコルのパラメータ外の経路を示すことがある。動作プロトコル境界外で動作することが許可されていないと、自律車両は、障害物の周りで進行することが不可能であることがあり、よって、所定の位置で立ち往生することがある。
添付図面を参照して、詳細な説明が説明される。図面では、参照符号の最も左の桁（複数可）は、参照符号が最初に現れる図を識別する。異なる図における同一の参照符号の使用は、同一または類似の構成要素または特徴を示す。
環境を通じて車両をガイドすることを支援するためにリモート車両ガイダンスシステムを使用することができる、環境内の自律車両の表示である。 リモートガイダンスモードにおいて動作する車両についてのウェイポイントおよび／または方位ガイダンスをオペレータが入力することができる、グラフィカルユーザインタフェースを有する例示的なサービスコンピューティングデバイスの表示である。 車両に段階的ガイダンスを提供するための例示的な処理を表す。 グラフィカルユーザインタフェースを介して車両にリモートガイダンスを提供するためのオペレータワークフローを表す例示的なフローチャートの表示である。 リモートガイダンス入力に応答した車両アクションを表す例示的なフローチャートの表示である。 車両コンピューティングデバイスにリモートガイダンスを提供するための例示的な処理を表す。 サービスコンピューティングデバイスから受信されたガイダンス入力に基づいて車両を制御するための例示的な処理を表す。 本明細書で説明される技術を実装するための例示的なシステムのブロック図である。
本開示は、ナビゲートすることが困難である（例えば、プランナが運転ポリシのセットに従って経路を計画することが不可能である）シナリオに直面した環境内で動作する車両に段階的ガイダンスをリモートに提供するための技術に関する。車両は、動作環境内で直面した障害物に基づいて、リモート車両ガイダンスシステムからのガイダンスを要求するように構成された車両コンピューティングシステムを有する自律車両または半自律車両を含んでもよい。リモート車両ガイダンスシステムは、グラフィカルユーザインタフェース（ＧＵＩ）を含んでもよく、ＧＵＩを通じて、オペレータは、車両がシナリオを通じて（例えば、１つ以上の障害物の周りで）ナビゲートするための提案されたウェイポイントおよび／または方位（例えば、対応するウェイポイントにおける車両偏揺れ（vehicle yaw）を入力することができる。車両は、提案されたウェイポイントおよび／または方位を受信してもよく、提案されたウェイポイントおよび／または方位によって定義された進路に沿ってナビゲートすることが車両の安全性プロトコルを満たすことを検査してもよい。したがって、本明細書で説明される技術は、環境内で動作する車両の安全性を改善する。
車両コンピューティングシステムは、車両の１つ以上のセンサ（例えば、カメラ、動き検出器、ライダ、レーダ、タイムオブフライトなど）からセンサデータを受信してもよい。車両コンピューティングシステムは、センサデータに基づいて、その周りで、本明細書でリモートガイダンスシナリオ（例えば、道路封鎖、道路内の建設区域、または車両見通し線を越えるドライブライン（例えば、道路の上昇および／もしくは道路内の曲がり角に起因して損なわれたセンサビジョン）など）と称される、車両が実現可能な進路を判定するように構成されないことがある経路上で、車両が障害物に接近していると判定してもよい。リモートガイダンスシナリオは、車両コンピューティングシステムが実行するようプログラムされていないシナリオ（例えば、未知のシナリオ）および／または動作プロトコル（例えば、ポリシ）に違反するように見えるシナリオを含んでもよい。動作プロトコルは、二重黄色線を横断しないこと、近づいている走行レーン内に運転しないこと、または道路の運転可能面の境界を越えないことなど、車両が取ることができ、または取らないことがあるアクションを統治する１つ以上のルールを含んでもよい。例えば、車両コンピューティングシステムは、車両が移動している道路が封鎖されていること、および封鎖の周りの道が反対方向に移動するトラフィックに対して規定されたレーンに運転し、動作プロトコルに違反することを含むことを検出してもよい。
いくつかの実施例では、リモートガイダンスシナリオを検出したことに応答して、車両コンピューティングシステムは、ＧＵＩにより構成されたサービスコンピューティングデバイスに自動で接続してもよい。様々な実施例では、車両オペレータおよび／または安全性監視者は、リモートガイダンスシナリオを検出してもよく、サービスコンピューティングデバイスに接続してもよい。いくつかの実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスにガイダンスについての要求を送信してもよい。様々な実施例では、サービスコンピューティングデバイスから応答（例えば、ガイダンス入力）を受信する前に、車両コンピューティングシステムは、リモートガイダンスシナリオをナビゲートするための解を判定してもよい。そのような実施例では、車両コンピューティングシステムは、解に従って車両を制御してもよい。いくつかの実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスに、ガイダンス入力がこれ以上必要とされないことを示す（例えば、車両がリモートガイダンスなしに進行していることを示す）第２のメッセージを送信してもよい。いくつかの実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスに第２のメッセージを送信することなく、車両を制御することを続けてもよい。そのような実施例では、車両コンピューティングシステムまたはサービスコンピューティングデバイスのうちの少なくとも１つは、ガイダンス入力が必要ではないと判定してもよく、他のコンピューティングデバイスから切断してもよい。
いくつかの実施例では、ガイダンスについての要求を受信したことに応答して、サービスコンピューティングデバイスは、ガイダンスを提供するための１つ以上の条件が満たされると判定してもよい。条件（複数可）は、接続閾値（例えば、閾値待ち時間、閾値帯域幅など）、車両速度が閾値速度を下回ること（例えば、毎時１５マイル、毎時２０キロメータなど）、動作可能な閾値数／タイプのセンサ（例えば、動作可能な４個のカメラの閾値、動作可能な全ての車両ライダセンサの閾値など）、障害に関連する車両ヘルスの不存在（例えば、一貫しないセンサ読み取り値に関連する障害、１つ以上の動作不能なセンサ、衝突回避システム、プランナシステム、および／もしくは他の車両システムなどと関連付けられた障害など）、ならびに／またはリモートガイダンスシステムの有効性に影響を与えることがある他の条件を含んでもよい。いくつかの実施例では、条件が満たされないと判定したことに応答して、サービスコンピューティングデバイスは、車両コンピューティングシステムと接続しなくてもよい。いくつかの実施例では、条件が満たされないとの判定に応答して、サービスコンピューティングデバイスは、オペレータのＧＵＩへのアクセスを拒否してもよく、および／またはＧＵＩへの入力を拒否してもよい。そのような実施例では、アクセスを拒否することは、例えば、十分な待ち時間を有しないリモートガイダンスが、安全でない結果を回避するために適正な時間フレーム内に車両コンピューティングシステムが応答することが可能であることを保証することを可能にしないことなど、車両動作の安全性を高めることができる。いくつかの実施例では、条件が満たされるとの判定に応答して、サービスコンピューティングデバイスは、ＧＵＩを起動してもよい。
いくつかの実施例では、ＧＵＩは、車両上の１つ以上のセンサからのセンサデータを表す１つ以上のウインドウを含んでもよい。少なくとも１つの実施例では、ＧＵＩは、車両上のカメラによって捕捉されたストリーミング画像を表すウインドウを含んでもよい。ウインドウ（複数可）は、車両が取るべき進路を判定する際にオペレータを支援するためのデータを表してもよい。例えば、ＧＵＩは、車両と関連付けられた左前方ビュー、前方ビュー、右前方ビュー、および背面ビューを表す４個のウインドウを含んでもよい。オペレータは、車両がリモートガイダンスシナリオを通じて遷移するための安全な進路を判定するために、ビューの各々を評価してもよい。
様々な実施例では、ＧＵＩは、車両の上面ビューおよび環境内のリモートガイダンスシナリオの記述を含んでもよい。そのような実施例では、上面ビューは、センサデータに基づいた環境のコンピュータにより生成されたビューを含んでもよい。いくつかの実施例では、上面ビューは、リモートガイダンスシナリオの１つ以上の障害物に対する車両の位置を含んでもよい。例えば、上面ビューは、車両の予め定められた（例えば、計画された）進路を妨害する複数のオレンジコーンに接近している車両を表してもよい。上面ビューは、車両およびコーンを含んでもよい。
様々な実施例では、ＧＵＩは、上面ビューを介してオペレータから入力を受信するように構成されてもよい。そのような実施例では、オペレータは、車両に、それと関連付けられた障害物（複数可）の周り（around obstacle）などのリモートガイダンスシナリオを通じてナビゲートするガイダンスを提供することが可能であることができる。入力は、１つ以上のウェイポイントを含んでもよい。ウェイポイント（複数可）は、それを通じて車両が移動する位置を含んでもよい。様々な実施例では、ウェイポイント（複数可）の各々は、停止ポイントを含んでもよい。そのような実施例では、車両は、後続のウェイポイントの受信がないことまたは後続のウェイポイントの検査がないことなど、ウェイポイント（複数可）の各々において停止するように構成されてもよい。少なくともいくつかの実施例では、後続のウェイポイントが提供される場合、車両は、停止することなく、ウェイポイントの間で計画することおよび移動することを継続することができる。
様々な実施例では、入力は、関連するウェイポイントにおける車両の方位（例えば、偏揺れ）を含んでもよい。そのような実施例では、オペレータは、関連するウェイポイントにおいて車両を特定の方向を向かせることが可能であることができる。いくつかの実施例では、方位は、前のウェイポイントおよび／または後続のウェイポイントに基づいて判定されてもよい。そのような実施例では、特定のウェイポイントにおける方位は、ガイダンス経路上のウェイポイントの間で車両が円滑に遷移することを可能にすることができる。様々な実施例では、ウェイポイントと関連付けられた方位は、車両がウェイポイントにおいて停止するべき好ましい方位に基づいてもよい。例えば、反対方向のトラフィックと関連付けられたレーン内に少なくとも部分的に位置する車両と関連付けられた好ましい方位は、レーン内に位置する車両の数を最小化することができるように、レーンに対して平行であってもよい。
いくつかの実施例では、オペレータは、サービスコンピューティングデバイスに、車両コンピューティングシステムにウェイポイント（複数可）および／または方位（複数可）を送信させてもよい。いくつかの実施例では、サービスコンピューティングデバイスは、オペレータによる入力に応答して、ウェイポイントおよび／または関連する方位を自動で送信してもよい。そのような実施例では、ウェイポイントが特定の位置おいて確認されたとの判定に基づいて、および／または方位が確認されたとの判定に基づいて、サービスコンピューティングデバイスは、ウェイポイントおよび／または方位を自動で送信してもよい。いくつかの実施例では、ウェイポイントおよび／または関連する方位は、オペレータから送信コマンド（例えば送信オプションの選択）を受信したことに応答して送信されてもよい。そのような実施例では、オペレータは、ウェイポイントを個々におよび／またはグループで送信することが可能であることができる。
いくつかの実施例では、サービスコンピューティングデバイスは、車両コンピューティングシステムにガイダンスデータを送信する前に、ウェイポイント（複数可）および／または方位（複数可）を検証するように構成されてもよい。いくつかの実施例では、検証は、ウェイポイント（複数可）および／または方位（複数可）が車両と関連付けられた安全性プロトコルに合格するとの初期検査を含んでもよい。安全性プロトコルは、車両安全性を保証するための予め定められた条件のセットを含んでもよい。安全性プロトコルは、車両が動的物体および／もしくは静的物体から離れて維持するための１つ以上の閾値距離、最大偏揺れ割合（maximum yaw rates）、ならびに／またはリモートガイダンスシナリオを通じた車両の安全なナビゲーションと関連付けられた他の基準を含んでもよい。様々な実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスからウェイポイント（複数可）および／または方位（複数可）を受信してもよく、ウェイポイント（複数可）および／または方位（複数可）を検証してもよい。そのような実施例では、車両コンピューティングシステムは、ウェイポイント（複数可）および／または方位（複数可）が安全性プロトコルに合格することを検査してもよく、車両によって安全に実行されてもよい。
いくつかの実施例では、車両コンピューティングシステムは、ウェイポイント（複数可）および／または方位（複数可）がリモートガイダンスプロトコルに少なくとも部分的に基づいていることを検査するように構成されてもよい。そのような実施例では、車両コンピューティングシステムは、ウェイポイント（複数可）および／または方位（複数可）がリモートガイダンスプロトコルに合格するとの判定に少なくとも部分的に基づいていることを検証してもよい。リモートガイダンスプロトコルは、リモートガイダンスモードにおいて動作している間の車両の移動に対する１つ以上の制限を含んでもよい。リモートガイダンスプロトコルは、進路逸脱（例えば、障害物を回避するなどのために、車両が車両の１／２の幅、１台の車両の幅を逸脱することがある２つのウェイポイントの間での進路からの距離）、静的物体検出に対する応答（例えば、以後のウェイポイント（follow-on waypoint）に到着するよう静的物体を回避することの試み）、動的物体検出に対する応答（例えば、ウェイポイントに対応する進路に侵入することが予測されるエージェントに譲ること）、車両と同一の方向に移動する動的物体の後に続くこと（例えば、ウェイポイントに対応する進路内で）、必要に応じて交差点において道の右に譲ること（例えば、全方向停止、信号機、回り道など）、または受信される更なるガイダンスがない場合の前方停止の動き（例えば、別のウェイポイント、ナビゲーションを再開する命令など）、などを含んでもよい。
加えてまたは代わりに、車両コンピューティングシステムは、運動学的検証（例えば、動的検証、運動学的／動的チェック）に少なくとも部分的に基づいて、ウェイポイント（複数可）および／または方位（複数可）を検証してもよい。運動学的検証は、車両が第１の位置（例えば、初期位置、ウェイポイントと関連付けられた位置など）から第２の位置（例えば、第１のウェイポイント、後続のウェイポイントなど）への遷移を実行する能力を有すると判定することを含んでもよい。いくつかの実施例では、遷移を実行する能力は、物理的制約に基づいた方位（複数可）内でウェイポイント（複数可）に到着するよう車両が実行するための１つ以上の軌道を車両コンピューティングシステムが生成することができるかどうかを判定することを含んでもよい。物理的制約は、最大偏揺れ割合、最大横断距離、最大曲がり角度、および／または車両操作と関連付けられた他の制約を含んでもよい。
ウェイポイントおよび／または関連する方位が安全性プロトコルおよび／またはリモートガイダンスプロトコルに違反するとの判定に応答して、車両コンピューティングシステムは、ウェイポイントを拒絶してもよい。いくつかの実施例では、車両コンピューティングシステムは、停止ポイント（例えば、停止線、停止標識、信号機など）から進行しないこと、または拒絶されたウェイポイントの前のウェイポイントにおいて停止することによってなど、拒絶されたウェイポイントに進行しなくてもよい。いくつかの実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスに、ウェイポイントの拒絶を示すメッセージを送信してもよい。いくつかの実施例では、メッセージは、拒絶についての理由を含んでもよい。例えば、車両コンピューティングシステムは、ウェイポイントがセメントバリア（cement barrier）からの閾値距離未満であると判定してもよい。判定に基づいて、車両コンピューティングシステムは、ウェイポイントを拒絶してもよく、サービスコンピューティングデバイスに、距離が閾値距離未満であることを示すメッセージを送信してもよい。
ウェイポイント（複数可）および／または関連する方位が安全性プロトコルおよび／またはリモートガイダンスプロトコルに合格するとの判定に応答して、車両コンピューティングシステムは、ウェイポイント（複数可）および／または方位（複数可）を受け付けてもよい。車両コンピューティングシステムは、ウェイポイント（複数可）および／または方位（複数可）を処理してもよく、車両がウェイポイントの間で遷移するための１つ以上の軌道を生成してもよい。例えば、車両コンピューティングシステムは、第１のウェイポイントおよび第１のウェイポイントと関連付けられた第１の方位を受信してもよい。車両コンピューティングシステムは、第１の方位において初期位置から第１のウェイポイントに遷移するための第１の軌道（または、軌道のセット）を判定してもよい。
生成された軌道に基づいて、車両コンピューティングシステムは、１つ以上の運転システムを介してなど、関連する方位（複数可）においてウェイポイント（複数可）まで車両を制御してもよい。様々な実施例では、車両コンピューティングシステムは、予め定められた速度（例えば、毎時２キロメートル、毎時１５マイル、毎時１０マイルなど）において車両を制御してもよい。いくつかの実施例では、予め定められた速度は、リモートガイダンと関連付けられた最大速度を含んでもよい。様々な実施例では、車両コンピューティングシステムは、環境および／またはシナリオと関連付けられた速度において車両を制御してもよい。少なくとも１つの実施例では、車両コンピューティングシステムは、予め定められた速度または環境および／もしくはシナリオと関連付けられた速度未満において車両を制御してもよい。例えば、車両コンピューティングシステムは、リモートガイダンスモードにおいて動作しているとき、毎時１５マイルの予め定められた最大速度において動作してもよい。車両コンピューティングシステムは、リモートガイダンスシナリオを検出してもよく、サービスコンピューティングデバイスからガイダンス入力を要求してもよい。車両コンピューティングシステムおよび／またはオペレータは、センサデータに基づいて、それと関連付けられたリモートガイダンスシナリオが毎時５マイルの速度制限を有すると判定してもよい。毎時５マイルの速度制限が毎時１５マイルの予め定められた最大速度未満であることに基づいて、車両コンピューティングシステムは、リモートガイダンスシナリオを通じてナビゲートする間、毎時５マイルに車両の速度を制限してもよい。
様々な実施例では、車両コンピューティングシステムは、リモートガイダンスシナリオを通じてナビゲートする間（例えば、ウェイポイントからウェイポイントに移動する間）、車両が安全性プロトコルおよび／またはリモートガイダンスプロトコルに違反しないことを継続的および／または周期的に検査するように構成されてもよい。例えば、車両コンピューティングシステムは、第１のウェイポイントから第２のウェイポイントまで車両を制御してもよい。車両コンピューティングシステムは、車両と関連付けられた軌道と交差するように現れる軌道を有する歩行者を検出してもよい。車両コンピューティングシステムは、歩行者に譲ることなど、歩行者に基づいて取るべきアクションを判定してもよい。
様々な実施例では、サービスコンピューティングデバイスは、シナリオが完了した（例えば、車両が障害物を通過し、標準動作を再開することができる）と判定してもよく、リモートガイダンスから車両を解放してもよい。いくつかの実施例では、シナリオ完了は、生成されたウェイポイントが車両と関連付けられた元の経路の閾値距離（例えば、０．５メートル、０．５フィート、１０インチなど）以内であることに部分的に基づいてもよい。いくつかの実施例では、シナリオ完了は、センサデータ入力に基づいてもよい。そのような実施例では、オペレータは、シナリオが完了したと判定するために、ＧＵＩを介してセンサデータを参照することができる。例えば、障害物は、建設区域を含んでもよい。車両からのカメラフィードは、航空機の背後にある建設区域の終わりを表してもよい。建設区域が車両の背後にあるとの判定に基づいて、オペレータは、シナリオが完了したと判定することができる。いくつかの実施例では、判定は、許容可能である（例えば、ポリシに違反しない）軌道をプランナシステムが判定することに基づいてもよく、および／または判定された進路に沿って継続してもよい。
様々な実施例では、シナリオが完了したとの判定に応答して、サービスコンピューティングデバイスは、車両に解放信号を送信してもよい。そのような実施例では、解放信号に応答して、車両コンピューティングシステムは、車両のナビゲーション（例えば、自律制御）を再開するように構成されてもよい。様々な実施例では、サービスコンピューティングデバイスは、シナリオが車両の初期経路を妨害したと判定してもよい。そのような実施例では、サービスコンピューティングデバイスは、車両が予め定められた宛先に到着するための更新された経路を生成するように構成されてもよい。いくつかの実施例では、サービスコンピューティングデバイスは、解放信号を送信する前に、車両コンピューティングシステムに更新された経路を送信してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、解放信号と実質的に同時に、更新された経路を送信してもよい（例えば、１秒以内、２秒以内になど）。更新された経路の受信に応答して、車両コンピューティングシステムは、更新された経路に沿って予め定められた宛先まで車両を制御してもよい。いくつかの実施例では、車両コンピューティングシステムは、シナリオが初期経路を妨害したと判定してもよい。そのような実施例では、車両コンピューティングシステムは、宛先にナビゲートするための更新された経路を生成するように構成されてもよい。
本明細書で議論される技術は、車両コンピューティングシステムの機能を改善することができる。従来から、自律車両に対する制御計画では、車両コンピューティングシステムは、解を判定するまで、車両についての実現可能な経路を判定するようセンサデータを継続して処理することがある。車両がリモートガイダンスシナリオに直面する例では、解は、動作プロトコルなど、車両コンピューティングシステムに対して課される制約に基づいて達成可能でないことがある。そのような例では、車両コンピューティングシステムは、解に到達することなく、莫大な量のコンピューティングリソースを利用することがある。よって、車両は、計画された経路上の特定の位置に立ち往生することがあると共に、車両コンピューティングシステムは、リモートガイダンスシナリオを通じて進路を識別するために、処理電力および／またはメモリを使用し続ける。
本明細書で説明される技術は、リモートガイダンスシナリオを通じてナビゲートするためのほぼリアルタイムの解を識別するためにリモートコンピューティングリソースを利用することによる制約に起因して、車両コンピューティングシステムによって直面される技術的課題に対する技術的解決策を提供する。サービスコンピューティングデバイス上のグラフィカルユーザインタフェースは、本明細書で説明されるように、車両コンピューティングシステムからのセンサデータを処理することができ、車両コンピューティングシステムにガイダンスを提供することができ、それによって、いくつかの例では、解を識別することなく処理の無限ループに陥ることがある、車両コンピューティングシステムによって使用される処理電力および／またはメモリの量を低減させる。
加えて、本明細書で説明される技術は、環境を通じた自律車両の動作の安全性を増大させることができる。例えば、車両コンピューティングシステムは、更なる移動が動作プロトコルに違反することがあるとの判定に基づいて、ガイダンス入力のためにサービスコンピューティングデバイスに接続してもよい。最大程度の安全性を保証するために、車両コンピューティングシステムは、状況を評価し、前方への安全な経路を判定するように構成することができる、リモートオペレータからのガイダンスを要求してもよい。更に、車両コンピューティングシステムは、入力を受信してもよく、入力に従って車両を制御する前に、ガイダンス入力が車両の安全な動作をもたらすことを検査してもよい。
本明細書で説明される技術は、いくつかの方式において実装されてもよい。例示的な実装態様が、以下の図面を参照して以下に提供される。自律車両のコンテキストにおいて議論されるが、本明細書で説明される方法、装置、およびシステムは、様々なシステム（例えば、センサシステムまたはロボットプラットフォーム）に適用されてもよく、自律車両に限定されない。別の実施例では、航空コンテキストもしくは航海コンテキストにおいて、または機械ビジョンを使用したいずれかのシステム（例えば、画像データを使用したシステム）において本技術が利用されてもよい。
図１は、環境１００内の自律車両１０２（車両１０２）の表示であり、環境１００内で、リモートガイダンスシステムは、リモートガイダンスシナリオ１０６（例えば、その周りで車両が実現可能な進路を判定するように構成されないことがある計画された経路上の障害物）の検出に基づいて、計画された経路１０４（例えば、初期経路、計画された進路など）からの逸脱を判定してもよい。リモートガイダンスシナリオ１０６は、車両コンピューティングシステムが実行するようにプログラムされていないシナリオおよび／または動作プロトコルに違反するように見える（例えば、シナリオをナビゲートすることが必要とされる軌道が動作プロトコル（例えば、制御ポリシ）に違反する）シナリオを含んでもよい。動作プロトコルは、二重黄色線を横断しないこと、近づいている走行レーン内に運転しないこと、または道路の運転可能面の境界を越えないことなど、車両が取ることができ、または取らないことがあるアクションを統治する１つ以上のルールを含んでもよい。いくつかの実施例では、リモートガイダンスシナリオ１０６は、障害物が車両１０２と関連付けられた感知距離を越えて延在するシナリオを含んでもよい。例えば、図１に示されるように、車両１０２は、初期位置１０８（例えば、初期位置および／または初期方位）からリモートガイダンスシナリオ１０６の全体を感知することが可能でないことがある。加えて、図１に示されるように、リモートガイダンスシナリオ１０６は、リモートガイダンスシナリオ１０６の周りでナビゲートすることが、車両１０２が反対方向のトラフィックに対して規定されたレーン内で動作することを結果としてもたらすように、１つ以上の障害物が車両１０２の計画された経路１０４を封鎖することを含んでもよい。非限定的な実施例として、リモートガイダンスシナリオ１０６は、変更したレーン境界を定めるコーンおよびバリケードなど、車両１０２が進行するための方向を信号伝達する作業者、またはそうでなければ、標準運転シナリオのセットとは異なるシナリオを含んでもよい。
様々な実施例では、車両コンピューティングシステムは、１つ以上のセンサからのセンサデータに基づいて、リモートガイダンスシナリオ１０６を検出してもよい。センサ（複数可）は、カメラ、動き検出器、ライダ、レーダ、タイムオブフライト、および／または車両１０２に搭載された他のセンサを含んでもよい。図８を参照してより詳細に議論されるように、車両コンピューティングシステムのプランナコンポーネント（planner component）は、計画された経路１０４に沿って車両１０２をナビゲートするように構成されてもよい。プランナコンポーネントは、車両コンピューティングシステムの感知コンポーネントから処理済みセンサデータを受信してもよく、センサデータに基づいて車両が計画された経路１０４に沿って移動するための１つ以上の軌道を判定してもよい。軌道は、車両が環境を通じて移動することができる方向、方位、および／または速度を含んでもよい。
車両動作と関連付けられた軌道は、車両コンピューティングシステムに対して課された動作プロトコル（例えば、１つ以上の動作制約）に部分的に基づいて判定されてもよい。動作プロトコルは、二重黄色線を横断しないこと、近づいている走行レーン内に運転しないこと、道路の運転可能面の境界を越えないこと、または速度制限を越えないことなど、車両が取ることができ、または取らないことがあるアクションを統治する１つ以上のルールを含んでもよい。例えば、動作プロトコルは、車両が道路の舗装された面に残るための制限を含んでもよい。よって、車両コンピューティングシステムは、道路の舗装された面に車両１０２を維持する１つ以上の軌道を生成するように構成されてもよい。
様々な実施例では、車両コンピューティングシステムは、センサデータを受信してもよく、計画された経路１０４が障害物などによって封鎖されており、進行するための高不確定性を有し、または制御ポリシに違反することなく進行することができないなどと判定してもよい。いくつかの実施例では、車両コンピューティングシステムは、センサデータを処理してもよく、車両が障害物の周りでナビゲートするための１つ以上の軌道（動作プロトコルを満たす）を生成することを試みてもよい。しかしながら、いくつかの実施例では、図１に表されるリモートガイダンスシナリオ１０６などの直面するシナリオは、動作プロトコルを満たす取り得る軌道（または、進路）を含まなくてもよい。そのような実施例では、車両コンピューティングシステムは、リモートガイダンスシナリオ１０６としてシナリオを識別してもよく、初期位置１０８における停止位置に車両を来させてもよい。様々な実施例では、リモートガイダンスシナリオ１０６の検出（例えば、識別）に基づいて、車両コンピューティングシステムは、車両から１つ以上のハザード信号（例えば、ハザードライト、音声信号など）を放出させてもよい。
リモートガイダンスシナリオ１０６の検出に基づいて、車両コンピューティングシステムは、１つ以上のネットワークなどを介して、サービスコンピューティングデバイスに自動で接続してもよい。ネットワーク（複数可）は、インターネットなどのパブリックネットワーク、公共機関ネットワークおよび／もしくはパーソナルネットワークなどのプライベートネットワーク、またはパブリックネットワークおよびプライベートネットワークのいくつかの組み合わせを含んでもよい。ネットワーク（複数可）はまた、それらに限定されないが、サテライトネットワーク、ケーブルネットワーク、Ｗｉ－Ｆｉネットワーク、ＷｉＭａｘネットワーク、モバイル通信ネットワーク（例えば、３Ｇ、４Ｇ、５Ｇなど）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはいずれかのそれらの組み合わせを含む、いずれかのタイプの有線ネットワークおよび／または無線ネットワークを含んでもよい。いくつかの実施例では、車両コンピューティングシステムは、ボタンの押下などによって、入力／出力デバイスから受信された入力に基づいて、サービスコンピューティングデバイスに接続してもよい。例えば、安全性監視者、車両オペレータ、または車両内の搭乗者は、リモートガイダンスなどのために、サービスコンピューティングデバイスに接続するためにボタンを押下してもよい。
様々な実施例では、車両コンピューティングシステムは、リモートガイダンスシナリオ１０６を示す信号を送信してもよい。いくつかの実施例では、信号は、サービスコンピューティングデバイスからのガイダンスデータ（例えば、ガイダンス入力）についての要求を含んでもよい。いくつかの実施例では、車両コンピューティングデバイスと接続し、および／または車両コンピューティングデバイスからガイダンスデータについての要求を受信したことに応答して、サービスコンピューティングデバイスは、ガイダンスについての条件が満たされることを検査してもよい。ガイダンスについての条件は、サービスコンピューティングデバイスが車両１０２にガイダンスを効果的に提供することができることを保証するようシステムがチェックすることを含んでもよい。条件は、車両速度が閾値を下回ること（例えば、毎時１５マイル未満、毎時２０キロメートル未満など）、閾値数および／もしくはタイプのセンサが利用可能であること（例えば、動作可能な前方ビュー、後方ビュー、左ビュー、および右ビューを提供する最小数の４個のカメラ、動作可能な大気遠近ビューと関連付けられた最小数のセンサなど）、閾値帯域幅（例えば、毎秒１０メガバイト以上、毎秒１５メガバイト以上など）、閾値待ち時間（例えば、３００ミリ秒以下、２５０ミリ秒以下など）、または車両ヘルス関連障害がないこと（例えば、ステアリングコラム障害など）などを含んでもよい。
いくつかの実施例では、１つ以上の条件が満たされないとの判定に応答して、サービスコンピューティングデバイスは、車両コンピューティングシステムとの接続を拒否してもよい（例えば、接続しない）。様々な実施例では、１つ以上の条件が満たされないとの判定に応答して、サービスコンピューティングデバイスは、サービスコンピューティングデバイスのグラフィカルユーザインタフェース（ＧＵＩ）へのオペレータアクセスを拒否してもよく、および／またはＧＵＩへの入力を拒否してもよい（例えば、入力能力を無効化する）。いくつかの実施例では、サービスコンピューティングデバイスは、車両コンピューティングデバイスに、条件（複数可）が満たされないこと、および／またはリモートガイダンスシステムが利用可能でないことのインジケーションを送信してもよい。
様々な実施例では、条件が満たされるとの判定に応答して、サービスコンピューティングデバイスは、ディスプレイ上でＧＵＩを起動してもよい。様々な実施例では、ＧＵＩは、車両１０２のセンサ（複数可）からのセンサデータを表す１つ以上のウインドウを含んでもよい。例えば、ウインドウ（複数可）の各々は、車両１０２に搭載されたカメラによって捕捉されたリアルタイムまたはほぼリアルタイムの（例えば、待ち時間に基づいているなど）カメラ画像を表してもよい。様々な実施例では、ウインドウ（複数可）内で表されるデータは、リモートガイダンスシナリオ１０６の周りの進路を反映することを支援するための情報をオペレータに提供することができる。
様々な実施例では、ＧＵＩは、環境１００内の車両１０２（またはそうでなければ、リモートオペレータによって構成可能な）およびリモートガイダンスシナリオ１０６のトップダウンビューの表示を含んでもよい。そのような実施例では、上面ビューは、センサデータに基づいた環境のコンピュータにより生成されたビューを含んでもよい。いくつかの実施例では、上面ビューは、リモートガイダンスシナリオ１０６の１つ以上の障害物に対する初期位置１０８などの車両１０２の位置を含んでもよい。図２に関して更に詳細に議論されるように、ＧＵＩは、上面ビューを介してオペレータから入力を受信するように構成されてもよい。そのような実施例では、オペレータは、運転回廊１１０などを通じて、リモートガイダンスシナリオ１０６を通じてナビゲートするためのガイダンスを車両に提供することが可能であることができる。運転回廊１１０は、オペレータが１つ以上のウェイポイント１１２を入力することができるリモートガイダンスシナリオ１０６の周りの運転可能面を表してもよい。ウェイポイント（複数可）１１２は、それを通じて車両が移動する位置（例えば、Ｘ、Ｙ、Ｚ座標）を含んでもよい。様々な実施例では、ウェイポイント１１２（１）～ウェイポイント１１２（Ｎ）などのウェイポイント（複数可）１１２の各々は、停止ポイントを含んでもよい。そのような実施例では、車両は、後続のウェイポイント１１２の受信がないことまたは後続のウェイポイント１１２の検査がないことなど、ウェイポイント（複数可）１１２の各々において停止するように構成されてもよい。例えば、オペレータは、ウェイポイント１１２（１）を入力してもよく、ウェイポイント１１２（２）の受信を欠損（absent）させてもよく、車両コンピューティングデバイスは、更なるガイダンスが受信されるまで、ウェイポイント１１２（１）において車両を停止させてもよい。
様々な実施例では、入力は、関連するウェイポイント１１２における車両１０２の方位１１４（例えば、偏揺れ）を含んでもよい。そのような実施例では、オペレータは、関連するウェイポイント１１２において車両を特定の方向に向かせることが可能であることができる。様々な実施例では、ウェイポイント１１２と関連付けられた方位１１４は、車両がウェイポイントにおいて停止するべき好ましい方位に基づいてもよい。例えば、リモートガイダンスシナリオ１０６の周りでナビゲートするときに近づいているトラフィックへの露出を最小化するために、反対方向のトラフィックと関連付けられたレーン内に少なくとも部分的に位置する車両１０２と関連付けられた好ましい方位は、レーン内に位置する車両１０２の数を最小化することができるように、レーンに対して実質的に平行（５度以内など）であってもよい。したがって、少なくとも反対方向のトラフィックへの露出を最小化するために、ウェイポイント１１２（２）と関連付けられた方位１１４（２）は、レーンに対して実質的に平行であってもよい。少なくともいくつかの実施例では、車両が後続のウェイポイントにつながる軌道を発見することを可能にするために、そのような方位が提供されてもよい。
いくつかの実施例では、方位１１４は、前のウェイポイント１１４および／または後続のウェイポイント１１４に基づいて判定されてもよい。そのような実施例では、特定のウェイポイント１１２における方位１１４は、車両がガイダンス経路上のウェイポイントの間で円滑に遷移することを可能にすることができる。例えば、第１のウェイポイント１１２（１）と関連付けられた第１の方位１１４（１）は、第２のウェイポイント１１２（２）の方向における直線またはスプラインを表すことができる。第２のウェイポイント１１２（２）と関連付けられた第２の方位１１４（２）は、第３のウェイポイント１１２（３）の方向におけるスプラインを表すことができる、などである。以下で更に詳細に議論されるように、車両コンピューティングデバイスは、ウェイポイント１１２および／または方位１１４を受信してもよく、ウェイポイントおよび／または方位の間で車両１０２を円滑に制御するための１つ以上の軌道を生成してもよい。
様々な実施例では、オペレータは、運転回廊１１０内の位置にウェイポイント１１２（１）などのウェイポイント１１２を配置してもよい。運転回廊１１０は、リモートガイダンスシナリオ１０６をナビゲートするよう車両１０２がそれを通じて遷移することができる道路の判定された区画を含んでもよい。様々な実施例では、サービスコンピューティングデバイスは、車両上のセンサから受信されたセンサデータに基づいて、運転回廊１１０を生成してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、環境１００内の１つ以上の検出された障害物に基づいて、運転回廊１１０を生成してもよい。例えば、リモートガイダンスシナリオ１０６は、車両１０２の右側および左側上の障害物を含んでもよい。運転回廊１１０および／またはその幅は、障害物および／また安全性バッファ（例えば、車両１０２が障害物から離れて維持するための予め定められた距離）の間の距離によって定義されてもよい。様々な実施例では、運転回廊１１０の幅は、車両の幅に基づいて判定されてもよい。いくつかの実施例では、運転回廊１１０の幅は加えて、車両１０２のいずれかの側上の安全性バッファを含んでもよい。様々な実施例では、運転回廊１１０は、オペレータがウェイポイント１１２を入力することができる区域を表すことができる。そのような実施例では、ＧＵＩは、運転回廊１１０の外側でウェイポイント１１２が入力されることを許可しなくてもよい。
様々な実施例では、ＧＵＩは、ウェイポイント１１２の間および／または初期位置１０８と第１のウェイポイント１１２（１）との間で距離Ｄを制限してもよい（例えば、１０フィート、１５フィート、７メートルなど）。いくつかの実施例では、ＧＵＩは、相互に距離Ｄよりも大きく離れてウェイポイント１１２が入力されることを可能にしなくてもよい。いくつかの実施例では、ＧＵＩは、オペレータがウェイポイント１１２を入力することができる車両１０２の周りのＤの半径を有する区域を活性化してもよい。いくつかの実施例では、ＧＵＩは、オペレータに、入力が距離Ｄ外であり、受け付けられないことのポップアップ通知において通知を提供してもよい。様々な実施例では、ウェイポイントの間で距離を制限することは、環境１００を通じた車両１０２の段階的ガイダンスを可能にすることができ、車両１０２がリモートガイダンスシナリオ１０６を安全に操作することができることを保証することができる。
様々な実施例では、オペレータは、ＧＵＩに、ウェイポイント１１２（１）および方位１１４（１）などのウェイポイント１１２および／または関連する方位１１４を入力することができる。図２に関連して更に詳細に議論されるように、オペレータは、ウェイポイント１１２（１）についての環境１００内の位置を選択し、位置を確認することによって、ウェイポイント１１２（１）を入力することができる。いくつかの実施例では、位置の確認は、位置におけるマウスのクリックおよび／またはＧＵＩ上の確認オプションの選択を含んでもよい。様々な実施例では、ウェイポイント１１２および／または方位１１４の確認を受信したことに応答して、サービスコンピューティングデバイスは、ウェイポイント１１２および／または方位１１４を検証してもよい。ウェイポイント１１２および／または方位１１４の検証は、ウェイポイント１１２および／または方位１１４が車両の安全性プロトコルを満たすことの検査を含んでもよい。安全性プロトコルは、道路上のウェイポイント１１２の位置（例えば、道路もしくは運転可能面の端から車両１０２の１／２の幅未満であること）、初期位置１０８の閾値距離以内もしくは相互の閾値距離以内のウェイポイント１１２、車両１０２が動的物体および／もしくは静的物体から離れて維持するための１つ以上の閾値距離、最大偏揺れ割合、ならびに／または環境１００を通じた車両１０２の安全なナビゲーションと関連付けられた他の基準など、車両１０２の安全な動作と関連付けられた１つ以上のルールを含んでもよい。
いくつかの実施例では、オペレータは、サービスコンピューティングデバイスに、ウェイポイント（複数可）１１２および／または方位（複数可）１１４を車両コンピューティングデバイスに送信させてもよい。いくつかの実施例では、サービスコンピューティングデバイスは、オペレータによる入力に応答して、ウェイポイント１１２および／または関連する方位１１４を自動で送信してもよい。そのような実施例では、ウェイポイント１１２が特定の位置において確認されたとの判定に基づいて、および／または方位１１４が確認されたとの判定に基づいて、サービスコンピューティングデバイスは、ウェイポイント１１２および／または方位１１４を自動で送信してもよい。様々な実施例では、１つ以上のウェイポイント１１２および／または関連する方位１１４は、ポイントが検証された（例えば、安全性プロトコル、リモートガイダンスプロトコル、および／または運動学的検証に合格した）との判定に基づいて送信されてもよい。いくつかの実施例では、ウェイポイント１１２および／または関連する方位１１４は、オペレータによる入力などの送信コマンド（例えば、送信オプションの選択）を受信したことに応答して送信されてもよい。いくつかの実施例では、ＧＵＩは、ウェイポイント１１２および／または関連する方位１１４を個々におよび／またはグループで送信するように構成されてもよい。
様々な実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスからウェイポイント（複数可）１１２および／または方位（複数可）１１４を受信してもよく、ウェイポイント（複数可）１１２および／または方位（複数可）１１４を検証してもよい。そのような実施例では、車両コンピューティングシステムは、ウェイポイント（複数可）１１２および／または方位（複数可）１１４が安全性プロトコルに合格することを検査してもよく、車両１０２および／または運動学的検証（例えば、車両１０２が物理的制約に基づいて所望のウェイポイントを達成することができる）によって安全に実行されてもよい。ウェイポイントおよび／または関連する方位が安全性プロトコルに違反するとの判定に応答して、車両コンピューティングシステムは、ウェイポイントを拒絶してもよい。いくつかの実施例では、車両コンピューティングシステムは、停止ポイント（例えば、初期位置１０８）から進行せず、または拒絶されたウェイポイントの前のウェイポイントにおいて停止することなどによって、拒絶されたウェイポイントに進行しなくてもよい。例えば、車両コンピューティングデバイスは、第１のウェイポイント１１２（１）および第１の方位１１４（１）を受信してもよく、第１のウェイポイント１１２（１）および第１の方位１１４（１）が有効である（例えば、安全性プロトコルに合格する）と判定してもよい。車両コンピューティングデバイスは、初期位置１０８から第１のウェイポイント１１２（１）に車両をナビゲートしてもよい。車両コンピューティングデバイスはまた、第２のウェイポイント１１２（２）および第２の方位１１４（２）を受信してもよく、第２のウェイポイント１１２（２）または第２の方位１１４（２）のうちの少なくとも１つが安全性プロトコルに合格しないと判定してもよい。車両コンピューティングデバイスは、第２のウェイポイント１１２（２）および／または第２の方位１１４（２）を拒絶してもよく、更新されたガイダンスを待機するよう、第１のウェイポイント１１２（１）において車両を停止させてもよい。
いくつかの実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスに、ウェイポイント１１２および／または関連する方位１１４の拒絶を示すメッセージを送信してもよい。いくつかの実施例では、メッセージは、拒絶についての理由を含んでもよい。例えば、車両コンピューティングシステムは、ウェイポイントが環境１００内の静的物体から閾値距離未満であると判定してもよい。判定に基づいて、車両コンピューティングシステムは、ウェイポイントを拒絶してもよく、サービスコンピューティングデバイスに、距離が閾値距離未満であることを示すメッセージを送信してもよい。
ウェイポイント（複数可）１１２および／または関連する方位（複数可）１１４が安全性プロトコルに合格するとの判定に応答して、車両コンピューティングシステムは、ウェイポイント（複数可）１１２および／または方位（複数可）１１４を受け付けてもよい。車両コンピューティングシステムは、ウェイポイント（複数可）１１２および／または方位（複数可）１１４を処理してもよく、車両１０２がウェイポイント１１２の間で遷移するための１つ以上の軌道１１６を生成してもよい。例えば、車両コンピューティングシステムは、第１のウェイポイント１１２（１）および第１の方位１１４（１）を受信してもよい。第１のウェイポイント１１２（１）および第１の方位１１４（１）が有効であるとの判定に基づいて、車両コンピューティングシステムは、第１の方位１１４（１）において初期位置から第１のウェイポイント１１２（１）に遷移するための軌道１１６の第１のセット（１つ以上の軌道）を判定してもよい。少なくともいくつかの実施例では、そのような軌道を判定する際の制約（例えば、車両１０２が特に規定された偏揺れ角度においてウェイポイントを通過するはずである）として１つ以上のウェイポイント１１２が使用されてもよい。追加の実施例または代替的な実施例では、ウェイポイントは、車両１０２がウェイポイントからどの程度離れているか、ならびに／または車両１０２および対応するウェイポイント１１２の偏揺れにおける差と関連付けられたコストに少なくとも部分的に基づいて軌道が判定されるコストを含んでもよい。判定された軌道のうちのいずれか１つ以上では、閾値速度を満たさずまたは閾値速度を上回らないよう速度が制約されることがあり、閾値速度は、固定速度（例えば、毎時５マイル、毎時１０マイルなど）および／または横断する運転可能面上での関連する速度制限の割合であってもよい。
生成された軌道１１６に基づいて、車両コンピューティングシステムは、１つ以上の運転システムなどを介して、関連する方位（複数可）１１４においてウェイポイント（複数可）１１２まで車両１０２を制御してもよい。様々な実施例では、車両コンピューティングシステムは、ウェイポイント１１２および／または関連する方位１１４を段階的に受信してもよい。そのような実施例では、車両コンピューティングシステムは、初期位置１０８から第１のウェイポイント１１２（１）まで車両を制御してもよい。いくつかの実施例では、車両コンピューティングシステムは、第２のウェイポイント１１２（２）などの以後のガイダンスを受信および／または検査する前に、第１のウェイポイント１１２（１）に到達してもよい。そのような実施例では、車両コンピューティングシステムは、第２のウェイポイント１１２（２）が受信および検査されるまで、第１のウェイポイント１１２（１）において車両を停止させてもよい。いくつかの実施例では、車両コンピューティングシステムは、第１のウェイポイント１１２（１）に到達する前に、第２のウェイポイント１１２（２）を受信および検査してもよい。そのような実施例では、車両コンピューティングデバイスは、停止することなく第２のウェイポイント１１２（２）に向かって第１のウェイポイント１１２（１）を越えて操作するよう車両を制御してもよい。いくつかの実施例では、第１のウェイポイント１１２（１）などの特定のウェイポイントにおける停止位置まで減速する間、以後のガイダンスが提供されてもよい。そのような実施例では、車両コンピューティングデバイスは、適切な速度まで車両を再度加速化してもよく、第２のウェイポイント１１２（２）に向かって車両をナビゲートしてもよい。
様々な実施例では、車両コンピューティングデバイスは、リモートガイダンスプロトコルに従って車両を制御してもよい。リモートガイダンスプロトコルは、リモートガイダンスモードにおいて動作している間の車両１０２の移動に対する１つ以上の制限を含んでもよい。リモートガイダンスプロトコルは、進路逸脱（例えば、障害物を回避するなどのために、車両１０２が車両の１／２の幅、１台の車両の幅を逸脱することがある２つのウェイポイントの間での進路からの距離）、静的物体検出に対する応答（例えば、以後のウェイポイントに到着するよう静的物体を回避することの試み）、動的物体検出に対する応答（例えば、ウェイポイント１１２に対応する進路に侵入することが予測されるエージェントに譲ること）、車両と同一の方向に移動する動的物体の後に続くこと（例えば、ウェイポイント１１２に対応する進路内で）、必要に応じて交差点における道の右に譲ること（例えば、全方向停止、信号機、回り道など）、または受信される更なるガイダンスがない場合の前方停止の動き（例えば、別のウェイポイント、ナビゲーションを再開する命令など）、などを含んでもよい。
様々な実施例では、車両コンピューティングシステムは、環境内で条件に対して適切な速度において車両１０２を制御してもよい。条件は、環境内で検出されたいくつかのおよび／もしくはタイプの動的物体（例えば、道路上のいくつかの他の車両、何人かの歩行者、付近で遊んでいる子供など）、または環境と関連付けられた地帯（例えば、スクールゾーン、運動場など）などを含んでもよい。いくつかの実施例では、車両コンピューティングシステムは、安全性を最大化すると共に、先方の動きをなおも可能にするよう、車両の最大速度を動的に判定するように構成されてもよい。例えば、車両コンピューティングデバイスは、ガイダンスモードにおいて動作する間に、スクールゾーン内にそれがあると判定してもよい。車両コンピューティングシステムは、車両１０２と関連付けられた進路に生徒が近づいていることを検出すると、車両１０２の即時停止を可能にするよう、車両１０２と関連付けられた最大速度が毎時７マイルであると判定してもよい。別の実施例について、車両１０２は、トラフィック内の別の車両に続いていることがある。車両コンピューティングデバイスは、先行する車両の背後で安全な距離を維持する速度において車両１０２を制御してもよい。
様々な実施例では、車両コンピューティングシステムは、予め定められた最大速度（例えば、毎時２０キロメートル、毎時１５マイル、毎時１０マイルなど）を下回って車両１０２を制御してもよい。いくつかの実施例では、予め定められた最大速度は、リモートガイダンスと関連付けられた最大速度を含んでもよい。様々な実施例では、車両コンピューティングシステムは、環境および／もしくはシナリオと関連付けられた速度において、または環境および／もしくはシナリオと関連付けられた速度を下待って車両１０２を制御してもよい。少なくとも１つの実施例では、車両コンピューティングシステムは、予め定められた最大速度または環境および／もしくはシナリオと関連付けられた最大速度のうちの低い方の速度において車両１０２を制御してもよい。例えば、車両コンピューティングシステムは、リモートガイダンスモードにおいて動作しているとき、毎時１５マイルの予め定められた最大速度（例えば、毎時０～１５マイルの速度）において車両を動作させてもよい。車両コンピューティングシステムは、リモートガイダンスシナリオ１０６を検出してもよく、サービスコンピューティングデバイスからのガイダンス入力を要求してもよい。車両コンピューティングシステムおよび／またはオペレータは、センサデータに基づいて、それと関連付けられたリモートガイダンスシナリオ１０６が毎時１０マイルの速度制限を有すると判定してもよい。毎時１０マイルの速度制限が毎時１５マイルの予め定められた最大速度未満であることに基づいて、車両コンピューティングシステムは、リモートガイダンスシナリオ１０６を通じてナビゲートする間に、毎時１０マイル以下まで車両の速度を制限してもよい。
様々な実施例では、車両コンピューティングシステムは、リモートガイダンスシナリオ１０６を通じてナビゲートする間に（例えば、ウェイポイントからウェイポイントに移動する間）、車両１０２が安全性プロトコルに違反していないことを検査するように構成されてもよい。車両コンピューティングデバイスは、継続的、周期的（例えば、０．１秒ごと、０．５秒ごと、１秒ごとなど）、および／またはランダムな間隔において（例えば、３秒、５秒など）、安全性プロトコルが車両によって満たされる（例えば、車両が環境内の物体１１８に影響を及ぼさない）を保証するよう、周囲を監視してもよい。例えば、車両コンピューティングデバイスは、車両１０２が環境内の物体１１８から最小距離を維持することを保証するよう、車両１０２を制御してもよい。
様々な実施例では、車両コンピューティングデバイスは、センサデータなどに基づいて、環境１００内の１つ以上の物体１１８を検出してもよい。物体（複数可）１１８は、静的物体および／または動的物体であってもよい。様々な実施例では、車両コンピューティングシステムは、検出された物体（複数可）１１８の各々と関連付けられた分類（例えば、自動車、セミトレーラトラック、歩行者、自転車乗用者などの物体のタイプ）を判定するように構成されてもよい。様々な実施例では、車両コンピューティングシステムは、センサデータに基づいて、１つ以上の予測された物体軌道１２０を判定してもよい。物体軌道１２０は、物体１１８が環境１００を通じて感知時間と関連付けられた位置から移動することができるいずれかの数の潜在的な進路を表すことができる。物体軌道１２０は、物体１１８の分類、交通法またはルール（例えば、道路のルール）、運転エチケット、屈折レーン（turning lane）／非屈折レーン内の位置、交差点への近接度、他の静止物体および／または動的物体、運転可能面などの様々な因子に基づいて判定されてもよい。
様々な実施例では、物体軌道１２０は、１つ以上の機械学習アルゴリズムを利用して判定されてもよい。そのような実施例では、車両コンピューティングシステムは、予測システムなどを介して、物体１１８と関連付けられたセンサデータを受信してもよく、センサデータに基づいて、物体１１８の振る舞いを予測してもよい。例えば、車両コンピューティングシステムは、物体１１８が取ることができる後のアクション（例えば、物体軌道）を提案することができる振る舞いを車両コンピューティングシステムが認識することができるように、経時的に物体の動きの捕捉された画像データに対して訓練されてもよい。いくつかの実施例では、車両コンピューティングシステムは、「Ｔｒａｊｅｃｔｏｒｙ Ｐｒｅｄｉｃｔｉｏｎ ｏｎ Ｔｏｐ－Ｄｏｗｎ Ｓｃｅｎｅｓ」と題する２０１８年１０月４日に出願された米国特許出願第１６／１５１，６０７号（その内容が参照によって以下に組み込まれるに）おいて記載された技術などを利用することによって、環境のトップダウン表現に基づいて、予測された物体軌道１２０を判定してもよい。加えて、または代替として、車両コンピューティングシステムは、検出された物体１１８と関連付けられた１つ以上の物体軌道１２０を判定するために、「Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｈｅａｔ マップ ｆｏｒ Ｂｅｈａｖｉｏｒ Ｐｒｅｄｉｃｔｉｏｎ」と題する２０１７年１１月８日に出願された米国特許出願第１５／８０７，５２１号（その内容が参照によって以下に組み込まれる）において記載された技術など、ヒートマップ、ツリー探索法、および／または時相論理式を利用してもよい。
様々な実施例では、車両コンピューティングシステムは、環境１００内の検出された物体（複数可）１１８と関連付けられた物体軌道１２０を処理してもよく、車両１０２および物体（複数可）１１８が相互作用することがあるかどうか（例えば、衝突、ニアミスなど）を判定してもよい。例えば、車両コンピューティングシステムは、ウェイポイント１１２（８）から後続のウェイポイント１１２（Ｎ）まで車両１０２を制御してもよい。車両コンピューティングシステムは、車両１０２と関連付けられた軌道と交差するように見える物体軌道１２０を有する物体１１８（例えば、歩行者）を検出してもよい。車両コンピューティングデバイスは、物体１１８によって車両１０２が安全性プロトコルに違反することがあり（例えば、動いている間の車両１０２の閾値距離内に歩行者がいること）および／または車両１０２がリモートガイダンスプロトコルに違反することがある（例えば、リモートガイダンスモードにある車両の進路に物体が横断すること）と判定してもよい。車両コンピューティングシステムは、車両１０２が安全性プロトコルおよび／またはリモートガイダンスプロトコルを維持することを保証するために、歩行者に譲ることなど、歩行者に基づいて取るべきアクションを判定してもよい。
様々な実施例では、サービスコンピューティングデバイスは、シナリオが完了したこと（例えば、車両がリモートガイダンスシナリオ１０６に合格し、標準動作を再開することができる）を判定してもよく、リモートガイダンスから車両１０２を解放してもよい。いくつかの実施例では、シナリオ完了は、車両がリモートガイダンスシナリオ１０６の残りを安全にナビゲートすることができたとの判定に部分的に基づいてもよい。例えば、初期位置１０８において車両コンピューティングシステムに視認可能でなかった閉塞された（occluded）物体は、感知システムによって検知され、車両コンピューティングシステムは、閉塞された物体を周航するように構成されてもよい。別の実施例について、リモートガイダンスシナリオ１０６の第１の区画は、反対方向のトラフィックに対して規定されたレーン内で移動することなど、動作プロトコルの違反を含んでもよい。リモートガイダンスシナリオ１０６の第２の区画は、動作プロトコルの限度内で移動することを含んでもよい。よって、オペレータは、第１の区画の完了に基づいて（例えば、移動の方向に対して車両が適切なレーン内で遷移することに基づいて）シナリオが完了することができると判定してもよい。
いくつかの実施例では、シナリオ完了は、１１２（Ｎ）などの生成されたウェイポイント１１２が車両１０２と関連付けられた元の経路の閾値距離（例えば、０．５メートル、０．５フィート、１０インチなど）以内にあることに部分的に基づいてもよい。いくつかの実施例では、シナリオ完了は、センサデータ入力に基づいてもよい。そのような実施例では、オペレータは、シナリオが完了したことを判定するために、ＧＵＩを介してセンサデータを見ることができる。例えば、リモートガイダンスシナリオ１０６は、建設区域を含んでもよい。車両からのカメラフィードは、車両１０２の背後の建設区域の端を表すことができる。建設区域が車両１０２の背後のあるとの判定に基づいて、オペレータは、シナリオが完了したと判定してもよい。
様々な実施例では、シナリオが完了したとの判定に応答して、サービスコンピューティングデバイスは、車両１０２に解放信号を送信してもよい。そのような実施例では、解放信号に応答して、車両コンピューティングデバイスは、車両１０２のナビゲーションを再開するように構成されてもよい。様々な実施例では、サービスコンピューティングデバイスは、シナリオが車両１０２の計画された経路１０４（例えば、初期経路）を妨害したと判定してもよい。そのような実施例では、サービスコンピューティングデバイスは、車両が予め定められた宛先に到着するための更新された経路を生成してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、解放信号を送信する前に、車両コンピューティングデバイスに更新された経路を送信してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、解放信号と実質的に同時に（例えば、１秒以内、２秒以内など）、更新された経路を送信してもよい。更新された経路の受信に応答して、車両コンピューティングシステムは、更新された経路に沿って予め定められた宛先まで車両１０２を制御してもよい。いくつかの実施例では、車両コンピューティングデバイスは、シナリオが初期経路を妨害したと判定してもよい。そのような実施例では、車両コンピューティングデバイスは、宛先にナビゲートするための更新された経路を生成するように構成されてもよい。様々な実施例では、サービスコンピューティングデバイスも車両コンピューティングデバイスも更新された経路を判定しなかったとの判定に基づいて、車両コンピューティングデバイスは、車両を路肩に寄せることをさせてもよく（例えば、トラフィックのフローから外側に車両を制御する）、更新された経路を判定するよう車両を停止させてもよく、および／またはサービスコンピューティングデバイスから更新された経路ガイダンスを受信してもよい。
様々な実施例では、サービスコンピューティングデバイスに接続した後であるが、ガイダンスデータ（例えば、ウェイポイント（複数可）１１２および／または方位（複数可）１１４を受信する前に、車両コンピューティングシステムは、リモートガイダンスシナリオ１０６を安全にナビゲートするための解を判定してもよい。そのような実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスに、リモートガイダンスについての要求を取り消すメッセージを送信してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、安全性モニタとしての役割を果たすなど、オペレータがリモートガイダンスシナリオ１０６を通じて自律的にナビゲートする車両１０２を観察することを可能にするようＧＵＩを起動してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、シナリオを完了してもよく、ＧＵＩと関連付けられた入力制御を無効にしてもよく、ウェイポイント１１２および／または方位１１４の入力を提供することからオペレータを拒否する。
図２は、リモートガイダンスモードにおいて動作する車両１０２などの車両２１０に対してオペレータ２０４（オペレータによって制御される入力カーソルとして示される）がウェイポイント１１２および／または方位１１４などのウェイポイント２０６および／または方位２０８を入力することができる、グラフィカルユーザインタフェース２０２（ＧＵＩ２０２）を有する例示的なサービスコンピューティングデバイス２００を表す。上記議論されたように、車両２１０と関連付けられた車両コンピューティングデバイスは、リモートガイダンスシナリオ１０６などのリモートガイダンスシナリオ２１４を含む１つ以上の障害物２１２を検出してもよい。リモートガイダンスシナリオ２１４を検出したことに応答して、車両コンピューティングシステムは、サービスコンピューティングデバイス２００との接続を確立してもよい。様々な実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイス２００からガイダンスデータ（例えば、ガイダンス入力）についての要求を送信してもよい。少なくともいくつかの実施例では、車両コンピューティングシステムは、完全な停止を行う前に、そのようなリモートガイダンスシナリオ２１４を認識することができる（例えば、本明細書で議論される技術によって、車両が停止することなく宛先まで動き続けることができる十分に遠いシナリオを事前に認識することができる）。
様々な実施例では、車両コンピューティングデバイスとの接続および／またはガイダンスデータについての要求の受信に応答して、サービスコンピューティングデバイス２００は、ガイダンスについての１つ以上の条件が満たされるかどうかを判定してもよい。ガイダンスについての条件（複数可）は、サービスコンピューティングデバイス２００が車両２１０にガイダンスを効果的に提供することができることを保証することをシステムがチェックすることを含んでもよい。条件（複数可）は、車両速度が閾値を下回ること（例えば、毎時１５マイル未満であること、毎時２０キロメートル未満であることなど）、閾値数および／もしくはタイプのセンサが利用可能であること（例えば、動作可能な前方ビュー、後方ビュー、左ビュー、および右ビューを提供する最小数の４個のカメラ、動作可能な大気遠近ビューと関連付けられた最小数のセンサなど）、閾値帯域幅（例えば、毎秒１０メガバイト以上、毎秒１５メガバイト以上など）、閾値待ち時間（例えば、３００ミリ秒以下、２５０ミリ秒以下など）、または車両ヘルス関連障害がないこと（例えば、ステアリングコラム障害など）などを含んでもよい。
いくつかの実施例では、条件が満たされないとの判定に基づいて、サービスコンピューティングデバイス２００は、車両コンピューティングデバイスに、条件の欠如を通信してもよい。そのような実施例では、サービスコンピューティングデバイス２００は、条件が満たされるまで（例えば、帯域幅が増大し、待ち時間が減少し、車両ヘルス関連障害がなく、車両速度が閾値を下回って減少し、センサデータ利用可能性が増大するなど）、ガイダンスデータを提供することが不可能であってもよい。いくつかの実施例では、条件が満たされないとの判定に基づいて、サービスコンピューティングデバイス２００は、ＧＵＩ２０２を起動しなくてもよい。いくつかの実施例では、条件が満たされないとの判定に基づいて、サービスコンピューティングデバイス２００は、ＧＵＩ２０２を起動してもよいが、入力制御を有効にしなくてもよい。そのような実施例では、オペレータ２０４は、ウェイポイント２０６および／または方位２０８のガイダンスを提供することが不可能であってもよい。いずれかのそのような実施例では、車両は、フォールバック操作（例えば、現在位置を維持すること、および／または安全な停止区域まで路肩に寄せること）を実行してもよい。
様々な実施例では、条件（複数可）が満たされるとの判定に基づいて、サービスコンピューティングデバイス２００は、ＧＵＩ２０２を起動してもよく、入力制御を有効にしなくてもよい。そのような実施例では、オペレータ２０４は、ウェイポイント２０６および／または方位２０８のガイダンスを提供することが可能であることができる。ＧＵＩ２０２は、車両２１０上の１つ以上のセンサからのセンサデータを表す１つ以上のウインドウ２１６を含んでもよい。少なくとも１つの実施例では、ウインドウ（複数可）２１６は、車両２１０上のカメラによって捕捉されたストリーミング画像を表すことができる。ウインドウ（複数可）２１６は、車両が取る進路２１８を判定する際にオペレータを支援するためのデータを表すことができる。進路は、車両が環境を通じて横断することができる実際の進路２３０を示すことがあり、または示さないことがある、ウェイポイントの間の直線を含んでもよい。いくつかの実施例では、進路２１８と実際の進路２３０との間の差は、第１のウェイポイント２０６（１）と関連付けられた第１の方位２０８（１）など、車両がウェイポイント２０６において対向する方位２０８または方向に少なくとも部分的に基づいてもよい。そのような実施例では、車両コンピューティングシステムは、第１の方位２０８（１）において第１のウェイポイント２０６（１）に到着するための車両の１つ以上の軌道を示す実際の進路２３０を生成してもよい。そのような実施例では、軌道は、有限時間範囲にわたって、および／または後続のウェイポイントの間で取得する１つ以上の状態（位置、方位、速度、加速度など）を含んでもよい。上記のように、そのようなウェイポイントは、そのような軌道をコストおよび／または制約として判定するために使用されてもよい。
例示的な実施例では、ＧＵＩ２０２は、車両２１０と関連付けられた左前方ビューを表す第１のウインドウ２１６（１）、前方ビューを表す第２のウインドウ２１６（２）、右前方ビューを表す第３のウインドウ２１６（３）、および背面ビューを表す第４のウインドウ２１６（４）を含む。オペレータは、車両がリモートガイダンスシナリオ２１４を通じて遷移するための進路２１８を判定するために、ビューの各々を評価してもよい。進路２１８は、車両２１０の初期位置２２２と第１のウェイポイント２０６（１）との間の直線距離、および第１のウェイポイント２０６（１）と第２のウェイポイント２０６（２）との間などのウェイポイント２０６の間の直線距離を表すことができる。
様々な実施例では、ＧＵＩ２０２は、車両２１０およびリモートガイダンスシナリオ２１４の上面ビュー２２０（例えば、バーズアイビュー）の表示を含んでもよく、リモートガイダンスシナリオ２１４は、少なくともいくつかの実施例では、異なる視点を提供するために、オペレータ２０４に従って調整されてもよい。いくつかの実施例では、上面ビュー２２０は、センサデータに基づいた環境のコンピュータにより生成されたビューを含んでもよい。いくつかの実施例では、上面ビュー２２０は、リモートガイダンスシナリオ２１４の障害物（複数可）２１２に対する車両２１０の位置２２２を最初に含んでもよい。例示的な実施例では、上面ビュー２２０は、計画された経路（例えば、計画された進路）１０４など、車両２１０の計画された進路２２４（例えば、初期進路、計画された経路など）を封鎖する複数のオレンジコーンに接近している車両２１０を表す。
様々な実施例では、上面ビュー２２０は、オペレータ２０４からガイダンス入力を受信するように構成されてもよい。そのような実施例では、オペレータ２０４は、それと関連付けられた障害物（複数可）２１２の周りなど、リモートガイダンスシナリオ２１４を通じてナビゲートするためのガイダンスを車両に提供することが可能であることができる。入力は、１つ以上のウェイポイント２０６を含んでもよい。ウェイポイント（複数可）２０６は、車両が移動する位置を含んでもよい。様々な実施例では、ウェイポイント（複数可）２０６の各々は、更なるガイダンスがないなど、停止ポイントを含んでもよい。そのような実施例では、車両２１０は、後続のウェイポイント２０６の受信がないことまたは後続のウェイポイント２０６の検査がないことなど、ウェイポイント（複数可）２０６の各々において停止するように構成されてもよい。
様々な実施例では、オペレータ２０４は、ウェイポイントエントリオプション２２６を選択してもよい。いくつかの実施例では、ウェイポイントエントリオプション２２６は、上面ビュー２２０へのウェイポイント２０６の入力を可能にすることができる。様々な実施例では、オペレータ２０４は、サービスコンピューティングデバイス２００と関連付けられた入力デバイスを使用して、ウェイポイントを入力してもよい。マウスなどと関連付けられたカーソルとして示されるが、タッチスクリーンまたはキーボードなどの他の入力デバイスが考慮される。オペレータ２０４は、上面ビュー２２０上でウェイポイント２０６についての異なる潜在的な位置にカーソルを移動させてもよい。いくつかの実施例では、第２のウェイポイント２０６（２）などのウェイポイント２０６と関連付けられたシンボルは、カーソルを伴ってもよい。例示的な実施例では、第２のウェイポイント２０６（２）は、光色を有するとして表される。そのような実施例では、光色は、オペレータ２０４によってまだ入力されていないウェイポイント２０６を表すことができる。特定の位置上でマウスをクリックするなどによって、エントリに応答して、ウェイポイント２０６が入力されてもよく、２０６（１）などのウェイポイント２０６は、異なる色で表されてもよい。少なくともいくつかの実施例では、ＧＵＩ２０２は、前に入力されたウェイポイントおよび／または最後に知られた車両の位置からの特定の距離よりも大きく、オペレータ２０４がウェイポイントを入力することを排除してもよい。
様々な実施例では、オペレータ２０４は、方位エントリオプション２２８を選択してもよい。方位エントリオプションは、オペレータ２０４がウェイポイント２０６と関連付けられた方位２０８（例えば、偏揺れ）を入力することを可能にすることができる。上記議論されたように、方位２０８は、車両が特定のウェイポイント２０６において対向するはずである方位を表すことができる。いくつかの実施例では、方位２０８は、前のウェイポイント２０６および／または後続のウェイポイント２０６に基づいて判定されてもよい。そのような実施例では、特定のウェイポイント２０６における方位は、ガイダンス経路上でのウェイポイントの間で車両が円滑に遷移することを可能にすることができる。様々な実施例では、ウェイポイント２０６と関連付けられた方位２０８は、ウェイポイント２０６において車両が停止する必要がある好ましい方位２０８に基づいてもよい。
いくつかの実施例では、ＧＵＩ２０２は、入力されたウェイポイント２０６上の方位エントリ（例えば、確認された配置）を受信するように構成されてもよい。例えば、オペレータ２０４が第２のウェイポイント２０６（２）をクリック（例えば、選択）し、それによって、入力されたウェイポイント２０６（１）に合致するよう色を変化させたことに応答して、オペレータ２０４は、方位２０８（２）など、それと関連付けられた方位２０８を入力することが可能であることができる。例示的な実施例では、オペレータ２０４は、第２のウェイポイント２０６（２）の周りでカーソルまたは他の入力デバイスを移動させてもよく（例えば、カーソルをスクラッチする）、車両２１０が第２のウェイポイント２０６（２）において対向する方向を選択してもよい。方向は、第２のウェイポイント２０６（２）における車両２１０の方位２０８（２）または偏揺れを表すことができる。上記議論されたように、様々な実施例では、方向は、ＧＵＩ２０２によって生成された進路２１８と一致することができる。様々な実施例では、カーソルの移動は、方位制限（orientation limitation）２４２によって限定されてもよい。方位制限２４２は、方位２０８を設定することができる方向の範囲を含んでもよい。様々な実施例では、ＧＵＩ２０２は、方位制限２４２外での方位入力を遮断してもよい。方位制限２４２は、車両２１０に対して課された物理的制約（例えば、最大偏揺れ割合、最大偏揺れ角度、最大横断距離、最大回り角度など）に基づいてもよい。例えば、上面ビュー２２０は、９０度または１８０度の回転など、ウェイポイント２０６において車両に大きく曲がることを実行させる方位入力を受け付けなくてもよい。
様々な実施例では、サービスコンピューティングデバイス２００は、ＧＵＩを介して入力されたウェイポイント（複数可）２０６および／または方位（複数可）２０８を検証するように構成されてもよい。上記議論されたように、ウェイポイント２０６および／または方位２０８の検証は、車両がウェイポイント２０６および／または方位２０８に従ってナビゲートすることと関連付けられた安全性プロトコルおよび／またはリモートガイダンスプロトコルに車両２１０が違反しない（例えば、合格する）ことの検査を含んでもよい。いくつかの例では、そのような検証は、車両がそのようなウェイポイント遷移を実行する能力を有することを保証する運動学的／動的チェック（検証）を含んでもよい。
様々な実施例では、ガイダンス入力（例えば、ウェイポイント（複数可）２０６および／または方位（複数可）２０８）を受信したことに応答して、サービスコンピューティングデバイス２００は、車両コンピューティングシステムにウェイポイント（複数可）２０６および／または方位（複数可）２０８（例えば、ウェイポイントデータ）を送信してもよい。いくつかの実施例では、サービスコンピューティングデバイス２００は、第２のウェイポイント２０６（２）および／または第２の方位２０８（２）と関連付けられた入力を受信する前に、第１のウェイポイント２０６（１）および／または第１の方位２０８（１）を送信してもよい。そのような実施例では、車両コンピューティングシステムは、第１のウェイポイント２０６（１）および／または第１の方位２０８（１）を受信し、車両に初期位置２２２から移動することを開始させるように構成されてもよい。第２のウェイポイント２０６（２）と関連付けられたデータの受信がないと、車両コンピューティングシステムは、第１のウェイポイント２０６（１）において車両２１０を停止させてもよい。様々な実施例では、第２のウェイポイント２０６（２）および／または第２の方位２０８（２）の受信（および、検証）に応答して、車両コンピューティングシステムは、第２のウェイポイント２０６（２）に向かって車両を進行させてもよい。そのような実施例では、サービスコンピューティングデバイス２００は、車両コンピューティングシステムへの段階的リモートガイダンスを可能にすることができる。いくつかの実施例では、サービスコンピューティングデバイス２００は、２つ以上のウェイポイント２０６および／または方位２０８と関連付けられたデータを送信してもよい。そのような実施例では、２つ以上のウェイポイントの検証に基づいて、車両コンピューティングシステムは、２つ以上のウェイポイント２０６の間でナビゲートするように構成されてもよい。本明細書で説明される実施例のいずれかでは、車両が停止することなく全てのウェイポイントを通り続けることができるように、車両が第１のウェイポイント２０６（１）に横断するにつれて、第２のウェイポイント２０６（２）が受信されてもよい。
上記議論されたように、第１のウェイポイント２０６（１）および／または第１の方位２０８（１）などのウェイポイント２０６および／または方位２０８を受信したことに応答して、車両コンピューティングシステムは、車両２１０に対して１つ以上の軌道を生成してもよい。軌道は、ガイダンスモードにおいて動作する間の位置の間で車両２１０が移動する実際の進路２３０を表すことができる。様々な実施例では、実際の進路２３０と関連付けられた軌道は、車両が第１の方位２０８（１）において第１のウェイポイント２０６（１）に到着することを結果としてもたらす軌道を含んでもよい。
様々な実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスに、現在位置を越えて進行することが不可能であることのインジケーションを送信してもよい。現在位置は、ウェイポイント２０６（１）などのウェイポイント２０６、または環境内の別の位置を含んでもよい。いくつかの実施例では、車両は、車両コンピューティングデバイスが車両２１０に対して１つ以上の軌道を生成することができないこと、第２のウェイポイント２０６（２）などの後続のウェイポイント２０６がまだ受信されていないこと、第２のウェイポイント２０６（２）への進路が封鎖されていること、またはウェイポイント２０６が拒絶されたこと、などの判定に基づいてもよい。いくつかの実施例では、インジケーションを受信したことに応答して、サービスコンピューティングデバイスは、車両が進行することが不可能であることを示す通知をＧＵＩ２０２上で提示してもよい。通知に基づいて、オペレータは、第２のウェイポイント２０６（２）が拒絶された場合など、第２の（後続の）ウェイポイント２０６（２）および／または置き換えウェイポイント２０６を入力してもよい。
様々な実施例では、ＧＵＩ２０２は、オペレータ２０４が特定の位置において車両を停止させることを可能にすることができる。いくつかの実施例では、車両は、以後のガイダンスがまだ受信されていないこと（例えば、第２のウェイポイント２０６（２）と関連付けられたデータが受信および／または検査されていないこと）の判定に基づいて、ウェイポイント２０６（１）などのウェイポイントにおいて停止してもよい。いくつかの実施例では、オペレータ２０４は、保留オプション（hold option）２３２を選択することによって車両２１０を停止させてもよい。保留オプション２３２の選択によって、サービスコンピューティングデバイス２００は、車両２１０に保留信号を送信することができる。いくつかの実施例では、保留信号を受信したことに応答して、車両コンピューティングシステムは、停止するよう車両を制御してもよい。いくつかの実施例では、保留信号を受信したことに応答して、車両コンピューティングシステムは、停止した位置において車両を維持してもよい。
様々な実施例では、車両コンピューティングシステムは、完了信号（例えば、解放信号）が受信されるまで、停止した位置を維持してもよい（保留信号に応答してなど）。完了信号は、オペレータ２０４による解放オプション２３４の入力に応答してサービスコンピューティングデバイスによって送信されてもよい。様々な実施例では、完了信号によって、車両コンピューティングデバイスは、受信されたガイダンス入力に基づいて車両を制御することができる。いくつかの実施例では、保留および解放は、オペレータが複数のウェイポイント２０６および／または方位２０８を一度に送信することを可能にすることができる。いくつかの実施例では、車両の保留の間に入力されたウェイポイント２０６および／または方位２０８は、完了信号と実質的に同時に送信されてもよい。
様々な実施例では、ＧＵＩ２０２は、完了オプション２３６を含んでもよい。完了オプション２３６は、車両がリモートガイダンスシナリオ２１４をナビゲートし、自律的に進行することができるとの判定に応答してオペレータによって選択されてもよい。いくつかの実施例では、完了オプション２３６は、終結条件（terminating condition）が発生したとの判定に応答して選択されてもよい。終結条件は、リモートガイダンスシナリオ２１４が車両の背後にあること、車両２１０が計画された進路２２４の閾値距離内にあること、または車両２１０が自律的に進行する能力を有すること（例えば、動作プロトコル、安全性プロトコルなどに従って車両を制御する）などとの判定を含んでもよい。様々な実施例では、完了オプション２３６の選択に応答して、サービスコンピューティングデバイス２００は、車両コンピューティングデバイスに完了信号を送信してもよい。完了信号は、自律的に進行する命令を含んでもよい。様々な実施例では、サービスコンピューティングデバイス２００は、リモートガイダンスシナリオ２１４が車両２１０の計画された進路２２４を妨害したこと、および車両２１０が別の経路（例えば、更新された経路）に沿って進行することと判定してもよい。いくつかの実施例では、サービスコンピューティングデバイス２００は、車両が宛先にナビゲートするための更新された経路を自動で生成してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、更新経路オプション２３８のオペレータによる入力に基づいて、更新された経路を生成してもよい。
様々な実施例では、ＧＵＩ２０２は、ＧＵＩ２０２の編集ウェイポイントオプション２４０などに応答して、ウェイポイント編集（waypoint edit）（例えば、削除または修正）を受信するように構成されてもよい。編集ウェイポイントオプション２４０は、オペレータがウェイポイント２０６および／またはそれと関連付けられた方位２０８を削除および／または修正することを可能にすることができる（例えば、ウェイポイント２０６については、位置を変更する）（例えば、方位２０８については、偏揺れを変更する）。ウェイポイント２０６および／または方位２０８は、ウェイポイント２０６が確認されていない（例えば、車両コンピューティングシステムによって受け付けられない）との判定、またはウェイポイントが確認されたが、車両によって完了していない（例えば、車両２１０がウェイポイント２０６に到着しておらず、車両がウェイポイント２０６への実際の進路２３０に沿って開始していない）との判定に基づいて編集されてもよい。様々な実施例では、ウェイポイントが確認されたが完了していないとの判定に応答して、ＧＵＩ２０２は、ウェイポイント２０６の編集を可能にする前に、車両２１０が停止したことを検査してもよい。ウェイポイントが車両を制御するよう車両コンピューティングシステムによって現在使用されている実施例では、ウェイポイントは、編集のためにロックされてもよい。そのような実施例では、これは、それが計画のために使用された後（それによって、安全な計画処理を生じさせる）、オペレータ２０４がウェイポイントを調節することを排除する。
図３は、車両１０２に段階的ガイダンスを提供するための例示的な処理３００を表す。処理３００の一部または全ては、図８に関して以下で説明される１つ以上のコンポーネントによって実行されてもよい。
オペレーション３０２において、サービスコンピューティングデバイスは、車両コンピューティングシステムからガイダンスについての要求を受信してもよい。車両コンピューティングシステムは、動作環境内でのリモートガイダンスシナリオ１０６の検出に基づいて、ガイダンスについての要求を送信してもよい。リモートガイダンスシナリオ１０６は、道路内の障害物、道路封鎖、または建設区域などを含んでもよい。リモートガイダンスシナリオ１０６は、車両コンピューティングシステムが実行するようプログラムされていないシナリオ、ならびに／または車両１０２と関連付けられた動作プロトコルおよび／もしくは安全性プロトコルに違反するように見えるシナリオを含んでもよい。上記のように、そのようなシナリオは、車両が全く停止する必要がないように、停止する前にガイダンスを中継することができるように、車両がシナリオに近づいていることを予想して検出されてもよい。
ガイダンスについての要求を受信したことに応答して、サービスコンピューティングデバイスは、要求を処理してもよく、グラフィカルユーザインタフェース（ＧＵＩ）を起動してもよい。ＧＵＩは、それを通じてオペレータが車両にガイダンス入力を提供することができるインタフェースを含んでもよい。ＧＵＩは、車両がリモートガイダンスシナリオ１０６（例えば、障害物の周り）をナビゲートするための第１のウェイポイント１１２（１）（例えば、第１の位置）に対応する入力を受信するように構成されてもよい。いくつかの実施例では、ＧＵＩは、第１のウェイポイント１１２（１）と関連付けられた第１の方位に対応する入力を受信するように構成されてもよい。第１の方位は、車両１０２が第１のウェイポイント１１２（１）において対向することができる方向を表すことができる。
オペレーション３０４において、サービスコンピューティングデバイスは、車両コンピューティングシステムに、第１のウェイポイント１１２（１）（例えば、第１の位置と関連付けられたデータおよび／または第１のウェイポイント１１２（１）と関連付けられた第１の方位）を送信してもよい。車両コンピューティングシステムは、第１のウェイポイント１１２（１）と関連付けられたデータを受信してもよく、第１のウェイポイント１１２（１）まで車両を制御してもよい。いくつかの実施例では、車両コンピューティングシステムは加えて、車両１０２を第１の方位において（および／または、その何らかの閾値以内で）第１のウェイポイント１１２（１）に到着させるなどのために、第１の方位に基づいて車両１０２を制御してもよい。様々な実施例では、以後のガイダンスを受信しなかったことに応答して、車両は、停止バー３０６によって表される、第１のウェイポイント１１２（１）において停止してもよい。いくつかの実施例では、車両１０２は、図２に関して上記説明されたなどの保留信号を受信したことに応答して、停止バー３０６において停止してもよい。そのような実施例では、サービスコンピューティングデバイスは、車両１０２を保留するよう、オペレータからの入力を受信したことに応答して保留信号を送信してもよい。
オペレーション３０８において、サービスコンピューティングデバイスは、車両コンピューティングシステムに、第２のウェイポイント１１２（２）および第３のウェイポイント１１２（３）を送信してもよい。様々な実施例では、第２のウェイポイント１１２（２）および第３のウェイポイント１１２（３）は、第１のウェイポイント１１２（１）において最初に検出された閉塞された物体３１０に少なくとも部分的に基づいて判定されてもよい。閉塞された物体３１０は、リモートガイダンスシナリオ１０６が検出されると車両コンピューティングシステムに対して最初に視認可能でなかった（例えば、センサシステムによって検出された）物体を含んでもよい。いくつかの実施例では、サービスコンピューティングデバイスは、環境内の障害物、物体などのリアルタイムまたはほぼリアルタイムの検出に基づいて、段階的ガイダンスを提供するように構成されてもよい。
様々な実施例では、車両コンピューティングデバイスは、いずれのウェイポイント１１２においても停止することなく、第２のウェイポイント１１２（２）まで、次いで第３のウェイポイント１１２（３）まで車両を制御してもよい。そのような実施例では、車両は、安全性ウェイポイントが満たされる（例えば、検出された物体が移動に影響を及ぼさないなど）との判定に基づいて、停止することなく進行してもよい。
オペレーション３１２において、サービスコンピューティングデバイスは、シナリオ（例えば、リモートガイダンスシナリオ１０６）が完了した（例えば、終結条件が発生した）と判定してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、センサデータなどを使用して、リモートガイダンスシナリオ１０６および／または閉塞された物体３１０と関連付けられた１つ以上の障害物が車両の背後にあるとの判定に基づいて、シナリオが完了したと判定してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、第３のウェイポイント１１２（３）（例えば、最終ウェイポイント）が車両の計画された経路１０４の閾値距離（例えば、４インチ、０．５フィート、２フィート、１メートルなど）以内にあるとの判定に基づいて、シナリオが完了したと判定してもよい。様々な実施例では、車両制御システムは、いずれの制御ポリシにも違反しない（および、環境を安全に横断する）車両１０２に対する軌道を計画することが可能であると判定してもよく、それを示す信号をサービスコンピューティングデバイスに送信してもよい。そのような実施例では、サービスコンピューティングデバイスは、車両コンピューティングシステムからの信号に基づいて、シナリオが完了したと判定してもよい。
オペレーション３１４において、サービスコンピューティングデバイスは、リモートガイダンスから車両を解放してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、車両コンピューティングシステムに完了信号を送信してもよい。いくつかの実施例では、完了信号を受信したことに応答して、車両コンピューティングシステムは、車両を自律的に制御してもよい。いくつかの実施例では、完了信号は、自律的に進行する命令を含んでもよい。そのような実施例では、命令を受信したことに応答して、車両コンピューティングシステムは、車両を自律的に制御してもよい。
図４は、グラフィカルユーザインタフェース４０２を介して車両にリモートガイダンスを提供するためのオペレータワークフロー４００を表す。オペレーション４０４において、車両コンピューティングシステムは、サービスコンピューティングデバイスに接続してもよい。サービスコンピューティングデバイスは、リモートガイダンスを提供するための１つ以上の条件（複数可）が満たされないと判定してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、車両コンピューティングシステムから受信されたデータおよび／またはネットワーク接続と関連付けられたデータに基づいて、条件（複数可）が満たされないと判定してもよい。ガイダンスについての条件（複数可）は、サービスコンピューティングデバイスが車両にガイダンスを効果的に提供することができることを保証するためのシステムチェックを含んでもよい。条件（複数可）は、現在の車両速度が閾値を下回ること（例えば、毎時１５マイル未満、毎時２０キロメートル未満など）、閾値数およびもしくはタイプのセンサが利用可能であること（例えば、動作可能な前方ビュー、後方ビュー、左ビュー、および右ビューを提供する最小数の４個のカメラ、動作可能な大気遠近ビューと関連付けられた最小数のセンサなど）、閾値帯域幅（例えば、毎秒１０メガバイト、毎秒１５メガバイト以上など）、閾値待ち時間（例えば、３００ミリ秒以下、２５０ミリ秒以下など）、または車両ヘルス関連障害がないこと（例えば、ステアリングコラム障害など）などを含んでもよい。
１つ以上の条件のうちの少なくとも１つの条件が満たされないとの判定に基づいて、サービスコンピューティングデバイスは、オペレーション４０６において、ガイダンスが可能でないと判定してもよい。様々な実施例では、条件（複数可）のうちの少なくとも１つの条件が満たされないとの判定に基づいて、サービスコンピューティングデバイスは、オペレーション４０８において、ガイダンスがグラフィカルユーザインタフェース４０２に入力されることを防止してもよい。そのような実施例では、オペレータは、グラフィカルユーザインタフェース４０２にウェイポイントおよび／または方位データを入力することが不可能であってもよい。
オペレーション４１０において、車両コンピューティングシステムは、サービスコンピューティングデバイスに接続してもよく、リモートガイダンスを提供するための条件（複数可）が満たされると判定してもよい。条件（複数可）が満たされるとの判定に基づいて、サービスコンピューティングデバイスは、オペレーション４１２において、ガイダンスが可能であると判定してもよい。ガイダンスを提供する間に条件が合格しないとの判定に応答して、サービスコンピューティングデバイスは、オペレーション４０６において表されるなど、ガイダンスが可能でないと判定してもよい。いくつかの実施例では、ガイダンスが可能でないとの判定に基づいて、車両は、初期位置を越えて進行しなくてもよい（例えば、停止したままであってもよい）。いくつかの実施例では、ガイダンスが可能でないとの判定に基づいて、サービスコンピューティングデバイスは、車両コンピューティングシステムに、リモートガイダンスが可能でないことを示すメッセージを送信してもよい。そのような実施例では、メッセージは、リモートガイダンスを提供しないことの正当化（例えば、ガイダンスが可能でないことの理由）を含んでもよい。逆に、オペレーション４０４において判定されたなど、前に合格しなかった少なくとも１つの条件が現在満たされているとの判定に応答して、サービスコンピューティングデバイスは、ガイダンスが可能であると判定してもよい（オペレーション４１２）。
ガイダンスが可能であるとの判定に基づいて、ワークフローは、オペレーション４１４において、グラフィカルユーザインタフェース上でガイダンスを活性化することを含んでもよい。様々な実施例では、ガイダンスを活性化することは、障害物の周りをナビゲートする際に車両を支援するための、ウェイポイントおよび／または方位に対応するデータをオペレータが入力することを可能にすることができる。よって、オペレータは、障害物の周りで車両に対する進路を構築することができる。
オペレータが進路を構築する間に、条件（複数可）のうちの少なくとも１つの条件が合格しない（上記で合格しないとして説明された条件と同一または異なる条件）との判定に基づいて、オペレーション４０８において更なるガイダンスが遮断されてもよい。いくつかの実施例では、少なくとも１つの条件が合格しないとの判定に基づいて、車両は、初期位置ならびに／または直近に受信および／もしくは検証されたウェイポイントを越えて進行しなくてもよい（例えば、停止したままであってもよい）。そのような実施例では、車両コンピューティングシステムは、更なるガイダンス（例えば、後続のウェイポイント、完了信号など）を受信しなかったことに応答して、車両を停止させるように構成されてもよい。更に、オペレーション４０８において、少なくとも１つの条件が満たされるとの判定に応答して、グラフィカルユーザインタフェース４０２上でガイダンスが再活性化されてもよく、それは、追加のウェイポイントおよび／または方位データの入力を可能にする。
図５は、リモートガイダンス入力に応答した車両アクションを表すフローチャート５００である。オペレーション５０２において、サービスコンピューティングデバイスのグラフィカルユーザインタフェースと関連付けられたオペレータは、車両コンピューティングシステムに接続してもよい。様々な実施例では、オペレータは、リモートガイダンスについての要求を受信したことに応答して、車両コンピューティングシステムに接続してもよい。いくつかの実施例では、接続は、１つ以上の条件の充足に基づいてもよい。
オペレーション５０４において、車両が保留状態において（in hold）停止されてもよい。様々な実施例では、車両は、リモートガイダンスシナリオの検出に基づいて、車両コンピューティングデバイスなどによって停止されてもよい。いくつかの実施例では、車両は、グラフィカルユーザインタフェースを介してサービスコンピューティングデバイスから受信されたなどの保留する命令に基づいて停止されてもよい。車両は、Ｇｏ（例えば、許可された移動）モードまたはＮｏＧｏ（例えば、許可されていない移動）モードにおいて停止されてもよい。Ｇｏモードは、前進進行の前に時間的遅延が必要なモードを表すことができる。いくつかの実施例では、時間的遅延は、ウェイポイントを入力および／または検証するために必要な時間に基づいてもよい。いくつかの実施例では、時間的遅延は、安全性プロトコルおよび／またはリモートガイダンスプロトコルの充足に基づいてもよい。例えば、車両コンピューティングデバイスは、車両の前方の別の車両が停止したことを検出してもよい。他の車両の背後で安全な距離を維持するために、車両コンピューティングデバイスは、Ｇｏモードにある車両を停止させてもよい。ＮｏＧｏモードは、条件が満たされないこと（例えば、検出された車両ヘルス障害など）、または車両がフェイルセーフ操作を実行し、名目上の運転振る舞いから逸脱したことなどに基づいて、リモートガイダンスが利用可能でないことがあるモードを表すことができる。
オペレーション５０６において、車両が解放状態において（in release）移動していてもよい。いくつかの実施例では、車両は、グラフィカルユーザインタフェースと関連付けられたサービスコンピューティングデバイスからの解放信号の受信に基づいて、解放状態において移動してもよい。様々な実施例では、車両は、移動している間にリモートガイダンスを要求してもよい。オペレーション５０４またはオペレーション５０６から、オペレータは、サービスコンピューティングデバイスのグラフィカルユーザインタフェース上でガイダンスモード５０８を開始してもよい。
オペレーション５１０において、車両は、保留状態において停止されてもよい。いくつかの実施例では、ガイダンスモード５０８は、車両が保留中に活性（active）であってもよい。そのような実施例では、オペレータは、障害物の周りでのガイダンスのための（例えば、リモートガイダンスシナリオをナビゲートするための）ウェイポイントおよび／または方位を入力してもよいが、保留に起因して、車両は、ウェイポイントに従って環境を横断するよう車両を制御しなくてもよい。
オペレーション５１２において、ウェイポイントと関連付けられたデータがサービスコンピューティングデバイスから受信されるまで、車両は、動作している標準的なプランナガイダンス（例えば、車両コンピューティングシステムによってもたらされる自律制御）を移動させ続けてもよい。オペレータがウェイポイントを追加したことに応答して、オペレーション５１４において、車両は、受信された１つ以上のウェイポイントを満たすことができる（例えば、各々のウェイポイントに運転する）。いくつかの実施例では、ウェイポイントを受信したことに応答して、車両コンピューティングシステムは、ウェイポイントが車両の安全性プロトコルおよび／またはリモートガイダンスプロトコルを満たすことを保証するよう、ウェイポイントを検証してもよい。
様々な実施例では、ウェイポイントを受信したことに応答して、車両は、ウェイポイントまで車両を制御するための１つ以上の軌道を生成してもよい。オペレーション５１４において、車両コンピューティングデバイスは、サービスコンピューティングデバイスから１つ以上の追加のウェイポイントに対応するデータを受信してもよい（例えば、オペレータがグラフィカルユーザインタフェースに追加のウェイポイントを追加する）。車両コンピューティングシステムは、軌道を継続的に生成してもよく、軌道に基づいて、後続のウェイポイントの間で車両を制御してもよい。
様々な実施例では、オペレーション５１０において保留状態において停止した車両は、オペレータがグラフィカルユーザインタフェース上で解放オプションを選択することなどによって解放されてもよい。そのような実施例では、オペレーション５１４において、車両は、進路内の残りのウェイポイントを移動し、またはウェイポイントを満たすことを開始してもよい。
オペレーション５１６において、車両は、追加のガイダンスを停止させ、および追加のガイダンスを待機してもよい。いくつかの実施例では、車両は、オペレーション５１６において、それが以後のガイダンス（後続のウェイポイント）をまだ受信していないとの判定に基づいて停止してもよい。そのような実施例では、ウェイポイントを受信したことに応答して、車両は、（オペレーション５１４）を再度移動することを開始してもよい。いくつかの実施例では、車両は、最終ウェイポイントが満たされている（例えば、車両が最終ウェイポイントに到着した）との判定に基づいて停止してもよい。いくつかの実施例では、オペレーション５２０においてなど、ガイダンスの完了に応答して、オペレータは、ガイダンスを完了してもよく、車両コンピューティングシステムから切断してもよい。いくつかの実施例では、オペレータは、車両コンピューティングシステムにガイダンス進路が完了したことを示す完了メッセージ（例えば、完了信号）をサービスコンピューティングデバイスに送信させてもよい。ガイダンス進路の完了に応答して、車両コンピューティングシステムは、車両を自律的に制御することを再開してもよい。
様々な実施例では、オペレーション５１８において、車両が進路内の最終ウェイポイントを満たすまで、車両は、オペレーション５１４などにおいて移動し続けてもよい。いくつかの実施例では、オペレータは、ウェイポイントを最終ウェイポイントとして指定することなどによって、最終ウェイポイントの前にガイダンス完了を示してもよい。いくつかの実施例では、ガイダンスの完了に応答して、オペレータは、ガイダンスを完了してもよく、オペレーション５２０などにおいて、車両コンピューティングシステムから切断してもよい。ガイダンス進路完了に応答して、車両コンピューティングシステムは、車両を自律的に制御することを再開してもよい。様々な実施例では、サービスコンピューティングデバイスは、リモートガイダンスについての第２の要求を受信してもよい。そのような実施例では、オペレータは、オペレーション５０２において車両コンピューティングシステムに再接続してもよい。
図６および図７は、本開示の実施形態に従った例示的な処理を示す。それらの処理は、各々のオペレーションがハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装することができる一連のオペレーションを表す、論理フローチャートとして示される。ソフトウェアのコンテキストでは、オペレーションは、１つ以上のプロセッサによって実行されるとき、記載されたオペレーションを実行する、１つ以上のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の関数を実行し、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造などを含む。オペレーションが説明される順序は、限定として解釈されることを意図しておらず、いずれかの数の説明されるオペレーションが処理を実装するためにいずれかの順序において、および／または並列に組み合わされてもよい。
図６は、車両コンピューティングデバイスにリモートガイダンスを提供するための例示的な処理６００を表す。処理６００の一部または全ては、本明細書で説明されるように、図８における１つ以上のコンポーネントによって実行されてもよい。例えば、処理６００の一部または全ては、サービスコンピューティングデバイス（複数可）８３２によって実行されてもよい。
オペレーション６０２において、処理は、車両と関連付けられた車両コンピューティングシステムから、シナリオをナビゲートするためのガイダンス入力についての要求を受信することを含んでもよい。ガイダンス入力についての要求は、車両コンピューティングシステムとサービスコンピューティングデバイスとの間のネットワーク接続を介して受信されてもよい。ガイダンス入力についての要求は、１つ以上のウェイポイントおよび／または関連する方位などを介した、シナリオを通じた段階的ガイダンスについての要求を含んでもよい。
オペレーション６０４において、処理は、１つ以上の条件が満たされるかどうかを判定することを含んでもよい。条件は、車両速度が閾値を下回ること、閾値数のセンサおよび／もしくはタイプのセンサが利用可能であること、ネットワーク接続と関連付けられた閾値帯域幅、ネットワーク接続と関連付けられた閾値待ち時間、または車両ヘルス関連障害がないことなどを含んでもよい。
少なくとも１つの条件が満たされないとの判定に応答して（オペレーション６０４において「Ｎｏ」）、処理は、オペレーション６０６において、サービスコンピューティングデバイスのグラフィカルユーザインタフェース（ＧＵＩ）の入力能力（input capability）を無効化することを含んでもよい。いくつかの実施例では、少なくとも１つの条件が満たされないとの判定に応答して、サービスコンピューティングデバイスは。ＧＵＩを起動しなくてもよい。
条件が満たされるとの判定に応答して（オペレーション６０４において「Ｙｅｓ」）、処理は、オペレーション６０８において、ウェイポイントに対応する入力を受信することを含んでもよい。入力は、サービスコンピューティングデバイスと関連付けられた入力／出力デバイスなどを介して、ＧＵＩと関連付けられたオペレータから受信されてもよい。様々な実施例では、入力は、ウェイポイントの位置および／または方位（例えば、偏揺れ）を含んでもよい。そのような実施例では、ウェイポイントの位置および／または方位は、ガイダンスモードにおいて動作している間に車両が通過する位置、および車両がその位置において対向する方向を表すことができる。
様々な実施例では、サービスコンピューティングデバイスは、ウェイポイントおよび／またはそれと関連付けられた方位を検証してもよい。ウェイポイントの検証は、ウェイポイントおよび／またはそれと関連付けられた方位が車両動作と関連付けられた安全性プロトコルおよび／またはリモートガイダンスプロトコルを満たすことの検査を含んでもよい。安全性プロトコルは、道路上にあるウェイポイントの位置（例えば、道路もしくは運転可能面の端から車両の１／２の幅未満）、初期位置の閾値距離以内もしくは別のウェイポイントの閾値距離以内にあるウェイポイント、車両が動的物体および／もしくは静的物体から離れて維持するための１つ以上の閾値距離、最大偏揺れ割合、ならびに／または環境を通じた車両の安全なナビゲーションと関連付けられた他の基準など、車両の安全な動作と関連付けられた１つ以上のルールを含んでもよい。追加の実施例または代替的な実施例では、そのような検証は、車両が１つのウェイポイントから別のウェイポイントへの遷移を実行する能力を有することを保証する運動学的／動的チェックを含んでもよい。
オペレーション６１０において、処理は、車両コンピューティングシステムに、ウェイポイントと関連付けられたデータを送信することを含んでもよい。いくつかの実施例では、データは、関連するウェイポイントおよび／または方位の検証に基づいて、車両コンピューティングシステムに送信されてもよい。いくつかの実施例では、データは、１つ以上のウェイポイントと関連付けられた位置および／または方位を含んでもよい。様々な実施例では、車両コンピューティングシステムは、ウェイポイント（複数可）を検証してもよく、そのウェイポイント（複数可）に部分的に基づいて、車両を制御してもよい。
オペレーション６１２において、処理は、シナリオナビゲーションが完了したかどうかを判定することを含んでもよい。様々な実施例では、サービスコンピューティングデバイスは、シナリオと関連付けられた最終ウェイポイントの送信に基づいて、シナリオが完了したと判定してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、シナリオと関連付けられた障害物を通過したウェイポイントが少なくとも閾値距離（例えば、５フィート、１０フィート、３メートルなど）にあることに基づいて、最終ウェイポイントを識別してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、ウェイポイントが車両と関連付けられた初期経路から閾値距離（例えば、４インチ、１フィート、１メートルなど）未満であることに基づいて、最終ウェイポイントを識別してもよい。
シナリオナビゲーションが完了していないとの判定に応答して（オペレーション６１２において「Ｎｏ」）、サービスコンピューティングデバイスは、オペレーション６０８に戻ってもよく、ウェイポイントに対応する入力を受信してもよい。様々な実施例では、サービスコンピューティングデバイスは、シナリオナビゲーションが完了するまで、ウェイポイントに対応する入力を受信すること、車両コンピューティングシステムにウェイポイントと関連付けられたデータを送信することを続けてもよい。
シナリオナビゲーションが完了したとの判定に応答して（オペレーション６１２において「Ｙｅｓ」）、処理は、オペレーション６１４において、車両コンピューティングシステムに完了信号を送信することを含んでもよい。いくつかの実施例では、完了信号は、宛先に自律的に進行する命令を含んでもよい。完了信号を受信したことに応答して、車両コンピューティングシステムは、車両を自律的に制御する標準的なプランナコンポーネント機能性を再開してもよい。
様々な実施例では、サービスコンピューティングデバイスは、車両と関連付けられた初期経路がシナリオに起因して封鎖されたと判定してもよい。そのような実施例では、サービスコンピューティングデバイスは、車両が宛先までの初期経路を辿ることが可能でないことがあると判定してもよい。いくつかの実施例では、サービスコンピューティングデバイスは、更新された経路を生成してもよい。そのような実施例では、サービスコンピューティングデバイスは、完了信号の送信と同時または閾値時間（例えば、０．５秒、２秒など）以内などに、車両コンピューティングデバイスに更新された経路を送信してもよい。
図７は、サービスコンピューティングデバイスから受信されたガイダンス入力に基づいて車両を制御するための例示的な処理７００を表す。処理７００の一部または全ては、本明細書で説明されるように、図８における１つ以上のコンポーネントによって実行されてもよい。例えば、処理７００の一部または全ては、車両コンピューティングデバイス（複数可）８０４（例えば、車両コンピューティングシステム）によって実行されてもよい。
オペレーション７０２において、処理は、車両のセンサからセンサデータを受信することを含んでもよい。センサは、カメラ、動き検出器、ライダ、レーダ、またはタイムオブフライトなどを含んでもよい。車両コンピューティングデバイスは、感知コンポーネントなどを使用することによって、車両が動作する環境内の１つ以上の動的物体および／または静的物体を検出および／または分類するように構成されてもよい。
様々な実施例では、車両コンピューティングシステムは、環境内で動作する間に取るべき車両の１つ以上のアクションを判定するよう、センサデータを処理してもよい。アクション（複数可）は、環境内で検出された動的物体および／または静的物体（複数可）に基づいて判定されてもよい。アクション（複数可）は、車両と関連付けられた動作プロトコルおよび／または安全性プロトコルに基づいてもよい。動作プロトコルは、二重黄色線を横断しないこと、近づいている走行レーン内に運転しないこと、または道路の運転可能面の境界を越えないことなど、車両が取ることができ、または取らないことがあるアクションを統治する１つ以上のルールを含んでもよい。安全性プロトコルは、車両の安全な動作と関連付けられた１つ以上のルール、車両が動的物体および／もしくは静的物体から離れて維持するための１つ以上の閾値距離、最大偏揺れ割合、ならびに／または環境を通じた車両の安全なナビゲーションと関連付けられた他の基準を含んでもよい。いくつかの実施例では、車両コンピューティングデバイスは、センサデータを処理してもよく、取るべきアクションを判定することが可能でなくてもよい。
オペレーション７０４において、処理は、センサデータに基づいて、車両がリモートガイダンスシナリオに直面したかどうかを判定することを含んでもよい。リモートガイダンスシナリオは、障害物、道路封鎖、道路内の建設区域、または車両見通し線を越えるドライブライン（例えば、道路の上昇および／もしくは道路内の曲がり角に起因して損なわれたセンサビジョン）などを含んでもよい。リモートガイダンスシナリオは、車両コンピューティングシステムが実行するようプログラムされていないシナリオおよび／または動作プロトコルに違反するように見えるシナリオを含んでもよい。
車両がリモートガイダンスシナリオに直面していないと判定したことに応答して（オペレーション７０４において「Ｎｏ」）、処理は、オペレーション７０６において、車両コンピューティングシステムが標準プランナモードなどにおいて車両を自律的に制御することを含んでもよい。
車両がリモートガイダンスシナリオに直面していたと判定したことに応答して（オペレーション７０４において「Ｙｅｓ」）、処理は、オペレーション７０８において、サービスコンピューティングデバイスにガイダンスについての要求を送信することを含んでもよい。様々な実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスとのネットワーク接続を確立してもよい。そのような実施例では、車両コンピューティングシステムは、ネットワーク接続を介して要求を送信してもよい。いくつかの実施例では、車両内の監視者は、車両コンピューティングシステムとサービスコンピューティングデバイスとの間でネットワーク接続を手動で確立してもよい。いくつかの実施例では、車両コンピューティングシステムは、車両がリモートガイダンスシナリオに直面していたと判定したことに応答して、ネットワーク接続を自動で確立してもよく、および／またはガイダンスについての要求を送信してもよい。
オペレーション７１０において、処理は、ウェイポイントと関連付けられたデータを受信することを含んでもよい。データは、ウェイポイントと関連付けられた位置および／または方位を含んでもよい。
オペレーション７１２において、処理は、ウェイポイントが有効であるかどうかを判定することを含んでもよい。ウェイポイントの検証は、ウェイポイントおよび／またはそれと関連付けられた方位が車両動作と関連付けられた安全性プロトコル、リモートガイダンスプロトコル、および／または運動学的検証を満たすとの検査を含んでもよい。安全性プロトコルは、道路上にあるウェイポイントの位置（例えば、道路もしくは運転可能面の端から車両の１／２の幅未満）、初期位置の閾値距離以内もしくは別のウェイポイントの閾値距離以内にあるウェイポイント、車両が動的物体および／もしくは静的物体から離れて維持するための車両１つ以上の閾値距離、最大偏揺れ割合、ならびに／または環境を通じた車両の安全なナビゲーションと関連付けられた他の基準など、車両の安全な動作と関連付けられた１つ以上のルールを含んでもよい。リモートガイダンスプロトコルは、リモートガイダンスモードにおいて動作している間の車両の移動に対する１つ以上の制限を含んでもよい。リモートガイダンスプロトコルは、進路逸脱（例えば、障害物を回避するなどのために、車両が車両の１／２の幅、１台の車両の幅を逸脱することがある２つのウェイポイントの間での進路からの距離）、静的物体検出に対する応答（例えば、以後のウェイポイントに到着するよう静的物体を回避することの試み）、動的物体検出に対する応答（例えば、ウェイポイントに対応する進路に侵入することが予測されるエージェントに譲ること）、車両と同一の方向に移動する動的物体の後に続くこと（例えば、ウェイポイントに対応する進路内で）、必要に応じて交差点における道の右に譲ること（例えば、全方向停止、信号機、回り道など）、または受信される更なるガイダンスがない場合の前方停止の動き（例えば、別のウェイポイント、ナビゲーションを再開する命令など）、などを含んでもよい。運動学的検証は、車両コンピューティングシステムが関連する方位においてウェイポイントに車両をナビゲートするための１つ以上の軌道を生成することができることの検査を含んでもよい。
ウェイポイントおよび／または方位が無効であると判定したことに応答して（オペレーション７１２において「Ｎｏ」）、処理は、オペレーション７１４において、ウェイポイントを拒絶することを含んでもよい。様々な実施例では、車両コンピューティングシステムは、サービスコンピューティングデバイスに、ウェイポイントの拒絶を示すメッセージを送信してもよい。様々な実施例では、メッセージは、ウェイポイントが無効であると判定したことについての理由（例えば、拒絶の説明）を含んでもよい。
車両がリモートガイダンスシナリオに直面していたと判定したことに応答して（オペレーション７１２において「Ｙｅｓ」）、処理は、オペレーション７１６において、ウェイポイントと関連付けられたデータに少なくとも部分的に基づいて、車両を制御することを含んでもよい（例えば、ウェイポイントの包含において車両を制御する）。非限定的な実施例として、そのようなウェイポイント（および／または、関連する方位）は、１つのウェイポイントから次のウェイポイントまでの軌道を計画するためのコストまたは制御のうちの１つ以上として使用されてもよい。車両の制御は、車両と関連付けられた１つ以上の駆動系に１つ以上の信号を送信することと、位置を保持すること、またはウェイポイントと関連付けられたなどの異なる位置に移動すること、およびウェイポイントに対応する判定された方位と関連付けられたなどの特定の方向に対向することのいずれかを車両に行わせることとを含んでもよい。
少なくともいくつかの実施例では、シナリオが越えられない（not surpassed）場合、そのような処理は、７１０を継続してもよく、それによって、追加のウェイポイントが受信および考慮される。そうでなければ、処理７００は、車両を自律的に制御し続けるよう、７０６を継続してもよい。
図８は、本明細書で説明される技術を実装するための例示的なシステム８００のブロック図である。少なくとも１つの実施例では、システム８００は、車両１０２などの車両８０２を含んでもよい。
車両８０２は、１つ以上の車両コンピューティングデバイス８０４、１つ以上のセンサシステム８０６、１つ以上のエミッタ８０８、１つ以上の通信接続８１０、少なくとも１つの直接接続８１２、および１つ以上の駆動系８１４を含んでもよい。
車両コンピューティングデバイス（複数可）８０４は、１つ以上のプロセッサ８１６および１つ以上のプロセッサ８１６と通信可能に結合されたメモリ８１８を含んでもよい。示される実施例では車両８０２は自律車両であるが、車両８０２は、半自律車両などのいずれかの他のタイプの車両、または少なくとも画像捕捉デバイス（例えば、カメラ対応スマートフォン）を有するいずれかの他のシステムであってもよい。示される実施例では、車両コンピューティングデバイス（複数可）８０４のメモリ８１８は、位置特定コンポーネント、感知コンポーネント８２２、計画コンポーネント８２４、１つ以上のシステムコントローラ８２６、および１つ以上のマップ８２８を記憶する。例示を目的としてメモリ８１８に存在するとして図８に表されるが、位置特定コンポーネント８２０、感知コンポーネント８２２、計画コンポーネント８２４、１つ以上のシステムコントローラ８２６、および１つ以上のマップ８２８は加えてまたは代わりに、車両８０２に対してアクセス可能であってもよい（例えば、サービスコンピューティングデバイス（複数可）８３２のメモリ８３４など、車両８０２からリモートのメモリに記憶され、またはメモリによってアクセス可能である）。
少なくとも１つの実施例では、位置特定コンポーネント８２０は、センサシステム（複数可）８０６から、車両８０２の位置および／または方位を判定するためのデータ（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨー）を受信する機能性を含んでもよい。例えば、位置特定コンポーネント８２０は、マップ（複数可）８２８からなど、環境のマップを含んでもよく、および／または環境のマップを要求／受信してもよく、マップ内の自律車両の位置および／または方位を継続的に判定してもよい。様々な実施例では、マップ（複数可）８２８は、マップ（複数可）上の道路の様々な部分と関連付けられた道路区画識別子を含んでもよい。いくつかの実施例では、道路区画識別子は、サービスコンピューティングデバイス（複数可）８３２によって少なくとも部分的に管理された道路ネットワークと関連付けられてもよい。いくつかの例では、位置特定コンポーネント８２０は、自律車両の位置を正確に判定するよう、画像データ、ライダデータ、レーダデータ、ＩＭＵデータ、ＧＰＳデータ、およびホイールエンコーダデータなどを受信するために、ＳＬＡＭ（同時位置特定およびマッピング）、ＣＬＡＭＳ（同時の較正、位置特定、およびマッピング）、相対的ＳＬＡＭ、バンドル調整、または非線形最小二乗法最適化などを利用してもよい。いくつかの例では、位置特定コンポーネント８２０は、本明細書で議論されるように、物体が車両８０２に関連するかどうかを判定するための、自律車両の初期位置を判定するためのデータを車両８０２の様々なコンポーネントに提供してもよい。
いくつかの例では、感知コンポーネント８２２は、物体検出、セグメンテーション、および／または分類を実行する機能性を含んでもよい。いくつかの実施例では、感知コンポーネント８２２は、車両８０２に近接した物体（例えば、エンティティ）の存在および／または物体タイプとしての物体の分類（例えば、自動車、歩行者、自転車乗用者、動物、建物、木、道路表面、曲面、歩道、未知のものなど）を示す、処理済みセンサデータを提供してもよい。いくつかの実施例では、感知コンポーネント８２２は、車両８０２に近接した静止エンティティの存在および／またはタイプとしての静止エンティティの分類（例えば、建物、木、道路表面、曲面、歩道、未知のものなど）を示す、処理済みセンサデータを提供してもよい。追加の実施例または代替的な実施例では、感知コンポーネント８２２は、検出された物体（例えば、追跡された物体）および／または物体が位置付けられた環境と関連付けられた１つ以上の特性を示す、処理済みセンサデータを提供してもよい。いくつかの実施例では、物体と関連付けられた特性は、それらに限定されないが、ｘ位置（大域的位置および／または局所的位置）、ｚ位置（大域的位置および／または局所的位置、例えば、高さ）、方位（例えば、ロール、ピッチ、ヨー）、物体タイプ（例えば、分類）、物体の速度、物体の加速度、物体の範囲（サイズ）などを含んでもよい。環境と関連付けられた特性は、それらに限定されないが、環境内の別の物体の存在、環境内の別の物体の状態、環境と関連付けられた地帯（例えば、スクールゾーン、商業地域）、日時、曜日、季節、天候条件、暗さ／明るさのインジケーションなどを含んでもよい。
概して、計画コンポーネント８２４は、車両８０２が環境を通じて横断するよう辿るための計画された経路１０４（例えば、初期経路、計画された進路など）などの進路を判定してもよい。例えば、計画コンポーネント６２４は、様々な経路および軌道ならびに様々なレベルの詳細を判定してもよい。例えば、計画コンポーネント８２４は、第１の位置（例えば、現在位置）から第２の位置（例えば、目標位置）に移動するための経路を判定してもよい。いくつかの実施例では、計画コンポーネント８２４は、第１の位置から第２の位置への経路の少なくとも一部に沿って自律車両８０２をガイドするための命令を生成してもよい。
様々な実施例では、計画コンポーネント８２４は、１つ以上のサービスコンピューティングデバイス８３２のリモートガイダンスプラットフォーム８３０からのリモートガイダンスモードにおいて車両８０２が動作するためのウェイポイントおよび／または方位と関連付けられたデータを受信するように構成されてもよい。いくつかの実施例では、計画コンポーネント８２４は、ウェイポイントおよび／または方位を検証するように構成されてもよい。少なくとも１つの実施例では、計画コンポーネント８２４は、サービスコンピューティングデバイス（複数可）８３２から受信された第１のウェイポイントから、サービスコンピューティングデバイス（複数可）８３２から受信された第２のウェイポイントに自律車両８０２をどのようにガイドするかを判定してもよい。いくつかの実施例では、命令は、軌道、または軌道の一部であってもよい。いくつかの実施例では、複数の軌道は、車両８０２がナビゲートするための複数の軌道のうちの１つが選択される、Ｒｅｃｅｄｉｎｇ Ｈｏｒｉｚｏｎ技術に従って実質的に同時に生成されてもよく（例えば、技術的公差の範囲内で）。
いくつかの実施例では、計画コンポーネント８２４は、環境内の物体（例えば、物体）の予測済み軌道を生成するための予測コンポーネントを含んでもよい。例えば、予測コンポーネントは、環境内で検出された動的物体に対して１つ以上の予測済み軌道を生成してもよい。いくつかの実施例では、予測済み軌道は、いずれかの数の潜在的な進路を含んでもよく、いずれかの数の潜在的な進路では、検出された物体は、現在位置から移動することができ（例えば、感知の時に）、および／または移動の方向に基づいて移動することができる。いくつかの実施例では、予測済み軌道は、物体が或る期間を通じて移動する距離および方向を表すことができる。いくつかの実施例では、予測コンポーネントは、物体のトレースを測定してもよく、観察および予測された振る舞いに基づいて、物体に対して軌道を生成してもよい。様々な実施例では、予測コンポーネントは、機械学習技術、ヒートマップ、時相論理式、および／またはツリー探索法のうちの１つ以上に基づいて、予測済み軌道を判定してもよい。
少なくとも１つの実施例では、車両コンピューティングデバイス（複数可）８０４は、車両８０２の操舵、推進、制動、安全性、エミッタ、通信、および他のシステムを制御するように構成することができる、１つ以上のシステムコントローラ８２６を含んでもよい。システムコントローラ（複数可）８２６は、駆動系（複数可）８１４の対応するシステムおよび／または車両８０２の他のコンポーネントと通信してもよく、および／またはそれらを制御してもよい。
メモリ８１８は、環境内でナビゲートするために車両８０２によって使用することができる１つ以上のマップ８２８を更に含んでもよい。この議論を目的として、マップは、それらに限定されないが、概して、トポロジ（交点など）、通り、山脈、道路、地形、および環境など、環境に関する情報を提供する能力を有する二次元、三次元、またはＮ次元においてモデル化されたいずれかの数のデータ構造であってもよい。いくつかの例では、マップは、それらに限定されないが、テキスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、およびＨＳＶ／ＨＳＬ色情報など）、強度情報（例えば、ライダ情報およびレーダ情報など）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度と関連付けられたポリゴン））、反射性情報（例えば、鏡面反射性情報、再帰反射性情報、ＢＲＤＦ情報、およびＢＳＳＲＤＦ情報など）を含んでもよい。１つの実施例では、マップは、環境の三次元メッシュを含んでもよい。いくつかの実施例では、車両８０２は、マップ（複数可）８２８に少なくとも部分的に基づいて制御されてもよい。すなわち、マップ（複数可）８２８は、車両８０２の位置を判定し、環境内の物体を検出し、経路を生成し、環境内でナビゲートするためのアクションおよび／または軌道を判定するために、位置特定コンポーネント８２０、感知コンポーネント８２２、および／または計画コンポーネント８２４と関連して使用されてもよい。様々な実施例では、マップ（複数可）８２８は、道路ネットワークを含んでもよい。道路ネットワークは、１つ以上の異なる道路区画を含んでもよい。
いくつかの実施例では、１つ以上のマップ８２８は、１つ以上のサービスコンピューティングデバイス（複数可）８３２に記憶されてもよい。いくつかの実施例では、複数のマップ８２８は、例えば、特性（例えば、エンティティのタイプ、日時、曜日、季節など）に基づいて記憶されてもよい。複数のマップ８２８を記憶することは、同様のメモリ要件を有するが、マップ内のデータにアクセスすることができる速度を増大させる。
理解することができるように、本明細書で議論されるコンポーネント（例えば、位置特定コンポーネント８２０、感知コンポーネント８２２、計画コンポーネント８２４、１つ以上のシステムコントローラ（複数可）８２６、および１つ以上のマップ８２８）は、例示を目的として分割されるとして説明される。しかしながら、様々なコンポーネントによって実行されるオペレーションは、いずれかの他のコンポーネントにおいて組み合わされてもよく、または実行されてもよい。
いくつかの例では、本明細書で議論されるコンポーネントの一部または全ての態様は、いずれかのモデル、技術、および／または機械学習技術を含んでもよい。例えば、いくつかの例では、メモリ８１８（および、以下で議論されるメモリ８３４）内のコンポーネントは、ニューラルネットワークとして実装されてもよい。
本明細書で説明されるように、例示的なニューラルネットワークは、出力を生成するよう、一連の結合層を通じて入力データを通す、生物に学ぶ技術である、ニューラルネットワーク内の各々の層は、別のニューラルネットワークも含んでもよく、またはいずれかの数の層（畳み込み層であるか否かに関わらず）を含んでもよい。本開示のコンテキストにおいて理解することができるように、ニューラルネットワークは、学習済みパラメータに基づいて出力が生成される、広範囲のクラスのそのような技術を指すことができる機械学習を利用してもよい。
ニューラルネットワークのコンテキストにおいて議論されるが、いずれかのタイプの機械学習が本開示と一貫して使用されてもよい。例えば、機械学習技術は、それらに限定されないが、回帰技術（例えば、通常最小二乗法回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応的回帰スプライン（ＭＡＲＳ）、局所推定スキャッタープロットスムージング（ＬＯＥＳＳ）、インスタンス方式技術（例えば、リッジ回帰、最小絶対収縮及び選択演算子（ＬＡＳＳＯ）、エラスティックネット、最小角度回帰（ＬＡＲＳ））、決定木技術（例えば、分類および回帰木（ＣＡＲＴ）、反復二分器３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定株、条件付き決定木）、ベイズ技術（例えば、単純ベイズ、ガウス単純ベイズ、多項分布単純ベイズ、平均化ワンディペンデンス推定器（ＡＯＤＥ）、ベイズビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリング技術（例えば、ｋ－平均法、ｋ－中央法、期待値最大化（ＥＭ）、階層的クラスタリング）、関連付けルール学習技術（例えば、パーセプトロン法、バックプロパゲーション法、ホップフィールドネットワーク法、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習ディープラーニング技術（例えば、ディープボルツマンマシン（ＤＢＭ）、ディープビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層オートエンコーダ）、次元削減技術（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗法回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次方程式判別分析（ＱＤＡ）、スムース判別分析（ＦＤＡ））、アンサンブル技術（例えば、ブースティング、ブートストラップ集約（バギング）、ＡｄａＢｏｏｓｔ、積層ジェネラライゼーション（ブレンディング）、勾配ブースティングマシン法（ＧＢＭ）、勾配ブーステッド回帰木、ランダムフォレスト）、ＳＶＭ（サポートベクトルマシン）、教師あり学習、教師なし学習、半教師あり学習などを含んでもよい。アーキテクチャの追加の実施例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、およびＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
少なくとも１つの実施例では、センサシステム（複数可）８０６は、ライダセンサ、レーダセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁気計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、タイムオブフライトなど）、マイクロフォン、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、を含んでもよい。センサシステム（複数可）８０６は、それらのセンサまたは他のタイプのセンサの各々の複数のインスタンスを含んでもよい。例えば、ライダセンサは、車両８０２の角、前方、背面、側面、および／または最上部に位置する個々のライダセンサを含んでもよい。別の実施例として、カメラセンサは、車両８０２の外部および／または内部の周りの様々な位置に配置された複数のカメラを含んでもよい。センサシステム（複数可）８０６は、車両コンピューティングデバイス（複数可）８０４に入力を提供することができる。
車両８０２は、光および／または音を放射するための１つ以上のエミッタ８０８をも含んでもよい。エミッタ（複数可）８０８は、車両８０２の搭乗者と通信するための内部音声および視覚エミッタを含んでもよい。例としておよび限定ではなく、内部エミッタは、スピーカ、ライト、標識、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動および／または力フィードバック）、ならびに機械的アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含んでもよい。エミッタ（複数可）８０８は、外部エミッタをも含んでもよい。例としておよび限定ではなく、外部エミッタは、移動の方向を信号伝達するためのライトまたは車両アクションの他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）、および歩行者もしくは他の近くの車両と聴覚的に通信するための１つ以上の音声エミッタ（例えば、スピーカ、スピーカアレイ、ホーンなど）を含んでもよく、それらのうちの１つ上は、音響ビームステアリング技術を含む。
車両８０２および／またはサービスコンピューティングデバイス（複数可）８３２は、車両８０２と、車両８０２および／または駆動系（複数可）８１４上のサービスコンピューティングデバイス（複数可）８３２および／または他のローカルコンピューティングデバイス（複数可）との間の通信を有効にする１つ以上の通信接続（複数可）８１０をも含んでもよい。また、通信接続（複数可）８１０は、車両８０２が他の近隣のコンピューティングデバイス（複数可）（例えば、他の近隣の車両など）と通信することを可能にすることができる。
通信接続（複数可）８１０は、別のコンピューティングデバイスまたはネットワーク（複数可）８３６などのネットワークに車両コンピューティングデバイス（複数可）８０４を接続するための物理インタフェースおよび／または論理インタフェースを含んでもよい。例えば、通信接続（複数可）８１０は、ＩＥＥＥ８０２．１１標準によって定義された周波数などを介したＷｉ－Ｆｉ方式通信、Ｂｌｕｅｔｏｏｔｈなどの短距離無線周波数、セルラ通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイス（複数可）とインタフェースすることを可能にするいずれかの適切な有線通信プロトコルもしくは無線通信プロトコルを有効にすることができる。
少なくとも１つの実施例では、車両８０２は、１つ以上の駆動系８１４を含んでもよい。いくつかの実施例では、車両８０２は、単一の駆動系８１４を有してもよい。いくつかの実施例では、車両８０２が複数の駆動系８１４を有する場合、個々の駆動系（複数可）８１４は、車両８０２の反対端に位置付けられてもよい（例えば、前方および後方など）。少なくとも１つの実施例では、駆動系（複数可）８１４は、駆動系（複数可）８１４および／または車両８０２の周囲の状況を検出するための１つ以上のセンサシステムを含んでもよい。例としておよび限定ではなく、センサシステム（複数可）は、駆動系のホイールの回転を検知するための１つ以上のホイールエンコーダ（例えば、ロータリエンコーダ）、駆動系の方位および加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計など）、カメラまたは他の画像センサ、駆動系の周囲内の物体を音響的に検出するための超音波センサ、ライダセンサ、レーダセンサなどを含んでもよい。ホイールエンコーダなどのいくつかのセンサは、駆動系（複数可）８１４に対して一意であってもよい。いくつかのケースでは、駆動系（複数可）８１４上のセンサシステム（複数可）は、車両８０２の対応するシステム（例えば、センサシステム（複数可）８０６）と重複してもよく、またはそれを補足してもよい。
駆動系（複数可）８１４は、多数の車両システムを含んでもよく、それらは、高電圧バッテリ、車両を推進するためのモータ、他の車両システムによる使用のためのバッテリからの直流電流を交流電流に変換するためのインバータ、ステアリングモータおよびステアリングラック（電動であることができる）を含むステアリングシステム、油圧アクチュエータまたは電動アクチュエータを含む制動システム、油圧コンポーネントおよび／または空気圧コンポーネントを含むサスペンションシステム、牽引の損失を軽減し、制御を維持するための制動力を分散するための安定制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部の周囲を照明するためのヘッド／テールライトなどの照明）、ならびに１つ以上の他のシステム（例えば、冷却システム、安全性システム、オンボード充電システム、ＤＣ／ＤＣコンバータなどの他の電動コンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む。加えて、駆動系（複数可）８１４は、センサシステム（複数可）からのデータを受信および前処理し、様々な車両システムの動作を制御することができる駆動系コントローラを含んでもよい。いくつかの実施例では、駆動系コントローラは、１つ以上のプロセッサおよび１つ以上のプロセッサと通信可能に結合されたメモリを含んでもよい。メモリは、駆動系（複数可）８１４の様々な機能性を実行するための１つ以上のシステムを記憶してもよい。更に、駆動系（複数可）８１４は、１つ以上の他のローカコンピューティングデバイスまたはリモートコンピューティングデバイス（複数可）をのそれぞれの駆動系による通信を有効にする、１つ以上の通信接続（複数可）をも含んでもよい。
少なくとも１つの実施例では、直接接続（複数可）８１２は、車両８０２の本体と１つ以上の駆動系（複数可）８１４を結合するための物理インタフェースをもたらすことができる。例えば、直接接続（複数可）８１２は、駆動系（複数可）８１４と車両との間で、エネルギー、流体、気体、データなどの転送を可能にすることができる。いくつかの例では、直接接続（複数可）８１２は更に、車両８０２の本体に駆動系（複数可）８１４を解放可能に固定してもよい。
少なくとも１つの実施例では、位置特定コンポーネント８２０、感知コンポーネント８２２、計画コンポーネント８２４、１つ以上のシステムコントローラ８２６、および１つ以上のマップ８２８は、上記説明されたように、センサデータを処理してもよく、１つ以上のネットワーク８３６を通じて、サービスコンピューティングデバイス（複数可）８３２にそれらの出力を送信してもよい。少なくとも１つの実施例では、位置特定コンポーネント８２０、感知コンポーネント８２２、計画コンポーネント８２４、１つ以上のシステムコントローラ８２６、および１つ以上のマップ８２８は、で特定の周波数において、予め定められた期間の経過の後、ほぼリアルタイムでなど、サービスコンピューティングデバイス（複数可）８３２にそれらのそれぞれの出力を送信してもよい。
いくつかの実施例では、車両８０２は、ネットワーク（複数可）８３６を介してサービスコンピューティングデバイス（複数可）８３２にセンサデータをそうしんしてもよい。いくつかの実施例では、車両８０２は、ネットワーク（複数可）６３６を介してサービスコンピューティングデバイス（複数可）８３２からセンサデータを受信してもよい。センサデータは、未加工センサデータおよび／もしくは処理済みセンサデータ、ならびに／またはセンサデータの表現を含んでもよい。いくつかの実施例では、センサデータ（未加工または処理済み）は、１つ以上のログファイルとして送信および／または受信されてもよい。
サービスコンピューティングデバイス（複数可）８３２は、１つ以上のプロセッサ８４２、およびグラフィカルユーザインタフェース８３８を有するリモートガイダンスコンポーネント８３０を記憶したメモリ８３４を含んでもよい。グラフィカルユーザインタフェース８３８は、上記説明されたなど、車両８０２にリモートガイダンスを提供するための１つ以上のウェイポイントおよび／または方位を表す入力をオペレータから受信するように構成されてもよい。入力は、１つ以上の入力／出力デバイス８４０を介して受信されてもよい。入力／出力デバイス（複数可）８４０は、キーボード、マウス、タッチスクリーンディスプレイ、触覚デバイス、マイクロフォン、カメラ、ならびに／またはサービスコンピューティングデバイス（複数可）８３２に／からデータを入力および／もしくは出力するように構成された他のデバイスのうちの１つ以上を含んでもよい。
車両８０２のプロセッサ（複数可）８１６およびサービスコンピューティングデバイス（複数可）８３２のプロセッサ（複数可）８４２は、データを処理し、本明細書で説明されるオペレーションを実行するための命令を実行する能力を有するいずれかの適切なプロセッサであってもよい。例としておよび限定ではなく、プロセッサ（複数可）８１６および８４２は、１つ以上の中央処理装置（ＣＰＵ）、グラフィックプロセシングユニット（ＧＰＵ）、またはレジスタおよび／もしくはメモリに記憶することができる他の電子データに電子データを変換するよう電子データを処理するいずれかの他のデバイスもしくはデバイスの一部を含んでもよい。いくつかの実施例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスも、それらが符号化された命令を実装するように構成される限り、プロセッサであると考えられてもよい。
メモリ８１８および８３４は、非一時的コンピュータ可読媒体の例である。メモリ８１８および８３４は、オペレーティングシステム、ならびに本明細書で説明される方法および様々なシステムに帰属した機能を実装するための１つ以上のソフトウェアアプリケーション、命令、プログラム、および／またはデータを記憶してもよい。様々な実装態様では、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を記憶する能力を有するいずれかの他のタイプのメモリなどのいずれかの適切なメモリ技術を使用して実装されてもよい。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、本明細書における議論に関連する、例に過ぎない添付図面において示される、多数の他の論理コンポーネント、プログマティックコンポーネント、および物理コンポーネントを含んでもよい。
いくつかの例では、メモリ８１８および８３４は、少なくともワーキングメモリおよび記憶メモリを含んでもよい。例えば、ワーキングメモリは、プロセッサ（複数可）８１６および８４２によって動作することになるデータを記憶するために使用される制限された容量の高速メモリ（例えば、キャッシュメモリ）であってもよい。いくつかの例では、メモリ８１８および８３４は、データの長期記憶のために使用される相対的に大きい容量の低速メモリであってもよい記憶メモリを含んでもよい。いくつかのケースでは、プロセッサ（複数可）８１６および８４２は、記憶メモリに記憶されたデータに直接動作することができず、データは、本明細書で議論されるように、データに基づいてオペレーションを実行するためにワーキングメモリにロードされる必要があることがある。
例示的な条項
Ａ：１つ以上のプロセッサと、プロセッサ実行可能命令を記憶したメモリと、を含むシステムであって、前記プロセッサ実行可能命令は、前記１つ以上のプロセッサによって実行されるとき、経路上で動作する車両と関連付けられた車両コンピューティングシステムから、環境内の障害物の周りをナビゲートするガイダンスについての要求を受信し、前記車両の１つ以上のセンサと関連付けられたセンサデータを受信し、リモートガイダンスを提供するための条件が満たされると判定し、前記ガイダンスシステムと関連付けられたユーザインタフェース上で前記車両および前記障害物の表現をディスプレイに出力させるように構成された信号を生成し、前記表現は、前記センサデータに少なくとも部分的に基づいており、前記ユーザインタフェースを介して、第１の位置および第１の方位と関連付けられた第１のウェイポイントを含む第１の入力を受信し、前記第１の方位は、前記車両が前記第１のウェイポイントにおいて対向するための第１の方向を含み、前記車両コンピューティングシステムに前記第１のウェイポイントを送信し、前記ユーザインタフェースを介して、第２の位置および第２の方位と関連付けられた第２のウェイポイントを含む第２の入力を受信し、前記第２の方位は、前記車両が前記第２のウェイポイントにおいて対向するための第２の方向を含み、前記車両コンピューティングシステムに前記第２のウェイポイントを送信し、ガイダンスを提供するための終結条件が満たされると判定し、前記車両コンピューティングシステムに、前記車両を自律的に制御する命令を送信する、ように前記システムを構成する、ことを特徴とするシステム。
Ｂ：前記条件は、閾値待ち時間を下回る前記車両コンピューティングシステムとの接続に対応する待ち時間、閾値帯域幅を下回る前記車両コンピューティングシステムとの接続に対応する帯域幅、閾値速度を下回る前記車両の速度、前記センサデータを提供するために利用可能なセンサの数が閾値数を上回ること、または前記車両が関連するヘルス関連障害を含まないとの判定、のうちの少なくとも１つを含む、ことを特徴とする条項Ａに記載のシステム。
Ｃ：前記命令は、前記第１の位置、前記第１の方位、前記第２の位置、および前記第２の方位が前記車両の動作と関連付けられた安全性プロトコまたはリモートガイダンスプロトコルのうちの少なくとも１つを満たすと判定し、前記リモートガイダンスプロトコルは、リモートガイダンスにおいて動作する間の車両の移動と関連付けられた１つ以上の制限を含み、前記安全性プロトコルまたは前記リモートガイダンスプロトコルのうちの前記少なくとも１つを満たすことに少なくとも部分的に基づいて、前記第１の位置、前記第１の方位、前記第２の位置、および前記第２の方位を検証する、ように前記システムを更に構成する、ことを特徴とする条項ＡまたはＢに記載のシステム。
Ｄ：ガイダンスを提供するための前記終結条件が満たされると判定することは、前記第２のウェイポイントが前記経路の閾値距離以内にあると判定することと、前記閾値距離に少なくとも部分的に基づいて、前記障害物が車両の背後にあると判定することと、を含む、ことを特徴とする条項Ａ乃至Ｃのいずれか１つに記載のシステム。
Ｅ：前記命令は、前記車両が前記経路に沿って宛先に進行することが不可能であると判定し、前記宛先への車両ガイダンスについての更新された経路を生成し、前記車両コンピューティングシステムに前記更新された経路を送信するよう、前記システムを構成し、自律的に進行する前記命令は、前記更新された経路を含む、ことを特徴とする条項Ａ乃至Ｄのいずれか１つに記載のシステム。
Ｆ：車両と関連付けられた車両コンピューティングシステムから、障害物の周りをナビゲートするガイダンス入力についての要求を受信するステップと、受信されたデータとして、および前記車両コンピューティングデバイスから、センサデータまたは前記センサデータに少なくとも部分的に基づいたデータを受信するステップと、ガイダンスシステムと関連付けられたユーザインタフェースを介して、第１のウェイポイントに対応する第１の入力を受信するステップであって、前記第１の入力は、前記受信されたデータに少なくとも部分的に基づいている、ステップと、前記車両コンピューティングデバイスに、前記第１のウェイポイントと関連付けられた第１のデータを送信するステップと、前記第１のウェイポイントに少なくとも部分的に基づいて、前記車両を制御させるステップと、を含むことを特徴とする方法。
Ｇ：リモートガイダンスを提供するための条件が満たされると判定するステップを更に含み、前記条件は、閾値待ち時間を下回る前記車両コンピューティングシステムとの接続に対応する待ち時間、閾値帯域幅を下回る前記車両コンピューティングシステムとの接続に対応する帯域幅、閾値速度を下回る前記車両の速度、前記受信されたデータを提供するために利用可能なセンサの数が閾値数以上であること、または前記車両が関連するヘルス関連障害を含まないとの判定、のうちの少なくとも１つを含む、ことを特徴とする条項Ｆに記載の方法。
Ｈ：第１の時間において、リモートガイダンスを提供するための条件が満たされると判定するステップと、前記条件が満たされることに少なくとも部分的に基づいて、前記ユーザインタフェースへの入力を有効化にするステップと、第２の時間において、リモートガイダンスを提供するため前記条件が満たされないと判定するステップと、前記条件が満たされないことに少なくとも部分的に基づいて、前記ユーザインタフェースへの前記入力を無効化するステップと、を更に含むことを特徴とする条項ＦまたはＧに記載の方法。
Ｉ：前記第１のウェイポイントが前記車両の動作と関連付けられた安全性プロトコルまたはリモートガイダンスプロトコルのうちの少なくとも１つを満たすと判定するステップであって、前記リモートガイダンスプロトコルは、リモートガイダンスモードにおいて動作する間の車両の移動と関連付けられた１つ以上の制限を含む、ステップと、前記安全性プロトコルまたは前記リモートガイダンスプロトコルのうちの少なくとも１つを満たすことに少なくとも部分的に基づいて、前記第１のウェイポイントを検証するステップと、を更に含み、前記第１のデータを送信することは、前記第１のウェイポイントを検証することに少なくとも部分的に基づいている、ことを特徴とする条項Ｆ乃至Ｈのいずれか１つに記載の方法。
Ｊ：第２のウェイポイントに対応する第２の入力を受信するステップと、前記車両コンピューティングデバイスに、前記第２のウェイポイントと関連付けられた第２のデータを送信するステップと、前記車両の動作に対応する安全性プロトコルまたはリモートガイダンスプロトコルのうちの少なくとも１つに少なくとも部分的に基づいて、前記車両から、前記第２のウェイポイントの拒絶を示す拒絶メッセージを受信するステップと、を更に含む、ことを特徴とする条項Ｆ乃至Ｉのいずれか１つに記載の方法。
Ｋ：前記第１の入力は、前記第１のウェイポイントと関連付けられた第１の位置を含み、前記第１の位置は、前記ユーザインタフェースの選択可能区域に対応し、第１の方位は、前記車両が前記第１のウェイポイントにおいて対向する第１の方向に対応する、ことを特徴とする条項Ｆ乃至Ｊのいずれか１つに記載の方法。
Ｌ：前記車両に保留信号を送信するステップであって、前記保留信号は、前記車両コンピューティングデバイスに或る位置で保留させる、ステップと、前記車両に解放信号を送信するステップであって、前記解放信号は、前記第１のウェイポイントまで前記車両を制御する前記車両コンピューティングデバイスに対する命令を含む、ステップと、を更に含む、ことを特徴とする条項Ｆ乃至Ｋのいずれか１つに記載の方法。
Ｍ：第２のウェイポイントに対応する第２の入力を受信するステップと、前記車両コンピューティングデバイスに、前記第２のウェイポイントと関連付けられた第２のデータを送信するステップと、前記第２のウェイポイントが前記障害物と関連付けられた終結条件に対応すると判定するステップと、前記車両コンピューティングデバイスに、前記第２のウェイポイントと関連付けられた動作を完了した後、前記車両を自律的に制御する命令を送信するステップと、を更に含む、ことを特徴とする条項Ｆ乃至Ｌのいずれか１つに記載の方法。
Ｎ：第２のウェイポイントに対応する第２の入力を受信するステップと、前記車両コンピューティングデバイスに、前記第２のウェイポインと関連付けられた第２のデータを送信するステップと、前記ユーザインタフェースを介して、前記第１のウェイポイントまたは前記第２のウェイポイントのうちの少なくとも１つを編集するオペレータの意図を示す第３の入力を受信するステップと、前記車両が前記第１のウェイポイントに遷移中であると判定するステップと、前記第１のウェイポイントへの第１の編集を無効化するステップと、前記第２のウェイポイントが前記車両コンピューティングデバイスによって受け付けられていないこと、または前記車両が前記第１のウェイポイントを越えて前進していないことのうちの少なくとも１つを判定するステップと、前記第２のウェイポイントへの第２の編集を無効化するステップと、前記車両コンピューティングデバイスに、前記第２のウェイポイントを削除または修正することのうちの少なくとも１つの命令を送信するステップと、を更に含む、ことを特徴とする条項Ｆ乃至Ｍのいずれか１つに記載の方法。
Ｏ：プロセッサと、命令を記憶した非一時的コンピュータ可読媒体を含むシステムまたはデバイスであって、前記命令は、実行されるとき、プロセッサに条項Ｆ乃至Ｎのいずれか１つに記載の方法を実行させる、ことを特徴とするシステムまたはデバイス。
Ｐ：処理する手段と、前記処理する手段に結合された記憶する手段と、を含み、前記記憶する手段は、条項Ｆ乃至Ｎのいずれか１つに記載の方法を実行するよう１つ以上のデバイスを構成する命令を含む、ことを特徴とするシステムまたはデバイス。
Ｑ：命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されるとき、車両と関連付けられた車両コンピューティングシステムから、障害物の周りをナビゲートするガイダンス入力についての要求を受信することと、受信されたデータとして、および前記車両コンピューティングデバイスから、センサデータまたは前記センサデータに少なくとも部分的に基づいたデータを受信することと、ガイダンスシステムと関連付けられたユーザインタフェースを介して、第１のウェイポイントに対応する第１の入力を受信することであって、前記第１の入力は、前記受信されたデータに少なくとも部分的に基づいている、ことと、前記車両コンピューティングデバイスに、前記第１のウェイポイントと関連付けられた第１のデータを送信することと、前記第１のウェイポイントに少なくとも部分的に基づいて、前記車両を制御させることと、を含むオペレーションを１つ以上のプロセッサに実行させる、ことを特徴とする非一時的コンピュータ可読媒体。
Ｒ：前記オペレーションは、前記ユーザインタフェースを介して、前記車両が停止するためのコマンドを示す第２の入力を受信することと、前記車両コンピューティングデバイスに、現在位置と関連付けられた位置において停止する命令を送信することと、を更に含む、ことを特徴とする条項Ｑに記載の非一時的コンピュータ可読媒体。
Ｓ：前記オペレーションは、前記車両が或る位置において停止すると判定することと、停止した位置から前記車両を解放する命令を送信することと、を更に含み、前記車両は、前記命令に少なくとも部分的に基づいて進行することができる、ことを特徴とする条項ＱまたはＲに記載の非一時的コンピュータ可読媒体。
Ｔ：前記オペレーションは、第２のウェイポイントに対応する第２の入力を受信することと、前記車両コンピューティングデバイスに、前記第２のウェイポイントと関連付けられた第２のデータを送信することと、前記ユーザインタフェースを介して、前記第１のウェイポイントまたは前記第２のウェイポイントのうちの少なくとも１つを編集するオペレータの意図を示す第３の入力を受信することと、前記車両が前記第１のウェイポイントに遷移中であると判定することと、前記第１のウェイポイントへの第１の編集を無効化することと、前記第２のウェイポイントが前記車両コンピューティングデバイスによって受け付けられていないこと、または前記車両が前記第１のウェイポイントを越えて前進していないことのうちの少なくとも１つを判定することと、前記第２のウェイポイントへの第２の編集を無効化することと、前記車両コンピューティングデバイスに、前記第２のウェイポイントを削除または修正することのうちの少なくとも１つの命令を送信することと、を更に含む、ことを特徴とする条項Ｑ乃至Ｓのいずれか１つに記載の非一時的コンピュータ可読媒体。
Ｕ：前記オペレーションは、前記車両が或る位置から進行することが不可能であるとのインジケーションを受信することと、前記ユーザインタフェースを介して、前記車両が前記位置から進行することが不可能であるとの前記インジケーションを提示することと、前記ユーザインタフェースを介して、第２のウェイポイントに対応する第２の入力を受信することと、前記車両コンピューティングシステムに前記第２のウェイポイントを送信することと、を更に含む、ことを特徴とする条項Ｑ乃至Ｔのいずれか１つに記載の非一時的コンピュータ可読媒体。
Ｖ：前記オペレーションは、前記第１のウェイポイントが車両制御と関連付けられた運動学的チェックを満たすと判定することと、前記運動学的チェックを満たすことに少なくとも部分的に基づいて、前記第１のウェイポイントを検証することと、を更に含み、前記車両を制御させることは、前記第１のウェイポイントを検証することに少なくとも部分的に基づいている、ことを特徴とする条項Ｑ乃至Ｕのいずれか１つに記載の非一時的コンピュータ可読媒体。
Ｗ：センサと、１つ以上のプロセッサと、プロセッサ実行可能命令を記憶したメモリと、を含む車両であって、前記プロセッサ実行可能命令は、前記１つ以上のプロセッサによって実行されるとき、前記車両が宛先に到達するよう環境を通じて横断するための進路を判定し、前記センサからセンサデータを受信し、前記センサデータに少なくとも部分的に基づいて、前記車両が前記進路に沿って横断するための第１の軌道を生成し、前記第１の軌道に少なくとも部分的に基づいて、前記車両が障害物または制御ポリシのうちの１つ以上に少なくとも部分的に基づいて前記進路に沿って継続することが不可能であると判定し、サービスコンピューティングデバイスに、ガイダンスデータについての要求を送信し、前記サービスコンピューティングデバイスから、位置および方位と関連付けられたウェイポイントを含むウェイポイントデータを受信し、安全性プロトコルに少なくとも部分的に基づいて、前記ウェイポイントを検査し、前記ウェイポイントの検証に少なくとも部分的に基づいて、前記車両が初期位置および初期車両方位から、前記ウェイポイントと関連付けられた前記位置および前記方位に前記車両をナビゲートするための第２の軌道を判定し、前記第２の軌道に少なくとも部分的に基づいて、前記車両を制御するように前記車両を構成する、ことを特徴とする車両。
Ｘ：前記命令は、リモートガイダンスプラットフォームとして前記サービスコンピューティングデバイスの解放を示すメッセージを受信し、前記進路に沿って前記ウェイポイントから前記車両を制御するための第３の軌道を判定し、前記第３の軌道に少なくとも部分的に基づいて、前記車両を制御する、ように前記１つ以上のプロセッサをプログラムする、ことを特徴とする条項Ｗに記載の車両。
Ｙ：前記ウェイポイントデータは、第１の位置および第１の方位と関連付けられた第１のウェイポイントを含む第１のウェイポイントデータを含み、前記命令は、前記サービスコンピューティングデバイスから、第２の位置および第２の方位と関連付けられた第２のウェイポイントを含む第２のウェイポイントデータを受信し、前記安全性プロトコルに少なくとも部分的に基づいて、前記第２のウェイポイントを検証し、前記第２のウェイポイントを検証することに少なくとも部分的に基づいて、前記車両が前記第１のウェイポイントから前記第２のウェイポイントに前記車両をナビゲートするための第３の軌道を判定し、前記第３の軌道に少なくとも部分的に基づいて、前記第１のウェイポイントから前記第２のウェイポイントまで前記車両を制御する、ように前記車両を更に構成し、前記車両は、前方の動きを停止することなく、前記第１のウェイポイントから前記第２のウェイポイントまで制御される、ことを特徴とする条項ＷまたはＸに記載の車両。
Ｚ：前記命令は、前記センサデータに少なくとも部分的に基づいて、前記環境内の動的物体を検出し、前記物体と関連付けられた物体軌道を判定し、前記車両についての前記軌道上を移動する前記車両の閾値距離以内で前記物体軌道が横断する前記物体を判定し、前記物体に少なくとも部分的に基づいて、前記車両を制御する、ように前記車両を更に構成する、ことを特徴とする条項Ｗ乃至Ｚのいずれか１つに記載の車両。
ＡＡ：前記命令は、第２の位置および第２の車両方位と関連付けられた第２のウェイポイントデータを受信し、前記第２のウェイポイントまたは前記第２の車両方位のうちの少なくとも１つが前記安全性プロトコルに違反すると判定し、前記第１のウェイポイントにおいて前記車両を停止させる、ように前記車両を更に構成する、ことを特徴とする条項Ａ乃至Ｄのいずれか１つに記載の車両。
ＡＢ：環境内の進路に沿って動作する車両のセンサからセンサデータを受信するステップと、制御ポリシに少なくとも部分的に基づいて、前記車両が前記進路に沿って継続することが不可能であると判定するステップと、サービスコンピューティングデバイスに、ガイダンスデータについての要求を送信するステップであって、前記ガイダンスデータは、前記シナリオを通じた前記車両の制御を促進するためのウェイポイントを含む、ステップと、前記サービスコンピューティングデバイスから、前記ウェイポイントと関連付けられたウェイポイントデータを受信するステップと、前記ウェイポイントが有効なウェイポイントであると判定するステップと、前記ウェイポイントに少なくとも部分的に基づいて、前記車両を制御するステップと、を含むことを特徴とする方法。
ＡＣ：前記ウェイポイントと関連付けられた車両方位を受信するステップと、前記車両方位が有効な車両方位であると判定するステップと、前記車両方位に少なくとも部分的に基づいて、前記車両を制御するステップと、を更に含む、ことを特徴とする条項ＡＢに記載の方法。
ＡＤ：前記ウェイポイントが前記有効なウェイポイントであると判定することは、前記ウェイポイントが運転可能面上に位置すると判定すること、前記ウェイポイントにナビゲートする前記車両の動作がリモートガイダンスプロトコルに違反しないと判定することであって、前記リモートガイダンスプロトコルは、リモートガイダンスモードにおいて動作する間の車両の移動と関連付けられた制限を含む、こと、または前記ウェイポイントにナビゲートする前記車両の前記動作が安全性プロトコルに違反しないと判定することであって、前記安全性プロトコルは、前記車両の前記安全性を保証するための条件を含む、こと、のうちの少なくとも１つを判定することを含む、ことを特徴とする条項ＡＢまたはＡＣに記載の方法。
ＡＥ：前記シナリオは、前記車両と関連付けられた環境内で識別され、前記方法は、前記サービスコンピューティングデバイスから、前記シナリオに少なくとも部分的に基づいて前記環境を通じてナビゲートするための更新された経路を受信するステップと、リモートガイダンスプラットフォームとして前記サービスコンピューティングデバイスの解放を示すメッセージを受信するステップと、前記更新された経路に少なくとも部分的に基づいて、前記車両を制御するステップと、を更に含む、ことを特徴とする条項ＡＢ乃至ＡＤのいずれか１つに記載の方法。
ＡＦ：前記シナリオは、前記車両と関連付けられた経路上で識別され、前記方法は、前記サービスコンピューティングデバイスから、リモートガイダンスプラットフォームとして前記サービスコンピューティングデバイスの解放を示すメッセージを受信するステップと、前記経路に少なくとも部分的に基づいて、前記車両を制御するステップと、動作制約に違反する前記経路上での第２のシナリオを識別するステップと、前記サービスコンピューティングデバイスに、ガイダンスデータについての第２の要求を送信するステップと、前記サービスコンピューティングデバイスからの入力とは独立した前記第２のシナリオへの解を判定するステップと、前記解に少なくとも部分的に基づいて、前記車両を制御するステップと、を更に含む、ことを特徴とする条項ＡＢ乃至ＡＥのいずれか１つに記載の方法。
ＡＧ：前記ウェイポイントと関連付けられたウェイポイントデータは、第１のウェイポイントと関連付けられた第１のデータを含み、前記方法は、第２の位置および第２の車両方位と関連付けられた第２のウェイポイントデータを受信するステップと、前記第２のウェイポイントまたは前記対応する車両方位のうちの少なくとも１つが安全性プロトコルに違反すると判定するステップと、前記第２のウェイポイントが前記安全性プロトコルに違反すると判定することに少なくとも部分的に基づいて、前記第１のウェイポイントにおいて前記車両を停止させるステップと、を更に含む、ことを特徴とする条項ＡＢ乃至ＡＦのいずれか１つに記載の方法。
ＡＨ：前記車両が前記進路に沿って継続することが不可能であると判定することは、前記車両が環境を通じて横断するための前記進路を判定することと、前記センサデータに少なくとも部分的に基づいて、前記車両が前記進路に沿って横断するための軌道を生成することと、前記軌道が前記制御ポリシに違反すると判定することと、を含む、ことを特徴とする条項ＡＢ乃至ＡＧのいずれか１つに記載の方法。
ＡＩ：第２のウェイポイントおよび対応する車両方位と関連付けられた第２のウェイポイントデータを受信するステップと、前記第２のウェイポイントおよび前記対応する車両方位を検証するステップと、前方の動きを停止することなく、前記第１のウェイポイントから前記第２のウェイポイントまで前記車両を制御するステップと、を更に含む、ことを特徴とする条項ＡＢ乃至ＡＨのいずれか１つに記載の方法。
ＡＪ：前記制御ポリシは、交通法もしくはルール、優良運転のルール、または前記車両の進路内の障害物、のうちの少なくとも１つを含む、ことを特徴とする条項ＡＢ乃至ＡＩのいずれか１つに記載の方法。
ＡＫ：プロセッサと、命令を記憶した非一時的コンピュータ可読媒体とを含むシステムまたはデバイスであって、前記命令は、実行されるとき、条項ＡＢ乃至ＡＪのいずれか１つに記載の方法をプロセッサに実行させる、ことを特徴とするシステムまたはデバイス。
ＡＬ：処理する手段と、前記処理する手段に結合された記憶する手段と、を含み、前記記憶する手段は、条項ＡＢ乃至ＡＪのいずれか１つに記載の方法を実行するよう１つ以上のデバイスを構成する命令を含む、ことを特徴とするシステムまたはデバイス。
ＡＭ：命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されるとき、センサからセンサデータを受信することと、制御ポリシに少なくとも部分的に基づいて、前記車両が進路に沿って継続することが不可能であると判定することと、サービスコンピューティングデバイスに、ガイダンスデータについての要求を送信することであって、前記ガイダンスデータは、前記シナリオを通じた前記車両の制御を促進するためのウェイポイントを含む、ことと、前記サービスコンピューティングデバイスから、前記ウェイポイントと関連付けられたウェイポイントデータを受信することと、前記ウェイポイントが有効なウェイポイントであると判定することと、前記ウェイポイントに少なくとも部分的に基づいて、前記車両を制御することと、を含むオペレーションを１つ以上のプロセッサに実行させる、ことを特徴とする非一時的コンピュータ可読媒体。
ＡＮ：前記オペレーションは、前記ウェイポイントと関連付けられた方位に対応する方位データを受信することと、前記車両方位が有効な方位であると判定することと、前記方位に少なくとも部分的に基づいて、前記車両を制御することと、を更に含む、ことを特徴とする条項ＡＭに記載の非一時的コンピュータ可読媒体。
ＡＯ：前記ウェイポイントに少なくとも部分的に基づいて、前記車両を制御することは、前記シナリオを識別することと関連付けられた初期位置から前記ウェイポイントへの車両軌道を判定することと、前記車両軌道に少なくとも部分的に基づいて、駆動系に前記車両を動作させることと、を含む、ことを特徴とする条項ＡＭまたはＡＮに記載の非一時的コンピュータ可読媒体。
ＡＰ：前記ウェイポイントと関連付けられた前記ウェイポイントデータは、第１の時間において受信された第１のウェイポイントと関連付けられた第１のウェイポイントデータを含み、前記オペレーションは、前記サービスコンピューティングデバイスから、第２の時間において第２のウェイポイントと関連付けられた第２のウェイポイントデータを受信することと、前記第２のウェイポイントが有効であると判定することと、前記第２のウェイポイントに少なくとも部分的に基づいて、前記車両を制御することと、を更に含み、前記車両は、停止することなく、前記第１のウェイポイントから前記第２のウェイポイントに遷移するように構成されている、ことを特徴とする条項ＡＭ乃至ＡＯのいずれか１つに記載の非一時的コンピュータ可読媒体。
ＡＱ：前記ウェイポイントと関連付けられた前記ウェイポイントデータは、第１の時間において受信された第１のウェイポイントと関連付けられた第１のウェイポイントデータを含み、前記オペレーションは、前記車両が前記第１のウェイポイントの閾値距離以内にあると判定することと、第２のウェイポイントと関連付けられた第２のウェイポイントデータが受信されていないと判定することと、前記第１のウェイポイントにおいて前記車両を停止させることと、を更に含む、ことを特徴とする条項ＡＭ乃至ＡＰのいずれか１つに記載の非一時的コンピュータ可読媒体。
ＡＲ：前記シナリオは、前記車両と関連付けられた環境内で識別され、前記オペレーションは、前記サービスコンピューティングデバイスから、リモートガイダンスプラットフォームとして前記サービスコンピューティングデバイスの解放を示すメッセージを受信することと、前記経路に少なくとも部分的に基づいて、前記車両を制御することと、動作制約に違反する前記経路上の第２のシナリオを識別することと、前記サービスコンピューティングデバイスに、ガイダンスデータについての第２の要求を送信することと、前記サービスコンピューティングデバイスからの入力とは独立した前記第２のシナリオへの解を判定することと、前記解に少なくとも部分的に基づいて、前記車両を制御することと、を更に含む、ことを特徴とする条項ＡＭ乃至ＡＱのいずれか１つに記載の非一時的コンピュータ可読媒体。
上記説明された例示的な条項が１つの特定の実装態様に関して説明されたが、本明細書のコンテキストにおいて、例示的な条項の内容が、方法、デバイス、システム、コンピュータ可読媒体、および／または別の実装態様を介しても実装されてもよいことが理解されるべきである。加えて、実施例Ａ乃至ＡＲのいずれかが単独で、または実施例Ａ乃至ＡＲのいずれかの他の１つ以上との組み合わせで実装されてもよい。
結論
本明細書で説明された技術の１つ以上の実施例が説明されてきたが、その様々な代替、対か、置換、および同等物が本明細書で説明される技術の範囲内に含まれる。
実施例の説明では、特許請求される主題の特定の例を示す方式によって示された、その一部を形成する添付図面への参照が行われる。他の例が使用されてもよく、構造的変更などの変更または修正が行われてもよいことが理解されよう。そのような実施例では、変更または修正が意図した特許請求される主題に関する範囲から必ずしも逸脱しない。本明細書におけるステップが特定の順序において提示されてもよいが、いくつかのケースでは、説明されるシステムおよび方法の機能を変更することなく、特定の入力が異なる時間または異なる順序においてに提供されるように順序付けが変更されてもよい。開示される手順は、異なる順序においても実行されてもよい。加えて、本明細書で開示される順序において実行される必要がない様々な計算、および代替的な順序の計算を使用したほかの例を容易に実装することができる。再順序付けされることに加え、計算は、同一の結果を有する下位の計算にも分解されてもよい。

Claims (15)

  1. センサと、
    １つ以上のプロセッサと、
    プロセッサ実行可能命令を記憶したメモリと、を備えた車両であって、前記プロセッサ実行可能命令は、前記１つ以上のプロセッサによって実行されるとき、
    センサからセンサデータを受信し、
    制御ポリシに少なくとも部分的に基づいて、前記車両が進路に沿って継続することが不可能であると判定し、
    サービスコンピューティングデバイスに、ガイダンスデータについての要求を送信し、前記ガイダンスデータは、シナリオを通じた前記車両の制御を促進するためのウェイポイントを含み、
    前記サービスコンピューティングデバイスから、前記ウェイポイントと関連付けられたウェイポイントデータを受信し、
    前記ウェイポイントが有効なウェイポイントであると判定し、
    前記ウェイポイントに少なくとも部分的に基づいて、前記車両を制御する、
    ように前記車両を構成する、ことを特徴とする車両。
  2. 前記命令は、
    リモートガイダンスプラットフォームとして前記サービスコンピューティングデバイスの解放を示すメッセージを受信し、
    前記進路に沿って前記ウェイポイントから前記車両を制御するための軌道を判定し、
    前記軌道に少なくとも部分的に基づいて、前記車両を制御する、
    ように前記車両を更に構成する、ことを特徴とする請求項１に記載の車両。
  3. 前記ウェイポイントデータは、第１の位置および第１の方位と関連付けられた第１のウェイポイントを含む第１のウェイポイントデータを含み、前記命令は、
    前記サービスコンピューティングデバイスから、第２の位置および第２の方位と関連付けられた第２のウェイポイントを含む第２のウェイポイントデータを受信し、
    安全性プロトコルに少なくとも部分的に基づいて、前記第２のウェイポイントを検証し、
    前記第２のウェイポイントを検証することに少なくとも部分的に基づいて、前記車両が前記第１のウェイポイントから前記第２のウェイポイントに前記車両をナビゲートするための軌道を判定し、
    前記軌道に少なくとも部分的に基づいて、前記第１のウェイポイントから前記第２のウェイポイントまで前記車両を制御する、ように前記車両を更に構成し、前記車両は、前方の動きを停止することなく、前記第１のウェイポイントから前記第２のウェイポイントまで制御される、
    ことを特徴とする請求項１に記載の車両。
  4. 前記命令は、
    前記センサデータに少なくとも部分的に基づいて、環境内の動的物体を検出し、
    前記物体と関連付けられた物体軌道を判定し、
    前記ウェイポイントと関連付けられた車両軌道上で移動する前記車両の閾値距離以内で前記物体軌道が横断する前記物体を判定し、
    前記物体に少なくとも部分的に基づいて、前記車両を制御する、
    ように前記車両を更に構成する、ことを特徴とする請求項１乃至３のいずれか一項に記載の車両。
  5. 前記ウェイポイントデータは、第１のウェイポイントデータを含み、前記命令は、
    第２の位置および第２の車両方位と関連付けられた第２のウェイポイントデータを受信し、
    前記第２の位置または前記第２の車両方位のうちの少なくとも１つが前記安全性プロトコルに違反すると判定し、
    前記第１のウェイポイントにおいて前記車両を停止させる、
    ように前記車両を更に構成する、ことを特徴とする請求項１乃至４のいずれか一項に記載の車両。
  6. 環境内の進路に沿って動作する車両のセンサからセンサデータを受信するステップと、
    制御ポリシに少なくとも部分的に基づいて、前記車両が前記進路に沿って継続することが不可能であると判定するステップと、
    サービスコンピューティングデバイスに、ガイダンスデータについての要求を送信するステップであって、前記ガイダンスデータは、シナリオを通じた前記車両の制御を促進するためのウェイポイントを含む、ステップと、
    前記サービスコンピューティングデバイスから、前記ウェイポイントと関連付けられたウェイポイントデータを受信するステップと、
    前記ウェイポイントが有効なウェイポイントであると判定するステップと、
    前記ウェイポイントに少なくとも部分的に基づいて、前記車両を制御するステップと、を備えたことを特徴とする方法。
  7. 前記ウェイポイントと関連付けられた車両方位を受信するステップと、
    前記車両方位が有効な車両方位であると判定するステップと、
    前記車両方位に少なくとも部分的に基づいて、前記車両を制御するステップと、
    を更に備えた、ことを特徴とする請求項６に記載の方法。
  8. 前記ウェイポイントが前記有効なウェイポイントであると判定するステップは、
    前記ウェイポイントが運転可能面上に位置すると判定すること、
    前記ウェイポイントにナビゲートする前記車両の動作がリモートガイダンスプロトコルに違反しないと判定することであって、前記リモートガイダンスプロトコルは、リモートガイダンスモードにおいて動作する間の車両の移動と関連付けられた制限を含む、こと、または
    前記ウェイポイントにナビゲートする前記車両の前記動作が安全性プロトコルに違反しないと判定することであって、前記安全性プロトコルは、前記車両の安全性を保証するための条件を含む、こと、
    のうちの少なくとも１つを判定するステップを含む、ことを特徴とする請求項６または７に記載の方法。
  9. 前記シナリオは、前記車両と関連付けられた環境内で識別され、前記方法は、
    前記サービスコンピューティングデバイスから、前記シナリオに少なくとも部分的に基づいて前記環境を通じてナビゲートするための更新された経路を受信するステップと、
    リモートガイダンスプラットフォームとして前記サービスコンピューティングデバイスの解放を示すメッセージを受信するステップと、
    前記更新された経路に少なくとも部分的に基づいて、前記車両を制御するステップと、
    を更に備えた、ことを特徴とする請求項６乃至８のいずれか一項に記載の方法。
  10. 前記シナリオは、前記車両と関連付けられた経路上で識別され、前記方法は、
    前記サービスコンピューティングデバイスから、リモートガイダンスプラットフォームとして前記サービスコンピューティングデバイスの解放を示すメッセージを受信するステップと、
    前記経路に少なくとも部分的に基づいて、前記車両を制御するステップと、
    動作制約に違反する前記経路上での第２のシナリオを識別するステップと、
    前記サービスコンピューティングデバイスに、ガイダンスデータについての第２の要求を送信するステップと、
    前記サービスコンピューティングデバイスからの入力とは独立した前記第２のシナリオへの解を判定するステップと、
    前記解に少なくとも部分的に基づいて、前記車両を制御するステップと、
    を更に備えた、ことを特徴とする請求項６乃至９のいずれか一項に記載の方法。
  11. 前記ウェイポイントと関連付けられたウェイポイントデータは、第１のウェイポイントと関連付けられた第１のデータを含み、前記方法は、
    第２の位置および第２の車両方位と関連付けられた第２のウェイポイントデータを受信するステップと、
    前記第２のウェイポイントまたは前記第２の車両方位のうちの少なくとも１つが安全性プロトコルに違反すると判定するステップと、
    前記第２のウェイポイントが前記安全性プロトコルに違反すると判定することに少なくとも部分的に基づいて、前記第１のウェイポイントにおいて前記車両を停止させるステップと、
    を更に備えた、ことを特徴とする請求項６乃至１０のいずれか一項に記載の方法。
  12. 前記車両が前記進路に沿って継続することが不可能であると判定するステップは、
    前記車両が環境を通じて横断するための前記進路を判定するステップと、
    前記センサデータに少なくとも部分的に基づいて、前記車両が前記進路に沿って横断するための軌道を生成するステップと、
    前記軌道が前記制御ポリシに違反すると判定するステップと、
    を含む、ことを特徴とする請求項６乃至１１のいずれか一項に記載の方法。
  13. 第２のウェイポイントおよび対応する車両方位と関連付けられた第２のウェイポイントデータを受信するステップと、
    前記第２のウェイポイントおよび前記対応する車両方位を検証するステップと、
    前方の動きを停止することなく、前記第１のウェイポイントから前記第２のウェイポイントまで前記車両を制御するステップと、
    を更に備えた、ことを特徴とする請求項６乃至１２のいずれか一項に記載の方法。
  14. 前記車両を制御するステップは、
    前記シナリオを識別することと関連付けられた初期位置から前記ウェイポイントへの車両軌道を判定するステップと、
    前記車両軌道に少なくとも部分的に基づいて、駆動系に前記車両を動作させるステップと、
    を含む、ことを特徴とする請求項６乃至１３のいずれか一項に記載の方法。
  15. 命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されるとき、請求項６乃至１４のいずれか一項に記載の方法を１つ以上のプロセッサに実行させる、ことを特徴とする非一時的コンピュータ可読媒体。
JP2021577397A 2019-06-28 2020-06-25 車両制御およびガイダンス Pending JP2022539151A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/457,654 2019-06-28
US16/457,654 US11467573B2 (en) 2019-06-28 2019-06-28 Vehicle control and guidance
PCT/US2020/039575 WO2020264131A1 (en) 2019-06-28 2020-06-25 Vehicle control and guidance

Publications (1)

Publication Number Publication Date
JP2022539151A true JP2022539151A (ja) 2022-09-07

Family

ID=71662331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577397A Pending JP2022539151A (ja) 2019-06-28 2020-06-25 車両制御およびガイダンス

Country Status (5)

Country Link
US (1) US11467573B2 (ja)
EP (1) EP3991000B1 (ja)
JP (1) JP2022539151A (ja)
CN (1) CN114008591A (ja)
WO (1) WO2020264131A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11768493B2 (en) 2019-06-28 2023-09-26 Zoox, Inc. Remote vehicle guidance
US11351996B2 (en) * 2019-11-01 2022-06-07 Denso International America, Inc. Trajectory prediction of surrounding vehicles using predefined routes
US11527154B2 (en) 2020-02-20 2022-12-13 Toyota Motor North America, Inc. Wrong way driving prevention
US11603094B2 (en) 2020-02-20 2023-03-14 Toyota Motor North America, Inc. Poor driving countermeasures
US11560154B1 (en) 2020-06-02 2023-01-24 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system
US11595619B1 (en) * 2020-06-02 2023-02-28 Aurora Operations, Inc. Autonomous vehicle teleoperations system
US11644830B1 (en) 2020-06-02 2023-05-09 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system with scenario selection
US11726471B2 (en) * 2020-08-27 2023-08-15 Waymo Llc Methods and systems for gradually adjusting vehicle sensor perspective using remote assistance
US11680384B2 (en) * 2021-03-03 2023-06-20 Built Robotics, Inc. Autonomous operation by earth-moving vehicle based on triggering conditions
WO2023034061A1 (en) * 2021-08-31 2023-03-09 Zoox, Inc. Remote assistance for vehicles
US20230177839A1 (en) * 2021-12-02 2023-06-08 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications
US20230322270A1 (en) * 2022-04-08 2023-10-12 Motional Ad Llc Tracker Position Updates for Vehicle Trajectory Generation
CN115981377B (zh) * 2023-03-21 2023-07-14 西安羚控电子科技有限公司 一种无人机动态避障方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678508B2 (en) * 2009-11-16 2017-06-13 Flanders Electric Motor Service, Inc. Systems and methods for controlling positions and orientations of autonomous vehicles
US8655538B2 (en) 2011-12-16 2014-02-18 Agco Corporation Systems and methods for switching display modes in agricultural vehicles
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US8996224B1 (en) 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
US9720410B2 (en) 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US10459440B2 (en) * 2016-01-04 2019-10-29 GM Global Technology Operations LLC System and method for remotely assisting autonomous vehicle operation
JP6418181B2 (ja) 2016-03-04 2018-11-07 トヨタ自動車株式会社 遠隔操作システム、車両及び遠隔操作装置
US20180194344A1 (en) * 2016-07-29 2018-07-12 Faraday&Future Inc. System and method for autonomous vehicle navigation
US10293818B2 (en) 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
US10343698B2 (en) 2017-06-27 2019-07-09 Uber Technologies, Inc. Disabling onboard input devices in an autonomous vehicle
US10268191B1 (en) 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US10922903B2 (en) * 2017-07-11 2021-02-16 Waymo Llc Methods and systems for providing remote assistance to a stopped vehicle
US10710633B2 (en) * 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
DE102017213204A1 (de) 2017-08-01 2019-02-07 Continental Automotive Gmbh Verfahren und System zum Fernsteuern eines Fahrzeugs
US11977378B2 (en) 2018-09-17 2024-05-07 The Charles Machine Works, Inc. Virtual path guidance system
CN109447326B (zh) 2018-09-30 2021-11-30 深圳眸瞳科技有限公司 无人机迁移轨迹生成方法、装置、电子设备和存储介质
US11768493B2 (en) 2019-06-28 2023-09-26 Zoox, Inc. Remote vehicle guidance

Also Published As

Publication number Publication date
WO2020264131A1 (en) 2020-12-30
US20200409352A1 (en) 2020-12-31
EP3991000B1 (en) 2023-04-19
EP3991000A1 (en) 2022-05-04
CN114008591A (zh) 2022-02-01
US11467573B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
JP2022539151A (ja) 車両制御およびガイダンス
US11768493B2 (en) Remote vehicle guidance
JP7444874B2 (ja) 方法、非一時的コンピュータ可読媒体、および、車両
US11450205B2 (en) Emergency vehicle detection and response
US11048265B2 (en) Occlusion aware planning
US10642275B2 (en) Occulsion aware planning and control
JP7140849B2 (ja) 確率的オブジェクト追跡及び予測フレームワーク
JP2022553310A (ja) 衝突ゾーンに基づく軌道修正
JP2021524410A (ja) ドライブエンベロープの決定
US11209822B2 (en) Techniques for contacting a teleoperator
US11513519B1 (en) Sharing occlusion data
US11275370B2 (en) Techniques for navigating vehicles using teleoperator instructions
US11353877B2 (en) Blocked region guidance
JP7422687B2 (ja) オクルージョン認識プランニング
EP4124530A1 (en) Pedestrian intent yielding
JP2022539557A (ja) テレオペレータに連絡するための技法
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
US12005925B1 (en) Collaborative action ambiguity resolution for autonomous vehicles
CN115190987A (zh) 垂直切入训练

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528