JP2022539149A - リモート車両誘導 - Google Patents
リモート車両誘導 Download PDFInfo
- Publication number
- JP2022539149A JP2022539149A JP2021577395A JP2021577395A JP2022539149A JP 2022539149 A JP2022539149 A JP 2022539149A JP 2021577395 A JP2021577395 A JP 2021577395A JP 2021577395 A JP2021577395 A JP 2021577395A JP 2022539149 A JP2022539149 A JP 2022539149A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- waypoint
- computing device
- guidance
- computing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 110
- 230000015654 memory Effects 0.000 claims description 31
- 230000009471 action Effects 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000007717 exclusion Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 abstract description 27
- 230000004044 response Effects 0.000 description 80
- 230000008569 process Effects 0.000 description 42
- 230000000875 corresponding effect Effects 0.000 description 35
- 230000001276 controlling effect Effects 0.000 description 22
- 230000003068 static effect Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 230000004807 localization Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 10
- 230000008447 perception Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
車両コンピューティングシステムは、移動経路に沿って障害物を識別することができ、誘導のためにサービスコンピューティングデバイスに接続することができる。サービスコンピューティングデバイスは、オペレーターからウェイポイントおよび／または方向の入力を受信するように構成される誘導システムを含んでよい。オペレーターは、状況を評価することができ、車両が状況をナビゲートするための１つまたは複数のウェイポイントおよび／または関連する方向を決定することができる。ある例示において、誘導システムは、ウェイポイントおよび／または関連する方向を検証することができる。サービスコンピューティングデバイスは、ウェイポイントおよび／または関連する方向を車両コンピューティングシステムに送信することができる。車両コンピューティングシステムは、ウェイポイントおよび／または関連する方向を検証することができ、検証に基づいて、入力に従って車両を制御することができる。車両が状況をナビゲートしたという決定に基づいて、誘導システムは、車両誘導を車両コンピューティングシステムに戻してリリースすることができる。
Description
本発明は、リモート車両誘導に関する。
本ＰＣＴ国際特許出願は、２０１９年６月２８日に出願された「REMOTE VEHICLE GUIDANCE」と題する米国特許出願第１６／４５７，６４６号の継続であり、優先権の利益を主張し、そのすべての内容は、参照により本明細書に組み込まれる。
車両は、条件が頻繁に変化する動的な環境において動作する。変化する条件の中で、工事、および事故などによる道路の遮断がある。自律車両は、指定された運用プロトコル内で車両を維持する一方で、変化する条件に反応するためにプログラミングされることができる。運用プロトコルは、車両を反対方向の交通のために指定された車線へと動作しないように規定された動作の規則を含んでよい。しかしながら、事故または工事区域などを迂回することで、運用プロトコルのパラメーター外のルートを示すことがよくある。運用プロトコルの境界外で動作することを許可されていないと、自律車両は、障害物の周りを進行することができないことがあり、このように、所定の位置に留まることがある。
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に出現する図面を特定する。異なる図面における同一の参照番号の使用は、類似、または同一の構成要素、または特徴を示す。
本開示は、ナビゲートすることが困難である（例えば、プランナーが一組の運転方針、または他の方法に従ってルートを計画することができない）状況に直面した環境において、動作する車両にインクリメント誘導をリモートで提供するための技術に向けられている。車両は、動作環境において直面した障害物に基づいて、リモート車両誘導システムからの誘導を要求するように構成される車両コンピューティングシステムを有する自律型または半自律型走行車を含んでよい。リモート車両誘導システムは、オペレーターが状況（例えば、１つまたは複数の障害の周辺）を通して車両をナビゲートするために提案されるウェイポイントおよび／または方向（例えば、対応するウェイポイントでの車両のヨー）を入力することができるグラフィカルユーザーインターフェース（ＧＵＩ）を含んでよい。車両は、提案されるウェイポイントおよび／または方向を受信することができ、提案されるウェイポイントおよび／または方向によって画定された経路に沿ってナビゲートすることが車両の安全プロトコルを満たすことを検証することができる。したがって、本明細書で説明される技術は、環境において動作する車両の安全性を改善する。
車両コンピューティングシステムは、車両の１つまたは複数のセンサー（例えば、カメラ、モーションディテクター、ライダー、レーダー、飛行時間など）からセンサーデータを受信することができる。車両コンピューティングシステムは、センサーデータに基づいて、車両が実行可能な経路（例えば、道路の遮断、道路の工事区域、車両の視線の先のドライブライン、（例えば、道路の標高および／または道路の曲がり角のためにセンサーの視覚が損なわれる）、障害物の周辺の軌道が制御ポリシーに違反することとなるなど）を決定するように構成されていない場合のルートの周辺の障害物に車両が接近しているという決定をすることができ、本明細書ではリモート誘導シナリオと称される。リモート誘導状況は、車両コンピューティングシステムが実行するようにプログラムされていない状況（例えば、未知の状況）および／または運用プロトコルに違反しているように見える状況（例えば、運用プロトコル（例えば、制御ポリシー）を違反することとなる状況をナビゲートするために要求される軌道）を含んでよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなど、車両がとることができる、またはとることができないアクションを管理する１つまたは複数の規則を含んでよい。例えば、車両コンピューティングシステムは、車両が走行している道路が遮断されていること、およびその遮断を回避する方法が運用プロトコルに違反して反対方向に走行する交通のために指定された車線へと向かって行くことを検出することができる。
ある例示において、リモート誘導状況の検出に応答して、車両コンピューティングシステムは、ＧＵＩで構成されるサービスコンピューティングデバイスに自動的に接続することができる。さまざまな例示において、車両のオペレーターおよび／または安全オブザーバーは、リモート誘導状況を検出することができ、サービスコンピューティングデバイスに接続することができる。ある例示において、車両コンピューティングシステムは、誘導のための要求をサービスコンピューティングデバイスに送信することができる。さまざま例示において、サービスコンピューティングデバイスから応答（例えば、誘導の入力）を受信する前に、車両コンピューティングシステムは、リモート誘導状況をナビゲートするための解決策を決定することができる。このような例示において、車両コンピューティングシステムは、解決策に従って車両を制御することができる。ある例示において、車両コンピューティングシステムは、誘導の入力がもはや必要ないことを示す第２のメッセージをサービスコンピューティングデバイスに送信することができる（例えば、車両がリモート誘導なしで進行していることを示す）。ある例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスに第２のメッセージを送信することなく、車両の制御に進むことができる。このような例示において、車両コンピューティングシステムまたはサービスコンピューティングデバイスのうちの少なくとも１つは、誘導の入力が必要ではないという決定をすることができ、他のコンピューティングデバイスから切断することができる。
ある例示において、誘導のための要求を受信することに応答して、サービスコンピューティングデバイスは、誘導を提供するための１つまたは複数の条件が満たされているという決定をすることができる。条件は、接続閾値（例えば、閾値待ち時間、閾値バンド幅など）、閾値速度より遅い車両速度（例えば、毎時１５マイル、毎時２０キロメートルなど）、動作可能なセンサーの閾値の数／タイプ（例えば、４つの動作可能なカメラの閾値、すべての車両の動作可能なライダーセンサーなど）、故障に関連する車両の調子の欠如（例えば、一貫性のないセンサー読み取りに関連する故障、１つまたは複数の動作していないセンサー、衝突回避システム、プランナーシステム、および／または他の車両システムに関連付けられる故障など）、および／またはリモート誘導システムの有効性に影響を与え得る他の条件を含んでよい。ある例示において、条件が満たされていないという決定に応答して、サービスコンピューティングデバイスは、車両コンピューティングシステムに接続しないことがある。ある例示において、条件が満たされていないという決定に応答して、サービスコンピューティングデバイスは、オペレーターがＧＵＩへのアクセスを拒否し、および／またはＧＵＩへの入力を拒否する。このような例示において、アクセスを拒否することは、例えば、車両コンピューティングシステムが安全でない結果を回避するために十分な時間枠で応答可能であることを確実にする十分な待ち時間の無いリモート誘導を許可しないなど、車両動作の安全性を向上させることができる。ある例示において、条件が満たされているという決定に応答して、サービスコンピューティングデバイスは、ＧＵＩを起動することができる。
ある例示において、ＧＵＩは、車両上の１つまたは複数のセンサーからセンサーデータを示す１つまたは複数のウィンドウを含んでよい。少なくとも１つの例示において、ＧＵＩは、車両上のカメラによってキャプチャされたストリーミング画像を示すウィンドウを含んでよい。ウィンドウは、データを示すことができ、車両がとる経路を決定することでオペレーターを助力する。例えば、ＧＵＩは、車両に関連付けられる左正面図、正面図、右正面図、および背面図を示す４つのウィンドウを含んでよい。オペレーターは、それぞれの表示を評価することができ、車両がリモート誘導状況を通して移行するための安全な経路を決定する。
さまざまな例示において、ＧＵＩは、車両の上面図および環境におけるリモート誘導状況の表示を含んでよい。このような例示において、上面図は、センサーデータに基づいて環境のコンピューター生成表示を含んでよい。ある例示において、上面図は、リモート誘導状況の１つまたは複数の障害物に対する車両の位置を含んでよい。例えば、上面図は、車両の所定の（例えば、計画された）経路を遮断する多様なオレンジ色のコーンに接近する車両を示すことができる。上面図は、車両、およびコーンを含んでよい。
さまざまな例示において、ＧＵＩは、上面図を介してオペレーターからの入力を受信するように構成されてよい。このような例示において、オペレーターは、誘導を車両に提供することが可能であり、共に関連付けられる障害物の周りなどのリモート誘導状況をナビゲートする。入力は、１つまたは複数のウェイポイントを含んでよい。ウェイポイントは、車両が移動することとなる位置を含んでよい。さまざまな例示において、ウェイポイントは、それぞれ停止点を含んでよい。このような例示において、車両は、後続のウェイポイントの受信または検証の欠如などのそれぞれのウェイポイントで停止するように構成されてよい。少なくともある例示において、ここで後続のウェイポイントが提供され、車両は、停止することなく、ウェイポイントとの間でプラニングおよび移動を継続することができる。
さまざまな例示において、入力は、関連するウェイポイントでの車両の方向（例えば、ヨー）を含んでよい。このような例示において、オペレーターは、関連するウェイポイントで車両を具体的な方向に向けさせることができる。ある例示において、方向は、先行および／または後続のウェイポイントに基づいて決定されてよい。このような例示において、具体的なウェイポイントでの方向は、車両を誘導ルート上のウェイポイントとの間をスムーズに移行することを有効にすることができる。さまざま例示において、ウェイポイントに関連付けられる方向は、車両がウェイポイントで停止されるべき優先された方向に基づいてよい。例えば、反対方向の交通に関連付けられる車線において、少なくとも部分的に配置される車両に関連付けられる優先された方向は、車線に平行であってよいことによって、車線において位置される車両の量が最小化されてよい。
ある例示において、オペレーターは、サービスコンピューティングデバイスにウェイポイントおよび／または方向を車両コンピューティングシステムに送信させることができる。ある例示において、サービスコンピューティングデバイスは、オペレーターによる入力に応答するウェイポイントおよび／または関連する方向を自動的に送信することができる。このような例示において、ウェイポイントが具体的な位置にあると確認され、および／または方向が確認されるという決定に基づいて、サービスコンピューティングデバイスは、ウェイポイントおよび／または方向を自動的に送信することができる。ある例示において、ウェイポイントおよび／または関連する方向は、オペレーターからの送信コマンド（例えば、送信オプションの選択）の受信に応答して送信されてよい。このような例示において、オペレーターは、ウェイポイントを個々におよび／またはグループで送信することが可能である。
ある例示において、サービスコンピューティングデバイスは、誘導データを車両コンピューティングシステムに送信する前に、ウェイポイントおよび／または方向を検証するように構成されてよい。ある例示において、検証は、ウェイポイントおよび／または方向が車両に関連付けられる安全プロトコルを満たす最初の検証を含んでよい。安全プロトコルは、車両の安全性を確実にするために事前に決定された条件のセットを含んでよい。安全プロトコルは、動的および／または静的オブジェクトから離れて維持する車両に対する１つまたは複数の閾値距離、最大ヨーレート、および／またはリモート誘導状況を通して車両の安全ナビゲーションに関連付けられる他の基準を含んでよい。さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスからウェイポイントおよび／または方向を受信してよく、ウェイポイントおよび／または方向を検証してよい。このような例示において、車両コンピューティングシステムは、ウェイポイントおよび／または方向が安全プロトコルを満たして、車両によって安全性が実行されてよいことを検証してよい。
ある例示において、車両コンピューティングシステムは、少なくとも部分的にリモート誘導プロトコルに基づいて、ウェイポイントおよび／または方向を検証するように構成されてよい。このような例示において、車両コンピューティングシステムは、ウェイポイントおよび／または方向がリモート誘導プロトコルを満たす決定に部分的に基づいて、ウェイポイントおよび／または方向を検証してよい。リモート誘導プロトコルは、リモート誘導モードで動作している間に車両の動きに対する１つまたは複数の限定を含んでよい。リモート誘導プロトコルは、経路の逸脱（例えば、車両の１／２幅、１つの車両の幅などのような障害物を回避するために車両が逸脱し得る２つのウェイポイントとの間の経路からの距離）、静的オブジェクトの検出への応答（例えば、静的オブジェクトを回避して後続のウェイポイントに到着しようとする試み）、動的オブジェクトの検出への応答（例えば、ウェイポイントに対応する経路に入ると予測されるエージェントへの譲歩）、車両として同一の方向に移動する動的オブジェクトの追跡（例えば、ウェイポイントに対応する経路において）、交差点での優先権に対する適切な譲歩（例えば、４方向の停止、信号機、回り道など）、さらなる誘導が受信されない場合、前進の動きを停止するなど（例えば、別のウェイポイント、ナビゲーション再開の指示など）を含んでよい。
さらにまたは代替的に、車両コンピューティングシステムは、運動学検証（例えば、動力学検証、運動学／動力学チェック）に少なくとも部分的に基づいて、ウェイポイントおよび／または方向を検証するように構成されてよい。運動学の検証は、車両が第１の位置（例えば、初期位置、ウェイポイントに関連付けられる位置など）から第２の位置（例えば、第１のウェイポイント、後続のウェイポイントなど）への移行を実行することが可能であるという決定をすることを含んでよい。ある例示において、移行を実行する能力は、車両コンピューティングシステムが物理的制約に基づいて、方向におけるウェイポイントに到着するために実行する車両に対する１つまたは複数の軌道を生成することが可能であるかを決定することを含んでよい。物理的制約は、最大ヨーレート、最大横方向距離、最大回転角、および／または車両操縦に関連付けられる他の制約を含んでよい。
ウェイポイントおよび／または関連する方向が安全プロトコルおよび／またはリモート誘導プロトコルに違反しているという決定に応答して、車両コンピューティングシステムは、ウェイポイントを除外することができる。ある例示において、車両コンピューティングシステムは、停止点（例えば、一時停止線、一時停止標識、信号機など）から進行しない、または除外されたウェイポイントの前のウェイポイントで停止することなどによって、除外されたウェイポイントに進行しないことがある。ある例示において、車両コンピューティングシステムは、メッセージをウェイポイントの除外を示しているサービスコンピューティングデバイスに送信することができる。ある例示において、メッセージは、除外の理由を含んでよい。例えば、車両コンピューティングシステムは、ウェイポイントがセメント障壁からの閾値距離より短いという決定をしてよい。決定に基づいて、車両コンピューティングシステムは、ウェイポイントを除外することができ、メッセージを距離が閾値距離よりも短いことを示しているサービスコンピューティングデバイスに送信することができる。
ウェイポイントおよび／または関連する方向が安全プロトコルおよび／またはリモート誘導プロトコルを満たすという決定に応答して、車両コンピューティングシステムは、ウェイポイントおよび／または方向を受け入れてよい。車両コンピューティングシステムは、ウェイポイントおよび／または方向を処理することができ、車両がウェイポイントとの間を移行するための１つまたは複数の軌道を生成することができる。例えば、車両コンピューティングシステムは、第１のウェイポイントおよび第１のウェイポイントに関連付けられる第１の方向を受信することができる。車両コンピューティングシステムは、初期位置から第１の方向での第１のウェイポイントに移動するための第１の軌道（または軌道のセット）を決定することができる。
生成される軌道に基づいて、車両コンピューティングシステムは、１つまたは複数の駆動システムなどを介して、関連する方向でウェイポイントまで車両を制御することができる。さまざまな例示において、車両コンピューティングシステムは、所定の速度（例えば、毎時２０キロメートル、毎時１５マイル、毎時１０マイルなど）で車両を制御することができる。ある例示において、所定の速度は、リモート誘導に関連付けられる最高速度を含んでよい。さまざまな例示において、車両コンピューティングシステムは、環境および／または状況に関連付けられる速度で車両を制御することができる。少なくとも１つの例示において、車両コンピューティングシステムは、所定の速度または環境および／もしくは状況に関連付けられる速度のうちの遅い方で車両を制御することができる。例えば、車両コンピューティングシステムは、リモート誘導モードで動作している場合に、毎時１５マイルの所定の最高速度で動作してよい。車両コンピューティングシステムは、リモート誘導状況を検出することができ、サービスコンピューティングデバイスからの誘導の入力を要求することができる。車両コンピューティングシステム、および／またはオペレーターは、センサーデータに基づいて、リモート誘導状況が毎時５マイルの制限速度と共に関連付けたという決定をすることができる。毎時５マイルの制限速度が毎時１５マイルの所定の最高速度よりも遅いことに基づいて、車両コンピューティングシステムは、リモート誘導状況を通してナビゲートしている間に、毎時５マイルに車両の速度を制限することができる。
さまざまな例示において、車両コンピューティングシステムは、リモート誘導状況（例えば、ウェイポイントからウェイポイントへの移動）を通してナビゲートしている間に、車両が安全プロトコルおよび／またはリモート誘導プロトコルに違反することのないことを継続的および／または定期的に検証するように構成されてよい。例えば、車両コンピューティングシステムは、第１のウェイポイントから第２のウェイポイントまで車両を制御することができる。車両コンピューティングシステムは、車両に関連付けられる軌道と交差するように見える軌道を有する歩行者を検出することができる。車両コンピューティングシステムは、歩行者に譲歩するような歩行者に基づいてとるアクションを決定することができる。
さまざまな例示において、サービスコンピューティングデバイスは、状況が完了した（例えば、車両が障害物を通過し、通常の動作を再開することが可能である）という決定をすることができ、車両をリモート誘導からリリースすることができる。ある例示において、状況の完了は、車両に関連付けられる元のルートの閾値距離内（例えば、０．５メートル、０．５フィート、１０インチなど）にある生成されるウェイポイントに部分的に基づいてよい。ある例示において、状況の完了は、センサーデータ入力に基づいてよい。このような例示において、オペレーターは、ＧＵＩを介してセンサーデータを表示することができ、状況が完了したという決定をする。例えば、障害物は、工事区域を含んでよい。車両からのカメラフィードは、航空機の後ろの工事区域の終わりを示してよい。工事区域が車両の後ろにあるという決定に基づいて、オペレーターは、状況が完了したという決定をしてよい。ある例示において、決定は、許容可能である（例えば、制御ポリシーに違反しない）および／または決定された経路に沿って継続することが可能である軌道を決定するプランナーシステムに基づいてよい。
さまざまな例示において、状況が完了したという決定に応答して、サービスコンピューティングデバイスは、リリース信号を車両に送信してよい。このような例示において、リリース信号に応答して、車両コンピューティングシステムは、車両（例えば、自律車両）のナビゲーションを再開するように構成されてよい。さまざまな例示において、サービスコンピューティングデバイスは、状況が車両の最初のルートを遮断したという決定をすることができる。このような例示において、サービスコンピューティングデバイスは、車両が所定の目的地に到着するための更新されたルートを生成するように構成されてよい。ある例示において、サービスコンピューティングデバイスは、リリース信号を送信する前に、更新されたルートを車両コンピューティングシステムに送信してよい。ある例示において、サービスコンピューティングデバイスは、更新されたルートをリリース信号と実質的に同時に（例えば、１秒以内、２秒以内など）送信してよい。更新されたルートの受信に応答して、車両コンピューティングシステムは、所定の目的地への更新されたルートに沿って車両を制御することができる。ある例示において、車両コンピューティングシステムは、状況が最初のルートを遮断したという決定をしてよい。このような例示において、車両コンピューティングシステムは、目的地にナビゲートするための更新されたルートを生成するように構成されてよい。
本明細書で説明される技術は、車両コンピューティングシステムの機能を改善することができる。従来、自律車両に対する制御プラニングにおいて、車両コンピューティングシステムは、センサーデータを継続的に処理することができ、解決策を決定するまで車両に対する実行可能なルートを決定する。車両がリモート誘導状況に直面する例示において、運用プロトコルなどの車両コンピューティングシステムに課せられた制約に基づいて、解決策は、達成不可能であることがある。このような例示において、車両コンピューティングシステムは、解決策に到達することなく、とてつもなく多くの量のコンピューティングリソースを利用することがある。それ故に、車両コンピューティングシステムが処理能力および／またはメモリを継続して使用するリモート誘導状況を通る経路を識別している間に、車両は、計画されたルート上の具体的な位置に留まることがある。
本明細書で説明される技術は、リモートコンピューティングリソースを利用してリモート誘導状況をナビゲートするためのほぼリアルタイムの解決法を規定することにより、制約のために車両コンピューティングシステムによって直面する技術的問題に対する技術的な解決法を提供する。本明細書で説明されるように、サービスコンピューティングデバイス上のグラフィカルユーザーインターフェースは、車両コンピューティングシステムからのセンサーデータを処理することができ、且つ誘導を車両コンピューティングシステムに提供することができることによって、車両コンピューティングシステムによって用いられる処理能力および／またはメモリの量を低減し、これは、ある例示において、そうでなければ解決策を識別することなく処理の無限ループにおいて留まり得る。
さらに、本明細書で説明される技術は、環境を通して自律車両の動作の安全性を高めることができる。例えば、車両コンピューティングシステムは、さらなる動きが運用プロトコルに違反する場合があるという決定に基づいて、誘導の入力に対してサービスコンピューティングデバイスに接続することができる。最大限の安全性を確実にするために、車両コンピューティングシステムは、状況を評価して、安全なルート進行を決定するように構成され得るリモートオペレーターからの誘導を要求することができる。さらに、車両コンピューティングシステムは、入力を受信することができ、入力に従って、誘導の入力が車両を制御する前に、車両の安全な動作をもたらすことを検証することができる。
本明細書で説明される技術は、複数の方法で実装されることができる。例示的な実装が添付の図面を参照して下記で提供される。自律車両のコンテキストにおいて説明されているが、本明細書で説明される方法、装置、およびシステムは、多様なシステム（例えば、センサーシステム、またはロボティックプラットホーム）に適用されてよく、自律車両に限定されない。別の例示において、技術は、航空または船舶のコンテキストにおいて、またはマシンビジョンを用いる任意のシステムにおいて（例えば、画像データを用いるシステムにおいて）利用されてよい。
図１は、環境１００における自律車両１０２（車両１０２）の図であり、これは、リモート誘導システムがリモート誘導状況１０６（例えば、実行可能な経路を決定するように車両が構成されていない場合がある計画されたルート１０４上の障害物）の検出に基づいて、計画されたルート１０４（例えば、最初のルート、計画された経路など）からの逸脱を決定してよい。リモート誘導状況１０６は、車両コンピューティングシステムが実行するようにプログラムされていない状況、および／または運用プロトコルに違反しているように見える状況（例えば、運用プロトコル（例えば、制御ポリシー）を違反することとなる状況をナビゲートするために要求される軌道）を含んでよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなどのような車両がとることができる、またはとることができないアクションを管理する１つまたは複数の規則を含んでよい。ある例示において、リモート誘導状況１０６は、障害物が車両１０２に関連付けられる知覚距離を超えて延びる状況を含んでよい。例えば、図１に図示されるように、車両１０２は、初期位置１０８（例えば、初期位置および／または方向）からリモート誘導状況１０６の全体を知覚することができないことがある。さらに、図１に図示されているように、リモート誘導状況１０６は、車両１０２の計画されたルート１０４を遮断する１つまたは複数の障害物を含んでよいことによって、リモート誘導状況１０６の周りをナビゲートすることで、車両１０２は、反対方向の交通のために指定された車線における動作をもたらすこととなる。非限定的な例示として、リモート誘導状況１０６は、変更された車線の境界、車両１０２に対して進行する方向の信号を送る作業員、またはそうでなければ、１組の公称運転状況とは異なる状況を定めるコーン、バリケードなどを含んでよい。
さまざまな例示において、車両コンピューティングシステムは、１つまたは複数のセンサーからのセンサーデータに基づいて、リモート誘導状況１０６を検出することができる。センサーは、カメラ、モーションディテクター、ライダー、レーダー、飛行時間、および／または車両１０２に取り付けられた他のセンサーを含んでよい。図８に関して以下でより詳細に説明されるように、車両コンピューティングシステムのプランナーコンポーネントは、計画されたルート１０４に沿って車両１０２をナビゲートするように構成されてよい。プランナーコンポーネントは、車両コンピューティングシステムの知覚コンポーネントから処理されたセンサーデータを受信することができ、センサーデータに基づいて、車両が計画されたルート１０４に沿って移動するための１つまたは複数の軌道を決定することができる。軌道は、車両が環境を通って移動することがある方角、方向、および／または速度を含んでよい。
車両動作に関連付けられる軌道は、車両コンピューティングシステムに配置される運用プロトコル（例えば、１つまたは複数の操作制約）に部分的に基づいて決定されてよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなどのような車両がとることができる、またはとることができないアクションを管理する１つまたは複数の規則を含んでよい。例えば、運用プロトコルは、車両が道路の舗装された表面上に留まるための制限を含んでよい。それ故に、車両コンピューティングシステムは、道路の舗装された表面上に車両１０２を維持する１つまたは複数の軌道を生成するように構成されてよい。
さまざまな例示において、車両コンピューティングシステムは、センサーデータを受信することができ、計画されたルート１０４が障害物によるなどで遮断されているか、またはそうでなければ、進行の不確実性が高いか、制御ポリシーなどに違反することなく進行することが可能ではないという決定をすることができる。ある例示において、車両コンピューティングシステムは、センサーデータを処理することができ、車両に対して障害物の周りをナビゲートするための（運用プロトコルを満たす）１つまたは複数の軌道を生成しようと試みることができる。しかしながら、ある例示において、図１に図示されるリモート誘導状況１０６などに直面する状況は、運用プロトコルを満たす可能性がある軌道（または経路）を含まないことがある。このような例示において、車両コンピューティングシステムは、状況をリモート誘導状況１０６として識別することができ、車両を初期位置１０８で停止させることができる。さまざまな例示において、リモート誘導状況１０６の検出（例えば、識別）に基づいて、車両コンピューティングシステムは、１つまたは複数のハザード信号（例えば、ハザードライト、オーディオ信号など）を車両から放出させることができる。
リモート誘導状況１０６の検出に基づいて、車両コンピューティングシステムは、１つまたは複数のネットワークを介するなどで、サービスコンピューティングデバイスに自動的に接続することができる。ネットワークは、インターネットのような公共ネットワーク、機関および／または個人ネットワークのような私的ネットワーク、または公共ネットワークと私的ネットワークとのある組み合わせを含んでよい。ネットワークは、また、衛星ネットワーク、ケーブルネットワーク、Ｗｉ－Ｆｉネットワーク、ＷｉＭａｘネットワーク、モバイル通信ネットワーク（３Ｇ、４Ｇ、５Ｇなど）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはそれらの任意の組み合わせを含むがこれらに限定されない、任意のタイプの有線および／または無線ネットワークを含んでよい。ある例示において、車両コンピューティングシステムは、ボタンの押下によるなどで、入力／出力デバイスから受信した入力に基づいてサービスコンピューティングデバイスに接続することができる。例えば、安全オブザーバー、車両オペレーター、または車両における乗員は、ボタンを押下することができ、リモート誘導のためなどのサービスコンピューティングデバイスに接続する。
さまざまな例示において、車両コンピューティングシステムは、リモート誘導状況１０６を示す信号を送信することができる。ある例示において、信号は、サービスコンピューティングデバイスからの誘導データ（例えば、誘導の入力）に対する要求を含んでよい。ある例示において、車両コンピューティングデバイスからの誘導データに対する要求との接続および／または受信することに応答して、サービスコンピューティングデバイスは、誘導に対する条件が満たされていることを検証することができる。誘導に対する条件は、サービスコンピューティングデバイスが車両１０２に効果的に誘導を提供することが可能であることを確実にするためのシステムチェックを含んでよい。条件は、閾値を下回る車両速度（例えば、時速１５マイルより遅い、時速２０キロメートルより遅いなど）、利用可能な閾値の数および／またはセンサーのタイプ（例えば、前方、後方、左方、および右方の視界を提供する少なくとも４つの動作しているカメラ、空中視界に関連付けられる動作しているセンサーなど）、閾値バンド幅（例えば、毎秒１０メガバイトと等しいかそれより速く、毎秒１５メガバイトなど）、閾値待ち時間（例えば、３００ミリ秒と等しいかそれより遅く、２５０ミリ秒など）、車両の調子に関連する故障（例えば、ステアリングコラムの故障など）がないなどを含んでよい。
ある例示において、１つまたは複数の条件が満たされていないという決定に応答して、サービスコンピューティングデバイスは、車両コンピューティングシステムとの接続を拒否する（例えば、接続しない）ことがある。さまざま例示において、１つまたは複数の条件が満たされないという決定に応答して、サービスコンピューティングデバイスは、サービスコンピューティングデバイスのグラフィカルユーザーインターフェース（ＧＵＩ）へのオペレーターアクセスおよび／または入力を拒否する（例えば、入力機能を無効にする）ことができる。ある例示において、サービスコンピューティングデバイスは、条件が満たされていないこと、および／またはリモート誘導システムが利用不可能であることの表示を車両コンピューティングデバイスに送信することができる。
さまざまな例示において、条件が満たされているという決定に応答して、サービスコンピューティングデバイスは、ＧＵＩをディスプレイ上に起動することができる。さまざまな例示において、ＧＵＩは、車両１０２のセンサーからのセンサーデータを示す１つまたは複数のウィンドウを含んでよい。例えば、ウィンドウは、それぞれが、車両１０２に取り付けられたカメラによってキャプチャされたリアルタイムまたはほぼリアルタイム（例えば、待ち時間に基づくような）のカメラ画像を示すことができる。さまざま例示において、ウィンドウにおいて示されるデータは、リモート誘導状況１０６の周りの経路を決定することを助力するための情報をオペレーターに提供することができる。
さまざま例示において、ＧＵＩは、車両１０２のトップダウン図の描写（またはそうでなければ、リモートオペレーターによって構成可能）および環境１００におけるリモート誘導状況１０６を含んでよい。このような例示において、上面図は、センサーデータに基づいて環境のコンピューター生成表示を含んでよい。ある例示において、上面図は、リモート誘導状況１０６のうちの１つまたは複数の障害物に関して初期位置１０８などの車両１０２の位置を含んでよい。図２に関してさらに詳細に説明されることとなるように、ＧＵＩは、上面図を介してオペレーターからの入力を受信するように構成されてよい。このような例示において、オペレーターは、ドライブコリドー１１０を通してなど、リモート誘導状況１０６をナビゲートするために車両に誘導をもたらすことが可能であってよい。ドライブコリドー１１０は、オペレーターが１つまたはウェイポイント１１２を入力し得るリモート誘導状況１０６の周りの運転可能な平面を表現してよい。ウェイポイント１１２は、車両が移動することとなる位置（例えば、Ｘ、Ｙ、Ｚ座標など）を含んでよい。さまざまな例示において、ウェイポイント１１２（１）からウェイポイント１１２（ｎ）を通してなどのウェイポイント１１２は、それぞれ停止点を含んでよい。このような例示において、車両は、後続のウェイポイント１１２の受信または検証の欠如などのそれぞれのウェイポイント１１２で停止するように構成されてよい。例えば、オペレーターは、ウェイポイント１１２（１）を入力することができ、ウェイポイント１１２（２）の受信を欠如している場合、車両コンピューティングデバイスは、さらなる誘導が受信されるまで、車両１０２をウェイポイント１１２（１）で停止させることができる。
さまざまな例示において、入力は、関連するウェイポイント１１２での車両１０２の方向１１４（例えば、ヨー）を含んでよい。このような例示において、オペレーターは、関連するウェイポイント１１２で車両を具体的な方向に向けさせることが可能である。さまざま例示において、ウェイポイント１１２に関連付けられる方向は、車両がウェイポイントで停止されるべき優先された方向に基づいてよい。例えば、リモート誘導状況１０６の周りをナビゲートする場合に対向する交通への曝露を最小限にするために、反対方向の交通に関連付けられる車線において少なくとも部分的に位置する車両１０２に関連付けられる優先された方向は、その車線に位置する車両１０２の量が最小限となり得るような車線に実質的に平行（例えば、５度以内など）であってよい。したがって、少なくとも反対方向の交通への露出を最小限にするために、ウェイポイント１１２（２）に関連付けられる方向１１４（２）は、車線に実質的に平行であってよい。少なくともある例示において、このような方向は、車両が後続のウェイポイントを接続する軌道を見つけることを有効にするために提供されてよい。
ある例示において、方向１１４は、先行および／または後続のウェイポイント１１４に基づいて決定されてよい。このような例示において、具体的なウェイポイント１１２での方向１１４は、車両を誘導ルート上のウェイポイントとの間をスムーズに移行することを有効にすることができる。例えば、第１のウェイポイント１１２（１）に関連付けられる第１の方向１１４（１）は、第２のウェイポイント１１２（２）の方向における直線またはスプラインを表現することができる。第２のウェイポイント１１２（２）に関連付けられる第２の方向１１４（２）は、第３のウェイポイント１１２（３）の方向におけるスプラインなどを表現することができる。以下でより詳細に説明されることとなるように、車両コンピューティングデバイスは、ウェイポイント１１２および／または方向１１４を受信することができ、ウェイポイントおよび／または方向との間で車両１０２をスムーズに制御するために１つまたは複数の軌道を生成することができる。
さまざまな例示において、オペレーターは、ウェイポイント１１２（１）のようなウェイポイント１１２をドライブコリドー１１０における位置に配置することができる。ドライブコリドー１１０は、リモート誘導状況１０６をナビゲートするために車両１０２が移行することができる道路の決定された部分を含んでよい。さまざまな例示において、サービスコンピューティングデバイスは、車両上のセンサーから受信したセンサーデータに基づいてドライブコリドー１１０を生成することができる。ある例示において、サービスコンピューティングデバイスは、環境１００において検出された１つまたは複数の障害物に基づいて、ドライブコリドー１１０を生成することができる。例えば、リモート誘導状況１０６は、車両１０２の右側および左側にある障害物を含んでよい。ドライブコリドー１１０および／またはその幅は、障害物との間の距離および／または安全バッファー（例えば、車両１０２を障害物から遠ざけるための所定の距離）によって画定されることができる。さまざまな例示において、ドライブコリドー１１０の幅は、車両の幅に基づいて決定されてよい。ある例示において、ドライブコリドー１１０の幅は、車両１０２のいずれかの側に安全バッファーをさらに含んでよい。さまざまな例示において、ドライブコリドー１１０は、オペレーターがウェイポイント１１２を入力し得る領域を表現することができる。このような例示において、ＧＵＩは、ウェイポイント１１２がドライブコリドー１１０の外側に入力されることを許可しないことがある。
さまざまな例示において、ＧＵＩは、ウェイポイント１１２との間および／または初期位置１０８と第１のウェイポイント１１２（１）との間の距離Ｄ（例えば、１０フィート、１５フィート、７メートルなど）を制限することができる。ある例示において、ＧＵＩは、ウェイポイント１１２が互いに距離Ｄよりも長く離れて入力されることを許可しないことがある。ある例示において、ＧＵＩは、オペレーターがウェイポイント１１２を入力し得る車両１０２の周りの半径Ｄの領域をアクティブにすることができる。ある例示において、ＧＵＩは、ポップアップ通知のように入力が距離Ｄの外側にあり、且つ受け入れられることのない通知をオペレーターに提供することができる。さまざまな例示において、ウェイポイントとの間の距離を制限することは、環境１００を通して車両１０２のインクリメント誘導を有効にすることができ、車両１０２がリモート誘導状況１０６を安全に操縦し得ることを確実にすることができる。
さまざまな例示において、オペレーターは、ウェイポイント１１２および／またはウェイポイント１１２（１）および方向１１４（１）のような関連する方向１１４をＧＵＩへと入力することができる。図２に関して以下でより詳細に説明されることとなるように、オペレーターは、ウェイポイント１１２（１）に対する環境１００における位置を選択して、その位置を確認することによって、ウェイポイント１１２（１）を入力することができる。ある例示において、位置の確認は、その位置でのマウスのクリックおよび／またはＧＵＩ上の確認オプションの選択を含んでよい。さまざまな例示において、ウェイポイント１１２および／または方向１１４の確認を受信することに応答して、サービスコンピューティングデバイスは、ウェイポイント１１２および／または方向１１４を検証することができる。ウェイポイント１１２および／または方向１１４の検証は、ウェイポイント１１２および／または方向１１４が車両の安全プロトコルを満たしているという検証を含んでよい。安全プロトコルは、道路上のウェイポイント１１２の位置（例えば、道路の端または運転可能な平面から車両１０２の幅の１／２よりも短くない）、初期位置１０８の閾値距離内または互いの閾値距離内のウェイポイント１１２、動的および／または静的オブジェクトから離れて維持するための車両１０２に対する１つまたは複数の閾値距離、最大ヨーレート、および／または環境１００を通して車両１０２の安全なナビゲーションに関連付けられる他の基準などの車両１０２の安全な動作に関連付けられる１つまたは複数の規則を含んでよい。
ある例示において、オペレーターは、サービスコンピューティングデバイスにウェイポイント１１２および／または方向１１４を車両コンピューティングデバイスに送信させることができる。ある例示において、サービスコンピューティングデバイスは、オペレーターによる入力に応答するウェイポイント１１２および／または関連する方向１１４を自動的に送信することができる。このような例示において、ウェイポイント１１２が具体的な位置にあると確認され、および／または方向１１４が確認されるという決定に基づいて、サービスコンピューティングデバイスは、ウェイポイント１１２および／または方向１１４を自動的に送信することができる。さまざまな例示において、１つまたは複数のウェイポイント１１２および／または関連する方向１１４は、ポイントが検証された（例えば、安全プロトコル、リモート誘導プロトコル、および／または運動学の検証を通過する）という決定に基づいて送信されてよい。ある例示において、ウェイポイント１１２および／または関連する方向１１４は、オペレーターによる入力などの送信コマンド（例えば、送信オプションの選択）の受信に応答して送信されてよい。ある例示において、ＧＵＩは、ウェイポイント１１２および／または関連する方向１１４を個別におよび／またはグループで送信するように構成されてよい。
さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスからウェイポイント１１２および／または方向１１４を受信することができ、ウェイポイント１１２および／または方向１１４を検証することができる。このような例示において、車両コンピューティングシステムは、ウェイポイント１１２および／または方向１１４が安全プロトコルを満たして、車両１０２および／または運動学検証によって安全に実行され得るという検証をすることができる（例えば、車両１０２が物理的制約に基づいて所望のウェイポイントを達成することが可能である）。ウェイポイントおよび／または関連する方向が安全プロトコルに違反しているという決定に応答して、車両コンピューティングシステムは、ウェイポイントを除外することができる。ある例示において、車両コンピューティングシステムは、停止点（例えば、初期位置１０８）から進行しない、または除外されたウェイポイントの前のウェイポイントで停止するなどによって、除外されたウェイポイントに進行しないことがある。例えば、車両コンピューティングデバイスは、第１のウェイポイント１１２（１）および第１の方向１１４（１）を受信することができ、第１のウェイポイント１１２（１）および第１の方向１１４（１）が有効であるという決定をすることができる（例えば、安全プロトコルを満たす）。車両コンピューティングデバイスは、車両を初期位置１０８から第１のウェイポイント１１２（１）までナビゲートすることができる。車両コンピューティングデバイスは、また、第２のウェイポイント１１２（２）および第２の方向１１４（２）を受信することができ、第２のウェイポイント１１２（２）または第２の方向１１４（２）のうちの少なくとも１つが安全プロトコルを満たしていないという決定をすることができる。車両コンピューティングデバイスは、第２のウェイポイント１１２（２）および／または第２の方向１１４（２）を除外することができ、車両に第１のウェイポイント１１２（１）で停止させることができ、更新された誘導を待つ。
いくつかの例示において、車両コンピューティングシステムは、ウェイポイント１１２および／または関連する方向１１４の除外を示すメッセージをサービスコンピューティングデバイスに送信することができる。ある例示において、メッセージは、除外の理由を含んでよい。例えば、車両コンピューティングシステムは、ウェイポイントが環境１００における静的オブジェクトからの閾値距離よりも短いという決定をすることができる。決定に基づいて、車両コンピューティングシステムは、ウェイポイントを除外することができ、メッセージを距離が閾値距離よりも短いことを示しているサービスコンピューティングデバイスに送信することができる。
ウェイポイント１１２および／または関連する方向１１４が安全プロトコルを満たすという決定に応答して、車両コンピューティングシステムは、ウェイポイント１１２および／または方向１１４を受け入れることができる。車両コンピューティングシステムは、ウェイポイント１１２および／または方向１１４を処理することができ、車両１０２がウェイポイント１１２の間を移行する１つまたは複数の軌道１１６を生成することができる。例えば、車両コンピューティングシステムは、第１のウェイポイント１１２（１）および第１の方向１１４（１）を受信することができる。第１のウェイポイント１１２（１）および第１の方向１１４（１）が有効であるという決定に基づいて、車両コンピューティングシステムは、軌道１１６の第１のセット（１つまたは複数の軌道）を決定することができ、初期位置から第１の方向１１４（１）での第１のウェイポイント１１２（１）に移行する。少なくともある例示において、１つまたは複数のウェイポイント１１２は、このような軌道を決定することにおける制約として用いられることができる（例えば、車両１０２は、具体的に指定されたヨー角でウェイポイントを通過しなければならない）。さらなるまたは代替的な例示において、ウェイポイントは、車両１０２がウェイポイントからどれだけ離れているかに関連付けられるコスト、および／または車両１０２のヨーと対応するウェイポイント１１２との差に対して少なくとも部分的に基づいて軌道が決定されるコストを含んでよい。決定された軌道のうちのいずれか１つまたは複数において、速度は、閾値速度を満たさないまたは超えないように制約されてよく、これは、固定速度（例えば、５ｍｐｈ、１０ｍｐｈなど）および／または通過した運転可能な平面上についての関連する制限速度のパーセンテージであってよい。
生成される軌道１１６に基づいて、車両コンピューティングシステムは、１つまたは複数の駆動システムを介するなどで、車両１０２を関連する方向１１４でウェイポイント１１２まで制御することができる。さまざまな例示において、車両コンピューティングシステムは、ウェイポイント１１２および／または関連する方向１１４を追加して受信することができる。このような例示において、車両コンピューティングシステムは、車両を初期位置１０８から第１のウェイポイント１１２（１）まで制御することができる。ある例示において、車両コンピューティングシステムは、第２のウェイポイント１１２（２）などの後続の誘導を受信および／または検証する前に、第１のウェイポイント１１２（１）に到着してよい。このような例示において、車両コンピューティングシステムは、第２のウェイポイント１１２（２）が受信され、且つ検証されるまで、車両を第１のウェイポイント１１２（１）で停止させることができる。ある例示において、車両コンピューティングシステムは、第１のウェイポイント１１２（１）に到着する前に、第２のウェイポイント１１２（２）を受信および／または検証してよい。このような例示において、車両コンピューティングデバイスは、停止することなく、第１のウェイポイント１１２（１）を過ぎて第２のウェイポイント１１２（２）に向かって操縦するように車両を制御してよい。ある例示において、後続の誘導は、第１のウェイポイント１１２（１）などの具体的なウェイポイントで停止するまで減速している間に提供されてよい。このような例示において、車両コンピューティングデバイスは、車両を適切な速度に戻すことができ、車両を第２のウェイポイント１１２（２）に向かってナビゲートすることができる。
さまざまな例示において、車両コンピューティングデバイスは、リモート誘導プロトコルに従って車両を制御することができる。リモート誘導プロトコルは、リモート誘導モードで動作している間に車両１０２の動きに対する１つまたは複数の限定を含んでよい。リモート誘導プロトコルは、経路の逸脱（例えば、車両の１／２幅、１つの車両の幅などの障害物を回避するために車両１０２が逸脱し得る２つのウェイポイントとの間の経路からの距離）、静的オブジェクトの検出への応答（例えば、静的オブジェクトを回避して後続のウェイポイント１１２に到着しようとする試み）、動的オブジェクトの検出への応答（例えば、ウェイポイント１１２に対応する経路に入ると予測されるエージェントへの譲歩）、車両として同一の方向に移動する動的オブジェクトの追跡（例えば、ウェイポイント１１２に対応する経路において）、交差点での優先権に対する適切な譲歩（例えば、４方向の停止、信号機、回り道など）、さらなる誘導が受信されない場合、前進の動きを停止するなど（例えば、別のウェイポイント、ナビゲーション再開の指示など）を含んでよい。
さまざまな例示において、車両コンピューティングシステムは、環境における条件に対して適切な速度で車両１０２を制御することができる。条件は、環境において検出された動的オブジェクトの数および／またはタイプ（例えば、道路上の他の車両の数、歩行者の数、近所で遊んでいる子供など）、環境に関連付けられる区域（例えば、スクールゾーン、遊び場など）などを含んでよい。ある例示において、車両コンピューティングシステムは、前進を可能としている間に安全性を最大化するために車両の最大速度を動的に決定するように構成されてよい。例えば、車両コンピューティングデバイスは、誘導モードで動作している間にそれがスクールゾーンにあるという決定をしてよい。車両コンピューティングは、車両１０２に関連付けられる経路に接近する学生を検出すると、車両１０２の即時停止を可能とするように、車両１０２に関連付けられる最大速度が時速７マイルであるという決定をすることができる。別の例示では、車両１０２は、交通における別の車両を追跡していることがある。車両コンピューティングデバイスは、先行する車両の後ろで安全な距離を維持する速度で車両１０２を制御することができる。
さまざまな例示において、車両コンピューティングシステムは、所定の最高速度（例えば、毎時２０キロメートル、毎時１５マイル、毎時１０マイルなど）よりも遅く車両１０２を制御することができる。ある例示において、所定の最高速度は、リモート誘導に関連付けられる最高速度を含んでよい。さまざまな例示において、車両コンピューティングシステムは、環境および／または状況に関連付けられる速度でまたはそれよりも遅く車両１０２を制御することができる。少なくとも１つの例示において、車両コンピューティングシステムは、所定の最高速度または環境および／もしくは状況に関連付けられる最高速度のうちの遅い方で車両１０２を制御することができる。例えば、車両コンピューティングシステムは、リモート誘導モードで動作している場合に、時速１５マイルの所定の最高速度（例えば、時速０マイルと１５マイルとの間の速度）で車両を動作させることができる。車両コンピューティングシステムは、リモート誘導状況１０６を検出することができ、サービスコンピューティングデバイスからの誘導の入力を要求することができる。車両コンピューティングシステム、および／またはオペレーターは、センサーデータに基づいて、リモート誘導状況１０６が毎時１０マイルの制限速度と共に関連付けたという決定をすることができる。毎時１０マイルの制限速度が毎時１５マイルの所定の最高速度よりも遅いことに基づいて、車両コンピューティングシステムは、リモート誘導状況１０６を通してナビゲートしている間に、わずか毎時１０マイルに車両の速度を制限することができる。
さまざまな例示において、車両コンピューティングシステムは、リモート誘導状況１０６（例えば、ウェイポイントからウェイポイントへの移動）を通してナビゲートしている間に、車両１０２が安全プロトコルに違反することとはならないことを検証するように構成されてよい。車両コンピューティングデバイスは、継続的に、定期的に（例えば、０．１秒、０．５秒、１秒ごとなど）、および／またはランダムな間隔（例えば、３秒、５秒など）で、周囲を監視し、安全プロトコルが車両によって満たされること（例えば、車両は、環境におけるオブジェクト１１８に影響を与えることとはならない）を確実にする。例えば、車両コンピューティングデバイスは、車両１０２を制御することができ、車両１０２が環境におけるにオブジェクト１１８からの最短距離を維持することを確実にする。
さまざまな例示において、車両コンピューティングデバイスは、センサーデータに基づくなどで環境１００における１つまたは複数のオブジェクト１１８を検出することができる。オブジェクト１１８は、静的および／または動的オブジェクトであってよい。さまざまな例示において、車両コンピューティングシステムは、検出されたオブジェクト１１８のそれぞれに関連付けられる分類（例えば、自動車、セミトレーラートラック、歩行者、サイクリストなどのオブジェクトのタイプ）を決定するように構成されてよい。さまざまな例示において、車両コンピューティングシステムは、センサーデータに基づいて１つまたは複数の予測されるオブジェクト軌道１２０を決定することができる。オブジェクト軌道１２０は、オブジェクト１１８が知覚の時間に関連付けられる位置から環境１００を通って移動し得る潜在的な経路の任意の数を表現してよい。オブジェクト軌道１２０は、オブジェクト１１８の分類、交通法規または規則（例えば、道路の規則）、運転のエチケット、曲がる／曲がらない車線における位置、交差点の近接、他の静止および／または動的オブジェクト、運転可能な平面などのようなさまざまな要因に基づいて決定されてよい。
さまざまな例示において、オブジェクト軌道１２０は、１つまたは複数の機械学習アルゴリズムを利用して決定されてよい。このような例示において、車両コンピューティングシステムは、予測システムを介するなどで、オブジェクト１１８に関連付けられるセンサーデータを受信することができ、センサーデータに基づいてオブジェクト１１８の行動を予測することができる。例えば、車両コンピューティングシステムは、経時的に、オブジェクトの動きのキャプチャされた画像データに対する訓練されることができることによって、車両コンピューティングシステムは、オブジェクト１１８がとり得る将来のアクション（例えば、オブジェクト軌道）を提案し得る行動を認識することができる。ある例示において、車両コンピューティングシステムは、例えば、２０１８年１０月４日に出願され、「Trajectory Prediction on Top-Down Scenes」と題され、その内容全体が参照により本明細書に組み込まれる米国特許出願番号第１６／１５１，６０７号で説明される技術を利用することによって環境のトップダウン表現に基づいて、予測されたオブジェクト軌道１２０を決定することができる。さらに、または代替において、車両コンピューティングシステムは、例えば、２０１７年１１月８日に出願され、「Probabilistic Heat Maps for Behavior Prediction」と題された（その内容全体が参照により本明細書に組み込まれる）米国特許出願番号第１５／８０７，５２１号で説明されるヒートマップ、木探索法、および／または時相論理式を利用して、検出されたオブジェクト１１８に関連付けられる１つまたは複数のオブジェクト軌道１２０を決定することができる。
さまざまな例示において、車両コンピューティングシステムは、環境１００において検出されたオブジェクト１１８に関連付けられるオブジェクト軌道１２０を処理することができ、車両１０２およびオブジェクト１１８が相互作用（例えば、衝突、ニアミスなど）をし得るかを決定することができる。例えば、車両コンピューティングシステムは、ウェイポイント１１２（８）から後続のウェイポイント１１２（ｎ）まで車両１０２を制御することができる。車両コンピューティングシステムは、車両１０２に関連付けられる軌道と交差するように見えるオブジェクト軌道１２０を有するオブジェクト１１８（例えば、歩行者）を検出することができる。車両コンピューティングデバイスは、オブジェクト１１８が車両１０２に安全プロトコル（例えば、移動中の車両１０２の閾値距離内の歩行者など）および／またはリモート誘導プロトコル（例えば、リモート誘導モードでの車両の経路を横断するオブジェクト）を違反させ得るという決定をすることができる。車両コンピューティングシステムは、歩行者に譲ることのような歩行者に基づいてとるべきアクションを決定することができ、車両１０２が安全プロトコルおよび／またはリモート誘導プロトコルを維持することを確実にする。
さまざまな例示において、サービスコンピューティングデバイスは、状況が完了した（例えば、車両がリモート誘導状況１０６を通過し、通常の動作を再開することが可能である）という決定をすることができ、車両１０２をリモート誘導からリリースすることができる。ある例示において、状況の完了は、車両がリモート誘導状況１０６の残余を安全にナビゲートすることができるという決定に部分的に基づいてよい。例えば、初期位置１０８で車両コンピューティングシステムに見えなかった閉塞オブジェクトは、知覚システムによって検出されて、車両コンピューティングシステムは、閉塞オブジェクトを迂回するように構成されてよい。別の例示では、リモート誘導状況１０６の第１のセクションは、反対方向の交通のために指定された車線を走行するような運用プロトコルの違反を含んでよい。リモート誘導状況１０６の第２のセクションは、運用プロトコルの境界内を移動することを含んでよい。それ故に、オペレーターは、第１のセクションの完了に基づいて（例えば、進行方向に対する適切な車線に移行する車両に基づいて）状況が完了し得るという決定をしてよい。
ある例示において、状況の完了は、車両１０２に関連付けられる元のルートの閾値距離内（例えば、０．５メートル、０．５フィート、１０インチなど）にある１１２（ｎ）のような生成されるウェイポイントに部分的に基づいてよい。ある例示において、状況の完了は、センサーデータ入力に基づいてよい。このような例示において、オペレーターは、ＧＵＩを介してセンサーデータを表示することができ、状況が完了したという決定をする。例えば、リモート誘導状況１０６は、工事区域を含んでよい。車両からのカメラフィードは、車両１０２の後ろの工事区域の終わりを示してよい。工事区域が車両１０２の後ろにあるという決定に基づいて、オペレーターは、状況が完了したという決定をしてよい。
さまざまな例示において、状況が完了したという決定に応答して、サービスコンピューティングデバイスは、リリース信号を車両１０２に送信してよい。このような例示において、リリース信号に応答して、車両コンピューティングデバイスは、車両１０２のナビゲーションを再開するように構成されてよい。さまざまな例示において、サービスコンピューティングデバイスは、状況が車両１０２の計画されたルート１０４（例えば、最初のルート）を遮断したという決定をすることができる。このような例示において、サービスコンピューティングデバイスは、車両が所定の目的地に到着するための更新されたルートを生成するように構成されてよい。ある例示において、サービスコンピューティングデバイスは、リリース信号を送信する前に、更新されたルートを車両コンピューティングデバイスに送信してよい。ある例示において、サービスコンピューティングデバイスは、更新されたルートをリリース信号と実質的に同時に（例えば、１秒以内、２秒以内など）送信してよい。更新されたルートの受信に応答して、車両コンピューティングシステムは、所定の目的地への更新されたルートに沿って車両１０２を制御することができる。ある例示において、車両コンピューティングデバイスは、状況が最初のルートを遮断したという決定をしてよい。このような例示において、車両コンピューティングデバイスは、目的地にナビゲートするための更新されたルートを生成するように構成されてよい。さまざまな例示において、サービスコンピューティングデバイスも車両コンピューティングデバイスも更新されたルートを決定することができなかったという決定に基づいて、車両コンピューティングデバイスは、車両を停止させる（例えば、交通の流れから離れて車両を制御する）ことができ、停止して更新されたルートを決定し、および／またはサービスコンピューティングデバイスから更新されたルート誘導を受信する。
さまざまな例示において、サービスコンピューティングデバイスに接続した後であるが、誘導データ（例えば、ウェイポイント１１２および／または方向１１４）を受信する前に、車両コンピューティングシステムは、リモート誘導状況１０６を安全にナビゲートするための解決策を決定してよい。このような例示において、車両コンピューティングシステムは、リモート誘導のための要求を取り消すメッセージをサービスコンピューティングデバイスに送信することができる。ある例示において、サービスコンピューティングデバイスは、ＧＵＩを起動することができ、安全モニターとして機能するようなリモート誘導状況１０６を通して自律的にナビゲートする車両１０２をオペレーターが観察できるようにする。ある例示において、サービスコンピューティングデバイスは、状況を完了することができ、ＧＵＩに関連付けられる入力制御を無効にすることができ、オペレーターがウェイポイント１１２および／または方向１１４の入力を提供することを拒否する。
図２は、オペレーター２０４（オペレーターによって制御される入力カーソルとして図示される）がリモート誘導モードで動作している車両１０２のような車両２１０に対して、ウェイポイント１１２および／または方向１１４のようなウェイポイント２０６および／または方向２０８の誘導を入力することができ、グラフィカルユーザーインターフェース２０２（ＧＵＩ２０２）を有する例示的なサービスコンピューティングデバイス２００を図示する。上記のように、車両２１０に関連付けられる車両コンピューティングデバイスは、リモート誘導状況１０６のようなリモート誘導状況２１４を含む１つまたは複数の障害物２１２を検出することができる。リモート誘導状況２１４を検出することに応答して、車両コンピューティングシステムは、サービスコンピューティングデバイス２００との接続を確立することができる。さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイス２００からの誘導データ（例えば、誘導の入力）のための要求を送信することができる。少なくともある例示において、車両コンピューティングシステムは、完全且つ完璧な停止をさせる前に（例えば、本明細書で説明される技術が車両を停止させることなく目的地まで継続して移動させ得るシナリオを十分前に認識することが可能である）、このようなリモート誘導状況２１４を認識することができる。
さまざまな例示において、車両コンピューティングデバイスとの接続および／または誘導データのための要求の受信に応答して、サービスコンピューティングデバイス２００は、誘導のための１つまたは複数の条件が満たされているかを決定することができる。誘導のための条件は、サービスコンピューティングデバイス２００が誘導を車両２１０に効果的に提供することが可能であることを確実にするためのシステムチェックを含んでよい。条件は、閾値を下回る車両速度（例えば、時速１５マイルより遅い、時速２０キロメートルより遅いなど）、利用可能な閾値の数および／またはセンサーのタイプ（例えば、前方、後方、左方、および右方の視界を提供する少なくとも４つの動作しているカメラ、空中視界に関連付けられる動作しているセンサーなど）、閾値バンド幅（例えば、毎秒１０メガバイトと等しいかそれより速く、毎秒１５メガバイトなど）、閾値待ち時間（例えば、３００ミリ秒と等しいかそれより遅く、２５０ミリ秒など）、車両の調子に関連する故障（例えば、ステアリングコラムの故障など）がないなどを含んでよい。
ある例示において、条件が満たされないという決定に基づいて、サービスコンピューティングデバイス２００は、条件の欠如を車両コンピューティングデバイスに通信することができる。このような例示において、サービスコンピューティングデバイス２００は、条件が満たされるまで（例えば、バンド幅が増加する、待ち時間が減少する、車両の調子に関連する故障がない、車両の速度が閾値よりも遅い、センサーデータの可用性が増加するなど）誘導データを提供することができないことがある。ある例示において、条件が満たされていないという決定に基づいて、サービスコンピューティングデバイス２００は、ＧＵＩ２０２を起動しないことがある。ある例示において、条件が満たされていないという決定に基づいて、サービスコンピューティングデバイス２００は、ＧＵＩ２０２を起動することができるが、入力制御を有効にしなくてよい。このような例示において、オペレーター２０４は、ウェイポイント２０６および／または方向２０８の誘導を提供することができないことがある。このような任意の例示において、車両は、フォールバック操縦（例えば、現在位置を維持すること、および／または安全な停止領域に停止させること）を実行することができる。
さまざまな例示において、条件が満たされているという決定に基づいて、サービスコンピューティングデバイス２００は、ＧＵＩ２０２を起動することができ、入力制御を有効にしなくてよい。このような例示において、オペレーター２０４は、ウェイポイント２０６および／または方向２０８の誘導を提供することが可能である。ＧＵＩ２０２は、車両２１０上の１つまたは複数のセンサーからのセンサーデータを示す１つまたは複数のウィンドウ２１６を含んでよい。少なくとも１つの例示において、ウィンドウ２１６は、車両２１０上のカメラによってキャプチャされたストリーミング画像を示すことができる。ウィンドウ２１６は、データを示すことができ、車両がとる経路を決定することでオペレーターを助力する。経路は、ウェイポイントとの間の直線を含んでよく、これは、車両が環境を通過し得る実際の経路２３０を示してよく、示さなくてもよい。ある例示において、経路２１８と実際の経路２３０との間の差は、少なくとも部分的に、第１のウェイポイント２０６（１）に関連付けられる第１の方向２０８（１）のような方向２０８または車両がウェイポイント２０６で向くこととなる方向に基づいてよい。このような例示において、車両コンピューティングシステムは、第１の方向２０８（１）における第１のウェイポイント２０６（１）に到着するために車両の１つまたは複数の軌道を示す実際の経路２３０を生成することができる。このような例示において、軌道は、有限の計画対象期間および／または後続のウェイポイントとの間にわたって取得する１つまたは複数の状態（位置、方向、速度、加速度など）を含んでよい。上記のように、このようなウェイポイントは、コストおよび／または制約としてこのような軌道を決定するために用いられてよい。
図示される例示において、ＧＵＩ２０２は、左正面図を示す第１のウィンドウ２１６（１）、正面図を示す第２のウィンドウ２１６（２）、右正面図を示す第３のウィンドウ２１６（３）、および車両２１０に関連付けられる背面図を示す第４のウィンドウ２１６（４）を含む。オペレーターは、それぞれの表示を評価することができ、車両がリモート誘導状況２１４を通して移行するための経路を決定する。経路２１８は、車両２１０の初期位置２２２と第１のウェイポイント２０６（１）との間の直線距離、および／または第１のウェイポイント２０６（１）と第２のウェイポイント２０６（２）との間などのウェイポイント２０６との間の直線距離を表現することができる。
さまざまな例示において、ＧＵＩ２０２は、車両２１０の上面図２２０（例えば、鳥瞰図）の描写、および少なくともある例示において、異なる視点を提供するためにオペレーター２０４に従って調整され得るリモート誘導状況２１４を含んでよい。このような例示において、上面図２２０は、センサーデータに基づいて環境のコンピューター生成表示を含んでよい。ある例示において、上面図２２０は、最初に、リモート誘導状況２１４の障害物２１２に対する車両２１０の位置２２２を含んでよい。図示される例示において、上面図２２０は、計画されたルート（例えば、計画された経路）１０４のような車両２１０の計画された経路２２４（例えば、最初の経路、計画されたルートなど）を遮断する多様なオレンジ色のコーンに接近する車両２１０を示す。
さまざまな例示において、上面図２２０は、オペレーター２０４からの誘導の入力を受信するように構成されてよい。このような例示において、オペレーター２０４は、誘導を車両に提供することが可能であり、共に関連付けられる障害物２１２の周りなどのリモート誘導状況をナビゲートする。入力は、１つまたは複数のウェイポイント２０６を含んでよい。ウェイポイント２０６は、車両が移動することとなる位置の上を含んでよい。さまざまな例示において、ウェイポイント２０６は、それぞれ、さらなる誘導の欠如などの停止点を含んでよい。このような例示において、車両２１０は、後続のウェイポイント２０６の受信または検証を欠如するそれぞれのウェイポイントで停止するように構成されてよい。
さまざまな例示において、オペレーター２０４は、ウェイポイント入力オプション２２６を選択することができる。ある例示において、ウェイポイント入力オプション２２６は、ウェイポイント２０６の上面図２２０へと入力を有効にすることができる。さまざまな例示において、オペレーター２０４は、サービスコンピューティングデバイス２００に関連付けられる入力デバイスを用いてウェイポイントを入力することができる。マウスに関連付けられるようなカーソルとして示されているが、タッチスクリーン、キーボードなどの他の入力デバイスが企図される。オペレーター２０４は、カーソルを上面図２２０上で、ウェイポイント２０６に対して異なる潜在的な位置に移動させることができる。ある例示において、第２のウェイポイント２０６（２）のようなウェイポイント２０６に関連付けられる記号がカーソルに付随してよい。図示される例示において、第２のウェイポイント２０６（２）は、明色を有するものとして示されている。このような例示において、明色は、オペレーター２０４によってまだ入力されていないウェイポイント２０６を表現することができる。具体的な位置の上でマウスのクリックによるなどの入力に応答して、ウェイポイント２０６は、入力されることができ、２０６（１）のようなウェイポイント２０６は、異なる色で表現されることができる。少なくともある例示において、ＧＵＩ２０２は、オペレーター２０４が前に入力されたウェイポイントおよび／または車両の最後の周知の位置からの特定の距離よりも遠いウェイポイントを入力することを不可能にすることができる。
さまざまな例示において、オペレーター２０４は、方向の入力オプション２２８を選択することができる。方向の入力オプションは、オペレーター２０４がウェイポイント２０６に関連付けられる方向２０８（例えば、ヨー）を入力することを有効にしてよい。上記で説明されるように、方向２０８は、車両が具体的なウェイポイント２０６で向くべき方向を表現することができる。ある例示において、方向２０８は、先行および／または後続のウェイポイント２０６に基づいて決定されてよい。このような例示において、具体的なウェイポイント２０６での方向は、車両を誘導ルート上のウェイポイントとの間をスムーズに移行することを有効にすることができる。さまざま例示において、ウェイポイント２０６に関連付けられる方向２０８は、車両がウェイポイント２０６で停止されるべき優先された方向２０８に基づいてよい。
ある例示において、ＧＵＩ２０２は、入力された（例えば、配置が確認された）ウェイポイント２０６上で方向の入力を受信するように構成されてよい。例えば、オペレーター２０４が第２のウェイポイント２０６（２）をクリック（例えば、選択）することに応答して、それによって入力されたウェイポイント２０６（１）にマッチングするために色を変更し、オペレーター２０４は、方向２０８（２）のような共に関連付けられる方向２０８を入力することが可能である。図示される例示において、オペレーター２０４は、第２のウェイポイント２０６（２）の周りでカーソルまたは他の入力デバイスを動かす（例えば、カーソルをスクラッチする）ことができ、車両２１０が第２のウェイポイント２０６（２）で向くこととなる方向を選択することができる。方向は、第２のウェイポイント２０６（２）での車両２１０の方向２０８（２）またはヨーを表現することができる。上記のように、さまざまな例示において、方向は、ＧＵＩ２０２によって生成される経路２１８と一致してよい。さまざまな例示において、カーソルの動きは、方向制限２４２によって制限されてよい。方向制限２４２は、方向２０８が設定され得る方向の範囲を含んでよい。さまざまな例示において、ＧＵＩ２０２は、方向制限２４２の外側の方向の入力を遮断することができる。方向制限２４２は、車両２１０に対する物理的制約（例えば、最大ヨーレート、最大ヨー角、最長横方向距離、最大回転角など）に基づいてよい。例えば、上面図２２０は、車両に９０度または１８０度のようなウェイポイント２０６で大きな回転を実行させることとなる方向の入力を受け入れなくてよい。
さまざまな例示において、サービスコンピューティングデバイス２００は、ＧＵＩを介して入力されたウェイポイント２０６および／または方向２０８を検証するように構成されてよい。上記のように、ウェイポイント２０６および／または方向２０８の検証は、車両２１０がウェイポイント２０６および／または方向２０８に従って、車両２１０に関連付けられる安全プロトコルおよび／またはリモート誘導プロトコルに違反することとはならない（例えば、満たす）ことを含んでよい。ある例示において、このような検証は、車両がこのようなウェイポイントの移行を実行することが可能であることを確実にする運動学／動力学チェック（検証）を含んでよい。
さまざまな例示において、誘導の入力（例えば、ウェイポイント２０６および／または方向２０８）の受信に応答して、サービスコンピューティングデバイス２００は、ウェイポイント２０６および／または方向２０８（例えば、ウェイポイントデータ）を車両コンピューティングシステムに送信することができる。ある例示において、サービスコンピューティングデバイス２００は、第２のウェイポイント２０６（２）および／または第２の方向２０８（２）に関連付けられる入力を受信する前に、第１のウェイポイント２０６（１）および／または第１の方向２０８（１）を送信することができる。このような例示において、車両コンピューティングシステムは、第１のウェイポイント２０６（１）および／または第１の方向２０８（１）を受信して、車両に初期位置２２２から移動を始めるように構成されてよい。第２のウェイポイント２０６（２）に関連付けられるデータの受信が欠如している場合、車両コンピューティングシステムは、車両２１０に第１のウェイポイント２０６（１）で停止させることができる。さまざまな例示において、第２のウェイポイント２０６（２）および／または第２の方向２０８（２）の受信（および検証）に応答して、車両コンピューティングシステムは、車両に第２のウェイポイント２０６（２）に向かって進行させることができる。このような例示において、サービスコンピューティングデバイス２００は、車両コンピューティングシステムへのインクリメントリモート誘導を有効にすることができる。ある例示において、サービスコンピューティングデバイス２００は、２つまたはそれより多くのウェイポイント２０６および／または方向２０８に関連付けられるデータを送信することができる。このような例示において、２つまたはそれより多くのウェイポイントの検証に基づいて、車両コンピューティングシステムは、２つまたはそれより多くのウェイポイント２０６との間をナビゲートするように構成されてよい。本明細書で説明される例示のいずれにおいても、第２のウェイポイント２０６（２）は、車両が第１のウェイポイント２０６（１）に通過するときに受信することができることによって、車両は、停止することなくすべてのウェイポイントを継続して通過することができる。
上記で説明されるように、第１のウェイポイント２０６（１）および／または第１の方向２０８（１）のようなウェイポイント２０６および／または方向２０８を受信することに応答して、車両コンピューティングシステムは、車両２１０に対する１つまたは複数の軌道を生成することができる。軌道は、誘導モードで動作している間の位置を移動する車両２１０の実際の経路２３０を表現することができる。さまざまな例示において、実際の経路２３０に関連付けられる軌道は、車両が第１の方向２０８（１）で第１のウェイポイント２０６（１）に到着することをもたらすこととなる軌道を含んでよい。
さまざまな例示において、車両コンピューティングシステムは、現在の位置を越えて進行することができないという指示をサービスコンピューティングデバイスに送信することができる。現在の位置は、ウェイポイント２０６（１）のようなウェイポイント２０６、または環境における別の位置を含んでよい。ある例示において、車両は、車両コンピューティングデバイスが車両２１０に対する１つまたは複数の軌道を生成することが可能ではない、第２のウェイポイント２０６（２）のような後続のウェイポイント２０６がまだ受信されていない、第２のウェイポイント２０６（２）への経路が遮断されている、ウェイポイント２０６が除外されているなどという決定に基づいて、現在の位置で停止することができる。ある例示において、指示を受信することに応答して、サービスコンピューティングデバイスは、車両が進行することができないことを示す通知をＧＵＩ２０２上に提示することができる。通知に基づいて、オペレーターは、第２のウェイポイント２０６（２）が除外された場合のような第２の（後続の）ウェイポイント２０６（２）および／または代替ウェイポイント２０６を入力することができる。
さまざまな例示において、ＧＵＩ２０２は、オペレーター２０４が車両に具体的な位置で停止させることを有効にすることができる。ある例示において、車両は、後続の誘導が受信されていない（例えば、第２のウェイポイント２０６（２）に関連付けられるデータが受信および／または検証されていない）という決定に基づいて、ウェイポイント２０６（１）のようなウェイポイントで停止することができる。ある例示において、オペレーター２０４は、ホールドオプション２３２を選択することによって、車両２１０を停止させることができる。ホールドオプション２３２の選択は、サービスコンピューティングデバイス２００にホールド信号を車両２１０に送信させることができる。ある例示において、ホールド信号を受信することに応答して、車両コンピューティングシステムは、車両を停止させるために制御することができる。ある例示において、ホールド信号を受信することに応答して、車両コンピューティングシステムは、車両を停止位置で維持することができる。
さまざまな例示において、車両コンピューティングシステムは、完了信号（例えば、リリース信号）が受信されるまで、（ホールド信号に応答するような）停止位置を維持することができる。完了信号は、オペレーター２０４によるリリースオプション２３４の入力に応答して、サービスコンピューティングデバイスによって送信されてよい。さまざまな例示において、完了信号は、受信した誘導の入力に基づいて車両コンピューティングデバイスに車両を制御させることができる。ある例示において、ホールドおよびリリースは、オペレーターが一度に多様なウェイポイント２０６および／または方向２０８を送信することを有効にすることができる。ある例示において、車両ホールドの間に入力されたウェイポイント２０６および／または方向２０８は、完了信号と実質的に同時に送信されることができる。
さまざまな例示において、ＧＵＩ２０２は、完了オプション２３６を含んでよい。完了オプション２３６は、車両がリモート誘導状況２１４をナビゲートしているという決定に応答して、オペレーターによって選択されることができ、自律的に進行することができる。ある例示において、終了条件が発生したという決定に応答して、完了オプション２３６は、選択されてよい。終了条件は、リモート誘導状況２１４が車両の後ろにある、車両２１０が計画された経路２２４の閾値距離内にある、車両２１０が自律的に進行すること（例えば、運用プロトコル、安全プロトコルなどに従って、車両を制御すること）が可能であるなどという決定を含んでよい。さまざまな例示において、完了オプション２３６の選択に応答して、サービスコンピューティングデバイス２００は、完了信号を車両コンピューティングデバイスに送信することができる。完了信号は、自律的に進行するための命令を含んでよい。さまざまな例示において、サービスコンピューティングデバイス２００は、リモート誘導状況２１４が車両２１０の計画された経路２２４を遮断して、車両２１０が別のルート（例えば、更新されたルート）に沿って進行することとなるという決定をしてよい。ある例示において、サービスコンピューティングデバイス２００は、車両が目的地にナビゲートするための更新されたルートを自律的に生成することができる。ある例示において、サービスコンピューティングデバイスは、更新ルートオプション２３８のオペレーターによる入力に基づいて、更新されたルートを生成することができる。
さまざまな例示において、ＧＵＩ２０２は、ＧＵＩ２０２の編集ウェイポイントオプション２４０に応答するようなウェイポイントの編集（例えば、削除または変更）を受信するように構成されてよい。編集ウェイポイントオプション２４０は、オペレーターが共に関連付けられるウェイポイント２０６（例えば、位置を変更する）および／または方向２０８（例えば、ヨーを変更する）を削除および／または修正することを有効にすることができる。ウェイポイント２０６および／または方向２０８は、ウェイポイント２０６が確認されていない（例えば、車両コンピューティングシステムによって受け入れられた）という決定、またはウェイポイントが確認されたが、車両によって完了されていない（例えば、車両２１０は、ウェイポイント２０６に到着しておらず、車両は、ウェイポイント２０６への実際の経路２３０に沿って出発していない）という決定に基づいて編集されてよい。さまざまな例示において、ウェイポイントが確認されたが、完了していないという決定に応答して、ＧＵＩ２０２は、ウェイポイント２０６の編集を有効にする前に、車両２１０が停止していることを検証することができる。ウェイポイントが車両を制御するために車両コンピューティングシステムによって現在用いられているこれらの例示において、ウェイポイントは、編集のためにロックされてよい。このような例示において、これは、プラニングに用いられた後に、オペレーター２０４がウェイポイントを調整することを不可能にする（それによって、より安全なプラニングプロセスを作成する）。
図３は、車両１０２にインクリメント誘導を提供するための例示的なプロセス３００を図示している。プロセス３００のいくつかまたはすべては、図８に関して以下で説明される１つまたは複数のコンポーネントによって実行されてよい。
動作３０２で、サービスコンピューティングデバイスは、車両コンピューティングシステムから誘導のための要求を受信することができる。車両コンピューティングシステムは、動作環境におけるリモート誘導状況１０６の検出に基づいて誘導のための要求を送信することができる。リモート誘導状況１０６は、障害物、道路の遮断、道路における工事区域などを含んでよい。リモート誘導状況１０６は、車両コンピューティングシステムが実行するためにプログラムされていない状況、および／または車両１０２に関連付けられる運用プロトコルおよび／または安全プロトコルに違反しているように見える状況を含んでよい。上記のように、このような状況は、車両がこの状況に接近することを予測して検出されることができることによって、停止する前に状況が中継されることが可能であることによって、車両が停止する必要は、全くない。
状況のための要求を受信することに応答して、サービスコンピューティングデバイスは、要求を処理することができ、グラフィカルユーザーインターフェース（ＧＵＩ）を起動することができる。ＧＵＩは、オペレーターが誘導の入力を車両に提供し得るインターフェースを含んでよい。ＧＵＩは、車両がリモート誘導状況１０６（例えば、障害物の周り）をナビゲートするための第１のウェイポイント１１２（１）（例えば、第１の位置）に対応する入力を受信するように構成されてよい。ある例示において、ＧＵＩは、第１のウェイポイント１１２（１）に関連付けられる第１の方向に対応する入力を受信するように構成されてよい。第１の方向は、車両１０２が第１のウェイポイント１１２（１）で向き得る方向を表現することができる。
動作３０４で、サービスコンピューティングデバイスは、第１のウェイポイント１１２（１）（例えば、第１の位置に関連付けられるデータおよび／または第１のウェイポイント１１２（１）に関連付けられる第１の方向）を車両コンピューティングシステムに送信することができる。車両コンピューティングシステムは、第１のウェイポイント１１２（１）に関連付けられるデータを受信することができ、第１のウェイポイント１１２（１）まで車両を制御することができる。ある例示において、車両コンピューティングシステムは、車両１０２に第１の方向で（および／またはそのある閾値内で）第１のウェイポイント１１２（１）に到着させるような第１の方向に基づいて、車両１０２をさらに制御することができる。さまざまな例示において、後続の誘導を受信しないことに応答して、車両は、ストップバー３０６によって表現される第１のウェイポイント１１２（１）で停止することができる。ある例示において、車両１０２は、図２に関して上記で説明されるようなホールド信号を受信することに応答して、ストップバー３０６で停止することができる。このような例示において、サービスコンピューティングデバイスは、オペレーターからの入力を受信することに応答して、ホールド信号を送信することができ、車両１０２をホールドする。
動作３０８で、サービスコンピューティングデバイスは、第２のウェイポイント１１２（２）および第３のウェイポイント１１２（３）を車両コンピューティングシステムに送信することができる。さまざまな例示において、第２のウェイポイント１１２（２）および第３のウェイポイント１１２（３）は、第１のウェイポイント１１２（１）で最初に検出された閉塞オブジェクト３１０に少なくとも部分的に基づいて決定されてよい。閉塞オブジェクト３１０は、リモート誘導状況１０６の検出をすると、車両コンピューティングシステムには最初は見えなかった（例えば、センサーシステムによって検出された）オブジェクトを含んでよい。ある例示において、サービスコンピューティングデバイスは、環境における障害物、オブジェクトなどのリアルタイムまたはほぼリアルタイムの検出に基づいて、インクリメント誘導を提供するように構成されてよい。
さまざまな例示において、車両コンピューティングデバイスは、車両を第２のウェイポイント１１２（２）に制御することができ、次に、いかなるウェイポイント１１２でも停止することなく、第３のウェイポイント１１２（３）に制御することができる。このような例示において、車両は、安全プロトコルが満たされている（例えば、検出されたオブジェクトは、移動に影響を与えることとはならないなど）という決定に基づいて停止することなく進行することができる。
動作３１２で、サービスコンピューティングデバイスは、状況（例えば、リモート誘導状況１０６）が完了した（例えば、終了条件が発生した）という決定をすることができる。ある例示において、サービスコンピューティングデバイスは、リモート誘導状況１０６および／または閉塞オブジェクト３１０に関連付けられる１つまたは複数の障害物が車両の後ろにあるというセンサーデータを用いるような決定に基づいて、状況が完了したという決定をすることができる。ある例示において、サービスコンピューティングデバイスは、第３のウェイポイント１１２（３）（例えば、最後のウェイポイント）が車両の計画ルート１０４の閾値距離内（例えば、４インチ、０．５フィート、２フィート、１メートルなど）にあるという決定に基づいて、状況が完了したという決定をすることができる。さまざまな例示において、車両制御システムは、いかなる制御ポリシーにも違反しない（且つ安全に環境を通過する）車両１０２に対する軌道を計画することが可能であり、このことを示す信号をサービスコンピューティングデバイスに送信することが可能であるという決定をすることができる。このような例示において、サービスコンピューティングデバイスは、車両コンピューティングシステムからの信号に基づいて状況が完了したという決定をすることができる。
動作３１４で、サービスコンピューティングデバイスは、車両をリモート誘導からリリースすることができる。ある例示において、サービスコンピューティングデバイスは、完了信号を車両コンピューティングシステムに送信することができる。ある例示において、完了信号を受信することに応答して、車両コンピューティングシステムは、車両を自律的に制御することができる。ある例示において、完了信号は、自律的に進行するための命令を含んでよい。このような例示において、命令を受信することに応答して、車両コンピューティングシステムは、車両を自律的に制御することができる。
図４は、グラフィカルユーザーインターフェース４０２を介して車両にリモート誘導を提供するためのオペレーターワークフロー４００を図示している。動作４０４で、車両コンピューティングシステムは、サービスコンピューティングデバイスに接続することができる。サービスコンピューティングデバイスは、リモート誘導を提供するための１つまたは複数の条件が満たされていないという決定をすることができる。ある例示において、サービスコンピューティングデバイスは、車両コンピューティングシステムから受信したデータおよび／またはネットワーク接続に関連付けられるデータに基づいて、条件が満たされていないという決定をすることができる。誘導のための条件は、サービスコンピューティングデバイスが誘導を車両に効果的に提供することが可能であることを確実にするためにシステムチェックを含んでよい。条件は、閾値を下回る車両速度（例えば、時速１５マイルより遅い、時速２０キロメートルより遅いなど）、利用可能な閾値の数および／またはセンサーのタイプ（例えば、前方、後方、左方、および右方の視界を提供する少なくとも４つの動作しているカメラ、空中視界に関連付けられる動作しているセンサーなど）、閾値バンド幅（例えば、毎秒１０メガバイトと等しいかそれより速く、毎秒１５メガバイトなど）、閾値待ち時間（例えば、３００ミリ秒と等しいかそれより遅く、２５０ミリ秒など）、車両の調子に関連する故障（例えば、ステアリングコラムの故障など）がないなどを含んでよい。
１つまたは複数の条件のうちの少なくとも１つの条件が満たされないという決定に基づいて、サービスコンピューティングデバイスは、動作４０６で、誘導ができないという決定をすることができる。さまざまな例示において、条件のうちの少なくとも１つの条件が満たされないという決定に基づいて、サービスコンピューティングデバイスは、動作４０８で、誘導がグラフィカルユーザーインターフェース４０２へと入力されることを遮断することができる。このような例示において、オペレーターは、ウェイポイントおよび／または方向データをグラフィカルユーザーインターフェース４０２へと入力することができないことがある。
動作４１０で、車両コンピューティングシステムは、サービスコンピューティングデバイスに接続することができ、リモート誘導を提供するための条件が満たされているという決定をすることができる。条件が満たされているという決定に基づいて、サービスコンピューティングデバイスは、動作４１２で、誘導が可能であるという決定をすることができる。誘導を提供している間に条件を満たさないという決定に応答して、サービスコンピューティングデバイスは、動作４０６で示されているような誘導ができないという決定をすることができる。ある例示において、誘導ができないという決定に基づいて、車両は、初期位置を越えて進行しないことがある（例えば、停止したままでいることがある）。ある例示において、誘導ができないという決定に基づいて、サービスコンピューティングデバイスは、リモート誘導ができないことを示すメッセージを車両コンピューティングシステムに送信することができる。このような例示において、メッセージは、リモート誘導を提供しないための理由（例えば、誘導ができない理由）を含んでよい。反対に、動作４０４で決定されるように、前に条件を満たさなかった少なくとも１つの条件が現在満たされているという決定に応答して、サービスコンピューティングデバイスは、誘導が可能であるという決定をすることができる（動作４１２）。
誘導が可能であるという決定に基づいて、ワークフローは、動作４１４で、グラフィカルユーザーインターフェース上で誘導をアクティブにすることを含んでよい。さまざまな例示において、誘導をアクティブにすることは、オペレーターが車両が障害物の周りをナビゲートすることを助力するウェイポイントおよび／または方向に対応するデータを入力することを有効にすることができる。それ故に、オペレーターは、障害物の周りに車両に対する経路を構築することができる。
オペレーターが経路を構築している間に、条件のうちの少なくとも１つの条件が満たされない（上記のように、条件を満たさないと説明される条件と同一または異なる条件）という決定に基づいて、さらなる誘導は、動作４０８で遮断されてよい。ある例示において、少なくとも１つの条件を満たさないという決定に基づいて、車両は、初期位置（例えば、停止したままでいることがある）および／または直近で受信および／または検証されたウェイポイントを越えて進行しないことがある。このような例示において、車両コンピューティングシステムは、さらなる誘導（例えば、後続のウェイポイント、完了信号など）を受信しないことに応答して車両を停止させるように構成されてよい。さらに、動作４０８で、少なくとも１つの条件が満たされているという決定に応答して、誘導は、グラフィカルユーザーインターフェース４０２上で再アクティブされてよく、さらなるウェイポイントおよび／または方向データ入力を有効にしてよい。
図５は、リモート誘導の入力に応答して車両のアクションを図示するフロー図５００である。動作５０２で、サービスコンピューティングデバイスのグラフィカルユーザーインターフェースに関連付けられるオペレーターは、車両コンピューティングシステムに接続することができる。さまざまな例示において、オペレーターは、リモート誘導のための要求を受信することに応答して、車両コンピューティングシステムに接続することができる。ある例示において、接続は、１つまたは複数の条件の満足に基づいてよい。
動作５０４で、車両は、ホールドで停止されてよい。さまざまな例示において、車両は、リモート誘導状況の検出に基づいて、車両コンピューティングデバイスによるなど停止されてよい。ある例示において、車両は、グラフィカルユーザーインターフェースを介してサービスコンピューティングデバイスから受信したものなどのホールドするための命令に基づいて停止されてよい。車両は、ゴー（例えば、移動が許可されている）モード、またはノーゴー（例えば、移動が許可されていない）モードで停止されてよい。ゴーモードは、前進する前に一時的な遅延が必要となるモードを表現してよい。ある例示において、一時的な遅延は、ウェイポイントを入力および／または検証するために必要となる時間に基づいてよい。ある例示において、一時的な遅延は、安全プロトコルおよび／またはリモート誘導プロトコルの満足に基づいてよい。例えば、車両コンピューティングデバイスは、車両の前で別の車両が停止していることを検出することができる。他の車両の後ろで安全な距離を維持するために、車両コンピューティングデバイスは、ゴーモードで車両を停止させることができる。ノーゴーモードは、条件が満たされていない（例えば、車両の故障が検出されたなど）、またはそうでなければ、車両がフェイルセーフ操作を実行して、予定の運転動作から逸脱したことに基づくようなリモート誘導が利用不可能である場合のモードを表現することができる。
動作５０６で、車両は、リリースで動いていることがある。ある例示において、車両は、グラフィカルユーザーインターフェースに関連付けられるサービスコンピューティングデバイスからのリリース信号の受信に基づいて、リリースで移動してよい。さまざまな例示において、車両は、移動している間にリモート誘導を要求してよい。動作５０４または動作５０６からオペレーターは、サービスコンピューティングデバイスのグラフィカルユーザーインターフェース上で誘導モード５０８を開始することができる。
動作５１０で、車両は、ホールドで停止されてよい。ある例示において、誘導モード５０８は、車両がホールドしている間にアクティブであってよい。このような例示において、オペレーターは、障害物の周りを誘導するためのウェイポイントおよび／または方向を入力すること（例えば、リモート誘導状況をナビゲートすること）ができるが、ホールドによって、車両がウェイポイントに従って環境を通過するために車両を制御することができない。
動作５１２で、車両は、ウェイポイントに関連付けられるデータがサービスコンピューティングデバイスから受信されるまで、動作している通常のプランナー誘導（例えば、車両コンピューティングシステムによって提供される自律制御）を継続して動かすことができる。ウェイポイントを加えるオペレーターに応答して、車両は、動作５１４で、受信した１つまたは複数のウェイポイント（例えば、それぞれのウェイポイントへの運転）を満たすことができる。ある例示において、ウェイポイントの受信に応答して、車両コンピューティングシステムは、ウェイポイントを検証することができ、ウェイポイントが車両の安全プロトコルおよび／またはリモート誘導プロトコルを満たしていることを確実にする。
さまざまな例示において、ウェイポイントの受信に応答して、車両は、１つまたは複数の軌道を生成することができ、車両をウェイポイントに制御する。動作５１４で、車両コンピューティングデバイスは、サービスコンピューティングデバイスから１つまたは複数のさらなるウェイポイントに対応するデータを受信すること（例えば、オペレーターがグラフィカルユーザーインターフェースにおけるさらなるウェイポイントを加えること）ができる。車両コンピューティングシステムは、継続的に軌道を生成することができ、軌道に基づいて後続のウェイポイントとの間で車両を制御することができる。
さまざまな例示において、動作５１０で、ホールドで停止した車両は、オペレーターがグラフィカルユーザーインターフェースなどの上でリリースオプションを選択することによるなどリリースされてよい。このような例示において、車両は、動作５１４で、移動を開始することができ、経路において残っているウェイポイントを満たすことができる。
動作５１６で、車両は、停止することができ、さらなる誘導を待つことができる。ある例示において、車両は、後続の誘導（後続のウェイポイント）をまだ受信していないという決定に基づいて、動作５１６で停止することができる。このような例示において、ウェイポイントの受信に応答して、車両は、再び動き始めることができる（動作５１４）。ある例示において、車両は、最終ウェイポイントが満たされている（例えば、車両が最終ウェイポイントに到着した）という決定に基づいて停止してよい。ある例示において、誘導の完了に応答して、オペレーターは、動作５２０などで、誘導を完了することができ、車両コンピューティングシステムから切断することができる。ある例示において、オペレーターは、サービスコンピューティングデバイスに、誘導経路が完了したことを示す完了メッセージ（例えば、完了信号）を車両コンピューティングシステムに送信させることができる。誘導経路の完了に応答して、車両コンピューティングシステムは、車両を自律的に制御することを再開してよい。
さまざまな例示において、車両は、動作５１４などまで、継続して動いてよく、動作５１８で、車両が経路における最終ウェイポイントを満たす。ある例示において、オペレーターは、ウェイポイントを最終ウェイポイントとして指定することによるなどして、最終ウェイポイントの前に誘導の完了を示してよい。ある例示において、誘導の完了に応答して、オペレーターは、動作５２０などで、誘導を完了することができ、車両コンピューティングシステムから切断することができる。誘導経路の完了に応答して、車両コンピューティングシステムは、車両を自律的に制御することを再開してよい。さまざまな例示において、サービスコンピューティングデバイスは、リモート誘導のための第２の要求を受信することができる。このような例示において、オペレーターは、動作５０２で車両コンピューティングシステムに再接続することができる。
図６～図７は、本開示の実施形態に従って例示的なプロセスを図示する。これらのプロセスは、論理フローグラフとして図示され、それぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装され得る動作のシーケンスを表現する。ソフトウェアのコンテキストにおいて、動作は、１つまたは複数のプロセッサによって実行された場合に、列挙した動作を実行する１つまたは複数のコンピューター可読媒体に格納されたコンピューター実行可能命令を表現する。一般に、コンピューター実行可能命令は、具体的な機能を実行するか、または具体的な抽象データ型を実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図されるものではなく、任意の数の説明される動作は、任意の順序で、および／または並行して、組み合わされてよく、プロセスを実装する。
図６は、リモート誘導を車両コンピューティングデバイスに提供するための例示的なプロセス６００を図示している。プロセス６００のうちのいくつかまたはすべては、本明細書で説明されるように、図８における１つまたは複数のコンポーネントによって実行されてよい。例えば、プロセス６００のうちのいくつかまたはすべては、サービスコンピューティングデバイス８３２によって実行されてよい。
動作６０２で、プロセスは、車両に関連付けられる車両コンピューティングシステムから状況をナビゲートすることに対して誘導の入力のための要求を受信することを含むことができる。誘導の入力のための要求は、車両コンピューティングシステムとサービスコンピューティングデバイスとの間のネットワーク接続を介して受信されてよい。誘導の入力のための要求は、１つまたは複数のウェイポイントおよび／または関連する方向を介するなどで、状況を通してインクリメント誘導のための要求を含んでよい。
動作６０４で、プロセスは、１つまたは複数の条件が満たされているかを決定することを含んでよい。条件は、閾値を下回る車両速度、利用可能なセンサーの閾値の数および／またはセンサーのタイプ、ネットワーク接続に関連付けられる閾値のバンド幅、ネットワーク接続に関連付けられる閾値待ち時間、車両の調子に関連する故障がないなどを含んでよい。
少なくとも１つの条件が満たされない（動作６０４で「Ｎｏ」）という決定に応答して、プロセスは、動作６０６で、サービスコンピューティングデバイスのグラフィカルユーザーインターフェース（ＧＵＩ）の入力機能を無効にすることを含んでよい。ある例示において、少なくとも１つの条件が満たされないという決定に応答して、サービスコンピューティングデバイスは、ＧＵＩを起動しないことがある。
条件が満たされているという決定に応答して（動作６０４で「Ｙｅｓ」）、プロセスは、動作６０８で、ウェイポイントに対応する入力を受信することを含んでよい。入力は、サービスコンピューティングデバイスに関連付けられる入出力デバイスを介するなどで、ＧＵＩに関連付けられるオペレーターから受信されてよい。さまざまな例示において、入力は、ウェイポイントの位置および／または方向（例えば、ヨー）を含んでよい。このような例示において、ウェイポイントの位置および／または方向は、誘導モードで動作している間に、車両が通過することとなる位置、およびその位置で車両が向くこととなる方向を表現することができる。
さまざまな例示において、サービスコンピューティングデバイスは、共に関連付けられるウェイポイントおよび／または方向を検証することができる。ウェイポイントの検証は、共に関連付けられるウェイポイントおよび／または方向が、車両動作に関連付けられる安全プロトコルおよび／またはリモート誘導プロトコルを満たしているという検証を含んでよい。安全プロトコルは、道路上のウェイポイントの位置（例えば、道路の端または運転可能な平面から車両の幅の１／２よりも短くない）、初期位置の閾値距離内または別のウェイポイントの閾値距離内、動的および／または静的オブジェクトから離れて維持するための車両に対する１つまたは複数の閾値距離、最大ヨーレート、および／または環境を通して車両の安全なナビゲーションに関連付けられる他の基準などの車両の安全な動作に関連付けられる１つまたは複数の規則を含んでよい。さらなる、または代替の例示において、このような検証は、車両が１つのウェイポイントから別のウェイポイントへの移行を実行することが可能であることを確実にするための運動学および／または動力学チェックを含んでよい。
動作６１０で、プロセスは、ウェイポイントに関連付けられるデータを車両コンピューティングシステムに送信することを含んでよい。ある例示において、データは、関連するウェイポイントおよび／または方向の検証に基づいて、車両コンピューティングシステムに送信されてよい。ある例示において、データは、１つまたは複数のウェイポイントに関連付けられる位置および／または方向を含んでよい。さまざまな例示において、車両コンピューティングシステムは、ウェイポイントに部分的に基づいてウェイポイントを検証することができ、車両を制御することができる。
動作６１２で、プロセスは、状況ナビゲーションが完了したかを決定することを含んでよい。さまざまな例示において、サービスコンピューティングデバイスは、状況に関連付けられる最終ウェイポイントの伝送に基づいて、状況が完了したという決定をしてよい。ある例示において、サービスコンピューティングデバイスは、状況に関連付けられる障害物を少なくとも閾値距離（例えば、５フィート、１０フィート、３メートルなど）を通過したウェイポイントに基づいて、最終ウェイポイントを識別してよい。
状況ナビゲーションが完了していない（動作６１２で「Ｎｏ」）という決定に応答して、サービスコンピューティングデバイスは、動作６０８に戻ることができ、ウェイポイントに対応する入力を受信することができる。さまざまな例示において、サービスコンピューティングデバイスは、ウェイポイントに対応する入力を継続して受信することができ、状況ナビゲーションが完了するまで、ウェイポイントに関連付けられるデータを車両コンピューティングシステムに送信することができる。
状況ナビゲーションが完了したという決定に応答して（動作６１２で「Ｙｅｓ」）、プロセスは、動作６１４で、完了信号を車両コンピューティングシステムに送信することを含むことができる。ある例示において、完了信号は、自律的に進行するための命令を含んでよい。完了信号を受信することに応答して、車両コンピューティングシステムは、車両を自律的に制御するために通常のプランナーコンポーネントの機能を再開してよい。
さまざまな例示において、サービスコンピューティングデバイスは、状況のため、車両に関連付けられる最初のルートが遮断されたという決定をしてよい。このような例示において、サービスコンピューティングデバイスは、車両が目的地への最初のルートをたどることがない場合があるという決定をしてよい。ある例示において、サービスコンピューティングデバイスは、更新されたルートを生成してよい。このような例示において、サービスコンピューティングデバイスは、完了信号を送信することの閾値時間（例えば、０．５秒、２秒など）と同時に、またはその範囲内で、更新されたルートを車両コンピューティングデバイスに送信してよい。
図７は、サービスコンピューティングデバイスから受信した誘導の入力に基づいて、車両を制御するための例示的なプロセス７００を図示している。プロセス７００のうちのいくつかまたはすべては、本明細書で説明されるように、図８における１つまたは複数のコンポーネントによって実行されてよい。例えば、プロセス７００のうちの一部またはすべては、車両コンピューティングデバイス８０４（例えば、車両コンピューティングシステム）によって実行されてよい。
動作７０２で、プロセスは、車両のセンサーからセンサーデータを受信することを含んでよい。センサーは、カメラ、モーションディテクター、ライダー、レーダー、飛行時間などを含んでよい。車両コンピューティングデバイスは、知覚コンポーネントを用いることなどによって、車両が動作する環境における１つまたは複数の動的および／または静的オブジェクトを検出および／または分類するように構成されてよい。
さまざまな例示において、車両コンピューティングシステムは、センサーデータを処理することができ、環境において動作している間に、とるべき車両の１つまたは複数のアクションを決定することができる。アクションは、環境において検出された動的および／または静的オブジェクトに基づいて決定されてよい。アクションは、車両に関連付けられる運用プロトコルおよび／または安全プロトコルに基づいてよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなどのような、車両がとることができる、またはとることができないアクションを管理する１つまたは複数の規則を含んでよい。安全プロトコルは、車両の安全な動作に関連付けられる１つまたは複数の規則、検出された動的および／または静的オブジェクトから離れて維持するための車両に対する１つまたは複数の閾値距離、最大ヨーレート、および／または環境を通して車両の安全なナビゲーションに関連付けられる他の基準などの車両の安全な動作に関連付けられる１つまたは複数の規則を含んでよい。ある例示において、車両コンピューティングデバイスは、センサーデータを処理することができ、とるべきアクションを決定することができないことがある。
動作７０４で、プロセスは、センサーデータに基づいて、車両がリモート誘導状況に直面したかを決定することを含んでよい。リモート誘導状況は、障害物、道路の遮断、道路の工事区域、車両の視線を越えたドライブライン（例えば、道路の標高および／または道路の曲がり角のためにセンサーの視覚が損なわれる）などを含んでよい。リモート誘導状況は、車両コンピューティングシステムが実行するためにプログラムされていない状況、および／または運用プロトコルに違反しているように見える状況を含んでよい。
車両がリモート誘導状況（動作７０４で「Ｎｏ」）に直面していないという決定に応答して、プロセスは、動作７０６で、通常のプランナーモードなどで車両を自律的に制御する車両コンピューティングシステムを含むことができる。
車両がリモート誘導状況（動作７０４で「Ｙｅｓ」）に直面したという決定に応答して、プロセスは、動作７０８で、誘導のための要求をサービスコンピューティングデバイスに送信することを含むことができる。さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスとのネットワーク接続を確立することができる。このような例示において、車両コンピューティングシステムは、ネットワーク接続を介して要求を送信することができる。ある例示において、車両におけるオブザーバーは、車両コンピューティングシステムとサービスコンピューティングデバイスとの間のネットワーク接続を手動で確立してよい。ある例示において、車両コンピューティングシステムは、車両がリモート誘導状況に直面したという決定に応答して、ネットワーク接続を自動的に確立することができ、および／または誘導のための要求を送信することができる。
動作７１０で、プロセスは、ウェイポイントに関連付けられるデータを受信することを含むことができる。データは、ウェイポイントに関連付けられる位置および／または方向を含んでよい。
動作７１２で、プロセスは、ウェイポイントが有効であるかを決定することを含むことができる。ウェイポイントの検証は、共に関連付けられるウェイポイントおよび／または方向が、車両動作に関連付けられる安全プロトコル、リモート誘導プロトコル、および／または動力学検証を満たしているという検証を含んでよい。安全プロトコルは、道路上のウェイポイントの位置（例えば、道路の端または運転可能な平面から車両の幅の１／２よりも短くない）、初期位置の閾値距離内または別のウェイポイントの閾値距離内、動的および／または静的オブジェクトから離れて維持するための車両に対する１つまたは複数の閾値距離、最大ヨーレート、および／または環境を通して車両の安全なナビゲーションに関連付けられる他の基準などの車両の安全な動作に関連付けられる１つまたは複数の規則を含んでよい。リモート誘導プロトコルは、リモート誘導モードで動作している間に車両の動きに対する１つまたは複数の限定を含んでよい。リモート誘導プロトコルは、経路の逸脱（例えば、車両の１／２幅、１つの車両の幅などのような障害物を回避するために車両が逸脱し得る２つのウェイポイントとの間の経路からの距離）、静的オブジェクトの検出への応答（例えば、静的オブジェクトを回避して後続のウェイポイントに到着しようとする試み）、動的オブジェクトの検出への応答（例えば、ウェイポイントに対応する経路に入ると予測されるエージェントへの譲歩）、車両として同一の方向に移動する動的オブジェクトの追跡（例えば、ウェイポイントに対応する経路において）、交差点での優先権に対する適切な譲歩（例えば、４方向の停止、信号機、回り道など）、さらなる誘導が受信されない場合など（例えば、別のウェイポイント、ナビゲーション再開の指示など）を含んでよい。動力学検証は、車両コンピューティングシステムが関連する方向で、車両をウェイポイントにナビゲートするために１つまたは複数の軌道を生成し得るという検証を含んでよい。
ウェイポイントおよび／または方向が無効である（動作７１２で「Ｎｏ」）と判断することに応答して、プロセスは、動作７１４で、ウェイポイントを除外することを含むことができる。ある例示において、車両コンピューティングシステムは、メッセージをウェイポイントの除外を示しているサービスコンピューティングデバイスに送信することができる。さまざまな例示において、メッセージは、ウェイポイントが無効であるという決定をするための１つまたは複数の理由（例えば、除外の説明）を含んでよい。
車両がリモート誘導状況（動作７１２で「Ｙｅｓ」）に直面したという決定に応答して、プロセスは、動作７１６で、ウェイポイントに関連付けられるデータに少なくとも部分的に基づいて車両を制御（例えば、ウェイポイントの包含での車両の制御）することを含むことができる。非限定的な例示として、このようなウェイポイント（および／または関連する方向）は、あるウェイポイントから次のウェイポイントへの軌道を計画するための１つまたは複数のコストまたは制御として用いられてよい。車両の制御は、１つまたは複数の信号を車両に関連付けられる１つまたは複数の駆動システムに送信すること、および車両に、ウェイポイントに関連付けられるような位置にホールドさせるか、または異なる位置に移動させることを含んでよく、ウェイポイントに対応する決定された方向に関連付けられるような具体的な方向を向く。
少なくともある例示において、状況を超えない場合、このようなプロセスは、７１０を継続することができ、それによってさらなるウェイポイントが受信され、且つ考慮される。そうでなければ、プロセス７００は、車両を自律的に制御し続けるために７０６を継続することができる。
図８は、本明細書で説明される技術を実装するための例示的なシステムのブロック図である。少なくとも１つの例示において、システム８００は、車両１０２のような車両８０２を含んでよい。
車両８０２は、１つまたは複数の車両コンピューティングデバイス８０４、１つまたは複数のセンサーシステム８０６、１つまたは複数のエミッター８０８、１つまたは複数の通信接続８１０、少なくとも１つの直接接続８１２、および１つまたは複数の駆動システム８１４を含んでよい。
車両コンピューティングデバイス８０４は、１つまたは複数のプロセッサ８１６、および１つまたは複数のプロセッサ８１６と通信可能に結合されたメモリ８１８を含んでよい。図示される例示において、車両８０２は、自律車両であるが、車両８０２は、半自律車両のような任意の他のタイプの車両、または少なくとも画像キャプチャデバイス（例えば、カメラ対応スマートフォン）を有する任意の他のシステムであってよい。図示される例示において、車両コンピューティングデバイス８０４のメモリ８１８は、ローカリゼーションコンポーネント８２０、知覚コンポーネント８２２、プラニングコンポーネント８２４、１つまたは複数のシステムコントローラー８２６、および１つまたは複数のマップ８２８を格納する。説明の目的のためにメモリ３１８に内在するものとして、図８に図示されるが、ローカリゼーションコンポーネント８２０、知覚コンポーネント８２２、プラニングコンポーネント８２４、１つまたは複数のシステムコントローラー８２６、および１つまたは複数のマップ８２８は、さらに、または代替的に、車両８０２にアクセス可能（例えば、車両８０２から離れて、例えば、サービスコンピューティングデバイス８３２のメモリ８３４に格納されるか、またはそうでなければ、それによってアクセス可能）であってよいと企図される。
少なくとも１つの例示において、ローカリゼーションコンポーネント８２０は、車両８０２の位置および／または方向（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定するためにセンサーシステム８０６からのデータを受信する機能を含んでよい。例えば、ローカリゼーションコンポーネント８２０は、マップ８２８からのような環境のマップを含む、および／または要求／受信することができ、マップ内の自律車両の位置および／または方向を継続的に決定することができる。さまざまな例示において、マップ８２８は、マップ上の道路のさまざまな部分に関連付けられる道路セグメント識別（例えば、番号など）を含んでよい。ある例示において、道路セグメント識別は、サービスコンピューティングデバイス８３２によって少なくとも部分的に管理される道路ネットワークに関連付けられてよい。ある例示において、ローカリゼーションコンポーネント８２０は、画像データ、ライダーデータ、レーダーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダーデータなどを受信するためにＳＬＡＭ（同時の位置特定とマッピング）、ＣＬＡＭＳ（同時の較正と位置特定とマッピング）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用することができ、自律車両の位置を正確に決定する。ある例示において、ローカリゼーションコンポーネント８２０は、本明細書で説明されるように、車両８０２のさまざまなコンポーネントにデータを提供することができ、オブジェクトが車両８０２に関連するかを決定するための自律車両の初期位置を決定する。
ある例示において、知覚コンポーネント８２２は、オブジェクト検出、セグメンテーション、および／または分類を実行する機能を含んでよい。ある例示において、知覚コンポーネント８２２は、車両８０２に近接したオブジェクト（エンティティ）の存在、および／またはオブジェクトタイプ（例えば、自動車、歩行者、サイクリスト、動物、建造物、樹木、道路表面、縁石、歩道、未知のものなど）としてのオブジェクトの分類を示す処理されたセンサーデータを提供することができる。ある例示において、知覚コンポーネント８２２は、車両８０２に近接する静止エンティティの存在および／またはタイプとしての静止エンティティの分類（例えば、建物、樹木、路面、縁石、歩道、未知のものなど）を提供することができる。さらなる例示または代替の例示において、知覚コンポーネント８２２は、検出されたオブジェクト（例えば、追跡されるオブジェクト）および／またはオブジェクトが配置される環境に関連付けられる１つまたは複数の特徴を示す処理されたセンサーデータを提供することができる。ある例示において、オブジェクトに関連付けられる特徴は、ｘ位置（グローバルおよび／またはローカルの位置）、ｙ位置（グローバルおよび／またはローカルの位置）、ｚ位置（グローバルおよび／またはローカルの位置）、方向（例えば、ロール、ピッチ、ヨー）、オブジェクトのタイプ（例えば、分類）、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲（サイズ）などを含んでよいが、これらに限定されない。環境に関連付けられる特徴は、環境における別のオブジェクトの存在、環境における別のオブジェクトの状態、環境に関連付けられる区域（例えば、スクールゾーン、ビジネス地区など）、時刻、曜日、季節、気象条件、明暗の表示などを含んでよいが、これらに限定されない。
一般に、プラニングコンポーネント８２４は、車両８０２に対して環境を通して通過するためにたどる計画されたルート（例えば、初期経路、計画された経路など）のような経路を決定することができる。例えば、プランニングコンポーネント６２４は、さまざまなルートおよび軌道、ならびにさまざまな詳細のレベルを決定することができる。例えば、プランニングコンポーネント８２４は、第１の位置（例えば、現在位置）から第２の位置（例えば、目標位置）まで移動するルートを決定することができる。ある例示において、プランニングコンポーネント８２４は、第１の位置から第２の位置までのルートの少なくとも一部に沿って自律車両を誘導するための命令を生成することができる。
さまざまな例示において、プランニングコンポーネント８２４は、１つまたは複数のサービスコンピューティングデバイス８３２のリモート誘導プラットフォーム８３０からリモート誘導モードで動作する車両８０２に対するウェイポイントおよび／または方向に関連付けられるデータを受信するように構成されてよい。ある例示において、プラニングコンポーネント８２４は、ウェイポイントおよび／または方向を検証するように構成されてよい。少なくとも１つの例示において、プラニングコンポーネント８２４は、自律車両８０２を、サービスコンピューティングデバイス８３２から受信した第１のウェイポイントからサービスコンピューティングデバイス８３２から受信した第２のウェイポイントにどのように誘導するかを決定することができる。ある例示において、命令は、軌道であってよく、または軌道の一部であってもよい。ある例示において、多様な軌道は、後退水平技法に従って（例えば、技術的な許容範囲内で）実質的に同時に生成されてよく、ここで、多様な軌道のうちの１つが、車両８０２に対してナビゲートするために選択される。
ある例示において、プラニングコンポーネント８２４は、予測コンポーネントを含んでよく、環境におけるオブジェクト（例えば、オブジェクト）の予測される軌道を生成する。例えば、予測コンポーネントは、環境における検出された動的オブジェクトに対して１つまたは複数の予測軌道を生成してよい。ある例示において、予測される軌道は、検出されたオブジェクトが現在の位置から（例えば、知覚の時間で）および／または進行方向に基づいて移動し得る任意の数の潜在的な経路を含んでよい。ある例示において、予測される軌道は、オブジェクトがある時間期間にわたって移動することとなる距離および方向を表現してよい。ある例示において、予測コンポーネントは、オブジェクトのトレースを測定することができ、観察および予測される動作に基づいてオブジェクトに対する軌道を生成することができる。さまざまな例示において、予測コンポーネントは、１つまたは複数の機械学習技術、ヒートマップ、時相論理、および／または木探索法に基づいて予測される軌道を決定することができる。
少なくとも１つの例示において、車両コンピューティングデバイス８０４は、１つまたは複数のシステムコントローラー８２６を含んでよく、これは、ステアリング、推進、制動、安全性、エミッター、通信、および車両８０２の他のシステムを制御するように構成されてよい。システムコントローラー８２６は、駆動システム８１４および／または車両８０２の他のコンポーネントの対応するシステムと通信することができ、および／または制御することができる。
メモリ８１８は、環境内をナビゲートするために車両８０２によって用いられ得る１つまたは複数のマップ８２８をさらに含んでよい。この説明の目的のために、マップは、（交差点のような）トポロジー、通り、山脈、道路、地形、および一般的な環境のような環境などだが、これらに限定されない環境についての情報を提供することが可能である２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造であってよい。ある例示において、マップは、テクスチャー情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ライダー情報、レーダー情報など）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられるポリゴン））、反射性情報（例えば、鏡面性情報、再帰反射性情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含んでよいが、これらには限定されない。ある例示において、マップは、環境の３次元メッシュを含んでよい。ある例示において、車両８０２は、マップ８２８に少なくとも部分的に基づいて制御されてよい。つまり、マップ８２８は、ローカリゼーションコンポーネント８２０、知覚コンポーネント８２２、および／またはプラニングコンポーネント８２４に関連して用いられることができ、車両８０２の位置を決定して、環境におけるオブジェクトを検出して、ルートを生成して、アクションおよび／または軌道を決定して、環境内をナビゲートする。さまざまな例示において、マップ８２８は、道路網を含んでよい。道路網は、１つまたは複数の明確な道路セグメントを含んでよい。
ある例示において、１つまたは複数のマップ８２８は、１つまたは複数のサービスコンピューティングデバイス８３２に格納されてよい。ある例示において、多様なマップ３２８は、例えば、特徴（例えば、エンティティのタイプ、時刻、曜日、その年の季節など）に基づいて格納されてよい。多様なマップ８２８を格納することは、同様のメモリ要件を有してよいが、マップにおけるデータがアクセスされ得る速度を増加してよい。
理解されることが可能であるように、本明細書で説明されるコンポーネント（例えば、ローカリゼーションコンポーネント８２０、知覚コンポーネント８２２、プラニングコンポーネント８２４、１つまたは複数のシステムコントローラー８２６、および１つまたは複数のマップ８２８は、説明の目的のために分割されるように説明される。しかしながら、さまざまなコンポーネントによって実行される動作は、任意の他のコンポーネントにおいて組み合わされてよく、または実行されてもよい。
ある例示において、本明細書で説明されるコンポーネントのいくつかまたはすべての態様は、任意のモデル、技術、および／または機械学習技術を含んでよい。例えば、ある例示において、メモリ８１８（および以下で説明されるメモリ８３４）におけるコンポーネントは、ニューラルネットワークとして実装されてよい。
本明細書で説明されるように、例示的なニューラルネットワークは、入力データが連続して接続されたレイヤーを通して通過し、出力を生じさせるための生物学に着想を得た技術である。ニューラルネットワークにおけるそれぞれのレイヤーは、また、別のニューラルネットワークを含んでよく、または（畳み込みか否かには関係なく）任意の数のレイヤーを含んでもよい。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、機械学習を利用してよく、これは、学習したパラメーターに基づいて出力が生成される技術のような広範囲のクラスを参照してよい。
ニューラルネットワークのコンテキストにおいて説明されるが、任意のタイプの機械学習が本開示と整合するように用いられてよい。例えば、機械学習技術は、回帰技術（例えば、通常最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定される散布図の平滑化（ＬＯＥＳＳ）、インスタンスベースの技術（例えば、リッジ回帰、最小絶対値縮小および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角回帰（ＬＡＲＳ）、決定木技術（例えば、分類および回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木）、ベイジアン技術（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存性推定器（ＡＯＤＥ）、ベイジアン信頼度ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリング技術（例えば、ｋ平均法、ｋメジアン法、期待値最大化（ＥＭ）、階層的クラスタリング）、関連規則学習技術（例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習技術（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信頼ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層型オートエンコーダー）、次元削減技術（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡法、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブル技術（例えば、ブースティング、ブートストラップ集約（バギング）、エイダブースト、階層型一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師付き学習、教師なし学習、半教師付き学習などを含んでよいが、これらに限定されない。アーキテクチャのさらなる例示は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのようなニューラルネットワークを含む。
少なくとも１つの例示において、センサーシステム８０６は、ライダーセンサー、レーダーセンサー、超音波トランスデューサー、ソナーセンサー、位置センサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイク、ホイールエンコーダー、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）、などを含んでよい。センサー８０６は、これらまたは他のタイプのセンサーのそれぞれの多様な例示を含んでよい。例えば、ライダーセンサーは、車両８０２の角部、前部、後部、側部、および／または上部に位置する個々のライダーセンサーを含んでよい。別の例示として、カメラセンサーは、車両８０２の外部および／または内部についてのさまざまな位置に配置される多様なカメラを含んでよい。センサー８０６は、入力を車両コンピューティングデバイス８０４に提供してよい。
車両８０２は、また、光および／または音を放出するための１つまたは複数のエミッター８０８を含んでよい。エミッター８０８は、内部オーディオおよび視覚エミッターを含んでよく、車両８０２の乗員と通信する。例示のためであり、限定することなく、内部エミッターは、スピーカー、照明、標識、ディスプレイスクリーン、タッチスクリーン、触覚エミッター（例えば、振動および／または力フィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、座席ポジショナー、ヘッドレストポジショナーなど）などを含んでよい。エミッター８０８は、また、外部エミッターを含んでよい。例示のためであり、限定することなく、外部エミッターは、移動の方向の合図を送るための照明、もしくは車両のアクションの他のインジケーター（例えば、インジケーター照明、標識、照明アレイなど）、ならびに歩行者または音響ビームステアリング技術を含む１つまたは複数の近隣の他の車両と音響で通信するための１つまたは複数のオーディオエミッター（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含んでよい。
車両８０２および／またはサービスコンピューティングデバイス８３２は、また、車両８０２とサービスコンピューティングデバイス８３２ならびに／または車両８０２および／もしくは駆動システム８１４上の他のローカルコンピューティングデバイスとの間の通信を有効にする１つまたは複数の通信接続８１０を含んでよい。また、通信接続８１０は、車両８０２が他の近隣のコンピューティングデバイス（例えば、他の近隣の車両など）と通信することを可能とすることができる。
ネットワークインターフェース８１０は、車両コンピューティングデバイス８０４をネットワーク８３６のような別のコンピューティングデバイスまたはネットワークに接続するための物理的および／または論理的インターフェースを含んでよい。例えば、通信接続８１０は、ＩＥＥＥ８０２．１１規格によって定義される周波数であり、ブルートゥースのような短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４ＧＬＴＥ、５Ｇなど）などを介するＷｉ－Ｆｉベースの通信、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを有効にする任意の適切な有線もしくは無線通信プロトコルを有効にすることが可能である。
少なくとも１つの例示において、車両８０２は、１つまたは複数の駆動システム８１４を含んでよい。ある例示において、車両８０２は、１つの駆動システム８１４を有してよい。少なくとも１つの例示において、車両８０２が多様な駆動システム８１４を有する場合、個々の駆動システム８１４は、車両８０２の両端（例えば、前部および後部など）に配置されてよい。少なくとも１つの例示において、駆動システム８１４は、１つまたは複数のセンサーシステムを含んでよく、駆動システム８１４および／または車両８０２の周囲の状態を検出する。例示の目的であり、限定ではなく、センサーシステムは、駆動システムのホイールの回転を感知するための１つまたは複数のホイールエンコーダー（例えば、ロータリーエンコーダー）、駆動システムの方向および加速度を測定するための慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサー、駆動システムの周囲の状態におけるオブジェクトを音響的に検出するための超音波センサー、ライダーセンサー、レーダーセンサーなどを含んでよい。ホイールエンコーダーのようなあるセンサーは、駆動システム８１４に一意であってよい。ある場合において、駆動システム８１４上のセンサーシステムは、車両８０２の対応するシステム（例えば、センサーシステム８０６）と重複してよく、またはそれを補足してもよい。
駆動システム８１４は、高電圧バッテリー、車両を推進させるためのモーター、他の車両システムによる使用のためにバッテリーからの直流を交流へと変換するためのインバーター、ステアリングモーターおよびステアリングラックを含むステアリングシステム（これは電動式とすることが可能である）、油圧または電動アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するために制動力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすためのヘッド／テールライトのような照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーターのような他の電気コンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む車両システムの多くを含んでよい。さらに、駆動システム８１４は、センサーシステムからデータを受信することができ、前処理をすることができるさまざまな車両システムの動作を制御するために駆動システムコントローラーを含んでよい。ある例示において、駆動システムコントローラーは、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサと通信可能に結合されたメモリを含んでよい。メモリは、１つまたは複数のシステムを格納することができ、駆動システム８１４のさまざまな機能を実行する。さらに、駆動システム８１４は、また、それぞれの駆動システムによって、１つまたは複数の他のローカルコンピューティングデバイスまたはリモートコンピューティングデバイスとの通信を有効にする１つまたは複数の通信接続部含んでよい。
少なくとも１つの例示において、直接接続８１２は、１つまたは複数の駆動システム８１４を車両８０２の本体と結合するための物理的インターフェースを提供してよい。例えば、直接接続８１２は、駆動システム８１４と車両との間のエネルギー、流体、空気、データなどの転送を可能としてよい。ある例示において、直接接続８１２は、駆動システム８１４を車両８０２の本体にさらにリリース可能に固定することができる。
少なくとも１つの例示において、ローカリゼーションコンポーネント８２０、知覚コンポーネント８２２、プラニングコンポーネント８２４、１つまたは複数のシステムコントローラー８２６、および１つまたは複数のマップ８２８は、上記のように、センサーデータを処理することができ、１つまたは複数のネットワーク８３６にわたって、それらのそれぞれ出力をサービスコンピューティングデバイス８３２に送信することができる。少なくとも１つの例示において、ローカリゼーションコンポーネント８２０、知覚コンポーネント８２２、プラニングコンポーネント８２４、１つまたは複数のシステムコントローラー８２６、および１つまたは複数のマップ８２８は、所定の時間期間が経過した後で、ほぼリアルタイムなどで、特定の頻度で、それぞれの出力をサービスコンピューティングデバイス８３２に送信することができる。
ある例示において、車両８０２は、ネットワーク８３６を介してセンサーデータをサービスコンピューティングデバイス８３２に送信することができる。ある例示において、車両８０２は、ネットワーク６３６を介してサービスコンピューティングデバイス８３２からセンサーデータを受信することができる。センサーデータは、生のセンサーデータおよび／または処理されたセンサーデータおよび／またはセンサーデータの表現を含んでよい。ある例示において、（生または処理された）センサーデータは、１つまたは複数のログファイルとして送信および／または受信されてよい。
サービスコンピューティングデバイス８３２は、１つまたは複数のプロセッサ８４２、およびグラフィカルユーザーインターフェース８３８を有するリモート誘導コンポーネント８３０を格納するメモリ８３４を含んでよい。グラフィカルユーザーインターフェース８３８は、上記のような車両８０２にリモート誘導を提供するための１つまたは複数のウェイポイントおよび／または方向を表現するオペレーターからの入力を受信するように構成されてよい。入力は、１つまたは複数の入出力デバイス８４０を介して受信してよい。入出力デバイス８４０は、キーボード、マウス、タッチスクリーンディスプレイ、触覚デバイス、マイク、カメラ、および／またはデータをサービスコンピューティングデバイス８３２に／から入力および／または出力するように構成される任意の他のデバイスのうちの１つまたは複数を含んでよい。
車両８０２のプロセッサ８１６およびサービスコンピューティングデバイス８３２のプロセッサ８４２は、本明細書で説明されるように、データを処理して、動作を実行するための命令を実行することが可能である任意の適切なプロセッサであってよい。例示のためであり、限定することなく、プロセッサ８１６および８４２は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または、電子データを処理して、その電子データをレジスタおよび／またはメモリに格納され得る他の電子データへと変換する任意の他のデバイスまたはデバイスの一部を含んでよい。ある例示において、集積回路（例えば、ＡＳＩＣなど）ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスは、また、それらが符号化された命令を実装するように構成される限り、プロセッサとみなされてよい。
メモリ８１８および８３４は、非一時的なコンピューター可読媒体の例示である。メモリ８１８および８３４は、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納してよく、本明細書で説明される方法およびさまざまなシステムに起因する機能を実装する。さまざまな実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納することが可能である任意の他のタイプのメモリのような適切なメモリ技術を用いて実装されてよい。本明細書で説明される、アーキテクチャ、システム、および個々のエレメントは、多くの他の論理的、プログラム的、および物理的なコンポーネントを含んでよく、それらのうちの添付図面に示されるものは、単に本明細書での説明に関連する例示に過ぎない。
ある例示において、メモリ８１８および８３４は、少なくとも作業メモリおよび記憶メモリを含んでよい。例えば、作業メモリは、プロセッサ８１６および８４２によって動作されるデータを格納するために用いられる制限された容量の高速メモリ（例えば、キャッシュメモリ）であってよい。ある例示において、メモリ８１８および８３４は、データの長期記憶に使用される比較的大容量の低速メモリであり得る記憶メモリを含んでよい。ある例示において、プロセッサ８１６および８４２は、本明細書で説明されるように、記憶メモリに格納されているデータを直接動作させることが可能ではなく、データは、データに基づいて動作を実行させるために作業メモリへとロードされる必要がある場合がある。
（例示的な条項）
Ａ：システムは、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサによって実行された場合に、プロセッサ実行可能命令を格納するメモリを備え、システムに、車両に関連付けられる車両コンピューティングシステムから環境における障害物の周りをナビゲートすることに対して誘導のための要求を受信すること、車両の１つまたは複数のセンサーに関連付けられるセンサーデータを受信すること、リモート誘導を提供するための条件が満たされているという決定をすること、ディスプレイに誘導システムに関連付けられるユーザーインターフェース上に車両および障害物の表現を出力させるように構成される信号を生成して、表現は、少なくとも部分的にセンサーデータに基づいており、ユーザーインターフェースを介して、第１の位置および第１の方向に関連付けられる第１のウェイポイントを含む第１の入力を受信すること、ここで、第１の方向は、車両が第１のウェイポイントで向いている第１の方向を含み、第１のウェイポイントを車両コンピューティングシステムに伝送すること、ユーザーインターフェースを介して、第２の位置および第２の方向に関連付けられる第２のウェイポイントを含む第２の入力を受信すること、ここで、第２の方向は、車両が第２のウェイポイントを向く第２の方向を含み、第２のウェイポイントを車両コンピューティングシステムに伝送すること、誘導を提供するための終了条件が満たされているという決定をすること、および車両を自律的に制御するために命令を車両コンピューティングシステムに伝送することを構成させる。
Ａ：システムは、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサによって実行された場合に、プロセッサ実行可能命令を格納するメモリを備え、システムに、車両に関連付けられる車両コンピューティングシステムから環境における障害物の周りをナビゲートすることに対して誘導のための要求を受信すること、車両の１つまたは複数のセンサーに関連付けられるセンサーデータを受信すること、リモート誘導を提供するための条件が満たされているという決定をすること、ディスプレイに誘導システムに関連付けられるユーザーインターフェース上に車両および障害物の表現を出力させるように構成される信号を生成して、表現は、少なくとも部分的にセンサーデータに基づいており、ユーザーインターフェースを介して、第１の位置および第１の方向に関連付けられる第１のウェイポイントを含む第１の入力を受信すること、ここで、第１の方向は、車両が第１のウェイポイントで向いている第１の方向を含み、第１のウェイポイントを車両コンピューティングシステムに伝送すること、ユーザーインターフェースを介して、第２の位置および第２の方向に関連付けられる第２のウェイポイントを含む第２の入力を受信すること、ここで、第２の方向は、車両が第２のウェイポイントを向く第２の方向を含み、第２のウェイポイントを車両コンピューティングシステムに伝送すること、誘導を提供するための終了条件が満たされているという決定をすること、および車両を自律的に制御するために命令を車両コンピューティングシステムに伝送することを構成させる。
Ｂ：段落Ａで説明されるようなシステムであって、ここで、条件は、車両コンピューティングシステムとの接続に対応する待ち時間が閾値待ち時間を下回っていること、車両コンピューティングシステムとの接続に対応するバンド幅が閾値バンド幅を下回っていること、車両の速度が閾値値速度を下回っていること、センサーデータを提供するための利用可能なセンサーの数が閾値の数を超えていること、または車両が故障に関連する調子を含まないという決定のうちの少なくとも１つを含む。
Ｃ：段落ＡまたはＢのいずれか１つで説明されるシステムであって、ここで、命令は、システムにさらに、第１の位置、第１の方向、第２の位置、および第２の方向が車両の動作に関連付けられる安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも１つを満たすという決定をすることであって、リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる１つまたは複数の制限を含むこと、および安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも１つを少なくとも部分的に満たすことに基づいて、第１の位置および第１の方向を検証することを構成する。
Ｄ：段落ＡないしＣのいずれか１つで説明されるシステムであって、誘導を提供するための終了条件が満たされているという決定をすることは、第２のウェイポイントがルートの閾値距離内にあるという決定をすること、および少なくとも部分的に閾値距離に基づいて、障害物が車両の後ろにあるという決定をすることを含む。
Ｅ：段落ＡないしＤのいずれか１つで説明されるシステムであって、命令は、システムに、車両が目的地までのルートに沿って進行することができないという決定をすること、目的地への車両誘導のための更新されたルートを生成すること、および更新されたルートを車両コンピューティングシステムに送信することを構成させ、ここで、命令は、自律的に進行させるために更新されたルートを含む。
Ｆ：方法は、車両に関連付けられる車両コンピューティングデバイスから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信するステップ、受信データとして、および車両コンピューティングデバイスからセンサーデータまたはセンサーデータに少なくとも部分的に基づいて受信するステップ、誘導システムに関連付けられるユーザーインターフェースを介して、第１のウェイポイントに対応する第１の入力を受信するステップであって、第１の入力は、受信されたデータに少なくとも部分的に基づいているステップ、第１のウェイポイントに関連付けられる第１のデータを車両コンピューティングデバイスに送信するステップ、および車両に少なくとも部分的に第１のウェイポイントに基づいて制御させるステップを備える。
Ｇ：段落Ｆで説明される方法であって、リモート誘導を提供するための条件が満たされているという決定をするステップをさらに備え、条件は、車両コンピューティングデバイスとの接続に対応する待ち時間が閾値待ち時間を下回っていること、車両コンピューティングデバイスとの接続に対応するバンド幅が閾値バンド幅を下回っていること、車両の速度が閾値値速度を下回っていること、センサーデータを提供するための利用可能なセンサーの数が閾値の数を超えていること、または車両が故障に関連する調子を含まないという決定のうちの少なくとも１つを含む。
Ｈ：段落ＦまたはＧのいずれかで説明される方法であって、リモート誘導を提供するための条件が満たされていると第１の時間で決定するステップ、少なくとも部分的に満たされている条件に基づいて、ユーザーインターフェースへと入力を有効にするステップ、リモート誘導を提供するための条件が満たされていないと第２の時間で決定するステップ、および少なくとも部分的に満たされていない条件に基づいて、ユーザーインターフェースへと入力を無効にするステップをさらに備える。
Ｉ：段落ＦないしＨのいずれか１つで説明される方法であって、第１のウェイポイントが車両の動作に関連付けられる安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも１つを満たすという決定をするステップであって、リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる１つまたは複数の制限を含むステップ、および安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも１つを満たすステップに少なくとも部分的に基づいて、第１のウェイポイントを検証するステップをさらに備え、ここで、第１のデータを送信するステップは、少なくとも部分的に第１のウェイポイントを検証するステップに基づいている。
Ｊ：段落ＦないしＩのいずれか１つで説明される方法であって、第２のウェイポイントに対応する第２の入力を受信するステップ、第２のウェイポイントに関連付けられる第２のデータを車両コンピューティングデバイスに送信するステップ、および車両の動作に対応する安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも１つの少なくとも部分的に基づいて、車両から第２のウェイポイントの除外を示す除外メッセージを受信するステップをさらに備える。
Ｋ：段落ＦないしＪのいずれか１つで説明される方法であって、ここで、第１の入力は、第１のウェイポイントに関連付けられる第１の位置であって、第１の位置は、ユーザーインターフェースの選択可能な領域に対応する位置、および車両が第１のウェイポイントで向くこととなる第１の方向に対応する第１の方向を含む。
Ｌ：段落ＦないしＫのいずれか１つで説明される方法であって、ホールド信号を車両に送信するステップであって、ホールド信号は、車両コンピューティングデバイスにある位置でホールドさせるステップ、およびリリース信号を車両に送信するステップをさらに備え、リリース信号は、車両を第１のウェイポイントに制御するために車両コンピューティングデバイスへの命令を含む。
Ｍ：段落ＦないしＬのいずれか１つで説明される方法であって、第２のウェイポイントに対応する第２の入力を受信するステップ、第２のウェイポイントに関連付けられる第２のデータを車両コンピューティングデバイスに送信するステップ、第２のウェイポイントが障害物に関連付けられる終了条件に対応するという決定をするステップ、および第２のウェイポイントに関連付けられる動作を完了した後で、車両を自律的に制御するために命令を車両コンピューティングデバイスに送信するステップを備える。
Ｎ：段落ＦないしＭのいずれか１つで説明される方法であって、第２のウェイポイントに対応する第２の入力を受信するステップ、第２のウェイポイントに関連付けられる第２のデータを車両コンピューティングデバイスに送信するステップ、ユーザーインターフェースを介して、第１のウェイポイントまたは第２のウェイポイントのうちの少なくとも１つを編集するためにオペレーターの意図を示す第３の入力を受信するステップ、車両が第１のウェイポイントに移行しているという決定をするステップ、第１のウェイポイントへの第１の編集を無効にするステップ、第２のウェイポイントの少なくとも１つが車両コンピューティングデバイスによって受け入れられていないか、または車両が第１のウェイポイントを越えて前進させていないという決定をするステップ、第２のウェイポイントへの第２の編集を有効にするステップ、および第２のウェイポイントを削除または変更のうちの少なくとも１つをするために命令を車両コンピューティングデバイスに送信するステップをさらに備える。
Ｏ：システムまたはデバイスは、プロセッサ、および実行された場合に、プロセッサに、段落ＦないしＮのいずれか１つで説明される方法を実行させる命令を格納する非一時的なコンピューター可読媒体を備える。
Ｐ：システムまたはデバイスは、処理のための手段、および処理のための手段に結合された格納のための手段を備え、格納のための手段は、段落ＦないしＮのいずれか１つで説明される方法を実行するために１つまたは複数のデバイスを構成する命令を含む。
Ｑ：非一時的なコンピューター可読媒体は、実行された場合に、１つまたは複数のプロセッサに、車両に関連付けられる車両コンピューティングデバイスから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信すること、受信データとして、および車両コンピューティングデバイスからセンサーデータまたはセンサーデータに少なくとも部分的に基づいて受信すること、誘導システムに関連付けられるユーザーインターフェースを介して、第１のウェイポイントに対応する第１の入力を受信することであって、第１の入力は、受信されたデータに少なくとも部分的に基づいていること、第１のウェイポイントに関連付けられる第１のデータを車両コンピューティングデバイスに送信すること、および車両に少なくとも部分的に第１のウェイポイントに基づいて制御させることを含む動作を実行させる命令を格納する。
Ｒ：段落Ｑで説明される非一時的なコンピューター可読媒体であって、動作は、ユーザーインターフェースを介して、車両が停止するためのコマンドを示す第２の入力を受信すること、および現在の位置に関連付けられる位置で停止するために命令を車両コンピューティングデバイスに送信することをさらに含む。
Ｓ：段落ＱまたはＲのいずれかで説明される非一時的なコンピューター可読媒体であって、動作は、車両がある位置で停止されることを決定すること、および停止位置から車両をリリースするために命令を送信することをさらに含み、ここで、車両は、命令に少なくとも部分的に基づいて前進することができる。
Ｔ：段落ＱないしＳのいずれか１つで説明される非一時的なコンピューター可読媒体であって、動作は、第２のウェイポイントに対応する第２の入力を受信すること、第２のウェイポイントに関連付けられる第２のデータを車両コンピューティングデバイスに送信すること、ユーザーインターフェースを介して、第１のウェイポイントまたは第２のウェイポイントのうちの少なくとも１つを編集するためにオペレーターの意図を示す第３の入力を受信すること、車両が第１のウェイポイントに移行しているという決定をすること、第１のウェイポイントへの第１の編集を無効にすること、第２のウェイポイントの少なくとも１つが車両コンピューティングデバイスによって受け入れられていないか、または車両が第１のウェイポイントを越えて前進させていないという決定をすること、第２のウェイポイントへの第２の編集を有効にすること、および第２のウェイポイントを削除または変更のうちの少なくとも１つをするために命令を車両コンピューティングデバイスに送信することをさらに含む。
Ｕ：段落ＱないしＴのいずれか１つで説明される非一時的なコンピューター可読媒体であって、動作は、車両がある位置から進行することができないことの表示を受信すること、ユーザーインターフェースを介して、車両が位置から進行することができないことの表示を提示すること、ユーザーインターフェースを介して、第２のウェイポイントに対応する第２の入力を受信すること、および第２のウェイポイントを車両コンピューティングシステムに伝送することをさらに含む。
Ｖ：段落ＱないしＵのいずれか１つで説明される非一時的なコンピューター可読媒体であって、動作は、第１のウェイポイントが車両制御に関連付けられる運動学チェックを満たすことを決定すること、および運動学チェックを満たすことに少なくとも部分的に基づいて第１のウェイポイントを検証することをさらに含み、ここで、車両が制御されるためにさせることは、第１のウェイポイントを検証することに少なくとも部分的に基づいている。
Ｗ：車両は、センサー、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサによって実行された場合に、車両に、車両が環境を通過して目的地に到達するための経路を決定すること、センサーからセンサーデータを受信すること、少なくとも部分的にセンサーデータに基づいて、車両が経路に沿って通過するための第１の軌道を生成すること、少なくとも部分的に第１の軌道に基づいて、車両が少なくとも部分的に１つまたは複数の障害物または制御ポリシーに基づいて経路に沿って継続することができないという決定をすること、誘導データのための要求をサービスコンピューティングデバイスに伝送すること、サービスコンピューティングデバイスから、位置および方向に関連付けられるウェイポイントを含むウェイポイントデータを受信すること、安全プロトコルに少なくとも部分的に基づいてウェイポイントを検証すること、少なくとも部分的にウェイポイントの検証に基づいて、ウェイポイントに関連付けられる初期位置および初期車両の方向から車両をナビゲートするための車両に対する第２の軌道を決定すること、および少なくとも部分的に第２の軌道に基づいて車両を制御することをするように構成するプロセッサ実行可能命令を格納するメモリを備える。
Ｘ：段落Ｗで説明される車両であって、ここで、命令は、さらに、１つまたは複数のプロセッサに、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信すること、経路に沿ってウェイポイントから車両を制御するための第３の軌道を決定すること、および少なくとも部分的に第３の軌道に基づいて車両を制御することをプログラムする。
Ｙ：段落ＷまたはＸのいずれか１つで説明される車両であって、ここで、ウェイポイントデータは、第１の位置および第１の方向に関連付けられる第１のウェイポイントを含む第１のウェイポイントデータを含み、ここで、命令は、車両に、サービスコンピューティングデバイスから第２の位置および第２の方向に関連付けられる第２のウェイポイントを含む第２のウェイポイントデータを受信すること、安全プロトコルに少なくとも部分的に基づいて第２のウェイポイントを検証すること、少なくとも部分的に第２のウェイポイントの検証に基づいて、第１のウェイポイントから第２のウェイポイントに車両をナビゲートするための車両に対する第３の軌道を決定すること、および少なくとも部分的に第３の軌道に基づいて、第１のウェイポイントから第２のウェイポイントまで車両を制御することをさらに構成させ、ここで、車両は、前進の動きを停止することなく、第１のウェイポイントから第２のウェイポイントまで制御される。
Ｚ：段落ＷないしＺのいずれか１つで説明される車両であって、ここで、命令は、車両に、少なくとも部分的にセンサーデータに基づいて環境における動的オブジェクトを検出すること、オブジェクトに関連付けられるオブジェクトの軌道を決定すること、オブジェクトの軌道が車両に対する軌道上を移動する車両の閾値距離内を通過することとなるオブジェクトを決定すること、および少なくとも部分的にオブジェクトに基づいて車両を制御することをさらに構成させる。
ＡＡ：段落ＡないしＤのいずれか１つで説明される車両であって、命令は、車両に、第２の位置および第２の車両の方向に関連付けられる第２のウェイポイントデータを受信すること、第２のウェイポイントまたは第２の車両の方向のうちの少なくとも１つが安全プロトコルに違反しているという決定をすること、および車両に第１のウェイポイントで停止させることをさらに構成させる。
ＡＢ：方法は、環境における経路に沿って動作する車両のセンサーからセンサーデータを受信するステップ、少なくとも部分的に制御ポリシーに基づいて車両が経路に沿って継続することができないという決定をするステップ、誘導データのための要求をサービスコンピューティングデバイスに送信するステップであって、誘導データは、状況を通して車両の制御を容易にするためにウェイポイントを含むステップ、サービスコンピューティングデバイスからウェイポイントに関連付けられるウェイポイントデータを受信するステップ、ウェイポイントが有効なウェイポイントであるという決定をするステップ、および少なくとも部分的にウェイポイントに基づいて車両を制御するステップを備える。
ＡＣ：段落ＡＢで説明される方法であって、ウェイポイントに関連付けられる車両の方向を受信するステップ、車両の方向が有効な車両の方向であるという決定をするステップ、および少なくとも部分的に車両の方向に基づいて車両を制御するステップさらに備える。
ＡＤ：段落ＡＢまたはＡＣのいずれか１つで説明される方法であって、ここで、ウェイポイントが有効なウェイポイントであるという決定をするステップは、ウェイポイントが運転可能な平面に配置されているという決定をするステップ、ウェイポイントをナビゲートする車両の動作がリモート誘導プロトコルに違反していないという決定をするステップであって、リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる制限を含むステップ、またはウェイポイントをナビゲートする車両の動作が安全プロトコルに違反していないという決定をするステップのうちの少なくとも１つを決定するステップを含み、ここで、安全プロトコルは、車両の安全を確実にするための条件を含む。
ＡＥ：段落ＡＢないしＡＤのいずれか１つで説明される方法であって、ここで、状況は、車両に関連付けられる環境において識別され、方法は、サービスコンピューティングデバイスから、状況に少なくとも部分的に基づいて環境を通してナビゲートするために更新されたルートを受信するステップ、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信するステップ、および更新されたルートに少なくとも部分的に基づいて車両を制御するステップをさらに備える。
ＡＦ：段落ＡＢないしＡＥのいずれか１つで説明される方法であって、ここで、状況は、車両に関連付けられるルートで識別され、方法は、サービスコンピューティングデバイスから、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信するステップ、ルートに少なくとも部分的に基づいて車両を制御するステップ、操作制約に違反するルート上の第２の状況を識別するステップ、誘導データのための第２の要求をサービスコンピューティングデバイスに送信するステップ、サービスコンピューティングデバイスから入力とは無関係の第２の状況の解決策を決定するステップ、および少なくとも部分的に解決策に基づいて車両を制御するステップをさらに備える。
ＡＧ：段落ＡＢないしＡＦのいずれか１つで説明される方法であって、ここで、ウェイポイントに関連付けられるウェイポイントデータは、第１のウェイポイントに関連付けられる第１のデータを含み、方法は、第２の位置および第２の車両の方向に関連付けられる第２のウェイポイントデータを受信するステップ、第２のウェイポイントまたは対応する車両の方向のうちの少なくとも１つが安全プロトコルに違反しているという決定をするステップ、および第２のウェイポイントが安全プロトコルに違反しているという決定をするステップに少なくとも部分的に基づいて、車両を第１のウェイポイントで停止させるステップをさらに備える。
ＡＨ：段落ＡＢないしＡＧのいずれか１つで説明される方法であって、ここで、車両が経路に沿って継続することができないという決定をするステップは、少なくとも部分的にセンサーデータに基づいて、経路に沿って通過する車両に対する軌道を生成するステップ、および軌道が制御ポリシーに違反しているという決定をするステップを含む。
ＡＩ：段落ＡＢないしＡＨのいずれか１つで説明される方法であって、第２のウェイポイントおよび対応する車両の方向に関連付けられる第２のウェイポイントデータを受信するステップ、第２のウェイポイントおよび対応する車両の方向を検証するステップ、および前進の動きを停止することなく、第１のウェイポイントから第２のウェイポイントまで車両を制御するステップをさらに備える。
ＡＪ：段落ＡＢないしＡＩのいずれか１つで説明される方法であって、制御ポリシーは、交通法規もしくは規則、良い運転の規則、または車両の経路における障害物のうちの少なくとも１つを含む。
ＡＫ：システムまたはデバイスは、プロセッサ、および実行された場合に、プロセッサに、段落ＡＢないしＡＪのいずれか１つで説明される方法を実行させる命令を格納する非一時的なコンピューター可読媒体を備える。
ＡＬ：システムまたはデバイスは、処理のための手段、および処理のための手段に結合された格納のための手段を備え、格納のための手段は、段落ＡＢないしＡＪのいずれか１つで説明される方法を実行するために１つまたは複数のデバイスを構成する命令を含む。
ＡＭ：実行された場合に、１つまたは複数のプロセッサに、センサーからセンサーデータを受信すること、少なくとも部分的に制御ポリシーに基づいて車両が経路に沿って継続することができないという決定をすること、誘導データのための要求をサービスコンピューティングデバイスに送信することであって、誘導データは、状況を通して車両の制御を容易にするためにウェイポイントを含むこと、サービスコンピューティングデバイスからウェイポイントに関連付けられるウェイポイントデータを受信すること、ウェイポイントが有効なウェイポイントであるという決定をすること、および少なくとも部分的にウェイポイントに基づいて車両を制御することを含む動作を実行させる命令を格納する非一時的なコンピューター可読媒体。
ＡＮ：段落ＡＭで説明される非一時的なコンピューター可読媒体であって、動作は、ウェイポイントに関連付けられる方向に対応する方向データを受信すること、方向が有効な方向であるという決定をすること、および少なくとも部分的に車両の方向に基づいて車両を制御することをさらに含む。
ＡＯ：段落ＡＭまたはＡＮのいずれか１つで説明される非一時的なコンピューター可読媒体であって、ここで、ウェイポイントに少なくとも部分的に基づいて車両を制御することは、ウェイポイントへの状況を識別することに関連付けられる初期位置から車両軌道を決定すること、および駆動システムに、車両の軌道に少なくとも部分的に基づいて車両を動作させることを含む。
ＡＰ：段落ＡＭないしＡＯのいずれか１つで説明される非一時的なコンピューター可読媒体であって、ウェイポイントに関連付けられるウェイポイントデータは、第１の時間で受信した第１のウェイポイントに関連付けられる第１のウェイポイントデータを含み、動作は、第２の時間で第２のウェイポイントに関連付けられる第２のウェイポイントデータをサービスコンピューティングデバイスから受信すること、第２のウェイポイントが有効であるという決定をすること、および第２のウェイポイントに少なくとも部分的に基づいて車両を制御することをさらに含み、ここで、車両は、停止することなく、第１のウェイポイントから第２のウェイポイントに移行するように構成される。
ＡＱ：段落ＡＭないしＡＰのいずれか１つで説明される非一時的なコンピューター可読媒体であって、ここで、ウェイポイントに関連付けられるウェイポイントデータは、第１の時間で受信した第１のウェイポイントに関連付けられる第１のウェイポイントデータを含み、動作は、車両が第１のウェイポイントの閾値距離内にあるという決定をすること、第２のウェイポイントに関連付けられる第２のウェイポイントデータが受信されていないという決定をすること、および車両を第１のウェイポイントで停止させることをさらに含む。
ＡＲ：段落ＡＭないしＡＱのいずれか１つで説明される非一時的なコンピューター可読媒体であって、ここで、状況は、車両に関連付けられる環境において識別され、動作は、サービスコンピューティングデバイスから、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信すること、ルートに少なくとも部分的に基づいて車両を制御すること、操作制約に違反するルート上の第２の状況を識別すること、誘導データのための第２の要求をサービスコンピューティングデバイスに送信すること、サービスコンピューティングデバイスから入力とは無関係の第２の状況の解決策を決定すること、および少なくとも部分的に解決策に基づいて車両を制御することをさらに含む。
上記のような例示的な条項が１つの具体的な実装に対して説明される一方で、本書類の文脈において、本例示的な条項の内容は、また、方法、デバイス、システム、コンピューター可読媒体、および／または別の実装を介して実装されることが可能であることを理解されたい。さらに、例示ＡないしＡＲのいずれかは、単独で、または他の１つもしくは複数の例示ＡないしＡＲと組み合わせて実装されることができる。
（結論）
本明細書で説明される技術の１つまたは複数の例示が説明されてきた一方で、それらの例示のさまざまな変更形態、追加形態、置換形態、および均等形態が、本明細書で説明される技術の範囲内に含まれる。
本明細書で説明される技術の１つまたは複数の例示が説明されてきた一方で、それらの例示のさまざまな変更形態、追加形態、置換形態、および均等形態が、本明細書で説明される技術の範囲内に含まれる。
例示の説明において、例示として、主張される主題の特定の例示を示す、説明の一部を形成する添付の図面に対する参照が行われる。他の例示が用いられることが可能であること、および構造上の変更などの変更または変形が行われることが可能であることを理解されたい。このような例示、変更または変形は、意図された発明の請求される主題に対する範囲から必ずしも逸脱するものではない。本明細書におけるステップは、特定の順序で提供されることができる一方で、ある場合において、順序が変更され得ることによって、説明されるシステムおよび方法の機能を変更することなく、特定の入力が異なる時間または異なる順序で提供される。開示された手順は、また、異なる順序で実行されることが可能である。さらに、本明細書におけるさまざまな算定は、開示される順序で実行される必要はなく、算定の代替の順序を用いる他の例示が容易に実装されることが可能である。順序変更されることに加えて、算定は、また、同一の結果を伴って部分的計算に分解されることが可能である。
さまざま例示において、ＧＵＩは、車両１０２のトップダウン図の描写（またはそうでなければ、リモートオペレーターによって構成可能）および環境１００におけるリモート誘導状況１０６を含んでよい。このような例示において、上面図は、センサーデータに基づいて環境のコンピューター生成表示を含んでよい。ある例示において、上面図は、リモート誘導状況１０６のうちの１つまたは複数の障害物に関して初期位置１０８などの車両１０２の位置を含んでよい。図２に関してさらに詳細に説明されることとなるように、ＧＵＩは、上面図を介してオペレーターからの入力を受信するように構成されてよい。このような例示において、オペレーターは、ドライブコリドー１１０を通してなど、リモート誘導状況１０６をナビゲートするために車両に誘導をもたらすことが可能であってよい。ドライブコリドー１１０は、オペレーターが１つまたは複数のウェイポイント１１２を入力し得るリモート誘導状況１０６の周りの運転可能な平面を表現してよい。ウェイポイント１１２は、車両が移動することとなる位置（例えば、Ｘ、Ｙ、Ｚ座標など）を含んでよい。さまざまな例示において、ウェイポイント１１２（１）からウェイポイント１１２（ｎ）を通してなどのウェイポイント１１２は、それぞれ停止点を含んでよい。このような例示において、車両は、後続のウェイポイント１１２の受信または検証の欠如などのそれぞれのウェイポイント１１２で停止するように構成されてよい。例えば、オペレーターは、ウェイポイント１１２（１）を入力することができ、ウェイポイント１１２（２）の受信を欠如している場合、車両コンピューティングデバイスは、さらなる誘導が受信されるまで、車両１０２をウェイポイント１１２（１）で停止させることができる。
Claims (15)
- システムであって、
１つまたは複数のプロセッサと、
プロセッサ実行可能命令を格納するメモリであって、前記１つまたは複数のプロセッサによって実行された場合に、前記システムに、
車両に関連付けられる車両コンピューティングシステムから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信することと、
受信データとして、および前記車両コンピューティングデバイスからセンサーデータまたは前記センサーデータに少なくとも部分的に基づいたデータを受信することと、
誘導システムに関連付けられるユーザーインターフェースを介して、第１のウェイポイントに対応する第１の入力を受信することであって、前記第１の入力は、前記受信されたデータに少なくとも部分的に基づいていることと、
前記第１のウェイポイントに関連付けられる第１のデータを前記車両コンピューティングデバイスに送信することと、
前記車両に少なくとも部分的に前記第１のウェイポイントに基づいて制御させることとを構成するメモリとを
備えるシステム。 - 前記命令は、前記システムに、リモート誘導を提供するための条件が満たされているという決定をすることをさらに構成し、前記条件は、
前記車両コンピューティングシステムとの接続に対応する待ち時間が閾値待ち時間を下回っていること、
前記車両コンピューティングシステムとの前記接続に対応するバンド幅が閾値バンド幅を下回っていること、
前記車両の速度が閾値値速度を下回っていること、
前記センサーデータを提供するための利用可能なセンサーの数が閾値の数を超えていること、または前記車両が故障に関連する調子を含まないという決定のうちの少なくとも１つを含む、請求項１に記載のシステム。 - 前記命令は、前記システムにさらに、
前記第１の位置および前記第１の方向が前記車両の動作に関連付けられる安全プロトコルまたは前記リモート誘導プロトコルのうちの少なくとも１つを満たすという決定をすることであって、前記リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる１つまたは複数の制限を含むことと、
前記安全プロトコルまたは前記リモート誘導プロトコルのうちの少なくとも１つを少なくとも部分的に満たすことに基づいて、前記第１の位置および前記第１の方向を検証することとを構成する、請求項１または２のいずれかに記載のシステム。 - 前記命令は、前記システムにさらに、
前記ユーザーインターフェースを介して、第２の位置および第２の方向に関連付けられる第２のウェイポイントを含む第２の入力を受信することと、
前記第２のウェイポイントがルートの閾値距離内にあるという決定をすることと、
少なくとも部分的に前記閾値距離に基づいて、前記障害物が前記車両の後ろにあるという決定をすることと、
前記車両の後ろにある前記障害物に少なくとも部分的に基づいて、誘導を提供するための終了条件が満たされているという決定をすることと、
前記車両を自律的に制御するために命令を前記車両コンピューティングシステムに伝送することとを構成する、請求項１ないし３のいずれか一項に記載のシステム。 - 前記命令は、前記システムにさらに、
前記車両が目的地までのルートに沿って進行することができないという決定をすることと、
目的地への車両誘導のための更新されたルートを生成することと、
前記更新されたルートを前記車両コンピューティングシステムに送信することと、
前記更新されたルートに少なくとも部分的に基づいて、前記車両を自律的に制御するために命令を前記車両コンピューティングシステムに伝送することとを構成する、請求項１ないし４のいずれか一項に記載のシステム。 - 車両に関連付けられる車両コンピューティングデバイスから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信するステップと、
受信データとして、および前記車両コンピューティングデバイスからセンサーデータまたは前記センサーデータに少なくとも部分的に基づいたデータを受信するステップと、
誘導システムに関連付けられるユーザーインターフェースを介して、第１のウェイポイントに対応する第１の入力を受信するステップであって、前記第１の入力は、前記受信されたデータに少なくとも部分的に基づいているステップと、
前記第１のウェイポイントに関連付けられる第１のデータを前記車両コンピューティングデバイスに送信するステップと、
前記車両に少なくとも部分的に前記第１のウェイポイントに基づいて制御させるステップと
を備える方法。 - リモート誘導を提供するための条件が満たされていると第１の時間で決定するステップと、
少なくとも部分的に満たされている前記条件に基づいて、前記ユーザーインターフェースへと入力を有効にするステップと、
リモート誘導を提供するための前記条件が満たされていないと第２の時間で決定するステップと、
少なくとも部分的に満たされていない前記条件に基づいて、ユーザーインターフェースへと前記入力を無効にするステップとをさらに備える、請求項６に記載の方法。 - 前記第１のウェイポイントが前記車両の動作に関連付けられる安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも１つを満たすという決定をするステップであって、前記リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる１つまたは複数の制限を含むステップと、
前記安全プロトコルまたは前記リモート誘導プロトコルのうちの前記少なくとも１つを満たすステップに少なくとも部分的に基づいて、前記第１のウェイポイントを検証するステップとをさらに備え、
前記第１のデータを送信するステップは、少なくとも部分的に前記第１のウェイポイントを検証するステップに基づいている、請求項６または７のいずれか一項に記載の方法。 - ホールド信号を前記車両に送信するステップであって、前記ホールド信号は、前記車両コンピューティングデバイスにある位置でホールドさせるステップと、
リリース信号を前記車両に送信するステップとをさらに備え、前記リリース信号は、前記車両を前記第１のウェイポイントに制御するために前記車両コンピューティングデバイスへの命令を含む、請求項６ないし８のいずれか一項に記載の方法。 - 前記第１の入力は、
前記第１のウェイポイントに関連付けられる第１の位置であって、前記第１の位置は、前記ユーザーインターフェースの選択可能な領域に対応する位置と、
前記車両が前記第１のウェイポイントで向くこととなる第１の方向に対応する第１の方向とを含む、請求項６ないし９のいずれか一項に記載の方法。 - 第２のウェイポイントに対応する第２の入力を受信するステップと、
前記第２のウェイポイントに関連付けられる第２のデータを前記車両コンピューティングデバイスに送信するステップと、
前記車両の動作に対応する安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも１つの少なくとも部分的に基づいて、前記車両から前記第２のウェイポイントの除外を示す除外メッセージを受信するステップとをさらに備える、請求項６ないし１０のいずれか一項に記載の方法。 - 前記車両がある位置から進行することができないことの表示を受信するステップと、
前記ユーザーインターフェースを介して、前記車両が前記位置から進行することができないことの表示を提示するステップと、
前記ユーザーインターフェースを介して、第２のウェイポイントに対応する第２の入力を受信するステップと、
前記第２のウェイポイントを前記車両コンピューティングシステムに伝送するステップとをさらに備える、請求項６ないし１１のいずれか一項に記載の方法。 - 第２のウェイポイントに対応する第２の入力を受信するステップと、
前記第２のウェイポイントに関連付けられる第２のデータを前記車両コンピューティングデバイスに送信するステップと、
前記第２のウェイポイントが前記障害物に関連付けられる終了条件に対応するという決定をするステップと、
前記第２のウェイポイントに関連付けられる動作を完了した後で、前記車両を自律的に制御するために命令を前記車両コンピューティングデバイスに送信するステップとを備える、請求項６ないし１２のいずれか一項に記載の方法。 - 第２のウェイポイントに対応する第２の入力を受信するステップと、
前記第２のウェイポイントに関連付けられる第２のデータを前記車両コンピューティングデバイスに送信するステップと、
前記ユーザーインターフェースを介して、前記第１のウェイポイントまたは前記第２のウェイポイントのうちの少なくとも１つを編集するためにオペレーターの意図を示す第３の入力を受信するステップと、
前記車両が前記第１のウェイポイントに移行しているという決定をするステップと、
前記第１のウェイポイントへの第１の編集を無効にするステップと、
前記第２のウェイポイントの少なくとも１つが前記車両コンピューティングデバイスによって受け入れられていないか、または前記車両が前記第１のウェイポイントを越えて前進させていないという決定をするステップと、
前記第２のウェイポイントへの第２の編集を有効にするステップと、
前記第２のウェイポイントを削除または変更のうちの少なくとも１つをするために命令を前記車両コンピューティングデバイスに送信するステップとをさらに備える、請求項６ないし１３のいずれか一項に記載の方法。 - 実行された場合に、１つまたは複数のプロセッサに、請求項６ないし１４のいずれか一項記載の方法を実行させる命令を格納する非一時的なコンピューター可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/457,646 | 2019-06-28 | ||
| US16/457,646 US11768493B2 (en) | 2019-06-28 | 2019-06-28 | Remote vehicle guidance |
| PCT/US2020/039594 WO2020264144A1 (en) | 2019-06-28 | 2020-06-25 | Remote vehicle guidance |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022539149A true JP2022539149A (ja) | 2022-09-07 |
Family
ID=71614967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021577395A Pending JP2022539149A (ja) | 2019-06-28 | 2020-06-25 | リモート車両誘導 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11768493B2 (ja) |
| EP (2) | EP4242776A3 (ja) |
| JP (1) | JP2022539149A (ja) |
| CN (1) | CN114026514A (ja) |
| WO (1) | WO2020264144A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11467573B2 (en) | 2019-06-28 | 2022-10-11 | Zoox, Inc. | Vehicle control and guidance |
| US11702090B2 (en) * | 2019-08-06 | 2023-07-18 | Nissan North America | System for an automated vehicle |
| JP7234872B2 (ja) * | 2019-09-12 | 2023-03-08 | トヨタ自動車株式会社 | 車両遠隔指示システム |
| US20210191387A1 (en) * | 2019-12-23 | 2021-06-24 | Autonomous Solutions, Inc. | System and method for assisted teleoperations of vehicles |
| US11644846B2 (en) * | 2020-03-31 | 2023-05-09 | GM Cruise Holdings LLC. | System and method for real-time lane validation |
| US11595619B1 (en) * | 2020-06-02 | 2023-02-28 | Aurora Operations, Inc. | Autonomous vehicle teleoperations system |
| US11560154B1 (en) | 2020-06-02 | 2023-01-24 | Aurora Operations, Inc. | Autonomous vehicle remote teleoperations system |
| US11644830B1 (en) | 2020-06-02 | 2023-05-09 | Aurora Operations, Inc. | Autonomous vehicle remote teleoperations system with scenario selection |
| JP7302616B2 (ja) * | 2021-02-24 | 2023-07-04 | トヨタ自動車株式会社 | 遠隔支援システム及び遠隔支援方法 |
| US20230072633A1 (en) * | 2021-09-06 | 2023-03-09 | Honeywell International Inc. | Methods and systems for managing user-configured custom routes |
| US20230084702A1 (en) * | 2021-09-10 | 2023-03-16 | Cyngn, Inc. | System and method of adaptive, real-time vehicle system identification for autonomous driving |
| CA3239376A1 (en) * | 2021-12-06 | 2023-06-15 | Apeksha Kumavat | Method and system for operating an autonomous agent with a remote operator |
| US20230192134A1 (en) * | 2021-12-21 | 2023-06-22 | Waymo Llc | Methods and Systems for Providing Incremental Remote Assistance to an Autonomous Vehicle |
| US20230322270A1 (en) * | 2022-04-08 | 2023-10-12 | Motional Ad Llc | Tracker Position Updates for Vehicle Trajectory Generation |
| US20240101150A1 (en) * | 2022-06-30 | 2024-03-28 | Zoox, Inc. | Conditional trajectory determination by a machine learned model |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9678508B2 (en) | 2009-11-16 | 2017-06-13 | Flanders Electric Motor Service, Inc. | Systems and methods for controlling positions and orientations of autonomous vehicles |
| US9104202B2 (en) * | 2010-05-11 | 2015-08-11 | Irobot Corporation | Remote vehicle missions and systems for supporting remote vehicle missions |
| US8655538B2 (en) * | 2011-12-16 | 2014-02-18 | Agco Corporation | Systems and methods for switching display modes in agricultural vehicles |
| US8996224B1 (en) | 2013-03-15 | 2015-03-31 | Google Inc. | Detecting that an autonomous vehicle is in a stuck condition |
| US9008890B1 (en) * | 2013-03-15 | 2015-04-14 | Google Inc. | Augmented trajectories for autonomous vehicles |
| US9720410B2 (en) * | 2014-03-03 | 2017-08-01 | Waymo Llc | Remote assistance for autonomous vehicles in predetermined situations |
| US10459440B2 (en) | 2016-01-04 | 2019-10-29 | GM Global Technology Operations LLC | System and method for remotely assisting autonomous vehicle operation |
| JP6418181B2 (ja) * | 2016-03-04 | 2018-11-07 | トヨタ自動車株式会社 | 遠隔操作システム、車両及び遠隔操作装置 |
| CN105955290B (zh) * | 2016-04-27 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 无人飞行器控制方法及装置 |
| US20180194344A1 (en) | 2016-07-29 | 2018-07-12 | Faraday&Future Inc. | System and method for autonomous vehicle navigation |
| US20190004524A1 (en) * | 2016-08-31 | 2019-01-03 | Faraday&Future Inc. | System and method for planning a vehicle path |
| US10293818B2 (en) * | 2017-03-07 | 2019-05-21 | Uber Technologies, Inc. | Teleassistance data prioritization for self-driving vehicles |
| US20180300834A1 (en) * | 2017-04-17 | 2018-10-18 | Walmart Apollo, Llc | Systems and methods for delivering merchandise using autonomous ground vehicles and unmanned aerial vehicles |
| US20180339703A1 (en) * | 2017-05-26 | 2018-11-29 | Sucxess LLC | Vehicle with remote-controlled operating mode |
| US10343698B2 (en) | 2017-06-27 | 2019-07-09 | Uber Technologies, Inc. | Disabling onboard input devices in an autonomous vehicle |
| US10268191B1 (en) | 2017-07-07 | 2019-04-23 | Zoox, Inc. | Predictive teleoperator situational awareness |
| US10922903B2 (en) | 2017-07-11 | 2021-02-16 | Waymo Llc | Methods and systems for providing remote assistance to a stopped vehicle |
| US10710633B2 (en) | 2017-07-14 | 2020-07-14 | Nio Usa, Inc. | Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles |
| DE102017213204A1 (de) * | 2017-08-01 | 2019-02-07 | Continental Automotive Gmbh | Verfahren und System zum Fernsteuern eines Fahrzeugs |
| JP6969962B2 (ja) * | 2017-10-05 | 2021-11-24 | トヨタ自動車株式会社 | 車両の運転支援及び／又は走行制御のための地図情報提供システム |
| IL308640A (en) * | 2018-03-18 | 2024-01-01 | Driveu Tech Ltd | Device, system and method for autonomous driving and remotely controlled vehicles |
| US10759051B2 (en) * | 2018-04-23 | 2020-09-01 | General Electric Company | Architecture and methods for robotic mobile manipulation system |
| US11977378B2 (en) * | 2018-09-17 | 2024-05-07 | The Charles Machine Works, Inc. | Virtual path guidance system |
| CN109447326B (zh) * | 2018-09-30 | 2021-11-30 | 深圳眸瞳科技有限公司 | 无人机迁移轨迹生成方法、装置、电子设备和存储介质 |
| US11587444B2 (en) * | 2018-11-05 | 2023-02-21 | Ford Global Technologies, Llc | Autonomous vehicle parking and servicing using terminals |
| WO2020118306A2 (en) * | 2018-12-07 | 2020-06-11 | Postmates Inc. | Delivery robot |
| US11467573B2 (en) | 2019-06-28 | 2022-10-11 | Zoox, Inc. | Vehicle control and guidance |
-
2019
- 2019-06-28 US US16/457,646 patent/US11768493B2/en active Active
-
2020
- 2020-06-25 WO PCT/US2020/039594 patent/WO2020264144A1/en active Application Filing
- 2020-06-25 CN CN202080047153.5A patent/CN114026514A/zh active Pending
- 2020-06-25 JP JP2021577395A patent/JP2022539149A/ja active Pending
- 2020-06-25 EP EP23184319.4A patent/EP4242776A3/en active Pending
- 2020-06-25 EP EP20740467.4A patent/EP3990999B1/en active Active
-
2023
- 2023-08-10 US US18/447,516 patent/US20240012419A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20200409368A1 (en) | 2020-12-31 |
| US20240012419A1 (en) | 2024-01-11 |
| EP4242776A2 (en) | 2023-09-13 |
| US11768493B2 (en) | 2023-09-26 |
| EP3990999B1 (en) | 2023-07-19 |
| WO2020264144A1 (en) | 2020-12-30 |
| CN114026514A (zh) | 2022-02-08 |
| EP4242776A3 (en) | 2023-12-06 |
| EP3990999A1 (en) | 2022-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022539149A (ja) | リモート車両誘導 | |
| EP3991000B1 (en) | Vehicle control and guidance | |
| JP7422687B2 (ja) | オクルージョン認識プランニング | |
| JP2022553310A (ja) | 衝突ゾーンに基づく軌道修正 | |
| JP2022527072A (ja) | 属性に基づく歩行者の予測 | |
| JP2022550279A (ja) | 妨害物の回避 | |
| US11209822B2 (en) | Techniques for contacting a teleoperator | |
| US11275370B2 (en) | Techniques for navigating vehicles using teleoperator instructions | |
| US11584389B2 (en) | Teleoperations for collaborative vehicle guidance | |
| US11353877B2 (en) | Blocked region guidance | |
| US20210325880A1 (en) | Collaborative vehicle guidance | |
| US20230067887A1 (en) | Techniques for detecting road blockages and generating alternative routes | |
| US20220371613A1 (en) | Vehicle trajectory determination | |
| EP3990328A1 (en) | Techniques for contacting a teleoperator | |
| US12005925B1 (en) | Collaborative action ambiguity resolution for autonomous vehicles | |
| JP2023522844A (ja) | 協調的車両ガイダンスのための遠隔操作 | |
| US20240092350A1 (en) | Vehicle safety system | |
| WO2024081531A1 (en) | Stopping action of an autonomous vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220302 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230615 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |