JP2022539557A - テレオペレータに連絡するための技法 - Google Patents

テレオペレータに連絡するための技法 Download PDF

Info

Publication number
JP2022539557A
JP2022539557A JP2021577394A JP2021577394A JP2022539557A JP 2022539557 A JP2022539557 A JP 2022539557A JP 2021577394 A JP2021577394 A JP 2021577394A JP 2021577394 A JP2021577394 A JP 2021577394A JP 2022539557 A JP2022539557 A JP 2022539557A
Authority
JP
Japan
Prior art keywords
vehicle
autonomous vehicle
determining
impeded
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021577394A
Other languages
English (en)
Other versions
JPWO2020264007A5 (ja
Inventor
ゴーニャ ラヴィ
ジェームズ ゴールドマン メレディス
オレッキオ ポール
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/457,341 external-priority patent/US11275370B2/en
Priority claimed from US16/457,289 external-priority patent/US11209822B2/en
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2022539557A publication Critical patent/JP2022539557A/ja
Publication of JPWO2020264007A5 publication Critical patent/JPWO2020264007A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18159Traversing an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0021Planning or execution of driving tasks specially adapted for travel time
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/04Vehicle stop
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/01Occupants other than the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/408Traffic behavior, e.g. swarm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本発明は、自律車両およびその動作方法に関する。自律車両をルートに沿ってナビゲートさせるステップと、1つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェトによって妨げられていることを決定するステップと、進行がオブジェクトによって妨げられていることに少なくとも部分的に基づいて、リモートオペレータに連絡するか決定するステップと、リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスから、オブジェクトに関連付けられたポリシーを変更するように構成された情報を含む、オブジェクトによってナビゲートすることに関連付けられた命令を受信するステップと、命令に少なくとも部分的に基づいて、自律車両をオブジェクトによってナビゲートさせるステップと、を想定している。これにより、車両は、リモートの人間のオペレータからの遠隔支援によって困難な交通状況を克服することが可能となる。

Description

本発明は、テレオペレータに連絡するための技法に関する。
本PCT国際出願は、「テレオペレータに連絡するための技法」と題され、2019年6月28日に提出の米国特許出願第16/457,289号および「テレオペレータの命令を用いて車両をナビゲートするための技法」と題され、2019年6月28日に提出の米国特許出願第16/457,341号の優先権を主張し、全体が参照により本明細書に組み込まれる。
自律車両は、指定されたルートに沿って、またはウェイポイント間でナビゲートすることがある。例えば、制御システムが、ある位置でユーザをピックアップして目的地への輸送を提供する要求をユーザデバイスから受信すると、自律車両は、制御システムから、ピックアップ位置から目的地へナビゲートする命令を受信することがある。しかしながら、いくつかの状況では、ピックアップ位置または目的地への自律車両のナビゲートの進行が他の車両などによって停止される場合がある。これにより、自律車両が遅延する、または自律車両が交通の流れを妨げるなどの問題が生じる場合がある。
詳細な説明は、添付の図面を参照して説明される。図において、参照符号の最も左の桁は、参照符号が最初に現れる図を特定する。異なる図における同じ参照符号の使用は、類似または同一の構成要素または特徴を示す。
本開示の実施形態による、テレオペレータにいつ連絡するかを決定する自律車両を含む例示的な環境を示す図である。 本開示の実施形態による、テレオペレータからの命令を現在受信する自律車両を含む例示的な環境を示す図である。 本開示の実施形態による、自律車両が渋滞中であることに少なくとも部分的に基づいて、テレオペレータに連絡しないと決定する自律車両を含む例示的な環境を示す図である。 本開示の実施形態による、交通信号機によって自律車両の進行が妨げられることに少なくとも部分的に基づいて、テレオペレータに連絡しないと決定する自律車両を含む例示的な環境を示す図である。 本開示の実施形態による、本明細書で説明される技法を実装するための例示的なシステムを示すブロック図である。 本開示の実施形態による、例示的なテレオペレーションシステムアーキテクチャを示すブロック図である。 本開示の実施形態による、オブジェクトに対して道を譲る自律車両を示す第1の例示的なユーザインターフェースを示す図である。 本開示の実施形態による、オブジェクトに対して道を譲る自律車両を示す第2の例示的なユーザインターフェースを示す図である。 本開示の実施形態による、テレオペレータに連絡するかを決定するための例示的な処理を示す図である。 本開示の実施形態による、テレオペレータからの命令を用いて自律車両をナビゲートするための例示的な処理を示す図である。
上述したように、自律車両は、指定ルートに沿ってまたはウェイポイント間を、ピックアップ位置から目的地位置までナビゲートすることなどによってナビゲートしてもよい。しかしながら、いくつかの例では、自律車両の進行が妨げられる場合がある。第1の例では、自律車両は、自律車両より前に交差点に到着する他の車両に道を譲るように自律車両に命令するポリシーを表すデータを記憶してもよい。他の車両が1つまたは複数の理由で移動していない(例えば、障害物または狭い道路のために自律車両が移動するまで他の車両がルートに沿ってナビゲートすることができない)交差点において、自律車両が別の車両に道を譲っている場合、自律車両の進行が妨げられ得る。第2の例では、自律車両は、別の車両に関連付けられた相互関係であって、自律車両に他の車両を追従させる相互関係を設定し得る。駐車または故障などによって他の車両が停止すると、自律車両の進行が妨げられることがある。
したがって、本出願は、テレオペレータから受信された命令を用いて自律車両をナビゲートするための技法だけでなく、テレオペレータにいつ連絡するかを決定するための技法について説明する。例えば、自律車両の進行が妨げられる場合、自律車両は、進行が妨げられた時間量を決定してもよい。次いで、自律車両は、時間量が閾値時間量を満たすか(例えば、それ以上である)を決定してもよい。閾値時間量には、限定はしないが、3秒、30秒、1分、3分、および/または任意の他の時間期間を含み得る。自律車両が、時間量が閾値時間量を満たさない(例えば、それを下回る)と決定した場合、自律車両は、テレオペレータに連絡しないと決定し得る。しかしながら、自律車両が、時間量が閾値時間量を満たすと決定した場合、自律車両は、自律車両の進行が妨げられているか、および/またはオブジェクトの進行が、介在条件によって妨げられているかを決定してもよい。
第1の例では、自律車両は、交通量のために自律車両の進行が妨げられているかを決定してもよい。いくつかの例では、自律車両は、自律車両が道を譲っている車両に加えて、別の車両の進行も妨げられるかを決定することに少なくとも部分的に基づいて決定を行ってもよい。例えば、自律車両が多車線道路に沿ってナビゲートしているとき、自律車両は、別のレーンにおける別の車両の進行も妨げられたかを決定し得る。自律車両が、別の車両の進行も妨げていると決定した場合、自律車両は、交通量が自律車両の進行を妨げていると決定し得る。したがって、自律車両は、テレオペレータに連絡しないと決定してもよい。しかしながら、自律車両が、別の車両の進行が妨げられていない、および/または自律車両の隣に別の車両がないと決定した場合、自律車両は、交通量が自律車両の進行を妨げていないと決定し得る。したがって、自律車両は、テレオペレータに連絡すると決定してもよい。
第2の例では、自律車両は、交通信号機のために自律車両の進行が妨げられているかを決定してもよい。いくつかの例では、自律車両は、交通信号機が自律車両の進行を妨げているかを決定するためにセンサデータを用いてもよい。加えて、または代替として、いくつかの例では、自律車両は、交通信号機が自律車両の進行を妨げているかを決定するためにマップデータを用いてもよい。いずれの場合も、交通信号機が自律車両の進行を妨げていると自律車両が決定した場合、自律車両はテレオペレータに連絡しないと決定してもよい。しかしながら、交通信号機が自律車両の進行を妨げていないと自律車両が決定した場合、自律車両は、テレオペレータに連絡すると決定してもよい。
テレオペレータに連絡すると決定したとき、自律車両は、テレオペレータに関連付けられた1つまたは複数のコンピューティングデバイスにセンサデータを送信してもよい。センサデータは、画像データ、LIDAR(light detection and ranging)データ、RADARデータ、および/または自律車両の周囲の環境を表す他のタイプのセンサデータを含んでもよいが、これらに限定されない。いくつかの例では、自律車両は、1つまたは複数のコンピューティングデバイスに、どのオブジェクト(例えば、車両、歩行者、標識、建設機械など)が自律車両の進行を妨げているのかを示すデータをさらに送信してもよい。例えば、自律車両が別の車両に道を譲っている場合、データは、自律車両が他の車両に現在道を譲っていることを示してもよい。いくつかの例では、自律車両は、1つまたは複数のコンピューティングデバイスに、自律車両の進行が妨げられた時間量、および/または自律車両がオブジェクトに道を譲った時間量を示すデータを送信してもよい。
1つまたは複数のコンピューティングデバイスは、自律車両からセンサデータを受信し、それに応答して、センサデータによって表されるコンテンツ(例えば、画像、ビデオなど)を含むユーザインターフェースを表示してもよい。加えて、1つまたは複数のコンピューティングデバイスは、どのオブジェクトが自律車両の進行を妨げているのかを示すグラフィカル要素を表示してもよい。例えば、ユーザインターフェースは、自律車両がオブジェクトに道を譲っていることを示すグラフィカル要素を表示してもよい。次いで、テレオペレータは、自律車両がどのように進むべきかを示す命令を自律車両に送信するために1つまたは複数のコンピューティングデバイスを使用してもよい。少なくともいくつかの例では、そのような命令は、ポリシーを破棄および/または変更する(例えば、環境内の選択されたオブジェクトに対して道を譲る命令を破棄する)ための命令を含んでいてもよい。
第1の例では、自律車両が、交差点におけるオブジェクトであって、1つまたは複数の理由で移動していなオブジェクトに道を譲っている場合、命令は、自律車両をもはやオブジェクトに道を譲らないようにし、および/または1つまたは複数のポリシーを一時的に停止する(および/または変更する)ようにしてもよい。1つまたは複数のポリシーは、自律車両より前に交差点に到着する車両に道を譲る第1のポリシー、車線内を走行する第2のポリシー、および/または1つまたは複数の追加のポリシーを含んでもよいが、これらに限定されない。いくつかの例では、1つまたは複数のポリシーに従うのを一時的に停止することには、一定期間、1つまたは複数のポリシーに従うのを停止することを含んでもよい。一定期間には、5秒、10秒、30秒、1分、および/または別の期間を含んでもよいが、これらに限定されない。加えて、または代替として、いくつかの例では、1つまたは複数のポリシーに従うのを一時的に停止することには、自律車両を所与の位置にナビゲートし、所与の距離をナビゲートし、もはやオブジェクトに道を譲らなくてもよい位置にナビゲートするまで、および/または同様のことが行われるまで、1つまたは複数のポリシーに従うのを停止することを含めてもよい。いずれにしても、命令を用いて、自律車両は、もはやオブジェクトに道を譲らないと決定し、および/または1つまたは複数のポリシーに従うことを一時的に停止するように決定してもよい。したがって、自律車両は再び位置へのナビゲートを開始し得る。
第2の例では、自律車両が、自律車両が「追従する」などの現在の相互関係を有する別の車両に道を譲っている場合、命令は、自律車両に他の車両との相互関係を変更させてもよい。例えば、命令は、相互関係を「追従する」から「追従しない」に変更させてもよい。加えて、いくつかの例では、命令は、自律車両が1つまたは複数のポリシーに従うのを一時的に停止してもよい。例えば、命令は、自律車両が車線内を走行することを含む第2のポリシーに従うのを一時的に停止させることができ、その結果、自律車両が他の車両の周囲をナビゲートすることを可能にする。命令を用いることにより、自律車両が、相互関係を変更し、および/または1つまたは複数のポリシーに従うのを一時的に停止すると決定してもよい。したがって、自律車両は、再び位置へのナビゲートを開始し得る。
いくつかの例では、自律車両が命令を受信した後にナビゲートを開始すると、自律車両は再びオブジェクトに道を譲ると決定することがある。例えば、自律車両は、1つまたは複数のポリシーに再び従うと決定するか、またはオブジェクトとの相互関係を元の相互関係設定に戻すように変更してもよい。自律車両は、オブジェクトの移動に少なくとも部分的に基づいて決定を行い得る。
第1の例では、自律車両は、オブジェクトに関連付けられた速度が変化したと決定してもよい。例えば、速度は、時速ゼロマイルから時速ゼロマイルを超える速度に変化してもよい。速度の変化に少なくとも部分的に基づいて、自律車両は、オブジェクトが移動を開始していると決定し得る。したがって、自律車両は、再びオブジェクトに道を譲ると決定し、および/またはオブジェクトとの相互関係を「追従する」に戻すように変更してもよい。加えて、いくつかの例では、自律車両は再びテレオペレータと連絡することがある。
第2の例では、自律車両が最初にオブジェクトに道を譲ったときに、オブジェクトの方が最初に移動していてもよいが、オブジェクトは所与の領域内に残っていてもよい。例えば、オブジェクトには、所与の領域内で前後に移動する建設車両(例えば、バックホー、舗装機など)を含み得る。このような例では、テレオペレータによって送信される命令には、オブジェクトが残ると予想されるオブジェクトの周囲の指定された領域を含んでもよい。オブジェクトが指定された領域の外側に移動する場合、自律車両は再びオブジェクトに道を譲ると決定することがある。加えて、自律車両は再びテレオペレータと連絡することがある。
上記の例は、ポリシーおよび/または相互関係を用いて、自律車両の進行が妨げられていると決定することを含むが、他の例では、自律車両の進行は、1つまたは複数の他の要因に基づいて妨げられることがある。第1の例では、自律車両は、特定のタイプのオブジェクトを識別することに基づいて、進行が妨げられていると決定してもよい。例えば、特定のタイプのオブジェクトは、低速でナビゲートするトラクターおよび/または道路清掃人を含んでもよい。したがって、特定のタイプのオブジェクトが自律車両のルートに沿って配置されている場合、自律車両の進行が妨げられることがある。第2の例では、自律車両は、特定のタイプのシナリオを識別することに基づいて、進行が妨げられていると決定してもよい。シナリオは、自律車両の走行車線に合流する別の車両、閾値速度(後述する)を下回る速度でナビゲートする別の車両、自律車両のルートに沿って発生する事故などを含み得るが、これらに限定されない。
上記の例は、自律車両の「進行」が妨げられたかを決定するものとして自律車両を説明している。いくつかの例では、自律車両は、自律車両がある位置で停止したこと(例えば、自律車両の速度が毎時0マイルである)を決定することに少なくとも部分的に基づいて、進行が妨げられたと決定し得る。加えて、または代替として、いくつかの例では、自律車両は、自律車両が所与の時間内に所与の距離をナビゲートするのみであると決定することに少なくとも部分的に基づいて、進行が妨げられたと決定し得る。例えば、自律車両は、自律車両が毎秒1フィート、5秒当たり1フィート、毎分1フィートなどでナビゲートしていると決定することに少なくとも部分的に基づいて、進行が妨げられたと決定することがある。加えて、または代替として、いくつかの例では、自律車両は、自律車両の現在の速度が閾値速度を下回ると決定することに少なくとも部分的に基づいて、進行が妨げられたと決定することがある。閾値速度は、時速半マイル、時速1マイル、および/または任意の他の速度を含んでもよいが、これらに限定されない。
加えて、本技法は、テレオペレータが自律車両に案内を提供し得るように、自律車両における状況のコンテキスト情報をテレオペレータに提供してもよい。テレオペレーションシステムは、テレオペレーションセンターに配置された人間のテレオペレータであり得る1人または複数のテレオペレータを含むことがある。いくつかの例では、1つまたは複数のテレオペレータは、人間でなくてもよく、例えば、それらは、人工知能、機械学習、および/または他の意思決定戦略を活用するコンピュータシステムであってもよい。いくつかの例では、テレオペレータは、テレオペレータインターフェースを含むことが可能であるユーザインターフェースを介して、自律車両の車両群内の1つまたは複数の自律車両と相互関係することがある。テレオペレータインターフェースは、自律車両の操作に関連するデータをテレオペレータに提供するように構成された1つまたは複数のディスプレイを含んでもよい。例えば、ディスプレイは、自律車両から受信されたセンサデータに関連するコンテンツ、道路網に関連するコンテンツ、および/または自律車両への支援を容易に提供するための追加のコンテンツまたは情報を示すように構成されていてもよい。
加えて、または代替的に、テレオペレータインターフェースはまた、テレオペレータが、例えば、自律車両に案内を提供するテレオペレーション命令の形態で、1つまたは複数の自律車両に情報を提供することを許可するように構成されたテレオペレータ入力デバイスを含んでもよい。テレオペレータ入力デバイスは、タッチ式スクリーン、スタイラス、マウス、ダイヤル、キーパッド、マイクロフォン、タッチスクリーン、および/またはテレオペレータによって実行されるジェスチャをテレオペレータインターフェース用入力コマンドに変換するように構成された1つまたは複数のジェスチャ入力システムを含んでいてもよい。本明細書でより詳細に説明されるように、テレオペレーションシステムは、自律車両の進行が妨げられた場合などで、イベントを回避し、イベントの周囲に回避し、またはイベントを通り抜けるための案内を1つまたは複数の自律車両に提供することがある。
本明細書で説明される技法は、いくつかの方法で実装することが可能である。例示的な実装形態は、下記の図を参照して以下で提供される。車両の文脈で説明したが、本明細書で説明される方法、装置、およびシステムは、様々なシステムに適用することが可能である。
図1Aは、本開示の実施形態による、テレオペレータにいつ連絡するかを決定する自律車両102(1)-(2)を含む例示的な環境100を示す図である。例えば、第1の自律車両102(1)は、ルート104に沿ってナビゲートすることがある。ナビゲートしている間、第1の自律車両102(1)は、同様にルート104に沿ってナビゲートしている車両106に遭遇することがあり得る。そのため、第1の自律車両102(1)は、車両106を識別するために第1の自律車両102(1)の1つまたは複数のセンサによって生成されたセンサデータ108を用いることがある。加えて、車両106は、第1の自律車両102(1)の前方に位置し、第1の自律車両102(1)と同じ走行車線内にあるので、第1の自律車両102(1)は、車両106との相互関係を、相互関係データ110によって表される「追従する」と設定してもよい。
しかしながら、第1の自律車両102(1)がルート104に沿ってナビゲートし、車両106に追従するとき、車両106は1つまたは複数の理由で停止することがある。例えば、図1Aの例に示すように、車両106が故障して、車両106が少なくとも部分的に道路を遮る場合がある。したがって、第1の自律車両102(1)は車両106に追従しているので、第1の自律車両102(1)も、ルート104に沿った位置112で停止し得る。これにより、第1の自律車両102(1)は、第1の自律車両102(1)の進行が妨げられたと決定し得る。
進行が妨げられている間、第1の自律車両102(1)は、進行が妨げられた時間量が閾値時間量を満たすと決定することがある。第1の自律車両102(1)はさらに、進行が介在条件(例えば、交通量、信号機など)により妨げられたかを決定することもあり得る。時間量が閾値時間量を満たし、且つ進行が介在条件により妨げられていないので、第1の自律車両102(1)は、オペレータに連絡することを決定してもよい。
テレオペレータに連絡するために、第1の自律車両102(1)は、テレオペレータに関連付けられたテレオペレータシステム114に、センサデータ108の少なくとも一部を送信してもよい。例えば、第1の自律車両102(1)は、車両106を表す少なくともセンサデータ108(例えば、画像データ)および/またはそこから導出された任意のデータ(例えば、検出、分類、制御データなど)を遠隔操作者システム114に送信してもよい。いくつかの例では、第1の自律車両102(1)は、車両106により進行が妨げられたこと、及び/又は車両106との現在の相互関係が「従う」を含むことを示すインジケータデータ116をテレオペレータシステム114にさらに送信してもよい。テレオペレータは、図1Bの例において説明される第1の自律車両102(1)への案内を提供するために、第1の自律車両102(1)から受信されたデータを用いてもよい。
加えて、図1Aの例では、第2の自律車両102(2)は、ルート118に沿ってナビゲートすることがある。ナビゲートしている間、第2の自律車両102(2))は交差点に到着することがあり、そのため、第2の自律車両102(2)は位置120で停止する。加えて、第2の自律車両102(2)は、車両124が第2の自律車両102(2)より前に交差点に到着したことを識別するために、第2の自律車両102(2)の1つまたは複数のセンサによって生成されたセンサデータ122を用いることがある。したがって、ポリシーデータ126によって表されるポリシーに少なくとも部分的に基づいて、第2の自律車両102(2)は、交差点で車両124に道を譲ることを決定することがある。
しかしながら、ルート128に沿ってナビゲートする車両124は、第2の自律車両102(2)がルート118に沿ってナビゲートする後までルート128に沿って前進することが可能でないことがある。これは、第2の自律車両102(2)の幅130およびルート128に沿った走行エンベロープの幅132に少なくとも部分的に基づいて、第2の自律車両102(2)が車両124のルート128を少なくとも部分的に塞いでいるからである。したがって、車両124は、第2の自律車両102(2)を待ち続けることがあり、その結果、車両124がルート128に沿ってナビゲートする前に、ルート118に沿ってナビゲートする。第2の自律車両102(2)は車両124に道を譲っているので、位置120で第2の自律車両102(2)の進行が妨げられることがある。
進行が妨げられている間、第2の自律車両102(2)は、進行が妨げられた時間量が閾値時間量を満たすと決定あることがある。第2の自律車両102(2)はさらに、進行が介在条件(例えば、交通量、信号機など)により妨げられているかを決定することがある。時間量が閾値時間量を満たし、且つ進行が介在条件に起因して妨げられていないので、第2の自律車両102(2)は、テレオペレータに連絡することを決定してもよい。
テレオペレータに連絡するために、第2の自律車両102(2)は、テレオペレータに関連付けられたテレオペレータシステム114に、センサデータ122(及び/又はそこから導出された任意のデータ)の少なくとも一部を送信することがある。例えば、第2の自律車両102(2)は、車両124を表す少なくともセンサデータ122(例えば、画像データ)をテレオペレータシステム114に送信することがある。いくつかの例では、第2の自律車両102(2)は、車両124により進行が妨げられたこと、および/または第2の自律車両102(2)が現在車両124に道を譲っていることを示すインジケータデータ134をテレオペレータシステム114にさらに送信することがある。さらに、いくつかの例では、第2の自律車両102(2)は、第2の自律車両102(2)が車両124に道を譲っているポリシーを示すポリシーデータ126をテレオペレータシステム114に送信することがある。次いで、テレオペレータは、図1Bの例において説明される第2の自律車両102(2)への案内を提供するために、第2の自律車両102(2)から受信されたデータを用いてもよい。
図1Bは、本開示の実施形態による、テレオペレータから命令を受信する自律車両102(1)-(2)を含む例示的な環境100を示す図である。例えば、テレオペレータは、テレオペレータインターフェースを含むことが可能であるユーザインターフェースを介して自律車両102(1)-(2)と交信してもよい。テレオペレータインターフェースは、自律車両102(1)-(2)の操作に関連するデータをテレオペレータに提供するように構成された1つまたは複数のディスプレイを含んでもよい。例えば、ディスプレイは、第1の自律車両102(1)から受信したセンサデータ108に関連するコンテンツ(例えば、画像)を表示するように構成されてもよい。加えて、ディスプレイは、第2の自律車両102(2)から受信したセンサデータ122に関連するコンテンツ(例えば、画像)を表示するように構成されてもよい。
いくつかの例では、ディスプレイはさらに、自律車両102(1)-(2)の進行を妨げているオブジェクトに関連するコンテンツを表示するように構成されてもよい。例えば、ディスプレイは、第1の自律車両102(1)の進行を妨げているのは車両106であることを示すグラフィカル要素を表示するために、インジケータデータ116を用いてもよい。加えて、ディスプレイは、第2の自律車両102(2)の進行を妨げているのは車両124であることを示すグラフィカル要素を表示するために、インジケータデータ134を用いてもよい。本明細書で説明されるように、グラフィカル要素は、オブジェクトの周囲の境界ボックス、オブジェクトをシェーディングすること、オブジェクトを記述するテキスト、および/またはオブジェクトについての情報を示し得る任意の他のグラフィカル要素を含んでもよいが、これらに限定されない。
テレオペレータインターフェースはまた、例えば、自律車両102(1)-(2)に案内を提供するテレオペレーション命令の形態で、テレオペレータが自律車両102(1)-(2)に情報を提供することを可能にするように構成されたテレオペレータ入力デバイスを含んでもよい。例えば、テレオペレータは、命令データ136によって表される命令を第1の自律車両102(1)に提供してもよい。命令は、第1の自律車両102(1)が車両106との相互作用を「追従する」から「追従しない」に変更することを示してもよい。いくつかの例では、命令はさらに、第1の自律車両102(1)が車両106の周囲をナビゲートするために、第1の自律車両102(1)が車線を維持することを指定するポリシーなどの1つまたは複数のポリシーに従うこと(および/またはそのようなポリシーを一時的に変更すること)を、第1の自律車両102(1)が一時的に停止してもよいことがある。
第1の自律車両102(1)は、テレオペレータシステム114から命令データ136を受信することがある。命令データ136を使用して、第1の自律車両102(1)は、「追従しない」を示すように車両106との相互作用を更新することがある。加えて、いくつかの例では、第1の自律車両102(1)は、1つまたは複数のポリシーに従うことを一時的に停止してもよい(または変更してもよい)。したがって、命令に少なくとも部分的に基づいて、第1の自律車両102(1)は、車両106を迂回するためのルート138を決定することがある。車両106を迂回した後、第1の自律車両102(1)は、第1の自律車両102(1)のルート104に沿って再びナビゲートし得る。
いくつかの例では、車両106を迂回するためにルート138に沿ってナビゲートしている間に、第1の自律車両102(1)は、車両106が移動し始めるかを決定し得る。例えば、第1の自律車両102(1)は、車両106の速度が時速ゼロマイルから時速ゼロマイルを超える速度に変化したかを決定するために、センサデータ108を用いてもよい。いくつかの例では、第1の自律車両102(1)が、車両106が移動し始めると決定する場合、第1の自律車両102(1)は、ルート138に沿ってナビゲートすることを停止し得る。加えて、第1の自律車両102(1)は、「追従する」ことを含むように車両106との相互作用を再び更新し、それにより車両のノミナルな動作挙動に戻し得る。
加えて、または代替として、いくつかの例では、テレオペレータシステム114からの命令は、車両106の周囲の領域140を示すことがある。そのような例では、車両106を迂回するためにルート138に沿ってナビゲートしている間に、第1の自律車両102(1)は、車両106がエリア140の外に移動するかを決定し得る。例えば、第1の自律車両102(1)は、車両106の少なくとも一部分がエリア140の外側に移動するかを決定するために、センサデータ108を用いることがある。第1の自律車両102(1)が、車両106がエリア140の外に移動すると決定する場合、第1の自律車両102(1)は、ルート138に沿ってナビゲートすることを停止し得る。加えて、第1の自律車両102(1)は、「追従する」ことを含むように車両106との相互作用を再び更新することができる。
加えて、テレオペレータは、命令データ142によって表される命令を第2の自律車両102(2)に提供してもよい。命令は、第2の自律車両102(2)が車両124に道を譲ることを停止することを示すことがある。いくつかの例では、命令はさらに、第2の自律車両102(2)が第2の自律車両102(2)より前に交差点に到着する車両に道を譲ることを指定するポリシーなどの1つまたは複数のポリシーに従うことを、第2の自律車両102(2)が一時的に停止してもよい(または場合によっては変更してもよい)ことを示すことがある。
第2の自律車両102(2)は、テレオペレータシステム114から命令データ142を受信することがある。命令データ142を用いて、第2の自律車両102(2)は、交差点で車両124をもはや道を譲らないことを決定してもよい。加えて、いくつかの例では、第2の自律車両102(2)は、1つまたは複数のポリシーに従うのを一時的に停止してもよい。したがって、命令に少なくとも部分的に基づいて、ルート128に沿ってナビゲートする余地を車両124に提供するために、車両124がルート128に沿ってナビゲートし始める前に、第2の自律車両102(2)はルート118に沿ってナビゲートし始めてもよい。図1Bの例に示されるように、第2の自律車両102(2)がルート118に沿ってナビゲートし始めた後、車両124はルート128に沿ってナビゲートし得る。
図1Aの例は、第1の自律車両102(1)が追従を停止した車両106に基づいて、第1の自律車両102(1)の進行が妨げられるものとして説明するが、他の例では、第1の自律車両102(1)の進行は他の理由で停止してもよい。例えば、第1の自律車両102(1)は、センサデータ108を分析することがあり、その分析に基づいて、第1の自律車両102(1)は、車両106が特定のタイプのオブジェクトを含むことを決定することがある。その決定に基づいて、第1の自律車両102(1)は、進行が妨げられていると決定してもよい。第2の例では、第1の自律車両102(1)は、センサデータ108を分析することがあり、その分析に基づいて、第1の自律車両102(1)は、車両106の速度が閾値速度未満であると決定することがある。その決定に基づいて、第1の自律車両102(1)は、進行が妨げられていると決定してもよい。
図2は、本開示の実施形態による、自律車両202が渋滞中であることに少なくとも部分的に基づいて、テレオペレータに連絡しないことを決定する自律車両202を含む例示的な環境200を示す図である。例えば、自律車両202は、1車線より多い走行車線を含む道路上のルート204に沿ってナビゲートすることがある。いくつかの例では、自律車両202は、道路が2車線より多い走行車線を含むと決定するために、センサデータおよび/またはマップデータを用いてもよい。第1の例では、自律車両202は、同じ方向にある複数の走行車線を示す道路上のマーキングを識別するために、センサデータを分析することがある。第2の例では、自律車両202は、自律車両202の隣を自律車両202と同じ方向にナビゲートする別の車両を識別するために、センサデータを分析することがある。第3の例では、マップデータは、道路が複数の走行車線を含むことを示すことがある。
加えて、他の車両206(1)-(11)はそれぞれ、ルート208(1)-(11)に沿ってナビゲートしていることがある。ナビゲートしている間、自律車両202および車両206(1)-(11)は、交通渋滞に陥ることがある。例えば、自律車両202の進行は、ルート204に沿った位置で妨げられ得る。進行が妨げられていることに少なくとも部分的に基づいて、自律車両202は、テレオペレータに連絡するかを決定してもよい。
例えば、自律車両202は、閾値時間量の間進行が妨げられたと決定することがある。次いで、自律車両202は、交通量によって進行が妨げられているかを決定することがある。いくつかの例では、交通によって進行が妨げられたかを決定するために、自律車両202は、自律車両202の近くに位置するおよび/または自律車両202が追従している車両206(10)の近くに位置する少なくとも1つの他の車両についての進行も妨げられたと決定してもよい。
例えば、自律車両202は、第1の車線210(1)内をナビゲートしていることがある。自律車両202は、第2の車線210(2)に位置する車両206(2)の進行、第2の車線210(2)に位置する車両206(6)の進行、第2の道路車線210(2)に位置する車両206(9)の進行、第3の道路車線210(3)に位置する車両206(4)の進行、第3の道路車線210(3)に位置する車両206(7)の進行、および/または第3の道路車線210(3)に位置する車両206(11)の進行も妨げられていると決定することがある。決定に少なくとも部分的に基づいて、自律車両202は、交通量によって進行が妨げられていると決定してもよい。したがって、自律車両202は、たとえ自律車両202の進行が閾値時間量の間妨げられたとしても、テレオペレータに連絡しないと決定してもよい。
図3は、本開示の実施形態による、交通信号機304によって妨げられる自律車両302の進行に少なくとも部分的に基づいて、テレオペレータに連絡しないことを決定する自律車両302を含む例示的な環境300を示す図である。例えば、自律車両302は、ルート306に沿ってナビゲートすることがある。加えて、他の車両308(1)-(4)はそれぞれ、ルート310(1)-(4)に沿ってナビゲートすることがある。ナビゲートしている間、自律車両302がやはり停止した車両308(1)に道を譲ることに少なくとも部分的に基づいて、自律車両302の進行が妨げられることがある。例えば、交通信号機304が赤色であるため、車両308(1)は停止していることがある。進行が妨げられていることに少なくとも部分的に基づいて、自律車両302は、テレオペレータに連絡するかを決定してもよい。
例えば、自律車両302は、進行が閾値時間量の間妨げられたと決定することがある。次いで、自律車両302は、進行が交通信号機304によって妨げられているかを決定することがある。いくつかの例では、進行が交通信号機304によって停止しているかを決定するために、自律車両302は、自律車両302によって生成されたセンサデータを分析してもよい。分析に少なくとも部分的に基づいて、自律車両302は、交通信号機304を識別し、交通信号機304が現在赤色であると決定することがある。したがって、自律車両302は、進行が信号機304によって妨げられていると決定することがある。いくつかの例では、信号機304によって進行が妨げられるので、自律車両302は、たとえ進行が閾値時間の間妨げられたとしても、テレオペレータに連絡しないことを決定してもよい。
しかしながら、同様の例では、そのような環境300が交通信号機を欠いている場合、自律車両302は、4方向一時停止の十字路を通って進む方法を指示する一般的な慣行または法律に基づいて、進む方法について推論してもよい(例えば、接近の順序に基づいて、および/または右側への車両に道を譲るようにしてもよい)。そのような例では、自律車両302が、閾値時間量以上の時間期間にわたって別の車両(例えば、車両308(4))に(ポリシーに従って)道を譲っている場合、自律車両302は、案内のためにテレオペレータに信号を送信してもよい。
図4は、本開示の実施形態による、本明細書で説明される技法を実装するための例示的なシステム400を示すブロック図である。少なくとも1つの例では、システム400は、車両402(第1の自律車両102(1)、第2の自律車両102(2)、自律車両202、および/または自律車両302を表し得る、および/またはそれらと同様であり得る)を含むことが可能である。車両402は、車両コンピューティングデバイス404、1つまたは複数のセンサシステム406、1つまたは複数のエミッタ408、1つまたは複数の通信接続410、少なくとも1つの直接接続412、および1つまたは複数の駆動モジュール414を含むことが可能である。
車両コンピューティングデバイス404は、1つまたは複数のプロセッサ416と、1つまたは複数のプロセッサ416に通信可能に結合されたメモリ418とを含むことが可能である。図示した例では、車両402は自律車両である。しかしながら、車両402は、任意の他のタイプの車両(例えば、手動運転車両、半自律車両など)、または少なくとも画像キャプチャデバイスを有する任意の他のシステムであってもよい。図示した例では、車両コンピューティングデバイス404のメモリ418は、位置特定コンポーネント420、知覚コンポーネント422、プランニングコンポーネント424、進行コンポーネント426、条件コンポーネント428、テレオペレータコンポーネント430、1つまたは複数のシステムコントローラ432、および1つまたは複数のマップ434を記憶する。説明のためにメモリ418内に常駐するものとして図4に示されているが、位置特定コンポーネント420、知覚コンポーネント422、プランニングコンポーネント424、進行コンポーネント426、条件コンポーネント428、テレオペレータコンポーネント430、1つまたは複数のシステムコントローラ432、および/または1つまたは複数のマップ434は、さらに、または代替として、車両402にアクセス可能である(例えば、車両402からリモートにあるメモリに記憶されるか、またはさもなければそれにアクセス可能である)ことが企図される。
少なくとも1つの例では、位置特定コンポーネント420は、センサシステム406からセンサデータ436(センサデータ108および/またはセンサデータ122を表し得る、および/またはそれらに同様であり得る)を受信し、車両402の位置および/または向き(例えば、x位置、y位置、z位置、ロール、ピッチ、またはヨーのうちの1つまたは複数)を決定する機能を含み得る。例えば、位置特定コンポーネント420は、環境のマップを含みおよび/または要求/受信し得るし、マップ内の車両402の位置および/または向きを連続的に決定し得る。いくつかの例では、車両402の位置を正確に決定するに、位置特定コンポーネント420は、SLAM(simultaneous localization and mapping)、CLAMS(calibration,localization and mapping, simultaneously)、相対的SLAM、バンドル調整、非線形最小2乗最適化などを利用して、画像データ、LIDARデータ、RADARデータ、IMUデータ、GPSデータ、ホイールエンコーダデータなどを受信することが可能である。いくつかの例では、位置特定コンポーネント420は、本明細書で説明されるように、候補軌道を生成するための車両402の初期位置を決定するために、車両402の様々なコンポーネントにデータを提供することが可能である。
いくつかの例では、知覚コンポーネント422は、オブジェクト検出、セグメンテーション、および/または分類を実行する機能を含むことが可能である。いくつかの例では、知覚コンポーネント422は、車両502に近接するオブジェクトの存在、および/またはオブジェクトタイプ(例えば、車、歩行者、サイクリスト、動物、建築物、木、路面、縁石、歩道、不明など)としてのオブジェクトの分類を示す処理されたセンサデータ436を提供することが可能である。追加および/または代替の例では、知覚コンポーネント422は、検出されたオブジェクトおよび/またはオブジェクトが位置する環境に関連する1つまたは複数の特性を示す処理されたセンサデータ436を提供することが可能であるいくつかの例では、オブジェクトに関連付けられた特性は、x位置(グローバル位置)、y位置(グローバル位置)、z位置(グローバル位置)、向き(例えば、ロール、ピッチ、ヨー)、オブジェクトタイプ(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲(サイズ)などを含むことが可能であるが、これらに限定されない。環境に関連する特性は、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時刻、曜日、季節、気象条件、暗さ/明るさの表示などを含むことが可能であるが、これらに限定されない。
一般に、プランニングコンポーネント424は、環境を横断するために車両402が追従するルートを決定することが可能である。例えば、プランニングコンポーネント424は、様々なルートおよび軌道ならびに様々な詳細レベルを決定することが可能である。例えば、プランニングコンポーネント424は、第1の位置(例えば、現在位置)から第2の位置(例えば、ターゲット位置)まで移動するルートを決定することが可能である。この説明の目的のために、ルートは、2つの位置間を移動するための一連のウェイポイントとすることが可能である。非限定的な例として、ウェイポイントは、通り、交差点、GPS(global positioning system)座標などを含む。さらに、プランニングコンポーネント424は、第1の位置から第2の位置までのルートの少なくとも一部に沿って車両402を案内するための命令を生成することが可能である。少なくとも1つの例では、プランニングコンポーネント424は、一連のウェイポイント内の第1のウェイポイントから一連のウェイポイント内の第2のウェイポイントに車両402を案内する仕方を決定することが可能である。いくつかの例では、後退ホライズン技法に従って、複数の軌道を実質的に同時に(例えば、技術的許容範囲内で)生成することを可能にし、車両402がナビゲートするために複数の軌道のうちの1つが選択される。
少なくとも1つの例において、プランニングコンポーネント424は、位置に関連付けられたピックアップ位置を決定することが可能である。本明細書で用いられているように、ピックアップ位置は、車両402が停止して乗客をピックアップすることが可能である位置(例えば、住所、または配車要求に関連付けられた位置)の閾値距離内の特定の位置(例えば、駐車スペース、乗車区域、地面の一部など)とすることが可能である。少なくとも1つの例では、プランニングコンポーネント424は、(例えば、本明細書で説明されるように、画像認識を介して決定される、またはユーザデバイスからの指示として受信される)ユーザIDを決定することに少なくとも部分的に基づいて、ピックアップ位置を決定することが可能である。ピックアップ位置への到着、目的地への到着、乗客による車両への乗り込み、および「乗車開始」コマンドの受信は、イベントベースのデータロギングのために使用され得るイベントの追加例である。
いくつかの例では、プランニングコンポーネント424は、車両402が他の車両などのオブジェクトにいつ道を譲るべきかを決定するための機能をさらに含むことが可能である。例えば、プランニングコンポーネント424は、車両402がオブジェクトにいつ道を譲るべきかを決定するためにポリシーデータ438を用いてもよい。ポリシーデータ438は、車両402がナビゲートするときに従うべき1つまたは複数のポリシーを表し得る。1つまたは複数のポリシーは、車両402の前に交差点に到着する他の車両に道を譲るポリシー、道路車線内を走行するポリシー、車線を変更する方法に関するポリシー、停止方法に関するポリシー、車両402が他車の直後を走行すべきでないポリシーなどを含み得るが、これらに限定されない。したがって、プランニングコンポーネント424は、他の車両が車両402の前に交差点に到着したとき、車両402が別の車両に道を譲るべきであると決定し得る。加えて、プランニングコンポーネント424は、2台の他の車両が車両402の前に交差点に到着するとき、車両が2台の他の車両に道を譲るべきであると決定し得る。
いくつかの例では、プランニングコンポーネント424は、車両402と車両などのオブジェクトとの間の相互作用を決定する機能をさらに含むことが可能である。例えば、プランニングコンポーネント424は、車両402とオブジェクトとの間の相互作用を決定するために相互作用データ440を用いてもよい。相互作用データ440は、車両402の軌道に沿って位置するオブジェクトに追従する相互作用、車両402の軌道に沿って位置しないオブジェクトに追従しない相互作用、車両402が追従するオブジェクトに道を譲る相互作用などの1つまたは複数の相互作用を表し得るが、これらに限定されない。いくつかの例では、追従することは、車両402とオブジェクトとの間の最小距離を維持するために車両402の縦方向制御(例えば、速度および/または加速度)を変化させることを伴うことがあり、最小距離は、車両402とオブジェクトとの間の相対距離および/または速度に少なくとも部分的に基づき得る。したがって、プランニングコンポーネント424は、他の車両が車両402の軌道内に位置するとき、車両402が別の車両に追従すべきであると決定し得る。
いくつかの例では、プランニングコンポーネント424は、インジケータデータ442を生成する機能をさらに含むことが可能であり、インジケータデータ442は、車両402が現在道を譲っているオブジェクトおよび/または車両402が追従しているオブジェクトを表す。いくつかの例では、プランニングコンポーネント424は、車両402がオブジェクトに道を譲っていると知覚コンポーネントが決定するたびに、および/または車両402がオブジェクトを追従しているとプランニングコンポーネント424が決定するたびに、インジケータデータ442を生成し得る。他の例では、車両402がテレオペレータに連絡することを決定したとき、プランニングコンポーネント424はインジケータデータ442を生成し得る。
いくつかの例では、プランニングコンポーネント424は、車両402をナビゲートする方法を決定するために、テレオペレータシステム114によって送信された命令データ446を用いる機能を含む。第1の例では、命令データ446は、オブジェクトに道を譲ることを停止する命令を表すことがある。命令データ446に少なくとも部分的に基づいて、プランニングコンポーネント424は、車両402にオブジェクトに道を譲ることを停止させ、および/または車両402をナビゲートするためのルートを決定し得る。第2の例では、命令データ446は、1つまたは複数のポリシーに従うことを一時的に停止する命令を表すことがある。命令データ446に少なくとも部分的に基づいて、プランニングコンポーネント424は、車両402に、1つまたは複数のポリシーに従うことを一時的に停止させ、および/または車両402をナビゲートするためのルートを決定し得る。第3の例では、命令データ446は、オブジェクトとの相互作用を「追従する」から「もはや追従しない」に変更する命令を表すことがある。命令データ446に少なくとも部分的に基づいて、プランニングコンポーネント424は、車両402に、オブジェクトとの相互作用を変更させ、および/またはオブジェクトの周囲をナビゲートするためのルートを決定し得る。
進行コンポーネント426は、車両402の進行がいつ妨げられたかを決定する機能を含むことが可能である。いくつかの例では、進行コンポーネント426は、車両402が移動していない(例えば、車両402の速度が時速ゼロマイルである)ときに車両402の進行が妨げられたと決定してもよい。加えて、または代替として、いくつかの例では、進行コンポーネント426は、車両402が所与の時間内に所与の距離だけしかナビゲートしていないときに車両402の進行が妨げられたと決定してもよい。加えて、または代替として、いくつかの例では、進行コンポーネント426は、車両402の現在の速度が閾値速度を下回るときに車両402の進行が妨げられたと決定してもよい。
進行コンポーネント426は、車両402の進行がオブジェクトによっていつ妨げられるかを決定する機能を含むことが可能である。いくつかの例では、進行コンポーネント426は、車両402が環境内に位置する特定のタイプのオブジェクトを識別するとき、車両402の進行が妨げられ得ると決定してもよい。いくつかの例では、進行コンポーネント426は、車両402が環境内で発生する特定のシナリオを識別するとき、車両402の進行が妨げられ得ると決定してもよい。シナリオは、車両402の走行車線に合流する別の車両、(以下で説明する)閾値速度を下回る速度でナビゲートする別の車両、車両402のルートに沿って発生する事故などを含み得るが、これらに限定されない。
いくつかの例では、進行コンポーネント426は、閾値データ444によって表され得る閾値時間量にわたって車両402の進行がいつ妨げられたかを決定する機能をさらに含むことが可能である。加えて、または代替として、いくつかの例では、進行コンポーネント426は、車両402が閾値時間量の間にいつオブジェクトに道を譲るかを決定する機能を含むことが可能である。本明細書で説明されるように、閾値時間量は、3秒、30秒、1分、3分、および/または任意の他の時間期間を含み得るが、これらに限定されない。
条件コンポーネント428は、1つまたは複数の介在条件がいつ車両402の進行を妨げているかを決定する機能を含むことが可能である。本明細書で説明されるように、介在条件は、車両402が交通渋滞に陥っていること、車両402が交通信号機のために妨げられていることなどを含み得るが、これらに限定されない。
テレオペレータコンポーネント430は、いつテレオペレータに連絡するかを決定する機能を含むことが可能である。いくつかの例では、テレオペレータコンポーネント430は、車両402の進行が閾値時間量にわたって妨げられた場合に、テレオペレータに連絡することを決定する。いくつかの例では、テレオペレータコンポーネント430は、車両402の進行が閾値時間量にわたって妨げられており、且つ車両402の進行を妨げる介在条件が発生していない場合に、テレオペレータに連絡することを決定する。さらに、いくつかの例では、テレオペレータコンポーネント430は、車両の進行が特定のタイプのオブジェクトまたは特定のシナリオによって妨げられた場合に、テレオペレータに連絡することを決定する。いずれの例においても、テレオペレータに連絡することを決定した後、テレオペレータコンポーネント430は、車両402にセンサデータ436の少なくとも一部をテレオペレータシステム114に送信させる機能を含むことが可能である。加えて、いくつかの例では、テレオペレータコンポーネント430は、車両402にインジケータデータ442をテレオペレータシステム114に送信させる機能を含むことが可能である。
少なくとも1つの例において、車両コンピューティングデバイス404は、車両402の操舵、推進、制動、安全、エミッタ、通信、および他のシステムを制御するように構成されることが可能である1つまたは複数のシステムコントローラ432を含むことが可能である。これらのシステムコントローラ432は、駆動モジュール212の対応するシステムおよび/または車両402の他のコンポーネントと通信し、および/またはそれらを制御することが可能である。
メモリ418は、環境内でナビゲートするために車両402によって用いられることが可能である1つまたは複数のマップ434をさらに含むことが可能である。この説明のために、マップは、(交差点などの)トポロジー、街路、山脈、道路、地形、および一般的な環境などの環境についての情報を提供することが可能な、2次元、3次元、またはN次元でモデル化された任意の数のデータ構造であることが可能であるが、これらに限定されない。いくつかの事例では、マップは、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)など)、強度情報(例えば、LIDAR情報、RADAR情報など)、空間情報(例えば、メッシュ上に投影された画像データ、個々の「表面要素」(例えば、個々の色および/または強度に関連するポリゴン))、反射率情報(例えば、鏡面度情報、再帰反射性情報、BRDF情報、BSSRDF情報など)を含むことが可能であるが、これらに限定されない。一例では、マップは、環境の3次元メッシュを含むことが可能である。いくつかの例では、マップの個々のタイルが環境の別個の部分を表し、必要に応じて作業メモリにロードされることが可能であるように、マップはタイル形式で記憶されることが可能である。少なくとも1つの例では、1つまたは複数のマップ434は、少なくとも1つのマップ(例えば、画像および/またはメッシュ)を含むことが可能である。いくつかの例では、車両402は、マップ434に少なくとも部分的に基づいて制御されることが可能である。すなわち、マップ434は、車両402の位置を決定し、環境内のエンティティを識別し、および/または環境内でナビゲートするためのルートおよび/または軌道を生成するために、位置特定コンポーネント420、知覚コンポーネント422、および/またはプランニングコンポーネント424と関連して用いられることが可能である。
いくつかの例では、本明細書で説明されるコンポーネントの一部または全ての態様は、任意のモデル、アルゴリズム、および/または機械学習アルゴリズムを含むことが可能である。例えば、いくつかの例では、メモリ418内のコンポーネントは、ニューラルネットワークとして実装されることが可能である。本明細書に説明されるように、例示的なニューラルネットワークは、入力データを一連の接続されたレイヤー中を通過させて出力を生成する生物学的に着想されたアルゴリズムである。ニューラルネットワーク内の各レイヤーは、(畳み込みであるか否かにかかわらず)別のニューラルネットワークを含むことも可能であり、または任意の数のレイヤーを含むことも可能である。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、学習されたパラメータに少なくとも部分的に基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指し得る機械学習を利用することが可能である。
ニューラルネットワークの文脈で説明したが、本開示に合致する任意のタイプの機械学習を使用することが可能である。例えば、機械学習アルゴリズムは、回帰アルゴリズム(例えば、OLSR(ordninary least squares regression)、線形回帰、ロジスティック回帰、段階的回帰、MARS(multivariate adaptive regression splines)、LOESS(locally estimated scatterplot smoothing)、インスタンスベースのアルゴリズム(例えば、リッジ回帰、LASSO(least absolute shrinkage and selection operator)、弾性ネット、LARS(least-angle regression)、決定ツリーアルゴリズム(例えば、CART(classification and regression tree)、ID2(iterative dichotomiser 2)、CHAID(Chi-squared automatic iteration detection)、決定スタンプ、条件付き決定ツリー)、ベイジアンアルゴリズム(例えば、単純ベイズ、ガウシアン単純ベイズ、多項単純ベイズ、AODE(average one-dependence estimators)、BNN(Bayesian belief network)、ベイジアンネットワーク)、クラスタリングアルゴリズム(例えば、k平均、k中央値、EM(expectation maximization)、階層クラスタリング)、関連付けルール学習アルゴリズム(例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、RBFN(Radial Basis Function Network)、深層学習アルゴリズム(例えば、DBM(Deep Boltzmann Machine)、DBN(Deep Belief Networks)、CNN(Convolutional neural Network)、積層自動エンコーダ)、次元削減アルゴリズム(例えば、PCA(Principal Component Analysis)、PCR(Principal Component Regression)、PLSR(Partial Least Squares Regression)、サモンマッピング、MDS(Multidimensional Scaling)、射影追跡、LDA(Linear Discriminant Analysis)、MDA(Mixture Discriminant Analysis)、QDA(Quadratic Discriminant Analysis)、FDA(Flexible Discriminant Analysis))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップアグリゲーション(バギング)、アダブースト、積層一般化(ブレンディング)、GBM(Gradient Boosting Machines)、GBRT(Gradient Boosted Regression Trees)、ランダムフォレスト)、SVM(support vector machine)、教師あり学習、教師なし学習、半教師あり学習などを含むことが可能であるが、これらに限定されない。
アーキテクチャの追加の例は、ResNet70、ResNet101、VGG、DenseNet、PointNetなどのニューラルネットワークを含む。
上述したように、少なくとも1つの例では、センサシステム406は、LIDARセンサ、RADARセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ(例えば、GPS、コンパスなど)、慣性センサ(例えば、慣性計測ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深度、飛行時間など)、マイクロフォン、ホイールエンコーダ、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサなど)等を含むことが可能である。センサシステム406は、これらまたは他のタイプのセンサのそれぞれの複数のインスタンスを含むことが可能である。例えば、LIDARセンサは、車両402のコーナー、前部、後部、側面、および/または上部に配置された個々のLIDARセンサを含むことが可能である。別の例として、カメラセンサは、車両402の外部および/または内部の周囲の様々な位置に配置された複数のカメラを含むことが可能である。センサシステム406は、入力を車両コンピューティングデバイス404に提供することが可能である。加えて、または代替として、センサシステム406は、所定時間の経過後、1つまたは複数の条件の発生に応じて、ほぼリアルタイムで、特定の周波数で、1つまたは複数のネットワーク450を介して、センサデータ436を制御システム448に送信することが可能である。
上述したように、車両402はまた、光および/または音を放射するための1つまたは複数のエミッタ408を含むことが可能である。この例におけるエミッタ408は、車両402の乗客と通信するための内部オーディオおよびビジュアルエミッタを含む。非限定的な例として、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ(例えば、振動および/または力のフィードバック)、機械的アクチュエータ(例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど)等を含むことが可能である。この例におけるエミッタ408はまた、外部エミッタを含む。非限定的な例として、この例における外部エミッタは、進行方向または車両動作の他のインジケータ(例えば、インジケータライト、サイン、ライトアレイなど)を信号で伝えるライト、および歩行者または他の近くの車両と可聴的に通信する1つまたは複数のオーディオエミッタ(例えば、スピーカー、スピーカーアレイ、ホーンなど)を含み、それらのうちの1つまたは複数は、音響ビームステアリング技術を含む。
車両402はまた、車両402と1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする1つまたは複数の通信接続410を含むことが可能である。例えば、通信接続410は、車両402および/または駆動モジュール414上の他のローカルコンピューティングデバイスとの通信を容易にすることを可能にする。また、通信接続410は、車両402が他の近くのコンピューティングデバイス(例えば、他の近くの車両、交通信号機など)と通信することを可能にする。通信接続410はまた、車両402がテレオペレータコンピューティングデバイス(例えば、テレオペレータシステム114)または他のリモートサービスと通信することを可能にする。
通信接続410は、車両コンピューティングデバイス404を別のコンピューティングデバイスまたはネットワーク450などのネットワークに接続するための物理的および/または論理的インターフェースを含むことが可能である。例えば、通信接続410は、IEEE802.11規格によって定義された周波数、Bluetooth(登録商標)などの短距離無線周波数、セルラー通信(例えば、2G、2G,4G、4GLTE、5Gなど)、またはそれぞれのコンピュータデバイスが他のコンピューティングデバイスとインターフェースをとることを可能にする任意の適切な有線通信プロトコルまたは無線通信プロトコルなどを介したWi-Fi(登録商標)ベースの通信を可能にする。
少なくとも1つの例では、車両402は、1つまたは複数の駆動モジュール414を含むことが可能である。いくつかの例では、車両402は、単一の駆動モジュール414を有することが可能である。少なくとも1つの例では、車両402が複数の駆動モジュール414を有する場合、個々の駆動モジュール414を車両402の対向する端部(例えば、前部および後部など)に配置することが可能である。少なくとも1つの例では、駆動モジュール414は、駆動モジュール414および/または車両402の周囲の条件を検出するために、1つまたは複数のセンサシステムを含むことが可能である。非限定的な例として、センサシステム406は、駆動モジュールの車輪の回転を感知するための1つまたは複数のホイールエンコーダ(例えば、ロータリーエンコーダ)と、駆動モジュールの向きおよび加速度を測定するための慣性センサ(例えば、慣性計測ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサ、駆動モジュールの周囲のエンティティを音響的に検出するための超音波センサ、LIDARセンサ、RADARセンサなどを含むことが可能である。ホイールエンコーダのようないくつかのセンサは、駆動モジュール414に対して固有であってもよい。場合によっては、駆動モジュール414上のセンサシステム406は、車両402の対応するシステム(例えば、センサシステム406)と重複するか、または補足することが可能である。
駆動モジュール414は、高電圧バッテリ、車両402を推進するためのモータ、他の車両システムが使用するためにバッテリからの直流電流を交流電流に変換するためのインバータ、(電気式とすることが可能である)ステアリングモータおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧コンポーネントおよび/または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するためにブレーキ力を分散させるための安定性制御システム、HVACシステム、照明(例えば、車両の外部周辺を照明するためのヘッド/テールライトなどの照明)、および1つまたは複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気構成要素)を含む多くの車両システムを含むことが可能である。加えて、駆動モジュール414は、センサシステム406からセンサデータ436を受信して前処理し、様々な車両システムの動作を制御することが可能である駆動モジュールコントローラを含むことが可能である。いくつかの例では、駆動モジュールコントローラは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことが可能である。メモリは、駆動モジュール414の様々な機能を実行するために1つまたは複数のモジュールを格納することが可能である。さらに、駆動モジュール414はまた、1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとのそれぞれの駆動モジュールによる通信を可能にする1つまたは複数の通信接続を含む。
少なくとも1つの例では、直接接続412は、1つまたは複数の駆動モジュール414を車両402の本体と結合するための物理的インターフェースを提供することが可能である。例えば、直接接続412は、駆動システム414と車両402との間のエネルギー、流体、空気、データなどの伝達を可能にすることができる。いくつかの例では、直接接続412はさらに、車両402の本体に駆動システム414を取り外し可能に固定することが可能である。
図4にさらに示されるように、制御システム448は、プロセッサ452、通信接続454、およびメモリ456を含むことが可能である。車両402のプロセッサ416および/または制御システム448のプロセッサ452(および/または本明細書に記載される他のプロセッサ)は、データを処理し、本明細書に記載される動作を行う命令を実行することができる任意の好適なプロセッサとすることが可能である。非限定的な例として、プロセッサ416および452は、1つまたは複数の中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、または電子データを処理してその電子データをレジスタおよび/またはメモリに記憶されることが可能な他の電子データに変換する任意の他のデバイスまたはデバイスの一部を含むことが可能である。いくつかの例では、集積回路(例えば、ASICなど)、ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスもまた、それらが符号化された命令を実装するように構成される限り、プロセッサと考慮されることが可能である。
メモリ418およびメモリ456(および/または本明細書で説明される他のメモリ)は、非一時的コンピュータ可読媒体の例である。メモリ418およびメモリ456は、本明細書で説明される方法および様々なシステムに起因する機能を実装するためのオペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを記憶することが可能である。様々な実装形態では、メモリは、SRAM(static random access memory)、SDRAM(synchronous dynamic random access memory)、不揮発性メモリ/フラッシュタイプメモリ、または情報を記憶することが可能な任意の他のタイプのメモリなどであり、任意の適切なメモリ技術を使用して実装されることが可能である。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的コンポーネントを含むことが可能であり、添付の図面に示されたものは、本明細書での説明に関連する例にすぎない。
図4は分散システムとして示されているが、代替例では、車両402のコンポーネントを制御システム448に関連付けることが可能であり、および/または制御システム448のコンポーネントを車両402に関連付けることが可能であることに留意されたい。すなわち、車両402は、制御システム448に関連付けられた機能のうちの1つまたは複数を実行することが可能であり、その逆も同様である。
図5は、車両502の車両群およびテレオペレータシステム114を含む例示的なアーキテクチャ500を示す。例示的な車両群502は、1台または複数の車両(例えば、車両402)を含み、その少なくとも一部は、車両の通信接続を介してテレオペレータシステム114に通信可能に結合される。テレオペレータシステム114に関連付けられたテレオペーション受信機504およびテレオペレーション送信機506は、車両のそれぞれの通信接続に通信可能に結合されてもよい。例えば、車両402は、通信接続410を介して通信信号を送信することができ、通信信号は、テレオペレーション受信機504によって受信される。いくつかの例では、通信信号は、例えば、センサデータ436、インジケータデータ442、動作状態データ、および/または任意のデータを含んでいてもよく、および/または車両402mの1つまたは複数のコンポーネントから出力され得る。いくつかの例では、センサデータ436は、生のセンサデータおよび/またはセンサデータの表現(例えば、境界ボックス)などの動作状態データのサブセットなどの処理されたセンサデータを含み得る。いくつかの例では、通信信号は、上記で説明された動作状態データおよび/または任意の他の導出されたデータ(プラニング制御など)のサブセットを含み得る。いくつかの例では、車両402からの通信信号は、テレオペレータシステム114への支援の要求を含み得る。
図5に示すように、“SAE”(situational awareness engine)508は、車両402から通信信号を取得し、それらの少なくともサブセットをテレオペレーションインターフェース510に中継し得る。加えて、または代替として、SAE508は、テレオペレーションインターフェース510を介して生成された信号を取得し、それらをテレオペレーションネットワーク512に中継し、および/またはそれらの少なくともサブセットを、遠隔操作送信機506を介して車両群502の1台または複数の車両に送信し得る。加えて、または代替として、SAE508は、テレオペレーションネットワーク512から信号を取得し、それらの少なくともサブセットを、テレオペレーションインターフェース510および/またはテレオペレーション送信機506に中継し得る。いくつかの例では、テレオペレーションインターフェース510は、車両群502と直接通信し得る。
いくつかの例では、SAE508は、テレオペレーションインターフェース510を含むデバイスとは分離されたデバイス上に実装することが可能である。例えば、SAE508は、ゲートウェイデバイスおよび“API”(application programing interface)または同様のインターフェースを含むことが可能である。いくつかの例では、SAE508は、例えば、FSM、ANN、および/またはDAGなどのアプリケーションインターフェースおよび/またはモデルを含む。いくつかの例では、SAE508は、本明細書で説明される1つまたは複数の要素(例えば、車両402、車両群502、および/または他のテレオペレーションインターフェース)から受信したデータの提示構成、および/または1台または複数の車両に案内を提供するためにテレオペレータに提示する入力オプション(例えば、車両によって決定された軌道を確認する表示されたボタンを選択するオプション)を決定するように構成される。
いくつかの例では、テレオペレーション受信機504は、SAE508を介してテレオペレーションインターフェース510に通信可能に結合してもよく、またいくつかの例では、テレオペレータ514は、テレオペレーションインターフェース510を介して車両402から受信した通信信号内のセンサデータ436、インジケータデータ442、動作状態データ、および/または任意の他のデータにアクセスすることが可能である。いくつかの例では、テレオペレータ514は、入力デバイスを介してセンサデータ436、インジケータデータ442、動作状態データ、および/または他のデータに選択的にアクセスし、1つまたは複数のディスプレイを介して選択されたデータを見ることが可能である。いくつかの例では、そのような選択的アクセスは、テレオペレーション送信機506を介して車両402からデータの要求を送信することを含むことが可能である。いくつかの例では、SAE508は、テレオペレーションインターフェース510を介してテレオペレータ514にデータのサブセットまたは表現を提示し得る。非限定的な例として、SAE508は、単純化した画像表現、境界ボックス、オブジェクトの方角および速度を示す矢印、オブジェクトを表すアイコン、センサデータのカラー化、またはテレオペレータ514による解釈を簡略化し得るデータの他の表現を作成し得る。
示される例では、テレオペレータシステム114はまた、2つ以上のテレオペレーションインターフェース510とそれぞれのテレオペレータ514との間の通信、および/またはテレオペレーションデータ516との通信を提供するように構成されたテレオペレーションネットワーク512を含む。例えば、テレオペレータシステム114は、複数のテレオペレーションインターフェース510およびそれぞれのテレオペレータ514を含んでもよく、テレオペレータ514は、車両群502に提供される案内を促進および/または調整するために、テレオペレーションネットワーク512を介して互いに通信してもよい。いくつかの例では、車両群502からの各車両に割り当てられたテレオペレータ514が存在してもよく、いくつかの例では、テレオペレータ514は、車両群502の1台より多い車両に割り当てられてもよい。いくつかの例では、複数のテレオペレータ514が単一の車両に割り当てられてもよい。いくつかの例では、テレオペレータ514は、車両群502の特定の車両に割り当てられなくてもよいが、代わりに、例えば、特定のタイプのイベントに遭遇した車両および/または車両のイベントへの遭遇に関連付けられた緊急度のレベルに少なくとも部分的に基づく車両に案内を提供してもよい。いくつかの例では、イベントに関連付けられたデータおよび/またはテレオペレータ514によって提供される案内は、テレオペレータシステム114、例えば、テレオペレーションデータ516のための記憶装置内に記憶されてもよく、および/または他のテレオペレータ514にアクセスされてもよい。
いくつかの例では、テレオペレーションデータ516は、車両402に案内を提供する際に用いるために、例えば、テレオペレーションインターフェース510を介して、テレオペレータ514によってアクセス可能であってもよい。例えば、テレオペレーションデータ516は、道路網に関連するグローバルおよび/またはローカルマップデータ、道路網に関連するイベント、および/または、例えば交通量、気象条件、建設区域、および/または特別なイベントによる道路網に関連する移動条件を含み得る。いくつかの例では、テレオペレーションデータ516は、例えば、保守およびサービス情報、および/または例えば、車両402に関連付けられたイベント履歴、ルート履歴、占有履歴、および車両402に関連付けられた他のタイプのデータを含む操作履歴など、車両群502の1台または複数の車両に関連付けられたデータを含み得る。
いくつかの例では、テレオペレータ514および/またはテレオペレーションインターフェース510は、クレデンシャル518と関連付けられ得る。例えば、テレオペレーションインターフェース510でセッションをアクティブ化するために、テレオペレータシステム114は、テレオペレータ514に、クレデンシャル518を用いて認証することを要求し得る。いくつかの例では、クレデンシャル518は、特定のテレオペレーションインターフェース510に固有であってもよい。いくつかの例では、動作状態データの特定の並べ替え(例えば、いくつかのイベント)および/または特定のテレオペレーションオプションによる支援を求める要求は、高められたクレデンシャル518(例えば、より大きい許可を有するクレデンシャル)を有するテレオペレーションインターフェース510による解決を必要とし得る。例えば、テレオペレータ514が、テレオペレーションインターフェース510で、1台の車両だけではなく車両群502全体に影響を及ぼすアクションを選択する場合、そのアクションは、確認、修正、および/または拒否のために関連付けられる高められたクレデンシャルを有する第2のテレオペレーションインターフェース510に送信することが可能である。高められたレベルのクレデンシャルに関連付けられた要求および/または動作状態データは、要求を中継すべきテレオペレーションインターフェース510を決定するのに用いることが可能である。いくつかの例では、SAE508は、1つのテレオペレーションインターフェース510ではなく、複数のテレオペレーションインターフェース510に、高められたレベルのクレデンシャルに関連付けられた要求および/または動作状態データを中継することが可能である。
図6は、本開示の実施形態による、オブジェクトに道を譲る車両402を示す第1の例示的なユーザインターフェース602を示す図である。図示されるように、ユーザインターフェース602は、車両402が位置する環境に関する情報を示す4つの部分604(1)-(4)を含む。例えば、ユーザインターフェース604の第1の部分602(1)は、車両402の上方から撮られたかのようにレンダリングされた第1のビデオを含み、ユーザインターフェース604の第2の部分602(2)は、車両402の側方から撮られたかのようにレンダリングされた第2のビデオを含み、ユーザインターフェース604の第3の部分602(3)は、車両402の第1のカメラによってキャプチャされた第3のビデオを含み、ユーザインターフェース604の第4の部分602(4)は、車両402の第2のカメラによってキャプチャされた第4のビデオを含む。図6の例は、4つの部分602(1)-(4)を含むものとしてユーザインターフェース602を示すが、他の例では、ユーザインターフェース604は、任意の数の部分を含んでもよい。
図示されるように、ユーザインターフェース602の部分604(1)-(2)は、車両402の描写を含む。いくつかの例では、ユーザインターフェース602の部分604(1)-(2)のうちの1つまたは複数は、車両402を示すグラフィカル要素を含み得る。グラフィカル要素は、車両402の周囲の境界ボックス、車両402の陰影、車両402を説明するテキスト、および/または車両402を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ514は、車両402が環境内のどこに位置するかを容易に識別することが可能である。
加えて、ユーザインターフェース602の部分604(1)-(4)は、図6の例では交差点内に少なくとも部分的に駐車されたクレーンを含む、車両402が道を譲っているオブジェクト606の描写を含む。いくつかの例では、ユーザインターフェース602の部分604(1)-(4)のうちの1つまたは複数は、オブジェクト606を示すグラフィカル要素を含み得る。グラフィカル要素は、オブジェクト606の周囲の境界ボックス、オブジェクト606の陰影、オブジェクト606を説明するテキスト、および/またはオブジェクト606を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ514は、車両402が道を譲っているオブジェクト606を容易に識別することが可能である。
いくつかの例では、テレオペレータ514は、ユーザインターフェース602を用いてオブジェクト606を選択することが可能である。次いで、テレオペレータ514は、車両402がどのように進行すべきかについての命令を提供するために、ユーザインターフェース602を用いることが可能である。例えば、遠隔操作者514は、車両402に、もはやオブジェクト606に道を譲らないように命令するために、ユーザインターフェース602を用いることが可能である。これは、図6の例では、交差点内に少なくとも部分的に駐車されたオブジェクト606が車両402のルートを妨げているからである。したがって、車両402は、オブジェクト606の周囲をナビゲートするために、オブジェクト606に道を譲るのを停止しなければならないことがある。
車両402は、テレオペレータシステム114から命令を受信し、命令に従って進行し得る。例えば、車両402は、オブジェクト606に道を譲ることを停止することを決定し、および/またはオブジェクト606に関する1つまたは複数のポリシーに従うことを一時的に停止することを決定し得る。次いで、車両402は、環境内に位置する他のオブジェクトに関する1つまたは複数のポリシーに基づいてナビゲートを進める方法を決定し得る。例えば、車両402が別のオブジェクトに道を譲らない場合、車両402は、次いで車両402がオブジェクト606の周囲をナビゲートするようにルートを選択し得る。次いで、車両402は、選択されたルートに沿ってナビゲートを開始し得る。しかしながら、車両402が依然として別のオブジェクトに道を譲っている場合、車両402は、進行する前に他のオブジェクトに道を譲り続けてもよい。
例えば、いくつかの例では、車両402は、1つより多いオブジェクトに道を譲り得る。例えば、車両402は、交差点内に位置する第2のオブジェクト608にさらに道を譲り得る。このような例において、ユーザインターフェース602は、第2のオブジェクト608を示すグラフィカル要素を含み得る。いくつかの例では、オブジェクト606を示すグラフィカル要素は、第2のオブジェクト608を示すグラフィカル要素と異なっていてもよい。例えば、オブジェクト606を示すグラフィカル要素は、テレオペレータ514に対して、車両402が現在オブジェクト606に道を譲っていることを伝えてもよく、第2のオブジェクト608を示すグラフィカル要素は、テレオペレータ514に対して、車両402がのちに第2のオブジェクト608に道を譲ることを伝えてもよい(例えば、第2のオブジェクト608が依然として交差点内に位置している場合)。
図7は、本開示の実施形態による、オブジェクトに道を譲る車両402を示す第1の例示的なユーザインターフェース702を示す図である。図示されるように、ユーザインターフェース702は、車両402が位置する環境についての情報を示す4つの部分704(1)-(4)を含む。例えば、ユーザインターフェース702の第1の部分704(1)は、車両402の上方からの第1のビデオを含み、ユーザインターフェース702の第2の部分704(2)は、車両402の側方からの第2のビデオを含み、ユーザインターフェース702の第3の部分704(3)は、車両402の第1のカメラによってキャプチャされた第3のビデオを含み、ユーザインターフェース702の第4の部分704(4)は、車両402の第2のカメラによってキャプチャされた第4のビデオを含む。図7の例は、4つの部分704(1)-(4)を含むようにユーザインターフェース702を示すが、他の例では、ユーザインターフェース702は任意の数の部分を含んでもよい。
図示されるように、ユーザインターフェース702の部分704(1)-(2)は、車両402の描写を含む。いくつかの例では、ユーザインターフェース702の部分704(1)-(2)のうちの1つまたは複数は、車両402を示すグラフィカル要素を含み得る。グラフィカル要素は、車両402の周囲の境界ボックス、車両402の陰影、車両402を説明するテキスト、および/または車両402を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ514は、車両402が環境内のどこに位置するかを容易に識別することが可能である。
加えて、ユーザインターフェース702の部分704(1)-(3)は、車両402が道を譲っているオブジェクト706の描写を含み、これは、図7の例では車両402を通過しようとする移動するトラックを含む。いくつかの例では、ユーザインターフェース702の部分704(1)-(3)のうちの1つまたは複数は、オブジェクト706を示すグラフィカル要素を含み得る。グラフィカル要素は、オブジェクト706の周囲の境界ボックス、オブジェクト706の陰影、オブジェクト706を説明するテキスト、および/またはオブジェクト706を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ514は、車両402が道を譲っているオブジェクト706を容易に識別することが可能である。
図7の例では、車両402は、オブジェクト706に道を譲り得る。しかしながら、オブジェクト708が、オブジェクト706が用いている車線の少なくとも一部分を遮断しているので、車両402の隣の車線内をナビゲートしようとしているオブジェクト706は、ナビゲートすることができないことがある。したがって、オブジェクト706は、交差点内で停止し、オブジェクト706がオブジェクト708の周囲をナビゲートするために、車両402が移動するのを待つことがある。加えて、オブジェクト706が交差点をナビゲートするまで車両402が進行しないようにするため、車両402は、停止し、オブジェクト706に道を譲ってもよい。
したがって、いくつかの例では、テレオペレータ514は、ユーザインターフェース702を用いてオブジェクト706を選択することが可能である。次いで、テレオペレータ514は、車両402がどのように進行すべきかについての命令を提供するために、ユーザインターフェース702を用いることが可能である。例えば、テレオペレータ514は、車両402に、もはやオブジェクト706に道を譲らないように命令するために、ユーザインターフェース702を用いることが可能である。このようにして、オブジェクト706が依然として交差点内に位置している場合であっても、車両402は、ナビゲートを開始することが可能である。車両402がナビゲートし始めると、次いでオブジェクト706もオブジェクト708の周囲をナビゲートし始める。
図8-図9は、本開示の実施形態による例示的な処理を示す図である。これらの処理は、論理フローグラフとして示され、その各動作は、ハードウェア、ソフトウェア、またはそれらの組合せで実装されることが可能である動作のシーケンスを表す。ソフトウェアのコンテキストでは、動作は、1つまたは複数のプロセッサによって実行されると、列挙された動作を実行する、1つまたは複数のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。一般的に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図されず、任意の数の説明される動作が、処理を実装するために任意の順序でおよび/または並列に組み合わせられることが可能である。
図8は、本開示の実施形態による、テレオペレータに連絡するかを決定するための例示的な処理800を示す図である。動作802において、処理800は、自律車両にルートに沿ってナビゲートさせることを含み得る。例えば、車両402は、制御システム448から、車両402にルートに沿って第1の位置から第2の位置までナビゲートさせる命令を受信し得る。命令に少なくとも部分的に基づいて、車両402は、第1の位置から第2の位置までルートに沿ってナビゲートし始めてもよい。
動作804で、処理800は、ルートに沿った位置で自律車両の進行が妨げられていると決定することを含み得る。例えば、車両402は、ルートに沿った位置で車両402の進行が妨げられていると決定することを含み得る。いくつかの例では、車両402は、車両が閾値時間期間の間オブジェクトに道を譲ることを決定することに基づいて決定を行い得る。いくつかの例では、車両402は、特定のシナリオが車両402の周囲で発生していると決定することに基づいて決定を行い得る。さらに、いくつかの例では、車両402は、特定のタイプのオブジェクトが車両402の近くに位置すると決定することに基づいて決定を行い得る。
動作806で、処理800は、自律車両の進行が妨げられた時間量を決定することを含み得る。例えば、車両402は、車両402の進行が妨げられた時間量を決定し得る。
動作808で、処理800は、時間量が閾値を満たすかを決定することを含み得る。例えば、車両402は、時間量が閾値を満たすか(例えば、閾値以上である)を決定し得る。動作808で、時間量が閾値を満たさない場合、動作810で、処理800は、リモートオペレータに連絡しないと決定することを含み得る。例えば、車両402が、時間量が閾値を満たさない(例えば、下回る)と決定する場合、車両402は、テレオペレータ514に連絡しないと決定し得る。加えて、車両402は、動作802-動作808を繰り返し得る。
しかしながら、動作808で、時間量が閾値を満たす場合、動作812で、処理800は、介在条件が発生したかを決定することを含み得る。例えば、車両402は、介在条件によって進行が妨げられているかを決定し得る。いくつかの例では、車両402は、車両402が渋滞中であるときに介在条件が発生したと決定し得る。いくつかの例では、車両402は、車両402が交通信号機で停止しているときに介在条件が発生したと決定し得る。
動作812で、介在条件が発生した場合、処理800は、リモートオペレータに連絡しないことを決定し得る。例えば、車両402が、介在条件が発生したと決定する場合、車両402は、テレオペレータ514に連絡しないと決定することができる。
しかしながら、動作812で、介在条件が発生していない場合、動作814で、処理800は、リモートオペレータに連絡することを決定することを含み得る。例えば、車両402が、介在条件が発生していないと決定する場合、車両402は、テレオペレータ514に連絡すると決定し得る。加えて、車両402は、センサデータ436および/またはインジケータデータ442をテレオペレータシステム114に送信し得る。次いで、テレオペレータ514は、車両402がどのように進行すべきかを決定するために、センサデータ436および/またはインジケータデータ442を用い得る。
動作818で、処理800は、システムから、ナビゲートすることに関連付けられた命令を受信することを含み得る。例えば、車両402は、テレオペレータシステム114から、車両402をナビゲートすることに関連する命令を表す命令データ446を受信し得る。第1の例において、命令データ446は、車両402の前に交差点に到着するオブジェクトに道を譲ることに関連付けられたポリシーに従うことを一時的に停止する命令を含み得る。第2の例において、命令データ446は、オブジェクトとの相互作用を「追従する」から「追従しない」へ変更する命令を含み得る。いずれの例においても、車両402はオブジェクトに道を譲ることを停止し得る。
動作820で、処理800は、自律車両をナビゲートさせることを含み得る。例えば、命令データ446に少なくとも部分的に基づいて、車両402はナビゲートを開始し得る。いくつかの例では、車両402は、もはやオブジェクトに道を譲らないので、車両402はナビゲートを開始する。いくつかの例では、車両は、もはやオブジェクトに追従していないので、車両402は、ナビゲートを開始する。さらに、いくつかの例では、車両402は、車両の元のルートに沿ってナビゲートし始める。
図9は、本開示の実施形態による、テレオペレータからの命令を用いて自律車両をナビゲートするための例示的な処理900を示す図である。動作902で、処理900は、1つまたは複数のセンサを用いてセンサデータを生成することを含み得る。例えば、車両402は、センサデータ436を生成するためにセンサシステム406用い得る。車両402は、環境の周囲をナビゲートしている間に、センサデータ436を生成し得る。
動作904で、処理900は、自律車両の進行が妨げられていると決定することを含み得る。例えば、車両402は、車両402の進行が妨げられていると決定し得る。いくつかの例では、車両402は、車両が閾値時間期間の間オブジェクトに道を譲ると決定することに基づいて、決定を行い得る。いくつかの例では、車両402は、特定のシナリオが車両402の周囲で発生していると決定することに基づいて、決定を行い得る。さらに、いくつかの例では、車両402は、特定のタイプのオブジェクトが車両402の近くに位置すると決定することに基づいて、決定を行い得る。
動作906において、処理900は、センサデータの少なくとも一部(および/またはそこから導出されたデータ)をテレオペレータシステムに送信することを含み得る。例えば、車両402は、センサデータ436の少なくとも一部をテレオペレータシステム114に送信し得る。センサデータ436の少なくとも一部は、進行を妨げる原因となる少なくともオブジェクトを表し得る。いくつかの例では、車両402は、車両402の進行が閾値時間量の間妨げられたと決定することに少なくとも部分的に基づいて、センサデータ436の少なくとも一部を送信する。
動作908で、処理900は、テレオペレータシステムに、自律車両の進行がオブジェクトによって妨げられているという指示を送信することを含み得る。例えば、車両402は、車両402がオブジェクトにより妨げられていることを示すインジケータデータ442を、テレオペレータシステム114に送信し得る。いくつかの例では、インジケータデータ442はさらに、車両402がオブジェクトにより妨げられた時間量を示し得る。
動作910で、処理800は、テレオペレータシステムから、ナビゲートすることに関連付けられた命令を受信することを含み得る。例えば、車両402は、テレオペレータシステム114から、車両402をナビゲートすることに関連する命令を表す命令データ446を受信し得る。第1の例においては、命令データ446は、車両402の前に交差点に到着するオブジェクトに道を譲ることに関連付けられたポリシーに従うことを一時的に停止する命令を含み得る。第2の例では、命令データ446は、オブジェクトとの相互作用を「追従する」から「追従しない」へ変更する命令を含み得る。いずれの例においても、車両402はオブジェクトに道を譲ることを停止し得る。
動作912で、処理900は、自律車両を第2の位置にナビゲートさせることを含み得る。例えば、命令データ446に少なくとも部分的に基づいて、車両402は、第2の位置へのナビゲートを開始し得る。いくつかの例では、車両402は、もはやオブジェクトに道を譲らないので、車両402はナビゲートを開始する。いくつかの例では、車両402は、もはやオブジェクトに追従していないので、ナビゲートを開始する。さらに、いくつかの例では、車両402は、車両の元のルートに沿ってナビゲートし始める。
動作914で、処理900は、第2のロケーションへのナビゲートをしている間に介在条件が発生するかを決定することを含み得る。例えば、車両402は、第2の位置へのナビゲートを開始した後に介在条件が発生するかを決定するために、センサデータ436を用い得る。いくつかの例では、介在条件は、オブジェクトが移動し始めることを含み得る。いくつかの例では、介在条件は、オブジェクトがオブジェクトに関連付けられた指定領域の外側に移動することを含み得る。
動作914で、介在条件が発生した場合、動作916で、処理900は、自律車両に第2の場所へのナビゲートを停止させることを含み得る。例えば、車両402が、介在条件が発生したと決定する場合、車両402は、第2の位置へのナビゲートを停止し得る。いくつかの例では、車両402は停止してもよい。いくつかの例では、車両402は、オブジェクトとの相互作用を「追従しない」から「追従する」へ変更してもよい。
しかしながら、動作914で、介在条件が発生しない場合、動作918で、処理900は、自律車両に第2の場所へのナビゲートを継続させることを含み得る。例えば、車両402が、介入条件が発生しなかったと決定する場合、車両402は、第2の場所へのナビゲートを継続する。
例示的な条項:
A:1つまたは複数のネットワークコンポーネントと、1つまたは複数のセンサと、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行される場合に、自律車両をルートに沿ってナビゲートさせるステップと、1つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、進行が物体によって妨げられていることに少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスから、オブジェクトによってナビゲートすることに関連付けられた命令であって、オブジェクトに関連付けられたポリシーを変更するように構成された情報を含む命令を受信するステップと、命令に少なくとも部分的に基づいて、自律車両をオブジェクトによってナビゲートさせるステップと、を含む動作を自律車両が実行するように構成する命令を記憶するメモリと、を備える自律車両。
B:動作は、1つまたは複数のネットワークコンポーネントを用いて、センサデータの少なくとも一部を1つまたは複数のコンピューティングデバイスに送信するステップと、オブジェクトが自律車両の進行を妨げている指示を送信するステップと、をさらに含む、項Aに記載の自律車両。
C:自律車両の進行がオブジェクトによって妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、自律車両が閾値時間期間の間オブジェクトに道を譲ることを決定するステップを含む、項AまたはBのいずれかに記載の自律車両。
D:自律車両の進行がオブジェクトによって妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトがオブジェクトのタイプを含むことを決定するステップと、オブジェクトがルートに沿って位置していることを決定するステップと、を含む、項A-項Cのいずれかに記載の自律車両。
E:自律車両の進行が妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトの速度が閾値速度未満であること、またはオブジェクトが第1の走行車線から第2の走行車線に切り替わり、且つ自律車両が第2の走行車線内をナビゲートしていることのうちの少なくとも1つを含むシナリオが発生していることを決定するステップを含む、項A-項Dのいずれかに記載の自律車両。
F:動作は、自律車両が渋滞中であること、または自律車両が交通信号機で停止していることのうちの少なくとも1つを含む介在条件が発生しているかを決定するステップをさらに含み、リモートオペレータに連絡するかを決定するステップは、介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、項A-項Eのいずれかに記載の自律車両。
G:自律車両の1つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、オブジェクトによって妨げられている自律車両の進行に少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、リモートオペレータから、自律車両にオブジェクトに関するポリシーを変更させるように構成された1つまたは複数の命令を受信するステップと、を備える方法。
H:リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスにセンサデータの少なくとも一部、または1つまたは複数のコンピューティングデバイスにオブジェクトの指示を送信することをさらに備える、項Gに記載の方法。
I:自律車両の進行がオブジェクトによって妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、自律車両が閾値時間期間の間オブジェクトに道を譲ることを決定するステップを含む、項Gまたは項Hのいずれかに記載の方法。
J:自律車両の進行がオブジェクトによって妨げられていることを決定するステップはは、センサデータに少なくとも部分的に基づいて、オブジェクトがオブジェクトのタイプを含むことを決定するステップと、オブジェクトがルートに沿って位置していることを決定するステップと、を含む、項G-項Iのいずれかに記載の方法。
K:自律車両の進行が妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトの速度が閾値速度未満であること、またはオブジェクトが第1の走行車線から第2の走行車線に切り替わり、且つ自律車両が第2の走行車線内をナビゲートしていることのうちの少なくとも1つを含むシナリオが発生していることを決定するステップを含む、項G-項Jのいずれかに記載の方法。
L:自律車両が渋滞中であること、または自律車両が交通信号機で停止していることのうちの少なくとも1つを含む介在条件が発生しているかを決定するステップをさらに含み、リモートオペレータに連絡するかを決定するステップは、介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、項G-項Kのいずれかに記載の方法。
M:リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスに、自律車両の進行がオブジェクトによって妨げられているポリシーを示すポリシーデータを送信するステップをさらに備える、項G-項Lのいずれかに記載の方法。
N:リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスから、オブジェクトに関するポリシーに従うことを一時的に停止する命令を受信するステップと、オブジェクトに関するポリシーに従うことを一時的に停止することを決定するステップと、をさらに備える、項G-項Mのいずれかに記載の方法。
O:1つまたは複数のプロセッサによって実行される場合に、自律車両の1つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、オブジェクトが自律車両の進行を妨げていたことを決定するステップと、オブジェクトが自律車両の進行を妨げていたことに少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、リモートオペレータから、オブジェクトに関連付けられた1つまたは複数のポリシーを自律車両に変更させるように構成された命令を受信するステップと、を含む動作を1つまたは複数のコンピューティングデバイスに実行させる命令を記憶する非一時的コンピュータ可読媒体。
P:動作は、リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスに少なくともセンサデータの一部、または1つまたは複数のコンピューティングデバイスにオブジェクトの兆候のうちの少なくとも1つを送信するステップをさらに含む、項Oに記載の非一時的コンピュータ可読媒体。
Q:オブジェクトが、自律車両の進行を妨げたことを決定するステップは、センサデータに少なくとも部分的に基づいて、自律車両が閾値時間期間の間オブジェクトに道を譲ることを決定するステップを含む、項Oまたは項Pのいずれかに記載の非一時的コンピュータ可読媒体。
R:オブジェクトが自律車両の進行を妨げたことを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトがオブジェクトのタイプを含むことを決定するステップと、オブジェクトがルートに沿って位置していることを決定するステップと、を含む、項O-項Qのいずれかに記載の非一時的コンピュータ可読媒体。
S:オブジェクトが自律車両の進行を妨げたことを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトの速度が閾値速度未満であること、またはオブジェクトが第1の走行車線から第2の走行車線に切り替わり、且つ自律車両が第2の走行車線内をナビゲートしていることのうちの少なくとも1つを含むシナリオが発生していることを決定するステップを含む、項O-項Rのいずれかに記載の非一時的コンピュータ可読媒体。
T:動作は、自律車両が渋滞中であること、または自律車両が交通信号機で停止していることのうちの少なくとも1つを含む介在条件が発生しているかを決定するステップをさらに含み、リモートオペレータに連絡するかを決定するステップは、介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、項O-項Sのいずれかに記載の非一時的コンピュータ可読媒体。
U:センサと、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行される場合に、第1の場所でセンサからセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、センサデータの少なくとも一部分を、リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスに送信するステップと、自律車両の進行がオブジェクトによって妨げられるという兆候を送信するステップと、自律車両をナビゲートすることに関連付けられた命令を受信するステップと、命令に少なくとも部分的に基づいて、前記自律車両に、ルートに沿って第1の場所から第2の場所へのナビゲートを開始させるステップと、を含む動作を自律車両が実行するように構成する命令を記憶するメモリと、を備える自律車両。
V:動作は、第2の位置へのナビゲートをしている間に、オブジェクトが移動し始めることを決定するステップと、オブジェクトが移動し始めることを決定するステップに少なくとも部分的に基づいて、自律車両にオブジェクトに道を譲らせるステップと、をさらに含む、項Uに記載の自律車両。
W:動作は、1つまたは複数のコンピューティングデバイスから、オブジェクトを囲むエリアの付加的な兆候を受信するステップと、第2の場所へのナビゲートをしている間に、オブジェクトがエリアの外側に位置していると決定するステップと、エリアの外側に位置しているオブジェクトに少なくとも部分的に基づいて、自律車両にオブジェクトを譲らせるステップと、をさらに含む、項Uまたは項Vのいずれかに記載の自律車両。
X:動作は、自律車両の前に交差点に到着するオブジェクトに道を譲る第1のポリシー、またはナビゲートするときに走行車線に留まる第2のポリシーのうちの少なくとも1つを含む、自律車両をナビゲートすることに関連付けられた1つまたは複数のポリシーを表すデータを記憶するステップと、命令に少なくとも部分的に基づいて、1つまたは複数のポリシーのうちの少なくとも1つに従うことを一時的に停止することを決定するステップと、をさらに含む、項U-項Wのいずれかに記載の自律車両。
Y:動作は、オブジェクトを追従することを、オブジェクトに関連付けられた第1のアクションに設定するステップと、命令に少なくとも部分的に基づいて、オブジェクトへの追従を停止することを、オブジェクトに関連付けられた第2のアクションに設定するステップと、をさらに含む、項U-項Xのいずれかに記載の自律車両。
Z:動作は、命令に少なくとも部分的に基づいて、オブジェクトに道を譲ることを一時的に停止することを決定するステップと、1つまたは複数のポリシーに少なくとも部分的に基づいて、1つまたは複数の他のオブジェクトに道を譲るかを決定するステップと、をさらに含み、自律車両に、ルートに沿って第1の位置から第2の位置へのナビゲートを開始させるステップは、1つまたは複数の他の物体に道を譲らないことを決定するステップに少なくとも部分的に基づく、項U-項Yのいずれかに記載の自律車両。
AA:車両上のセンサからセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、ルートに沿って車両の進行が環境内のオブジェクトによって妨げられていると決定するステップと、リモートオペレータに連絡するかを決定するステップと、リモートオペレータに連絡するかの決定に少なくとも部分的に基づいて、センサデータの少なくとも一部、オブジェクトに関連付けられた前記センサデータの表現、またはオブジェクトが進行を妨げている兆候のうちの1つまたは複数を、リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスに送信するステップと、1つまたは複数のコンピューティングデバイスから、オブジェクトに関連付けられたポリシーを変更する命令を受信するステップと、命令に少なくとも部分的に基づいて、自律車両をある場所へナビゲートさせるステップと、を含む方法。
AB:兆候は、車両がオブジェクトに道を譲ることを識別するデータを含み、ポリシーを変更するステップは、車両にオブジェクトに道を譲るのを停止することを命令するステップを含む、項AAに記載の方法。
AC:場所へのナビゲートをしている間に、オブジェクトが移動し始めることを決定するステップと、オブジェクトが移動し始めることを決定するステップに少なくとも部分的に基づいて、車両にオブジェクトに道を譲らせるステップと、をさらに含む、項AAまたは項ABのいずれかに記載の方法。
AD:1つまたは複数のコンピューティングデバイスから、オブジェクトを囲むエリアを受信するステップと、場所へのナビゲートをしている間に、オブジェクトがエリアの外側に位置していることを決定するステップと、オブジェクトがエリアの外側に位置していることに少なくとも部分的に基づいて、車両にオブジェクトに道を譲らせるステップと、をさらに含む、項AA-項ACのいずれかに記載の方法。
AE:ポリシーは、車両の前に交差点に到着するオブジェクトに道を譲る第1のポリシー、またはナビゲートするときに走行車線内に留まる第2のポリシーのうちの少なくとも1つを含み、ポリシーを変更するステップは、第1のポリシーまたは前記第2のポリシーのうちの少なくとも1つに従うことを一時的に停止することを決定するステップを含む、項AA-項ADのいずれかに記載の方法。
AF:場所へのナビゲートをした後、第1または第2のポリシーに再び従うことを決定するステップをさらに含む、項AA-項AEのいずれかに記載の方法。
AG:オブジェクトを追従することを、オブジェクトに関連付けられた第1のアクションに設定するステップをさらに含み、ポリシーを変更するステップは、オブジェクトへの追従を停止することを、オブジェクトに関連付けられた第2のアクションに設定するステップを含む、項AA-項AFのいずれかに記載の方法。
AH:自律車両の進行が、その進行に少なくとも部分的に基づいて、別のオブジェクト物体によって妨げられるかを決定するステップをさらに含む、項AA-項AGのいずれかに記載の方法。
AI:1つまたは複数のプロセッサによって実行される場合に、車両上のセンサからセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、オブジェクトが、車両が場所へのナビゲートを妨げたことを決定するステップと、センサデータの少なくとも一部をリモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスに送信するステップと、1つまたは複数のコンピューティングデバイスから、オブジェクトに関するポリシーを変更する命令を受信するステップと、命令に少なくとも部分的に基づいて、車両へのナビゲートをさせるステップと、を含む動作を1つまたは複数のコンピューティングデバイスに実行させる命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体。
AJ:動作は、オブジェクトが、自律車両が位置へのナビゲートをするのを妨げさせた兆候を1つまたは複数のコンピューティングデバイスに送信するステップをさらに含む、項AIに記載の1つまたは複数の非一時的コンピュータ可読媒体。
AK:動作は、位置へのナビゲートをしている間に、オブジェクトが動き始めると決定するステップと、物体が動き始めると決定するステップに少なくとも部分的に基づいて、車両に命令を無視させるステップと、をさらに含む、項AIまたは項AJのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
AL:動作は、1つまたは複数のコンピューティングデバイスから、オブジェクトに関連付けられたエリアを受信するステップと、場所へのナビゲートをしている間に、オブジェクトがエリアの外側に位置すると決定するステップと、オブジェクトがエリアの外側に位置することに少なくとも部分的に基づいて、自律車両に命令を無視させるステップと、をさらに含む、項AI-項AKのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
AM:ポリシーは、自律車両の前に交差点に到着するオブジェクトに道を譲る第1のポリシー、またはナビゲートするときに走行車線内に留まる第2のポリシーのうちの1つまたは複数を含み、動作は、命令に少なくとも部分的に基づいて、1つまたは複数のポリシーのうちの少なくとも1つに従うことを一時的に停止することを決定するステップをさらに含む、項AI-項ALのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
AN:動作は、オブジェクトを追従することを、オブジェクトに関連付けられた第1のアクションに設定するステップと、命令に少なくとも部分的に基づいて、オブジェクトへの追従を停止することを、オブジェクトに関連付けられた第2のアクションに設定するステップと、をさらに含む、項AI-項AMのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
結論:
本明細書で説明される技法の1つまたは複数の例について説明されたが、それらの様々な改変、追加、置換、および均等物は、本明細書で説明される技法の範囲内に含まれる。
例の説明では、本出願の一部を形成する添付の図面への参照が行われ、これは、例として、請求される主題の特定の例を示す。他の例が使用されることが可能であること、および構造的変更などの変更または改変を行われることが可能であることを理解されたい。そのような例、変更または改変は、意図された請求される主題に関する範囲からの逸脱では必ずしもない。本明細書におけるステップはある順序で提示されることがあるが、いくつかの場合には、順序付けは、説明されるシステム及び方法の機能を変更することなしに、いくつかの入力が、異なる時間においてまたは異なる順序で提供されるように変更されてよい。開示される手順も、異なる順序で実行され得る。さらに、開示された順序で実施されることが本明細書において不要である様々な計算、および計算の代替的な順序付けを使用する他の例は、容易に実装され得る。並べ替えられることに加えて、計算はまた、同じ結果を伴うサブ計算に分解され得る。

Claims (15)

  1. 1つまたは複数のネットワークコンポーネントと、
    1つまたは複数のセンサと、
    1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行される場合に、
    自律車両をルートに沿ってナビゲートさせるステップと、
    前記1つまたは複数のセンサによって生成されたセンサデータを受信するステップと、
    前記センサデータに少なくとも部分的に基づいて、前記自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、
    進行が前記物体によって妨げられていることに少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、
    前記リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスから、前記オブジェクトによってナビゲートすることに関連付けられた命令であって、前記オブジェクトに関連付けられたポリシーを変更するように構成された情報を含む命令を受信するステップと、
    前記命令に少なくとも部分的に基づいて、前記自律車両を前記オブジェクトによってナビゲートさせるステップと、
    を含む動作を前記自律車両が実行するように構成する命令を記憶するメモリと、
    を備える自律車両。
  2. 前記動作は、前記1つまたは複数のネットワークコンポーネントを用いて、
    前記センサデータの少なくとも一部を前記1つまたは複数のコンピューティングデバイスに送信するステップと、
    前記オブジェクトが前記自律車両の進行を妨げている指示を送信するステップと、
    をさらに含む、請求項1に記載の自律車両。
  3. 前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、前記センサデータに少なくとも部分的に基づいて、前記自律車両が閾値時間期間の間前記オブジェクトに道を譲ることを決定するステップを含む、
    請求項1または請求項2のいずれかに記載の自律車両。
  4. 前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、
    前記センサデータに少なくとも部分的に基づいて、前記オブジェクトがオブジェクトのタイプを含むことを決定するステップと、
    前記オブジェクトが前記ルートに沿って位置していることを決定するステップと、
    を含む、請求項1乃至請求項3のいずれか1項に記載の自律車両。
  5. 前記自律車両の進行が妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、前記オブジェクトの速度が閾値速度未満であること、または前記オブジェクトが第1の走行車線から第2の走行車線に切り替わり、且つ前記自律車両が前記第2の走行車線内をナビゲートしていること、のうちの少なくとも1つを含むシナリオが発生していることを決定するステップを含む、請求項1乃至請求項4のいずれか1項に記載の自律車両。
  6. 前記動作は、前記自律車両が渋滞中であること、または前記自律車両が交通信号機で停止していることのうちの少なくとも1つを含む介在条件が発生しているかを決定するステップをさらに含み、
    リモートオペレータに連絡するかを決定するステップは、前記介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、請求項1乃至請求項5のいずれか1項に記載の自律車両。
  7. 自律車両の1つまたは複数のセンサによって生成されたセンサデータを受信するステップと、
    前記センサデータに少なくとも部分的に基づいて、前記自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、
    前記オブジェクトによって妨げられている前記自律車両の進行に少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、
    前記リモートオペレータから、前記自律車両に前記オブジェクトに関するポリシーを変更させるように構成された1つまたは複数の命令を受信するステップと、
    を備える方法。
  8. 前記リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスにセンサデータの少なくとも一部、または1つまたは複数のコンピューティングデバイスにオブジェクトの指示を送信することをさらに備える、請求項7に記載の方法。
  9. 前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、前記センサデータに少なくとも部分的に基づいて、前記自律車両が閾値時間期間の間前記オブジェクトに道を譲ることを決定するステップを含む、請求項7または請求項8のいずれかに記載の方法。
  10. 前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、
    前記センサデータに少なくとも部分的に基づいて、前記オブジェクトがオブジェクトのタイプを含むことを決定するステップと、
    前記オブジェクトが前記ルートに沿って位置していることを決定するステップと、
    を含む、請求項7乃至請求項9のいずれか1項に記載の方法。
  11. 前記自律車両の進行が妨げられていることを決定するステップは、前記センサデータに少なくとも部分的に基づいて、前記オブジェクトの速度が閾値速度未満であること、または前記オブジェクトが第1の走行車線から第2の走行車線に切り替わり、且つ前記自律車両が前記第2の走行車線内をナビゲートしていることのうちの少なくとも1つを含むシナリオが発生していることを決定するステップを含む、請求項7乃至請求項10のいずれか1項に記載の方法。
  12. 前記自律車両が渋滞中であること、または前記自律車両が交通信号機で停止していることのうちの少なくとも1つを含む介在条件が発生しているかを決定するステップをさらに含み、前記リモートオペレータに連絡するかを決定するステップは、前記介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、請求項7乃至請求項11のいずれか1項に記載の方法。
  13. 前記リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスに、前記自律車両の進行が前記オブジェクトによって妨げられているポリシーを示すポリシーデータを送信するステップをさらに備える、請求項7乃至請求項12のいずれか1項に記載の方法。
  14. 前記リモートオペレータに関連付けられた1つまたは複数のコンピューティングデバイスから、前記オブジェクトに関するポリシーに従うことを一時的に停止する命令を受信するステップと、
    前記オブジェクトに関するポリシーに従うことを一時的に停止することを決定するステップと、
    をさらに備える、請求項13に記載の方法。
  15. 1つまたは複数のプロセッサによって実行される場合に、
    請求項7乃至請求項14のいずれか1項に記載の方法を前記1つまたは複数のプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体。
JP2021577394A 2019-06-28 2020-06-24 テレオペレータに連絡するための技法 Pending JP2022539557A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/457,341 US11275370B2 (en) 2019-06-28 2019-06-28 Techniques for navigating vehicles using teleoperator instructions
US16/457,289 US11209822B2 (en) 2019-06-28 2019-06-28 Techniques for contacting a teleoperator
US16/457,341 2019-06-28
US16/457,289 2019-06-28
PCT/US2020/039397 WO2020264007A1 (en) 2019-06-28 2020-06-24 Techniques for contacting a teleoperator

Publications (2)

Publication Number Publication Date
JP2022539557A true JP2022539557A (ja) 2022-09-12
JPWO2020264007A5 JPWO2020264007A5 (ja) 2023-06-12

Family

ID=71528120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577394A Pending JP2022539557A (ja) 2019-06-28 2020-06-24 テレオペレータに連絡するための技法

Country Status (4)

Country Link
EP (1) EP3990328A1 (ja)
JP (1) JP2022539557A (ja)
CN (1) CN114080341A (ja)
WO (1) WO2020264007A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11851091B2 (en) 2021-09-14 2023-12-26 Motional Ad Llc Immobility detection within situational context
US11845454B2 (en) 2021-09-14 2023-12-19 Motional Ad Llc Operational envelope detection with situational assessment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459440B2 (en) * 2016-01-04 2019-10-29 GM Global Technology Operations LLC System and method for remotely assisting autonomous vehicle operation
US20170285637A1 (en) * 2016-03-31 2017-10-05 GM Global Technology Operations LLC Driving assistance methods and systems
US20180224850A1 (en) * 2017-02-08 2018-08-09 Uber Technologies, Inc. Autonomous vehicle control system implementing teleassistance
US10518770B2 (en) * 2017-03-14 2019-12-31 Uatc, Llc Hierarchical motion planning for autonomous vehicles

Also Published As

Publication number Publication date
WO2020264007A1 (en) 2020-12-30
CN114080341A (zh) 2022-02-22
EP3990328A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
US11209822B2 (en) Techniques for contacting a teleoperator
CN114270142B (zh) 非结构化的车辆路径规划器
US11275370B2 (en) Techniques for navigating vehicles using teleoperator instructions
JP2022511714A (ja) 知覚衝突回避
JP2022502306A (ja) レーダ空間推定
JP2022527072A (ja) 属性に基づく歩行者の予測
JP2022513808A (ja) 軌道検証を用いた衝突回避システム
JP2021524410A (ja) ドライブエンベロープの決定
CN115551758A (zh) 非结构化车辆路径规划器
JP2022539149A (ja) リモート車両誘導
US11513519B1 (en) Sharing occlusion data
JP2022504979A (ja) 応答性のある車両制御
EP3991000A1 (en) Vehicle control and guidance
US20210325880A1 (en) Collaborative vehicle guidance
US11353877B2 (en) Blocked region guidance
US11584389B2 (en) Teleoperations for collaborative vehicle guidance
JP2023553823A (ja) 協調型車両進路生成
WO2023028208A1 (en) Techniques for detecting road blockages and generating alternative routes
JP2022539557A (ja) テレオペレータに連絡するための技法
US20220171404A1 (en) Techniques for authorizing vehicle control systems
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
JP2022544835A (ja) 進路変更の前の合流に対する車線処理
US20240182083A1 (en) Systems and methods for disengaging or engaging autonomy remotely
US20240124020A1 (en) Stopping action of an autonomous vehicle
US11983933B1 (en) Boundary aware top-down trajectory prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423