JP2022528640A - 例外処理のための遠隔操作 - Google Patents

例外処理のための遠隔操作 Download PDF

Info

Publication number
JP2022528640A
JP2022528640A JP2021557284A JP2021557284A JP2022528640A JP 2022528640 A JP2022528640 A JP 2022528640A JP 2021557284 A JP2021557284 A JP 2021557284A JP 2021557284 A JP2021557284 A JP 2021557284A JP 2022528640 A JP2022528640 A JP 2022528640A
Authority
JP
Japan
Prior art keywords
response
vehicle
remote operator
track
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021557284A
Other languages
English (en)
Other versions
JP7335350B2 (ja
Inventor
リアム ペダーセン、
アリ モルタザビ、
ステファン ウィトウィッキ、
クリストファー オスタフュー、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of JP2022528640A publication Critical patent/JP2022528640A/ja
Application granted granted Critical
Publication of JP7335350B2 publication Critical patent/JP7335350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

自律走行車(AV)による障害状況等の例外処理が開示される。方法は、例外状況を識別するステップと、例外状況を自律的に解決することに関連付けられるリスクを識別するステップと、リスクがリスク閾値を超えることに応答して、遠隔オペレータからの支援の要求を開始するステップと、遠隔オペレータが要求に応答するために停止するステップと、遠隔オペレータから応答を受信するステップとを含む。

Description

本願は、一般には、自律走行車に関し、より詳細には、障害状況における遠隔操作支援に関する。
自律走行車(AV)は、道路の状態に注意を向けなくてもある場所から別の場所へ効率的に輸送できるという利便性を人間の運転者に提供する。AVは、交通規則及び基準を守りながら車道を走行することが可能な自動運転(例えば、コンピュータ制御の)車両と定義され得る。しかしながら、最良の自律走行車のプログラムであっても、自律走行車の動作中に生じ得る全ての状態及び状況を把握して制御することはできない。さらに、自律走行車が人間のオペレータ(例えば、遠隔オペレータ)の支援から利益を受ける状態及び状況に遭遇することもある。
本明細書には、車両の自律操作に関連付けられる解決策を生成するための態様、特徴、要素、及び実装が開示されている。
開示された実施形態の一態様は、自律走行車(AV)による例外処理の方法を含み、この方法は、例外状況を識別するステップと、前記例外状況を自律的に解決することに関連付けられるリスクを識別するステップと、前記リスクがリスク閾値を超えることに応答して、遠隔オペレータからの支援の要求を開始するステップと、前記遠隔オペレータが前記要求に応答するために停止するステップと、前記遠隔オペレータから応答を受信するステップとを含む。
開示された実装の一態様は、自律走行車(AV)による例外処理の方法を含み、この方法は、車線障害状況を識別するステップと、前記車線障害状況を回避するための第1の軌道を識別するステップと、前記第1の軌道に基づいて、前記車線障害状況が例外状況であることを識別することに応答して、前記第1の軌道に関連付けられるリスクを決定するステップと、前記リスクがリスク閾値を超えていると決定したことに応答して、遠隔オペレータへの要求を開始するステップであって、前記要求は前記第1の軌道を含むステップと、前記遠隔オペレータからの応答を待機するステップとを含む。
開示された実装の一態様は、メモリ及びプロセッサを含む装置を含む。メモリは、自律走行車(AV)による例外処理のための命令を含む。プロセッサは、例外状況を識別すること、前記例外状況を自律的に解決することに関連付けられるリスクを識別すること、前記リスクがリスク閾値を超えることに応答して、遠隔オペレータへの要求を開始すること、前記遠隔オペレータが前記要求に応答することを待機すること、及び前記遠隔オペレータから応答を受信することを行う命令を実行するように構成される。
本開示のこうした特徴及びその他の特徴は、以下の実施形態の詳細な説明、添付の請求項及び添付の図面に開示されている。
本開示の技術は、添付の図面と併せて読む場合に、以下の詳細な説明から最良に理解される。慣行により、図面の様々な特徴は正確な縮尺ではないことが強調される。対照的に、様々な特徴の寸法は、明確のため任意に拡大又は縮小されている。
本明細書に開示の態様、特徴及び要素が実装され得る車両の一部の例示の図面である。
本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。
本開示の実装による遠隔車両支援センタを示すブロック図である。
本開示の実装による例外処理のためのシステムのモジュールの一例である。
本開示の実装による自律走行車による例外処理のための技術のフローチャートである。
本開示の実装による障害状況の例を示すブロック図である。 本開示の実装による障害状況の例を示すブロック図である。
本開示の実装による遠隔オペレータのユーザインターフェース700を示す図である。
本開示の実装によるチケットを示す図である。
本開示の実装による遠隔オペレータの応答のメニューを示す図である。
本開示の実装による自律走行車による例外処理のための技術のフローチャートである。
自律走行車(AV)は、多くの道路状況に対処できない場合がある。状況によっては、AVのプログラミングの範囲外の場合がある。例えば、AVは、他の道路ユーザの意図を完全に評価、分類、及び/又は理解することができない場合がある。他の道路ユーザには、歩行者、建設作業者、警察官、建設機械、車両、自転車、その他の静的オブジェクト(例えば、建物、道路標識等)が含まれ得る。例えば、道路状況の評価は、他の道路ユーザが建物によって遮られている角の周囲にいるか否か、又は他の道路ユーザが丘の反対側にいるか否かを識別する場合のように、AVの感知能力の範囲外であってもよい。さらに、他のいくつかの状況(例えば、障害状況)を解決するには、AVは人間の監督なしには容認できないやり方で、運転に関する通常の(例えば、法律上、社会的に許容される)規則から逸脱することを必要とし得る。AVが対処できない道路状況を、ここでは例外状況と呼ぶ。例外状況とは、(例えば,AVの最終目的地に向かって)前進するためにAVがいくつかの走行基準を中断することを必要とする走行状況である。
AVが例外状況に遭遇すると、AVは停止して、遠隔オペレータからの支援を要求し得る。例えば、AVが道路で障害(例えば、建設現場、停止車両等)に遭遇した場合、AVが物理的に安全であるが交通規制によって制限されている領域を通過することを意味するならば、AVは障害を迂回しないかもしれない。したがって、遠隔オペレータ(例えば、人間のオペレータ、車両管理者)は、例えば、障害を迂回するAVのための経路(すなわち、軌道)をマッピングすることによって、AVがその問題状況を切り抜けるのを支援することを課せられる。遠隔オペレータは、各遠隔オペレータが1つ以上のAVの状態又は条件を監視し得る遠隔操作センタ(すなわち、遠隔車両支援センタ)で利用可能な多くの遠隔オペレータのうちの1人であってもよい。
しかしながら、(道路の中央等で)停車したAVは、公共の迷惑になり、又は危険であり安全でない道路状況をもたらし得る。したがって、遠隔オペレータの支援が要求されかつ/又は提供される場合であっても、遠隔オペレータは、支援の要求に迅速に応答しなければならない。
サンフランシスコ地区での実験では、3時間の走行の間に、AVは、遠隔オペレータによる解決を必要とする19の例外状況に遭遇した。遠隔オペレータが(AVから受信した情報等に基づいて)例外状況を評価し、AVの経路をマッピングするのに、例外状況ごとに平均して1分間かかった。そのため、平均して、その日の11%(すなわち、360分/19分≒11%)が1つのAVに対する例外状況の解決に費やされる。サンフランシスコでは、45万台の車両がタクシーサービスを提供するために登録されている。近い将来、タクシーサービスは自律走行車によってのみ提供され得ることが期待されている。したがって、1人の遠隔オペレータが10台のAVの管理に専念できると仮定すると、サンフランシスコ市だけで450人の遠隔オペレータが必要になる。このようなモデル(すなわち、人間の介入に大きく依存するモデル)は、実用的でなく、持続可能でなく、収益性が低く、効率的でもない。
上記の説明では、例外状況に遭遇すると、AVは停車して、遠隔オペレータの支援を要求している。遠隔オペレータ支援モデルは、多くの遠隔オペレータと、各例外状況を解決するためのかなりの時間を必要とし得る。
本開示による実装は、遠隔操作サポート(例えば、介入)の必要性を低減し得る。遠隔操作サポートの必要性は、例外状況を解決する(例えば、それに応答する)ために遠隔オペレータが必要とする時間を短縮することによって低減し得る。遠隔操作サポートの必要性は、AVの軌道等による遠隔操作サポートを必要とする例外状況の数を減少させることによって低減させ得る。
AVが障害状況に遭遇すると、AVは障害状況を通常状況又は例外状況に分類し得る。障害状況が通常状況に分類される場合、AVは障害状況を自律的に切り抜ける(例えば、迂回する)ことができる。一方で、障害状況が例外状況として分類される場合、AVは、例外状況を迂回する軌道(すなわち、経路)を決定(例えば、選択、計算、マッピング等)して、経路に対するリスクを決定し得る。いくつかの状況では、例外状況を迂回する軌道は、例外状況がそれ自体を解決するまでAVが完全に停止することだけであり得る。
リスクは、数値(パーセント、0から1までの数、0から10までの数、又はその他の数値等)であり得る。別の例では、リスクは順序ラベル(「普通」、「低」、「高」、「緑」、「黄」又は「赤」等)であり得る。リスクがリスク閾値を下回る場合(例えば、「高」未満、75%未満)、AVは自律的にその経路に沿って進むことができる。一方、リスクがリスク閾値を下回らない場合、AVは遠隔オペレータに要求を発行し得る。要求には経路が含まれ得る。遠隔オペレータは経路を承認するだけでよい。したがって、AVは、経路の承認を受信すると、自律的に経路に沿って進むことができる。
1つの実装では、本明細書に開示されるシステム及び技術は、以下のように要約し得る。AVは、人間の監督なしに自律的に走行しているときに、障害に遭遇する可能性がある。障害は、別の道路ユーザ、静的オブジェクト、又は別のオブジェクトであり得る新しいオブジェクトであり得る。例えば、障害は、停車した先行車両(すなわち、AVの前を走行している車両)であり得る。障害に応答して、AVは障害を迂回する経路を決定する。可能な経路がない場合、AVは停止して、障害が除去されるのを待機し得る。本明細書では、これを待機応答と呼ぶ。経路が可能であれば、AVはその経路を用いて障害を自律的に迂回することに関連付けられるリスクを評価し得る。リスクに基づいて、AVは、リスクがリスク閾値未満である場合は、(a)通常のやり方で自律的に障害を迂回するか、又はリスクがリスク閾値以上である場合は、(b)遠隔オペレータに連絡して支援を求めることによって、応答を実行し得る。参照を容易にするために、応答(a)-(b)は、それぞれ、通常応答及び支援応答と呼び得る。このように、障害に対するAVの可能な応答は、待機応答、通常応答、及び支援応答を含み得る。
待機応答の場合、AVは完全に停止し、経時的に状況を再評価し得る。状況が時間と共にどのように変化するかに応じて、AVは待機を続けるか、自律的に障害を迂回するか、又は遠隔オペレータに連絡するかのいずれかを行い得る。一例では、障害状況が所定の期間内に解決しない場合、AVは支援応答を実行し得る。一例では、障害状況は、AVが通常応答又は支援応答のいずれかを実行できるように変化し得る。
AVは、単一車線に留まるようにプログラムされ得る(例えば、単一車線の制約)。しかしながら、障害に遭遇したとき、AVは、他の交通の隙間によって許容されるとき、単一車線制約を緩和(例えば、解除)し、障害を自律的に迂回し得る。交通に隙間がない場合、AVは一時停止し、状況が変化するまで待機する(例えば、障害の除去、交通の隙間等)。
支援応答の場合(すなわち、AVが支援のために遠隔オペレータに連絡する場合)、AVは、支援のために遠隔操作センタに連絡し、遠隔操作センタの遠隔オペレータからの応答を待機している間、障害の背後で制御された停止状態になる。
支援の要求には、AV提案アクションが含まれ得る。一例として、AV提案アクションは、AVによってマッピングされる軌道(例えば、経路)を使用して障害を迂回することであり得る。一例では、軌道は、AVの目的地への新しい経路であり得る。AVによってマッピングされた軌道は、支援要求に含まれ得る。遠隔オペレータからの応答は、本明細書では「進行応答」又は「進行すべき応答」とも呼ばれるAV提案アクションを実行すること、本明細書では「待機応答」又は「待機すべき応答」とも呼ばれる待機を継続すること、本明細書では「軌道応答」又は「軌道を含む応答」とも呼ばれる遠隔オペレータによって提供される軌道を使用して障害を迂回すること、又は何らかの他の応答をAVが実行するための承認であり得る。遠隔オペレータが障害を迂回するAV提案アクションを承認する場合、AVは、一時的に対向車線に入り、自律的に障害を迂回して進む。
1つの実装では、支援応答は、AVによるチケットの発行の形態とし得る。チケットは、遠隔操作センタで遠隔オペレータに割り当てられ得る。チケットは、遠隔オペレータの専門知識、AVの地理的位置、AVの状態情報、障害状況に関する情報、又は他の何らかの基準に基づいて選択され得る特定の遠隔オペレータに割り当てられ得る。別の実装では、チケットは、先入れ先出しキューに入れられてもよく、次に利用可能な遠隔オペレータに割り当てられる。
上述の19の例外状況において、本明細書に記載の技術を用いて、約50%がリスク閾値を下回るスクを有すると判定された。したがって、このような障害状況を自律的に(すなわち、遠隔オペレータの介入なしに)解消することにより、総遠隔操作時間を50%短縮し得る。さらに、少なくともいくつかの状況において、AV提案経路の単なる承認に必要な遠隔オペレータ時間を減少させることによって(すなわち、遠隔オペレータは、ほとんどの場合、アクションを承認するだけでよく、AVの経路をマッピングする等してAVを厳密に指示する必要はない)、遠隔操作時間のさらなる減少を達成し得る。したがって、本開示による実装は、AVの車隊の遠隔操作時間を短縮し得る。例えば、必要なAVと遠隔オペレータの比率を10:1から40:1に(例えば、10台のAVごとに1人の遠隔オペレータから、40台のAVごとに1人の遠隔オペレータに)削減し得る。これにより、例外処理の遠隔操作コストが75%削減される。
いくつかの実装をより詳細に記載するために、以下の図面が参照される。
図1は、本明細書に開示の態様、特徴及び要素が実装され得る車両1050の一例の図面である。車両1050は、シャーシ1100、パワートレイン1200、コントローラ1300、車輪1400/1410/1420/1430、又は車両の任意の他の要素又は要素の組み合わせを含む。簡潔のため車両1050は4つの車輪1400/1410/1420/1430を含むように示されているが、プロペラ又はトレッド等の1つ以上の任意の他の推進装置が使用されてもよい。図1において、パワートレイン1200、コントローラ1300及び車輪1400/1410/1420/1430等の要素を相互接続する線は、データ又は制御信号等の情報、電力又はトルク等の力、又は情報及び電力の両方が各要素間で伝達され得ることを示している。例えば、コントローラ1300は、パワートレイン1200から電力を受信して、パワートレイン1200、車輪1400/1410/1420/1430、又は両方と通信して、車両1050を制御してもよく、これは、車両1050を加速、減速、操縦又は他のやり方で制御することを含み得る。
パワートレイン1200は、電源1210、トランスミッション1220、ステアリング装置1230、車両アクチュエータ1240、又はサスペンション、駆動シャフト、アクセル若しくは排気システム等のパワートレインの任意の他の要素又は要素の組み合わせを含む。別々に示されているが、車輪1400/1410/1420/1430は、パワートレイン1200に含まれてもよい。
電源1210は、電気エネルギ、熱エネルギ又は運動エネルギ等のエネルギを提供するように動作する任意の装置又は装置の組み合わせであってもよい。例えば、電源1210は、内燃エンジン、電気モータ又は内燃エンジン及び電気モータの組み合わせ等のエンジンを含み、車輪1400/1410/1420/1430の1つ以上に原動力として運動エネルギを提供するように動作する。いくつかの実施形態では、電源1210は、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)等の1つ以上の乾電池、太陽電池、燃料電池、又はエネルギを提供することが可能な任意の他の装置等のポテンシャルエネルギ装置を含む。
トランスミッション1220は、電源1210から運動エネルギ等のエネルギを受信して、原動力を提供するために車輪1400/1410/1420/1430にエネルギを送る。トランスミッション1220は、コントローラ1300、車両アクチュエータ1240又は両方によって制御されてもよい。ステアリング装置1230は、コントローラ1300、車両アクチュエータ1240又は両方によって制御され、車両を操縦するために車輪1400/1410/1420/1430を制御する。車両アクチュエータ1240は、コントローラ1300から信号を受信してもよく、車両1050を動作させるために電源1210、トランスミッション1220、ステアリング装置1230又はこれらの任意の組み合わせを作動又は制御してもよい。
いくつかの実施形態では、コントローラ1300は、位置決め装置1310、電子通信装置1320、プロセッサ1330、メモリ1340、ユーザインターフェース1350、センサ1360、電子通信インターフェース1370又はこれらの任意の組み合わせを含む。単一の装置として示されているが、コントローラ1300の任意の1つ以上の要素が任意の数の分離した物理装置に組み込まれてもよい。例えば、ユーザインターフェース1350及びプロセッサ1330は、第1の物理装置に組み込まれてもよく、メモリ1340は、第2の物理装置に組み込まれてもよい。図1には示されていないが、コントローラ1300は、バッテリ等の電源1210を含んでもよい。別個の要素として示されているが、位置決め装置1310、電子通信装置1320、プロセッサ1330、メモリ1340、ユーザインターフェース1350、センサ1360、電子通信インターフェース1370、又はこれらの任意の組み合わせは、1つ以上の電子装置、回路又はチップに組み込まれ得る。
いくつかの実施形態では、プロセッサ1330は、光プロセッサ、量子プロセッサ、分子プロセッサ又はこれらの組み合わせを含む現存する又は今後開発される信号又は他の情報を操作又は処理することが可能な任意の装置又は装置の組み合わせを含む。例えば、プロセッサ1330は、1つ以上の専用プロセッサ、1つ以上のデジタル信号プロセッサ、1つ以上のマイクロプロセッサ、1つ以上のコントローラ、1つ以上のマイクロコントローラ、1つ以上の集積回路、1つ以上の特定用途向け集積回路、1つ以上のフィールド・プログラマブル・ゲート・アレイ、1つ以上のプログラマブル・ロジック・アレイ、1つ以上のプログラマブル・ロジック・コントローラ、1つ以上の状態機械、又はこれらの任意の組み合わせを含んでもよい。プロセッサ1330は、位置決め装置1310、メモリ1340、電子通信インターフェース1370、電子通信装置1320、ユーザインターフェース1350、センサ1360、パワートレイン1200、又はこれらの任意の組み合わせと動作可能に結合されてもよい。例えば、プロセッサは、通信バス1380を介してメモリ1340と動作可能に結合されてもよい。
いくつかの実施形態では、プロセッサ1330は、操作センタを含む遠隔地から車両1050を操作するために使用され得る遠隔操作のための命令を含む命令を実行するように構成されてもよい。遠隔操作のための命令は、車両1050に記憶され、又は交通管理センタ又はクラウド型サーバコンピュータ装置を含むサーバコンピュータ装置等の外部ソースから受信されてもよい。プロセッサ1330は、本明細書に記載する例外処理のための命令を実行するように構成され得る。
メモリ1340は、プロセッサ1330によって使用される又はそれと接続される、機械可読命令又はそれに関連付けられる任意の情報を、例えば、保持、記憶、伝達又は搬送することが可能な任意の有形の非一時的コンピュータ使用可能又はコンピュータ可読媒体を含んでもよい。メモリ1340は、例えば、1つ以上の半導体ドライブ、1つ以上のメモリカード、1つ以上のリムーバブル媒体、1つ以上の読み取り専用メモリ、1つ以上のランダムアクセスメモリ、ハードディスク、フロッピーディスク、光学ディスクを含む1つ以上のディスク、磁気若しくは光学カード、又は電子情報を記憶するのに適した任意のタイプの非一時的な媒体、又はこれらの任意の組み合わせである。
電子通信インターフェース1370は、図示のような無線アンテナ、有線通信ポート、光学通信ポート、又は有線若しくは無線電子通信媒体1500とインターフェース接続することが可能な任意の他の有線若しくは無線装置であってもよい。
電子通信装置1320は、電子通信インターフェース1370等を介して、有線又は無線電子通信媒体1500を介して信号を送信又は受信するように構成されてもよい。図1に明示されていないが、電子通信装置1320は、無線周波数(RF)、紫外線(UV)、可視光、光ファイバ、有線回線、又はこれらの組み合わせ等の任意の有線又は無線通信媒体を介して送信、受信又は両方を行うように構成される。図1は、単一の電子通信装置1320及び単一の電子通信インターフェース1370を示しているが、任意の数の通信装置及び任意の数の通信インターフェースが使用されてもよい。いくつかの実施形態では、電子通信装置1320は、専用の短距離通信(DSRC)装置、無線安全装置(WSU)、IEEE802.11p(Wifi-P)、又はそれらの組み合わせを含み得る。
位置決め装置1310は、限定されないが、車両1050の経度、緯度、高度、進行方向又は速さを含む地理情報を決定してもよい。例えば、位置決め装置は、広域補強システム(Wide Area Augmentation System;WAAS)対応米国海洋電子機器協会(National Marine-Electronics Association;NMEA)装置、無線三角測量装置、又はこれらの組み合わせ等の全地球測位システム(GPS)装置を含む。位置決め装置1310は、例えば、車両1050の現在の向き、2次元又は3次元での車両1050の現在地、車両1050の現在の角度方向、又はこれらの組み合わせを表す情報を取得するために使用され得る。
ユーザインターフェース1350は、仮想キーパッド、物理キーパッド、タッチパッド、ディスプレイ、タッチスクリーン、スピーカ、マイクロホン、ビデオカメラ、センサ、及びプリンタのいずれかを含む、人間がインターフェースとして使用することが可能な任意の装置を含んでもよい。ユーザインターフェース1350は、図示のようにプロセッサ1330と、又はコントローラ1300の任意の他の要素と動作可能に結合されてもよい。単一の装置として示されているが、ユーザインターフェース1350は、1つ以上の物理装置を含み得る。例えば、ユーザインターフェース1350は、人物との音声通信を行うための音声インターフェース、及び人物との視覚及びタッチに基づく通信を行うためのタッチディスプレイを含む。
センサ1360は、車両を制御するために使用され得る情報を提供するように動作し得るセンサの配列等の1つ以上のセンサを含んでもよい。センサ1360は、車両の現在の動作特徴又はその周囲に関する情報を提供し得る。センサ1360は、例えば、速度センサ、加速度センサ、ステアリング角センサ、トラクション関連センサ、ブレーキ関連センサ、又は車両1050の現在の動的状況の何らかの態様に関する情報を報告するように動作可能な任意のセンサ若しくはセンサの組み合わせを含む。
いくつかの実施形態では、センサ1360は、車両1050の周囲の物理環境に関する情報を取得するように動作可能なセンサを含んでもよい。例えば、1つ以上のセンサが、道路形状、及び固定障害物、車両、サイクリスト及び歩行者等の障害を検出する。いくつかの実施形態では、センサ1360は、既知の又は後に開発される、1つ以上のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、又は任意の他の適切なタイプの車載環境感知デバイス、又はデバイスの組み合わせであるか又はこれらを含み得る。いくつかの実施形態では、センサ1360及び位置決め装置1310が結合される。
別に示されてはいないが、車両1050は、軌道コントローラを含んでもよい。例えば、コントローラ1300は、軌道コントローラを含んでもよい。軌道コントローラは、車両1050の現在の状態及び車両1050に対して計画された経路を記述する情報を取得し、この情報に基づいて、車両1050に対する軌道を決定及び最適化するように動作可能であってもよい。いくつかの実施形態では、軌道コントローラは、車両1050が軌道コントローラによって決定される軌道に従うように、車両1050を制御するように動作可能な信号を出力する。例えば、軌道コントローラの出力は、パワートレイン1200、車輪1400/1410/1420/1430又は両方に供給され得る最適化された軌道であり得る。いくつかの実施形態において、最適化された軌道は、一組のステアリング角等の制御入力であってもよく、各ステアリング角は1つの時点又は位置に対応する。いくつかの実施形態において、最適化された軌道は、1つ以上の経路、線、曲線、又はこれらの組み合わせであり得る。
1つ以上の車輪1400/1410/1420/1430は、ステアリング装置1230の制御下でステアリング角に枢動される操縦された車輪、トランスミッション1220の制御下で車両1050を推進するためのトルクを与えられる推進された車輪、又は車両1050を操縦及び推進する操縦及び推進された車輪であってもよい。
車両は、エンクロージャ、ブルートゥース(登録商標)モジュール、周波数変調(FM)ラジオ装置、近距離無線通信(NFC)モジュール、液晶ディスプレイ(LCD)ディスプレイ装置、有機発光ダイオード(OLED)ディスプレイ装置、スピーカ、又はこれらの任意の組み合わせ等の図1に示されていない装置又は要素を含んでもよい。
図2は、本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システム2000の一部の例示の図面である。車両交通及び通信システム2000は、図1に示された車両1050等の車両2100、及び図1に示された車両1050、歩行者、サイクリスト等の任意の交通手段の形態と共に建物等の任意の形態の構造を含み得る外部オブジェクト2110等の1つ以上の外部オブジェクトを含む。車両2100は、交通ネットワーク2200の1つ以上の部分を介して移動してもよく、1つ以上の電子通信ネットワーク2300を介して外部オブジェクト2110と通信してもよい。図2には明示されていないが、車両は、オフロード領域等の交通ネットワークに明示的に又は完全には含まれていない領域を横断してもよい。いくつかの実施形態では、交通ネットワーク2200は、誘導ループセンサ等の1つ以上の車両検出センサ2202を含んでもよく、これは交通ネットワーク2200において車両の移動を検出するために使用されてもよい。
電子通信ネットワーク2300は、車両2100、外部オブジェクト2110及び操作センタ2400の間の音声通信、データ通信、映像通信、メッセージング通信、又はこれらの組み合わせ等の通信を提供する多重アクセスシステムであってもよい。例えば、車両2100又は外部オブジェクト2110は、電子通信ネットワーク2300を介して操作センタ2400から交通ネットワーク2200を表す情報等の情報を受信してもよい。
操作センタ2400は、図1に示されたコントローラ1300の特徴の一部又は全てを含むコントローラ装置2410を含む。コントローラ装置2410は、自律走行車を含む車両の移動を監視及び調整し得る。コントローラ装置2410は、車両2100等の車両及び外部オブジェクト2110等の外部オブジェクトの状態又は状況を監視してもよい。コントローラ装置2410は、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、外部オブジェクト位置、外部オブジェクト動作状態、外部オブジェクト目的地、外部オブジェクト経路及び外部オブジェクトセンサデータのいずれかを含む車両データ及びインフラストラクチャデータを受信し得る。
さらに、コントローラ装置2410は、車両2100等の1つ以上の車両又は外部オブジェクト2110等の外部オブジェクトに対する遠隔制御を確立し得る。このようにして、コントローラ装置2410は、遠隔地から車両又は外部オブジェクトを遠隔操作してもよい。コントローラ装置2410は、無線通信リンク2380等の無線通信リンク又は有線通信リンク2390等の有線通信リンクを介して、車両2100、外部オブジェクト2110又はサーバコンピュータ装置2500等の車両、外部オブジェクト又はコンピュータ装置と状態データを交換(送信又は受信)してもよい。
サーバコンピュータ装置2500は、電子通信ネットワーク2300を介して、車両2100、外部オブジェクト2110又は操作センタ2400を含む1つ以上の車両又はコンピュータ装置と状態信号データを交換(送信又は受信)し得る1つ以上のサーバコンピュータ装置を含んでもよい。
いくつかの実施形態では、車両2100又は外部オブジェクト2110は、有線通信リンク2390、無線通信リンク2310/2320/2370、又は任意の数若しくはタイプの有線若しくは無線通信リンクの組み合わせを介して通信を行ってもよい。例えば、図示のように、車両2110又は外部オブジェクト2110は、陸上無線通信リンク2310を介して、非陸上無線通信リンク2320を介して、又はこれらの組み合わせを介して通信を行う。いくつかの実装形態では、陸上無線通信リンク2310は、イーサネット(登録商標)リンク、シリアルリンク、ブルートゥース(登録商標)リンク、赤外線(IR)リンク、紫外線(UV)リンク、又は電子通信を提供可能な任意のリンクを含む。
車両2100等の車両又は外部オブジェクト2110等の外部オブジェクトは、別の車両、外部オブジェクト又は操作センタ2400と通信してもよい。例えば、ホスト又は対象の車両2100が、直接通信リンク2370を介して又は電子通信ネットワーク2300を介して、操作センタ2400から基本安全メッセージ(basic safety message;BSM)等の1つ以上の自動車両間メッセージを受信してもよい。例えば、操作センタ2400は、300メートル等の既定のブロードキャスト範囲内のホスト車両に又は定義された地理領域にメッセージをブロードキャストしてもよい。いくつかの実施形態では、車両2100は、信号リピータ(図示せず)又は別の遠隔車両(図示せず)等のサードパーティを介してメッセージを受信する。いくつかの実施形態では、車両2100又は外部オブジェクト2110は、100ミリ秒等の既定の間隔に基づいて周期的に1つ以上の自動車両間メッセージを送信する。
自動車両間メッセージは、車両識別情報、経度、緯度若しくは高度情報等の地理空間状態情報、地理空間位置精度情報、車両加速度情報、ヨーレート情報、速度情報、車両方位情報、ブレーキシステム状態データ、スロットル情報、ハンドル角度情報若しくは車両経路情報等の運動状態情報、又は送信車両状態に関連する車両サイズ情報、ヘッドライト状態情報、方向指示器情報、ワイパ状態データ、トランスミッション情報若しくは任意の他の情報若しくは情報の組み合わせ等の車両動作状態情報を含んでもよい。例えば、トランスミッション状態情報は、送信車両のトランスミッションがニュートラル状態、パーキング状態、前進状態又は後退状態に有るかどうかを示す。
いくつかの実施形態では、車両2100は、アクセスポイント2330を介して電子通信ネットワーク2300と通信する。コンピュータ装置を含み得るアクセスポイント2330は、無線又は有線通信リンク2310/2340を介して、車両2100と、電子通信ネットワーク2300と、操作センタ2400と、又はこれらの組み合わせと通信するように構成されてもよい。例えば、アクセスポイント2330は、基地局、BTS(base transceiver station)、Node-B、eNode-B(enhanced Node-B)、HNode-B(Home Node-B)、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の類似の有線若しくは無線装置である。単一の装置として示されているが、アクセスポイントは、任意の数の相互接続要素を含み得る。
車両2100は、衛星2350又は他の非陸上通信装置を介して電子通信ネットワーク2300と通信してもよい。コンピュータ装置を含み得る衛星2350は、1つ以上の通信リンク2320/2360を介して、車両2100と、電子通信ネットワーク2300と、操作センタ2400と、又はこれらの組み合わせと通信するように構成されてもよい。単一の装置として示されているが、衛星は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク2300は、音声、データ、又は任意の他のタイプの電子通信装置を提供するように構成される任意のタイプのネットワークであってもよい。例えば、電子通信ネットワーク2300は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、仮想プライベートネットワーク(VPN)、モバイル若しくはセルラ電話ネットワーク、インターネット、又は任意の他の電子通信システムを含む。電子通信ネットワーク2300は、トランスミッション・コントロール・プロトコル(TCP)、ユーザ・データグラム・プロトコル(UDP)、インターネット・プロトコル(IP)、リアルタイム・トランスポート・プロトコル(RTP)、ハイパー・テキスト・トランスポート・プロトコル(HTTP)、又はこれらの組み合わせ等の通信プロトコルを使用してもよい。単一の装置として示されているが、電子通信ネットワークは、任意の数の相互接続要素を含み得る。
いくつかの実施形態では、車両2100は、電子通信ネットワーク2300、アクセスポイント2330又は衛星2350を介して、操作センタ2400と通信する。操作センタ2400は、車両2100等の車両、外部オブジェクト2110等の外部オブジェクト、又はサーバコンピュータ装置2500等のコンピュータ装置からのデータを交換(送信又は受信)し得る1つ以上のコンピュータ装置を含んでもよい。
いくつかの実施形態では、車両2100は、交通ネットワーク2200の一部又は状態を識別する。例えば、車両2100は、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音響センサ、又は交通ネットワーク2200の一部若しくは状態を決定若しくは識別することが可能な任意の他のセンサ若しくはデバイス又はこれらの組み合わせを含む図1に示されたセンサ1360等の1つ以上の車載センサ2102を含んでもよい。
車両2100は、交通ネットワーク2200を表す情報、1つ以上の車載センサ2102、又はこれらの組み合わせ等の電子通信ネットワーク2300を介して伝達される情報を使用して、交通ネットワーク2200の1つ以上の部分を横断してもよい。外部オブジェクト2110は、車両2100に関して先に記載された通信及びアクションの全て又は一部の能力を有してもよい。
簡潔のため、図2は、ホスト車両としての車両2100、外部オブジェクト2110、交通ネットワーク2200、電子通信ネットワーク2300、及び操作センタ2400を示している。しかしながら、任意の数の車両、ネットワーク又はコンピュータ装置が使用されてもよい。いくつかの実施形態では、車両交通及び通信システム2000は、図2に示されていない装置、ユニット又は要素を含む。車両2100又は外部オブジェクト2110は単一の装置として示されているが、車両は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク2300を介して操作センタ2400と通信する車両2100が示されているが、車両2100(及び外部オブジェクト2110)は、任意の数の直接又は間接通信リンクを介して操作センタ2400と通信してもよい。例えば、車両2100又は外部オブジェクト2110は、ブルートゥース(登録商標)通信リンク等の直接通信リンクを介して操作センタ2400と通信してもよい。簡潔のため、図2は1つの交通ネットワーク2200及び1つの電子通信ネットワーク2300を示しているが、任意の数のネットワーク又は通信装置が使用されてもよい。
図3は、本開示の実装による遠隔車両支援センタ300を示すブロック図である。遠隔車両支援センタ300は、遠隔システム又は遠隔操作センタとも呼び得る。遠隔車両支援センタ300は、車隊マネージャ310と、限定されないが、遠隔オペレータ320及び遠隔オペレータ330を含む複数の車両マネージャ(すなわち、遠隔オペレータ)と、限定されないが、車両340,350,360及び370を含む複数の車両とを含む。
車隊マネージャ310は、図1に示されたコントローラ1300又は図2のコントローラ装置2410の特徴の一部又は全てを含む装置を含み得る。車隊マネージャ310は、遠隔オペレータ320/330を含む遠隔オペレータと共に自律走行車及び車両340/350/360/370を含む車両の移動を監視及び調整し得る。遠隔オペレータを監視及び調整することは、遠隔オペレータに車両を割り振る、割り当てる又は割り当てを解除すること、遠隔オペレータの性能データをレビュー及び監視すること、及び地理領域に遠隔オペレータを割り振ることのいずれかを含み得る。1つの実装では、順番に管理され得る又は他の車隊マネージャの権限下にある多数の車隊マネージャがあり得る。
遠隔オペレータ320は、車両340及び車両350を含む車両の状態又は状況を監視し得る。図3に示されているように、遠隔オペレータ320は、車両340及び車両350を割り当てられている。遠隔オペレータへの車両の割り当ては、車隊マネージャ310等の車隊マネージャによって行われ得る。
遠隔オペレータ330は、車両360及び車両370を含む車両の状態又は状況を監視することができる。図3に示されているように、遠隔オペレータ330は、車両360及び車両370を割り当てられている。遠隔オペレータへの車両の割り当ては、車隊マネージャ310等の車隊マネージャによって行われ得る。遠隔オペレータへの車両の割り当ては、機械学習技術を使用して自動化することもできる。
1つの実装では、遠隔オペレータは、車両をクラスタ化又はグループ化し、車内の乗員との通信を確立し、車両を遠隔操作し、交通ネットワーク内の車両の移動又は交通渋滞等の様々な障害の回避を調整し得る。遠隔オペレータは、他の遠隔オペレータと対話して車両の監視及び管理を支援し得る。
車両340/350/360/370を含む車両は、図2に示された車両2100等の車両を含み、これらは車隊マネージャ310によって監視又は調整されている。車両は、自律的に又は人間の運転者によって操作されてもよく、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、及び外部オブジェクト位置のいずれかを含む車両の状態又は状況及びその周囲に関連する車両データを交換(送信及び受信)し得る。
なお、本明細書の説明において、自律走行車がアクション(実行、判定、開始、受信、計算、決定等)を行うことを説明する文章は、AVの何らかの適切なモジュールがアクションを行うことを意味するものとする。このようなモジュールは、図1のメモリ1340等のAVのメモリに記憶され、図1のプロセッサ1330等のプロセッサによって実行され得る。このようなモジュールは、図2のコントローラ装置2410等のコントローラ装置に部分的又は完全に含まれてもよく、AVのプロセッサ、操作センタのプロセッサ、又はこれらの組み合わせによって部分的又は完全に実行されてもよい。例えば、「AVが軌道を決定する」という記述は、「AVのモジュールが軌道を決定する」又は「AVの軌道計画モジュールが軌道を決定する」ことを意味すると理解し得る。
図4は、本開示の実装による例外処理のためのシステム400のモジュールの一例である。システム400は、図1に示す車両1050、図2に示す車両2100、図3の車両340/350/360/370のうちの1つを含む車両(例えば、自律走行車)に含まれ得る。システム400は、図1のメモリ1340等のメモリに、図1のプロセッサ1330等のプロセッサによって実行され得るコンピュータ実行可能命令として記憶し得る。
システム400は、世界モデルモジュール402と、軌道計画モジュール404と、障害管理モジュール406と、リスク評価モジュール408とを含む。システム400の他の例は、より多い、より少ない、又は他のモジュールを含み得る。いくつかの例では、いくつかのモジュールを組み合わせてもよく、他の例では、モジュールを1つ以上の他のモジュールに分割し得る。例えば、リスク評価モジュール408は、障害管理モジュール406と組み合わせることができる。システム400のモジュール又はそのサブセットは、例外処理モジュールと呼び得る。
世界モデルモジュール402は、図1のセンサ126等からセンサデータを受信し、センサデータからオブジェクトを決定し得る(例えば、変換する、検出する)。すなわち、例えば、世界モデルモジュール402は、受信したセンサデータから道路ユーザ(例えば、図2に関して説明した1つ以上の外部オブジェクト又は外部オブジェクト2110)を判定し得る。例えば、世界モデルモジュール402は、光検出測距(LiDAR)センサ(すなわち、センサ126のセンサ)から受信した点群をオブジェクトに変換し得る。複数のセンサからのセンサデータを融合して、オブジェクトを決定する(例えば、その正体を推測する)ことができる。オブジェクトの例には、自転車、歩行者、車両、構造等が含まれる。世界モデルモジュール402によって維持されるオブジェクトは、静的オブジェクト及び/又は動的オブジェクトを含み得る。動的オブジェクトは、現在移動中の世界オブジェクトである。静的オブジェクトは、移動しない任意のオブジェクトである。建物又は交通標識は、静的オブジェクトの例である。静的オブジェクトは、以前に動的オブジェクトとして分類されたオブジェクトであってもよく、その逆も同様である。
世界モデルモジュール402は、検出されたオブジェクトの少なくともいくつかについての追加情報を世界モデルモジュール402が計算及び維持することを可能にするセンサ情報を受信し得る。例えば、世界モデルモジュール402は、決定されたオブジェクトの少なくともいくつかの状態を維持し得る。例えば、オブジェクトの状態には、ゼロ以上の速度、姿勢、ジオメトリ(幅、高さ、奥行き等)、分類(例えば、自転車、大型トラック、歩行者、道路標識等)、及び位置が含まれる。そのため、オブジェクトの状態は、離散状態情報(例えば、分類)及び連続状態情報(例えば、姿勢と速度)を含む。
世界モデルモジュール402は、センサ情報を融合することができ、オブジェクトを追跡することができ、動的オブジェクトの少なくともいくつかについての仮説のリストを維持することができ(例えば、オブジェクトAが直進している、右折している、又は左折している)、各仮説について予測された軌道を作成して維持することができ、各仮説の尤度推定値を維持し得る(例えば、オブジェクトAの姿勢/速度と軌道の姿勢/速度を考慮すると、オブジェクトAが直進する確率は90%である)。
一例では、世界モデルモジュール402は、軌道計画モジュール404の1つ以上のインスタンスを使用して、動的オブジェクトの少なくとも一部についての各オブジェクト仮説に対する予測軌道を生成する。例えば、軌道プランナのインスタンスを使用して、車両、自転車、及び歩行者の予測軌道を生成し得る。別の例では、軌道プランナのインスタンスを使用して、車両及び自転車の予測軌道を生成することができ、異なる方法を使用して、歩行者の予測軌道を生成し得る。
軌道計画モジュール404は、静的オブジェクトの存在を検出(例えば、感知、観測等)して、車両交通ネットワークの他のユーザ(例えば、道路ユーザ、動的オブジェクト)の軌道を予測(すなわち、予想)することによって、車両の軌道(すなわち、経路)を生成し得る。軌道計画モジュール404は、例えば、地図データ、遠隔操作データ、及び他の入力データを受信すること;起点位置から目的地位置までの経路の速度プロファイルを決定するために、入力データを縦方向に縫い合わせ(例えば、融合、接続等)する(例えば、起点位置から目的地位置までの経路の異なる区間に沿ってAVを走行し得る速度を指定する速度プロファイル);及び離散的な時点において(例えば、数ミリ秒ごとに)、AVのセンサデータに基づいて観測される静的及び動的オブジェクトに関連する制約を軌道プランナに処理させることにより、次の時間ウィンドウ(例えば、6秒の先読み時間)のためのAVの円滑な軌道を生成することによって、AVのための軌道を起点位置から目的地位置まで生成し得る。
軌道計画モジュール404は、次の数秒の軌道を決定し得る。したがって、次の数秒が次の6秒(すなわち、6秒の先読み時間)である例では、軌道計画モジュール404は、次の6秒におけるAVの軌道及び位置を決定し得る。例えば、軌道計画モジュール404は、いくつかの時間間隔(例えば、1/4秒ごと、又は他の時間間隔)でAVの予測位置を決定(例えば、予測、計算等)し得る。軌道計画モジュール404は、他の道路ユーザの予測可能な応答に基づいて詳細に計画された軌道を決定し得る。
一例では、世界モデルモジュール402は、軌道計画モジュール404のインスタンスを使用して、動的オブジェクトの少なくとも一部についての各オブジェクト仮説に対する予測軌道を生成し得る。例えば、軌道計画モジュール404のインスタンスを使用して、車両、自転車、及び歩行者の予測軌道を生成し得る。別の例では、軌道計画モジュール404のインスタンスを使用して、車両及び自転車の予測軌道を生成することができ、異なる方法を使用して、歩行者の予測軌道を生成し得る。
軌道計画モジュール404は、車両交通ネットワークの他のユーザ(実世界オブジェクトとも呼ばれる)の予想される(すなわち、予測される)軌道を世界モデルモジュール402から受信し得る。検出された各動的オブジェクト(例えば、車両、歩行者、自転車等の実世界オブジェクト)について、世界モデルモジュールは、実世界オブジェクトの考えられる意図に関する1つ以上の仮説を維持(例えば、予測及び更新)し得る。意図(例えば、仮説)の例には、停車、右折、左折、直進、通過、及び駐車が含まれる。尤度は各仮説と関連付けられる。尤度はセンサデータから受信した観測に基づいて更新される。
一例では、次の時間ウィンドウのための経路を決定するために(障害を迂回するため等)、軌道計画モジュール404は、次の時間ウィンドウのための走行可能領域及び離散時間速度計画を決定し得る。走行可能領域は、例えば、AVが走行可能な車両交通ネットワークの領域である。最初に、走行可能領域は、AVが安全に運転されることが予測できない領域を含み得る。軌道計画モジュール404は、AVが安全に運転されることが予測できない領域を走行可能領域から除外する。この処理により、調整された走行可能領域が得られる。調整された走行可能領域には、交通基準に違反する領域が含まれ得る。
軌道計画モジュール404は、AVの近傍のオブジェクトを識別し得る。一例では、近傍のオブジェクトは、世界モデルモジュール402によって維持される外部オブジェクトの少なくとも一部であってもよい。例えば、近傍のオブジェクトは、AVから所定の距離内のオブジェクト、AVの予測到着時間内のオブジェクト、又は障害状況を構成するオブジェクト等のオブジェクトのサブセットを識別するための他の基準を満たすオブジェクトであり得る。
軌道計画モジュール404は、調整された走行可能領域を決定する。「調整された走行可能領域」とは、静的及び/又は動的オブジェクトを考慮して領域が走行可能領域から除去された後の走行可能領域である。例えば、調整された走行可能領域を決定する際に、軌道計画モジュール404は、障害状況を引き起こした任意のオブジェクト、対向車両、及びAVの近傍にあり得る(例えば、後ろから、左から、右から来る)他の道路オブジェクトを考慮し得る。
軌道計画モジュール404は、静的オブジェクトについて走行可能領域を調整する。すなわち、軌道計画モジュール404は、走行可能領域から、静的オブジェクトが位置する走行可能領域の部分を除去する(例えば、切り取る等)。これは、AVが静的オブジェクトを迂回してナビゲート(例えば、走行)するように制御されるべきためである。なお、現在静的オブジェクトとして分類されているオブジェクトは、過去の時点で動的オブジェクトとして分類されていてもよく、将来の時点で動的オブジェクトになる可能性がある。カットアウト領域のサイズは、静的オブジェクトのサイズの推定値に基づいて決定し得る。カットアウト領域のサイズは、AVが静的オブジェクトに近づき過ぎないようにクリアランス領域を含み得る。
軌道計画モジュール404は、静的オブジェクトの離散時間速度計画を調整し得る。例えば、障害又は他の道路ユーザが存在しない場合、離散時間速度計画は所定の速度プロファイルに従うことができる。例えば、調整された走行可能領域が静的オブジェクトを考慮した狭い経路を含む場合、戦略的プロファイルに逐語的に(すなわち、戦略的プロファイルに設定された通りに)従う(その速度を使用する)代わりに、軌道計画モジュール404は、AVの速度を快適な速度まで減少させるように離散時間速度計画を調整する。例えば、静的オブジェクトを考慮して調整された走行可能領域が静的障害物(例えば、障害状況)を含む場合、軌道計画モジュール404は、AVが静的障害物の前に所定の距離で停止するように離散時間速度計画を調整する。
次いで、軌道計画モジュール404は、動的オブジェクトの走行可能領域を調整し得る。すなわち、軌道計画モジュール404は、各動的オブジェクトのそれぞれの予測軌道に基づいて、走行可能領域の一部を切り出す。軌道計画モジュール404は、各動的オブジェクトの位置に関するタイミング情報を使用して、走行可能領域の追加部分を切り取り得る。動的オブジェクトのための走行可能領域内のカットアウトは、動的オブジェクトに対する予測のタイミングと、今度は静的オブジェクトを考慮している離散時間速度計画によって生成されるタイミングとを比較することによって生成される。すなわち、軌道計画モジュール404は、動的オブジェクトについて、及び動的オブジェクトの予測された軌道に基づいて、動的オブジェクトが、同じ離散的時点におけるAVの位置に対して異なる離散的時点に位置する場所を予測し得る。動的オブジェクトの位置は、AVの予測位置と一致させて、カットアウト部分を決定する。
次いで、軌道計画モジュール404は、制約された動作等の(複数の)最適化動作を実行して、AVの最適軌道を決定し得る。軌道計画モジュール404は、AVの運動モデル(例えば、運動学的動作モデル)、粗走行線(例えば、AVが道路に沿って移動するときにAVの縦軸が一致する道路上の線)、及び調整された走行可能領域、より多い、より少ない、又は他の入力を(すなわち、最適化動作への入力として)使用して、AVの最適軌道を計算(例えば、決定、生成等)し得る。
障害管理モジュール406は、障害状況を識別し得る。例えば、障害管理モジュール406が、軌道計画モジュール404によって決定されたAVの軌道(すなわち、第1の軌道)が遮られていることを検出した場合、所定の時間(例えば、数秒)の後、障害管理モジュール406は、交通基準を緩和することによって、軌道計画モジュール404に第2の軌道を生成させ得る。第1の軌道は、交通基準に違反することなく生成されたものであってもよい。例えば、走行可能領域を導出する際に、軌道計画モジュール404は、反対車線及び/又はオフロード領域を除外していてもよい。第2の軌道を生成する際に、障害管理モジュール406は、第1の軌道を生成する際に軌道計画モジュール404が非走行可能領域と見なした領域を使用するように軌道計画モジュール404に指示し得る。
障害管理モジュール406は、障害状況、第2の軌道又はそれらの組み合わせに関連付けられるリスクをリスク評価モジュール408に評価させ得る。第2の軌道に関連付けられるリスクがリスク閾値よりも大きい場合、障害管理モジュール406は、以下にさらに説明するように、遠隔オペレータへの要求を開始し得る。障害管理モジュール406は、遠隔オペレータからの応答を受信し、その応答に従ってAVを動作させ得る。上述のように、遠隔オペレータの応答は、以下にさらに説明するように、待機応答、進行応答、軌道を含む応答、又は他の何らかの応答であり得る。
リスク評価モジュール408は、障害状況、軌道、又はそれらの組み合わせに関連付けられるリスクを決定する。第1の例では、リスクは、障害シーンの(例えば、受信したセンサデータ、高精細度(HD)地図データ、及びAVに利用可能な他のデータに基づく)AVによる理解の尺度であると見なし得る。参照の容易さのため、障害シーンのAVによる理解の尺度は、状況尤度値、又は単に状況尤度と呼ぶことができる。第2の例では、リスクは、状況尤度と、上述のように軌道計画モジュール404によって生成された第2の軌道に従う影響との重み付けに基づくものであり得る。リスクを測定する他の方法も可能である。
最初の例では、リスク評価モジュール408は、例外状況の解決に重要かつ/又は関連し得る特徴の値に基づいてリスクを決定する。特徴は、シーン内に他の世界オブジェクトが存在するかどうか、他の世界オブジェクトの状態情報、HD地図上のAVの位置、AVの速度、AVからの視認性、停止した車両に関する特定の特徴、より少ない情報、追加情報、その他の情報、又はこれらの組み合わせを含み得る。
例えば、他の世界オブジェクトに関する特徴は、車両、自転車、歩行者のいずれかが存在するかどうか及びそれらのそれぞれの数、世界オブジェクトが以前に検出されたか又は新しいオブジェクトであるかどうか、及び/又は以前に検出されたオブジェクトが以前に移動していると判定されたかどうか(例えば、検出されたオブジェクトの分類が動的から静的に変更されたかどうか)を含み得る。例えば、車両が移動していたが、現在停止しているという以前の観測は、その車両が再び移動する可能性が高いことを示し得る。HD地図上のAVの位置は、道路のタイプ、交通標識(例えば、信号機、停止標識等)の存在、交差点等を含み得る。AVからの視認性は、AVの視界が(停車中の車両等によって)遮られているかどうか、及び丘の存在等を含み得る。停車した車両に関する他の特徴には、センサ情報を用いて感知されかつ検出される範囲で、ハザードランプが点灯しているかどうか、どのドアが開いているか、歩行者が荷物を積み降ろししているかどうか等が含まれる。決定されたリスク値は、特徴値の重み付けされた組み合わせであり得る。
シーンにいる歩行者の存在は、リスクを高め得る。AVの視界を遮るものがなければ、リスクを低下させ得る。オブジェクトの分類に関する不確実性(又は不確実性の程度)は、リスクを増大させ得る。例えば、車両が駐車している間は、車両が恒久的に停車しているか(例えば、故障しているため)、又は一時的に(交差点等で)駐車しているかを判定できない場合がある。オブジェクトが恒久的に停車しているかどうかに確実性の程度が関連付けられ得る。車両が恒久的又は一時的に停車しているかどうかのリスクを決定する際には、他の指標を用いることができる。例えば、パイロン及び/又は点滅するハザードランプを検出することによって、車両が恒久的に停車していることの確実性を高めることができる。例えば、車両が停車している時間が長いほど、車両が恒久的に停車している可能性が高くなる。悪天候(雪、霧等)がリスクを高め得る。例えば、HD地図データ等に基づいて車両が交差点で停車することが観測(例えば、決定、評価等)されることは、車両が他の交通に道を譲っている可能性が高いことを示し得る。したがって、車両は再び動く可能性が高い。ただし、この交差点において通常の道を譲る時間を超えて継続して静止していることが観測される場合はこの限りではない。
ある例では、先行車両が以前に移動すると決定されていた(したがって、移動を継続する可能性が非常に高い)場合、車両を迂回するのではなく、待機する戦略をAVに選択させ得る。しかしながら、先行車両が所定の期間(例えば、2分間、3分間又はその他の停止時間)移動したと判定されない場合、第2の軌道に関連付けられるリスクを判定し得る。
第2の例では、上述のように、リスク評価モジュール408は、上記の軌道計画モジュール404によって生成された第2の軌道に従うことの影響と状況尤度値の重み付け(例えば、積)とに基づいてリスクを決定し得る。リスク評価モジュール408は、遠隔の人間の監視なしにAVが障害を迂回することを可能にするリスクを計算するものと考えることができる。リスクは、結果の社会的コストで重み付けされた結果の可能性の尺度であり得る。数学的には、起こりうる結果{Yi}(例えば、AVが迂回している間に障害が移動する)を考慮すると、尤度{Pi}及び‘社会的コスト’{Ci}を用いて、リスクは、risk=max_i{Pi*Ci}と計算され得る。
例えば、障害のシーンで人が検出されたと仮定する。シーンにいる人物(道路を横断する普通の歩行者ではない)は、少なくとも、i)その人物が正当な交通監督者(例えば、交通巡査、建設作業員)であるかどうかが不明であること、及びii)正当な交通監督者を又はその指示を無視することは高いコストを有し得ることから、リスクを高める。その人物が実際には警察官であっても、(世界モデルモジュール402等によって)完全に確実に分類されていなければ、その警察官の指示を無視した場合の影響は大きなものとなる。
第2の例では、リスクは、AVが自身の障害状況の理解に基づいて、(人間の遠隔オペレータ等からの)追加の入力なしに決定(例えば、軌道に従う決定)を行うリスクとして説明し得る。別の言い方をすれば、リスクの計算はAVの選択されたアクションに基づいている。AVの選択されたアクションは、基本的に第2の軌道に従って進行するアクションである。さらに別の言い方をすれば、リスクはAVの状況の理解に基づいて計算できる。知識(すなわち、理解)の欠如は、歓迎されない結果(例えば、交通巡査に従わないこと)を排除できず、したがって可能な限り考慮されなければならないことを意味し得る。
リスク評価モジュール408は、1つ以上の状況尤度値を推定することができ、各値は、可能な特徴値の組み合わせに関連付けられる。シーン内の特徴を使用して、起こり得る結果の尤度とコストを通知し得る。例えば、前方の見通しが良く、十分な空間がある場合、移動する障害を追い越すコストは低くなる可能性がある。例えば、障害のハザードランプが点灯している場合、それが移動する可能性も低いと考えられる。その結果、リスクは非常に(例えば、risk=low*low=(非常に低い))。例えば、ある人物がシーン内で識別される場合、1つの状況尤度値は、人物が警察官であることに関連付けられてもよく、第2の状況尤度値は、人物が建設作業員であることに関連付けられ得る。さらに、1つの第2の軌道が上述されているが、1つより多くの第2の軌道が軌道計画モジュール404によって生成されてもよく、第2の軌道の各々に関連付けられる影響が評価される。最終的なリスク評価(例えば、リスク評価モジュール408によって提供されるリスク値)は、検討された一連の結果に関連付けられる最悪の場合のリスクとなりうる。すなわち、リスクは、計算された全てのリスク値の最小値(すなわち、最もリスクがある)とし得る。
表Iに示すように、状況尤度値と影響値の積をリスク値として用い得る。リスク評価行列を想起させる表Iでは、状況尤度値は3つの値(すなわち、低、中、高)を有するものとして示され、影響値も3つの値(すなわち、低、中、高)を有するものとして示される。しかしながら、当業者であれば、状況尤度値及び/又は影響値には、より多い又は少ない値(ラベル又は数値)を割り当て得ることを認識するであろう。数値を用いる場合、リスクは、状況尤度値に影響値を乗算することにより求めることができる。表Iにリスク評価行列の例を示す。
Figure 2022528640000002
表Iは、状況尤度/影響値の組み合わせが低/中、低/低、及び中/低であると決定される状況において、リスクが「緑」として識別され、状況尤度/影響値の組み合わせが低/高、中/中、及び高/低であると決定される状況において、リスクは「黄」として識別され、状況尤度/影響値の組み合わせが中/高、高/高、高/中であると決定される状況において、リスクは「赤」として識別されることを示している。例えば、緑及び黄のリスク状況では、AVは自律的に(すなわち、遠隔オペレータの介入又は支援なしで)障害状況を解決する(例えば、迂回する、対処する、避けてナビゲートする)ことができる。しかしながら、リスクが赤の場合、AV(すなわち、障害管理モジュール406)は遠隔オペレータからの支援要求を開始する。
図5は、本開示の実装による自律走行車(AV)による例外処理のための技術500のフローチャートである。例外処理のための技術500の一部又は全部は、図1に示す車両1050、図2に示す車両2100、図3の車両340/350/360/370の1つを含む車両(例えば、自律走行車)、又は図2に示すコントローラ装置2410等のコントローラ装置を含むコンピュータ装置において実装されてもよい。コントローラ装置は、例外処理モジュール(例えば、図4のシステム400)を含んでもよく、又はコントローラ装置は例外処理モジュールを含み得る。1つの実装では、例外処理のための技術500の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を組み合わせたシステムにおいて実装され得る。技術500は、図4のシステム400のモジュールの少なくとも一部によって、部分的又は完全に実行され得る。
ステップ502において、技術500は例外状況を識別する。1つの実装では、例外状況を識別するステップは、AVの第1の軌道の障害を識別すること、障害を回避する第2の軌道を決定すること、及び第2の軌道が走行基準に違反することを決定することを含み得る。
図6A-図6Bは、本開示の実装による障害状況610,630,650,670の例を示すブロック図である。障害状況610,630,650は、例えば、AV(図示せず)の前面カメラ及び/又はセンサの観点から描かれている。すなわち、障害状態610,630,650のそれぞれにおいて、図示された例は、AVの1つ以上のセンサを通して知覚されるビュー(例えば、障害シーン)を示している。
障害状況610では、AVは左車線612を含む二車線道路の右車線に描かれている。AVは車両614の後方で停止し、その車両はトラック616の後方で停止している。車両614、トラック616、及び任意の他の図形に関して説明した任意の他の道路ユーザは、AVの世界モデルモジュール402によって維持し得る。AVは、少なくとも1つ以上の基準に基づいて障害状況を検出し得る。例えば、AVの経路が所定の時間以上妨害されたままである場合、障害状況を検出し得る。
既定の時間は、1分、2分、又はその他の既定の時間であり得る。一例では、既定の期間は、AVに近接する平均交通信号機時間に依存し得る。例えば、AV(又はそのモジュール)は、交通信号情報を含み得る高精細(HD)地図情報を含んでもよい(又はそれにアクセス可能であってもよい)。同様に、AVは、全地球測位センサ(GPS)を含み得る。したがって、(GPS情報を用いて)AVの位置と地図情報を用いて、AVは平均交通信号機時間を求めることができる。
別の例では、AVは、交通信号機618が緑色になったこと、左車線612内の車両620が前進していること、他の何らかの基準、又はそれらの組み合わせ、さらにAVの経路が妨害されたままであることにより、障害状況を検出し得る。HD地図情報は、数センチメートル以内までの車両交通ネットワークに関する正確な情報を含み得る。例えば、HD地図情報は、道路車線、道路分割線、信号機、交通標識、速度制限等に関する詳細を含み得る。
一例では、図4の軌道計画モジュール404等のAVの軌道計画モジュールを使用して、AVの経路(例えば、軌道)が妨害されていることを判定し得る。例えば、軌道計画モジュールは、AVがその現在の軌道に沿って進むかどうかを決定することができ、その場合、AVは0.5秒以内に静的障害(すなわち、車両614)に遭遇する(例えば、衝突する)であろう。上述のように、軌道計画モジュールのインスタンスを使用して、車両614の軌道を決定し得る。車両614が一定時間移動していない場合、世界モデルモジュール402内の状態情報は、車両614が静的オブジェクトであることを示し得る。
障害状況630は、AVが一方通行路を走行しており、車線632が反対方向通行用であることを示している。車両634が停止している。車両634の状態情報(例えば、図4の世界モデルモジュール402等の世界モデルモジュールによって維持し得る状態情報等)は、車両634が停止していることを示し得る。いくつかの例では、AVは(例えば、AVのセンサを介して)、車両634のハザードライトが点滅していることを判定し得る。いくつかの例では、AVは、パイロン636が車両634の後方に配置されていることを検出し得る。
障害状況650は、AVが交差点652に接近していることを示す。AVは、AVに利用可能な地図情報に基づいて交差点を識別し得る。車両654及び車両656が停止している。しかしながら、図4の障害モジュール406等のAVの障害モジュールは、車両654,656の少なくとも1つが交差点で停止しているか、又は何らかの他の理由で停止しているかを確実に判定することができない場合がある。歩行者658及び車両660もシーン内で検出される。上述したように、AVの世界モデルモジュール402は、車両654,656,660及び歩行者658の各々に関連付けられる状態情報を維持し得る。
障害状況670は、AVが交差点672に接近していることを示す。交差点672は丘の頂上にある。したがって、AVのセンサは、反対方向車線674の丘の反対側にあり得る他の世界オブジェクトを観測することができない。車両676が停止している。車両676がAVの経路を妨害している。いくつかの例では、AVは、車両676がバンであることを検出し得る。図4の障害モジュール406等のAVの障害モジュールは、車両676のバックドアが開放されているので、車両676が荷積み/荷降ろしをしていると識別し得る。
上述のように、AVは、障害を回避する(例えば、迂回する)軌道を決定し得る。一例では、図4の軌道計画モジュール404等の軌道計画モジュールを使用して、障害を迂回して進むための1つ以上の軌道を決定し得る。障害モジュールは、軌道に従ってAVを動作させると交通基準に違反するような軌道を生成するように軌道計画モジュールに指示し得る。
障害状況610に関して、AVは、AVが左車線612を使用する軌道を決定し得る。左車線612の交通の方向は、AVの方向と同じである。したがって、左車線612に移動することにより、AVはいかなる交通基準にも違反しない。別の例では、AVは、車両614の後ろで停止し続けることを決定し得る(例えば、左車線612がはっきりしていないため)。このような(例えば、車両614の後方で停止し続ける)状況でも、交通基準は違反されない。交通基準に違反していないので、AVは、障害状況610を通常の障害状況として分類し得る。
一方、障害状況630,650,670は、AVが障害を迂回するためには、道路の中心線を横断して対向車線(例えば、車線632又は反対方向の車線674)を走行しなければならないので、例外状況として分類される。
図5のステップ504において、技術500は、例外状況に関連付けられるリスクを識別する。すなわち、技術500は、人間(例えば、遠隔オペレータ)の監督なしに例外状況を解決する等、例外状況を自律的に解決することに関連付けられるリスクを識別する。別のやり方では、技術500は、障害を迂回するために決定された軌道に関連付けられるリスクを識別し得る。一例では、リスクは、図4のリスク評価モジュール408等のリスク評価モジュールによって識別し得る。一例として、リスクはAVによる理解の尺度であると見なされ得る。別の例では、リスクは、障害シーンのAVによる理解と、障害を回避する第2の軌道に従うことの影響との重み付けに基づくことができる。
図6Aの障害状況630に関しては、障害を自律的に迂回して進むことに関連付けられるリスクは高くない。しかしながら、障害を迂回するには交通基準を違反すること(例えば、車線632上を走行すること)が必要であるため、そのリスクは中程度(表Iによる「黄」)である。車線632は対向車線(すなわち、反対方向)である。一例として、対向車線での走行は少なくとも中程度(例えば、黄)のリスクがあると見なされ得る。
車両634は、シーン内の他の指標(例えば、パイロン636又は点滅灯)がそうであることを示すので、恒久的に停車している可能性が最も高い。そのため、交通基準の中断に関連付けられるリスクは高くない。リスクは中等度(例えば、表Iの「黄」)である。しかしながら、車両634が恒久的に停車しているか否かを確実に判定することができなくても、AVのセンサは、はるか前方を知覚する(例えば、見る)ことができるので、リスクは依然として高くない。
車両634を恒久的に停車させたものとして誤分類することの影響も大きくはない。例えば、AVが障害を回避して、それにより車両634を追い越す第2の軌道を動作する過程にある間に車両634が移動を開始した場合、技術500は、車両634を完全に追い越すためにAVをさらにAVを加速するか、又は車両634がAVの前方を通過できるようにAVを減速するかを決定しなければならない。いずれの状況でも、前方には十分な道路(すなわち、前方の明確な視界)があるため、その影響の深刻度は低い。
図6Aの障害状況650に関しては、リスクが高い(例えば、表Iの「赤」)。これは、車両654及び656が前方の何かに道を譲っているどうかを判定することができないためである。さらに、HD地図データは、交差点652の存在を示し得る。したがって、車両654及び656は、他の何らかの理由で合法的に停車している可能性がある。すなわち、車両654及び656は交差点で道を譲っている可能性がある。また、そのシーンで人物(すなわち、歩行者658)が検出されるため、リスクが高くなる。少なくとも、i)人物が予想され得る典型的な歩行者として行動していない可能性があること、及び/又はii)車両654及び656が前方の停止交差点で合法的に停車している可能性があることから、このリスクは高いと見なされ得る。例えば、道路の一方の端から他方の端まで絶え間なく歩くのではなく、その人物は略静止している可能性がある。
さらに、歩行者658の識別(例えば、役割)を確実に決定することができない場合がある。例えば、歩行者658は、他の運転者と話すために停車した運転者であってもよい。このような状況であれば、歩行者658が交通管制官又は警察官と分類された場合よりもリスクは低くなり得る。一例では、歩行者(例えば、人物)がシーンで検出されるときはいつでも、リスクは高く(例えば、表Iの「赤」)設定され得る。
障害状況670に関しては、障害を迂回して進むために、AVは反対方向の車線674上を移動しなければならないが、丘の反対側にあるものの視界が遮られているので、リスクは高い(例えば、表Iの「赤」)。車両676が停止交差点で別の道路ユーザに道を譲っている可能性があるため、リスク(例えば、追い越しのリスク)は高いと判定できる。
ステップ506において、技術500は、リスクが閾値を超えるかどうかを判定する。リスクが閾値を超えている場合、技術500はステップ508に進む。一実装では、破線516で示すように、リスクが閾値を超えなければ、技術500はステップ514に進むことができる。
閾値は、リスクと比較され得るようなものであり得る。例えば、リスクがパーセントである場合、閾値はパーセントとして指定(又は変換)することもできる(例えば、60%、70%、又は他の何らかのパーセンテージ)。例えば、リスクが序数値である場合、閾値は序数値の1つであり得る(又はそれに変換し得る)。例えば、リスクが、深刻度の大きさで、「低」/「緑」、「中」/「黄」、又は「高」/「赤」の値の1つであり得る場合、閾値は、「中」/「黄」であってもよい。したがって、リスクが「高」/「赤」であると判定され、かつ閾値が「中」/「黄」であると選択された場合、技法500はステップ508に進む。一例として、リスクは分類に対応し得る。例えば、障害状況は、通常、低、高又は他の分類の1つに分類し得る。
ステップ508において、技術500は、遠隔オペレータからの支援の要求を開始する。要求を開始することは、図3の遠隔車両支援センタ300等の複数の遠隔車両支援センタのうちの1つに対する支援の要求を開始することを含み得る。このようにして、図3の遠隔オペレータ320,330の1人等の遠隔オペレータは、要求に応答し得る。要求は、図1の電子通信インターフェース1370等の電子通信インターフェースを介して送信し得る。ステップ510では、技術500が遠隔オペレータからの指示を待つ間、技術500は、AVを障害の背後で停止(例えば、待機)させる。すなわち、AVは安全に停止し、遠隔オペレータがまだ応答していない場合、遠隔オペレータの応答を待機する。
要求には、要求に応答する際に遠隔オペレータにとって有用となり得る情報(例えば、状態データ)が含まれ得る。この情報は、要求が開始されたときに要求に含めることができる。いくつかの例では、情報の少なくとも一部は、遠隔オペレータによって使用される1つ以上のシステムからのその情報に対する要求に応答して、技術500によって送信され得る。したがって、情報の一部は、遠隔オペレータのシステムにプッシュされ得る。情報が車両からプッシュされたか又は車両からプルされたかにかかわらず、このような情報をまとめて送信情報と呼ぶ。
状態データは、限定されないが、車両の速度及び加速度のいずれかに関連する運動データ、車両の地理的場所(例えば、車両の緯度及び経度)又は別のオブジェクトに対する車両の場所を含む場所データ、車両の方向及び傾斜(例えば、傾いている車両の傾斜)を含む車両位置、車両の電気的状態又は機械的状態を含む車両の動作状態(例えば、電気車両システム、機械車両システム、タイヤ圧力等の調子)、車両のメンテナンスに関連するメンテナンスデータ、残りの燃料又は残りのバッテリ充電を含むエネルギ源データ、光学センサ、音声センサ、モーションセンサを含むセンサからの出力に基づくセンサデータ、車両の客室の中の温度及び湿度を含む内部状態データ、及び車両の現在のタスク(例えば、乗客のピックアップ)のいずれかを含む、技術500を実行する車両の状態又は状況を示すデータを含み得る。
また、送信された情報は、図4の世界モデルモジュール402等の世界モデルモジュール内に維持される他の道路ユーザの状態情報を含み得る。例えば、障害である又はその一部であるオブジェクトの状態、及び/又は車両に近接する他のオブジェクトの状態が、送信される情報に含まれ得る。遠隔オペレータが応答を決定するのに十分な情報を有し得るように、例えば、速度、姿勢、幾何学的形状(幅、高さ、深さ等)、分類(例えば、自転車、大型トラック、歩行者、道路標識等)、位置、他の情報、又はそれらのサブセットの0以上が車両から送信され得る。
図7は、本開示の実装による遠隔オペレータのユーザインターフェース700を示す図である。ユーザインターフェース700は、遠隔オペレータが要求に応答するために必要とし得る視覚情報の単なる例示である。1つ以上のユーザインターフェース700が、遠隔オペレータに表示(又は表示のために利用可能に)され得る。ユーザインターフェース700は、地図ビュー702、拡大ビュー704、及びドライブレコーダビュー706を含む。しかしながら、ユーザインターフェース700は、受信された要求に応答する際に遠隔オペレータを支援し得る、より多い、より少ない、又は他のユーザインターフェース及び/又は情報を含み得る。
地図ビュー702は、遠隔操作センタによって管理される1つ以上の車両を示す。1つ以上の車両が道路地図上にオーバレイされる。地図ビュー702は、車両722が交差点724に接近していることを示す。地図ビュー702は、車両722から受信した位置情報を使用して生成され得る。すなわち、車両722は、ビュー704の作成を可能にするシステムにその位置情報を定期的に(例えば、数ミリ秒ごとに)送信し得る。地図ビュー702は、チケットビュー726を示し、これは図8に関してさらに説明される。タイマ728は、車両722が停止している時間を示し得る。
拡大ビュー704は、車両722及び他の道路ユーザがオーバレイされた空の道路の衛星図を示す。他の道路ユーザには、障害を構成する任意の道路ユーザ及び/又は他の近接する道路ユーザが含まれる。技術500によって送信された状態情報を使用して、拡大ビュー704を生成し得る。例えば、他の道路ユーザの姿勢及びサイズ状態情報を使用して、拡大ビュー704を作成し得る。車両732、車両734及び車両736は、それぞれ、図6Aの車両654,654及び660に対応する拡張情報である。拡大ビュー704は、障害状況650とは異なる時点で生成されるので、異なる道路ユーザは、異なる姿勢、位置、及び方向を有する。すなわち、拡大ビュー704は、障害状況の最新(例えば、略リアルタイム)のビューとし得る。
上述のように、技術500は、障害を回避する第2の軌道を決定し得る。第2の軌道は、遠隔操作センタへの要求において送信され得る。このような場合、拡大ビュー704は、第2の軌道を示す軌道指標738を含み得る。第2の軌道は、軌道指標738として拡大ビュー704内で接続された一連の位置の形態で送信され得る。拡大ビュー704はまた、技術500によって識別されるリスクの指標(すなわち、リスク指標740)を含み得る。リスク指標740は、技術500がリスクを7(例えば、最大リスク10のうち7)と決定したことを示す。技術500によって識別されたリスクは、送信された情報に含まれ得る。
一例では、技術500は、1つ以上のドライブレコーダ画像を(例えば、略リアルタイムで)送信し得る。すなわち、車両は、カメラが障害のシーンの画像を捕捉し得るように、車両の前方に向けられたカメラを備え得る。いくつかの例では、カメラはビデオカメラであり得る。ドライブレコーダビューは、ドライブレコーダビュー706として遠隔オペレータに表示され得る。
図8は、本開示の実装によるチケット800を示す。チケット800は、AVが遠隔オペレータ支援の要求を開始したことに応答して、遠隔操作センタの遠隔オペレータに提示され得るものの一例を示す。チケット800は、例外記述802、乗員情報804、目的地情報806、特徴情報808、及びアクションボタン810を含む。いくつかの実装では、より多い、より少ない、他の情報又はアクション、又はそれらの組み合わせをチケットに表示し得る。
例外記述802は、例外状況の性質(例えば、タイプ)の概要であり得る。例えば、図6Bの障害状況670に関して、例外記述802は、「丘によって遮られた接近中の交通のビュー」とし得る。乗員情報804は、AVに乗客がいるか否か及び/又は乗客の数を記述し得る。例えば、AVは、例外状況が発生した時点でロボタクシー(すなわち、自律タクシー)サービスを実行していてもよい。そのような場合、AVには乗客がいることになる。別の例では、AVは、乗客が降りた後で、サービス及びメンテナンスセンタに向かう途中であってもよい。そのような場合、乗客がAVに乗っていない場合もある。障害を回避するためにAVがどの程度まで交通基準を中断(例えば、背く、逸脱する)できるかは、乗客がAVに乗っているかどうかにより得る。
目的地情報806は、AVの次の目的地を示し得る。代替的又は追加的に、目的地情報806は、AVの最終目的地を示し得る。例えば、AVは、最終目的地への経路に沿って何度か停車するようにスケジュールされ得る。そのような場合、目的地情報806には、停車及び/又は最終目的地の任意の場所を列挙し得る。
特徴情報808は、例外状況の解決に重要かつ/又は関連する特徴の値を含み得る。上述のように、特徴は、シーン内に他の世界オブジェクトが存在するかどうか、HD地図上のAVの位置、AVの速度、AVからの視認性、停止車両に関する特定の特徴、より少ない情報、追加情報、又はこれらの組み合わせを含み得る。例えば、他の世界オブジェクトに関する特徴には、車両、自転車、歩行者があるかどうか、及びそれぞれの数が含まれ得る。HD地図上のAVの位置は、道路のタイプ、交通標識(例えば、信号機、停止標識等)の存在、交差点等を含み得る。AVからの視認性は、停止車両及び丘の存在等によってAVの視界が遮られているか否かを含み得る。停止車両に関する他の特徴は、ハザードランプが点灯しているかどうか、どのドアが開いているかどうか、歩行者が積み下ろしをしているかどうか等を含み得る。
遠隔オペレータは、チケットを解決する準備ができたときに、アクションボタン810を選択し得る(例えば、クリック、アクティブ化、押す等)。アクションボタン810が選択されると、遠隔オペレータは、リアルタイム(又は略リアルタイム)で拡大ビュー704、ドライブレコーダビュー706、又は他の任意のビューを観測すること等によって、障害状況を評価し得る。遠隔オペレータは、軌道指標738を評価することもできる。遠隔オペレータは、図9に関して説明したように、応答を選択するためのメニューを提示され得る。
図9は、本開示の実装による遠隔オペレータの応答のメニュー900を示す。1つの実装では、メニュー900は、軌道指標738の近くの拡大ビュー704に表示され得る。例えば、メニュー900は、遠隔オペレータが軌道指標738をクリックすること又は軌道指標738に近接することに応答して、軌道指標をオーバレイし得る。メニュー900は3つのオプションを含み、各オプションは遠隔オペレータの応答に対応する。しかし、より多い、より少ない、又は他の応答オプションが可能であってもよい。メニュー900からメニューオプションを選択することにより、遠隔オペレータは命令データをAVに送信させる。例えば、命令データは、図2に関して説明したように、遠隔サポートシステムと監視/サポートされる車両との間の無線ネットワーク(例えば、セルラネットワーク)又は任意の他の通信リンク、システム又はプラットフォームを含むネットワークを介して送信され得る。
命令データには、限定されないが、AV又は車両の乗員(例えば、運転者、乗客)によって実行される命令が含まれ得る。命令データは、車両の加速度、速度又は方向(例えば、ステアリング)を変更することを含む車両の動きを制御すること、機械制御システム及び電気制御システムを含む車両の制御システムをアクティブ化又は非アクティブ化すること(例えば、車両の一部又は全ての部分をオン又はオフにすること)、車両のセンサをアクティブ化又は非アクティブ化すること(例えば、車両の室内又は車外の領域を観るためのカメラをアクティブ化すること)、内部通信システム(例えば、車両乗員に指向される内部スピーカ)及び外部通信システム(例えば、車外のオブジェクト又は個人に指向されるスピーカ)のいずれかを含む通信システムをアクティブ化又は非アクティブ化することのいずれかに関連付けられるデータを含み得る。
1つの実装では、命令データをAVに送信することは、車両の自律装置又はシステムによって実装するための走行経路データ(すなわち、第3の軌道)を送信することを含み得る。第3の軌道は、障害状況を迂回する短期経路であり得る。第3の軌道は、新しい軌道が障害状況を回避するような目的地への新しい経路であり得る。そのような場合、走行経路データは、車両の既存の走行経路を修正する命令を含み得る。
別の実装では、自律走行車に命令データを送信することは、第1の車両が運転経路を横断することを可能にするために自律操作の少なくとも1つの動作制約を無視することに関連付けられ得る。一例として、車両の自律操作は、あまりにも急速に走行すること又はあまりにも遅く走行することを含む速度制限に違反すること、又は反対交通方向に走行すること及び路面から離れて走行することを含む交通規則に違反することのいずれかを含む、車両による所定のタイプのアクションを禁止する動作制約を含み得る。動作制約を無視することによって、車両は、命令データ内の命令に従って禁止されたアクションを行うことができる。例えば、建設区域を迂回することは、車道の一部が舗装された路面ではなく、砂利道である場合等、以前は禁止されていた車道の一部において走行することを含み得る。
メニューオプション902(すなわち、「承認」)を選択することによって、遠隔オペレータは、AVによって提案された第2の軌道に沿って進むことをAVに許可する。すなわち、技術500は、進行するための応答を受信する。メニューオプション904(すなわち、「拒否」)を選択することにより、遠隔オペレータは待ち続ける(例えば、その場で停止してさらなる指示を待つ)ようにAVに指示する。すなわち、技術500は、待機する応答を受信する。メニューオプション906を選択することにより、遠隔オペレータは、AVが従う新しいルート(すなわち、第3の軌道)を選択(例えば、描画、定義等)し得る。
再び図5を参照すると、ステップ512において、技術500は、遠隔オペレータからの応答(すなわち、受信応答)を受信する。既に述べたように、応答は、待機するための第1の応答、進行するための第2の応答、又は軌道を含む第3の応答のうちの1つであり得る。
技術500は、応答が進行応答であることに応答して、第2の軌道に従ってAVを動作させることをさらに含み得る。例えば、遠隔オペレータは、(例えば、図9に関して説明したように、メニューオプション902を選択することによって)図7の軌道指標738によって示される第2の軌道を承認し得る。したがって、技術500は、軌道指標738に従ってAVを操作するか又は動作させ得る。技術500は、応答が第三の軌道等の軌道を含む応答である場合に、技術500が第三の軌道に従ってAVを操作するか又は動作させ得ることをさらに含み得る。
ステップ514において、すなわち、リスクがリスク閾値を超えないことに応答して、技術500は、第2の軌道に従ってAVを動作させる。
1つの実装では、技術500は、遠隔オペレータへの要求を取り消すことを含み得る。例えば、技術500がステップ510で停止している間に、障害が除去され得る。図6Aの障害状況650を参照すると、AVが停止している間に、車両654が前進し、歩行者658が、(車両656に入る等によって)そのシーンから出る。技術500は、(軌道計画モジュール等を使用することにより)道路に車両656が通過するのに十分なクリアランスがあり、AVの経路がもはや妨げられていないことを判定し得る。そのような場合、AVは通常に進行し得る。したがって、遠隔オペレータによる支援はもはや必要ではない。したがって、例外状況が除去されたと判定することに応答して、技術500は、遠隔オペレータへの要求を取り消す(例えば、キャンセル、撤回等を行う)ことができる。別の例では、障害が除去されても、技術500が要求に対する応答を受信するまでAVは停止し続ける。すなわち、技術500はチケットを取り消すことができない。
図10は、本開示の実装による自律走行車(AV)による例外処理のための技術1000のフローチャートである。例外処理のための技術1000の一部又は全ては、図1に示された車両1050、図2に示された車両2100を含む車両(例えば、自律走行車)、又は図2に示されたコントローラ装置2410等のコントローラ装置を含むコンピュータ装置において実装されてもよい。コントローラ装置は、例外処理モジュール(例えば、図4のシステム400)を含んでもよく、又はコントローラ装置は例外処理モジュールを含み得る。1つの実装では、例外処理のための技術1000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステム(例えば、図2のコントローラ装置2410)において実装され得る。技術1000は、図4のシステム400のモジュールの少なくとも一部によって、部分的又は完全に実行され得る。
ステップ1002において、技術1000は、車線障害状況を識別する。例えば、図4の障害管理モジュール406等の障害モジュールは、AVがその現在の軌道に沿って進むと、AVが障害と衝突するので、AVの軌道が妨害されていると判定し得る。例えば、識別された車線障害状況は、図6Aの障害状況650であり得る。ステップ1004において、技術1000は、車線障害状況を回避するための第1の軌道を識別する。例えば、図4の軌道計画モジュール404等の軌道計画モジュールは、図7の軌道指標738によって示される軌道を識別し得る。
ステップ1006において、技術1000は、障害状況が例外状況であるかどうかを判定する。例えば、障害モジュールが第1の軌道が1つ以上の交通基準に違反していると判定した場合、障害状況は例外状況として識別され、技術1000はステップ1008に進む。そうでない場合、1つの実装では、技法1000はステップ1018に進む。ステップ1018において、技術1000は、第1の軌道に従ってAVを操作又は動作させる。再び図6A-図6Bを参照すると、障害状況610は例外状況であると判定されないが、障害状況630,650,670は例外状況であると判定されるであろう。
ステップ1008において、技術1008は、第1の軌道に関連付けられるリスクを決定する。リスクは、図4のリスク評価モジュール408等のリスク評価モジュールによって決定し得る。リスクがリスク閾値を超える場合、技術1000はステップ1012に進む。そうでない場合、技術1000はステップ1018に進み得る。
ステップ1012において、技術1000は、遠隔オペレータへの要求を開始する。要求の開始は、図5のステップ508に関して説明したようにし得る。そのような場合、要求は第1の軌道を含み得る。ステップ1014において、技術1000は、遠隔オペレータからの応答を待機する。すなわち、技術1000は、遠隔オペレータからの応答を待っている間、AVを停止させ得る。
1つの実装では、技術1000は、遠隔オペレータからの進行応答の受信に応答して、第1の軌道に従ってAVを動作させることを含み得る。技術1000は、軌道を含む応答の場合のように、遠隔オペレータからの第2の軌道を受信すること、及び第2の軌道に従ってAVを動作させることを含み得る。
本明細書に開示の技術の実装に関連して記載される任意の方法、処理、技術又はアルゴリズムのステップ又は動作は、ハードウェア、回路又はこれらの任意の組み合わせによって実行されるハードウェア、ファームウェア、ソフトウェアにおいて実装されてもよい。説明を容易にするために、図5及び10に示される技術500及び1000は、一連の動作として示されかつ説明される。しかしながら、本開示による動作は、様々な順番で又は同時に起こり得る。さらに、本開示による動作は、本明細書に提示及び記載されていない他の動作と共に起こってもよい。
本明細書で使用される場合、「運転者」又は「オペレータ」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「ブレーキ」又は「減速」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「コンピュータ」又は「コンピュータ装置」という用語は、本明細書で開示の任意の方法を実行し得る任意のユニット又はユニットの組み合わせ、又はその任意の部分若しくは複数の部分を含む。
本明細書で使用される場合、「プロセッサ」という用語は、1つ以上の専用プロセッサ、1つ以上のデジタル信号プロセッサ、1つ以上のマイクロプロセッサ、1つ以上のコントローラ、1つ以上のマイクロコントローラ、1つ以上のアプリケーションプロセッサ、1つ以上の特定用途向け集積回路、1つ以上の特定用途向け汎用集積回路、1つ以上のフィールドプログラマブルゲートアレイ、任意の他のタイプ又は組み合わせの集積回路、1つ以上の状態機械、又はこれらの任意の組み合わせ等の1つ以上のプロセッサを示す。
本明細書で使用される場合、「メモリ」という用語は、任意のプロセッサによって使用され得る又はそれと関連している任意の信号又は情報を有形に保持、記憶、通信、又は搬送し得る任意のコンピュータ使用可能又はコンピュータ可読媒体又は装置を示す。例えば、メモリは、1つ以上の読み取り専用メモリ(ROM)、1つ以上のランダムアクセスメモリ(RAM)、1つ以上のレジスタ、低電力DDR(LPDDR)メモリ、1つ以上のキャッシュメモリ、1つ以上の半導体メモリ装置、1つ以上の磁気媒体、1つ以上の光学媒体、1つ以上の磁気光学媒体、又はこれらの任意の組み合わせであってもよい。
本明細書で使用される場合、「命令」という用語は、本明細書に開示の任意の方法を実行するための指示若しくは表現、又はその任意の部分若しくは複数の部分を含んでもよく、ハードウェア、ソフトウェア又はこれらの任意の組み合わせで実現されてもよい。例えば、命令は、本明細書に記載の各方法、アルゴリズム、態様又はこれらの組み合わせのいずれかを行うためにプロセッサによって実行され得るメモリに記憶されたコンピュータプログラム等の情報として実装されてもよい。いくつかの実装形態では、命令又はその一部は、本明細書に記載の任意の方法、アルゴリズム、態様又はその組み合わせを行うための専用ハードウェアを含み得る専用プロセッサ又は回路として実装されてもよい。いくつかの実装では、命令の部分は、直接的に又はローカルエリアネットワーク、ワイドエリアネットワーク、インターネット又はこれらの組み合わせ等のネットワークを介して通信し得る複数の装置又は単一の装置上の複数のプロセッサに分散されてもよい。
本明細書で使用される場合、「例示」、「実施形態」、「実装」、「態様」、「特徴」又は「要素」という用語は、用例、例示又は実例としての役割を果たすことを示している。明示されない限り、任意の例示、実施形態、実装、態様、特徴又は要素が、互いの例示、実施形態、実装、態様、特徴又は要素から独立しており、任意の他の例示、実施形態、実装、態様、特徴又は要素と組み合わせて使用されてもよい。
本明細書で使用される場合、「決定」及び「識別」又はこれらの任意の変形の用語は、図示の及び本明細書に記載の1つ以上の装置を使用するいかなるやり方で選択、確認、計算、検索、受信、決定、確立、取得、又は他のやり方で識別又は決定することを含んでいる。
本明細書で使用される場合、「又は」という用語は、排他的な「又は」ではなく包含的な「又は」を意味することが意図されている。すなわち、他に特に定めがない限り、又はコンテキストから明確であれば、「XがA又はBを含む」は、任意の当然の包含的な並べ替えを示すことが意図されている。XがAを含む、XがBを含む、又はXがA及びBの両方を含む場合、「XがA又はBを含む」は、上記の例示のいずれかによって満たされる。さらに、本願及び添付の請求項の中で使用される“a”及び“an”という冠詞は、一般に、単数形を指していることがコンテキストから明確であるか又は他に特段の定めがない限り、「1つ以上の」を意味すると解釈されるべきである。
さらに、説明の簡潔のため、本明細書の図面及び説明は一連のステップ又は段階又はシーケンスを含み得るが、本明細書に開示の方法の要素は、様々な順番で又は同時に起こってもよい。さらに、本明細書に開示の方法の要素は、本明細書に明示的に提示及び開示されていない他の要素と共に起こってもよい。さらに、本明細書に記載の方法の全ての要素が、本開示による方法を実装することを要求されるとは限らない。態様、特徴及び要素は特定の組み合わせで本明細書に記載されているが、各態様、特徴又は要素は、他の態様、特徴及び要素と共に又はそれらなしで独立して又は様々な組み合わせで使用されてもよい。
本開示の実装は、特に、コンピュータネットワーク及び自律走行車の管理を、例えば、自律走行車の操作及び監視に関連付けられる解決策を生成するためのコンピュータネットワークの拡張に関して、技術的に改善する。解決データを生成する、例えば、自律走行車の機械的及び電子的誤動作に対処するか又は自律走行車のプログラミングの制限を克服するための解決データを生成するための新しいやり方の開発は、基本的には、自律走行車関連のコンピュータネットワークに関する。
本開示の実装は、解決データの生成、及び実行するため(すなわち、遭遇した問題/課題を解決するための解決データを使用するため)の1つ又は複数の車両への解決データの送信に関するシステム及び方法を少なくとも提供する。システムは、受信したセンサデータを使用して車両に関する状態データを生成するコントローラ装置を含む。状態データは、車両の場所、目的地及び動作状態のいずれかを含み得る。例えば、車両の場所は、全地球測位衛星(GPS)から受信した車両に関連付けられる地図データに基づいて生成され得る。生成された状態データが状態基準を満たすとの決定に応答して、状態データに一致する解決プロファイルデータの決定が、解決プロファイルデータと状態データの比較に基づいて行われ得る。解決プロファイルデータは、自律走行車に支援が提供された過去のイベントによる解決データの集合からの解決策に基づいてもよい。解決データは、一致する解決プロファイルデータに基づいて生成され、その後で実行するために車両に送信され得る。例えば、解決データは、自律走行車の運転者からの支援の要求に対する解決策を含み得る。
本開示の技術は所定の実施形態との関連で記載されているが、本開示の技術は、開示された実施形態に限定されるものではなく、逆に、添付の請求項の範囲内に含まれる様々な修正及び均等な構成をも含むことが意図されており、その範囲は法の下に認められる全てのこのような修正及び均等な構成を包含するように最も広い解釈に一致させられることが理解されるべきである。

Claims (20)

  1. 自律走行車(AV)による例外処理の方法であって、
    例外状況を識別するステップ、
    前記例外状況を自律的に解決することに関連付けられるリスクを識別するステップ、
    前記リスクがリスク閾値を超えることに応答して、
    遠隔オペレータからの支援の要求を開始するステップ、及び
    前記遠隔オペレータが前記要求に応答するために停止するステップ、及び
    前記遠隔オペレータから応答を受信するステップ
    を含む、方法。
  2. 前記例外状況を識別するステップは、
    前記自律走行車の第1の軌道の障害を識別すること、
    前記障害を回避する第2の軌道を決定すること、及び
    前記第2の軌道が走行基準に違反していると判定すること
    を含む、請求項1に記載の方法。
  3. 前記リスクが前記リスク閾値を超えないことに応答して、前記第2の軌道に従って前記自律走行車を動作させるステップ
    をさらに含む、請求項2に記載の方法。
  4. 前記応答が進行応答であることに応答して、前記第2の軌道に従って前記自律走行車を動作させるステップ
    をさらに含む、請求項3に記載の方法。
  5. 受信された前記応答は、第3の軌道を含み、
    前記第3の軌道に従って前記自律走行車を自律的に動作させるステップ
    をさらに含む、請求項2に記載の方法。
  6. 前記遠隔オペレータからの前記応答は、待機するための第1の応答、進行するための第2の応答、及び軌道を含む第3の応答を含む組から選択される、請求項1に記載の方法。
  7. 前記遠隔オペレータへの前記要求を取り消すステップ
    をさらに含む、請求項1に記載の方法。
  8. 前記遠隔オペレータへの前記要求を取り消すステップは、
    前記例外状況が除去されたと判定したことに応答して、前記遠隔オペレータへの前記要求を取り消すこと
    を含む、請求項7に記載の方法。
  9. 自律走行車(AV)による例外処理の方法であって、
    車線障害状況を識別するステップと、
    前記車線障害状況を回避するための第1の軌道を識別するステップと、
    前記第1の軌道に基づいて、前記車線障害状況が例外状況であると識別したことに応答して、
    前記第1の軌道に関連付けられるリスクを決定するステップ、及び
    前記リスクがリスク閾値を超えていると決定したことに応答して、
    遠隔オペレータへの要求を開始するステップであって、前記要求が前記第1の軌道を含むステップ、及び
    前記遠隔オペレータからの応答を待機するステップ
    を含む、方法。
  10. 前記第1の軌道に関連付けられる前記リスクが前記リスク閾値を超えていないと決定したことに応答して、
    前記第1の軌道に従って前記自律走行車を自律的に動作させるステップ
    をさらに含む、請求項9に記載の方法。
  11. 前記遠隔オペレータから進行応答を受信したことに応答して、前記第1の軌道に従って前記自律走行車を動作させるステップ
    をさらに含む、請求項9に記載の方法。
  12. 前記遠隔オペレータから第2の軌道を受信するステップと、
    前記第2の軌道に従って前記自律走行車を動作させるステップと
    をさらに含む、請求項9に記載の方法。
  13. 自律走行車(AV)による例外処理のための命令が記憶装置に記憶されているメモリと、
    プロセッサと
    を備え、前記プロセッサは、前記命令を実行して、
    例外状況を識別すること、
    前記例外状況を自律的に解決することに関連付けられるリスクを識別すること、及び
    前記リスクがリスク閾値を超えることに応答して、
    遠隔オペレータへの要求を開始すること、
    前記遠隔オペレータが前記要求に応答することを待機すること、及び
    前記遠隔オペレータから応答を受信すること
    を行うように構成される、装置。
  14. 前記例外状況を識別することは、
    前記自律走行車の第1の軌道の障害を識別すること、
    前記障害を回避する第2の軌道を決定すること、及び
    前記第2の軌道が走行基準に違反していると判定すること
    を含む、請求項13に記載の装置。
  15. 前記命令は、
    前記リスクが前記リスク閾値を超えないことに応答して、前記第2の軌道に従って前記自律走行車を自律的に動作させること
    を行う命令をさらに含む、請求項14に記載の装置。
  16. 前記命令は、
    前記応答が進行応答であることに応答して、前記第2の軌道に従って前記自律走行車を自律的に動作させること
    を行う命令をさらに含む、請求項15に記載の装置。
  17. 受信された前記応答は、第3の軌道を含み、
    前記命令は、
    前記第3の軌道に従って前記自律走行車を自律的に動作させること
    を行うための命令をさらに含む、請求項14に記載の装置。
  18. 前記遠隔オペレータからの前記応答は、待機するための第1の応答、進行するための第2の応答、及び軌道を含む第3の応答を含む組から選択される、請求項13に記載の装置。
  19. 前記命令は、
    前記遠隔オペレータへの前記要求を取り消すこと
    を行う命令をさらに含む、請求項13に記載の装置。
  20. 前記遠隔オペレータへの前記要求を取り消すことは、
    前記例外状況が除去されたと判定したことに応答して、前記遠隔オペレータへの前記要求を取り消すこと
    を含む、請求項19に記載の装置。
JP2021557284A 2019-03-28 2019-12-19 例外処理のための遠隔操作 Active JP7335350B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/367,758 2019-03-28
US16/367,758 US11016485B2 (en) 2019-03-28 2019-03-28 Teleoperation for exception handling
PCT/US2019/067523 WO2020197603A1 (en) 2019-03-28 2019-12-19 Teleoperation for exception handling

Publications (2)

Publication Number Publication Date
JP2022528640A true JP2022528640A (ja) 2022-06-15
JP7335350B2 JP7335350B2 (ja) 2023-08-29

Family

ID=72605822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557284A Active JP7335350B2 (ja) 2019-03-28 2019-12-19 例外処理のための遠隔操作

Country Status (5)

Country Link
US (1) US11016485B2 (ja)
EP (1) EP3948463B1 (ja)
JP (1) JP7335350B2 (ja)
CN (1) CN113924535A (ja)
WO (1) WO2020197603A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7496447B2 (ja) 2022-09-12 2024-06-06 ソフトバンク株式会社 監視支援システム、監視支援装置の制御方法、及び監視支援装置の制御プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11731615B2 (en) * 2019-04-28 2023-08-22 Ottopia Technologies Ltd. System and method for remote operator assisted driving through collision avoidance
JP2021015565A (ja) * 2019-07-16 2021-02-12 トヨタ自動車株式会社 車両制御装置
US11661089B2 (en) * 2019-09-13 2023-05-30 Phantom Auto Inc. Mapping of intelligent transport systems to remote support agents
US11584389B2 (en) 2020-04-17 2023-02-21 Zoox, Inc. Teleoperations for collaborative vehicle guidance
US20210325880A1 (en) * 2020-04-17 2021-10-21 Zoox, Inc. Collaborative vehicle guidance
US11644830B1 (en) 2020-06-02 2023-05-09 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system with scenario selection
US11560154B1 (en) 2020-06-02 2023-01-24 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system
US11595619B1 (en) 2020-06-02 2023-02-28 Aurora Operations, Inc. Autonomous vehicle teleoperations system
JP7382901B2 (ja) * 2020-06-09 2023-11-17 株式会社日立製作所 自走式点検ロボット
US11787438B2 (en) * 2020-12-17 2023-10-17 Zoox, Inc. Collaborative vehicle path generation
CN112700668B (zh) * 2020-12-22 2022-08-02 北京百度网讯科技有限公司 自动驾驶的远程控制方法、自动驾驶车辆及云端设备
US11680384B2 (en) * 2021-03-03 2023-06-20 Built Robotics, Inc. Autonomous operation by earth-moving vehicle based on triggering conditions
JP7480734B2 (ja) 2021-03-24 2024-05-10 トヨタ自動車株式会社 遠隔支援システム及び遠隔支援方法
WO2022256249A1 (en) * 2021-06-02 2022-12-08 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
US20240036571A1 (en) * 2022-07-29 2024-02-01 Zoox, Inc. Teleoperations queueing for autonomous vehicles
EP4325461A1 (en) * 2022-08-18 2024-02-21 Volvo Car Corporation Method for controlling a first vehicle, method for assisting a first vehicle in travelling along a planned trajectory, method for providing an information describing an amount of vehicles being positioned on a planned trajectory, data processing apparatuses, computer programs, vehicle and traffic control system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180196437A1 (en) * 2013-03-15 2018-07-12 Waymo Llc Trajectory Assistance for Autonomous Vehicles
US20190011912A1 (en) * 2017-07-07 2019-01-10 Zoox, Inc. Interactions between vehicle and teleoperations system
JP2019501468A (ja) * 2015-11-04 2019-01-17 ズークス インコーポレイテッド 遠隔操作および/またはプランナ決定を最適化するための機械学習システムおよび技法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020023164A1 (en) 2000-01-28 2002-02-21 Lahr Nils B. Method and apparatus for client-side authentication and stream selection in a content distribution system
JP4899746B2 (ja) 2006-09-22 2012-03-21 日産自動車株式会社 経路案内表示装置
US7885732B2 (en) * 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
US8918230B2 (en) * 2011-01-21 2014-12-23 Mitre Corporation Teleoperation of unmanned ground vehicle
CA2849739C (en) 2011-09-22 2018-09-04 Aethon, Inc. Monitoring, diagnostic and tracking tool for autonomous mobile robots
US10031520B2 (en) 2011-11-08 2018-07-24 The United States Of America, As Represented By The Secretary Of The Navy System and method for predicting an adequate ratio of unmanned vehicles to operators
US8855847B2 (en) 2012-01-20 2014-10-07 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent navigation system
JP6033838B2 (ja) 2012-02-27 2016-11-30 ヤマハ発動機株式会社 運転状態共有装置および運転状態共有システム
JP2013196632A (ja) 2012-03-22 2013-09-30 Hitachi Kokusai Electric Inc 通信システム
US10168674B1 (en) 2013-04-22 2019-01-01 National Technology & Engineering Solutions Of Sandia, Llc System and method for operator control of heterogeneous unmanned system teams
WO2015094807A1 (en) 2013-12-16 2015-06-25 Contour Hardening, Inc. System and method for control of an electric vehicle
CN105848981B (zh) * 2013-12-24 2018-10-30 沃尔沃卡车集团 用于车辆的驾驶员辅助方法和系统
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US9310802B1 (en) 2015-02-05 2016-04-12 Jaybridge Robotics, Inc. Multi-operator, multi-robot control system with automatic vehicle selection
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
JP5957745B1 (ja) 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957744B1 (ja) 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US9606539B1 (en) * 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10627832B2 (en) 2016-03-18 2020-04-21 Florida Institute For Human And Machine Cognition, Inc. Object management display
DE102016218012A1 (de) 2016-09-20 2018-03-22 Volkswagen Aktiengesellschaft Verfahren für eine Datenverarbeitungsanlage zur Erhaltung eines Betriebszustands eines ersten autonomen Fahrzeugs sowie Verfahren für eine Datenverarbeitungsanlage zum Verwalten einer Mehrzahl autonomer Fahrzeuge
US10322722B2 (en) 2016-10-14 2019-06-18 GM Global Technology Operations LLC Method of controlling an autonomous vehicle
US20190187691A1 (en) 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request
US10501014B2 (en) * 2018-03-02 2019-12-10 Uatc, Llc Remote assist feedback system for autonomous vehicles
US10649453B1 (en) * 2018-11-15 2020-05-12 Nissan North America, Inc. Introspective autonomous vehicle operational management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180196437A1 (en) * 2013-03-15 2018-07-12 Waymo Llc Trajectory Assistance for Autonomous Vehicles
JP2019501468A (ja) * 2015-11-04 2019-01-17 ズークス インコーポレイテッド 遠隔操作および/またはプランナ決定を最適化するための機械学習システムおよび技法
US20190011912A1 (en) * 2017-07-07 2019-01-10 Zoox, Inc. Interactions between vehicle and teleoperations system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7496447B2 (ja) 2022-09-12 2024-06-06 ソフトバンク株式会社 監視支援システム、監視支援装置の制御方法、及び監視支援装置の制御プログラム

Also Published As

Publication number Publication date
EP3948463B1 (en) 2023-11-15
CN113924535A (zh) 2022-01-11
JP7335350B2 (ja) 2023-08-29
US11016485B2 (en) 2021-05-25
WO2020197603A1 (en) 2020-10-01
EP3948463A4 (en) 2022-05-18
US20200310417A1 (en) 2020-10-01
EP3948463A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
JP7335350B2 (ja) 例外処理のための遠隔操作
US11249479B2 (en) System to recommend sensor view for quick situational awareness
JP7401650B2 (ja) 偶発事象対応計画及び安全保障
EP3580620B1 (en) Autonomous vehicle operational management control
CA3052954C (en) Autonomous vehicle operational management including operating a partially observable markov decision process model instance
EP3580104B1 (en) Autonomous vehicle operational management blocking monitoring
US11782438B2 (en) Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
CA3052951C (en) Autonomous vehicle operational management
US11181927B2 (en) Automated learning system for improved pickup/dropoff maneuver
JP6992182B2 (ja) 自律走行車両運行管理計画
JP2022119802A (ja) 自律走行車動作管理のための方向調整アクション
US12001211B2 (en) Risk-aware executor with action set recommendations
US11635763B2 (en) 3D occlusion reasoning for accident avoidance
US11215987B2 (en) Exception situation playback for tele-operators
US20200348668A1 (en) Mobility Manager Trainer for Improved Autonomy in Exception Handling
JP2021512304A (ja) 自律走行車のバッチ経路指定のためのコンピュータフレームワーク
US11755008B2 (en) Using plays for human-AI decision-making in remote autonomous vehicle support

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230817

R150 Certificate of patent or registration of utility model

Ref document number: 7335350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150