JP2022137160A - 遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法 - Google Patents

遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法 Download PDF

Info

Publication number
JP2022137160A
JP2022137160A JP2022109841A JP2022109841A JP2022137160A JP 2022137160 A JP2022137160 A JP 2022137160A JP 2022109841 A JP2022109841 A JP 2022109841A JP 2022109841 A JP2022109841 A JP 2022109841A JP 2022137160 A JP2022137160 A JP 2022137160A
Authority
JP
Japan
Prior art keywords
data
autonomous vehicle
additional
event
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022109841A
Other languages
English (en)
Inventor
ソル レヴィンソン ジェシー
Sol Levinson Jesse
サーストン シブリー ガブリエル
Thurston Sibley Gabriel
ガジャーネン レゲ アシュトシュ
Gajanan Rege Ashutosh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/932,940 external-priority patent/US9734455B2/en
Priority claimed from US14/932,959 external-priority patent/US9606539B1/en
Priority claimed from US14/932,966 external-priority patent/US9507346B1/en
Priority claimed from US14/932,963 external-priority patent/US9612123B1/en
Priority claimed from US14/933,602 external-priority patent/US9632502B1/en
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of JP2022137160A publication Critical patent/JP2022137160A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0289—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0295—Fleet control by at least one leading vehicle of the fleet

Abstract

【課題】イベントに応答した最適な方策を予測するイベント検出を実施するための解決策を提供する。【解決手段】システム、装置またはプロセスは、準最適な自律車両の性能および／または検出されるセンサデータの変化に基づいて着手するための、自律車両システムの最適な方策を予測するために、人工知能および／または機械学習技法を適用するアプリケーションを実施するように構成されることができる。アプリケーションは、イベントまたは条件に起因する異常を解決するときに、いくつかの決定および相互作用に基づいて軌道のサブセットを判定することができる。アプリケーションは、複数の自律車両からの集計されたセンサデータを使用して、走行に影響を与える可能性があるイベントまたは条件を識別するのを支援することができる。意味変化に応答した推奨に基づいて、軌道の最適なサブセットが形成されることができる。【選択図】図３６

Description

（関連出願の相互参照）
本ＰＣＴ国際出願は、２０１５年１１月５日に出願された「Ｍａｃｈｉｎｅ－Ｌｅａｒｎｉｎｇ Ｓｙｓｔｅｍｓ ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ ｔｏ Ｏｐｔｉｍｉｚｅ Ｔｅｌｅｏｐｅｒａｔｉｏｎ ａｎｄ／ｏｒ Ｐｌａｎｎｅｒ Ｄｅｃｉｓｉｏｎｓ」と題する米国出願第１４／９３３，６０２号、２０１５年１１月４日に出願された「Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅ Ｆｌｅｅｔ Ｓｅｒｖｉｃｅ Ａｎｄ Ｓｙｓｔｅｍ」と題する米国特許出願第１４／９３２，９５９号、２０１５年１１月４日に出願された「Ａｄａｐｔｉｖｅ Ｍａｐｐｉｎｇ Ｔｏ Ｎａｖｉｇａｔｅ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅｓ Ｒｅｓｐｏｎｓｉｖｅ Ｔｏ Ｐｈｙｓｉｃａｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｃｈａｎｇｅｓ」と題する米国特許出願第１４／９３２，９６３号、２０１５年１１月４日に出願された「Ｔｅｌｅｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｔｒａｊｅｃｔｏｒｙ Ｍｏｄｉｆｉｃａｔｉｏｎ Ｏｆ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅｓ」と題する米国特許出願第１４／９３２，９６６号、および２０１５年１１月４日に出願された「Ａｕｔｏｍａｔｅｄ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｓｅｍａｎｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ ｔｏ Ｅｎｈａｎｃｅ Ｉｎｃｒｅｍｅｎｔａｌ Ｍａｐｐｉｎｇ Ｍｏｄｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｒｏｂｏｔｉｃ Ｖｅｈｉｃｌｅｓ」と題する米国特許出願第１４／９３２，９４０号の継続出願であり、これらのすべては、あらゆる目的のためにそれらの全体が参照により本明細書に組み込まれる。
様々な実施形態は、一般的に、自律車両、および、自律車両における自動化された決定選択および実行を提供するための関連付けられる機械的、電気的および電子的ハードウェア、コンピュータソフトウェアおよびシステム、ならびに、有線およびワイヤレスネットワーク通信に関係する。
自律車両がナビゲートする任務を課され得る環境は、（例えば、歩行者による）使用のパターン、道路インフラストラクチャ（例えば、交通標識、交通信号灯、路面標識など）、道路条件（例えば、道路工事、車線封鎖、穴、路面上の障害物など）の変化に起因して経時的に変化する可能性がある。車線封鎖、穴などのような道路条件の変化は、自律車両が、初期の案内される経路を修正された案内される経路へと変更するために適切な措置をとることを必要とし得る。しかしながら、変更を実施する必要を生じさせ得るイベントの検出は、自律車両が、新たに検出されるイベントに基づいてとるべき方策を予測するように構成されていない場合には、有効でない場合がある。そのうえ、イベントと関連付けられる情報およびイベントに応答して自律車両によってとられる応答は、情報および／または応答が他の自律車両に広められない限り、同じく同様のイベントに遭遇し得る他の車両に利さない場合がある。
したがって、必要とされているものは、従来の技法の制限なしに、イベントに応答した最適な方策を予測するイベント検出を実施するための解決策である。
本発明の様々な実施形態または例（「例」）が、以下の詳細な説明および添付の図面において開示される。
いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。 いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。 いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。 いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。 いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。 いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。 いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。 いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す機能ブロック図である。 いくつかの実施形態による、自律車両を制御するためのフロー図の例である。 いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。 いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。 いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。 いくつかの例による、図８に記述されている通信プロトコルを使用した遠隔操作を促進するためのデータのタイプを示す図である。 いくつかの実施形態による、テレオペレータが経路プランニングに影響を与えることができるテレオペレータインターフェースの例を示す図である。 いくつかの例による、遠隔操作を呼び出すように構成されているプランナ（ｐｌａｎｎｅｒ）の例を示す図である。 いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。 いくつかの例による、プランナが軌道を生成することができる例を示す図である。 いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。 いくつかの実施形態による、自律車両を制御するためのフロー図の例である。 いくつかの例による、群最適化マネージャ（ｆｌｅｅｔ ｏｐｔｉｍｉｚａｔｉｏｎ ｍａｎａｇｅｒ）を実施する自律車両群マネージャ（ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ｆｌｅｅｔ ｍａｎａｇｅｒ）の例の図である。 いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。 いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。 いくつかの実施形態による、イベント中の自律車両に対するアクションを決定するためのフロー図の例である。 いくつかの実施形態による、ローカライザの例を示す図である。 いくつかの実施形態による、集積センサデータに基づいて局所的位置（ｌｏｃａｌ ｐｏｓｅ）データを生成するためのフロー図の例である。 いくつかの実施形態による、ローカライザの別の例を示す図である。 いくつかの実施形態による、知覚エンジンの例を示す図である。 いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。 いくつかの実施形態による、セグメンテーションプロセッサ（ｓｅｇｍｅｎｔａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）の例を示す図である。 様々な実施形態による、オブジェクトトラッカ（ｏｂｊｅｃｔ ｔｒａｃｋｅｒ）およびクラシファイヤ（ｃｌａｓｓｉｆｉｅｒ）の例を示す図である。 少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。 いくつかの例による、知覚エンジンのフロントエンドプロセッサの例の図である。 様々な実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。 いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。 いくつかの実施形態による、マップデータを生成するためのフロー図の例である。 いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。 いくつかの実施形態による、自律車両アプリケーションを示す図である。 様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。 様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。 様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。 様々な例による、自律車両の群内の１つまたは複数の自律車両に、更新されたポリシデータを提供するように構成されているポリシエクスプローラ（ｐｏｌｉｃｙ ｅｘｐｌｏｒｅｒ）の実施態様を示す図である。 様々な例による、更新されたポリシデータを生成するためのフロー図の例である。 様々な例による、シミュレータ内のポリシエクスプローラの実施態様を示す図である。 様々な例による、テレオペレータ内のポリシエクスプローラの実施態様を示す図である。
上述されている図面は、本発明の様々な例を示しているが、本発明は、示されている例によって限定されない。図面において、同様の参照符号は同様の構造要素を指定することは理解されたい。また、図面は必ずしも原寸比例とは限らないことも理解されたい。
様々な実施形態または例は、システム、プロセス、装置、ユーザインターフェース、コンピュータ可読記憶媒体または光、電子、もしくはワイヤレス通信リンクを介してプログラム命令が送信されるコンピュータネットワークのようなコンピュータ可読媒体上の一連のプログラム命令としてを含む、いくつかの方法で実施されてもよい。一般に、開示されているプロセスの動作は、特許請求の範囲において別途提供されない限り、任意の順序で実施されてもよい。
１つまたは複数の例の詳細な説明が、添付の図面とともに下記に提供される。詳細な説明は、そのような例と関連して提供されるが、いかなる特定の例にも限定されない。その範囲は、特許請求の範囲、ならびにいくつかのその代替形態、修正形態、および均等物によってのみ限定される。完全な理解を提供するために、以下の説明において、いくつかの特定の詳細が記載されている。これらの詳細は、例の目的のために提供されており、記述されている技法は、これらの特定の詳細のいくつかまたはすべてなしに、特許請求の範囲に従って実践されることができる。明瞭化のために、例に関係付けられる技術分野において知られている技術的資料は、説明を不必要に曖昧にすることを回避するために、詳細には記述されていない。
図１は、いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。図の１００は、サービスとして動作している自律車両の群１０９（例えば、自律車両１０９ａ～１０９ｅのうちの１つまたは複数）を示し、各自律車両１０９は、道路網１１０を自動運転し、自律車両サービスプラットフォーム１０１との通信リンク１９２を確立するように構成されている。自律車両の群１０９がサービスを構成する例において、ユーザ１０２は、自律輸送手段を求める要求１０３を、１つまたは複数のネットワーク１０６を介して自律車両サービスプラットフォーム１０１に送信することができる。応答して、自律車両サービスプラットフォーム１０１は、ユーザ１０２を地理的ロケーション１１９から地理的ロケーション１１１へと自律的に輸送するために、自律車両１０９の１つを派遣することができる。自律車両サービスプラットフォーム１０１は、ステーション１９０から地理的ロケーション１１９へと自律車両を派遣してもよく、または、ユーザ１０２の輸送要求にサービスするために、すでに移動中の（例えば、乗員なしで）自律車両１０９ｃを転用してもよい。自律車両サービスプラットフォーム１０１は、（例えば、搭乗者としての）ユーザ１０２からの要求に応答して、搭乗者を乗せて移動中の自律車両１０９ｃを転用するようにさらに構成されてもよい。加えて、自律車両サービスプラットフォーム１０１は、既存の搭乗者が下車した後にユーザ１０２の要求にサービスするために転用するために、搭乗者を乗せて移動中の自律車両１０９ｃを確保するように構成されてもよい。複数の自律車両サービスプラットフォーム１０１（図示せず）および１つまたは複数のステーション１９０が、道路網１１０に関連して１つまたは複数の自律車両１０９をサービスするために実施されてもよい。１つまたは複数のステーション１９０は、自律車両１０９の在庫を格納、サービス、管理、および／または維持するように構成されてもよい（例えばステーション１９０は、自律車両サービスプラットフォーム１０１を実施する１つまたは複数のコンピューティングデバイスを含んでもよい）。
いくつかの例によれば、自律車両１０９ａ～１０９ｅのうちの少なくともいくつかは、双方向性自律車両（「ＡＶ」）１３０のような双方向性自律車両として構成される。双方向性自律車両１３０は、限定ではないが、主に長手方向軸１３１に沿っていずれかの方向に走行するように構成されてもよい。したがって、双方向性自律車両１３０は、隣接した周辺の他者（例えば、他の運転者、歩行者、自転車利用者など）、および、双方向性自律車両１３０が走行している方向を警告するために、車両の外部のアクティブな照明を実施するように構成されてもよい。例えば、アクティブ光源１３６が、第１の方向に走行しているときはアクティブライト（ａｃｔｉｖｅ ｌｉｇｈｔ）１３８ａとして実施されてもよく、または、第２の方向に走行しているときはアクティブライト１３８ｂとして実施されてもよい。アクティブライト１３８ａは、任意選択のアニメーション（例えば、可変強度の光の光パターンまたは経時的に変化し得る色）を伴う、１つまたは複数の色からなる第１のサブセットを使用して実施されてもよい。同様に、アクティブライト１３８ｂは、１つまたは複数の色からなる第２のサブセット、および、アクティブライト１３８ａのものとは異なってもよい光パターンを使用して実施されてもよい。例えば、アクティブライト１３８ａは、「ヘッドライト」としての白色光を使用して実施されてもよく、一方、アクティブライト１３８ｂは、「テールライト」としての赤色光を使用して実施されてもよい。アクティブライト１３８ａおよび１３８ｂ、またはその部分は、（例えば、黄色光を使用して）「ターンシグナル表示」機能を提供することのような、他の光関連機能を提供するように構成されてもよい。様々な例によれば、自律車両１３０内の論理は、任意の数の管轄に関する様々な安全性要件および交通規制または法律に準拠するように、アクティブライト１３８ａおよび１３８ｂを適応させるように構成されてもよい。
いくつかの実施形態において、双方向性自律車両１３０は、四半部１９４のような各四半部内に、同様の構造的要素および構成要素を有するように構成されてもよい。四半部は、少なくともこの例においては、両方とも、平面１３２および１３４の各側に２つの同様の半部を形成するのに車両を通過する平面１３２および１３４の交差によって規定される双方向性自律車両１３０の部分として示されている。さらに、双方向性自律車両１３０は、他の機能の中でも運転制御（例えば、推進、ステアリングなど）およびアクティブ光源１３６を含む主要ないくつかの車両機能を制御するように構成されている論理（例えば、ハードウェアもしくはソフトウェア、またはそれらの組み合わせ）を含む自律車両コントローラ１４７を含むことができる。双方向性自律車両１３０はまた、車両上の様々なロケーションに配置されているいくつかのセンサ１３９をも含む（他のセンサは図示されていない）。
自律車両コントローラ１４７は、自律車両１０９の局所店位置（例えば、ローカル場所）を決定し、車両に対する外部オブジェクトを検出するようにさらに構成されてもよい。例えば、双方向性自律車両１３０が、道路網１１０内で方向１９９に走行していると考える。自律車両コントローラ１４７のローカライザ（図示せず）が、地理的ロケーション１１１における局所的位置を決定することができる。そのため、ローカライザは、建造物１１５および１１７の表面と関連付けられるセンサデータのような、取得されるセンサデータを使用することができ、これは、局所的位置を決定するために、マップデータ（例えば、反射データを含む３Ｄマップデータ）のような基準データに対して比較されることができる。さらに、自律車両コントローラ１４７の知覚エンジン（図示せず）が、外部オブジェクト１１２（「樹木」）および外部オブジェクト１１４（「歩行者」）のような外部オブジェクトの挙動を検出、分類、および予測するように構成されてもよい。そのような外部オブジェクトの分類は、外部オブジェクト１１２のような静的オブジェクト、および、外部オブジェクト１１４のような動的オブジェクトとして、オブジェクトを広範に分類することができる。ローカライザおよび知覚エンジン、ならびにＡＶコントローラ１４７の他の構成要素は、協働して、自律車両１０９に自律的に運転させる。
いくつかの例によれば、自律車両サービスプラットフォーム１０１は、自律車両１０９が遠隔操作を要求する場合に、テレオペレータサービスを提供するように構成されている。例えば、自律車両１０９ｄ内の自律車両コントローラ１４７が、挿入図１２０に示されているように、ポイント１９１において道路１２２上の経路１２４を閉塞しているオブジェクト１２６を検出すると考える。自律車両コントローラ１４７が、車両１０９ｄが相対的に高い確実度で安全に移動することができる経路または軌道を確定することができない場合、自律車両コントローラ１４７は、遠隔操作サービスを求める要求メッセージ１０５を送信することができる。応答して、テレオペレータコンピューティングデバイス１０４が、障害物１２６を首尾よく（かつ安全に）切り抜けるための方策を実施するための命令を、テレオペレータ１０８から受信することができる。その後、車両に、例えば、代替の経路１２１に沿って移動するときに二重線のセットを安全にまたがせるために、自律車両１０９ｄに応答データ１０７が返信され得る。いくつかの例において、テレオペレータコンピューティングデバイス１０４は、経路のプランニングから除外するために、地理的領域を識別する応答を生成することができる。特に、追従するための経路を提供するのではなく、テレオペレータ１０８は、自律車両が回避すべき領域またはロケーションを規定することができる。
上記を考慮して、自律車両１３０および／または自律車両コントローラ１４７、ならびにそれらの構成要素の構造および／または機能は、自律車両１０９が自動運転することを可能にするために、位置特定および知覚のような自律関連動作を通じてリアルタイム（またはほぼリアルタイム）の軌道計算を実施することができる。
いくつかの事例において、双方向性自律車両１３０の双方向性は、互いに同様または実質的に同様である四半部１９４（または任意の他の数の対称な部分）を有する車両を提供する。そのような対称性は、設計の複雑度を低減し、相対的に、固有の構成要素または構造の数を低減し、それによって、在庫および製造の複雑度を低減する。例えば、駆動系およびホイールシステムは、四半部１９４のいずれに配置されてもよい。さらに、自律車両コントローラ１４７は、そうでなければ乗員の安全性に影響を与える可能性があるイベントまたは課題を解決しながら、自律車両１０９が移動中に遅延される可能性を低減するために、遠隔操作サービスを呼び出すように構成されている。いくつかの事例において、道路網１１０の可視部分は、自律車両１０９の図１に示す道路網に対する動きを限定または他の様態で制御することができる地理上のフェンス領域（ｇｅｏ－ｆｅｎｃｅｄ ｒｅｇｉｏｎ）を示す。様々な例によれば、自律車両１０９、およびその群は、共有されている車両の効率を提供しながら、ポイント間の人の移動の簡便性およびプライバシーを伴って需要に応じた輸送手段を提供することができるレベル４（「完全自動運転」またはＬ４）車両として動作するように構成可能であり得る。いくつかの例において、自律車両１０９、または、本明細書において記述されている任意の自律車両は、ステアリングホイール、または、自律車両１０９の手動（すなわち、人間によって制御される）ステアリングを提供する任意の他の機械的手段を省略するように構成されてもよい。さらに、自律車両１０９、または、本明細書において記述されている任意の自律車両は、座席、または、車両内で乗員がステアリングホイールに携わるために確保されているロケーションを省略するように構成されてもよい。
図２は、いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。２０２において、フロー２００は、自律車両の群が監視されるときに開始する。少なくとも１つの自律車両が、車両に、第１の地理的領域から第２の地理的領域へと自律的に移動させるように構成されている自律車両コントローラを含む。２０４において、車両の計算されている信頼水準と関連付けられるイベントを表すデータが検出される。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部または外部であってもよい。例えば、道路を閉塞している障害物、および、通信の低減または喪失が、イベントとして見られ得る。イベントは、交通条件または渋滞、および、知覚エンジンによって知覚される、予想外のまたは異常な数またはタイプの外部オブジェクト（またはトラック（ｔｒａｃｋ））を含み得る。イベントは、天候関連条件（例えば、氷または雨に起因する摩擦の喪失）、または、他の車両の人間の運転者の目に明るく陽が差すようにする水平線に対する低い角度のような、陽が差している角度（例えば、日没時）を含み得る。これらのおよび他の条件は、テレオペレータサービスの呼び出しを引き起こすか、または、車両に安全停止軌道を実行させるイベントとして見られ得る。
２０６において、候補軌道のサブセットを表すデータが、イベントの検出に応答して自律車両から受信され得る。例えば、自律車両コントローラのプランナが、１秒のような単位時間あたりに多数の軌道（例えば、数千以上）を計算および評価することができる。いくつかの実施形態において、候補軌道は、自律車両がイベントを考慮して（例えば、テレオペレータによって提供される代替の経路を使用して）安全に前進することができる相対的により高い信頼水準を提供する軌道のサブセットである。いくつかの候補軌道は、他の候補軌道よりも高くランク付けされ、または、他の候補軌道よりも高い信頼度と関連付けられ得ることに留意されたい。いくつかの例によれば、候補軌道のサブセットは、プランナ、テレオペレータコンピューティングデバイス（例えば、テレオペレータが、おおよその経路（ａｐｐｒｏｘｉｍａｔｅ ｐａｔｈ）を決定および提供することができる）などのような任意の数のソースに由来することができ、または、候補軌道のサブセットとして組み合わされることができる。２０８において、経路案内データが、１つまたは複数のプロセッサにおいて識別され得る。経路案内データは、テレオペレータが、候補軌道のうちの１つまたは複数から案内される軌道を選択するのを補助するように構成されてもよい。いくつかの事例において、経路案内データは、特定の候補軌道が、イベントが自律車両の動作に影響を与え得る可能性を低減または無視することができる確実度を示す信頼水準または確率を示す値を指定する。選択される候補軌道としての案内される軌道は、２１０において、テレオペレータからの入力（例えば、テレオペレータは、別様にランク付けされている候補軌道のグループから少なくとも１つの候補軌道を、案内される軌道として選択することができる）に応答して受信され得る。選択は、いくつかの候補軌道を、例えば、最も高い信頼水準から最も低い信頼水準への順序においてリスト化している操作者インターフェースを介して行われてもよい。２１２において、案内される軌道としての候補軌道の選択が、車両に送信され得、これは、車両に、テレオペレータによって指定される操作を実施させることによって、条件を解決するための案内される軌道を実施する。そのため、自律車両は、非規範的動作状態から移行することができる。
図３Ａは、いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。図の３００は、センサ、信号ルータ３４５、駆動系３４９、取り外し可能電池３４３、オーディオ生成器３４４（例えば、スピーカまたはトランスデューサ）、および自律車両（「ＡＶ」）制御論理３４７を含む双方向性自律車両３３０の内部図を示す。図の３００に示されているセンサは、他のセンサタイプおよびモダリティの中でも、画像キャプチャセンサ３４０（例えば、任意のタイプの光キャプチャデバイスまたはカメラ）、オーディオキャプチャセンサ３４２（例えば、任意のタイプのマイクロフォン）、レーダデバイス３４８、ソナーデバイス３４１（または、超音波センサまたは音響関連センサを含む、他の同様のセンサ）、およびライダ（ＬＩＤＡＲ）デバイス３４６を含む（慣性計測装置すなわち「ＩＭＵ」、全地球測位システム（「ＧＰＳ」）センサ、ソナーセンサなどのような、それらのいくつかは図示されていない）。四半部３５０は、双方向性自律車両３３０の４つの「四半部」の各々の対称性を表していることに留意されたい（例えば各四半部３５０は、図示されているものの他に、ホイール、駆動系３４９、同様のステアリングメカニズム、同様の構造的支持および部材などを含んでもよい）。図３Ａに示されているように、同様のセンサが、各四半部３５０内の同様のロケーションに配置されてもよいが、任意の他の構成が実施されてもよい。各ホイールは、個々に、かつ互いに独立してステアリング可能であり得る。また、取り外し可能電池３４３は、その場で充電するのではなく、スワップインおよびスワップアウトされることを促進するように構成され得、それによって、電池３４３を充電する必要性に起因する休止時間が低減される、または、無視できることを保証する。自律車両コントローラ３４７ａは、双方向性自律車両３３０内で使用されるものとして示されているが、自律車両コントローラ３４７ａは、そのように限定されず、地上、空中、または海上を問わず、一方向性自律車両または任意の他のタイプの車両内で実施されてもよい。図３Ａに示されているセンサの示されている、および、記述されている位置、ロケーション、向き、量、およびタイプは、限定であるようには意図されておらず、そのため、任意の数およびタイプのセンサがあってもよく、任意のセンサが自律車両３３０上のいずれの場所に配置されおよび方向付けられてもよいことに留意されたい。
いくつかの実施形態によれば、自律車両（「ＡＶ」）制御論理３４７の部分は、グラフィックスプロセッシングユニット（「ＧＰＵ」）のクラスタをプログラミングするのに適したフレームワークおよびプログラミングモデルを実施するＧＰＵのクラスタを使用して実施されてもよい。例えば、ｃｏｍｐｕｔｅ ｕｎｉｆｉｅｄ ｄｅｖｉｃｅ ａｒｃｈｉｔｅｃｔｕｒｅ（「ＣＵＤＡ」）に準拠したプログラミング言語およびアプリケーションプログラミングインターフェース（「ＡＰＩ」）モデルが、ＧＰＵをプログラミングするために使用されてもよい。ＣＵＤＡ（商標）は、カリフォルニア州サンタクララ所在のＮＶＩＤＩＡによって製造および維持されている。ＯｐｅｎＣＬ、または任意の他の並列プログラミング言語のような他のプログラミング言語が実施されてもよいことに留意されたい。
いくつかの実施形態によれば、自律車両制御論理３４７は、モーションコントローラ３６２、プランナ３６４、知覚エンジン３６６、およびローカライザ３６８を含むように示されている自律車両コントローラ３４７ａとして、ハードウェアおよび／またはソフトウェアにおいて実施されてもよい。示されているように、自律車両コントローラ３４７ａは、カメラデータ３４０ａ、ライダデータ３４６ａ、およびレーダデータ３４８ａ、または、ソナーデータ３４１ａ等を含む任意の他の範囲検知または位置特定データを受信するように構成されている。自律車両コントローラ３４７ａはまた、ＧＰＳデータ３５２、ＩＭＵデータ３５４、および他の位置検知データ（例えば、ステアリング角度、角速度などのようなホイール関連データ）のような測位データを受信するようにも構成されている。さらに、自律車両コントローラ３４７ａは、任意の他のセンサデータ３５６および基準データ３３９を受信してもよい。いくつかの事例において、基準データ３３９は、マップデータ（例えば、３Ｄマップデータ、２０マップデータ、４０マップデータ（例えば、エポック決定（Ｅｐｏｃｈ Ｄｅｔｅｒｍｉｎａｔｉｏｎ））を含む）およびルートデータ（例えば、限定ではないが、ＲＮＤＦデータ（または同様のデータ）、ＭＤＦデータ（または同様のデータ）を含む道路網データ）などを含む。
ローカライザ３６８は、ＧＰＳデータ３５２、ホイールデータ、ＩＭＵデータ３５４、ライダデータ３４６ａ、カメラデータ３４０ａ、レーダデータ３４８ａなどのような１つまたは複数のソースからのセンサデータ、および基準データ３３９（例えば、３Ｄマップデータおよびルートデータ）を受信するように構成されている。ローカライザ３６８は、双方向性自律車両３３０の局所的位置（または場所）を決定するために、センサデータをマップデータと比較することによって、データを統合（例えば、センサデータを融合）および分析する。いくつかの実施形態によれば、ローカライザ３６８は、任意の自律車両の位置または場所をリアルタイムまたはほぼリアルタイムに生成または更新することができる。ローカライザ３６８およびその機能は、「双方向性」車両に限定される必要はなく、任意のタイプの任意の車両において実施され得ることに留意されたい。それゆえ、ローカライザ３６８（およびＡＶコントローラ３４７ａの他の構成要素）は、「一方向性」車両または任意の非自律車両において実施されてもよい。いくつかの実施形態によれば、局所的位置を記述するデータは、ｘ座標、ｙ座標、ｚ座標（または、極座標系または円筒座標系などを含む任意の座標系の任意の座標）、ヨー値、ロール値、ピッチ値（例えば、角度値）、レート（例えば、速度）、高度などのうちの１つまたは複数を含んでもよい。
知覚エンジン３６６は、ライダデータ３４６ａ、カメラデータ３４０ａ、レーダデータ３４８ａなどのような１つまたは複数のソースからのセンサデータ、および局所的位置データを受信するように構成されている。知覚エンジン３６６は、センサデータおよび他のデータに基づいて外部オブジェクトのロケーションを決定するように構成され得る。例えば、外部オブジェクトは、運転可能な表面の部分でないオブジェクトであり得る。例えば、知覚エンジン３６６は、外部オブジェクトを、歩行者、自転車利用者、犬、他の車両などとして検出および分類することが可能であり得る（例えば、知覚エンジン３６６は、ラベルを含む意味情報と関連付けられ得る分類のタイプに従ってオブジェクトを分類するように構成される）。これらの外部オブジェクトの分類に基づいて、外部オブジェクトは、動的オブジェクトまたは静的オブジェクトとしてラベル付けされ得る。例えば、樹木として分類されている外部オブジェクトは静的オブジェクトとしてラベル付けされ得、一方、歩行者として分類されている外部オブジェクトは、静的オブジェクトとしてラベル付けされ得る。静的としてラベル付けされている外部オブジェクトは、マップデータ内に記述されてもよく、または、記述されなくてもよい。静的としてラベル付けされる可能性がある外部オブジェクトの例は、トラフィックコーン、道路を横切って配置されているセメント壁、車線閉鎖標識、新たに配置された郵便ポスト、または、道路に隣接するごみ箱などを含む。動的としてラベル付けされる可能性がある外部オブジェクトの例は、自転車利用者、歩行者、動物、他の車両などを含む。外部オブジェクトが動的としてラベル付けされる場合、外部オブジェクトに関するさらなるデータが、分類タイプと関連付けられる一般的なレベルの活動および速度、ならびに、挙動パターンを示し得る。外部オブジェクトに関するさらなるデータは、外部オブジェクトを追跡することによって生成され得る。そのため、分類タイプは、外部オブジェクトが、例えば、プランニングされている経路に沿って走行している自律車両と干渉し得る可能性を予測または他の様態で決定するために使用され得る。例えば、歩行者として分類される外部オブジェクトは、（例えば、追跡データに基づいて）何らかの最大速度、および、平均速度と関連付けられ得る。自律車両の速度に対する歩行者の速度は、衝突の可能性があるか否かを決定するために使用されることができる。さらに、知覚エンジン３６４は、オブジェクトの現在および未来の状態と関連付けられる不確定度を決定することができる。いくつかの例において、不確定度は、推定値（または確率）として表現されてもよい。
プランナ３６４は、知覚エンジン３６６から知覚データを受信するように構成されており、また、ローカライザ３６８からのローカライザデータをも含むことができる。いくつかの例によれば、知覚データは、自律車両の近傍に配置されている静的オブジェクトおよび動的オブジェクトを指定する障害物マップを含むことができ、一方で、ローカライザデータは、局所的位置または場所を含むことができる。動作時、プランナ３６４は、多数の軌道を生成し、少なくとも、外部の動的オブジェクトおよび静的オブジェクトの相対ロケーションに対する自律車両のロケーションに基づいて、軌道を評価する。プランナ３６４は、衝突のない走行を提供するように自律車両を誘導する最適な軌道を、様々な基準に基づいて選択する。いくつかの例において、プランナ３６４は、確率的に決定される軌道として軌道を計算するように構成されてもよい。さらに、プランナ３６４は、ステアリングおよび推進コマンド（ならびに減速またはブレーキコマンド）をモーションコントローラ３６２に送信することができる。モーションコントローラ３６２はその後、ステアリングコマンド、スロットルまたは推進コマンド、およびブレーキコマンドのようなコマンドのいずれかを、ステアリングまたはホイール角度および／または速度３５３の変更を実施するための（例えば、アクチュエータまたは他の機械的インターフェースに対する適用のための）制御信号に変換することができる。
図３Ｂ～図３Ｅは、いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。図３Ｂの図の３９１は、センサ３１０ａがオブジェクトを（例えば、範囲もしくは距離または他の情報を決定するために）検出するセンサフィールド３０１ａを示す。センサ３１０ａは、任意のタイプのセンサまたはセンサモダリティを実施することができるが、センサ３１０ａ、ならびに、センサ３１０ｂ、３１０ｃ、および３１０ｄのような同様に記述されているセンサは、ライダデバイスを含んでもよい。それゆえ、センサフィールド３０１ａ、３０１ｂ、３０１ｃ、および３０１ｄは各々、レーザが延伸するフィールドを含む。図３Ｃの図の３９２は、各々が対応するライダセンサ３１０（図示せず）によって生成される４つの重なり合うセンサフィールドを示す。示されているように、センサフィールドの部分３０１は、重なり合うセンサフィールドを含まず（例えば、単一のライダフィールド）、センサフィールドの部分３０２は、２つの重なり合うセンサフィールドを含み、部分３０３は３つの重なり合うセンサフィールドを含み、それによって、そのようなセンサは、ライダセンサが機能不全になった場合に複数レベルの冗長性を提供する。
図３Ｄは、いくつかの例による、ライダ ３０９の動作が機能不全にされることに起因するセンサフィールドの喪失を示す。図３Ｃのセンサフィールド３０２は、単一のセンサフィールド３０５に変換されており、図３Ｃのセンサフィールド３０１のうちの１つは失われて間隙３０４になっており、図３Ｃのセンサフィールド３０３のうちの３つは、センサフィールド３０６に変換されている（すなわち、２つの重なり合うフィールドに限定される）。自律車両３３０ｃが進行方向３９６に走行している場合、動いている自律車両の正面のセンサフィールドは、後端位置にあるものよりもロバストでない場合がある。いくつかの例によれば、自律車両コントローラ（図示せず）は、車両の正面の前方領域におけるセンサフィールドの喪失に対処するために、自律車両３３０ｃの双方向性を活用するように構成されている。図３Ｅは、自律車両３３０ｄの正面のセンサフィールドの一定のロバスト性を回復するための双方向性操作を示す。示されているように、テールライト３４８と同延のよりロバストなセンサフィールド３０２が、車両３３０ｄの後部に配置されている。好都合な場合、自律車両３３０ｄは、私道３９７に寄ることによって双方向性操作を実施し、テールライト３４８が自律車両３３０ｄの他の側（例えば、後縁）にアクティブに切り替わるように、その双方向性を切り替える。示されているように、自律車両３３０ｄは、進行方向３９８に沿って走行しているときに、車両の正面のロバストなセンサフィールド３０２を回復する。さらに、上述した双方向性操作は、交通量の多い車道に戻ることを必要とするより複雑化された操作の必要性を取り除く。
図４は、いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す機能ブロック図である。図の４００は、自律車両４３０内に配置されている自律車両コントローラ（「ＡＶ」）４４７を示し、自律車両４３０は、自律車両コントローラ４４７に結合されているいくつかのセンサ４７０を含む。センサ４７０は、１つまたは複数のライダデバイス４７２、１つまたは複数のカメラ４７４、１つまたは複数のレーダ４７６、１つまたは複数の全地球測位システム（「ＧＰＳ」）データ受信機－センサ、１つまたは複数の慣性計測装置（「ＩＭＵ」）４７５、１つまたは複数のオドメトリセンサ４７７（例えば、ホイールエンコーダセンサ、ホイール速度センサなど）、および、赤外線カメラまたはセンサ、ハイパースペクトル対応センサ（ｈｙｐｅｒｓｐｅｃｔｒａｌ－ｃａｐａｂｌｅ ｓｅｎｓｏｒ）、超音波センサ（または任意の他の音響エネルギーに基づくセンサ）、無線周波数に基づくセンサなどのような、任意の他の適切なセンサ４７８を含む。いくつかの事例において、ホイールのステアリング角度を検知するように構成されているホイール角度センサが、オドメトリセンサ４７７または適切なセンサ４７８として含まれてもよい。非限定例において、自律車両コントローラ４４７は、４つ以上のライダ ４７２、１６個以上のカメラ４７４および４つ以上のレーダユニット４７６を含んでもよい。さらに、センサ４７０は、自律車両コントローラ４４７の構成要素、および、自律車両サービスプラットフォーム４０１の要素にセンサデータを提供するように構成されてもよい。図の４００に示されているように、自律車両コントローラ４４７は、プランナ４６４と、モーションコントローラ４６２と、ローカライザ４６８と、知覚エンジン４６６と、局所的マップジェネレータ４４０とを含む。図４の図の４００に示されている要素は、１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
ローカライザ４６８は、マップデータ、ルートデータ（例えば、ＲＮＯＦのようなデータのような、道路網データ）などを含んでもよい基準データに対して自律車両を位置特定する（すなわち、局所的位置を決定する）ように構成されている。いくつかの事例において、ローカライザ４６８は、例えば、環境の表現の特徴に対する自律車両４３０のロケーションを表現することができる、空間内のポイントを識別するように構成されている。ローカライザ４６８は、各個々のタイプのセンサに関係付けられる不確実性を低減するために（例えば、異なるセンサモダリティの）センサデータの複数のサブセットを統合するように構成され得るセンサデータインテグレータ（ｓｅｎｓｏｒ ｄａｔａ ｉｎｔｅｇｒａｔｏｒ）４６９を含むように示されている。いくつかの例によれば、センサデータインテグレータ４６９は、局所的位置を決定するための統合されたセンサデータ値を形成するために、センサデータ（例えば、ライダデータ、カメラデータ、レーダデータなど）を融合するように構成されている。いくつかの例によれば、ローカライザ４６８は、マップデータ、３Ｄマップデータ、４Ｄマップデータなどを格納するためのマップデータリポジトリ（ｍａｐ ｄａｔａ ｒｅｐｏｓｉｔｏｒｙ）４０５ａを含む、基準データリポジトリ（ｒｅｆｅｒｅｎｃｅ ｄａｔａ ｒｅｐｏｓｉｔｏｒｙ）４０５に由来する基準データを取り出す。ローカライザ４６８は、自律車両４３０の位置を識別、または、他の様態で確認するためにマップデータと照合するために、環境内の特徴の少なくともサブセットを識別するように構成され得る。いくつかの例によれば、ローカライザ４６８は、特徴のセットが１つまたは複数の特徴、またはすべての特徴を含むことができるように、環境内の任意の量の特徴を識別するように構成されてもよい。特定の例において、任意の量のライダデータ（例えば、ほとんどのまたは実質的にすべてのライダデータ）が、位置特定の目的のためにマップを表現するデータと比較され得る。一般的に、環境特徴とマップデータとの比較からもたらされる一致しないオブジェクトは、車両、自転車利用者、歩行者などのような動的オブジェクトであり得る。障害物を含む動的オブジェクトの検出は、マップデータを用いてまたは用いずに実施され得ることに留意されたい。特に、動的オブジェクトは、マップデータから独立して（すなわち、マップデータがない状態で）検出および追跡されてもよい。いくつかの事例において、マップデータおよび３Ｄマップデータは、「グローバルマップデータ」、または、自律車両サービスプラットフォーム４０１によってある時点において認証されているマップデータとして見られ得る。マップデータリポジトリ４０５ａ内のマップデータは定期的に更新および／または認証され得るため、マップデータと、自律車両が位置決めされる実際の環境との間には逸脱が存在する場合がある。それゆえ、ローカライザ４６８は、位置特定を強化するために、局所的マップジェネレータ４４０によって生成される、ローカルに導出されたマップデータを取り出すことができる。局所的マップジェネレータ４４０は、局所的マップデータをリアルタイムまたはほぼリアルタイムに生成するように構成されている。任意選択的に、局所的マップジェネレータ４４０は、例えば、位置特定において動的オブジェクトを無視することによって、ローカルに生成されるマップの精度を強化するために、静的および動的オブジェクトマップデータを受信してもよい。少なくともいくつかの実施形態によれば、局所的マップジェネレータ４４０は、ローカライザ４６８と統合されてもよく、または、その部分として形成されてもよい。少なくとも１つの事例において、局所的マップジェネレータ４４０は、独立してまたはローカライザ４６８と協働してのいずれかで、ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ（「ＳＬＡＭ」）などに基づいてマップおよび／または基準データを生成するように構成され得る。ローカライザ４６８は、マップデータの使用に対する「混合」手法を実施することができ、それによって、ローカライザ４６８内の論理は、マップデータの各ソースの信頼度に応じて、マップデータリポジトリ４０５ａからのマップデータまたは局所的マップジェネレータ４４０からの局所的マップデータのいずれかから様々な量のマップデータを選択するように構成されることができることに留意されたい。それゆえ、ローカライザ４６８は依然として、ローカルに生成されるマップデータを考慮して古いマップデータを使用することができる。
知覚エンジン４６６は、例えば、プランナ４６４が、自律車両４３０が移動している周囲環境内の対象のオブジェクトを識別することによってルートをプランニングし、軌道を生成するのを補助するように構成されている。さらに、対象のオブジェクトの各々と確率が関連付けられ得、それによって、確率は、対象のオブジェクトが安全な走行に対する脅威となり得る可能性を表現することができる（例えば、高速で動くオートバイは、新聞を読みながらバス停のベンチに座っている人よりも強化された追跡を必要とし得る）。示されているように、知覚エンジン４６６は、オブジェクトディテクタ４４２およびオブジェクトクラシファイヤ４４４を含む。オブジェクトディテクタ４４２は、環境内の他の特徴に対してオブジェクトを区別するように構成されており、オブジェクトクラシファイヤ４４４は、オブジェクトを動的オブジェクトまたは静的オブジェクトのいずれかとして分類し、プランニングの目的のために、自律車両４３０に対する動的オブジェクトまたは静的オブジェクトのロケーションを追跡するように構成されることができる。さらに、知覚エンジン４６６は、静的または動的オブジェクトに、オブジェクトがプランナ４６４における経路プランニングに影響を与える可能性がある障害物である（またはそうなる可能性を有する）か否かを指定する識別子を割り当てるように構成されることができる。図４には示されていないが、知覚エンジン４６６はまた、セグメンテーションおよび追跡のような、他の知覚関連機能を実施することもできることに留意されたい。それらの例は後述する。
プランナ４６４は、利用可能であるいくつかの経路またはルートを介して目的地に達するという目標を達成するためのいくつかの候補軌道を生成するように構成されている。軌道エバリュエータ（ｔｒａｊｅｃｔｏｒｙ ｅｖａｌｕａｔｏｒ）４６５が、候補軌道を評価し、候補軌道のいずれのサブセットが目的地までの衝突のない経路を提供する高い程度の信頼水準と関連付けられるかを識別するように構成されている。そのため、軌道エバリュエータ４６５は、コマンドに、車両構成要素４５０（例えば、アクチュエータまたは他のメカニズム）に対する制御信号を生成させるための関連する基準に基づいて最適な軌道を選択することができる。関連する基準は、最適な軌道を規定する任意の数のファクタを含んでもよく、その選択は、衝突を低減することに限定される必要はないことに留意されたい。例えば、軌道の選択は、ユーザ経験（例えば、ユーザ快適性）、および、交通規制および法律に準拠する衝突のない軌道を最適化するように行われてもよい。ユーザ経験は、（例えば、ガタガタと進むような走行または他の不快な動きを低減するために）様々な直線方向および角度方向における加速を加減することによって最適化され得る。いくつかの事例において、関連する基準の少なくとも部分は、最適化された衝突のない走行を維持しながら、他の基準のいずれに優越または優先すべきかを指定することができる。例えば、限定された状況において軌道を生成するときに（例えば、自転車利用者と併走するために二重黄色線をまたぐとき、または、交通流量に合わせるために提示されている速度制限よりも高速で走行しているとき）、法的な制約は一時的に撤廃または緩和され得る。そのため、制御信号は、駆動系および／またはホイールにおける推進および方向の変化を引き起こすように構成される。この例において、モーションコントローラ４６２は、コマンドを、自律車両４３０の移動を制御するための制御信号（例えば、速度、ホイール角度など）に変換するように構成されている。軌道エバリュエータ４６５が、衝突のない最適化された走行を提供するために十分に高い信頼水準を保証するためには不十分な情報を有する場合、プランナ４６４は、テレオペレータ４０４に対する、テレオペレータの支持を求める要求を生成することができる。
自律車両サービスプラットフォーム４０１は、テレオペレータ４０４（例えば、テレオペレータコンピューティングデバイス）と、基準データリポジトリ４０５と、マップアップデータ（ｍａｐ ｕｐｄａｔｅｒ）４０６と、車両データコントローラ４０８と、キャリブレータ（ｃａｌｉｂｒａｔｏｒ）４０９と、オフラインオブジェクトクラシファイヤ４１０とを含む。自律車両サービスプラットフォーム４０１の各要素は、独立して配置または分散され得、自律車両サービスプラットフォーム４０１内の他の要素と通信することができることに留意されたい。さらに、自律車両サービスプラットフォーム４０１の要素は、独立して、通信レイヤ４０２を介して自律車両４３０と通信することができる。マップアップデータ４０６は、（例えば、局所的マップジェネレータ４４０、センサ４６０、または、自律車両コントローラ４４７の任意の他の構成要素からの）マップデータを受信するように構成されており、例えば、マップデータリポジトリ４０５ａ内のマップデータの、ローカルに生成されるマップからの逸脱を検出するようにさらに構成されている。車両データコントローラ４０８は、マップアップデータ４０６に、リポジトリ４０５内の基準データを更新させ、２Ｄ、３Ｄ、および／または４Ｄマップデータに対する更新を促進することができる。いくつかの事例において、車両データコントローラ４０８は、局所的マップデータが自律車両サービスプラットフォーム４０８へと受信されるレート、および、マップアップデータ４０６がマップデータの更新を実施する頻度を制御することができる。
キャリブレータ４０９は、同じまたは異なるタイプの様々なセンサの較正を実施するように構成されている。キャリブレータ４０９は、センサの相対的な位置（例えば、デカルト空間（ｘ、ｙ、ｚ）における）およびセンサの向き（例えば、ロール、ピッチおよびヨー）を決定するように構成され得る。カメラ、ライダセンサ、レーダセンサなどのようなセンサの位置および向きは、他のセンサに対して、および、グローバルに車両の基準フレームに対して較正され得る。オフライン自己較正はまた、車両慣性テンソル、軸距、ホイール半径または路面摩擦のような他のパラメータを較正または推定することもできる。較正はまた、いくつかの例によれば、パラメータ変化を検出するためにオンラインで行われることもできる。また、キャリブレータ４０９による較正は、センサの内因性パラメータ（例えば、光学的歪み、ビーム角度など）および外因性パラメータを含み得ることに留意されたい。いくつかの事例において、キャリブレータ４０９は、例として、３Ｄレーザデータにおける深さの断絶と、画像データのエッジとの間の相関を最大化することによって実施され得る。オフラインオブジェクト分類４１０は、センサデータのようなデータを、センサ４７０または自律車両コントローラ４４７の任意の他の構成要素から受信するように構成されている。いくつかの実施形態によれば、オフラインオブジェクトクラシファイヤ４１０のオフライン分類パイプラインは、オブジェクトを事前にまとめて注釈を付ける（例えば、人間によって手動でおよび／またはオフラインラベル付けアルゴリズムを使用して自動的に）ように構成され得、オンライン自律動作中にオブジェクトタイプのリアルタイムの分類を提供することができるオンラインクラシファイヤ（例えば、オブジェクトクラシファイヤ４４４）を訓練するようにさらに構成され得る。
図５は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。５０２において、フロー５００は、自律車両にある複数のモダリティのセンサに由来するセンサデータが、例えば、自律車両コントローラによって受信されるときに開始する。センサデータの１つまたは複数のサブセットは、例えば、推定値を改善するために融合されたデータを生成するために統合され得る。いくつかの例において、５０４において、（例えば、同じまたは異なるモダリティの）１つまたは複数のセンサのセンサストリームが、融合されたセンサデータを形成するために融合され得る。いくつかの例において、ライダセンサデータおよびカメラセンサデータのサブセットが、位置特定を促進するために、５０４において融合され得る。５０６において、センサデータの少なくとも２つのサブセットに基づいてオブジェクトを表現するデータが、プロセッサにおいて導出され得る。例えば、静的オブジェクトまたは動的オブジェクトを識別するデータが、少なくともライダおよびカメラデータから（例えば、知覚エンジンにおいて）導出され得る。５０８において、プランニングされている経路に影響を与える、検出されたオブジェクトが決定され、５１０において、検出されたオブジェクトに応答して、軌道のサブセットが（例えば、プランナにおいて）評価される。５１２において、自律車両の規範的動作と関連付けられる許容可能な信頼水準の範囲を超える信頼水準が決定される。それゆえ、この事例において、信頼水準は、最適化された経路を選択する確実性がより可能性が低く、それによって、最適化された経路が、衝突のない走行を促進し、交通法規に準拠し、快適なユーザ経験（例えば、快適な搭乗）を提供し、および／または、任意の他のファクタに基づいて候補軌道を生成する確率に応じて決定され得るようなものであり得る。そのため、５１４において、代替の経路を求める要求が、テレオペレータコンピューティングデバイスに送信され得る。その後、テレオペレータコンピューティングデバイスは、プランナに、自律車両が走行するようにされる最適な軌道を提供することができる。状況によっては、車両はまた、安全停止操作（例えば、自律車両を、危険の確率が相対的に低いロケーションに安全かつ自動的に停止させること）が最善の方策であると決定することもできる。このフロー図および本明細書における他のフロー図に示されている順序は、フロー図の各部分が、順次実施されてもよく、またはフロー図の任意の１つまたは複数の他の部分と並列に実施されてもよく、また、独立して実施されてもよく、または、フロー図の他の部分に依存して実施されてもよいため、様々な機能を直線的に実施するための要件を暗示するようには意図されていないことに留意されたい。
図６は、いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。図の６００は、モーションコントローラプロセス６６２、プランナプロセス６６４、知覚プロセス６６６、マッピングプロセス６４０、および位置特定プロセス６６８を含むいくつかのプロセスを示し、それらのうちのいくつかは、他のプロセスに関するデータを生成または受信し得る。プロセス６７０および６５０のような他のプロセスは、自律車両の１つまたは複数の機械的構成要素との相互作用を促進することができる。例えば、知覚プロセス６６６、マッピングプロセス６４０、および位置特定プロセス６６８は、センサ６７０からセンサデータを受信するように構成されており、一方で、プランナプロセス６６４および知覚プロセス６６６は、道路網データのようなルートデータを含み得る案内データ６０６を受信するように構成されている。さらに図の６００について、位置特定プロセス６６８は、他のタイプのマップデータの中でも、マップデータ６０５ａ（すなわち、２Ｄマップデータ）、マップデータ６０５ｂ（すなわち、３Ｄマップデータ）、および局所的マップデータ６４２を受信するように構成されている。例えば、位置特定プロセス６６８はまた、例えば、エポック決定を含み得る、４Ｄマップデータのような他の形態のマップデータを受信することもできる。位置特定プロセス６６８は、局所的位置を表現するローカル位置データ６４１を生成するように構成されている。ローカル位置データ６４１は、モーションコントローラプロセス６６２、プランナプロセス６６４、および知覚プロセス６６６に提供される。知覚プロセス６６６は、静的および動的オブジェクトマップデータ６６７を生成するように構成されており、このマップデータは、プランナプロセス６６４に送信され得る。いくつかの例において、静的および動的オブジェクトマップデータ６６７は、意味論的分類情報および予測される物体挙動のような他のデータとともに送信されてもよい。プランナプロセス６６４は、プランナ６６４によって生成されるいくつかの軌道を記述する軌道データ６６５を生成するように構成されている。モーションコントローラプロセスは、ステアリング角度および／または速度の変化を引き起こすためにアクチュエータ６５０に適用するための低レベルコマンドまたは制御信号を生成するために、軌道データ６６５を使用する。
図７は、いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。図の７００は、基準データジェネレータ７０５、車両データコントローラ７０２、自律車両群マネージャ７０３、テレオペレータマネージャ７０７、シミュレータ７４０、およびポリシマネージャ７４２を含む自律車両サービスプラットフォーム７０１を示す。基準データジェネレータ７０５は、マップデータおよびルートデータ（例えば、ＲＮＤＦデータ）を生成および修正するように構成されている。さらに、基準データジェネレータ７０５は、２Ｄマップデータリポジトリ７２０内の２Ｄマップにアクセスし、３Ｄマップデータリポジトリ７２２内の３Ｄマップにアクセスし、ルートデータリポジトリ７２４内のルートデータにアクセスするように構成され得る。エポック決定を含む４Ｄマップデータのような、他のマップ表現データおよびリポジトリが、いくつかの例において実施されてもよい。車両データコントローラ７０２は、様々な動作を実施するように構成されることができる。例えば、車両データコントローラ７０２は、チャネル７７０を介した通信の品質レベルに基づいて、自律車両の群とプラットフォーム７０１との間でデータが交換されるレートを変更するように構成されてもよい。帯域幅が制約されている期間中、例えば、データ通信は、自律車両７３０からの遠隔操作要求が、送達を保証するために高く優先順位付けされるように、優先順位付けされ得る。さらに、特定のチャネルにとって利用可能な帯域幅に依存して、可変レベルのデータ抽象化が、チャネル７７０を介して車両ごとに送信され得る。例えば、ロバストなネットワーク接続の存在下では、全ライダデータ（例えば、実質的にすべてのライダデータであるが、またより少なくてもよい）が送信されてもよく、一方で、劣化されたまたは低速の接続の存在下では、データのより単純なまたはより抽象的な描写（例えば、関連付けられているメタデータを有する境界ボックスなど）が送信されてもよい。自律車両群マネージャ７０３は、電池電力の効率的な使用、走行時間、電池の低充電状態の間に自律車両７３０内の空調装置が使用され得るか否かなどを含む、複数の変数を最適化するように、自律車両７３０の派遣を調整するように構成されており、それらの変数のいずれかまたはすべては、自律車両サービスの動作と関連付けられる費用関数を最適化することを考慮して監視され得る。自律車両の群の走行の費用または時間を最小化する様々な変数を分析するためのアルゴリズムが実施され得る。さらに、自律車両群マネージャ７０３は、群のアップタイムを最大化することを考慮してサービススケジュールを適合させるために、自律車両および部品の在庫を維持する。
テレオペレータマネージャ７０７は、テレオペレータ７０８がそれを用いて入力を提供するいくつかのテレオペレータコンピューティングデバイス７０４を管理するように構成されている。シミュレータ７４０は、１つまたは複数の自律車両７３０の動作、および、テレオペレータマネージャ７０７と自律車両７３０との間の相互作用をシミュレートするように構成されている。シミュレータ７４０はまた、自律車両７３０内に配置されているいくつかのセンサの動作（シミュレートされるノイズの導入を含む）をシミュレートすることもできる。さらに、シミュレートされた自律車両が合成環境に導入されることができ、それによって、シミュレートされたセンサが、シミュレートされたレーザ戻りのようなシミュレートされたセンサデータを受信することができるように、都市のような環境がシミュレートされることができる。シミュレータ７４０は、ソフトウェア更新および／またはマップデータの検証を含む、他の機能をも提供することができる。ポリシマネージャ７４２は、道路網を走行している間に自律車両が遭遇する様々な条件またはイベントを考慮して自律車両がそれによって挙動すべきであるデータ表現ポリシまたは規則を維持するように構成されている。いくつかの事例において、更新されたポリシおよび／または規則が、ポリシに対する変更を考慮して自律車両の群の安全な動作を確認するために、シミュレータ７４０においてシミュレートされてもよい。自律車両サービスプラットフォーム７０１の上述されている要素のいくつかが、以下においてさらに記述される。
通信チャネル７７０は、自律車両の群７３０および自律車両サービスプラットフォーム７０１の間にネットワーク接続されている通信リンクを提供するように構成されている。例えば、通信チャネル７７０は、自律車両サービスを確実に動作させるために一定レベルの冗長性を保証するために、対応するサブネットワーク（例えば、７７１ａ～７７１ｎ）を有する、いくつかの異なるタイプのネットワーク７７１、７７２、７７３、および７７４を含む。例えば、通信チャネル７７０内の異なるタイプのネットワークは、１つまたは複数のネットワーク７７１、７７２、７７３、および７７４の機能停止に起因する低減されたまたは喪失された通信の場合に、十分な帯域幅を保証するために、異なるセルラネットワークプロバイダ、異なるタイプのデータネットワークなどを含むことができる。
図８は、いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。図の８００は、テレオペレータマネージャ内に配置されているテレオペレータアプリケーション８０１、および、自律車両内に配置されている自律車両アプリケーション８３０を示し、それによって、テレオペレータアプリケーション８０１および自律車両アプリケーション８３０は、ネットワーク８７１、８７２、および他のネットワーク８７３のような様々なネットワークを介した通信を促進するプロトコルを介してメッセージデータを交換する。いくつかの例によれば、通信プロトコルは、Ｏｂｊｅｃｔ Ｍａｎａｇｅｍｅｎｔ Ｇｒｏｕｐ ｃｏｎｓｏｒｔｉｕｍによって維持される仕様を有するＤａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅ（商標）として実施されるミドルウェアプロトコルである。この通信プロトコルによれば、テレオペレータアプリケーション８０１および自律車両アプリケーション８３０は、メッセージドメイン内に配置されているメッセージルータ８５４を含むことができ、メッセージルータは、テレオペレータＡＰＩ ８５２とインターフェースするように構成されている。いくつかの例において、メッセージルータ８５４は、ルーティングサービスである。いくつかの例において、テレオペレータアプリケーション８０１内のメッセージドメイン８５０ａが、テレオペレータ識別子によって識別され得、一方で、メッセージドメイン８５０ｂは、車両識別子と関連付けられるドメインとして識別され得る。テレオペレータアプリケーション８０１内のテレオペレータＡＰＩ ８５２は、テレオペレータプロセス８０３ａ～８０３ｃとインターフェースするように構成されており、それによって、テレオペレータプロセス８０３ｂは、自律車両識別子８０４と関連付けられ、テレオペレータプロセス８０３ｃは、イベント識別子８０６（例えば、衝突のない経路のプランニングにとって問題になり得る交差点を指定する識別子）と関連付けられる。自律車両アプリケーション８３０内のテレオペレータＡＰＩ ８５２は、検知アプリケーション８４２、知覚アプリケーション８４４、位置特定アプリケーション８４６、および制御アプリケーション８４８を含む自律車両オペレーティングシステム８４０とインターフェースするように構成されている。上記を考慮して、上述されている通信プロトコルは、本明細書において記述されているような遠隔操作を促進するために、データ交換を促進することができる。さらに、上述されている通信プロトコルは、１つまたは複数の自律車両および１つまたは複数の自律車両サービスプラットフォームの間のセキュアなデータ交換を提供するように適合されることができる。例えば、メッセージルータ８５４は、例えば、テレオペレータプロセス８０３と自律車両オペレーティングシステム８４０との間の安全確保された相互作用を提供するためのメッセージを暗号化および解読するように構成されることができる。
図９は、いくつかの例による、図８に記述されている通信プロトコルを使用した遠隔操作を促進するためのデータのタイプを示す図である。図の９００は、１つまたは複数のネットワーク９７１内に実施される、データ処理を中心とするメッセージングバス９７２を介してデータを交換するように構成されている、テレオペレータアプリケーション９０１に結合されているテレオペレータコンピューティングデバイス９０４とインターフェースするテレオペレータ９０８を示す。データ処理を中心とするメッセージングバス９７２は、テレオペレータアプリケーション９０１と自律車両アプリケーション９３０との間の通信リンクを提供する。テレオペレータアプリケーション９０１のテレオペレータＡＰＩ ９６２は、メッセージサービス構成データ９６４、および、道路網データ（例えば、ＲＮＤＦのようなデータ）、ミッションデータ（例えば、ＭＤＦデータ）などのようなルートデータ９６０を受信するように構成されている。同様に、メッセージングサービスブリッジ９３２も、メッセージングサービス構成データ９３４を受信するように構成されている。メッセージングサービス構成データ９３４および９６４は、テレオペレータアプリケーション９０１と自律車両アプリケーション９３０との間のメッセージングサービスを構成するための構成データを提供する。メッセージングサービス構成データ９３４および９６４の例は、Ｄａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅ（商標）アプリケーションを構成するために実施されるサービス品質（「ＱｏＳ」）構成データを含む。
通信プロトコルを介した遠隔操作を促進するためのデータ交換の例が以下のように記述される。自律車両コントローラの知覚システムによって、障害物データ９２０が生成されると考える。さらに、候補軌道のサブセットをテレオペレータに通知するためのプランナ選択肢データ９２４がプランナによって生成され、位置データ９２６がローカライザによって生成される。障害物データ９２０、プランナ選択肢データ９２４、および位置データ９２６は、メッセージングサービスブリッジ９３２に送信され、メッセージングサービスブリッジ９３２は、メッセージサービス構成データ９３４に従って、テレメトリデータ９４０およびクエリデータ９４２を生成し、これらは両方とも、テレメトリデータ９５０およびクエリデータ９５２として、データ処理を中心とするメッセージングバス９７２を介してテレオペレータアプリケーション９０１へと送信される。テレオペレータＡＰＩ ９６２は、テレメトリデータ９５０および問い合わせデータ９５２を受信し、これらのデータは、ルートデータ９６０およびメッセージサービス構成データ９６４を考慮して処理される。結果もたらされるデータは、その後、テレオペレータコンピューティングデバイス９０４および／または協働ディスプレイ（ｃｏｌｌａｂｏｒａｔｉｖｅ ｄｉｓｐｌａｙ）（例えば、協働するテレオペレータ９０８のグループに見えるダッシュボードディスプレイ）を介してテレオペレータ９０８に提示される。テレオペレータ９０８は、テレオペレータコンピューティングデバイス９０４のディスプレイ上に提示される候補軌道選択肢を検討し、案内される軌道を選択し、これは、コマンドデータ９８２およびクエリ応答データ９８０を生成し、これらは両方とも、クエリ応答データ９５４およびコマンドデータ９５６として、テレオペレータＡＰＩ ９６２を通過される。その後、クエリ応答データ９５４およびコマンドデータ９５６は、クエリ応答データ９４４およびコマンドデータ９４６として、データ処理を中心とするメッセージングバス９７２を介して自律車両アプリケーション９３０へと送信される。メッセージングサービスブリッジ９３２は、クエリ応答データ９４４およびコマンドデータ９４６を受信し、テレオペレータコマンドデータ９２８を生成し、これは、テレオペレータによって選択された軌道を、プランナによる実施のために生成するように構成されている。上述されているメッセージングプロセスは、限定であるようには意図されておらず、他のメッセージングプロトコルも実施されてもよいことに留意されたい。
図１０は、いくつかの実施形態による、テレオペレータが経路プランニングに影響を与えることができるテレオペレータインターフェースの例を示す図である。図の１０００は、遠隔操作を促進するように構成されているテレオペレータマネージャ１００７を含む、自律車両サービスプラットフォーム１００１と通信する自律車両１０３０の例を示す。第１の例において、テレオペレータマネージャ１００７は、テレオペレータ１００８が前もって課題に対処することが可能であり得るように、テレオペレータ１００８に、可能性のある障害物に接近している自律車両の経路、または、プランナ信頼水準の低い領域を前もって見るように要求するデータを受信する。例示のために、自律車両が接近している交差点が、問題があるものとしてタグ付けされ得ると考える。そのため、ユーザインターフェース１０１０は、プランナによって生成されるいくつかの軌道によって予測されている、経路１０１２に沿って移動している対応する自律車両１０３０の表現１０１４を表示する。また、プランナにおいて十分な混乱を引き起こす可能性があり、それによってテレオペレータの支持を必要とする、他の車両１０１１、および、歩行者のような動的オブジェクト１０１３も表示される。ユーザインターフェース１０１０はまた、テレオペレータ１００８に、現在の速度１０２２、速度制限１０２４、および現在の電池内の充電量１０２６も提示する。いくつかの例によれば、ユーザインターフェース１０１０は、自律車両１０３０から取得されるものとしてのセンサデータのような他のデータを表示してもよい。第２の例において、プランナ１０６４が、検出されている未確認オブジェクト１０４６にもかかわらず、プランナによって生成された経路１０４４と同延であるいくつかの軌道を生成していると考える。プランナ１０６４はまた、候補軌道１０４０のサブセットをも生成し得るが、この例では、プランナは、現在の信頼水準を所与として進行することは不可能である。プランナ１０６４が代替の経路を決定することができない場合、テレオペレータ要求が送信され得る。この事例において、テレオペレータは、テレオペレータに基づく経路１０４２と一致する自律車両１０３０による走行を促進するために、候補軌道１０４０のうちの１つを選択することができる。
図１１は、いくつかの例による、遠隔操作を呼び出すように構成されているプランナの例を示す図である。図の１１００は、地形マネージャ（ｔｏｐｏｇｒａｐｈｙ ｍａｎａｇｅｒ）１１１０、ルートマネージャ１１１２、経路ジェネレータ（ｐａｔｈ ｇｅｎｅｒａｔｏｒ）１１１４、軌道エバリュエータ１１２０、および軌道トラッカ１１２８を含むプランナ１１６４を示す。地形マネージャ１１１０は、地形学的特徴を指定する３Ｄマップデータまたは他の同様のマップデータのようなマップデータを受信するように構成されている。地形マネージャ１１１０は、目的地までの経路上の地形学関連特徴に基づいて候補経路を識別するようにさらに構成されている。様々な例によれば、地形マネージャ１１１０は、群内の１つまたは複数の自律車両と関連付けられるセンサによって生成される３Ｄマップを受信する。ルートマネージャ１１１２は、目的地までの経路として選択され得る１つまたは複数のルートと関連付けられる交通関連情報を含むことができる、環境データ１１０３を受信するように構成されている。経路ジェネレータ１１１４は、地形マネージャ１１１０およびルートマネージャ１１１２からデータを受信し、自律車両を目的地に向けて誘導するのに適した１つまたは複数の経路または経路セグメントを生成する。１つまたは複数の経路または経路セグメントを表現するデータは、軌道エバリュエータ１１２０へと送信される。
軌道エバリュエータ１１２０は、状態・イベントマネージャ（ｓｔａｔｅ ａｎｄ ｅｖｅｎｔ ｍａｎａｇｅｒ）１１２２を含み、状態・イベントマネージャ１１２２は、信頼水準ジェネレータ１１２３を含むことができる。軌道エバリュエータ１１２０は、案内される軌道のジェネレータ（ｇｕｉｄｅｄ ｔｒａｊｅｃｔｏｒｙ ｇｅｎｅｒａｔｏｒ）１１２６および軌道ジェネレータ（ｔｒａｊｅｃｔｏｒｙ ｇｅｎｅｒａｔｏｒ）１１２４をさらに含む。さらに、プランナ１１６４は、ポリシデータ１１３０、知覚エンジンデータ１１３２、およびローカライザデータ１１３４を受信するように構成されている。
ポリシデータ１１３０は、いくつかの例によれば、それをもって軌道を生成すべき十分な信頼水準を有する経路を決定するためにプランナ１１６４が使用する基準を含むことができる。ポリシデータ１１３０の例は、軌道生成が外部オブジェクトまでの離れた距離によって抑制されることを指定するポリシ（例えば、可能な限り、自転車利用者から３フィートの安全緩衝を維持すること）、または、軌道が中央の二重黄色線をまたいではならないことを要求するポリシ、または、（例えば、一般的にバス停に最も近い車線に集中することのような、過去のイベントに基づいて）４車線道路においては軌道が単一車線に限定されることを必要とするポリシ、および、ポリシによって指定される任意の他の同様の基準を含む。知覚エンジンデータ１１３２は、対象の静的オブジェクトおよび動的オブジェクトのロケーションのマップを含み、ローカライザデータ１１３４は、少なくとも局所的位置または場所を含む。
状態・イベントマネージャ１１２２は、自律車両の動作状態を確率論的に決定するように構成されることができる。例えば、第１の動作状態（すなわち、「規範的動作」）は、軌道が衝突のないものである状況を記述することができ、一方で、第２の動作状態（すなわち、「非規範的動作」）は、可能性のある軌道と関連付けられる信頼水準が、衝突のない走行を保証するには不十分である別の状況を記述することができる。いくつかの例によれば、状態・イベントマネージャ１１２２は、規範的または非規範的である自律車両の状態を決定するために、知覚データ１１３２を使用するように構成されている。信頼水準ジェネレータ１１２３は、自律車両の状態を決定するために、知覚データ１１３２を分析するように構成されることができる。例えば、信頼水準ジェネレータ１１２３は、プランナ１１６４が安全な方策を決定しているという確実度を強化するために、静的オブジェクトおよび動的オブジェクトと関連付けられる意味情報、および、関連付けられる確率推定を使用することができる。例えば、プランナ１１６４は、プランナ１１６４が安全に動作しているか否かを決定するために、オブジェクトが人間である、または、人間でない確率を指定する知覚エンジンデータ１１３２を使用することができる（例えば、プランナ１１６４は、オブジェクトが、９８％の人間である確率、および、オブジェクトが人間でないという２％の確率を有する確実度を受信することができる）。
信頼水準（例えば、統計および確率論的決定に基づく）が、予測される安全動作に必要とされる閾値を下回るという決定を受けて、相対的に低い信頼水準（例えば、単一の確率スコア）が、自律車両サービスプラットフォーム１１０１にテレオペレータの支持を求める要求１１３５を送信するようにプランナ１１６４をトリガすることができる。いくつかの事例において、テレメトリデータおよび候補軌道のセットが、この要求に付随してもよい。テレメトリデータの例は、センサデータ、位置特定データ、知覚データなどを含む。テレオペレータ１１０８は、選択された軌道１１３７を、テレオペレータコンピューティングデバイス１１０４を介して、案内される軌道のジェネレータ１１２６に送信することができる。そのため、選択された軌道１１３７は、テレオペレータからの案内によって形成される軌道である。状態に変化がないという確認を受けて（例えば、非規範的状態が未決）、案内される軌道のジェネレータ１１２６は、軌道ジェネレータ１１２４にデータを渡し、軌道ジェネレータ１１２４は、軌道トラッカ１１２８に、軌道追跡コントローラとして、制御信号１１７０（例えば、ステアリング角度、速度など）を生成するために、テレオペレータによって指定される軌道を使用させる。プランナ１１６４は、状態が非規範的状態に移行する前に、テレオペレータの支持を求める要求１１３５の送信をトリガすることができることに留意されたい。特に、自律車両コントローラおよび／またはその構成要素は、離れた障害物に問題があり得ることを予測し、前もって、プランナ１１６４に、自律車両が障害物に達する前に遠隔操作を呼び出させることができる。そうでない場合、自律車両は、障害物またはシナリオへの遭遇を受けて安全状態に移行すること（例えば、路肩に寄り、停車すること）によって、遅延を引き起こすことができる。別の例において、遠隔操作は、ナビゲートすることが困難であることが分かっている特定のロケーションに自律車両が接近する前に、自動的に呼び出されてもよい。そのような状況が、センサ読み値、および様々なソースから導出される交通または事故データの信頼性に対する外乱を引き起こす可能性がある場合、この決定は、任意選択的に、時刻、太陽の位置を含む他のファクタを考慮に入れてもよい。
図１２は、いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。１２０２において、フロー１２００が開始する。自律車両内のプランナにおいてオブジェクトのサブセットを表現するデータが受信され、オブジェクトのサブセットは、分類タイプの確実度を表現するデータと関連付けられる少なくとも１つのオブジェクトを含む。例えば、知覚エンジンデータは、オブジェクトと関連付けられるメタデータを含むことができ、それによって、メタデータは、特定の分類タイプと関連付けられる確実度を指定する。例えば、動的オブジェクトは、正確であるという８５％の信頼水準をもって「若い歩行者」として分類され得る。１２０４において、ローカライザデータが（例えば、プランナにおいて）受信され得る。ローカライザデータは、自律車両内でローカルに生成されるマップデータを含むことができる。局所的マップデータは、一定の地理的領域においてイベントが発生し得る確実度（不確実度を含む）を指定することができる。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部（例えば、機能不全にされたまたは機能が損なわれたセンサ）または外部（例えば、道路の閉塞）であってもよい。イベントの例は、図２ならびに他の図面および節など、本明細書において記述されている。対象の地理的領域と同延の経路が、１２０６において決定され得る。例えば、イベントが、ラッシュアワーの交通状態の間に太陽光が運転者の視覚の機能を損なう時刻における、空における太陽の位置付けであると考える。そのため、交通は、明るい太陽光に応答して減速し得ると予想または予測される。したがって、プランナは、イベントを回避するための代替の経路の可能性が低い場合、前もって遠隔操作を呼び出すことができる。１２０８において、プランナにおいて、局所的位置データに基づいてローカル位置が決定される。１２１０において、例えば、分類タイプの確実度、および、速度、位置、および他の状態情報のような任意の数のファクタに基づき得るイベントの確実度に基づいて、自律車両の動作状態が（例えば、確率論的に）決定され得る。例示のために、他の運転者の視覚が太陽によって機能を損なわれる可能性があり、それによって、若い歩行者にとって安全でない状況が引き起こされるイベントの間に、自律車両によって若い歩行者が検出される例を考える。それゆえ、相対的に安全でない状況が、発生する可能性があり得る確率論的なイベント（すなわち、テレオペレータが呼び出される可能性がある安全でない状況）として検出され得る。１２１２において、動作状態が規範的状態である可能性が決定され、この決定に基づいて、次の動作状態への移行に前もって備える（例えば、規範的動作状態から、安全でない動作状態のような非規範的動作状態への移行に前もって備える）ように、テレオペレータに要求するメッセージが、テレオペレータコンピューティングデバイスに送信される。
図１３は、いくつかの例による、プランナが軌道を生成することができる例を示す図である。図の１３００は、軌道エバリュエータ１３２０および軌道ジェネレータ１３２４を含む。軌道エバリュエータ１３２０は、信頼水準ジェネレータ１３２２およびテレオペレータクエリメッセンジャ１３２９を含む。示されているように、軌道エバリュエータ１３２０は、静的マップデータ１３０１、ならびに現在のおよび予測されるオブジェクト状態のデータ１３０３を受信するために、知覚エンジン１３６６に結合されている。軌道エバリュエータ１３２０はまた、ローカライザ１３６８からの局所的位置データ１３０５およびグローバルプランナ（ｇｌｏｂａｌ ｐｌａｎｎｅｒ）１３６９からのプランデータ１３０７をも受信する。１つの動作状態（例えば、非規範的）において、信頼水準ジェネレータ１３２２は、静的マップデータ１３０１、ならびに現在のおよび予測されるオブジェクト状態のデータ１３０３を受信する。このデータに基づいて、信頼水準ジェネレータ１３２２は、検出された軌道が、許容不可能な信頼水準値と関連付けられることを決定することができる。そのため、信頼水準ジェネレータ１３２２は、テレオペレータクエリメッセンジャ１３２９を介してテレオペレータに通知するために、検出された軌道データ１３０９（例えば、候補軌道を含むデータ）を送信し、テレオペレータクエリメッセンジャ１３２９は、テレオペレータの支援を求める要求１３７０を送信する。
別の動作状態（例えば、規範的状態）において、静的マップデータ１３０１、現在のおよび予測されるオブジェクト状態のデータ１３０３、局所的位置データ１３０５、およびプランデータ１３０７（例えば、グローバルプランデータ）が軌道カリキュレータ１３２５へと受信され、軌道カリキュレータ１３２５は、最適な１つまたは複数の経路を決定するために、軌道を（例えば、反復的に）計算するように構成されている。次に、少なくとも１つの経路が選択され、選択された経路のデータ１３１１として送信される。いくつかの実施形態によれば、軌道カリキュレータ１３２５は、例として軌道の再プランニングを実施するように構成されている。公称運転軌道ジェネレータ（ｎｏｍｉｎａｌ ｄｒｉｖｉｎｇ ｔｒａｊｅｃｔｏｒｙ ｇｅｎｅｒａｔｏｒ）１３２７が、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ制御技法に基づいて軌道を生成することによってのような、洗練された手法において軌道を生成するように構成されている。公称運転軌道ジェネレータ１３２７はその後、公称運転軌道経路データ１３７２を、例えば、ステアリング、加速の物理的変更を実施するための軌道トラッカまたは車両コントローラ、および他の構成要素に送信することができる。
図１４は、いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。図の１４００は、テレオペレータ１４０８の間の相互作用および／または通信を管理するように構成されているテレオペレータマネージャ１４０７、テレオペレータコンピューティングデバイス１４０４、ならびに自律車両サービスプラットフォーム１４０１の他の構成要素を含む自律車両サービスプラットフォーム１４０１を示す。さらに図の１４００について、自律車両サービスプラットフォーム１４０１は、シミュレータ１４４０、リポジトリ１４４１、ポリシマネージャ１４４２、基準データアップデータ（ｒｅｆｅｒｅｎｃｅ ｄａｔａ ｕｐｄａｔｅｒ）１４３８、２Ｄマップデータリポジトリ１４２０、３Ｄマップデータリポジトリ１４２２、およびルートデータリポジトリ１４２４を含む。４Ｄマップデータ（例えば、エポック決定を使用する）のような他のマップデータが実施され、リポジトリ（図示せず）に格納されてもよい。
テレオペレータアクション推奨コントローラ（ｔｅｌｅｏｐｅｒａｔｏｒ ａｃｔｉｏｎ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｃｏｎｔｒｏｌｌｅｒ）１４１２は、テレオペレータの支援を求める要求ならびにテレメトリデータおよび他のデータを含むことができる自律車両（「ＡＶ」）プランナデータ１４７２を介して遠隔操作サービス要求を受信および／または制御するように構成されている論理を含む。そのため、プランナデータ１４７２は、テレオペレータ１４０８がテレオペレータコンピューティングデバイス１４０４を介してそこから選択することができる、推奨される候補軌道または経路を含むことができる。いくつかの例によれば、テレオペレータアクション推奨コントローラ１４１２は、そこから最適な軌道を選択すべきである、推奨される候補軌道の他のソースにアクセスするように構成されることができる。例えば、自律車両プランナデータ１４７２内に含まれる候補軌道は、並列に、シミュレータ１４４０へと導入されてもよく、シミュレータ１４４０は、テレオペレータの支援を要求している自律車両によって経験されているイベントまたは条件をシミュレートするように構成されている。シミュレータ１４４０は、マップデータ、および、候補軌道のセットに関するシミュレーションを実施するために必要な他のデータにアクセスすることができ、それによって、シミュレータ１４４０は、十分性を確認するためにシミュレーションを徹底的に繰り返す必要がない。むしろ、シミュレータ１４４０は、候補軌道の妥当性を確認し得、または、そうでなければテレオペレータに、それらの選択に注意するよう警告することができる。
テレオペレータ相互作用キャプチャアナライザ（ｔｅｌｅｏｐｅｒａｔｏｒ ｉｎｔｅｒａｃｔｉｏｎ ｃａｐｔｕｒｅ ａｎａｌｙｚｅｒ）１４１６は、大量のテレオペレータトランザクションまたは相互作用を、リポジトリ１４４１内に格納するためにキャプチャするように構成されることができ、リポジトリ１４４１は、例えば、少なくともいくつかの事例において、いくつかのテレオペレータトランザクションに関係するデータを、ポリシの分析および生成のために累積することができる。いくつかの実施形態によれば、リポジトリ１４４１はまた、ポリシマネージャ１４４２によるアクセスのためにポリシデータを格納するように構成されることもできる。さらに、テレオペレータ相互作用キャプチャアナライザ１４１６は、テレオペレータの支援を求める要求を引き起こすイベントまたは条件にいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。いくつかの事例において、ポリシマネージャ１４４２は、（例えば、機械学習技法の適用後に）テレオペレータ相互作用の大きなセットの分析に応答して、特定のポリシを更新し、または、新たなポリシを生成するように構成されることができる。ポリシマネージャ１４４２は、自律車両コントローラおよびその構成要素が、車両の自律動作に準拠するためにそれに基づいて動作する規則またはガイドラインとして見られ得るポリシを管理する。いくつかの事例において、修正または更新されたポリシが、そのようなポリシ変更を永続的にリリースまたは実施することの有効性を確認するために、シミュレータ１４４０に適用されてもよい。
シミュレータインターフェースコントローラ１４１４は、シミュレータ１４４０とテレオペレータコンピューティングデバイス１４０４との間のインターフェースを提供するように構成されている。例えば、自律車両の群からのセンサデータが、自律（「ＡＶ」）群データ１４７０を介して基準データアップデータ１４３８に適用され、それによって、基準データアップデータ１４３８が更新されたマップおよびルートデータ１４３９を生成するように構成されると考える。いくつかの実施態様において、更新されたマップおよびルートデータ１４３９は、事前に、マップデータリポジトリ１４２０および１４２２内のデータに対する更新として、または、ルートデータリポジトリ１４２４内のデータに対する更新としてリリースされることができる。この事例において、そのようなデータは、例えば、事前に更新されている情報を含むマップタイルが自律車両によって使用されるときに、テレオペレータサービスを要求するためのより低い閾値が実施され得る「ベータバージョン」であるものとしてタグ付けされ得る。さらに、更新されたマップおよびルートデータ１４３９は、更新されたマップデータを検証するためにシミュレータ１４４０に導入され得る。（例えば、ベータ試験の終了時の）全リリースを受けて、マップタイルに関するテレオペレータサービスを要求するための以前に下げられていた閾値はキャンセルされる。ユーザインターフェースグラフィックスコントローラ１４１０は、豊富なグラフィックスをテレオペレータ１４０８に提供し、それによって、自律車両の群が、シミュレータ１４４０内でシミュレートされることができ、シミュレートされている自律車両の群があたかも現実であるかのように、テレオペレータコンピューティングデバイス１４０４を介してアクセスされることができる。
図１５は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。１５０２において、フロー１５００が開始する。自律車両の群を管理するためのメッセージデータが、テレオペレータコンピューティングデバイスにおいて受信され得る。メッセージデータは、自律車両のプランニングされている経路の文脈において非規範的動作状態と関連付けられるイベント属性を示すことができる。例えば、イベントは、例えば信号機に違反して急いで通りを渡っている多数の歩行者に起因して問題になる特定の交差点として特性化され得る。イベント属性は、例えば、通りを渡っている人間の数、増大した数の歩行者からもたらされる交通遅延などのようなイベントの特性を記述する。１５０４において、遠隔操作リポジトリは、自律車両のグループと関連付けられる、集約されているデータのシミュレートされている動作に基づいて、推奨の第１のサブセットを取り出すためにアクセスされることができる。この事例において、シミュレータは、それをもってテレオペレータが実施することができる推奨のソースであり得る。さらに、遠隔操作リポジトリはまた、同様のイベント属性に応答したテレオペレータ相互作用の集約に基づいて、推奨の第２のサブセットを取り出すためにアクセスされることもできる。特に、テレオペレータ相互作用キャプチャアナライザは、テレオペレータの支援を求める以前の要求に基づいて同様の属性を有するイベントにいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。１５０６において、推奨の第１のサブセットおよび第２のサブセットが、自律車両に対する推奨される方策のセットを形成するために、組み合わされる。１５０８において、推奨される方策のセットの表現が、テレオペレータコンピューティングデバイスのディスプレイ上に、視覚的に提示されることができる。１５１０において、推奨される方策の（例えば、テレオペレータによる）選択を表現するデータ信号が検出されることができる。
図１６は、いくつかの例による、群最適化マネージャを実施する自律車両群マネージャの例の図である。図の１６００は、道路網１６５０内を移動する自律車両の群１６３０を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ１６０３は、テレオペレータコンピューティングデバイス１６０４を介してテレオペレータ１６０８に結合されており、また、群管理データリポジトリ１６４６にも結合されている。自律車両群マネージャ１６０３は、ポリシデータ１６０２および環境データ１６０６、ならびに他のデータを受信するように構成されている。さらに図の１６００について、群最適化マネージャ１６２０は、移動要求プロセッサ１６３１を含むように示されており、移動要求プロセッサ１６３１は、群データエクストラクタ（ｆｌｅｅｔ ｄａｔａ ｅｘｔｒａｃｔｏｒ）１６３２および自律車両派遣最適化カリキュレータ１６３４を含む。移動要求プロセッサ１６３１は、自律車両サービスを要求しているユーザ１６８８からのもののような、移動要求を処理するように構成されている。群データエクストラクタ１６３２は、群内の自律車両に関係するデータを抽出するように構成されている。各自律車両と関連付けられるデータはリポジトリ１６４６内に格納されている。例えば、各車両に関するデータは、保守管理課題、スケジューリングされているサービス依頼、日常の使用状況、電池充電および放電率、および任意の他のデータを記述することができ、これらは、リアルタイムに更新されることができ、休止時間を最小化するために自律車両の群を最適化する目的のために使用されることができる。自律車両派遣最適化カリキュレータ１６３４は、抽出されたデータを分析し、ステーション１６５２などからの派遣される次の車両が、自律車両サービスについて、集合の中で最小の走行時間および／または費用を提供することを保証するように、群の最適化された使用状況を計算するように構成されている。
群最適化マネージャ１６２０は、混合自律車両／非自律車両プロセッサ１６４０を含むように示されており、混合自律車両／非自律車両プロセッサ１６４０は、ＡＶ／非ＡＶ最適化カリキュレータ１６４２および非ＡＶセレクタ１６４４を含む。いくつかの例によれば、混合自律車両／非自律車両プロセッサ１６４０は、自律車両および人間によって運転される車両（例えば、独立請負人としての）からなる混合群を管理するように構成されている。そのため、自律車両サービスは、過剰な需要を満たすために、または、地理上のフェンスを越える場合がある非ＡＶサービス領域１６９０のような領域、または、不満足な通信カバレージの領域において非自律車両を利用することができる。ＡＶ／非ＡＶ最適化カリキュレータ１６４２は、自律車両群の使用状況を最適化し、非ＡＶ運転者を輸送サービスに（例えば、自律車両サービスに対する損害を最小限にして、または、損害がまったくないように）招聘するように構成されている。非ＡＶセレクタ１６４４は、ＡＶ／非ＡＶ最適化カリキュレータ１６４２によって導出される計算に基づいて、支援するための非ＡＶ運転者の数を選択するための論理を含む。
図１７は、いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。１７０２において、フロー１７００が開始する。１７０２において、ポリシデータが受信される。ポリシデータは、移動要求にサービスするために自律車両を選択するためにいかに最良に適用するかを規定するパラメータを含むことができる。１７０４において、リポジトリからの群管理データが抽出され得る。群管理データは、自律車両のプールに関するデータのサブセットを含む（例えば、データは、輸送要求にサービスするために車両の準備ができているかを記述する）。１７０６において、移動要求を表現するデータが受信される。例示的な目的のために、移動要求は、第１の地理的ロケーションから第２の地理的ロケーションへの輸送手段に対するものであり得る。１７０８において、ポリシデータに基づく属性が、要求にサービスするために利用可能である自律車両のサブセットを決定するために計算される。例えば、属性は、電池充電レベル、および、次にスケジューリングされている保守管理までの時間を含んでもよい。１７１０において、自律車両が、第１の地理的ロケーションから第２の地理的ロケーションへの輸送手段として選択され、自律車両を、移動要求の起点と関連付けられる第３の地理的ロケーションに派遣するためのデータが生成される。
図１８は、いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。図の１８００は、「低減された通信の領域」１８８０として識別される領域における通信機能停止と一致する道路網１８５０内を移動する自律車両の群１８３０を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ１８０３は、テレオペレータコンピューティングデバイス１８０４を介してテレオペレータ１８０８に結合されている。自律車両群マネージャ１８０３は、ポリシデータ１８０２および環境データ１８０６、ならびに他のデータを受信するように構成されている。さらに図の１８００について、自律車両通信リンクマネージャ１８２０が、環境イベントディテクタ（ｅｎｖｉｒｏｎｍｅｎｔ ｅｖｅｎｔ ｄｅｔｅｃｔｏｒ）１８３１、ポリシ適合デタミネータ１８３２、および移動要求プロセッサ１８３４を含むように示されている。環境イベントディテクタ１８３１は、自律車両サービスが実施されている環境内の変化を指定する環境データ１８０６を受信するように構成されている。例えば、環境データ１８０６は、領域１８８０が劣化した通信サービスを有し、これによって自律車両サービスに影響を与える可能性があることを指定することができる。ポリシ適合デタミネータ（ｐｏｌｉｃｙ ａｄａｐｔｉｏｎ ｄｅｔｅｒｍｉｎａｔｏｒ）１８３２は、そのようなイベントの間に（例えば、通信の喪失の間に）移動要求を受信するときに適用すべきパラメータを指定することができる。移動要求プロセッサ１８３４は、劣化した通信を考慮して移動要求を処理するように構成されている。この例において、ユーザ１８８８が、自律車両サービスを要求している。さらに、移動要求プロセッサ１８３４は、不満足な通信に起因する複雑化を回避するように自律車両が派遣される方法を修正するための、適合されたポリシを適用するための論理を含む。
通信イベントディテクタ１８４０が、ポリシダウンロードマネージャ１８４２と、通信設定された（「ＣＯＭＭ設定された」）ＡＶディスパッチャ１８４４とを含む。ポリシダウンロードマネージャ１８４２は、低減された通信の領域１８８０を考慮して自律車両１８３０に更新されたポリシを提供するように構成されており、それによって、更新されたポリシは、自律車両が領域１８８０に入る場合に、その領域を迅速に出るためのルートを指定することができる。例えば、自律車両１８６４は、領域１８８０に入る前の時点で、更新されたポリシを受信することができる。通信の喪失を受けて、自律車両１８６４は、更新されたポリシを実施し、領域１８８０から迅速に出るためのルート１８６６を選択する。ＣＯＭＭ設定されたＡＶディスパッチャ１８４４は、領域１８８０にわたるピアツーピアネットワークの確立に対する中継装置として構成される、自律車両を駐めるためのポイント１８６５を識別するように構成されることができる。そのため、ＣＯＭＭ設定されたＡＶディスパッチャ１８４４は、ピアツーピアアドホックネットワークにおける電波塔として動作する目的のために、ロケーション１８６５に駐めるために自律車両１８６２（搭乗者なし）を派遣するように構成されている。
図１９は、いくつかの実施形態による、劣化または喪失した通信のようなイベント中の自律車両に対するアクションを決定するためのフロー図の例である。１９０１において、フロー１９００が開始する。ポリシデータが受信され、それによって、ポリシデータは、イベント中に地理的領域における移動要求に適用するためのパラメータを規定する。１９０２において、以下のアクションのうちの１つまたは複数が実施され得る。（１）その地理的ロケーションの部分内の地理的ロケーションに自律車両のサブセットを派遣する。自律車両のサブセットは、特定の地理的ロケーションに駐まり、各々が静的通信中継装置としての役割を果たすか、または、各々が移動通信中継装置としての役割を果たすために、地理的領域内で移動するように構成されている。（２）その地理的領域の部分と関連付けられる自律車両のプールの部分の間でピアツーピア通信を実施する。（３）イベント中のその地理的領域の部分を脱出するためのルートを記述するイベントポリシを、自律車両に提供する。（４）遠隔操作を呼び出す。および（５）その地理的領域を回避するように、経路を再計算する。アクションの実施後、１９１４において、その自律車両の群が監視される。
図２０は、いくつかの実施形態による、ローカライザの例を示す図である。図の２０００は、ライダデータ２０７２、カメラデータ２０７４、レーダデータ２０７６、および他のデータ２０７８のような、センサ２０７０からのセンサデータを受信するように構成されているローカライザ２０６８を含む。さらに、ローカライザ２０６８は、２Ｄマップデータ２０２２、３Ｄマップデータ２０２４、および３Ｄ局所的マップデータのような基準データ２０２０を受信するように構成されている。いくつかの例によれば、対応するデータ構造およびリポジトリを含む、４Ｄマップデータ２０２５および意味論的マップデータ（図示せず）のような他のマップデータも、実施されてもよい。さらに図の２０００について、ローカライザ２０６８は、位置決めシステム２０１０および位置特定システム２０１２を含み、これらは両方とも、センサ２０７０からのセンサデータおよび基準データ２０２０を受信するように構成されている。位置特定データインテグレータ２０１４は、位置決めシステム２０１０からのデータおよび位置特定システム２０１２からのデータを受信するように構成されており、それによって、位置特定データインテグレータ２０１４は、局所的位置データ２０５２を形成するために複数のセンサからのセンサデータを統合または融合するように構成されている。
図２１は、いくつかの実施形態による、集積センサデータに基づいて局所的位置データを生成するためのフロー図の例である。２１０１において、フロー２１００が開始する。２１０２において、基準データが受信され、基準データは、三次元マップデータを含む。いくつかの例において、３Ｄまたは４Ｄマップデータのような基準データが、１つまたは複数のネットワークを介して受信されてもよい。２１０４において、１つまたは複数の位置特定センサからの位置特定データが受信され、位置特定システム内に配置される。２１０６において、１つまたは複数の位置決めセンサからの位置決めデータが、位置決めシステム内に受信される。２１０８において、位置特定データおよび位置決めデータが統合される。２１１０において、自律車両の地理的位置を指定するローカル位置データを形成するために、位置特定データおよび位置決めデータが統合される。
図２２は、いくつかの実施形態による、ローカライザの別の例を示す図である。図の２２００はローカライザ２２６８を含み、ローカライザ２２６８は、それぞれ位置決めに基づくデータ２２５０およびローカルなロケーションに基づくデータ２２５１を生成するための位置特定システム２２１０および相対位置特定システム２２１２を含む。位置特定システム２２１０は、他の任意選択のデータ（例えば、４Ｄマップデータ）の中でも、ＧＰＳデータ２２７３、ＧＰＳデータム２２１１、および３Ｄマップデータ２２２２を処理するための投影プロセッサ２２５４ａを含む。位置特定システム２２１０はまた、他の任意選択のデータの中でも、ホイールデータ２２７５（例えば、ホイール速度）、車両モデルデータ２２１３および３Ｄマップデータ２２２２を処理するためのオドメトリプロセッサ２２５４ｂをも含む。さらにまた、位置特定システム２２１０は、他の任意選択のデータの中でも、ＩＭＵデータ２２５７、車両モデルデータ２２１５および３Ｄマップデータ２２２２を処理するためのインテグレータプロセッサ２２５４ｃを含む。同様に、相対位置特定システム２２１２は、他の任意選択のデータの中でも、ライダデータ２２７２、タイルマップデータ２２２０、３Ｄマップデータ２２２２、および３Ｄ局所的マップデータ２２２３を処理するためのライダ位置特定プロセッサ２２５４ｄを含む。相対位置特定システム２２１２はまた、他の任意選択のデータの中でも、カメラデータ２２７４、３Ｄマップデータ２２２２、および３Ｄ局所的マップデータ２２２３を処理するための視覚見当合わせプロセッサ２２５４ｅをも含む。さらにまた、相対位置特定システム２２１２は、他の任意選択のデータの中でも、レーダデータ２２７６、３Ｄマップデータ２２２２、および３Ｄ局所的マップデータ２２２３を処理するためのレーダ戻りプロセッサ２２５４ｆを含む。様々な例において、ソナーデータなどのような、他のタイプのセンサデータおよびセンサまたはプロセッサが実施されてもよいことに留意されたい。
さらに図の２２００について、位置特定に基づくデータ２２５０および相対位置特定に基づくデータ２２５１は、それぞれデータインテグレータ２２６６ａおよび位置特定データインテグレータ２２６６に供給され得る。データインテグレータ２２６６ａおよび位置特定データインテグレータ２２６６は、対応するデータを融合するように構成されることができ、それによって、位置特定に基づくデータ２２５０は、位置特定データインテグレータ２２６６において相対位置特定に基づくデータ２２５１と融合される前に、データインテグレータ２２６６ａにおいて融合されることができる。いくつかの実施形態によれば、データインテグレータ２２６６ａは、位置特定データインテグレータ２２６６の部分として形成されるか、または、不在である。それに関係なく、位置特定に基づくデータ２２５０および相対位置特定に基づくデータ２２５１は両方とも、ローカル位置データ２２５２を生成するためにデータを融合する目的のために、位置特定データインテグレータ２２６６に供給されることができる。位置特定に基づくデータ２２５０は、投影プロセッサ２２５４ａからの単項制約データ（および不確定値）、ならびに、オドメトリプロセッサ２２５４ｂおよびインテグレータプロセッサ２２５４ｃからの二項制約データ（および不確定値）を含むことができる。相対位置特定に基づくデータ２２５１は、位置特定プロセッサ２２５４ｄおよび視覚見当合わせプロセッサ２２５４ｅ、ならびに、任意選択的にレーダ戻りプロセッサ２２５４ｆからの単項制約データ（および不確定値）を含むことができる。いくつかの実施形態によれば、位置特定データインテグレータ２２６６は、カルマンフィルタ（例えば、ゲートカルマンフィルタ（ｇａｔｅｄ Ｋａｌｍａｎ ｆｉｌｔｅｒ））、相対バンドルアジャスタ（ｒｅｌａｔｉｖｅ ｂｕｎｄｌｅ ａｄｊｕｓｔｅｒ）、ポーズグラフ緩和、粒子フィルタ、ヒストグラムフィルタなどのような非線形平滑化機能を実施することができる。
図２３は、いくつかの実施形態による、知覚エンジンの例を示す図である。図２３００は、知覚エンジン２３６６を含み、知覚エンジン２３６６は、セグメンテーションプロセッサ２３１０、オブジェクトトラッカ２３３０、およびクラシファイヤ２３６０を含む。さらに、知覚エンジン２３６６は、例えば、ローカル位置データ２３５２、ライダデータ２３７２、カメラデータ２３７４、およびレーダデータ２３７６を受信するように構成されている。ソナーデータのような他のセンサデータが、知覚エンジン２３６６の機能を提供するためにアクセスされてもよいことに留意されたい。セグメンテーションプロセッサ２３１０は、グランドプレーンデータを抽出し、および／または、画像の部分をセグメント化して、オブジェクトを互いから、および静的画像（例えば、背景）から区別するように構成されている。いくつかの事例において、３Ｄブロブが、互いを区別するためにセグメント化されることができる。いくつかの例において、ブロブは、空間的に再生された環境内でオブジェクトを識別する特徴のセットを参照することができ、強度および色のような、同様の特性を有する要素（例えば、カメラデータのピクセル、レーザ戻りデータのポイントなど）から構成されることができる。いくつかの例において、ブロブはまた、（例えば、色付けされたレーザ戻りデータから構成される）ポイントクラウドまたはオブジェクトを構成する他の要素を参照することもできる。オブジェクトトラッカ２３３０は、ブロブ、または他のセグメント化された画像部分の動きのフレームごとの推定を実施するように構成されている。さらに、時刻ｔ１における第１のフレーム内の１つのロケーションにあるブロブを、時刻ｔ２における第２のフレーム内の異なるロケーションにあるブロブと関連付けるために、データ関連付けが使用される。いくつかの例において、オブジェクトトラッカ２３３０は、ブロブのような３Ｄオブジェクトのリアルタイムの確率的追跡を実施するように構成されている。クラシファイヤ２３６０は、オブジェクトを識別し、そのオブジェクトを分類タイプ（例えば、歩行者、自転車利用者などとして）によっておよびエネルギー／活動（例えば、オブジェクトが動的であるかまたは静的であるか）によって分類するように構成されており、それによって、分類を表現するデータは、意味ラベルによって記述される。いくつかの実施形態によれば、オブジェクトクラスごとに異なる信頼性で、オブジェクトを車両、自転車利用者、歩行者などとして分類することのような、オブジェクトカテゴリの確率的推定が実施されることができる。知覚エンジン２３６６は、知覚エンジンデータ２３５４を決定するように構成されており、知覚エンジンデータ２３５４は、静的オブジェクトマップおよび／または動的オブジェクトマップならびに意味情報を含むことができ、それによって、例えば、プランナは、この情報を使用して、経路プランニングを強化することができる。様々な例によれば、セグメンテーションプロセッサ２３１０、オブジェクトトラッカ２３３０、およびクラシファイヤ２３６０のうちの１つまたは複数は、知覚エンジンデータ２３５４を生成するために機械学習技法を適用することができる。
図２４は、いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。フロー図の２４００は２４０２において開始し、自律車両のローカル位置を表現するデータが取り出される。２４０４において、１つまたは複数の位置特定センサからの位置特定データが受信され、２４０６において、セグメント化されたオブジェクトを形成するために、自律車両が配置されている環境の特徴がセグメント化される。２４０８において、動き（例えば、推定される動き）を有する少なくとも１つの追跡されているオブジェクトを形成するために、セグメント化されたオブジェクトの１つまたは複数の部分が空間的に追跡される。２４１０において、追跡されているオブジェクトが、少なくとも静的オブジェクトまたは動的オブジェクトのいずれかであるものとして分類される。いくつかの事例において、静的オブジェクトまたは動的オブジェクトは、分類タイプと関連付けられることができる。２４１２において、分類されたオブジェクトを識別するデータが生成される。例えば、分類されたオブジェクトを識別するデータは、意味情報を含むことができる。
図２５は、いくつかの実施形態による、セグメンテーションプロセッサの例である。図の２５００は、１つまたは複数のライダ ２５７２からのライダデータおよび１つまたは複数のカメラ２５７４からのカメラ画像データを受信するセグメンテーションプロセッサ２５１０を示す。局所的位置データ２５５２、ライダデータ、およびカメラ画像データが、メタスピンジェネレータ（ｍｅｔａ ｓｐｉｎ ｇｅｎｅｒａｔｏｒ）２５２１へと受信される。いくつかの例において、メタスピンジェネレータは、様々な属性（例えば、色、強度など）に基づいて、画像を区別可能な領域（例えば、ポイントクラウドのクラスタまたはグループ）へと分割するように構成されており、そのうちの少なくとも２つ以上は、同時にまたはほぼ同時に更新されることができる。メタスピンデータ２５２２が、セグメンテーションプロセッサ２５２３においてオブジェクトセグメンテーションおよびグランドセグメンテーション（ｇｒｏｕｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ）を実施するために使用され、それによって、メタスピンデータ２５２２とセグメンテーションプロセッサ２５２３からのセグメンテーション関連データの両方が、走査されている差分のプロセッサ（ｓｃａｎｎｅｄ ｄｉｆｆｅｒｅｎｃｉｎｇ ｐｒｏｃｅｓｓｏｒ）２５１３に適用される。走査されている差分のプロセッサ２５１３は、セグメント化された画像部分の動きおよび／または相対速度を予測するように構成されており、これは、２５１７において動的オブジェクトを識別するために使用されることができる。２５１７において検出された速度を有するオブジェクトを示すデータが、任意選択的に、経路プランニング決定を強化するためにプランナに送信される。加えて、走査されている差分のプロセッサ２５１３からのデータは、そのようなオブジェクトのマッピングを形成する（また、任意選択的に、動きのレベルを識別する）ためにオブジェクトのロケーションを近似するために使用することができる。いくつかの例において、占有格子マップ２５１５が生成されることができる。占有格子マップ２５１５を表現するデータは、（例えば、不確定性を低減することによって）経路プランニング決定をさらに強化するために、プランナに送信されることができる。さらに図の２５００について、１つまたは複数のカメラ２５７４からの画像カメラデータが、ブロブクラシファイヤ２５２０においてブロブを分類するために使用され、ブロブクラシファイヤ２５２０はまた、セグメンテーションプロセッサ２５２３からブロブデータ２５２４も受信する。セグメンテーションプロセッサ２５１０はまた、レーダ関連ブロブデータ２５１６を生成するレーダセグメンテーションプロセッサ２５１４においてセグメンテーションを実施するために、１つまたは複数のレーダ２５７６から未処理レーダ戻りデータ２５１２を受信することもできる。さらに図２５について、セグメンテーションプロセッサ２５１０はまた、レーダデータに関係付けられる、追跡されているブロブのデータ２５１８を受信および／または生成することもできる。ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、および、ブロブデータ２５２４はオブジェクトまたはその部分を追跡するために使用されることができる。いくつかの例によれば、以下、すなわち、走査されている差分のプロセッサ２５１３、ブロブ分類２５２０、およびレーダ２５７６からのデータのうちの１つまたは複数は、任意選択であってもよい。
図２６Ａは、様々な実施形態による、オブジェクトトラッカおよびクラシファイヤの例を示す図である。図の２６００のオブジェクトトラッカ２６３０は、ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、ブロブデータ２５２４、および１つまたは複数のカメラ２６７６からのカメラ画像データを受信するように構成されている。画像トラッカ２６３３は、追跡されている画像のデータを生成するために、１つまたは複数のカメラ２６７６からのカメラ画像データを受信するように構成されており、追跡されている画像のデータは、データ関連付けプロセッサ２６３２に提供されることができる。示されているようにデータ関連付けプロセッサ２６３２は、ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、ブロブデータ２５２４、および画像トラッカ２６３３からの追跡画像データを受信するように構成されており、上述されているタイプのデータの間の１つまたは複数の関連付けを識別するようにさらに構成されている。データ関連付けプロセッサ２６３２は、とりわけ例えば、動きを推定するために、フレームごとに、例えば、様々なブロブデータを追跡するように構成されている。さらに、データ関連付けプロセッサ２６３２によって生成されるデータは、トラックアップデータ（ｔｒａｃｋ ｕｐｄａｔｅｒ）２６３４によって、１つまたは複数のトラック、または追跡されているオブジェクトを更新するために使用されることができる。いくつかの例において、トラックアップデータ２６３４は、オンラインでトラックデータベース（「ＤＢ」）２６３６に格納することができる、追跡されているオブジェクトの更新されたデータを形成するために、カルマンフィルタなどを実施することができる。フィードバックデータが、データ関連付けプロセッサ２６３２とトラックデータベース２６３６との間で経路２６９９を介して交換されることができる。いくつかの例において、画像トラッカ２６３３は、任意選択であってもよく、除外されてもよい。オブジェクトトラッカ２６３０はまた、例えば、レーダまたはソナー、および、任意の他のタイプのセンサデータのような他のセンサデータを使用してもよい。
図２６Ｂは、少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。図の２６０１は、１つまたは複数の他の図面（例えば図２６Ａ）に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができるオブジェクトトラッカ２６３１を含む。示されているように、オブジェクトトラッカ２６３１は、オブジェクト走査見当合わせおよびデータ融合を実施するように構成されているプロセッサ２６９６を含む任意選択の見当合わせ部分２６９９を含む。プロセッサ２６９６は、結果もたらされるデータを３Ｄオブジェクトデータベース２６９８に格納するようにさらに構成されている。
図２６Ａに戻って参照すると、図の２６００はまた、クラシファイヤ２６６０をも含み、クラシファイヤ２６６０は、静的障害物データ２６７２および動的障害物データ２６７４を生成するためのトラック分類エンジン２６６２を含むことができ、これらのデータは両方とも、経路プランニング目的のためにプランナに送信されることができる。少なくとも１つの例において、トラック分類エンジン２６６２は、障害物が静的であるかまたは動的であるか、および、オブジェクトの別の分類タイプ（例えば、オブジェクトが車両、歩行者、樹木、自転車利用者、犬、猫、紙袋などであるか）を決定するように構成されている。静的障害物データ２６７２は、障害物マップ（例えば、２Ｄ占有マップ）の部分として形成されることができ、動的障害物データ２６７４は、速度および分類タイプを示すデータを有する境界ボックスを含むように形成されることができる。動的障害物データ２６７４は、少なくともいくつかの事例において、２Ｄ動的障害物マップデータを含む。
図２７は、いくつかの例による、知覚エンジンのフロントエンドプロセッサの例である。図の２７００は、様々な例によれば、グランドセグメンテーションを実施するためのグランドセグメンテーションプロセッサ２７２３ａおよび「オーバーセグメンテーション」を実施するためのオーバーセグメンテーションプロセッサ２７２３ｂを含む。プロセッサ２７２３ａおよび２７２３ｂは、任意選択的に色付けされたライダデータ２７７５を受信するように構成されている。オーバーセグメンテーションプロセッサ２７２３ｂは、第１のブロブタイプ（例えば、相対的に小さいブロブ）のデータ２７１０を生成し、このデータは、第２のブロブタイプのデータ２７１４を生成する集約分類・セグメンテーションエンジン（ａｇｇｒｅｇａｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｅｎｇｉｎｅ）２７１２に提供される。データ２７１４は、データ関連付けプロセッサ２７３２に提供され、データ関連付けプロセッサ２７３２は、データ２７１４がトラックデータベース２７３６内に存在するか否かを検出するように構成されている。２７４０において、第２のブロブタイプ（例えば、１つまたは複数のより小さいブロブを含み得る相対的に大きいブロブ）のデータ２７１４が新たなトラックであるか否かの決定が行われる。そうである場合、２７４２においてトラックが初期化され、そうでない場合、トラックデータベース２７３６に格納されている、追跡されているオブジェクトデータおよびそのトラックが、トラックアップデータ２７４２によって拡張または更新されることができる。トラック分類エンジン２７６２は、トラックを識別し、例えば、トラック関連データを追加、除去または修正することによって、トラックを更新／修正するために、トラックデータベース２７３６に結合されている。
図２８は、様々な実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。図の２８００は、シミュレートされた環境２８０３を生成するように構成されているシミュレータ２８４０を含む。示されているように、シミュレータ２８４０は、シミュレートされた環境２８０３内に、シミュレートされた表面２８９２ａおよび２８９２ｂのようなシミュレートされた幾何学的形状を生成するために、基準データ２８２２（例えば、３Ｄマップデータおよび／もしくは他のマップ、または、ＲＮＤＦデータもしくは同様の道路網データを含むルートデータ）を使用するように構成されている。シミュレートされた表面２８９２ａおよび２８９２ｂは、道路に隣接する建造物の壁または側面をシミュレートすることができる。シミュレータ２８４０はまた、合成環境において動的な作用因子をシミュレートするために、動的オブジェクトデータを事前に生成または手続き的に生成することもできる。動的な作用因子の例は、シミュレートされた動的オブジェクト２８０１であり、これは、一定の速度を有するシミュレートされた自転車利用者を表す。シミュレートされた動的な作用因子は、任意選択的に、シミュレートされた自律車両を含む、シミュレートされた環境内の他の静的な作用因子および動的な作用因子に応答することができる。例えば、シミュレートされたオブジェクト２８０１は、予め設定された軌道に従うのではなく、シミュレートされた環境２８０３内の他の障害物のために減速することができ、それによって、現実世界に存在する実際の動的な環境のより現実的なシミュレーションを生成する。
シミュレータ２８４０は、シミュレートされた自律車両コントローラ２８４７を生成するように構成されることができ、シミュレートされた自律車両コントローラ２８４７は、知覚エンジン２８６６、ローカライザ２８６８、モーションコントローラ２８６２、およびプランナ２８６４の合成適合を含み、これらの各々は、シミュレートされた環境２８０３内で本明細書において記述されている機能を有することができる。シミュレータ２８４０はまた、異なるセンサモダリティおよび異なるセンサデータフォーマットとのデータ交換をシミュレートするためのシミュレートされたインターフェース（「Ｉ／Ｆ」）２８４９を生成することもできる。そのため、シミュレートされたインターフェース２８４９は、例えば、シミュレートされたライダセンサ２８７２から、パケット化されたデータのためのソフトウェアインターフェースをシミュレートすることができる。さらに、シミュレータ２８４０はまた、シミュレートされたＡＶコントローラ２８４７を実施するシミュレートされた自律車両２８３０を生成するように構成されることもできる。シミュレートされた自律車両２８３０は、シミュレートされたライダセンサ２８７２、シミュレートされたカメラまたは画像センサ２８７４、およびシミュレートされたレーダセンサ２８７６を含む。示されている例において、シミュレートされたライダセンサ２８７２は、光線追跡２８９２と一致するシミュレートされたレーザを生成するように構成されることができ、これによって、シミュレートされたセンサ戻り２８９１が生成される。シミュレータ２８４０は、ノイズの追加またはセンサデータに対する他の環境効果（例えば、シミュレートされたセンサ戻り２８９１に影響を与える追加された拡散または反射）をシミュレートすることができることに留意されたい。さらにまた、シミュレータ２８４０は、センサ機能不全、センサ誤較正、断続的なデータの機能停止などを含む、様々なセンサ欠陥をシミュレートするように構成されることができる。
シミュレータ２８４０は、シミュレートされた自律車両２８３０の挙動のシミュレーションに使用するための、自律車両の機械的、静的、動的、および運動学的態様をシミュレートするための物理プロセッサ２８５０を含む。例えば、物理プロセッサ２８５０は、接触力学をシミュレートするための接触力学モジュール２８５１、シミュレートされているボディ間の相互作用をシミュレートするための衝突検出モジュール２８５２、および、シミュレートされている機械的相互作用間の相互作用をシミュレートするためのマルチボディ動態モジュール２８５４を含む。
シミュレータ２８４０はまた、とりわけ、因果関係を決定するためにシミュレートされた環境２８０３の任意の合成的に生成された要素の機能を適合させるようにシミュレーションを制御するように構成されているシミュレータコントローラ２８５６をも含む。シミュレータ２８４０は、シミュレートされた環境２８０３の性能合成的に生成された要素を評価するためのシミュレータエバリュエータ（ｓｉｍｕｌａｔｏｒ ｅｖａｌｕａｔｏｒ）２８５８を含む。例えば、シミュレータエバリュエータ２８５８は、シミュレートされた車両コマンド２８８０（例えば、シミュレートされたステアリング角度およびシミュレートされた速度）を分析して、そのようなコマンドが、シミュレートされた環境２８０３内のシミュレートされた活動に対する適切な応答であるか否かを判定することができる。さらに、シミュレータエバリュエータ２８５８は、テレオペレータコンピューティングデバイス２８０４を介したテレオペレータ２８０８の、シミュレートされた自律車両２８３０との相互作用を評価することができる。シミュレータエバリュエータ２８５８は、シミュレートされた自律車両２８３０の応答を案内するために追加されることができる、更新されたマップタイルおよびルートデータを含む、更新された基準データ２８２７の効果を評価することができる。シミュレータエバリュエータ２８５８はまた、ポリシデータ２８２９が更新、削除、または追加されるときに、シミュレータＡＶコントローラ２８４７の応答を評価することもできる。シミュレータ２８４０の上記の記述は、限定であるようには意図されていない。そのため、シミュレータ２８４０は、静的特徴と動的特徴の両方を含む、シミュレートされた環境に対する自律車両の様々な異なるシミュレーションを実施するように構成されている。例えば、シミュレータ２８４０は、信頼性を保証するためにソフトウェアバージョンの変更を検証するために使用されることができる。シミュレータ２８４０はまた、車両動態特性を決定するために、および、較正目的のために使用されることもできる。さらに、シミュレータ２８４０は、自己シミュレーションによる学習を行うように、適用可能な制御および結果もたらされる軌道の空間を探索するために使用されることができる。
図２９は、いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。フロー図の２９００は２９０２において開始し、三次元マップデータを含む基準データがシミュレータへと受信される。２９０４において、分類されているオブジェクトの運動パターンを規定する動的オブジェクトデータが取り出されることができる。２９０６において、シミュレートされた環境が、少なくとも三次元（「３Ｄ」）マップデータおよび動的オブジェクトデータに基づいて形成される。シミュレートされた環境は、１つまたは複数のシミュレートされた表面を含むことができる。２９０８において、シミュレートされた環境の部分を形成するシミュレートされた自律車両コントローラを含む自律車両がシミュレートされる。自律車両コントローラは、センサデータを受信するように構成されているシミュレートされた知覚エンジンおよびシミュレートされたローカライザを含むことができる。２９１０において、少なくとも１つのシミュレートされたセンサ戻りに関するデータに基づいて、シミュレートされたセンサデータが生成され、２９１２において、合成環境内のシミュレートされた自律車両によって動き（例えば、ベクトル化された推進）を引き起こすためのシミュレートされた車両コマンドが生成される。２９１４において、シミュレートされた自律車両が、予想される挙動と一致して（例えば、ポリシと一致して）挙動したか否かを決定するために、シミュレートされた車両コマンドが評価される。
図３０は、いくつかの実施形態による、マップデータを生成するためのフロー図の例である。フロー図の３０００は３００２において開始し、軌道データが取り出される。軌道データは、一定の時間期間にわたって（例えば、ログ記録された軌道として）キャプチャされた軌道を含むことができる。３００４において、少なくとも位置特定データが取り出されることができる。位置特定データは、一定の時間期間にわたって（例えば、ログ記録された位置特定データとして）キャプチャされることができる。３００６において、位置特定データのサブセットを生成するために、カメラまたは他の画像センサが実施されることができる。そのため、取り出された位置特定データは、画像データを含むことができる。３００８において、位置特定データのサブセットが、グローバル位置（例えば、全体的位置）を識別するために整列される。３０１０において、三次元（「３Ｄ」）マップデータが、グローバル位置に基づいて生成され、３０１２において、三次元マップデータが、例えば、手動ルートデータエディタ（例えば、ＲＮＤＦエディタのような手動道路網データエディタを含む）、自動ルートデータジェネレータ（例えば、自動ＲＮＤＦジェネレータを含む、自動道路網ジェネレータを含む）、自律車両の群、シミュレータ、テレオペレータコンピューティングデバイス、および、自律車両サービスの任意の他の構成要素による実施のために利用可能である。
図３１は、いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。図の３１００は、軌道ログデータ３１４０、ライダログデータ３１７２、カメラログデータ３１７４、レーダログデータ３１７６、および他の任意選択のログ記録されたセンサデータ（図示せず）を受信するように構成されている３Ｄマッピングエンジンを含む。論理３１４１は、とりわけ、空間内の近傍のポイントが以前に訪れられていることをセンサデータが示すか否かを検出するように構成されている環閉合ディテクタ（ｌｏｏｐ－ｃｌｏｓｕｒｅ ｄｅｔｅｃｔｏｒ）３１５０を含む。論理３１４１はまた、１つまたは複数の見当合わせポイントに対して、いくつかの事例においては３Ｄマップデータを含むマップデータを整列させるための見当合わせコントローラ３１５２をも含む。さらに、論理３１４１は、ポーズグラフデータ３１４５を生成するように構成されているグローバルポーズグラフジェネレータ（ｇｌｏｂａｌ ｐｏｓｅ ｇｒａｐｈ ｇｅｎｅｒａｔｏｒ）３１４３によって使用するための環閉合の状態を表現するデータ３１４２を提供する。いくつかの例において、ポーズグラフデータ３１４５はまた、見当合わせ改良モジュール３１４６からのデータに基づいて生成されることもできる。論理３１４４は、３Ｄマッパ３１５４およびライダ自己較正ユニット３１５６を含む。さらに、論理３１４４は、３Ｄマップデータ３１２０（または、４Ｄマップデータのような他のマップデータ）を生成するために、センサデータおよびポーズグラフデータ３１４５を受信する。いくつかの例において、論理３１４４は、最適な三次元マップを形成するためにセンサデータおよび／またはマップデータを融合するために切断符号付き距離関数（「ＴＳＤＦ」）を実施することができる。さらに、論理３１４４は、テクスチャおよび反射特性を含むように構成されている。３Ｄマップデータ３１２０は、手動ルートデータエディタ３１６０（例えば、ルートデータまたは他のタイプのルートもしくは基準データを操作するためのエディタ）、自動ルートデータジェネレータ３１６２（例えば、ルートデータまたは他のタイプの道路網もしくは基準データを生成するように構成されている論理）、自律車両の群３１６４、シミュレータ３１６６、テレオペレータコンピューティングデバイス３１６８、および、自律車両サービスの任意の他の構成要素による使用のためにリリースされることができる。マッピングエンジン３１１０は、手動注釈または自動的に生成される注釈、および、ソナーまたは機器を備え付けられた環境（例えば、スマートストップランプ）のような他のセンサから意味情報をキャプチャすることができる。
図３２は、いくつかの実施形態による、自律車両アプリケーションを示す図である。図３２００は、自律車両３２３０を介したユーザ３２０２の輸送手段を構成するために自律車両サービスプラットフォーム３２０１に接触するように構成されている自律サービスアプリケーション３２４０を含むモバイルコンピューティングデバイス３２０３を示す。示されているように、自律サービスアプリケーション３２４０は、コンピューティングデバイス（例えば、携帯電話３２０３など）上に存在するソフトウェアアプリケーションであってもよい輸送コントローラ３２４２を含むことができる。輸送コントローラ３２４２は、ユーザ３２０２がユーザのロケーションから目的地までの輸送手段を構成することができる自律車両および／または自律車両群に関係付けられる動作を受信、スケジューリング、選択、または実施するように構成されている。例えば、ユーザ３２０２は、車両３２３０を要求するためにアプリケーションを開くことができる。アプリケーションは、マップを表示することができ、ユーザ３２０２は、例えば、地理上のフェンス領域内で自身の目的地を示すためにピンをドロップすることができる。代替的に、アプリケーションは、近傍の予め指定された乗車ロケーションのリストを表示してもよく、または、ユーザに、住所もしくは名前のいずれかによって目的地をタイプするためのテキスト入力フィールドを提供してもよい。
さらに、示されている例について、自律車両アプリケーション３２４０はまた、車両が接近しているときに、ユーザ３２０２が自律車両３２３０の近くの地理的領域、または、近傍にいることを検出するように構成されることができるユーザ識別コントローラ３２４６を含むこともできる。いくつかの状況において、ユーザ３２０２は、（例えば、トラック、自動車、タクシーを含む様々な他の車両、および都市環境において一般的である他の障害物に起因して）ユーザ３２０３による使用のための自律車両３２３０が接近しているときに、これを容易に知覚または識別しない場合がある。例において、自律車両３２３０は、（例えば、無線周波数（「ＲＦ」）信号の相対方向および信号強度を使用して）自律車両３２３０に対するユーザ３２０２の空間ロケーションを通信および／または決定するために、ワイヤレス通信リンク３２６２（例えば、ＷｉＦｉまたはＢＬＥを含むＢｌｕｅｔｏｏｔｈ（登録商標）のようなＲＦ信号を介して）を確立することができる。いくつかの事例において、自律車両３２３０は、例えば、ＧＰＳデータなどを使用して、ユーザ３２０２の近似の地理的ロケーションを検出することができる。モバイルコンピューティングデバイス３２０３のＧＰＳ受信機（図示せず）は、自律車両サービスアプリケーション３２４０にＧＰＳデータを提供するように構成されることができる。したがって、ユーザ識別コントローラ３２４６は、リンク３２６０を介して自律車両サービスプラットフォーム３２０１にＧＰＳデータを提供することができ、自律車両サービスプラットフォーム３２０１は、リンク３２６１を介して自律車両３２３０にそのロケーションを提供することができる。その後、自律車両３２３０は、ユーザのＧＰＳデータを、車両のＧＰＳによって導出されるロケーションと比較することによって、ユーザ３２０２の相対距離および／または方向を決定することができる。
自律車両３２３０はまた、ユーザの固有の顔特性に基づいて一般的にユーザ３２０２を検出するか、または、特にユーザ３２０２の識別情報（例えば、名前、電話番号など）を識別するための顔検出アルゴリズムを実施するように構成されている論理のような、ユーザ３２０２の存在を識別するための追加の論理をも含むことができる。さらに、自律車両３２３０は、ユーザ３２０２を識別するためのコードを検出するための論理を含むことができる。そのようなコードの例は、ＱＲコード、カラーコードなどのような特殊化された視覚コード、声によって起動または認識されるコードなどのような特殊化されたオーディオコードなどを含む。いくつかの事例において、コードは、セキュアな進入および／または脱出を保証するためにリンク３２６２を介して自律車両３２３０にデジタルに送信されることができる、符号化されたセキュリティキーであってもよい。さらに、ユーザ３２０２を識別するための、上記で識別された技法のうちの１つまたは複数は、他者が自律車両３２３０に入るのを防止するように（例えば、ユーザ３２０２に到達する前に第三者が占有されていない自律車両に入らないことを保証するために）、ユーザ３２０２に進入および脱出の特権を与えるための安全確保された手段として使用されることができる。様々な例によれば、ユーザ３２０２を識別し、安全確保された進入および脱出を提供するための任意の他の手段がまた、自律車両サービスアプリケーション３２４０、自律車両サービスプラットフォーム３２０１、および自律車両３２３０のうちの１つまたは複数において実施されてもよい。
ユーザ３３０２がその要求されている輸送手段の到達を識別するのを支援するために、自律車両３２３０は、自律車両３２３０がユーザ３２０２に接近するときにその存在をユーザ３２０２に通知または他の様態で警告するように構成されることができる。例えば、自律車両３２３０は、特定の光パターンに従って、１つまたは複数の発光デバイス３２８０（例えば、ＬＥＯ）を起動することができる。特に、ユーザ３２０２の輸送手段要求にサービスするために自律車両３２３０が確保されていることを、ユーザ３２０２が容易に知覚することができるように、特定の光パターンが生成される。例として、自律車両３２３０は、ユーザ３２０２によって、そのような視覚的および時間的方法でその外部および内部ライトの「まばたき」または他のアニメーションとして知覚され得る光パターン３２９０を生成することができる。光のパターン３２９０は、ユーザ３２０２に対して、この車両がユーザが予約したものであることを識別するために、音声のパターンを伴ってまたは伴わずに生成されてもよい。
いくつかの実施形態によれば、自律車両ユーザコントローラ３２４４は、自律車両の様々な機能を制御するように構成されているソフトウェアアプリケーションを実施することができる。さらに、アプリケーションは、自律車両を、その最初の目的地への移動中に方向転換またはルート変更するように構成されることができる。さらに、自律車両ユーザコントローラ３２４４は、内蔵論理に、例えばムード照明を行うために自律車両３２３０の内部照明を修正させるように構成されることができる。コントローラ３２４４はまた、オーディオのソース（例えば、Ｓｐｏｔｉｆｙのような外部ソース、または、モバイルコンピューティングデバイス３２０３にローカルに格納されているオーディオ）を制御すること、搭乗のタイプを選択すること（例えば、所望される加速およびブレーキの積極性を修正すること、アクティブサスペンションパラメータを修正して「路面対処（ｒｏａｄ－ｈａｎｄｌｉｎｇ）」特性のセットを選択して、振動を含む積極的な運転特性を実施すること、または、快適性のために振動が減衰されている「穏やかな搭乗（ｓｏｆｔ－ｒｉｄｅ）」品質を選択すること）などもできる。例えば、モバイルコンピューティングデバイス３２０３は、換気および温度のような、ＨＶＡＣ機能をも制御するように構成されることができる。
図３３～図３５は、様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す。いくつかの例において、コンピューティングプラットフォーム３３００は、コンピュータプログラム、アプリケーション、方法、プロセス、アルゴリズム、または上述されている技法を実施するための他のソフトウェアを実施するために使用されることができる。
図３３の様々な構造および／または機能は、図３４および図３５に適用可能であり、そのため、それらの図面のいくつかの要素は、図３３の文脈において論じられ得ることに留意されたい。
いくつかの事例において、コンピューティングプラットフォーム３３００は、自律車両３３９１内に配置されることができるコンピューティングデバイス３３９０ａ、および／またはモバイルコンピューティングデバイス３３９０ｂのような任意のデバイス内に配置されることができる。
コンピューティングプラットフォーム３３００は、情報を通信するためのバス３３０２または他の通信メカニズムを含み、これは、例えば、プロセッサを有するモバイルコンピューティングおよび／または通信デバイスを含むコンピューティングデバイスと通信するための通信リンク３３２１上でのポートを介した通信を促進するために、プロセッサ３３０４、システムメモリ３３０６（例えば、ＲＡＭなど）、記憶装置３３０８（例えば、ＲＯＭなど）、メモリ内キャッシュ（ＲＡＭ ３３０６またはコンピューティングプラットフォーム３３００の他の部分内で実施されることができる）、通信インターフェース３３１３（例えば、Ｅｔｈｅｒｎｅｔまたはワイヤレスコントローラ、Ｂｌｕｅｔｏｏｔｈコントローラ、ＮＦＣ論理など）のようなサブシステムおよびデバイスを相互接続する。プロセッサ３３０４は、１つまたは複数のグラフィックスプロセッシングユニット（「ＧＰＵ」）、Ｉｎｔｅｌ（登録商標） Ｃｏｒｐｏｒａｔｉｏｎによって製造されるもののような１つまたは複数の中央処理装置（「ＣＰＵ」）、または１つまたは複数の仮想プロセッサ、およびＣＰＵと仮想プロセッサとの任意の組み合わせによって実施されることができる。コンピューティングプラットフォーム３３００は、限定ではないが、キーボード、マウス、オーディオ入力（例えば、発話－テキストデバイス）、ユーザインターフェース、ディスプレイ、モニタ、カーソル、タッチセンサ式ディスプレイ、ＬＣＤまたはＬＥＤディスプレイ、および他のＩ／Ｏ関連デバイスを含む入出力デバイス３３０１を介して入力および出力を表現するデータを交換する。
いくつかの例によれば、コンピューティングプラットフォーム３３００は、システムメモリ３３０６に格納されている１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ３３０４によって特定の動作を実施し、コンピューティングプラットフォーム３３００は、クライアント－サーバ構成、ピアツーピア構成において、または、スマートフォンなどを含む任意のモバイルコンピューティングデバイスとして実施されることができる。そのような命令またはデータは、記憶装置３３０８のような別のコンピュータ可読媒体からシステムメモリ３３０６へと読み出されることができる。いくつかの例において、ソフトウェア命令の代わりにまたはソフトウェアと組み合わせて、配線回路が実施のために使用されてもよい。命令は、ソフトウェアまたはファームウェアにおいて具現化されることができる。「コンピュータ可読媒体」という用語は、実行のためにプロセッサ３３０４に命令を提供することに関与する任意の有形媒体を参照する。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとることができる。不揮発性媒体は、例えば、光または磁気ディスクなどを含む。揮発性媒体は、システムメモリ３３０６のようなダイナミックメモリを含む。
一般的な形態のコンピュータ可読媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、または、コンピュータがそこから読み出すことができる任意の他の媒体を含む。命令は、さらに、伝送媒体を使用して送信または受信されることができる。「伝送媒体」という用語は、機械によって実行するための命令を格納、符号化または搬送することが可能である任意の有形または無形媒体を含むことができ、デジタルもしくはアナログ通信信号、または、そのような命令の通信を促進するための他の無形媒体を含む。伝送媒体は、コンピュータデータ信号を伝送するためのバス３３０２を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。
いくつかの例において、命令のシーケンスの実行は、コンピューティングプラットフォーム３３００によって実施されることができる。いくつかの例によれば、コンピューティングプラットフォーム３３００は、互いに協働して（または互いに対して非同期的に）命令のシーケンスを実施するために、通信リンク３３２１（例えば、ＬＡＮ、ＰＳＴＮのような有線ネットワーク、または、様々な規格およびプロトコルのＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、Ｚｉｇ－Ｂｅｅ等を含む任意のワイヤレスネットワーク）によって任意の他のプロセッサに結合されることができる。コンピューティングプラットフォーム３３００は、通信リンク３３２１および通信インターフェース３３１３を通じて、プログラムコード（例えば、アプリケーションコード）を含むメッセージ、データ、および命令を送信および受信することができる。受信されるプログラムコードは、受信されるときにプロセッサ３３０４によって実行されてもよく、および／または、後の実行のためにメモリ３３０６または他の不揮発性記憶装置に格納されてもよい。
示されている例において、システムメモリ３３０６は、本明細書において記述されている機能を実施するための実行可能命令を含む様々なモジュールを含むことができる。システムメモリ３３０６は、オペレーティングシステム（「Ｏ／Ｓ」）３３３２、ならびに、アプリケーション３３３６および／または論理モジュール３３５９を含むことができる。図３３に示されている例において、システムメモリ３３０６は、自律車両（「ＡＶ」）コントローラモジュール３３５０および／またはその構成要素（例えば、知覚エンジンモジュール、位置特定モジュール、プランナモジュール、および／またはモーションコントローラモジュール）を含み、それらのうちのいずれか、または、それらの１つもしくは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスを促進するように構成されることができる。
図３４に示されている例を参照すると、システムメモリ３３０６は、自律車両サービスプラットフォームモジュール３４５０および／またはその構成要素（例えば、テレオペレータマネージャ、シミュレータなど）を含み、それらのうちのいずれか、または、それらの１つもしくは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスの管理を促進するように構成されることができる。
図３５に示されている例を参照すると、システムメモリ３３０６は、例えば、モバイルコンピューティングデバイスにおける使用のために、自律車両（「ＡＶ」）モジュールおよび／またはその構成要素を含む。モジュール３５５０の１つまたは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスの送達を促進するように構成されることができる。
図３３に戻って参照すると、上述されている特徴のうちのいずれかの構造および／または機能は、ソフトウェア、ハードウェア、ファームウェア、回路、またはそれらの組み合わせにおいて実施されることができる。上記の構造および構成要素ならびにそれらの機能は、１つまたは複数の他の構造または要素とともに集約されてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法は、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。ハードウェアおよび／またはファームウェアとして、上述されている技法は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語（「ＲＴＬ」）のようなハードウェア記述言語を含む、様々なタイプのプログラミングまたは集積回路設計言語を使用して実施されてもよい。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および／または論理を参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
いくつかの実施形態において、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはそれらの構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、携帯電話またはコンピューティングデバイスのようなモバイルデバイスと（例えば、有線またはワイヤレスで）通信することができ、または、その中に配置されることができる。
いくつかの事例において、モバイルデバイス、または、１つもしくは複数のモジュール３３５９（図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０）もしくはその構成要素のうちの１つもしくは複数と通信する任意のネットワーク接続されているコンピューティングデバイス（図示せず）（または本明細書において記述されている任意のプロセスまたはデバイス）は、本明細書において記述されている特徴のうちのいずれかの構造および／または機能のうちの少なくともいくつかを提供することができる。上述されている図面に示されているように、上述されている特徴のうちのいずれかの構造および／または機能は、ソフトウェア、ハードウェア、ファームウェア、回路、またはそれらの任意の組み合わせにおいて実施されることができる。上記の構造および構成要素ならびにそれらの機能は、１つまたは複数の他の構造または要素とともに集約され、または、組み合わされてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法のうちの少なくともいくつかは、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。例えば、図面のうちのいずれかに示されている要素のうちの少なくとも１つは、１つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。
例えば、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはその構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、メモリ内の１つまたは複数のアルゴリズムを実行するように構成されている１つまたは複数のプロセッサを含む１つまたは複数のコンピューティングデバイス（すなわち、装着されるかまたは搬送されるかを問わず、ウェアラブルデバイス、オーディオデバイス（ヘッドフォンまたはヘッドセットなど）または携帯電話のような任意のモバイルコンピューティングデバイス）において実施されることができる。したがって、上述されている図面内の要素のうちの少なくともいくつかは、１つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
ハードウェアおよび／またはファームウェアとして、上述されている構造技法は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）、マルチチップモジュール、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語（「ＲＴＬ」）のようなハードウェア記述言語を含む、様々なタイプのプログラミング言語または集積回路設計言語を使用して実施されることができる。
例えば、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはその構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、１つまたは複数の回路を含む１つまたは複数のコンピューティングデバイスにおいて実施されることができる。したがって、上述されている図面内の要素のうちの少なくとも１つは、ハードウェアの１つまたは複数の構成要素を表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されている回路の部分を含む、論理の部分を表現することができる。
図３６は、様々な例による、自律車両の群内の１つまたは複数の自律車両に更新されたポリシデータを提供するように構成されているポリシエクスプローラの実施態様を示す図の３６００である。図の３６００は、道路網３６５０の道路を自律的にナビゲートしている自律車両３６３０および３６３０ａ、ならびに、道路網３６５０の道路上で運転されている、運転者によって運転される車両３６４０を有する道路網３６５０を示す。道路網３６５０は、自律車両（例えば、３６３０、３６３０ａ）によって移動される領域（例えば、領域３６２４）を含むことができ、自律車両は、様々なシステム（例えば、プランナ、知覚、ローカライザおよびセンサシステム）を利用して、道路網３６５０の道路を自律的にナビゲートすることができる。自律車両（例えば、３６３０、３６３０ａ）によってそれらの移動中に検出されるオブジェクトは、知られている意味論的な分類を有するオブジェクト（例えば、以前に分類されているオブジェクト）、および、知られている意味論的な分類を有しない場合があるオブジェクトを含むことができる。同様に、自律車両（例えば、３６３０、３６３０ａ）によってそれらの移動中に遭遇されるイベントまたは条件は、以前の遭遇および／または分析（例えば、シミュレーションデータまたはテレオペレータデータを介した）に基づいて認識されるイベントまたは条件である場合があり、または、過去の遭遇および／または分析に基づいて認識されないイベントまたは条件である場合がある。道路網３６５０および／または他の道路網（３６９８によって示される）内の自律車両（例えば、車両３６３０および／または３６３０ａのセンサシステム）によって取り込まれるデータは、自律車両の１つまたは複数のシステムによってその場で分析されることができ、かつ／または、以前は知られていなかったオブジェクトの新しい意味論的な分類を学習および指定し、かつ／もしくは、オブジェクト、条件もしくはイベントに基づいて代替的な候補軌道および／もしくは車両制御パラメータ（例えば、速度、電力消費など）を提供するために、分析のための外部リソースに通信されることができる。
道路網３６５０は、例えば、自律車両３６３０および３６３０ａの移動を制限または他の様態で制御することができる地理上のフェンス領域または地理上のフェンス領域の部分を表現することができる。自律車両３６３０および３６３０ａは、例えば、自律車両の群のうちの自律車両のサブセットであってもよい。自律車両の群内の他の自律車両は、３６９８によって示されているような１つまたは複数の他の地理上のフェンス領域内で他の道路網を能動的にナビゲートされることができる。各自律車両３６３０および３６３０ａは、各自律車両内に含まれるセンサシステムを使用して自律車両の外部の環境の検知を実施することができる。例えば、３６３０ａとして示されている自律車両は、車両が道路網３６５０内の路面を自律的にナビゲートするときに、自律車両３６３０ａの外部の環境を検知するためのセンサスイート３６１０ａ～３６１０ｄを含むことができる。センサスイート３６１０ａ～３６１０ｄは、例えば、自律車両３６３０ａの周囲の３６０度の重なり合うセンサ範囲領域（破線の円３６０１ａとして示されている）を提供するように構成されることができる。他の自律車両３６３０もまた、例えば、自律車両３６３０の周囲の３６０度の重なり合うセンサ範囲領域（破線の円３６０１として示されている）を提供するセンサスイートを含むことができる。
さらに図の３６００を参照すると、自律車両３６３０ａは、例えば、概して矢印３６３２によって示されている路面３６２３の車線３６２２に沿った走行方向において、道路網３６５０の領域３６２４内で路面３６２３を自律的にナビゲートしている場合がある。車両３６３０ａのセンサシステム（図示せず）は、路面３６２３上のまたは路面３６２３に近接するオブジェクトを検出することができ、それらのオブジェクトを示すセンサデータは、例えば、自律車両３６３０ａの１つまたは複数のシステム（例えば、知覚システムおよび／またはプランナシステム）によって処理および分類されることができる。領域３６２４において、自律車両３６３０ａの外部の環境は、以下の検出されるオブジェクト（例えば、処理されているセンサに基づいて、知覚システムによって分類されるオブジェクト）、すなわち、建造物３６０２、路面３６２３、車線マーカ３６２５、車線３６２２および３６２８、カーブ３６２６および３６２７、歩行者３６２０、消火栓３６３１、ならびに穴３６３４を含むことができるが、これらに限定されない。
自律車両３６３０ａのプランナ３６７０は、テレメトリデータ３６７１およびポリシデータ３６７２を含むがこれらに限定されないデータに基づいて、道路網３６５０内で自律車両３６３０ａの自律制御を実施するように構成されることができる。テレメトリデータ３６７１は、例えば、自律車両３６３０ａのセンサシステム内のセンサのセンサタイプおよびモダリティ（例えば、図３Ａ内に示されている１つまたは複数のセンサ）によって生成されるセンサデータ３６７３、知覚エンジンによって生成されるデータ３６７５、ローカライザによって生成されるデータ３６７７、ならびに、モーションコントローラデータ３６７９を含むことができるが、これらに限定されない。テレメトリデータ３６７１は、３６７６によって示されているように、示されているよりも多くのデータまたはより少ないデータを含んでもよい。知覚エンジンデータ３６７５は、例えば、センサデータ３６７３から生成されるオブジェクトデータ、ならびに、領域３６２４内で検出される対象の静的オブジェクトおよび動的オブジェクトのロケーションのマップを含むことができる。ローカライザデータ３６７７は、例えば、自律車両３６３０ａのロケーション、マップデータ、およびマップタイルデータと関連付けられる、少なくとも局所的位置データおよび／または位置データを含むことができる。モーションコントローラデータ３６７９は、例えば、自律車両３６３０ａおよび３６３０のステアリング（例えば、ホイール角度）、速度または制動の変更を実施するために、自律車両のステアリング、スロットルまたは推進および制動機能と関連付けられるコマンドおよび／または信号を表すデータ（例えば、アクチュエータまたは自律車両の他の機械的インターフェースに適用される信号またはデータ）を含むことができる。
ポリシデータ３６７２は、いくつかの例によれば、それをもって軌道を生成すべき十分な信頼水準を有する経路（例えば、選択される候補軌道）を決定するためにプランナ３６７０が使用する基準を実施するように構成されているデータ３６７４を含むことができる。データ３６７４の例は、軌道生成が外部オブジェクトまでの離れた距離によって抑制されることを指定するポリシ（例えば、可能な限り、自転車利用者から３フィートの安全緩衝を維持すること）、または、軌道が中央の二重黄色線をまたいではならないことを要求するポリシを含む。データ３６７４は、イベント（例えば、穴３６３４）および自律車両の動作状態（例えば、規範的または非規範的）などに応答してプランナ３６７０によって生成される候補軌道と関連付けられる信頼水準を表現するデータを含むことができるが、これに限定されない。いくつかの例において、データ３６７４は、テレオペレータによって生成されることができる。他の例において、データ３６７４は、シミュレータによって生成されることができる。また他の例において、データ３６７４は、自律車両３６３０ａのプランナによって、または、別の自律車両（例えば、車両３６３０のうちの１つ内のプランナによって）生成されることができる。
プランナ３６７０は、テレメトリデータ３６７１および／またはポリシデータ３６７２と関連付けられるデータの一部または全部を、データ３６９６として通信することができる。データ３６９６は、データ３６９６を受信し、１つまたは複数のコンピュータリソース３６９２を使用してデータ３６９６を処理するように構成されているポリシエクスプローラ３６９９に通信されることができる。１つまたは複数のコンピュータリソース３６９２は、回路、論理、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理、デジタル信号プロセッサ（ＤＳＰ）、グラフィックスプロセッシングユニット（ＧＰＵ）、マイクロプロセッサ、マイクロコントローラ、ビッグファットコンピュータ（ｂｉｇ ｆａｔ ｃｏｍｐｕｔｅｒ）など、またはそれらのクラスタを含んでもよいが、これらに限定されない。いくつかの例において、ポリシエクスプローラ（例えば、３６９９）は、自律車両のプランナ内で実施することができる。
さらに図の３６００を参照すると、自律車両３６３０ａのプランナ３６７０が、路面３６２３内の穴３６３４の周りで自律車両３６３０ａを安全にナビゲートすることと関連付けられる高い信頼水準を各々が有する、候補軌道３６５１を計算している場合がある。プランナ３６７０は、自律車両３６３０ａによって実行するための候補軌道３６５１のうちの１つを選択することができ、選択された軌道は、３６５２として示されている（太線で示されている）。
路面３６２３上の穴３６３４の位置に起因して、自律車両３６３０ａは、それらの穴の一方または両方に衝突することを回避することが可能でない場合があり、それゆえ、穴３６３４の一方または両方との衝突が、自律車両３６３０ａに損傷を引き起こし、かつ／または、自律車両３６３０ａによって輸送されている搭乗者の搭乗快適性に影響を与える場合がある。いくつかの例において、選択される軌道３６５２は、自律車両３６３０ａが、穴３６３４を過ぎて走行することによって領域３６２４を通じたその移動を継続することを可能にするように計算されることができる。他の例において、選択される軌道３６５２は、自律車両３６３０ａが、可能性として穴３６３４の一方または両方の上を走行し、搭乗者が損傷されることおよび／または動揺することを防止するための、安全停止軌道を実行することを可能にするように計算されることができる。また他の例において、プランナ３６７０は、自律車両３６３０ａに、（例えば、車線３２６６から車線３６２４へと車線を変更することによって）穴３６３４を回避させるように構成されている候補軌道の代替的なセット３６５３の１つを実施することができる。例えば、プランナ３６７０は、（例えば、各代替的な候補軌道３６５３と関連付けられる信頼水準に基づいて）代替的な候補軌道のセット３６５３から代替的な候補軌道３６５４（太線で示されている）を選択することができる。他の例において、自律車両３６３０ａと通信している外部システム（例えば、シミュレータまたはテレオペレータ）が、代替的な候補軌道３６５３を計算し、代替的な候補軌道３６５３をランク付けし（例えば、信頼水準の順序で、最も高い信頼水準から最も低い信頼水準へとランク付けされる）、プランナ３６７０の制御下で自律車両３６３０ａによって実行されるべき代替的な候補軌道３６５３のうちの１つ（例えば、代替的な候補軌道３６５４）を選択することができる。
テレメトリデータ３６７１および／またはポリシデータ３６７２を表現するデータ３６９６は、ポリシエクスプローラ３６９９によって受信されることができる。ポリシエクスプローラ３６９９は、データ３６９６（例えば、テレメトリデータ３６７１、ポリシデータ３６７２またはその両方）に基づいて、更新されたポリシデータ３６９４（例えば、新たなポリシデータ、改訂されたポリシデータ）の生成を実施するように構成されることができる。１つまたは複数のコンピュータリソース３６９２は、１つまたは複数のデータリポジトリ３６９３、３６９５、３６９７、３６９１にアクセスして、データ３６９６およびデータリポジトリのうちの１つまたは複数と関連付けられるデータを比較、計算、相関、または他の様態で処理して、更新されたポリシデータ３６９４を生成することができる。
データリポジトリ３６９３、３６９５、３６９７、３６９１は、ポリシエクスプローラ３６９９の内部にある必要はなく、データリポジトリの一部または全部は、ポリシエクスプローラ３６９９の外部のリソースからアクセスされてもよい。データリポジトリ３６９３は、センサデータ、マップデータ、局所的位置データ、テレメトリデータ、ポリシデータ、および、自律群内の自律車両と関連付けられる他のデータを表すデータを含むことができる。データリポジトリ３６９３は、処理されているデータおよび／または生データ（例えば、処理されていないデータ）を含むことができる。データリポジトリ３６９５は、自律車両の群内の１つまたは複数の車両と関連付けられるシミュレーションデータを表すデータを含むことができる。データリポジトリ３６９７は、自律車両の群内の１つまたは複数の車両と関連付けられる遠隔操作を表すデータを含むことができる。データリポジトリ３６９１は、自律車両の群の動作と関連付けられる他のデータを含むことができる。ポリシエクスプローラ３６９９は、例えば、図の３６００内に示されているよりも多いまたは少ないデータリポジトリに対するアクセスを含み、かつ／または、有することができる。ポリシエクスプローラ３６９９は、例えば、図の３６００内を参照して上述されているものとは他のタイプのデータを有するデータリポジトリに対するアクセスを含み、かつ／または、有することができる。
ポリシエクスプローラ３６９９は、例えば、１つまたは複数の自律車両（例えば、３６３０または群内の他の車両）および／または自律車両３６３０ａに、更新されたポリシデータ３６９４を通信することができる。他の例において、更新されたポリシデータ３６９４は、テレオペレータ、シミュレータまたはその両方に通信されることができる。
更新されたポリシデータ３６９４は、１つまたは複数の候補軌道を含むことができ、１つまたは複数の候補軌道は、各候補軌道と関連付けられる同じまたは異なる信頼水準を有することができる。候補軌道は、信頼水準に基づくランク付け順序（例えば、最も高い信頼水準から最も低い信頼水準へ、またはその逆にランク付けされる）のような、所定の順序またはランクで構成されることができる。
更新されたポリシデータ３６９４は、データを受信するシステム（例えば、自律車両、シミュレータ、テレオペレータ）に、例えば、１つまたは複数の候補軌道のうちの選択された候補軌道を実施することのようなアクションをとらせるように構成されている他のデータを含むことができる。他の例において、他のデータは、データを受信するシステムが、基準（例えば、最も高い信頼水準に基づくランク付け）に基づいて、（例えば、１つまたは複数の候補軌道のうちのいずれが選択された候補軌道として選択されるかを判定するために）実施のための１つまたは複数の候補軌道のうちの１つを選択することを可能にするように構成されることができる。一例として、更新されたポリシデータ３６９４は、候補軌道３６５４が、更新されたポリシデータ３６９４を受信するシステムによって選択されるようにするように構成されているデータを含むことができる。別の例として、更新されたポリシデータ３６９４は、自律車両３６３０ａに、各候補軌道と関連付けられる上記で言及されている信頼水準のような、更新されたポリシデータ３６９４内に含まれるデータに適用され得る基準（例えば、プランナ３６７０によって適用される）に基づいて、候補軌道のいずれが選択されるかを決定させるように構成されているデータを含むことができる。
いくつかの例において、選択される候補軌道（例えば、候補軌道３６５４）は、更新されたポリシデータが生成されるように促したイベントまたは条件に基づいて自律車両がナビゲートするのに安全な軌道を提供すると予測される信頼水準を有する、選択される候補軌道を必要とするポリシに基づいて選択されることができる。他の例において、選択される候補軌道（例えば、候補軌道３６５４）は、選好される消費者経験（例えば、穴の揺れの効果がない円滑な搭乗）、または、自律車両の動作と関連付けられる他のメトリック（例えば、穴、道路のごみなどのようなイベントに起因する可能性のある損傷を避けること）を明確に示すポリシに基づいて選択されることができる。
他の例において、イベントがすでに発生し、イベントの時点における適所のポリシデータ（例えば、ポリシデータ３６７２）が使用されて、１つまたは複数の（例えば、プランナ３６７によって）計算された候補軌道（３６５３）から選択される候補軌道（例えば、３６５２）を判定することができた後に、更新されたポリシデータ３６９４が、システム（例えば、自律車両３６３０ａ）によって受信され得る。後に受信される、更新されたポリシデータ３６９４は、将来の時点において、別のイベント（例えば、穴３６３４の、センサシステムによる検出、および、知覚および／またはプランナによる意味論的な分類）が、自律車両の動作に対するイベントの効果を回避または他の様態で緩和するための代替的なポリシデータを考慮するために機械学習を引き起こすときに、候補軌道判定を実施するためにアクセスされることができる。例えば、更新されたポリシデータ３６９４は、プランナによって、候補軌道３６５３を計算し、候補軌道３６５３を候補軌道３６５１と比較し、自律車両の経路を案内するために選択するためのいずれかの候補軌道を（例えば、信頼水準に基づいて）選択するためにアクセスされることができる。更新されたポリシデータ３６９４は、自律車両の計算された経路に沿って検出される穴オブジェクトのイベントまたは意味論的な分類と関連付けられる規則を表現するデータを含むことができ、規則は、候補軌道３６５３が、例えば、穴３６３４との接触の可能性を回避するために、候補軌道３６５３を選好して候補軌道３６５１が拒絶されることを判定することができる。
図３７は、様々な例による、更新されたポリシデータを生成するためのフロー図の例を示す。フロー図の３７００内で、段階３７０２において、テレメトリデータ（例えば、テレメトリデータ３６７１）およびポリシデータ（例えば、ポリシデータ３６７２）を表現するデータが（例えば、ポリシエクスプローラ３６９９）において受信されることができる。テレメトリデータおよびポリシデータは、自律車両が自律的にナビゲートした環境の領域内のイベントと関連付けられることができる。いくつかの例において、テレメトリデータおよびポリシデータは、自律車両が現在、自律的にナビゲートしている環境の領域内のイベントと関連付けられることができる（例えば、テレメトリデータおよびポリシデータはリアルタイムまたはほぼリアルタイムで受信する）。
段階３７０４において、イベントと関連付けられる信頼水準を表現するデータが、ポリシデータから抽出されることができる。例えば、信頼水準は、自律車両のプランナによって計算される候補軌道と関連付けられる信頼水準値をランク付けされることができる。
段階３７０６において、自律車両の動作の状態が、信頼水準に基づいて判定されることができる。例えば、段階３７０４において抽出される信頼水準は、自律車両の規範的な動作と関連付けられる許容可能な信頼水準の範囲を超える場合がある（例えば、自律車両の衝突のない走行を促進し、交通法規に準拠し、快適なユーザ経験または快適なユーザの搭乗を提供する計算された確率を有する最適化された経路）。別の例として、段階３７０４において抽出される信頼水準は、自律車両の衝突のない走行を保証するには不十分である可能性のある軌道に起因して、自律車両の非規範的な動作と関連付けられる信頼水準を示す場合がある。
段階３７０８において、イベントに応答した候補軌道（例えば、穴３６３４との接触を回避する軌道）を表現するデータが、テレメトリデータおよび自律車両の動作の状態（例えば、規範的または非規範的な動作）に基づいて計算されることができる。段階３７０８において計算される各候補軌道は、関連付けられる信頼水準を有することができる。
段階３７１０において、イベントと関連付けられる更新されたポリシデータが生成されることができる。更新されたポリシデータは、候補軌道を含むことができる。
段階３７１２において、更新されたポリシデータが通信（例えば、送信）されることができる。一例として、更新されたポリシデータは、少なくとも１つの自律車両のプランナに（例えば、自律車両の群内の１つまたは複数の自律車両に）通信されることができる。他の例において、更新されたポリシデータは、テレオペレータ（例えば、１つまたは複数の自律車両における経路計画および／またはナビゲーション制御に影響を与えるように構成されている）に通信されることができる。また他の例において、更新されたポリシデータは、シミュレータ（例えば、合成環境内で自律車両をシミュレートするように構成されている）に通信されることができる。いくつかの例において、更新されたポリシデータは、データストア、メモリ（例えば、不揮発性メモリ）、データリポジトリまたは他のデータ記憶システムに通信されることができる。
フロー図の３７００の段階のうちの１つまたは複数は、ポリシエクスプローラ（例えば、図３６のポリシエクスプローラ３６９９）または他のシステム（例えば、プランナ、テレオペレータ、シミュレータ）によって実施されることができる。更新されたポリシデータは、例えば、１つまたは複数のデータ通信ネットワークを介して、有線（例えば、図３６内の３６４２）および／または無線（例えば、図３６内の３６４１）通信を使用して通信されることができる。
図３８は、様々な例による、シミュレータ内のポリシエクスプローラの実施態様を示す図の３８００である。図の３８００において、シミュレータ３８４０は、図２８を参照して上述されたように、合成環境内で１つまたは複数の自律車両をシミュレートするように構成されることができる。シミュレータ３８４０に対するデータ入力３８９６は、センサ３８７０からのデータおよびデータ３８２０を含むことができるが、これらに限定されない。センサデータ３８７０は、ライダデータ３８７２、カメラデータ３８７４、レーダデータ３８７６、ソナーデータ３８７８、および他のセンサデータ３８８０（例えば、ＧＰＳ、ＩＭＵ、環境センサ、マイクロフォン、モーションセンサ、ホイールエンコーダ、加速度計など）を含むことができるが、これらに限定されない。データ３８２０は、マップデータ３８２２、３８２４、３８２５、３８２６、局所的位置データ３８２８、およびポリシデータ３８７４を含むことができるが、これらに限定されない。データ３８２０および／もしくはセンサデータ３８７０は、リアルタイムもしくはほぼリアルタイムで（例えば、１つまたは複数の自律車両によって）生成されることができ、または、例えば、データストアもしくはデータリポジトリからアクセスされることができる。データ３８２０および／またはセンサデータ３８７０は、複数の自律車両からの集計されたデータを構成することができる。いくつかの例において、データ３８２０および／またはセンサデータ３８７０の少なくとも一部分は、１つまたは複数の自律車両（例えば、３８３０または図３６内の３６３０ａ）から受信される。シミュレータ３８４０によって受信されるデータは、概して３８９６と示され得、データ３８２０、センサデータ３８７０またはその両方を含むことができる。
ポリシエクスプローラ３８９９は、例えば、物理プロセッサ３８５０およびその関連付けられるサブブロック３８５１、３８５２および３８５４、コントローラ３８５６ならびにエバリュエータ３８５８の機能性にアクセスすることができる。ポリシエクスプローラ３８９９は、データの項目の間の相関を判定するためにコリレータ３８６１の機能性にアクセスし、データを他のデータと比較するためにコンパレータ３８６２にアクセスし、信頼区間を判定するために統計的変化点ディテクタ（ｓｔａｔｉｓｔｉｃａｌ ｃｈａｎｇｅ ｐｏｉｎｔ ｄｅｔｅｃｔｏｒ）３８６４および／または確率的推論カリキュレータ（ｐｒｏｂａｂｉｌｉｓｔｉｃ ｉｎｆｅｒｅｎｃｅ ｃａｌｃｕｌａｔｏｒ）３８６３にアクセスすることができる。ポリシエクスプローラ３８９９は、シミュレータ３８４０内でシミュレートされることになる、シミュレートされたポリシデータを生成し、シミュレートされた候補軌道と関連付けられる信頼水準のような、シミュレーション結果の分析に基づいて、更新されたポリシデータ３８９４を生成することができる。例えば、更新されたポリシデータ３８９４は、少なくとも部分的に、所定の値を満たす、かつ／または、超える高い信頼水準（例えば、９５％またはより高い信頼水準）を有する、シミュレートされた候補軌道によって判定されることができる。
更新されたポリシデータ３８９４は、例えば、テレオペレータ３８９４、１つまたは複数の自律車両３８３０、およびデータリポジトリ３８９０を含むが、これらに限定されない１つまたは複数の宛先に（例えば、通信ネットワークを介して）通信されることができる。テレオペレータ３８９１は、更新されたポリシデータ３８９４に基づいてポリシデータ３８９７を生成することができる。テレオペレータ３８９１は、例えば、データ３８９６、更新されたポリシデータ３８９４またはその両方のような他のデータに基づいてポリシデータ３８９７を生成してもよい。
図３９は、様々な例による、テレオペレータ内のポリシエクスプローラの実施態様を示す図の３９００である。図の３９００において、テレオペレータ３９４０は、センサ３９７０からのデータ、データ３９２０またはその両方を含むデータ３９９６を受信することができる。センサ３９７０およびデータ３９２０は、例えば、図３８を参照して上述されているデータと同様のデータを含んでもよい。テレオペレータ３９４０内で実施されるポリシエクスプローラ３９９９は、例えば、テレオペレータ３９４０の機能性、および／または、コリレータ３９６１、コンパレータ３９６２、変化点ディテクタ３９６４もしくは確率的推論カリキュレータ３９６３のうちの１つもしくは複数の機能性にアクセスすることができる。ポリシエクスプローラ３９９９は、更新されたポリシデータ３９９４を生成することができる。更新されたポリシデータ３９９４は、例えば、シミュレータ３９９０（例えば、図３８内のシミュレータ３８４０参照）、１つまたは複数の自律車両３９３０、およびデータリポジトリ３９９１を含むが、これらに限定されない１つまたは複数の宛先に（例えば、通信ネットワークを介して）通信されることができる。シミュレータ３９９０は、更新されたポリシデータ３９９４に基づいてポリシデータ３９９７を生成することができる。シミュレータ３９９０は、例えば、データ３９９６、更新されたポリシデータ３９９４またはその両方のような他のデータに基づいてポリシデータ３９９７を生成してもよい。
図３８のポリシエクスプローラ３８９９および／または図３９のポリシエクスプローラ３９９９は、例えば、図３７のフロー図の３７００を参照して上述されている段階のうちの１つまたは複数に基づいて、更新されたポリシデータを生成することができる。
いくつかの実施形態によれば、「回路」という用語は、例えば、１つまたは複数の機能を実行するためにそれを通じて電流が流れるいくつかの構成要素を含む任意のシステムを参照することができ、構成要素は、個別のおよび複雑な構成要素を含む。個別の構成要素の例は、トランジスタ、抵抗器、キャパシタ、インダクタ、ダイオードなどを含み、複雑な構成要素の例は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）を含む、メモリ、プロセッサ、アナログ回路、デジタル回路などを含む。それゆえ、回路は、電子構成要素および論理構成要素（例えば、例えばアルゴリズムの実行可能命令のグループのような命令を実行するように構成されており、したがって、回路の構成要素である論理）のシステムを含むことができる。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および／または論理を参照することができる（すなわち、モジュールは回路として実施することができる）。いくつかの実施形態において、アルゴリズムおよび／またはアルゴリズムが格納されているメモリは、回路の「構成要素」である。したがって、「回路」という用語は、例えば、アルゴリズムを含む構成要素のシステムをも参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
上記の例は、理解の明瞭性の目的のためにいくらか詳細に記述されているが、上述されている本発明の技法は、提供されている詳細には限定されない。上述されている本発明の技法を実施する多くの代替的な方法がある。開示されている例は、例示であり、限定ではない。
３６０１ 円
３６０１ａ 円
３６０２ 建造物
３６１０ａ センサスイート
３６１０ｂ センサスイート
３６１０ｃ センサスイート
３６１０ｄ センサスイート
３６２０ 歩行者
３６２２ 車線
３６２３ 路面
３６２４ 領域
３６２５ 車線マーカ
３６２６ カーブ
３６２７ カーブ
３６２８ 車線
３６３０ 自律車両
３６３０ａ 自律車両
３６３１ 消火栓
３６３２ 矢印
３６３４ 穴
３６４０ 車両
３６５０ 道路網
３６５１ 候補軌道
３６５２ 軌道
３６５３ 候補軌道
３６５４ 候補軌道
３６７０ プランナ
３６７１ テレメトリデータ
３６７２ ポリシデータ
３６７３ センサデータ
３６７４ データ
３６７５ 知覚エンジンデータ
３６７７ ローカライザデータ
３６７９ モーションコントローラデータ
３６９１ データリポジトリ
３６９２ コンピュータリソース
３６９３ データリポジトリ
３６９４ ポリシデータ
３６９５ データリポジトリ
３６９６ データ
３６９７ データリポジトリ
３６９９ ポリシエクスプローラ

Claims (20)

  1. 自律車両からセンサデータを受信することと、
    前記センサデータの少なくとも１つに少なくとも部分的に基づいて、前記自律車両が通り抜けた環境の領域におけるイベントを決定することであって、前記イベントはイベントデータに関連付けられる、ことと、
    前記イベントに関連付けられたテレオペレータ相互作用を受信することであって、前記テレオペレータ相互作用は、前記自律車両に送信される通信に関連付けられ、前記自律車両にアクションを実施させるように構成される、ことと、
    前記テレオペレータ相互作用および前記イベントに少なくとも部分的に基づいて、機械学習（ＭＬ）モデルを訓練して、前記センサデータまたは前記イベントデータの少なくとも１つに少なくとも部分的に基づいて推奨のアクションを出力することと
    を備えることを特徴とする方法。
  2. 前記自律車両または追加車両の少なくとも１つから、追加のセンサデータを受信することと、
    前記追加のセンサデータに少なくとも部分的に基づいて、追加イベントを決定することであって、前記追加イベントは、追加イベントのデータを含む、ことと、
    前記ＭＬモデルによって、および、前記追加のセンサデータまたは前記追加イベントのデータの少なくとも１つに少なくとも部分的に基づいて、第１の推奨のアクションを決定することと、
    前記第１の推奨のアクションに、ディスプレイを介して表示されることをもたらすことと
    をさらに備えることを特徴とする請求項１に記載の方法。
  3. マップデータ、前記追加のセンサデータ、または前記追加イベントのうちの少なくとも１つに少なくとも部分的に基づいて、車両において前記第１の推奨のアクションを実施することの結果をシミュレートすることと、
    前記結果に少なくとも部分的に基づいて、警告または確認に、前記ディスプレイを介して表示されることをもたらすことと
    をさらに備えることを特徴とする請求項２に記載の方法。
  4. シミュレーションに少なくとも部分的に基づいて第２の推奨のアクションを決定することをさらに備えることを特徴とする請求項２に記載の方法。
  5. 前記第１の推奨のアクションまたは前記第２の推奨のアクションの少なくとも１つに、前記ディスプレイを介して表示されることをもたらすことをさらに備えることを特徴とする請求項４に記載の方法。
  6. 前記推奨のアクションは、候補軌道、候補経路、経路もしくは軌道の決定から含むもしくは除外する領域、規則に対する修正、または、追加もしくは代替のイベントの識別を含むことを特徴とする請求項１に記載の方法。
  7. システムであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行されると、前記システムに、
    自律車両からセンサデータを受信することと、
    前記センサデータの少なくとも１つに少なくとも部分的に基づいて、環境の領域におけるイベントを決定することと、
    前記イベントに関連付けられたテレオペレータ相互作用を受信することであって、前記テレオペレータ相互作用は、前記自律車両に送信される通信に関連付けられる、ことと、
    前記テレオペレータ相互作用および前記イベントに少なくとも部分的に基づいて、機械学習（ＭＬ）モデルを訓練して、推奨のアクションを出力することと
    を含む動作を実施させるプロセッサ実行可能な命令を格納しているメモリと
    を備えたことを特徴とするシステム。
  8. 前記動作は、
    前記自律車両または追加車両の少なくとも１つから、追加のセンサデータを受信することと、
    前記追加のセンサデータに少なくとも部分的に基づいて、追加イベントを決定することと、
    前記ＭＬモデルによって、および、前記追加のセンサデータまたは追加イベントに関連付けられた前記追加イベントのデータの少なくとも１つに少なくとも部分的に基づいて、第１の推奨のアクションを決定することと、
    前記第１の推奨のアクションに、ディスプレイを介して表示されることをもたらすことと
    をさらに含むことを特徴とする請求項７に記載のシステム。
  9. 前記動作は、前記推奨のアクションに関連付けられた信頼水準を決定することをさらに含むことを特徴とする請求項８に記載のシステム。
  10. 前記動作は、
    マップデータ、前記追加のセンサデータ、または前記追加イベントのデータの少なくとも１つに少なくとも部分的に基づいて、前記推奨のアクションに従って前記自律車両または追加自律車両を制御することの結果をシミュレートすることと、
    前記結果に少なくとも部分的に基づいて、警告または確認に、ディスプレイを介して表示されることをもたらすことと
    をさらに含むことを特徴とする請求項８に記載のシステム。
  11. 前記イベントデータ、および前記追加イベントのデータは、少なくとも１つの一致する属性を含むことを特徴とする請求項８に記載のシステム。
  12. 前記動作は、
    シミュレーションに少なくとも部分的に基づいて追加の推奨のアクションを決定することと、
    前記第１の推奨のアクションまたは前記追加の推奨のアクションの少なくとも１つに、前記ディスプレイを介して表示されることをもたらすことと
    をさらに含むことを特徴とする請求項８に記載のシステム。
  13. 前記推奨のアクションは、候補軌道、候補経路、経路もしくは軌道の決定から含むもしくは除外する領域、規則に対する修正、または、追加もしくは代替のイベントの識別のうちの少なくとも１つを含むことを特徴とする請求項７に記載のシステム。
  14. １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
    自律車両に関連付けられたセンサデータを受信することと、
    前記センサデータの少なくとも１つに少なくとも部分的に基づいて、環境の領域におけるイベントを決定することであって、前記イベントはイベントデータに関連付けられる、ことと、
    前記イベントに関連付けられたテレオペレータ相互作用を受信することと、
    前記テレオペレータ相互作用および前記イベントに少なくとも部分的に基づいて、機械学習（ＭＬ）モデルを訓練して、前記センサデータまたは前記イベントデータの少なくとも１つに少なくとも部分的に基づいて推奨のアクションを出力することと
    を含む動作を実施させるプロセッサ実行可能な命令を含むことを特徴とする非一時的なコンピュータ可読媒体。
  15. 前記動作は、
    前記自律車両または追加車両の少なくとも１つから、追加のセンサデータを受信することと、
    前記追加のセンサデータに少なくとも部分的に基づいて、追加イベントのデータに関連付けられた追加イベントを決定することと、
    前記ＭＬモデルによって、および、前記追加のセンサデータまたは前記追加イベントのデータの少なくとも１つに少なくとも部分的に基づいて、第１の推奨のアクションを決定することと、
    前記第１の推奨のアクションに、ディスプレイを介して表示されることをもたらすことと
    をさらに含むことを特徴とする請求項１４に記載の非一時的なコンピュータ可読媒体。
  16. 前記動作は、前記第１の推奨のアクションに関連付けられた信頼水準を決定し、前記信頼水準に、前記ディスプレイを介して表示されることをもたらすことをさらに含むことを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。
  17. 前記動作は、
    マップデータ、前記追加のセンサデータ、または前記追加イベントのデータの少なくとも１つに少なくとも部分的に基づいて、前記第１の推奨のアクションに従って前記自律車両または前記追加車両の少なくとも１つを制御することの結果をシミュレートすることと、
    前記結果に少なくとも部分的に基づいて、警告または確認に、前記ディスプレイを介して表示されることをもたらすことと
    をさらに含むことを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。
  18. 前記イベントデータ、および前記追加イベントのデータは、少なくとも１つの一致する属性を含むことを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。
  19. 前記動作は、
    シミュレーションに少なくとも部分的に基づいて第２の推奨のアクションを決定することと、
    前記第１の推奨のアクションまたは前記第２の推奨のアクションの少なくとも１つに、前記ディスプレイを介して表示されることをもたらすことと
    をさらに含むことを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。
  20. 前記推奨のアクションは、従う前記自律車両に対する候補軌道もしくは候補経路、経路もしくは軌道の決定から含むもしくは除外する領域、規則に対する修正、または、追加もしくは代替のイベントの識別を含むことを特徴とする請求項１４に記載の非一時的なコンピュータ可読媒体。
JP2022109841A 2015-11-04 2022-07-07 遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法 Pending JP2022137160A (ja)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US14/932,966 2015-11-04
US14/932,940 2015-11-04
US14/932,963 2015-11-04
US14/932,959 2015-11-04
US14/932,940 US9734455B2 (en) 2015-11-04 2015-11-04 Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US14/932,959 US9606539B1 (en) 2015-11-04 2015-11-04 Autonomous vehicle fleet service and system
US14/932,966 US9507346B1 (en) 2015-11-04 2015-11-04 Teleoperation system and method for trajectory modification of autonomous vehicles
US14/932,963 US9612123B1 (en) 2015-11-04 2015-11-04 Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US14/933,602 US9632502B1 (en) 2015-11-04 2015-11-05 Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US14/933,602 2015-11-05
PCT/US2016/060384 WO2017079474A2 (en) 2015-11-04 2016-11-03 Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
JP2018543271A JP7103946B2 (ja) 2015-11-04 2016-11-03 遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018543271A Division JP7103946B2 (ja) 2015-11-04 2016-11-03 遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法

Publications (1)

Publication Number Publication Date
JP2022137160A true JP2022137160A (ja) 2022-09-21

Family

ID=83311724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022109841A Pending JP2022137160A (ja) 2015-11-04 2022-07-07 遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法

Country Status (2)

Country Link
JP (1) JP2022137160A (ja)
CN (1) CN115113629A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220261008A1 (en) * 2021-02-16 2022-08-18 Sony Group Corporation Circuitry and method

Also Published As

Publication number Publication date
CN115113629A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
JP7330259B2 (ja) 自律車両のためのシミュレーションシステム、方法、及び非一時的なコンピュータ可読記憶媒体
US11061398B2 (en) Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US11796998B2 (en) Autonomous vehicle fleet service and system
JP7195143B2 (ja) 適応的な自律車両のプランナ論理
US11301767B2 (en) Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
JP7316789B2 (ja) 物理的環境の変化に応答して自律車両をナビゲートするための適応マッピング
US9734455B2 (en) Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US20200074024A1 (en) Simulation system and methods for autonomous vehicles
EP3371795B1 (en) Coordination of dispatching and maintaining fleet of autonomous vehicles
WO2017079229A1 (en) Simulation system and methods for autonomous vehicles
JP2022137160A (ja) 遠隔操作および／またはプランナ決定を最適化するための機械学習システムおよび技法
US20240028031A1 (en) Autonomous vehicle fleet service and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231101

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240220