JP2020513621A - 自律走行車の遠隔サポートマッピングインターフェース - Google Patents

自律走行車の遠隔サポートマッピングインターフェース Download PDF

Info

Publication number
JP2020513621A
JP2020513621A JP2019529540A JP2019529540A JP2020513621A JP 2020513621 A JP2020513621 A JP 2020513621A JP 2019529540 A JP2019529540 A JP 2019529540A JP 2019529540 A JP2019529540 A JP 2019529540A JP 2020513621 A JP2020513621 A JP 2020513621A
Authority
JP
Japan
Prior art keywords
vehicle
status
indicator
display
remote support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019529540A
Other languages
English (en)
Other versions
JP6732130B2 (ja
Inventor
リアム ペダーセン、
リアム ペダーセン、
マールテン シーアハイス、
マールテン シーアハイス、
ハンス ウッツ、
ハンス ウッツ、
マウロ デラ ペンナ、
マウロ デラ ペンナ、
ジェフリー ブラッドショー、
ジェフリー ブラッドショー、
マシュー ジョンソン、
マシュー ジョンソン、
マイケル ビニャーティ、
マイケル ビニャーティ、
ローレンス バンチ、
ローレンス バンチ、
Original Assignee
ニッサン ノース アメリカ,インク
ニッサン ノース アメリカ,インク
フロリダ インスティテュート フォー ヒューマン アンド マシン コグニション インコーポレイテッド
フロリダ インスティテュート フォー ヒューマン アンド マシン コグニション インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニッサン ノース アメリカ,インク, ニッサン ノース アメリカ,インク, フロリダ インスティテュート フォー ヒューマン アンド マシン コグニション インコーポレイテッド, フロリダ インスティテュート フォー ヒューマン アンド マシン コグニション インコーポレイテッド filed Critical ニッサン ノース アメリカ,インク
Publication of JP2020513621A publication Critical patent/JP2020513621A/ja
Application granted granted Critical
Publication of JP6732130B2 publication Critical patent/JP6732130B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253Taxi operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/207Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles with respect to certain areas, e.g. forbidden or allowed areas with possible alerting when inside or outside boundaries
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0063Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Abstract

車両の自律操作の遠隔サポートのための方法及びシステムが開示されている。各第1のレベルの制御局に割り当てられる複数の車両の一部からの状態データに基づいて、第1の状態表示により、状態指示部が生成される。第2の状態表示が、第2のレベルの制御局に対して生成され、車両の状態データに対して状態指示部を表示する。複数の車両の中の第1の車両から受信した画像データ及び第1の状態表示を含む遠隔サポートインターフェースが生成される。遠隔サポートインターフェースを使用して、第1の車両が遠隔サポートを必要とすることの指示に基づいて、第1の車両への命令データが送信される。命令データは、第1の車両の自律操作を修正する。第2の状態表示の状態指示部を使用して車両を割り当てることにより、第1のレベルの制御局間で作業負荷が割り当てられる。

Description

本願は、マッピングインターフェースを使用して、自律走行車を含む車両の遠隔サポート及び遠隔操作のための方法、装置、システム及び非一時的なコンピュータ可読媒体を含む、自律走行車のマッピングインターフェースに関する。
従来の交通制御管理は、部分的にのみ人間の操作による制御を受けるインフラストラクチャを取り扱うことが中心である。例えば、人間が運転する車両は、(例えば、路上支援命令を提供する)運転者との通信の形態を除いてほとんどはオペレータの手が届かない。自律走行車は、オペレータが自律走行車を遠隔で制御及びサポートすることを可能にする。
本明細書には、車両の遠隔サポートのための態様、特徴、要素、及び実装が開示されている。
1つの実装では、遠隔サポート装置が提供される。遠隔サポート装置は、メモリ及びプロセッサを備え、プロセッサは、メモリに記憶されている命令を実行して、複数の車両から状態データを受信し、地理エリア内の複数の車両の一部を表す車両地図指示部及び地理エリアの表現を含む第1のマップ表示を生成し、状態指示部として複数の車両の一部の表現を含む第1の状態表示を生成し、複数の車両の一部の中の第1の車両から受信した画像データ及び第1の状態表示を含む遠隔サポートインターフェースを生成し、遠隔サポートインターフェースは、第1の状態表示から第1の車両の第1の状態指示部への入力信号に応答するものであり、かつ遠隔サポートインターフェースへの入力信号に基づいて第1の車両の自律操作を修正するために第1の車両に命令データを送信するように構成される。
1つの実装では、遠隔サポート装置が提供される。遠隔サポート装置は、メモリ及びプロセッサを備え、プロセッサは、メモリに記憶されている命令を実行して、 複数の車両から状態データを受信し、複数の車両の遠隔サポートに対する緊急性のレベルに基づいて車両をランク付けし、緊急性のレベルは状態データを使用して決定され、緊急性のレベルに基づいて配置される各状態指示部として少なくとも一部の車両の状態データを表示する第1の状態表示を生成し、少なくとも一部の車両の中の第1の車両から受信した画像データ及び第1の状態表示を含む遠隔サポートインターフェースを生成し、遠隔サポートインターフェースは第1の状態表示から第1の車両の第1の状態指示部への入力信号に応答するものであり、かつ遠隔サポートインターフェースを使用して第1の車両に信号を送信するように構成される。
1つの実装では、複数の車両の自律操作の遠隔サポートのための方法が提供される。この方法は、複数の車両から状態データを受信するステップと、第1のレベルの制御局に対して、各状態指示部として第1のレベルの制御局の各々に割り当てられる一部の車両から状態データを表示する各第1の状態表示を生成するステップと、第2のレベルの制御局に対して、複数の車両の状態データを表示する第2の状態表示を生成するステップと、複数の車両の中の第1の車両から受信した画像データ及び第1の状態表示を含む遠隔サポートインターフェースを生成するステップと、遠隔サポートインターフェースを使用して、第1の車両が遠隔サポートを必要とすることの指示に基づいて第1の車両に命令データを送信するステップであって、命令データは、第1の車両によって一旦受信されると、第1の車両の自律操作を修正するステップと、第2の状態表示の状態指示部を使用して車両を割り当てることにより、第1のレベルの制御局間で作業負荷を割り当てるステップとを含む。
本開示のこうした特徴及びその他の特徴は、以下の実施形態の詳細な説明、添付の請求項及び添付の図面に開示されている。
本開示の技術は、添付の図面と併せて読むと、以下の詳細な説明から最良に理解される。慣行により、図面の様々な特徴は正確な縮尺ではないことが強調される。対照的に、様々な特徴の寸法は、明確のため任意に拡大又は縮小されている。
本明細書に開示の態様、特徴及び要素が実装され得る車両の一部の例示の図面である。
本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。
本開示による遠隔車両支援センタを示すブロック図である。
本開示によるインターフェースで使用される車両指示部の例を示す図である。
本開示による車隊マネージャインターフェースの例を示す図である。
本開示によるインターフェースで使用される車両指示部の例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による車両の自律操作の遠隔サポートを提供するための技術のフローチャートである。
本開示による車両の自律操作の遠隔サポートを提供するための技術のフローチャートである。
本開示による車両の自律操作の遠隔サポートを提供するための技術のフローチャートである。
本開示による遠隔サポートのための方法を示す。
自律走行車を含む大量の車両の管理は、多くの場合、対応する大量のデータの生成及び処理を生じる。このデータの多くは、最後には車両の管理を任される人間のオペレータによって観察及び使用されることになる。そのため、データが整理されかつオペレータに配布されるやり方は、遠隔サポートを管理して車両に提供するためにオペレータがデータを使用する有効性に影響を及ぼし得る。
開示された技術は、車両が優先度レベル(例えば、車両によって支援が要求される緊急度)又は他の集合データ及び要因に従って配置され得るように、遠隔オペレータインターフェースに指示部を生成する向上したやり方を含む、車両とオペレータの相互作用のためのより効率的なインターフェースを提供する。このようにして、車両の管理を任されたオペレータは、効率的に関連データを観察しかつ相互作用することができる。本開示の技術は、オペレータが車両を支援し、車両の支援状態を更新し(例えば、問題解決済み)、かつ支援を必要とする次の車両に進むための合理化されたやり方を提供する。車両の情報(状況又は状態情報)が、車両に関する関連情報(例えば、残りの移動時間、乗客の数、車の調子)を表示する様々な指示部に集約され得る。次に、指示部は、車両マネージャによって管理される様々な制御局に割り当てられ得る。割り当ては車隊マネージャによって手動で行われてもよく、又は機械学習技術若しくは集合履歴情報を使用して自動的に行われ得る。
本明細書で使用される場合、「運転者」又は「オペレータ」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「ブレーキ」又は「減速」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「コンピュータ」又は「コンピュータデバイス」という用語は、本明細書で開示の任意の方法を実行することができる任意のユニット又はユニットの組み合わせ、又はその任意の部分若しくは複数の部分を含む。
本明細書で使用される場合、「プロセッサ」という用語は、1つ以上の専用プロセッサ、1つ以上のデジタル信号プロセッサ、1つ以上のマイクロプロセッサ、1つ以上のコントローラ、1つ以上のマイクロコントローラ、1つ以上のアプリケーションプロセッサ、1つ以上の特定用途向け集積回路、1つ以上の特定用途向け汎用集積回路、1つ以上のフィールド・プログラマブル・ゲート・アレイ、任意の他のタイプ又は組み合わせの集積回路、1つ以上の状態機械、又はこれらの任意の組み合わせ等の1つ以上のプロセッサを示す。
本明細書で使用される場合、「メモリ」という用語は、任意のプロセッサによって使用され得る又はそれと関連している任意の信号又は情報を有形に保持、記憶、通信、又は搬送することができる任意のコンピュータ使用可能又はコンピュータ可読媒体又はデバイスを示す。例えば、メモリは、1つ以上の読み取り専用メモリ(ROM)、1つ以上のランダムアクセスメモリ(RAM)、1つ以上のレジスタ、低電力DDR(LPDDR)メモリ、1つ以上のキャッシュメモリ、1つ以上の半導体メモリデバイス、1つ以上の磁気媒体、1つ以上の光学媒体、1つ以上の磁気光学媒体、又はこれらの任意の組み合わせであってもよい。
本明細書で使用される場合、「命令」という用語は、本明細書に開示の任意の方法を実行するための指示若しくは表現、又はその任意の部分若しくは複数の部分を含んでもよく、ハードウェア、ソフトウェア又はこれらの任意の組み合わせで実現されてもよい。例えば、命令は、本明細書に記載の各方法、アルゴリズム、態様又はこれらの組み合わせのいずれかを行うためにプロセッサによって実行され得るメモリに記憶されたコンピュータプログラム等の情報として実装されてもよい。いくつかの実装では、命令又はその一部は、本明細書に記載の任意の方法、アルゴリズム、態様又はその組み合わせを行うための専用ハードウェアを含み得る専用プロセッサ又は回路として実装されてもよい。いくつかの実装では、命令の部分は、直接的に又はローカルエリアネットワーク、ワイドエリアネットワーク、インターネット又はこれらの組み合わせ等のネットワークを介して通信し得る複数のデバイス又は単一のデバイス上の複数のプロセッサに分散されてもよい。
本明細書で使用される場合、「例示」、「実施形態」、「実装」、「態様」、「特徴」又は「要素」という用語は、用例、例示又は実例としての役割を果たすことを示している。明示されない限り、任意の例示、実施形態、実装、態様、特徴又は要素が、互いの例示、実施形態、実装、態様、特徴又は要素から独立しており、任意の他の例示、実施形態、実装、態様、特徴又は要素と組み合わせて使用されてもよい。
本明細書で使用される場合、「決定」及び「識別」又はこれらの任意の変形の用語は、図示の及び本明細書に記載の1つ以上のデバイスを使用するいかなるやり方で選択、確認、計算、検索、受信、決定、確立、取得、又は他のやり方で識別又は決定することを含んでいる。
本明細書で使用される場合、「又は」という用語は、排他的な「又は」ではなく包含的な「又は」を意味することが意図されている。すなわち、他に特に定めがない限り、又は文脈から明確であれば、「XがA又はBを含む」は、任意の当然の包含的な並べ替えを示すことが意図されている。XがAを含む、XがBを含む、又はXがA及びBの両方を含む場合、「XがA又はBを含む」は、上記の例示のいずれかによって満たされる。さらに、本願及び添付の請求項の中で使用される“a”及び“an”という冠詞は、一般に、単数形を指していることが文脈から明確であるか又は他に特段の定めがない限り、「1つ以上の」を意味すると解釈されるべきである。
さらに、説明の簡潔のため、本明細書の図面及び説明は一連のステップ又は段階又はシーケンスを含み得るが、本明細書に開示の方法の要素は、様々な順番で又は同時に起こってもよい。さらに、本明細書に開示の方法の要素は、本明細書に明示的に提示及び開示されていない他の要素と共に起こってもよい。さらに、本明細書に記載の方法の全ての要素が、本開示による方法を実装することを要求されるとは限らない。態様、特徴及び要素は特定の組み合わせで本明細書に記載されているが、各態様、特徴又は要素は、他の態様、特徴及び要素と共に又はそれらなしで独立して又は様々な組み合わせで使用されてもよい。
“OBJECT MANAGEMENT DISPLAY”と題され、2017年3月20日に出願された米国特許出願第15/463,242号は、全体が参照により本明細書に組み込まれる。
いくつかの実装をより詳細に記載するために、以下の図面が参照される。
図1は、本明細書に開示の態様、特徴及び要素が実装され得る車両1000の一例の図面である。車両1000は、シャーシ1100、パワートレイン1200、コントローラ1300、車輪1400/1410/1420/1430、又は車両の任意の他の要素又は要素の組み合わせを含む。簡潔のため車両1000は4つの車輪1400/1410/1420/1430を含むように示されているが、プロペラ又はトレッド等の1つ又は複数の任意の他の推進デバイスが使用されてもよい。図1において、パワートレイン1200、コントローラ1300及び車輪1400/1410/1420/1430等の要素を相互接続する線は、データ又は制御信号等の情報、電力又はトルク等の力、又は情報及び電力の両方が各要素間で伝達され得ることを示している。例えば、コントローラ1300は、パワートレイン1200から電力を受信して、パワートレイン1200、車輪1400/1410/1420/1430、又は両方と通信して、車両1000を制御してもよい。これは、車両1000を加速、減速、操縦又は他のやり方で制御することを含み得る。
パワートレイン1200は、電源1210、トランスミッション1220、ステアリング装置1230、車両アクチュエータ1240、又はサスペンション、駆動シャフト、アクセル若しくは排気システム等のパワートレインの任意の他の要素又は要素の組み合わせを含む。別々に示されているが、車輪1400/1410/1420/1430は、パワートレイン1200に含まれてもよい。
電源1210は、電気エネルギ、熱エネルギ又は運動エネルギ等のエネルギを提供するように動作する任意のデバイス又はデバイスの組み合わせであってもよい。例えば、電源1210は、内燃エンジン、電気モータ又は内燃エンジン及び電気モータの組み合わせ等のエンジンを含み、車輪1400/1410/1420/1430の1つ以上に原動力として運動エネルギを提供するように動作する。いくつかの実施形態では、電源1210は、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)等の1つ以上の乾電池、太陽電池、燃料電池、又はエネルギを提供することが可能な任意の他のデバイス等のポテンシャルエネルギ装置を含む。
トランスミッション1220は、電源1210から運動エネルギ等のエネルギを受信して、原動力を提供するために車輪1400/1410/1420/1430にエネルギを送る。トランスミッション1220は、コントローラ1300、車両アクチュエータ1240又は両方によって制御されてもよい。ステアリング装置1230は、コントローラ1300、車両アクチュエータ1240又は両方によって制御され、車両を操縦するために車輪1400/1410/1420/1430を制御する。車両アクチュエータ1240は、コントローラ1300から信号を受信してもよく、車両1000を動作させるために電源1210、トランスミッション1220、ステアリング装置1230又はこれらの任意の組み合わせを作動又は制御してもよい。
いくつかの実施形態では、コントローラ1300は、位置決め装置1310、電子通信装置1320、プロセッサ1330、メモリ1340、ユーザインターフェース1350、センサ1360、電子通信インターフェース1370又はこれらの任意の組み合わせを含む。単一の装置として示されているが、コントローラ1300の任意の1つ以上の要素が任意の数の分離した物理装置に組み込まれてもよい。例えば、ユーザインターフェース1350及びプロセッサ1330は、第1の物理装置に組み込まれてもよく、メモリ1340は、第2の物理装置に組み込まれてもよい。図1には示されていないが、コントローラ1300は、バッテリ等の電源1210を含んでもよい。別個の要素として示されているが、位置決め装置1310、電子通信装置1320、プロセッサ1330、メモリ1340、ユーザインターフェース1350、センサ1360、電子通信インターフェース1370、又はこれらの任意の組み合わせは、1つ以上の電子装置、回路又はチップに組み込まれ得る。
いくつかの実施形態では、プロセッサ1330は、光プロセッサ、量子プロセッサ、分子プロセッサ又はこれらの組み合わせを含む現存する又は今後開発される信号又は他の情報を操作又は処理することが可能な任意のデバイス又はデバイスの組み合わせを含む。例えば、プロセッサ1330は、1つ以上の専用プロセッサ、1つ以上のデジタル信号プロセッサ、1つ以上のマイクロプロセッサ、1つ以上のコントローラ、1つ以上のマイクロコントローラ、1つ以上の集積回路、1つ以上の特定用途向け集積回路、1つ以上のフィールド・プログラマブル・ゲート・アレイ、1つ以上のプログラマブル・ロジック・アレイ、1つ以上のプログラマブル・ロジック・コントローラ、1つ以上の状態機械、又はこれらの任意の組み合わせを含んでもよい。プロセッサ1330は、位置決め装置1310、メモリ1340、電子通信インターフェース1370、電子通信装置1320、ユーザインターフェース1350、センサ1360、パワートレイン1200、又はこれらの任意の組み合わせと動作可能に結合されてもよい。例えば、プロセッサは、通信バス1380を介してメモリ1340と動作可能に結合されてもよい。
いくつかの実施形態では、プロセッサ1330は、オペレーションセンタを含む遠隔地から車両1000を操作するために使用され得る遠隔操作のための命令を含む命令を実行するように構成されてもよい。遠隔操作のための命令は、車両1000に記憶される又は交通管理センタ又はクラウド型サーバコンピュータデバイスを含むサーバコンピュータデバイス等の外部ソースから受信されてもよい。
メモリ1340は、プロセッサ1330によって使用される又はそれと接続される、機械可読命令又はそれに関連付けられる任意の情報を、例えば、保持、記憶、伝達又は搬送することが可能な任意の有形の非一時的コンピュータ使用可能又はコンピュータ可読媒体を含んでもよい。メモリ1340は、例えば、1つ以上の半導体ドライブ、1つ以上のメモリカード、1つ以上のリムーバブル媒体、1つ以上の読み取り専用メモリ、1つ以上のランダムアクセスメモリ、ハードディスク、フロッピーディスク、光学ディスクを含む1つ以上のディスク、磁気若しくは光学カード、又は電子情報を記憶するのに適した任意のタイプの非一時的な媒体、又はこれらの任意の組み合わせである。
電子通信インターフェース1370は、図示のような無線アンテナ、有線通信ポート、光学通信ポート、又は有線若しくは無線電子通信媒体1500とインターフェース接続することが可能な任意の他の有線若しくは無線装置であってもよい。
電子通信装置1320は、電子通信インターフェース1370等を介して、有線又は無線電子通信媒体1500を介して信号を送信又は受信するように構成されてもよい。図1に明示されていないが、電子通信装置1320は、無線周波数(RF)、紫外線(UV)、可視光、光ファイバ、有線回線、又はこれらの組み合わせ等の任意の有線又は無線通信媒体を介して送信、受信又は両方を行うように構成される。図1は、単一の電子通信装置1320及び単一の電子通信インターフェース1370を示しているが、任意の数の通信装置及び任意の数の通信インターフェースが使用されてもよい。いくつかの実施形態では、電子通信装置1320は、狭域通信(DSRC)装置、無線安全装置(WSU)、IEEE802.11p(WiFi−P)、又はこれらの組み合わせを含み得る。
位置決め装置1310は、限定されないが、車両1000の経度、緯度、高度、進行方向又は速さを含む地理情報を決定してもよい。例えば、位置決め装置は、広域補強システム(Wide Area Augmentation System;WAAS)対応米国海洋電子機器協会(National Marine−Electronics Association;NMEA)装置、無線三角測量装置、又はこれらの組み合わせ等の全地球測位システム(GPS)装置を含む。位置決め装置1310は、例えば、車両1000の現在の向き、2次元又は3次元での車両1000の現在地、車両1000の現在の角度方向、又はこれらの組み合わせを表す情報を取得するために使用され得る。
ユーザインターフェース1350は、仮想キーパッド、物理キーパッド、タッチパッド、ディスプレイ、タッチスクリーン、スピーカ、マイクロホン、ビデオカメラ、センサ、及びプリンタのいずれかを含む、人間がインターフェースとして使用することが可能な任意の装置を含んでもよい。ユーザインターフェース1350は、図示のようにプロセッサ1330と、又はコントローラ1300の任意の他の要素と動作可能に結合されてもよい。単一の装置として示されているが、ユーザインターフェース1350は、1つ以上の物理装置を含み得る。例えば、ユーザインターフェース1350は、人物との音声通信を行うための音声インターフェース、及び人物との視覚及びタッチに基づく通信を行うためのタッチディスプレイを含む。
センサ1360は、車両を制御するために使用され得る情報を提供するように動作し得るセンサの配列等の1つ以上のセンサを含んでもよい。センサ1360は、車両の現在の動作特徴又はその周囲に関する情報を提供することができる。センサ1360は、例えば、速度センサ、加速度センサ、ステアリング角センサ、トラクション関連センサ、ブレーキ関連センサ、又は車両1000の現在の動的状況の何らかの態様に関する情報を報告するように動作可能な任意のセンサ若しくはセンサの組み合わせを含む。
いくつかの実施形態では、センサ1360は、車両1000の周囲の物理環境に関する情報を取得するように動作可能なセンサを含んでもよい。例えば、1つ以上のセンサが、道路形状、及び固定障害物、車両、サイクリスト及び歩行者等の障害物を検出する。いくつかの実施形態では、センサ1360は、既知の又は後に開発される、1つ以上のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、又は任意の他の適切なタイプの車載環境感知デバイス、又はデバイスの組み合わせであるか又はこれらを含み得る。いくつかの実施形態では、センサ1360及び位置決め装置1310が結合される。
別に示されてはいないが、車両1000は、軌道コントローラを含んでもよい。例えば、コントローラ1300は、軌道コントローラを含んでもよい。軌道コントローラは、車両1000の現在の状態及び車両1000に対して計画された経路を記述する情報を取得し、この情報に基づいて、車両1000に対する軌道を決定及び最適化するように動作可能であってもよい。いくつかの実施形態では、軌道コントローラは、車両1000が軌道コントローラによって決定される軌道に従うように、車両1000を制御するように動作可能な信号を出力する。例えば、軌道コントローラの出力は、パワートレイン1200、車輪1400/1410/1420/1430又は両方に供給され得る最適化された軌道であり得る。いくつかの実施形態では、最適化された軌道は、一組のステアリング角等の制御入力であってもよく、各ステアリング角は1つの時点又は位置に対応する。いくつかの実施形態では、最適化された軌道は、1つ以上の経路、線、曲線、又はこれらの組み合わせであり得る。
1つ以上の車輪1400/1410/1420/1430は、ステアリング装置1230の制御下でステアリング角に枢動される操縦された車輪、トランスミッション1220の制御下で車両1000を推進するためのトルクを与えられる推進された車輪、又は車両1000を操縦及び推進する操縦及び推進された車輪であってもよい。
車両は、エンクロージャ、ブルートゥース(登録商標)モジュール、周波数変調(FM)ラジオ装置、近距離無線通信(NFC)モジュール、液晶ディスプレイ(LCD)ディスプレイ装置、有機発光ダイオード(OLED)ディスプレイデバイス、スピーカ、又はこれらの任意の組み合わせ等の図1に示されていない装置又は要素を含んでもよい。
図2は、本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システム2000の一部の例示の図面である。車両交通及び通信システム2000は、図1に示された車両1000等の車両2100、及び図1に示された車両1000、歩行者、サイクリスト等の任意の輸送手段の形態と共に建物等の任意の形態の構造を含み得る外部オブジェクト2110等の1つ以上の外部オブジェクトを含む。車両2100は、交通ネットワーク2200の1つ以上の部分を介して移動してもよく、1つ以上の電子通信ネットワーク2300を介して外部オブジェクト2110と通信してもよい。図2には明示されていないが、車両は、オフロードエリア等の交通ネットワークに明示的に又は完全には含まれていないエリアを横断してもよい。いくつかの実施形態では、交通ネットワーク2200は、誘導ループセンサ等の1つ以上の車両検出センサ2202を含んでもよく、これは交通ネットワーク2200において車両の移動を検出するために使用されてもよい。
電子通信ネットワーク2300は、車両2100、外部オブジェクト2110及びオペレーションセンタ2400の間の音声通信、データ通信、映像通信、メッセージング通信、又はこれらの組み合わせ等の通信を提供する多重アクセスシステムであってもよい。例えば、車両2100又は外部オブジェクト2110は、電子通信ネットワーク2300を介してオペレーションセンタ2400から交通ネットワーク2200を表す情報等の情報を受信してもよい。
オペレーションセンタ2400は、図1に示されたコントローラ1300の特徴の一部又は全てを含むコントローラ装置2410を含む。コントローラ装置2410は、自律走行車を含む車両の移動を監視及び調整することができる。コントローラ装置2410は、車両2100等の車両及び外部オブジェクト2110等の外部オブジェクトの状態又は状況を監視してもよい。コントローラ装置2410は、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、外部オブジェクト位置、外部オブジェクト動作状態、外部オブジェクト目的地、外部オブジェクト経路及び外部オブジェクトセンサデータのいずれかを含む車両データ及びインフラストラクチャデータを受信し得る。
さらに、コントローラ装置2410は、車両2100等の1つ以上の車両又は外部オブジェクト2110等の外部オブジェクトに対する遠隔制御を確立し得る。このようにして、コントローラ装置2410は、遠隔地から車両又は外部オブジェクトを遠隔操作してもよい。コントローラ装置2410は、無線通信リンク2380等の無線通信リンク又は有線通信リンク2390等の有線通信リンクを介して、車両2100、外部オブジェクト2110又はサーバコンピュータデバイス2500等の車両、外部オブジェクト又はコンピュータデバイスと状態データを交換(送信又は受信)してもよい。
サーバコンピュータデバイス2500は、電子通信ネットワーク2300を介して、車両2100、外部オブジェクト2110又はオペレーションセンタ2400を含む1つ以上の車両又はコンピュータデバイスと状態信号データを交換(送信又は受信)し得る1つ以上のサーバコンピュータデバイスを含んでもよい。
いくつかの実施形態では、車両2100又は外部オブジェクト2110は、有線通信リンク2390、無線通信リンク2310/2320/2370、又は任意の数若しくはタイプの有線若しくは無線通信リンクの組み合わせを介して通信を行ってもよい。例えば、図示のように、車両2100又は外部オブジェクト2110は、陸上無線通信リンク2310を介して、非陸上無線通信リンク2320を介して、又はこれらの組み合わせを介して通信を行う。いくつかの実装では、陸上無線通信リンク2310は、イーサネット(登録商標)リンク、シリアルリンク、ブルートゥースリンク、赤外線(IR)リンク、紫外線(UV)リンク、又は電子通信を提供可能な任意のリンクを含む。
車両2100等の車両又は外部オブジェクト2110等の外部オブジェクトは、別の車両、外部オブジェクト又はオペレーションセンタ2400と通信してもよい。例えば、ホスト又は対象の車両2100が、直接通信リンク2370を介して又は電子通信ネットワーク2300を介して、オペレーションセンタ2400から基本安全メッセージ(basic safety message;BSM)等の1つ以上の自動車両間メッセージを受信してもよい。例えば、オペレーションセンタ2400は、300メートル等の既定のブロードキャスト範囲内のホスト車両に又は定義された地理エリアにメッセージをブロードキャストしてもよい。いくつかの実施形態では、車両2100は、信号リピータ(図示せず)又は別の遠隔車両(図示せず)等のサードパーティを介してメッセージを受信する。いくつかの実施形態では、車両2100又は外部オブジェクト2110は、100ミリ秒等の既定の間隔に基づいて周期的に1つ以上の自動車両間メッセージを送信する。
自動車両間メッセージは、車両識別情報、経度、緯度若しくは高度情報等の地理空間状態情報、地理空間位置精度情報、車両加速度情報、ヨーレート情報、速度情報、車両方位情報、ブレーキシステム状態データ、スロットル情報、ハンドル角度情報若しくは車両ルート情報等の運動状態情報、又は送信車両状態に関連する車両サイズ情報、ヘッドライト状態情報、方向指示器情報、ワイパ状態データ、トランスミッション情報若しくは任意の他の情報若しくは情報の組み合わせ等の車両動作状態情報を含んでもよい。例えば、トランスミッション状態情報は、送信車両のトランスミッションがニュートラル状態、パーキング状態、前進状態又は後退状態に有るかどうかを示す。
いくつかの実施形態では、車両2100は、アクセスポイント2330を介して電子通信ネットワーク2300と通信する。コンピュータデバイスを含み得るアクセスポイント2330は、無線又は有線通信リンク2310/2340を介して、車両2100と、電子通信ネットワーク2300と、オペレーションセンタ2400と、又はこれらの組み合わせと通信するように構成されてもよい。例えば、アクセスポイント2330は、基地局、BTS(base transceiver station)、Node−B、eNode−B(enhanced Node−B)、HNode−B(Home Node−B)、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の類似の有線若しくは無線デバイスである。単一の装置として示されているが、アクセスポイントは、任意の数の相互接続要素を含み得る。
車両2100は、衛星2350又は他の非陸上通信デバイスを介して電子通信ネットワーク2300と通信してもよい。コンピュータデバイスを含み得る衛星2350は、1つ以上の通信リンク2320/2360を介して、車両2100と、電子通信ネットワーク2300と、オペレーションセンタ2400と、又はこれらの組み合わせと通信するように構成されてもよい。単一の装置として示されているが、衛星は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク2300は、音声、データ、又は任意の他のタイプの電子通信装置を提供するように構成される任意のタイプのネットワークであってもよい。例えば、電子通信ネットワーク2300は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、仮想プライベートネットワーク(VPN)、モバイル若しくはセルラ電話ネットワーク、インターネット、又は任意の他の電子通信システムを含む。電子通信ネットワーク2300は、トランスミッション・コントロール・プロトコル(TCP)、ユーザ・データグラム・プロトコル(UDP)、インターネット・プロトコル(IP)、リアルタイム・トランスポート・プロトコル(RTP)、ハイパー・テキスト・トランスポート・プロトコル(HTTP)、又はこれらの組み合わせ等の通信プロトコルを使用してもよい。単一の装置として示されているが、電子通信ネットワークは、任意の数の相互接続要素を含み得る。
いくつかの実施形態では、車両2100は、電子通信ネットワーク2300、アクセスポイント2330又は衛星2350を介して、オペレーションセンタ2400と通信する。オペレーションセンタ2400は、車両2100等の車両、外部オブジェクト2110等の外部オブジェクト、又はサーバコンピュータデバイス2500等のコンピュータデバイスからのデータを交換(送信又は受信)することができる1つ以上のコンピュータデバイスを含んでもよい。
いくつかの実施形態では、車両2100は、交通ネットワーク2200の一部又は状態を識別する。例えば、車両2100は、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音響センサ、又は交通ネットワーク2200の一部若しくは状態を決定若しくは識別することが可能な任意の他のセンサ若しくはデバイス又はこれらの組み合わせを含む図1に示されたセンサ1360等の1つ以上の車載センサ2102を含んでもよい。
車両2100は、交通ネットワーク2200を表す情報、1つ以上の車載センサ2102、又はこれらの組み合わせ等の電子通信ネットワーク2300を介して伝達される情報を使用して、交通ネットワーク2200の1つ以上の部分を横断してもよい。外部オブジェクト2110は、車両2100に関して先に記載された通信及びアクションの全て又は一部の能力を有してもよい。
簡潔のため、図2は、ホスト車両としての車両2100、外部オブジェクト2110、交通ネットワーク2200、電子通信ネットワーク2300、及びオペレーションセンタ2400を示している。しかしながら、任意の数の車両、ネットワーク又はコンピュータデバイスが使用されてもよい。いくつかの実施形態では、車両交通及び通信システム2000は、図2に示されていないデバイス、装置又は要素を含む。車両2100又は外部オブジェクト2110は単一の装置として示されているが、車両は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク2300を介してオペレーションセンタ2400と通信する車両2100が示されているが、車両2100(及び外部オブジェクト2110)は、任意の数の直接又は間接通信リンクを介してオペレーションセンタ2400と通信してもよい。例えば、車両2100又は外部オブジェクト2110は、ブルートゥース通信リンク等の直接通信リンクを介してオペレーションセンタ2400と通信してもよい。簡潔のため、図2は1つの交通ネットワーク2200及び1つの電子通信ネットワーク2300を示しているが、任意の数のネットワーク又は通信デバイスが使用されてもよい。
図3は、本開示による遠隔車両支援センタ3000を示すブロック図である。遠隔車両支援センタ3000は、車隊マネージャ3010、限定されないが、車両マネージャ3020及び車両マネージャ3030を含む複数の車両マネージャ、及び限定されないが、車両3040、3050、3060及び3070を含む複数の車両を含む。
車隊マネージャ3010は、図1に示されたコントローラ1300の特徴の一部又は全てを含む装置を含み得る。車隊マネージャ3010は、車両マネージャ3020/3030を含む車両マネージャと共に自律走行車及び車両3040/3050/3060/3070を含む車両の動きを監視及び調整することができる。車両マネージャを監視及び調整することは、車両マネージャに車両を割り振る、割り当てる又は割り当てを解除すること、車両マネージャの性能データをレビュー及び監視すること、及び地理エリアに車両マネージャを割り振ることのいずれかを含み得る。1つの実装では、順番に管理され得る又は他の車隊マネージャの権限下にある多数の車隊マネージャがあり得る。
車両マネージャ3020は、車両3040及び車両3050を含む車両の状態又は状況を監視することができる。図3に示されているように、車両マネージャ3020は、車両3040及び車両3050を割り当てられている。車両マネージャへの車両の割り当ては、車隊マネージャ3010等の車隊マネージャによって行われ得る。
車両マネージャ3030は、車両3060及び車両3070を含む車両の状態又は状況を監視することができる。図3に示されているように、車両マネージャ3030は、車両3060及び車両3070を割り当てられている。車両マネージャへの車両の割り当ては、車隊マネージャ3010等の車隊マネージャによって行われ得る。車両マネージャへの車両の割り当ては、機械学習技術を使用して自動化することもできる。
1つの実装では、車両マネージャは、車両をクラスタ化又はグループ化し、車内の乗員との通信を確立し、車両を遠隔操作し、交通ネットワーク内の車両の移動又は交通渋滞等の様々な障害の回避を調整することができる。車両マネージャは、他の車両マネージャと相互作用して車両の監視及び管理を支援することができる。
車両3040/3050/3060/3070を含む車両は、図2に示された車両2100等の車両を含み、これらは車隊マネージャ3010によって監視又は調整されている。車両は、自律的に又は人間の運転者によって操作されてもよく、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、及び外部オブジェクト位置のいずれかを含む車両の状態又は状況及びその周囲に関連する車両データを交換(送信及び受信)することができる。
図4は、車隊マネージャインターフェースを含むインターフェースで使用される車両指示部4000の例を示す図である。車両指示部4000は、タスク状態指示部4010、車両モード指示部4020、車両乗員指示部4030、及び時間状態指示部4040を含む。
タスク状態指示部4010は、1以上の乗客又は積荷をピックアップするために目的地に移動することを含むピックアップ目的地への移動、1以上の乗客又は積荷をドロップオフするために目的地に移動することを含むドロップオフ目的地への移動、車両にメンテナンス又は修理を行うことができる目的地への移動を含むメンテナンス目的地への移動、及びガソリンスタンド又は充電ステーションを含む燃料補給のための目的地への移動を含む燃料補給目的地への移動のいずれかを含む車両に割り当てられるタスク、又は車両によって行われているタスクを示すために使用され得る。
形状及び色を含むタスク状態指示部4010の特徴は、車両によって行われているタスクに対応し得る。例えば、タスク状態指示部4010は、図4では正方形として示されている。これは、例えば、車両がピックアップ目的地に移動していることを示し得る。1つの実装では、円形のタスク状態指示部4010は、車両がドロップオフ目的地に移動していることを示し得る。異なる形状及び色は、車両によって異なるタスクが行われていることを示し得る。
車両モード指示部4020は、車両が自身を案内する又は車両がコンピュータデバイスによって遠隔で案内されているモードを含む自律モード、人間のオペレータが遠隔地から車両を案内しているモードを含む被案内モード、人間のオペレータが車内から車両を操作しているモードを含む手動モード、及び車両の状態に基づいて手動モードと自律モードとを切り替え得るモード(例えば、近接及び加速閾値を超えると補助ブレーキが作動され得る)及び車両が同時に自律機能及び人間の操作を使用して制御されているモードを含む半自律モードのいずれで車両が操作されているかを示すために使用され得る。例えば、車両モード指示部4020は、図4では十字として示されている。これは、例えば、先述のモードのいずれかを示し得る。
車両乗車指示部4030は、車両が1人以上の乗客を含むか、及び車内の乗客の状態のいずれかを示すために使用され得る。1つの実装では、乗車中の車両は、車両乗車指示部4030が塗りつぶし状態にあることによって示される(例えば、車両乗車指示部4030の内側のエリアがタスク状態指示部4010の周囲の境界と同じ色である)。
色を含む車両乗車指示部4030の特徴は、車内の乗客からの支援の要求を含む乗客の問題、交通渋滞、交通事故及び工事に関連する問題を含む交通問題、車両を制御するか、車両の経路を変更するか、車両との通信を確立するか、又は車両に関するアクションが完了したことを示すかどうかに関する車両マネージャによって行われ得る決定に関する問題を含む決定問題、車両の動作状態(例えば、エンジン状態、燃料状態)に関する問題を含む車両の状態に関する物理的問題のいずれかを含む車両に関連付けられる問題を示すために使用され得る。1つの実装では、デフォルト色は、車両が通常状態で操作されていること及び車両に関連する保留中の問題がないことを示すために使用され得る。
時間状態指示部4040は、期待される又は予測される時間状態に対する車両の時間状態を示すために使用され得る。1つの実装では、時間状態指示部4040の色は、車両が予定時刻より進んでいるか又は予定時刻より遅れているかを示し得る。
時間状態指示部4040の長さは、期待される又は予測される時間状態からのずれの大きさを示し得る。時間状態指示部4040の長さは、期待される又は予測される時間状態からのずれの大きさに比例し得る(例えば、正比例、反比例、指数比例、対数比例)。
別の実装では、時間状態指示部4040の長さは、期待される又は予測される時間状態からのずれに対して不均衡であり得る(例えば、3分の1の長さは5分よりも小さなずれを示し、3分の2の長さは5分より大きいが15分よりも小さなずれを示し、全長は15分よりも大きなずれを示す)。時間状態指示部4040の他の特徴は、車両の状態を示すために使用され得る。例えば、赤色は、車両が予定時刻よりも遅れていることを示してもよく、緑色は、車両が予定時刻よりも進んでいることを示してもよい。
図5は、車隊マネージャインターフェース5000の例を示す図である。車隊マネージャインターフェース5000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車隊マネージャインターフェース5000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて車隊マネージャインターフェース5000の表現を生成し得る。
車隊マネージャインターフェース5000は、車隊マネージャ部分5010、地図部分5020、車両マネージャ指示部5030、車両指示部5040、及び車両マネージャ割り当てキュー5050を含み、これらはいずれも、限定されないが、車両、道路、建物及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。
車隊マネージャ部分5010は、車両への車隊マネージャの関連付けを含む車隊マネージャ及び/又は車両マネージャによって監視又は追跡されているオブジェクトの表現を含む。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部5040等の指示部として表されてもよく、これは、図4に示された車両指示部4000等の静止画又は動画として生成され得る。さらに、車隊マネージャ部分5010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。例えば、車両指示部5040を含む車両指示部は、車両マネージャ等のオペレータによって選択され得る。車両指示部の選択は、車両指示部によって表される各車両の状態又は状況に関するデータを生成し得る(例えば、選択された車両指示部は、車両が適切に機能しているか又は時間通りに目的地に到着するかを示し得る)。
地図部分5020は、既定の地理エリア内のオブジェクトを含む地理エリアの表現を含む。1つの実装では、既定の地理エリアは、車両マネージャの1つによって監視されている全ての又は少なくとも一部の車両を含む地理エリアに対応する地理エリアを含み得る。地理エリア内のオブジェクトは、いずれかの車両、並びに道路、建物及び歩行者を含む外部オブジェクトを含み得る。地図部分5020は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。地図部分への入力は、選択された車両又は外部オブジェクトの状態又は状況に関するデータを生成し得る。
1つの実装では、地図部分5020は、車隊マネージャ部分5010に表示される同じ表現のオブジェクトを含む。別の実装では、車隊マネージャ部分5010と地図部分5020との間に表示されるオブジェクトの数及びタイプは異なり得る。例えば、車両マネージャは、特定の地理エリアを拡大して、車隊マネージャ部分5010に表されるオブジェクト又は車両の一部のみを表示することができる。
車両マネージャ指示部5030は、車両マネージャに対する識別子の表現である。車隊マネージャインターフェース500に表示される各車両マネージャは、別個の車両マネージャ指示部を含む。車両マネージャは、1つ以上の車両に関連付けられてもよく、これは車隊マネージャによって又は機械学習技術を使用して動的に分配され又は割り当てられ得る。例えば、車隊マネージャは、車両マネージャに割り当てられる車両の数を修正することができ、これは車両を追加又は削除すること及びある車両マネージャから別の車両マネージャに1つ以上の車両を転送することのいずれかを含む。
車両指示部5040は、自律走行車の状態又は状況の表現であり、状態は、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び限定されないが、車両の動作状態に関する問題を含む車両問題のいずれかを含む。車両指示部5040は、車両指示部の状態又は状況の態様を表すための様々な色、形状、パターン、テキスト、絵文字、又はこれらの任意の組み合わせを含み得る。一例として、車両指示部5040は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。さらに、車両指示部5040は、乗客を乗せており、乗客をドロップオフするために目的地に移動している自律走行車を表し得る。
車両マネージャ割り当てキュー5050は、車両マネージャに割り当てられる車両の表現である。車両は、車隊マネージャによって又は車両マネージャ自身によって又は機械学習技術を使用して自動的に車両マネージャ割り当てキュー5050に割り当てられ得る。例えば、1つの車両マネージャが、多過ぎる車両を監視していることを認識してもよく、追加の監視容量を有すると決定されている別の車両マネージャにこうした車両の一部を割り当てることができる。図5に示されているように、車両マネージャ割り当てキュー5050内の車両指示部(例えば、車両指示部5040)は、車両マネージャ指示部5030の“Larry”に関連付けられる車両マネージャに割り当てられている。車両マネージャ指示部は、車両マネージャの実名又はユーザ名又は別の識別子を表し得る。
図6は、図5に示された車隊マネージャインターフェース500、図7に示された車両マネージャインターフェース7000又は図9に示された車両マネージャインターフェース9000を含むインターフェースで使用される車両指示部6000の一例を示す図である。
車両指示部6000は、次のタスク指示部6010、現在タスク指示部6020、実進行指示部6030、ずれ度指示部6040、期待進行指示部6050、時間スケール6060、完了までの時間6070、経過時間6080、及び時間圧縮指示部6090を含む。
次のタスク指示部6010は、車両に割り当てられておりかつ現在行われていないタスクを示すために使用され得る。次のタスク指示部6010は、現在のタスク(例えば、現在タスク指示部6020に関連付けられる現在のタスク)の実行に続いて行われるタスクを示し得る。例えば、次のタスク指示部6010は、現在タスク指示部6020に関連付けられる現在のタスクが完了した後でドロップオフが行われることを示し得る。1つの実装では、次のタスク指示部6010との相互作用(例えば、次のタスク指示部6010を選択すること)は、次に行われるタスクの説明を示し得る。
現在タスク指示部6020は、車両によって現在行われているタスクを示すために使用され得る。例えば、現在タスク指示部6020は、指定場所で乗客をピックアップすることを含み得る。1つの実装では、現在タスク指示部6020との相互作用(例えば、現在タスク指示部6020を選択すること)は、現在行われているタスクの説明を示し得る。
次のタスク指示部6010及び現在タスク指示部6020は、限定されないが、1以上の乗客又は積荷をピックアップするために目的地に移動することを含むピックアップ目的地への移動、1以上の乗客又は積荷をドロップオフするために目的地に移動することを含むドロップオフ目的地への移動、車両にメンテナンス又は修理を行うことができる目的地への移動を含むメンテナンス目的地への移動、及びガソリンスタンド又は充電ステーションを含む燃料補給のための目的地への移動を含む燃料補給目的地への移動のいずれかを含むタスクに関連付けられ得る。
次のタスク指示部6010又は現在タスク指示部6020の形状は、車両によって行われているタスクに対応し得る。例えば、次のタスク指示部6010は、図6では円形として示されている。これは、車両がドロップオフ目的地に移動していることを示す。円形の現在タスク指示部6020は、車両がピックアップ目的地に移動していることを示し得る。形状は、限定されないが、円形、正方形、三角形、長方形等を含み得る。
次のタスク指示部6010又は現在タスク指示部6020におけるパターン(例えば、十字、ジグザグ)は、車両が自身を案内する又は車両がコンピュータデバイスによって遠隔で案内されているモードを含む自律モード、人間のオペレータが遠隔地から車両を案内しているモードを含む被案内モード、人間のオペレータが車内から車両を操作しているモードを含む手動モード、及び車両の状態に基づいて手動モードと自律モードとを切り替え得るモード及び車両が同時に自律機能及び人間の操作を使用して制御されているモードを含む半自律モードのいずれで車両が操作されているかを示し得る。例えば、車両モード指示部4020は、図4では十字として示されている。これは、例えば、先述のモードのいずれかを示し得る。
次のタスク指示部6010又は現在タスク指示部6020の塗りつぶしを含む特徴は、車両が1つ以上の乗客を含んでいるかどうかを示すために使用され得る。1つの実装では、乗車中の車両は、次のタスク指示部6010又は現在タスク指示部6020が塗りつぶされた状態にあることにより示される。例えば、塗りつぶしなし(例えば、パターンなし、シェーディングなし、及び明るい色)は、車両が乗員を含んでいないことを示すために使用され得る。
次のタスク指示部6010又は現在タスク指示部6020の色は、車内の乗客からの支援の要求を含む乗客の問題、交通渋滞、交通事故及び工事に関連する問題を含む交通問題、車両を制御するかを示すかどうかに関する車両マネージャによって行われ得る決定に関する問題を含む決定問題、車両の動作状態(例えば、エンジン状態、燃料状態)に関する問題を含む車両の状態に関する物理的問題のいずれかを含む車両に関連付けられる問題を示すために使用され得る。1つの実装では、デフォルト色は、車両が通常状態で操作されていること及び車両に関連する保留中の問題がないことを示すために使用され得る。
実進行指示部6030は、目的地に向かう途中で、横断した経路距離、又は経過した時間の実際の部分を示す。例えば、進行指示部が時間スケール6060の半分の地点にある場合、経路距離の半分が完了しているか、又は推定移動時間の半分が過ぎている。
期待進行指示部6050は、現在時刻までに車両によって完了されたと推定された経路距離の一部を示し、目的地に移動するための推定時間の一部又は車両によって横断された推定距離の一部を含み得る。ずれ度指示部6040は、(期待進行指示部6050によって示される)期待進行時間が(実進行指示部6030によって示される)実進行時間からずれている移動時間の部分又は経路距離の部分を示す。
時間スケール6060は、車両に関する経路を完了するための総移動時間又は総移動距離を示す。例えば、時間スケール6060が30分の総移動時間の表現である場合、時間スケール6060の半分は15分である。時間スケール6060がより長い期間に関するイベントにおいて、時間圧縮指示部6090は、時間スケール6060の残りの部分に比例しない時間スケール6060の部分が過ぎていることを示し得る。例えば、時間圧縮指示部6090は、時間スケール6060の半分が過ぎていることを示し得る。例えば、経過時間6080は、目的地に向かう途中で経過している移動時間を示す。
経路に対する総完了時間は、時間スケール6060の長さによって表されてもよく、これは、ずれ度指示部6040の長さ、完了までの時間6070の長さ、及び経過時間6080の長さを含む。例えば、完了までの時間6070は、車両が目的地に到着するか又は関連する/割り当てられたタスクを完了する前の残りの移動時間を示す。
図7は、車両マネージャインターフェース7000の例を示す図である。車両マネージャインターフェース7000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース7000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて車両マネージャインターフェース7000の表現を生成し得る。
車両マネージャインターフェース7000は、車両マネージャ部分7010、地図部分7020、車両指示部7030、及び車両指示部7040を含み、これらはいずれも、限定されないが、いずれかの車両、並びに歩行者、サイクリスト、道路及び建物を含む外部オブジェクトを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。
車両マネージャ部分7010は、車両マネージャインターフェース7000を利用して車両マネージャによって追跡又は監視されているオブジェクトの表現を含む。複数の車両マネージャが、各々が自身の固有のインターフェースを有する複数の車両を監視していてもよい。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部7030等の指示部として表されてもよく、これは、限定されないが、静止画、ダイナミック画像、動画、ライブフォト若しくは配信動画、又はこれらの任意の組み合わせを含む様々な画像として生成され得る。さらに、車両マネージャ部分7010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。
地図部分7020は、地理エリア内のオブジェクトを含む地理エリアの表現を含む。地理エリア内のオブジェクトは、いずれかの車両、並びに道路、建物、サイクリスト及び歩行者を含む外部オブジェクトを含み得る。1つの実装では、地図部分7020は、車両マネージャ部分7010によって表されるオブジェクトとして表される類似の又は異なるオブジェクトを有し得る。
車両指示部7030及び車両指示部7040は、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び限定されないが、車両の動作状態に関する問題を含む車両問題のいずれかを含む自律走行車の状態又は状況の表現である。車両指示部7030及び車両指示部7040は、自律走行車の状態又は状況の態様を表すための様々な色、形状、パターン、テキスト、又は絵文字を含み得る。
一例として、車両指示部7030は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。さらに、車両指示部7040は、別の乗客を乗せており、その乗客をドロップオフするために目的地に移動している自律走行車を表し得る。各自律走行車が実行している異なるタスク又はアクションは、車両指示部7030及び7040の間のグラフィカル表示の相違をもたらす(例えば、車両指示部7030は、塗りつぶされた円を有し、車両指示部7040は、塗りつぶされていない正方形を有する)。
図8は、車両マネージャインターフェース8000の例を示す図である。車両マネージャインターフェース8000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース8000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて車両マネージャインターフェース8000の表現を生成し得る。
車両マネージャインターフェース8000は、車両マネージャインターフェース7000に似ているが、車両マネージャ部分8010(図7に示された車両マネージャ部分7010と同様)、地図部分8020(図7に示された地図部分7020と同様)、車両指示部8030、タスク制御部8040、解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070を含んでおり、これらはいずれも、限定されないが、車両、道路、建物、及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。別の実装では、車両マネージャインターフェース8000は、車両マネージャが監視又は追跡されている各自律走行車又はオブジェクトの様々な態様と相互作用して制御することを可能にする、タスク制御部8040、解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070以外の異なる制御機能を含む。
車両マネージャ部分8010は、監視又は追跡されているオブジェクトの表現を含む。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部8030等の指示部として表されてもよく、これは、静止画又は動画又は異なるタイプの画像として生成され得る。さらに、車両マネージャ部分8010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。例えば、車両指示部8030を含む車両指示部は、車両マネージャ等の車両マネージャインターフェース8000のオペレータによって選択され得る。車両指示部の選択は、車両指示部によって表される各車両の状態又は状況に関するデータを生成し得る(例えば、選択された車両指示部は、時間通りに目的地に到着するかを示し得る)。
地図部分8020は、地理エリア内のオブジェクトを含む地理エリアの表現を含む。地理エリア内のオブジェクトは、いずれかの車両、並びに、限定されないが、道路、建物、サイクリスト及び歩行者を含む外部オブジェクトを含み得る。地図部分8020は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。地図部分への入力は、選択された車両又は外部オブジェクトの状態又は状況に関するデータを生成し得る。1つの実装では、地図部分8020は、車両マネージャ部分8010によって表されるオブジェクトとして表される類似の又は異なるオブジェクトを有し得る。
例えば、スタジアム等の建物を選択することは、スポーツイベントが所定の時間フレーム内にスタジアムで行われていることを示すデータを生成し得る。したがって、車両マネージャは、利用者がスタジアムから出ることによる交通流量の増加のために、スポーツイベントの最後にスタジアムの近隣の混雑を予測し得る。したがって、車両マネージャは、監視しており、スポーツイベントの最後にスタジアムの近くで特定のタスクを行うことを予定している自律走行車の1つの完了時間を変更又は経路変更し得る。
車両指示部8030は、車両(例えば、自律走行車又は人間が運転する車両)の状態又は状況の表現であり、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び限定されないが、車両の動作状態に関する問題を含む車両問題のいずれかを含む。車両指示部8030は、車両指示部の状態又は状況の態様を表すための色、形状、パターン、テキスト、又は絵文字を含む様々な特徴を含み得る。一例として、車両指示部8030は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。あるいは、車両指示部8030は、乗客を乗せており、乗客をドロップオフするために目的地に移動している自律走行車を表し得る。
タスク制御部8040、解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070のいずれも、触覚入力デバイス(例えば、キーボード、マウス、又はタッチスクリーン)、聴覚入力デバイス(例えば、マイクロホン)、及び視覚入力デバイス(例えば、カメラ)を含む入力デバイスから受信した入力に基づくユーザ入力のいずれかを含む入力に基づいて制御又は修正され得る。さらに、タスク制御部8040、タスク解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070のいずれも、コンピュータプログラム命令(例えば、共通目的地等の事前に設定された基準に適合する車両指示部を選択する命令)等の命令に基づいて制御又は修正され得る。
タスク制御部8040は、車両に関連付けられるタスクを修正するために使用され得る。例えば、車両指示部8030に関連付けられる車両は、ドロップオフを完了していてもよい。車両マネージャは、タスク制御部8040と相互作用して、以前に割り当てられた次のタスクを完了する代わりに、車両が今度は乗客をピックアップするべきであることを示すように車両タスクを修正し得る。タスク完了が進行中であるか又は次回のタスクに関している間、タスクは修正及び/又は更新され得る。例えば、現在のタスクは、所定時刻にではあるが交通状態に基づいて荷物を配達するように設定されてもよく、現在のタスクは、乗客を近くでピックアップして、交通混雑エリア内ではない場所でドロップオフするように更新される。別の例では、車両が現在の非関連タスクを遂行している間に、車両の次回のタスクの1つが修正/更新/削除され得る。
解決制御部8050は、車両に関連する問題が車両マネージャによって完了したか又は解決されたことを示すために使用され得る。例えば、車両マネージャが車両指示部8030に関連付けられる車両又は車両の乗員から支援要求を受信して、車両への支援を提供した後で、解決制御部8050が、車両マネージャによってアクティブ化されて、問題は解決されており、もはや保留中ではないことを示し得る。1つの実装では、解決制御部8050のアクティブ化は、車両要求又は車両タスクの緊急性(例えば、患者を病院に運んでいる救急車)の指示を含む車両タスク緊急性を含む車両に関連付けられる車両データを修正し得る。例えば、緊急の医療支援の必要のある患者を運んでいる車両が、最適化された経路変更の要求を車両マネージャに送ってもよく、車両マネージャがこの要求に対処するか又は追加の支援が必要とされていると判断を下すと、車両マネージャは、解決制御部8050と相互作用して、要求の状態を更新し得る。
呼び出し制御部8060は、車両指示部8030に関連付けられる車両と連絡して通信をするために使用され得る。例えば、呼び出し制御部8060がアクティブ化されると、車両マネージャは、車両指示部8030に関連付けられる車両の乗員又は乗客と相互作用し得る。1つの実装では、呼び出し制御部8060がアクティブ化されると、車両指示部8030に関連付けられる車両との音声接続又は音声及び映像接続(例えば、ライブ映像通信フィード)のいずれかが確立され得る。
経路変更制御部8070は、車両に関連付けられる経路を修正するために使用され得る。例えば、車両指示部8030に関連付けられる車両は、重度の交通渋滞を通過する経路を介して目的地に移動中であり得る。経路変更制御部8070は、車両の経路を変更して重度の交通渋滞のエリアに入ることを回避するために使用され得る。別の実装では、経路変更制御部8070は、自律走行車の遠隔操作を提供する異なるタイプの制御部であり得る。
図9は、車両マネージャインターフェース9000の例を示す図である。車両マネージャインターフェース9000は、コントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース9000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイ装置において車両マネージャインターフェース9000の表現を生成し得る。
車両マネージャインターフェース9000は、図8に示されているように、車両マネージャインターフェース8000と類似しており、車両マネージャ部分9010、地図部分9020、車両指示部9030、車両指示部9040、クラスタ制御部9050、及びエリア選択制御部9060を含み、これらはいずれも、限定されないが、車両、道路、建物及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。
車両マネージャ部分9010は、監視又は追跡されているオブジェクトの表現を含む。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部9030等の指示部として表されてもよく、これは、静止画又は動画又は任意の他のタイプの画像として生成され得る。さらに、車両マネージャ部分9010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。
例えば、車両指示部9030及び車両指示部9040を含む車両指示部は、車両マネージャ等のオペレータによって選択され得る。車両指示部の選択は、車両指示部によって表される各車両の状態又は状況に関するデータを生成し得る(例えば、選択された車両指示部は、時間通りに目的地に到着するかを示し得る)。
地図部分9020は、地理エリア内のオブジェクトを含む地理エリアの表現を含む。地理エリア内のオブジェクトは、いずれかの車両、並びに、限定されないが、道路、建物、サイクリスト及び歩行者を含む外部オブジェクトを含み得る。地図部分9020は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。地図部分への入力は、選択された車両又は外部オブジェクトの状態又は状況に関するデータを生成し得る。例えば、スタジアム等の建物を選択することは、スポーツイベントが所定の時間フレーム内にスタジアムで行われていることを示すデータを生成し得る。したがって、車両マネージャは、利用者がスタジアムから出ることによる交通流量の増加のために、スポーツイベントの最後にスタジアムの近隣の混雑を予測して、車両の経路を変更し得る。
車両指示部9030及び車両指示部9040は、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び車両の動作状態に関する問題を含む車両問題のいずれかを含む2つの別の自律走行車の状態又は状況の表現である。車両指示部9030及び車両指示部9040は、車両指示部の状態又は状況の態様を表すための様々な色、形状、パターン、テキスト、又は絵文字を含み得る。一例として、車両指示部9030は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。さらに、車両指示部9040は、別の乗客を乗せており、その乗客をドロップオフするために目的地に移動している自律走行車を表し得る。
クラスタ制御部9050及びエリア選択制御部9060は、触覚入力デバイス(例えば、キーボード、マウス、又はタッチスクリーン)、聴覚入力デバイス(例えば、マイクロホン)、及び視覚入力デバイス(例えば、カメラ)を含む入力デバイスから受信した入力に基づくユーザ入力のいずれかを含む入力に基づいて制御又は修正され得る。さらに、クラスタ制御部9050及びエリア選択制御部9060要素は、コンピュータプログラム命令(例えば、共通目的地等の事前に設定された基準に適合する車両指示部を選択する命令)等の命令に基づいて制御又は修正され得る。
エリア選択制御部9060は、地図部分9020の区間を選択するように制御又は修正され得る制御要素である。例えば、地図の長方形の区間は、地図の地理エリア内の車両が地図部分9020の選択部分に対応する車両マネージャ部分9010においてクラスタ化され又は監視及び選択されることを定義するために、車両マネージャによって選択又は強調され得る。地図部分9020の選択区間内のオブジェクトは、共通の出発点、経路、目的地のいずれかを含むクラスタ基準に従って管理及び監視され得る。図9に示されているように、クラスタ制御部9050は、車両指示部9030及び車両指示部9040が共有クラスタ基準に基づくクラスタグループの一部であることを示し得る(例えば、それらは類似の経路を共有する)。
図10は、車両マネージャインターフェース10000の例を示す図である。車両マネージャインターフェース10000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース10000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて車両マネージャインターフェース10000の表現を生成し得る。
車両マネージャインターフェース10000は、車両指示部10010、経路指示部10020、外部オブジェクト指示部10030、障害物指示部10040、歩行者指示部10050を含み、これらはいずれも、限定されないが、車両、道路、建物及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。外部オブジェクト、障害物、歩行者、及びこれらの任意の組み合わせの複数の構成は、車両マネージャインターフェース10000に表示され得る。車両指示部10010は、車両を表すために使用され得る。この例示では、車両は、3次元モデルとして表されているが、車両指示部10010は、アイコン等の2次元画像及び絵文字のいずれかを含む異なるやり方で表され得る。
経路指示部10020は、現在の車両位置と車両目的地との間の経路を表すために使用され得る。1つの実装では、車両マネージャは、経路指示部10020によって示される経路に沿って車両指示部10010に関連付けられる車両を案内し得る。例えば、車両指示部10010に関連付けられる車両に遠隔支援を提供する場合、経路指示部10020によって示される車両が移動し得る経路の視覚表現を提供するために、仮想レーン等の経路指示部が生成され得る。
外部オブジェクト指示部10030は、一例として、車両の意図された経路を変更し得る他の車両等の外部オブジェクトを表すために使用され得る。障害物指示部10040は、車両指示部10010によって表される車両の移動を妨げ得る外部オブジェクトを表すために使用され得る。歩行者指示部10050は、歩行者又はサイクリスト又は別の移動オブジェクトを含む外部オブジェクトを表すために使用され得る。歩行者指示部10050は、外部オブジェクト指示部10030又は障害物指示部10040によって表される他の外部オブジェクトとは異なる独特の色スキームで示され得る。このようにして、歩行者は、さらなる認知及び回避能力を提供するように外部オブジェクトの他のタイプから区別され得る。1つの実装では、外部オブジェクト指示部10030、障害物指示部10040及び歩行者指示部10050、又はこれらの任意の組み合わせは、車両指示部10010によって表される車両の少なくとも1つのパラメータ(例えば、経路、移動時間等)に影響し得る全てのオブジェクトを包含する同じ又は類似のタイプの指示部によって表され得る。
本明細書に開示の技術の実装に関連して記載される任意の方法、処理又はアルゴリズムのステップ又は動作は、ハードウェア、回路又はこれらの任意の組み合わせによって実行されるハードウェア、ファームウェア、ソフトウェアにおいて実装されてもよい。説明を容易にするために、一連の動作として図11−13に示された処理11000−13000が示されかつ記載されている。しかしながら、本開示による動作は、様々な順番で又は同時に起こり得る。さらに、本開示による動作は、本明細書に提示及び記載されていない他の動作と共に起こってもよい。
図11は、本開示による車両の自律操作の遠隔サポートを提供するための技術11000のフローチャートである。1つの実装では、技術11000は、車隊マネージャ、車両マネージャ及び先述のインターフェースのいずれかを含む車両監視システム又は遠隔サポートシステムによって利用される。車両処理のための技術11000の一部又は全ての態様は、図1に示された車両1000、図2に示された車両2100を含む車両、又は図2に示されたコントローラ装置2410を含むコンピュータ装置において実装されてもよい。1つの実装では、車両処理のための技術11000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステムにおいて実装され得る。
動作11010において、状況又は状態データが、1つ以上の車両から受信される。1つの実装では、状態データは、通信システム又は車両監視システムの類似のデバイスによって受信される。1つ以上の車両は、乗客及び積荷のいずれかを含むオブジェクトを搬送するために使用されるデバイス又は装置(例えば、輸送機関)を含み得る。1つ以上の車両は、自律走行車又は人間の運転者によって運転される車両又は半自律走行車を含み得る。
状態データは、限定されないが、車両の速度及び加速度のいずれかに関連する運動データ、車両の地理的場所(例えば、車両の緯度及び経度)又は別のオブジェクトに対する車両の場所を含む場所データ、車両の方向及び傾き(例えば、傾いている車両の傾斜)を含む車両姿勢、車両の電気的状態又は機械的状態を含む車両の動作状態(例えば、電気車両システム、機械車両システム、タイヤ圧力等の調子)、車両の進行中のメンテナンスに関連するメンテナンスデータ、残りの燃料又は残りのバッテリ充電の量を含むエネルギ源データ、光学センサ、音声センサ、モーションセンサを含むセンサからの出力に基づくセンサデータ、車両の客室の中の温度及び湿度を含む内部状態データ、及び車両の現在のタスク(例えば、乗客のピックアップ)のいずれかを含む車両の状態又は状況に基づくデータを含む。
1つの実装では、状態データは、第1の車両を含む車両からの支援の要求を含み得る。第1の車両は、複数の車両の中から選択される車両及び車両に関連付けられる状態データに基づいて第1の又は高い優先度としてランク付け又は優先順位付けされる車両のいずれかを含み得る。1つの実装では、センサデータは、第1の車両を含む車両から受信した画像データを含み得る。画像データは、第1の車両の外部の環境の画像及び第1の車両の中又は内部の乗員の画像のいずれかを含むカメラ画像を含み得る。
動作11020において、地図が生成される。1つの実装では、定義された地理エリアの第1の地図表示が生成される。定義された地理エリアは、オペレータによって事前に定義され、又は履歴データ若しくは機械学習技術に基づいて自動的に定義され得る。第1の地図は、定義された地理エリアの中の少なくとも一部の又は全ての車両を含む。定義された地理エリア内の車両は、車両地図指示部として表され得る。1つの実装では、状態指示部への入力に応答して、第1の地図表示の中の各車両を表す車両地図指示部の外観が修正される。
1つの実装では、別の定義された地理エリア又は第1の地図表示のために利用された同じ定義された地理エリアの第2の地図表示が生成される。第2の地図表示は、別の定義された地理エリアの中で、車両地図指示部として第1の遠隔サポートキューに割り当てられる車両を含む。第2の地図表示は、第1の状態表示及び第2の状態表示のいずれかを含む、別の表示と同時に表示され得る。1つの実装では、第2の地図表示は、第1の地図表示を含む別の表示の上に重畳される半透明オーバレイとして生成され得る。
動作11030において、第1の状況又は状態表示が生成される。第1の状態表示は、第1の状態表示に関連付けられる少なくとも一部の車両の状態データに対応する状態指示部を含む。状態指示部は、グリフ、画像、テキスト、形状、絵文字、及びこれらの任意の組み合わせのいずれかを含み得る。第1の状態表示は、第1の地図表示と同時に表示され得る。
状態指示部は、車両が遠隔サポートを受けているか又は遠隔サポートを要求されているかどうかを示す車両の動作モード、現在のタスクを完了するのに予測される進行、現在のタスクを完了するための実際の進行、実際の進行と予測される進行との間のずれ(もしあれば)を示す進行指示部、車両が早い、遅い及び時間通りのいずれかであるかどうかを示す進行指示部、及び車両の動作に関連する問題のいずれかを示し得る。状態指示部は、第1の状態表示及び第2の状態表示のいずれかを含む状態表示における車両を表す状態指示部の少なくとも一部の色、形状、及びサイズ、現在のタスクを完了するために予測される時間量に基づく長さを有する時間スケールであって、実際の進行を表す線及び線から延びて、ずれを示す時間スケールの長さに沿う進行指示部を含む時間スケール、車両が早い、遅い及び時間通りのいずれかであるかどうかを示す進行指示部の色のいずれかを使用して先述の情報を示す。
1つの実装では、状態地図指示部への入力に応答して、各車両を表す車両地図指示部の外観が第1の状態表示の中で修正される。入力デバイスからの入力等の入力は、色、サイズ、形状、明るさ及びテキストの変化のいずれかを含む状態指示部の変化を引き起こし得る。例えば、状態指示部におけるテキストは、乗客がドロップオフされたときに「ピックアップ」から「ドロップオフ」に変更又は更新され得る。
1つの実装では、車両は、各遠隔サポートキューに割り当てられ、例えば、図5に示されているように、各遠隔サポートキューに対応するレーンにおける表示に対して、車両に関して対応する状態指示部が生成される。例えば、全体で10台の車両が監視されている場合、各々が別個の車両マネージャによって管理される遠隔サポートキューに対応する5つのレーンがあり、オペレータは、5つのレーンの各々に2台の車両及び対応する状態指示部を割り当てる。
1つの実装では、状態指示部は、複数の遠隔サポートキューの間で動かされ得る。例えば、車両に関する状態指示部は、(車両監視システムの車隊マネージャ等の)オペレータによって第1の遠隔サポートキューに関連付けられる第1のレーンから第2の遠隔サポートキューに関連付けられる第2のレーンに動かされ得る。複数の遠隔サポートキュー間で対応する車両の状態指示部を動かす又は再割り当てすることにより、システムは、車両が適切に監視され及び遠隔サポートされることを確実にし得る。別の例として、車隊マネージャは、第1の車両マネージャに対応する第1の遠隔サポートキューから第2の車両マネージャに対応する第2の遠隔サポートキューに状態指示部の場所を変更することにより、第1の車両マネージャから第2の車両マネージャに車両のグループを割り当てることができる。
1つの実装では、第1の遠隔サポートキュー用の第2の状態表示が生成される。第2の状態表示は、状態指示部によって表される車両に関連付けられる緊急性又は優先度のレベルに基づいて配置される各状態指示部として第1の遠隔サポートキューに割り当てられる車両の状態データの表示を含む。例えば、乗客を病院でドロップオフする途中にある救急車である車両は、高レベルの緊急性に関連付けられ得る。緊急性のレベルは、車両に関連付けられる状態データ、好み、履歴データ、及びリアルタイム交通データのいずれかに基づいてもよい。緊急性のレベルに基づいて、状態指示部の位置又は表示は修正され得る。例えば、高レベルの緊急性(又は高い緊急レベル)は、(例えば、垂直軸に沿う)高い位置に対応してもよく、又は低いレベルの緊急性で車両を表す小さな状態指示部と比較して大きな状態指示部に対応し得る。
1つの実装では、第1の状態表示の状態指示部は、第2の状態表示の状態指示部を含み、第1の状態表示の状態指示部の要素は、第2の状態表示の状態指示部の要素のサブセットを含む。例えば、大量の状態指示部のグループ化を容易にするために、第1の状態表示における状態指示部は、車両の状態データに関してより少ない詳細を示すように簡略化され得る。別の実装では、第2の状態表示の状態指示部の要素は、第1の状態表示の状態指示部の要素のサブセットを含む。
動作11040において、遠隔サポートインターフェースが生成される。遠隔サポートインターフェースは、限定されないが、第1の状態表示から第1の車両の第1の状態指示への入力信号を含む車両の任意の状態指示部への入力信号に応答し得る。例えば、第1の状態指示との相互作用は、図8に示されたインターフェース等において、タスク制御部、解決制御部、経路変更制御部、及び呼び出し制御部を有する遠隔サポートインターフェースを生成し得る。遠隔サポートインターフェースは、第1の状態表示上において、入力信号を使用して相互作用された状態指示部の周囲のエリアにおいて、重畳されてもよく、又は遠隔サポートインターフェースは、入力信号に応答して生成される新しい表示であり得る。
1つの実装では、カメラ画像を含むセンサデータの指示及びとカメラ画像が第1の車両の外部の環境の画像を含むカメラ画像を表す地図データの指示のいずれかを表示するために、遠隔サポートインターフェースの一部が割り当てられる。
動作11050において、命令データは、第1の車両等の任意の車両に送信される。命令データは、車両によって又は車両の乗員(例えば、運転者)によって行われる車両(例えば、自律走行車)への命令を含む。例えば、命令データは、限定されないが、車両の加速度、速度又は方向(例えば、ステアリング)を変更することを含む車両の移動を制御すること、車両の一部又は全ての部品をオン又はオフにすること(例えば、車両の外部の照明を点けること)、機械制御システム及び電気制御システムを含む車両における制御システムをアクティブ化又は非アクティブ化すること、車両におけるセンサをアクティブ化又は非アクティブ化すること(例えば、車両の内部又は車両の外部を観察するためにカメラをアクティブ化すること)、車両、車両の乗員、及び車両の外部のオブジェクト又は個人との通信を提供する通信システムをアクティブ化又は非アクティブ化することのいずれかを含む。
1つの実装では、命令データを第1の車両に送信することは、事前にプログラムされたスクリプトによって発行されるコマンドを含む、命令データを送信するための信号を受信すること、及び遠隔サポートインターフェース(例えば、遠隔サポートインターフェースとユーザの相互作用)を使用することのいずれかに応答して開始され得る。また、命令データは、車両の状態データに基づいて検出された状態又は状況に応答して自動的に車両に送信され得る。
1つの実装では、命令データは、第1の車両のナビゲーションに使用される第1の車両の自律操作のために第1の車両への地図データの中に仮想レーンを含む。例えば、命令データは、車両の既定の距離内のエリアの表現又はモデルに含まれ得る画像、例えば、図10に示された経路指示部10020を生成し得る。仮想レーンは、命令データを受信する必要性を引き起こした様々な障害物又は外部オブジェクトを避けて自律走行車を案内するのに役立ち得る。
動作11060において、車両は、遠隔サポート用の緊急性のレベルに従ってランク付けされる。1つの実装では、第1の状態表示又は第2の状態表示又は両方における車両は、緊急性のレベルに従ってランク付けされる。遠隔サポートに対する緊急性のレベルは、状態データ又はユーザ入力又は他のタイプの集合データ(例えば、時刻、履歴データを分析することにより生成される類似車両の典型的な緊急レベル等)に基づいて決定され得る。例えば、車両が予定よりも30分遅れていることを示す状態データは、予定よりも20秒遅れているに過ぎない車両よりも高い緊急性のレベルを有し得る。
動作11070において、状態指示部は、対応する緊急性のレベルに基づいて第1の状態表示に配置される。1つの実装では、配置は、類似の緊急レベルをクラスタ化し、又はそれらを上から下に昇順に又は降順にリストし得る。例えば、車両の少なくとも一部を表す状態指示部は、緊急性のレベルの増加に従って第1の状態表示の下方部から第1の状態表示の上方部に移動され得る。別の例示では、低い緊急性のレベルに関連付けられる状態指示部は、ディスプレイの最も左側の部分に表示されてもよく、緊急性のレベルが増加すると状態指示部が右に動かされる。さらに、所定の緊急性閾値レベルより低い状態指示部は、ディスプレイから隠され得る。
図12は、本開示による車両の自律操作の遠隔サポートを提供するための技術12000のフローチャートである。車両処理のための技術12000の一部又は全ては、図1に示された車両1000、図2に示された車両2100を含む車両、又は図2に示されたコントローラ装置2410を含むコンピュータ装置において実装されてもよい。1つの実装では、車両処理のための技術12000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステムにおいて実装され得る。
動作12010において、状況又は状態データが、1つ以上の車両から受信される。状態データは、例えば、処理11000に記載された状態データ等の車両の状態又は状況の指示を含む。動作12020において、第1のレベルの制御局が生成される。第1のレベルの制御局は、入力を受信し、状態データを含むデータを処理し、かつ表示出力を含む出力を生成することができるインスタンスを含み得る。第1のレベルの制御局は、第1のレベルの制御局の各々に割り当てられる一部の車両から状態データの状態指示部を表示する各第1の状態表示を含む。第1のレベルの制御局は、遠隔サポートキュー及び対応するレーンを含んでもよく、車両マネージャ等のオペレータによって管理され得る。
動作12030において、第2のレベルの制御局に対して第2の状況又は状態表示が生成される。1つの実装では、第2のレベルの制御局は、第1のレベルの制御局及び対応する車両マネージャを管理する車隊マネージャである。別の実装では、各第2のレベルの制御局に対して複数の第2の状態表示が生成される。第2の状態表示は、車両の状態データを表示し、第1の状態表示に表示されるものと類似の又は異なる状態データを表示し得る。例えば、第2のレベルの制御局は、車隊マネージャによって操作される制御局に対応してもよく、第1のレベルの制御局は、車隊マネージャの権限下で車両マネージャによって操作される制御局に対応してもよい。
動作12040において、車両がサポートを要求している指示を受信することに応答して、命令データが車両に送信される。1つの実装では、命令データは、指示(例えば、サポートの要求)を受信せずに送信される。命令データは、第1のレベルの制御局の第1の状態表示の1つに表示される第1の車両に送信され得る。命令データは、車両を遠隔操作するための命令を含み、図11の技術11000に記載された命令データを含む。
動作12050において、第2の状態表示の状態指示部を使用して車両を割り当てるオペレータ(車隊マネージャ等)によって複数の第1のレベルの制御局間で作業負荷が割り当てられ、均衡が取られ又は最適化される1つの実装では、作業負荷間に不均衡があるか又は車両マネージャの1つが支援を緊急に必要としていることをシステムによって検出することに基づいて、割り当てが自動化される(例えば、車両マネージャが多過ぎる車両を監視している又は車両の1つが時間のかかるサポートを必要としているため、他の車両が既定期間で再割り当てされるべきである)。作業負荷は、第1のレベルの制御局への車両の状態データ、外部データ、履歴データ及び分布のいずれかに基づき得る。
図13は、本開示による車両の自律操作の遠隔サポートを提供するための技術13000のフローチャートである。車両処理のための技術13000の一部又は全ての態様は、図1に示された車両1000、図2に示された車両2100を含む車両、又は図2に示されたコントローラ装置2410を含むコンピュータ装置において実装されてもよい。1つの実装では、車両処理のための技術13000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステムにおいて実装され得る。
動作13010において、定義された地理エリアの地図表示が生成される。1つの実装では、地図表示は、各第1のレベルの制御局に対して生成される第1の定義された地理エリアの第1の地図表示を含み得る。第1の地図表示は、定義された地理エリア内で、車両地図指示部として第1のレベルの制御局の各々に割り当てられる車両を示すための車両地図指示部を含む。第1の地図表示は、各第1の地図表示と同時に表示され得る。
動作13020において、定義された地理エリアの別の地図表示が生成される。1つの実装では、別の地図表示は、第2の制御局に対して生成される第1の定義された地理エリア(又は別の定義された地理エリア)の第2の地図表示である。第2の地図表示は、第1の定義された地理エリア内で、車両地図指示部として第2の制御局に割り当てられる車両を示すための車両地図指示部を含む。第2の地図表示は、各第2の状態表示と同時に表示され得る。動作13030において、各第1のレベルの制御局の第1の地図表示の一部を選択する入力が受信される。例えば、入力は、入力デバイスからの選択信号を含み得る。
動作13040において、第1の状態表示の状態指示部は、動作13030の選択に対応してクラスタ化される。各第1のレベルの制御局の第1の状態表示の状態指示部は、第1の地図表示の選択された部分の場所に対して第1のレベルの制御局に割り当てられる車両のそれらの各場所に基づいてクラスタ化される。例えば、互いの既定の距離内にある車両は、互いの既定の距離内にある車両を包含する又は取り囲む第1の地図表示の一部を選択することにより互いにクラスタ化され得る。1つの実装では、状態指示部のクラスタ化は、状態データ又は観測データ又は好みに基づき得る。
動作13050において、命令データは、クラスタ内の全て又は一部の車両に送信される。1つの実装では、命令データは、第1の車両に送られ又は送信された命令データに基づいて第2の車両に送信される。命令データは、車両を制御し又は通信するための命令を含み、図11の技術11000に記載された命令データを含み得る。1つの実装では、命令データの送信は、第1の車両を表す第1の状態指示と共通のクラスタにおける第2の車両を表す第2の状態指示部への入力に基づいて開始され得る。
図14は、本開示による遠隔サポートのための方法14000を示す。方法14000は、14010によって、車両から状態データを受信すること、14020によって、第1のレベルの制御局に対して、各状態指示部として第1のレベルの制御局の各々に割り当てられる車両の一部から状態データを表示する各第1の状態表示を生成すること、14030によって、第2のレベルの制御局に対して、車両の状態データを表示する第2の状態表示を生成すること、14040によって、複数の車両の中の第1の車両から受信した画像データ及び第1の状態表示を含む遠隔サポートインターフェースを生成すること、14050によって、第1の状態表示の1つにおける第1の車両を表す状態指示部を使用して、第1の車両が遠隔サポートを必要とすることの指示に基づいて第1の車両に命令データを送信することであって、命令データは、一旦第1の車両によって受信されると、第1の車両の自律操作を修正すること、及び14060によって、第2の状態表示の状態指示部を使用して車両を割り当てることにより、第1のレベルの制御局間で作業負荷を割り当てることを含む。
本開示の技術は、交通ネットワークにおける自律走行車の動作に関するデータをより効果的に管理するための有益なやり方を提供する。本開示の技術は、通過中の車両により効果的に経路を与え、かつ外部要因によって悪影響を受けるか又は誤作動を起こしている車両を支援するために、車両を優先順位付けするために使用され得る自律走行車の状態を示す状態データを受信し得る。さらに、人間のオペレータが自律走行車を遠隔制御することにより、交通ネットワークにおける混乱を減らすための改良されたやり方を提供する。
本開示の技術は所定の実施形態との関連で記載されているが、本開示の技術は、開示された実施形態に限定されず、それどころか添付の請求項の範囲内に含まれる様々な修正及び均等な構成をも含むことが意図されており、その範囲は法の下に認められる全てのこのような修正及び均等な構成を包含するように最も広い解釈に一致させられることが理解されるべきである。

Claims (20)

  1. メモリと、
    プロセッサと
    を備え、前記プロセッサは前記メモリに記憶されている命令を実行して、
    複数の車両から状態データを受信すること、
    地理エリア内の前記車両の一部を表す車両地図指示部及び地理エリアの表現を含む第1の地図表示を生成すること、
    状態指示部として前記車両の一部の表現を含む第1の状態表示を生成すること、
    前記車両の一部の中の第1の車両から受信した画像データ及び前記第1の状態表示を含む遠隔サポートインターフェースを生成することであって、前記遠隔サポートインターフェースは、前記第1の状態表示から前記第1の車両の第1の状態指示部への入力信号に応答すること、及び
    前記遠隔サポートインターフェースへの前記入力信号に基づいて前記第1の車両の自律操作を修正するための命令データを前記第1の車両に送信すること
    を行うように構成される、遠隔サポート装置。
  2. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記状態データに基づいて緊急性のレベルに従って前記車両をランク付けすること、及び
    前記状態指示部に対応する前記緊急性のレベルに基づいて前記第1の状態表示に前記状態指示部を配置すること
    を行うようにさらに構成される、請求項1に記載の装置。
  3. 前記車両は、各遠隔サポートキューに割り当てられ、前記プロセッサは、前記メモリに記憶されている命令を実行して、
    レーンを表示することにより前記第1の状態表示を生成することであって、各レーンは各遠隔サポートキューに対応し、前記状態指示部は前記遠隔サポートキューに対応する少なくとも1つの車両の割り当てに基づいて前記レーンに配置されること
    を行うようにさらに構成される、請求項2に記載の装置。
  4. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    第1の遠隔サポートキューを表す第1のレーンから第2の遠隔サポートキューを表す第2のレーンに各状態指示部を移動させることにより、前記第1の遠隔サポートキューから前記第2の遠隔サポートキューに車両を割り当てること
    を行うようにさらに構成される、請求項3に記載の装置。
  5. 前記第1の状態表示は、前記第1の地図表示と同時に表示される、請求項1に記載の装置。
  6. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記第1の車両から支援の要求を受信すること、及び
    前記支援の要求に応答して、前記第1の状態表示において前記第1の状態指示部の外観を変化させること
    を行うようにさらに構成される、請求項1に記載の装置。
  7. 前記画像データは、前記第1の車両の外部の環境の画像及び前記第1の車両の中の乗員の画像のいずれかを含むカメラ画像を含み、前記遠隔サポートインターフェースは前記カメラ画像を表示する、請求項1に記載の装置。
  8. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記第1の車両の外部の前記環境の前記画像を表す地図データを含むことにより前記遠隔サポートインターフェースを生成すること、及び
    前記第1の車両のナビゲーションに使用するために前記地図データの中の仮想レーンを前記第1の車両に送信することにより、前記第1の車両の前記自律操作を修正するための前記命令データを前記第1の車両に送信すること
    を行うようにさらに構成される、請求項7に記載の装置。
  9. メモリと、
    プロセッサと
    を備え、前記プロセッサは前記メモリに記憶されている命令を実行して、
    複数の車両から状態データを受信すること、
    前記車両の遠隔サポートに対する緊急性のレベルに基づいて前記車両をランク付けすることであって、前記緊急性のレベルは前記状態データを使用して決定されること、
    前記緊急性のレベルに基づいて配置される各状態指示部として前記車両の少なくとも一部の前記状態データを表示する第1の状態表示を生成すること、
    前記車両の少なくとも一部の中の第1の車両から受信した画像データ及び前記第1の状態表示を含む遠隔サポートインターフェースを生成することであって、前記遠隔サポートインターフェースは前記第1の状態表示から前記第1の車両の第1の状態指示部への入力信号に応答すること、及び
    前記遠隔サポートインターフェースを使用して前記第1の車両に信号を送信すること
    を行うようにさらに構成される、遠隔サポート装置。
  10. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    緊急性のレベルの増加に従って前記第1の状態表示の下方部から前記第1の状態表示の上方部に前記車両の少なくとも一部を表す前記状態指示部を配置することにより前記第1の状態表示を生成すること
    を行うようにさらに構成される、請求項9に記載の装置。
  11. 前記車両は、各遠隔サポートキューに割り当てられ、前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記車両の各々の各状態指示部を表示するように前記第1の状態表示を生成すること、及び
    前記車両の現在のタスク、前記車両が遠隔サポートを受けているかを示す前記車両の動作モード、前記現在のタスクの予測される進行からの前記車両のずれ、前記ずれが前記予測される進行よりも進んでいるか又は遅れているか、及び前記車両の動作に関連する問題のいずれかを表示することにより車両の前記状態データを表示することであって、前記表示は、前記第1の状態表示における前記車両を表す状態指示部の少なくとも一部の色、形状、及びサイズの少なくとも1つを利用すること
    を行うようにさらに構成される、請求項9に記載の装置。
  12. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    車両地図指示部として定義地理エリアの中のこれらの車両を表示する定義地理エリアの第1の地図表示を生成することであって、前記第1の地図表示は前記第1の状態表示と同時に表示されること
    を行うようにさらに構成される、請求項11に記載の装置。
  13. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    各車両に関連付けられる状態指示部への入力に応答して、前記第1の地図表示の中の各車両を表す車両地図指示部の外観を修正すること、及び
    前記車両地図指示部への入力に応答して、前記第1の状態表示の中の前記各車両を表す前記状態指示部の外観を修正すること
    を行うようにさらに構成される、請求項12に記載の装置。
  14. 前記車両は、各遠隔サポートキューに割り当てられ、前記命令は、
    前記緊急性のレベルに基づいて配置される各状態指示部として遠隔サポートキューに割り当てられるこれらの車両の前記状態データを表示する遠隔サポートキューのための第2の状態表示を生成すること、及び
    車両地図指示部として前記遠隔サポートキューに割り当てられ、第2の定義地理エリアの中のこれらの車両を表示する第2の定義地理エリアの第2の地図表示を生成することであって、前記第2の地図表示は前記第2の状態表示と同時に表示されること
    を行うための命令を含む、請求項12に記載の装置。
  15. 前記第1の状態表示の前記状態指示部は、前記第2の状態表示の前記状態指示部を含み、前記第1の状態表示の状態指示部の要素は、前記第2の状態表示の前記状態指示部の要素のサブセットを含む、請求項14に記載の装置。
  16. 前記状態データは、前記車両の現在のタスク、前記車両が遠隔サポートを受けているかどうかを示す前記車両の動作モード、前記現在のタスクを完了するための予測される進行、前記現在のタスクを完了するための実際の進行、前記実際の進行と前記予測される進行との間のずれを示す進行指示部、前記車両が早い、遅い又は時間通りであるかどうかを示す進行指示部、及び前記車両の動作に関連する問題のいずれかを含む、請求項15に記載の装置。
  17. 前記第2の状態表示における前記車両を表す前記状態指示部は、前記現在のタスクを完了するための予測される時間量に基づく長さを有する時間スケールを含み、前記時間スケールは、実際の進行を表す線及び前記線から延びて、ずれを示す前記時間スケールの長さに沿う進行指示部を含み、前記進行指示部の色は、前記車両が早い、遅い及び時間通りのいずれかであるかどうかを示す、請求項16に記載の装置。
  18. 複数の車両の自律操作の遠隔サポートのための方法であって、
    前記車両から状態データを受信するステップと、
    複数の第1のレベルの制御局に対して、各状態指示部として前記第1のレベルの制御局の各々に割り当てられる前記車両の一部から前記状態データを表示する各第1の状態表示を生成するステップと、
    第2のレベルの制御局に対して、前記車両の前記状態データを表示する第2の状態表示を生成するステップと、
    前記車両の中の第1の車両から受信した画像データ及び前記第1の状態表示を含む遠隔サポートインターフェースを生成するステップと、
    前記遠隔サポートインターフェースを使用して、前記第1の車両が遠隔サポートを必要とすることの指示に基づいて前記第1の車両に命令データを送信するステップであって、前記命令データは、一旦前記第1の車両によって受信されると、前記第1の車両の自律操作を修正するステップと、
    前記第2の状態表示の前記状態指示部を使用して前記車両を割り当てることにより、前記第1のレベルの制御局間で作業負荷を割り当てるステップと
    を含む、方法。
  19. 前記第1のレベルの制御局に対して、車両地図指示部として前記第1のレベルの制御局の各々に割り当てられ、第1の定義地理エリアの中でこれらの車両を表示する第1の定義地理エリアの各第1の地図表示を生成するステップであって、前記各第1の地図表示は、前記各第1の状態表示と同時に表示されるステップと、
    前記第2のレベルの制御局に対して、車両地図指示部として第2の定義地理エリアの中のこれらの車両を表示する第2の定義地理エリアの第2の地図表示を生成するステップであって、前記第2の地図表示は前記第2の状態表示と同時に表示されるステップと
    をさらに含む、請求項18に記載の方法。
  20. 第1のレベルの制御局の第1の地図表示の一部の選択を受信するステップと、
    前記第1の地図表示の一部の場所に対して前記第1のレベルの制御局に割り当てられるこれらの車両の各場所に基づいて前記第1のレベルの制御局の前記第1の状態表示の前記状態指示部をクラスタ化するステップと、
    前記第1の車両を表す前記状態指示部と共通するクラスタにおける第2の車両を表す第2の状態指示部を使用して、前記第1の車両に送信された命令データに基づいて前記第2の車両に命令データを送信するステップと
    をさらに含む、請求項19に記載の方法。
JP2019529540A 2016-11-30 2017-11-30 自律走行車の遠隔サポートマッピングインターフェース Active JP6732130B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662428026P 2016-11-30 2016-11-30
US62/428,026 2016-11-30
PCT/US2017/063816 WO2018102475A1 (en) 2016-11-30 2017-11-30 Autonomous vehicle remote support mapping interface

Publications (2)

Publication Number Publication Date
JP2020513621A true JP2020513621A (ja) 2020-05-14
JP6732130B2 JP6732130B2 (ja) 2020-07-29

Family

ID=62242247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529540A Active JP6732130B2 (ja) 2016-11-30 2017-11-30 自律走行車の遠隔サポートマッピングインターフェース

Country Status (7)

Country Link
US (2) US10591912B2 (ja)
EP (1) EP3548843B1 (ja)
JP (1) JP6732130B2 (ja)
CN (1) CN110192083B (ja)
BR (1) BR112019010737A2 (ja)
MX (1) MX2019006183A (ja)
WO (1) WO2018102475A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210027625A1 (en) * 2019-07-23 2021-01-28 Toyota Jidosha Kabushiki Kaisha Image display device
JP2022137988A (ja) * 2021-03-09 2022-09-22 トヨタ自動車株式会社 車両制御システム及び車両制御方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3548843B1 (en) * 2016-11-30 2021-01-20 Nissan North America, Inc. Interface for mapping remote support to autonomous vehicles
JP7050006B2 (ja) * 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
JP2020530618A (ja) * 2017-08-07 2020-10-22 ニッサン ノース アメリカ,インク 自律車両の通知のシステムと方法
CN107957259B (zh) * 2017-10-26 2019-06-04 深圳大学 轮迹横向分布测量系统及测量方法
US20190187691A1 (en) 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request
US10775806B2 (en) * 2017-12-22 2020-09-15 Lyft, Inc. Autonomous-vehicle dispatch based on fleet-level target objectives
US20210116907A1 (en) * 2018-03-18 2021-04-22 Driveu Tech Ltd. Device, System, and Method of Autonomous Driving and Tele-Operated Vehicles
JP7243087B2 (ja) * 2018-09-04 2023-03-22 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
EP3621310A1 (en) * 2018-09-10 2020-03-11 Panasonic Intellectual Property Corporation of America Video transmitting device, video transmitting method, and program
US11499837B2 (en) 2018-09-30 2022-11-15 Strong Force Intellectual Capital, Llc Intelligent transportation systems
WO2020069517A2 (en) 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
US20200342419A1 (en) * 2019-04-29 2020-10-29 Lyft, Inc. Intelligent management of one or more machines of a vehicle service center
WO2021042049A1 (en) * 2019-08-30 2021-03-04 Optimus Ride, Inc. Monitor assignment system and method
JP7226238B2 (ja) * 2019-10-15 2023-02-21 トヨタ自動車株式会社 車両制御システム
US11274936B2 (en) * 2019-11-14 2022-03-15 Nissan North America, Inc. Safety-assured remote driving for autonomous vehicles
EP3965443A1 (en) 2020-09-08 2022-03-09 Volkswagen Ag Vehicles, methods, computer programs, and apparatuses for resolving a deadlock traffic situation of an automatically operated vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008076310A (ja) * 2006-09-22 2008-04-03 Nissan Motor Co Ltd 経路案内表示装置及び経路案内方法
WO2013128920A1 (ja) * 2012-02-27 2013-09-06 ヤマハ発動機株式会社 運転状態共有装置および運転状態共有システム
JP2015509195A (ja) * 2012-01-20 2015-03-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド インテリジェントナビゲーションシステム
JP2016095851A (ja) * 2014-11-13 2016-05-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 自律的な乗客用の乗り物のためのコンピューティング装置、コンピュータにより実施される方法及びシステム
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957745B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428867B2 (en) * 2007-08-30 2013-04-23 Wirelesswerx International, Inc. Configuring and using multi-dimensional zones
CA2849739C (en) * 2011-09-22 2018-09-04 Aethon, Inc. Monitoring, diagnostic and tracking tool for autonomous mobile robots
US20140210646A1 (en) * 2012-12-28 2014-07-31 Balu Subramanya Advanced parking and intersection management system
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9547989B2 (en) * 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
US9404761B2 (en) 2014-05-30 2016-08-02 Nissan North America, Inc. Autonomous vehicle lane routing and navigation
DE102015003181A1 (de) * 2015-03-12 2016-09-15 Man Truck & Bus Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeugs, insbesondere eines Nutzfahrzeugs
KR101682880B1 (ko) * 2015-03-19 2016-12-20 현대자동차주식회사 차량 및 이를 포함하는 원격 차량 조작 시스템
CN104898497B (zh) * 2015-04-10 2018-06-26 北京林业大学 消防车远程控制终端
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
US10379533B2 (en) * 2016-01-04 2019-08-13 GM Global Technology Operations LLC System and method for autonomous vehicle fleet routing
WO2017138920A1 (en) * 2016-02-09 2017-08-17 Ford Global Technologies, Llc Apparatus and method for an autonomous vehicle to follow an object
EP3548843B1 (en) * 2016-11-30 2021-01-20 Nissan North America, Inc. Interface for mapping remote support to autonomous vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008076310A (ja) * 2006-09-22 2008-04-03 Nissan Motor Co Ltd 経路案内表示装置及び経路案内方法
JP2015509195A (ja) * 2012-01-20 2015-03-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド インテリジェントナビゲーションシステム
WO2013128920A1 (ja) * 2012-02-27 2013-09-06 ヤマハ発動機株式会社 運転状態共有装置および運転状態共有システム
JP2016095851A (ja) * 2014-11-13 2016-05-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 自律的な乗客用の乗り物のためのコンピューティング装置、コンピュータにより実施される方法及びシステム
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957745B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210027625A1 (en) * 2019-07-23 2021-01-28 Toyota Jidosha Kabushiki Kaisha Image display device
US11636762B2 (en) * 2019-07-23 2023-04-25 Toyota Jidosha Kabushiki Kaisha Image display device
JP2022137988A (ja) * 2021-03-09 2022-09-22 トヨタ自動車株式会社 車両制御システム及び車両制御方法
JP7351320B2 (ja) 2021-03-09 2023-09-27 トヨタ自動車株式会社 車両制御システム及び車両制御方法

Also Published As

Publication number Publication date
MX2019006183A (es) 2019-09-11
US20190294159A1 (en) 2019-09-26
BR112019010737A2 (pt) 2019-10-01
CN110192083A (zh) 2019-08-30
WO2018102475A4 (en) 2018-07-26
US10591912B2 (en) 2020-03-17
JP6732130B2 (ja) 2020-07-29
CN110192083B (zh) 2020-09-08
EP3548843A4 (en) 2019-12-11
WO2018102475A1 (en) 2018-06-07
EP3548843B1 (en) 2021-01-20
US11378952B2 (en) 2022-07-05
US20200218255A1 (en) 2020-07-09
EP3548843A1 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
JP6732130B2 (ja) 自律走行車の遠隔サポートマッピングインターフェース
US11307597B2 (en) Tele-operation of autonomous cars to negotiate problem situations
JP6726363B2 (ja) 生成されたインターフェースを使用する自律走行車の監視
JP2019537159A5 (ja)
JP2021509648A (ja) 自律走行車の意思決定のための交通ネットワークインフラストラクチャ
US10935973B2 (en) Generation of solution data for autonomous vehicles to negotiate problem situations
US20200101974A1 (en) Device and method for selecting optimal travel route based on driving situation
JP2021512304A (ja) 自律走行車のバッチ経路指定のためのコンピュータフレームワーク
US20220032961A1 (en) Systems and Methods for Autonomous Vehicle Motion Control and Motion Path Adjustments
US20220063660A1 (en) Drive Mode Selection
JP6967672B2 (ja) 既存の経路を目的地まで延長する遠隔操作

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190722

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190722

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200707

R150 Certificate of patent or registration of utility model

Ref document number: 6732130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350