JP2022530032A - 自律車両用の適応的モバイル遠隔通信のためのシステムおよび方法 - Google Patents

自律車両用の適応的モバイル遠隔通信のためのシステムおよび方法 Download PDF

Info

Publication number
JP2022530032A
JP2022530032A JP2021562955A JP2021562955A JP2022530032A JP 2022530032 A JP2022530032 A JP 2022530032A JP 2021562955 A JP2021562955 A JP 2021562955A JP 2021562955 A JP2021562955 A JP 2021562955A JP 2022530032 A JP2022530032 A JP 2022530032A
Authority
JP
Japan
Prior art keywords
land vehicle
communication
autonomous
communication capacity
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021562955A
Other languages
English (en)
Other versions
JPWO2020219236A5 (ja
Inventor
シェン・イー
ジルー・カルヴィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuro Inc
Original Assignee
Nuro Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuro Inc filed Critical Nuro Inc
Publication of JP2022530032A publication Critical patent/JP2022530032A/ja
Publication of JPWO2020219236A5 publication Critical patent/JPWO2020219236A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/0215Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

【解決手段】本開示の態様に従った自律陸上車両は、陸上車両輸送システムと、少なくとも2つの遠隔通信デバイスと、周囲環境の画像データをキャプチャするよう構成された撮像デバイスと、画像データをエンコードするよう構成されたビデオエンコーダと、1または複数のプロセッサと、命令を格納する少なくとも1つのメモリと、を備える。遠隔通信デバイスは、互いに独立的に無線通信を実行でき、無線通信を同時に実行できる。命令は、1または複数のプロセッサによって実行されると、車両に、輸送システムを用いて移動させ、輸送システムが移動を実行している間に、遠隔通信デバイスの通信容量を決定させ、通信容量に基づいて、ビデオエンコーダのための圧縮率を決定させ、エンコード済みデータを生成するために、圧縮率に基づいてビデオエンコーダを用いて画像データをエンコードさせ、通信容量に基づいて、少なくとも1つの遠隔通信デバイスを用いてエンコード済みデータを通信させる。【選択図】図1

Description

本願は、自律車両に関し、特に、自律車両上の適応的モバイル遠隔通信に関する。
完全自律型および/または半自律型ロボットの分野は、成長中のイノベーション分野である。ロボットは、倉庫の在庫品業務、家庭用掃除機ロボット、病院搬送ロボット、衛生ロボット、ならびに、軍事または防衛用途など、多くの目的に利用されている。
消費者空間において、自律車両による商品およびサービスの取り扱いおよび配達が、多くの方法で社会を改善しうる。例えば、時間を掛けて店舗へ行くのではなく、人は、その代わり、自律車両が商品および/またはサービスを配達するのを待つ間に生産的な仕事に従事できる。道路に車両が少なくなり、交通状態も改善することになる。例えば、数人の人が数台の車両で店舗へ行くのではなく、1台の自律車両が、商品および/またはサービスをそれらの人々に配達することにより、道路上の車両の数を削減できる。自律車両のその他の利用および応用が、技術の進歩と共に可能になる。したがって、自律車両のための技術開発に関心が持たれている。
本開示は、完全自律および/または半自律ロボット車両に関する。一態様において、本開示は、自律車両が、複数の遠隔通信デバイスを用いて、および/または、適応データ圧縮を用いて、異なる通信環境で通信するためのシステムおよび方法を提供している。
本開示の態様によると、自律ロボット車両が、陸上車両輸送システムと、互いに独立的に無線通信を実行するよう構成され、陸上車両輸送システムが移動を実行している間に無線通信を同時に実行できる少なくとも2つの通信デバイスと、周囲環境の画像データをキャプチャするよう構成された撮像デバイスと、画像データをエンコードするよう構成されたビデオエンコーダと、1または複数のプロセッサと、1または複数のプロセッサに接続された少なくとも1つのメモリと、を備える。メモリは、命令を格納しており、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、陸上車両輸送システムを用いて移動させ、陸上車両輸送システムが移動を実行している間に、少なくとも2つの遠隔通信デバイスの通信容量を決定させ、通信容量に基づいて、ビデオエンコーダのための圧縮率を決定させ、エンコード済みデータを生成するために、圧縮率に基づいてビデオエンコーダを用いて画像データをエンコードさせ、通信容量に基づいて、少なくとも2つの遠隔通信デバイスの内の少なくとも1つを用いてエンコード済みデータを通信させる。
様々な実施形態において、通信容量は、少なくとも2つの遠隔通信デバイスの総通信容量を含む。様々な実施形態において、より低い第1総通信容量に対する圧縮率は、より高い第2総通信容量に対する圧縮率よりも高い。様々な実施形態において、圧縮率は、通信容量が圧縮なしで画像データを通信するのに十分である場合に、非圧縮である。
様々な実施形態において、ビデオエンコーダのための圧縮率を決定する際に、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、陸上車両輸送システムの移動速度にさらに基づいて圧縮率を決定させる。様々な実施形態において、より低い第1移動速度に対する圧縮率は、より高い第2移動速度に対する圧縮率よりも低い。
様々な実施形態において、少なくとも2つの遠隔通信デバイスの通信容量を決定する際に、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、少なくとも2つの遠隔通信デバイスの内の遠隔通信デバイスで通信が不安定であると判定させ、少なくとも2つの遠隔通信デバイスの内の少なくとも1つを用いてエンコード済みデータを通信する際に、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、不安定な通信を有する遠隔通信デバイスを利用せずにエンコード済みデータを通信させる。
様々な実施形態において、エンコード済みデータを通信する際に、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、少なくとも2つの遠隔通信デバイスを同時に用いてエンコード済みデータを通信させる。
様々な実施形態において、少なくとも2つの遠隔通信デバイスを用いてエンコード済みデータを通信する際に、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、エンコード済みデータをパケットにするように処理させ、パケットを少なくとも2つの遠隔通信デバイスに分配させる。
様々な実施形態において、少なくとも2つの遠隔通信デバイスの通信容量を決定する際に、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、少なくとも2つの遠隔通信デバイスの通信容量を連続的に決定させ、ビデオエンコーダのための圧縮率を決定する際に、命令は、1または複数のプロセッサによって実行されると、自律陸上車両に、通信容量に基づいてビデオエンコーダのための圧縮率を連続的に決定させる。
様々な実施形態において、通信容量を連続的に決定する時間間隔および圧縮率を連続的に決定する時間間隔は、陸上車両輸送システムの移動速度に基づいている。
様々な実施形態において、より高い第1移動速度に対する、通信容量を連続的に決定する時間間隔および圧縮率を連続的に決定する時間間隔は、より低い第2移動速度に対する、通信容量を連続的に決定する時間間隔および圧縮率を連続的に決定する時間間隔よりも短い。
本開示の態様によると、自律陸上車両のための方法が開示されており、自律陸上車両は、陸上車両輸送システムと、互いに独立的に無線通信を実行するよう構成され、自律車両が移動を実行している間に無線通信を同時に実行できる少なくとも2つの通信デバイスと、を備える。方法は、自律車両の周囲環境の画像データをキャプチャする工程と、陸上車両輸送システムを用いて移動する工程と、陸上車両輸送システムが移動を実行している間に、少なくとも2つの遠隔通信デバイスの通信容量を決定する工程と、通信容量に基づいて、圧縮率を決定する工程と、エンコード済みデータを生成するために、圧縮率に基づいて画像データをエンコードする工程と、通信容量に基づいて、少なくとも2つの遠隔通信デバイスの内の少なくとも1つを用いてエンコード済みデータを通信する工程と、を備える。
様々な実施形態において、通信容量は、少なくとも2つの遠隔通信デバイスの総通信容量を含む。様々な実施形態において、より低い第1総通信容量に対する圧縮率は、より高い第2総通信容量に対する圧縮率よりも高い。
様々な実施形態において、圧縮率を決定する工程は、陸上車両輸送システムの移動速度にさらに基づいて圧縮率を決定する工程を含む。様々な実施形態において、より低い第1移動速度に対する圧縮率は、より高い第2移動速度に対する圧縮率よりも低い。
様々な実施形態において、方法は、エンコード済みデータをパケットにするように処理する工程と、パケットを少なくとも2つの遠隔通信デバイスに分配する工程と、を備える。
様々な実施形態において、少なくとも2つの遠隔通信デバイスの通信容量を決定する工程は、少なくとも2つの遠隔通信デバイスの通信容量を連続的に決定する工程を含み、圧縮率を決定する工程は、通信容量に基づいて圧縮率を連続的に決定する工程を含む。
様々な実施形態において、通信容量を連続的に決定する時間間隔および圧縮率を連続的に決定する時間間隔は、陸上車両輸送システムの移動速度に基づいている。
本開示の典型的な実施形態のさらなる詳細および態様については、添付の図面を参照しつつ以下で詳述する。
参照による引用
本明細書で言及するすべての出版物、特許、および、特許出願は、各出版物、特許、または、特許出願が、参照によって組み込まれることを具体的かつ個々に示された場合と同じ程度まで、参照によって本明細書に組み込まれる。
開示されている技術が利用されている実施形態を説明する以下の詳細な説明と、添付の図面とを参照することで、本技術の特徴および利点のより良い理解が得られる。
自律ロボットフリートを例示する図。
平均的な人の身長と比較して示す、図1の自律ロボットフリート内のロボット車両の正面図。
ロボットフリートのための中央サーバに関連するフリート管理制御モジュールのためのロジックを示すフローチャート。
フリート管理制御モジュールからロボットプロセッサを通してロボットの様々なシステムおよびモジュールに至るロジックの流れを示すフローチャート。
リモート人間オペレータシステムの一例を示す図。
図5のリモート人間オペレータシステムの視覚ディスプレイの一例を示す図。
自律モードとリモート操作モードとの間で切り替えを行う動作の一例を示すフローチャート。
図4の通信モジュールの構成要素例を示すブロック図。
自律車両の動作の一例を示すフローチャート。
本開示は、完全自律および/または半自律ロボットフリートと、自律車両が、複数の遠隔通信デバイスを用いて、および/または、適応データ圧縮を用いて、異なる通信環境で通信するのためのシステムおよび方法と、に関する。一態様において、本開示は、人間のオペレータによる自律車両のリモート操作のためのシステムおよび方法を提供する。完全自律または半自律車両のリモート操作は、様々な状況で適切でありうる。例えば、自律車両が、完全には地図化されていない宛先(例えば、大規模な企業または大学キャンパス、もしくは、公共公園など)へ行くことを要求された場合、自律車両は、どのように宛先に到達するのかを決定できない場合がある。したがって、人間のオペレータが自律車両をリモート操作することができれば、長所になる。しかしながら、人間のオペレータが自律車両から離れている状態で、人間オペレータと自律車両との間の通信が、可能な限り信頼できることが好ましい。リモートの人間オペレータの状況は例示であり、その他の状況も、自律車両との信頼できる通信を必要としうる。本開示の態様によると、自律車両が、複数の遠隔通信デバイスを用いて、および/または、適応データ圧縮を用いて、異なる通信環境で通信するためのシステムおよび方法が提供されている。
本明細書では、完全自律的または半自律的に動作するロボット車両と、ロボットフリートの調整のためのフリート管理モジュールとを有するロボットフリートが提供されており、ここで、フリート内の各ロボットは、商品またはサービスを輸送、配達、または、回収するよう構成され、非構造化開放環境または閉鎖環境内で動作できる。各ロボットは、電力システムと、輸送システムと、ナビゲーションモジュールと、物品を保持するための少なくとも1つのセキュリティ保護可能なコンパートメントまたは複数のセキュリティ保護可能なコンパートメントと、割り当て可能な顧客、市場内の顧客グループ、または、提供者に、セキュリティ保護可能なコンパートメントの各々を関連付け、許可された時にエントリ(利用)を許すよう構成されているコントローラと、通信モジュールと、輸送システム、ナビゲーションモジュール、センサシステム、通信モジュール、および、コントローラを管理するよう構成されているプロセッサと、を備えうる。
本明細書で用いられているように、「自律的」という用語は、完全自律、半自律、および、車両が人の介在なしに或る期間にわたって制御された方法で動作できる任意の構成、を含む。
本明細書で用いられているように、「フリート」、「サブフリート」などの用語は、一緒に動作するかまたは同じ所有者の下で動作する複数の陸上車両を示すために用いられる。いくつかの実施形態において、フリートまたはサブフリートは、同じ活動に従事する。いくつかの実施形態において、フリートまたはサブフリートは、同様の活動に従事する。いくつかの実施形態において、フリートまたはサブフリートは、異なる活動に従事する。
本明細書で用いられているように、「ロボット」、「ロボット車両」、「ロボットフリート」、「車両」、「全地形対応車」などの用語は、人、貨物、物品、および/または、商品を輸送する移動機械を示すために用いられる。典型的な車両は、陸上車両の中でも、乗用車、ワゴン、バン、無人自動車(例えば、三輪車、トラック、トレーラー、バスなど)、無人列車(例えば、列車、路面電車など)を含む。
本明細書で用いられているように、「ユーザ」、「オペレータ」、「フリートオペレータ」などの用語は、ロボットフリートを所有するか、または、管理および操作する責任のある実体を指すために用いられる。
本明細書で用いられているように、「顧客」という用語は、ロボットフリートを条件としてサービスを要求する実体を指すために用いられる。
本明細書で用いられているように、「提供者」、「企業」、「販売業者」、「サードパーティ販売業者」などの用語は、ロボットフリートのサービスを利用して、提供者の事業拠点または中継地から提供者の製品を配達する、および/または、そこへ製品を返送するために、フリートの所有者またはオペレータと協調して働く実体を示すために用いられる。
本明細書で用いられているように、「サーバ」、「コンピュータサーバ」、「中央サーバ」、「メインサーバ」などの用語は、フリート資源(すなわち、ロボット車両)を管理するネットワーク上のコンピュータまたはデバイスを示すために用いられる。
本明細書で用いられているように、「コントローラ」などの用語は、コンピュータから周辺デバイスへ、および、その逆への、データの転送を制御するデバイスを示すために用いられる。例えば、ディスクドライブ、ディスプレイスクリーン、キーボード、および、プリンタはすべて、コントローラを必要とする。パーソナルコンピュータにおいては、コントローラは、しばしば、シングルチップである。本明細書で用いられているように、コントローラは、一般に、ロボットの構成要素(セキュリティ保護可能なコンパートメントなど)へのアクセスを管理するために用いられる。
本明細書で用いられているように、「メッシュネットワーク」は、各ノードがネットワークのためのデータを中継するネットワークトポロジである。すべてのメッシュノードが、ネットワークにおけるデータの分配に協力する。有線および無線ネットワークの両方に適用されうる。無線メッシュネットワークは、或る種の「無線アドホック」ネットワークと見なすことができる。したがって、無線メッシュネットワークは、モバイルアドホックネットワーク(MANET)と密接に関連している。MANETは、特定のメッシュネットワークトポロジに制限されず、無線アドホックネットワークまたはMANETは、任意の形態のネットワークトポロジを取りうる。メッシュネットワークは、フラッディング技術またはルーティング技術のいずれかを用いてメッセージを中継できる。ルーティングでは、メッセージは、その宛先に到達するまで、ノードからノードへホッピングすることによって、パスに沿って伝搬される。そのパスのすべてが利用可能であることを保証するために、ネットワークは、連続的な接続を可能にすると共に、自己修復アルゴリズム(最短パスブリッジングなど)を用いて、壊れたパスの周りで自身を再構成しなければならない。自己修復は、ノードが壊れた場合、または、接続が信頼できなくなった場合に、ルーティングベースのネットワークが動作することを可能にする。結果として、しばしば、ネットワーク内でのソースと宛先との間に2以上の経路があるので、ネットワークは、通例、かなり信頼できるようになる。この概念は、有線ネットワーク、および、ソフトウェアのやりとり(相互作用)にも適用できる。ノードすべてが互いに接続されているメッシュネットワークが、完全に接続されたネットワークである。
本明細書で用いられているように、「モジュール」などの用語は、中央サーバの内蔵ハードウェア構成要素を示すために用いられ、中央サーバは、ソフトウェアモジュールを備える。ソフトウェアにおいて、モジュールは、プログラムの一部である。プログラムは、プログラムがリンクされるまで組み合わせられない1または複数の独立して開発されたモジュールで構成される。単一のモジュールが、1または複数のルーチン、すなわち、特定のタスクを実行するプログラムのセクション、を含みうる。本明細書で用いられているように、フリート管理モジュールは、ロボットフリートの様々な側面および機能を管理するためのソフトウェアモジュールを備える。
本明細書で用いられているように、「プロセッサ」、「デジタル処理デバイス」などの用語は、マイクロプロセッサまたは中央処理装置(CPU)を示すために用いられる。CPUは、命令によって特定される四則演算、論理、制御、および、入力/出力(I/O)動作を実行することにより、コンピュータプログラムの命令を実行するコンピュータ内の電子回路である。
本明細書の記載によれば、適切なデジタル処理デバイスは、非限定的な例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、セットトップコンピュータ、ハンドヘルドコンピュータ、インターネット家電、モバイルスマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント、ビデオゲームコンソール、および、車両を含む。当業者であれば、多くのスマートフォンが本明細書に記載のシステムでの利用に適していることがわかる。適切なタブレットコンピュータは、ブックレット、スレート、および、当業者に周知の同義の構成備えたものを含む。
いくつかの実施形態において、デジタル処理デバイスは、実行可能な命令を実行するよう構成されているオペレーティングシステムを備える。オペレーティングシステムは、例えば、プログラムおよびデータを含むソフトウェアであり、デバイスのハードウェアを管理し、アプリケーションの実行のためのサービスを提供する。当業者であれば、適切なサーバオペレーティングシステムは、非限定的な例として、FreeBSD、OpenBSD、NetBSD(登録商標)、Linux、Apple(登録商標)Mac OS X Server(登録商標)、Oracle(登録商標)Solaris(登録商標)、Windows Server(登録商標)、および、Novell(登録商標)NetWare(登録商標)を含むことがわかる。当業者であれば、適切なパーソナルコンピュータオペレーティングシステムは、非限定的な例として、Microsoft(登録商標)Windows(登録商標)、Apple(登録商標)Mac OS X(登録商標)、UNIX(登録商標)、および、UNIX様オペレーティングシステム(GNU/Linux(登録商標)など)を含むことがわかる。いくつかの実施形態において、オペレーティングシステムは、クラウドコンピューティングによって提供される。当業者であれば、適切なモバイルスマートフォンオペレーティングシステムは、非限定的な例として、Nokia(登録商標)Symbian(登録商標)OS、Apple(登録商標)iOS(登録商標)、Research In Motion(登録商標)BlackBerry OS(登録商標)、Google(登録商標)Android(登録商標)、Microsoft(登録商標)Windows Phone(登録商標)OS、Microsoft(登録商標)Windows Mobile(登録商標)OS、Linux(登録商標)、および、Palm(登録商標)WebOS(登録商標)を含むことがわかる。
いくつかの実施形態において、デバイスは、ストレージおよび/またはメモリデバイスを備える。ストレージおよび/またはメモリデバイスは、一時的または永続的にデータまたはプログラムを格納するために用いられる1または複数の物理装置である。いくつかの実施形態において、デバイスは、揮発性メモリであり、格納された情報を維持するために電力を必要とする。いくつかの実施形態において、デバイスは、不揮発性メモリであり、デジタル処理デバイスが電力供給されていない時に、格納された情報を保持する。いくつかの実施形態において、不揮発性メモリは、フラッシュメモリを含む。いくつかの実施形態において、不揮発性メモリは、ダイナミックランダムアクセスメモリ(DRAM)を含む。いくつかの実施形態において、不揮発性メモリは、強誘電体ランダムアクセスメモリ(FRAM(登録商標))を含む。いくつかの実施形態において、不揮発性メモリは、相変化ランダムアクセスメモリ(PRAM)を含む。いくつかの実施形態において、デバイスは、非限定的な例として、CD-ROM、DVD、フラッシュメモリデバイス、磁気ディスクドライブ、磁気テープドライブ、光学ディスクドライブ、および、クラウドコンピューティングベースのストレージを含む、ストレージデバイスである。いくつかの実施形態において、ストレージおよび/またはメモリデバイスは、複数のデバイス(本明細書に開示したデバイスなど)の組み合わせである。
いくつかの実施形態において、デジタル処理デバイスは、ユーザに視覚情報を送信するためのディスプレイを備える。いくつかの実施形態において、ディスプレイは、ブラウン管(CRT)である。いくつかの実施形態において、ディスプレイは、液晶ディスプレイ(LCD)である。いくつかの実施形態において、ディスプレイは、薄膜トランジスタ液晶ディスプレイ(TFT-LCD)である。いくつかの実施形態において、ディスプレイは、有機発光ダイオード(OLED)ディスプレイである。様々な実施形態において、OLEDディスプレイは、パッシブマトリクスOLED(PMOLED)またはアクティブマトリクスOLED(AMOLED)ディスプレイである。いくつかの実施形態において、ディスプレイは、プラズマディスプレイである。いくつかの実施形態において、ディスプレイは、ビデオプロジェクタである。いくつかの実施形態において、ディスプレイは、ユーザ相互作用/ジェスチャ/応答などを検出できるインタラクティブなディスプレイである(例えば、タッチスクリーン、もしくは、カメラ、3Dセンサ、LiDAR、レーダなどのセンサを有する)。また、いくつかの実施形態において、ディスプレイは、複数のデバイス(本明細書に開示したデバイスなど)の組み合わせである。
ロボット車両のフリート
本明細書では、図1に示すようなロボットフリート100が提供されており、ロボットフリート100は、ロボット車両101を有しており、各ロボット車両101は、完全自律的または半自律的に動作する。
図2に示すように、ロボット101の構成の一例は、陸上走行用に構成されている車両(小型完全自律(または半自律)自動車など)である。完全自律(または半自律)自動車の例は、幅が狭く(すなわち、2~5フィート(0.61~1.52メートル)幅)、軽量で、安定のために低重心であり、1または複数の顧客、小売業者、および/または、販売業者に割り当て可能な複数のセキュリティ保護可能なコンパートメントを有し、市街および住宅地の運転速度に対応するために中程度の作業速度範囲(すなわち、1.0~45.0mph(1.6~72.4km/h))に向けて設計されている。さらに、いくつかの実施形態において、フリート内の陸上車両ロボットユニットは、高速での州内または州間の運転のために1.0mph~約90.0mph(1.6~144.8km/h)の最高速度範囲を持つよう構成される。フリート内の各ロボットは、どこに安全に進むことができるのか、どのような他の物体が各ロボットの周りにあるのか、および、何をしてもよいのか、を常に決定するために、オンボードセンサ(例えば、(ビデオと同様に、高フレームレートで動作する)カメラ、LiDAR、レーダ、超音波センサ、マイクなど)と、内部コンピュータ処理と、を備える。
いくつかの実施形態において、ロボットフリートは、完全自律型である。
いくつかの実施形態において、ロボットフリートは、半自律型である。いくつかの実施形態において、図3に示すように、前もって予測できない問題(例えば、ナビゲーションモジュールとの誤作動、提供者の在庫の問題、不測の交通または道路条件、もしくは、ロボットが顧客の位置に到着した後の直接的な顧客とのやりとり(相互作用))に対処するために、ロボット101と、フリートオペレータ、提供者204、および/または、顧客202との間で、人間とのやりとり(相互作用)を行う必要がありうる。
いくつかの実施形態において、ロボットフリート100は、ユーザ202によって直接制御される。いくつかの実施形態において、メンテナンスの問題(機械的故障、電気的故障、または、交通事故など)に対処するために、ロボット101および/またはフリートオペレータの間で、直接的な人間とのやりとり(相互作用)を行う必要がありうる。人間のオペレータによるロボット車両のリモート操作に関する本開示の態様については、図5~図7に関連して詳述する。
いくつかの実施形態において、ロボットフリートは、陸上走行用に構成される。いくつかの実施形態において、フリート内の各ロボット陸上車両は、13.0mph~45.0mph(20.92~72.4km/h)の作業速度範囲を持つよう構成される。いくつかの実施形態において、フリート内の陸上車両ロボットユニットは、13.0mph~約90.0mph(20.92~144.8km/h)の最高速度範囲を持つよう構成される。
ロボットフリートのいくつかの実施形態において、フリート内の自律ロボットは、サードパーティ販売業者/サービス提供者のために運転される。
例えば、フリート管理サービスが、サードパーティ飲料/食品提供者のための移動配達サービス(例えば、サードパーティ販売業者のためのコーヒーサービス/体験)を提供するために構築される。フリート管理サービスは、完全自律的または半自律的のいずれかで動作してこのサービスを提供するように、サードパーティ飲料/食品提供者のロゴおよび製品を運ぶ「ホワイトラベル」車両のサブフリートを提供することが想定される。
ロボットフリートのいくつかの実施形態において、フリート内の自律ロボットは、さらに、自律ロボットのサブフリートの一部であるように構成され、各サブフリートは、独立的に、または、2以上のサブフリートを有する複数のサブフリートとタンデムで動作するよう構成される。
例えば、荷物配達サービスは、「即時専用急行サービス」、「午前/午後配達保証サービス」、または、「一般配達サービス」など、複数レベルサービスを提供するよう構成される。そして、サービス提供者は、車両フリート全体の中で、サービスの各タイプに専用の配達車両のサブフリートを持つことができる。さらに別の例では、サードパーティが、フリート内の特定数の車両の優先権を有する。そうすることで、特定レベルの応答性を保証できる。それらのサードパーティが車両を利用しない時、車両は、フリート内の一般サービスに(例えば、他のサードパーティのために)利用される。
いくつかの実施形態において、ロボットフリートは、ユーザによって直接制御される。
いくつかの実施形態において、車両が故障した場合、内部システムまたはモジュールの故障を有する場合、または、メンテナンスの必要がある場合がありうる。例えば、ナビゲーションモジュールが故障した場合、フリート内の各ロボットは、修理のために基地ステーションへ車両を安全に帰還させることができるように、フリートオペレータによる輸送システムセンサシステム(すなわち、カメラなど)のオーバーライド操作に向けてロボットのプロセッサの直接制御を可能にするよう構成可能である。
動作環境
いくつかの実施形態において、非構造化開放環境は、通行可能な経路によってアクセス可能な閉ざされていない地理的領域であり、例えば、公道、私道、自転車専用道路、野原、公開公有地、公開私有地、および/または、歩道を含む。
いくつかの実施形態において、閉鎖環境は、通行可能な経路によってアクセス可能な閉じられた、閉鎖的、または、半閉鎖的な構造であり、例えば、構造または障害物が存在しまたは存在しない商業施設内の開放的な領域または部屋、公的または専用通路、廊下、トンネル、ランプ、エレベータ、コンベヤ、および/または、歩道を含む。
いくつかの実施形態において、ナビゲーションモジュールは、非構造化開放または閉鎖環境においてフリート内のロボットの輸送システムのルーティングを制御する。
フリート管理モジュール
ロボットフリート100のいくつかの実施形態において、フリートは、ロボットフリート100の調整およびフリート内の各ロボット101へのタスクの割り当てのために(中央サーバに関連する)フリート管理モジュール120を備える。フリート管理モジュールは、フリート内の各ロボットの活動および配置を調整する。ロボットフリート、フリート所有者/オペレータ、および/または、ユーザとの通信に加えて、フリート管理モジュールは、システム全体の挙動を最適化するために、提供者/販売業者/企業および顧客とも通信する。
フリート管理モジュールは、フリート所有者200によって所有または管理される中央運営施設に通例は配置される中央サーバ110と協働する。
図3に示すように、様々な実施形態において、メインサーバ110(通例は、フリート所有者の位置またはフリート管理者の位置に配置される)に要求が送信され、次いで、メインサーバは、フリート管理モジュール120と通信する。次いで、フリート管理モジュールは、サービスの適切な提供者204(例えば、レストラン、デリバリサービス、販売業者、または、小売業者)と、フリート内の適切な1または複数のロボット101とに、要求を中継する。次いで、地理的領域内のフリートの中で通例はサービス提供者に最も近い1または複数の最適なロボットが、タスクを割り当てられ、その後、サービスの提供者204は、事業所でそのロボット101とやりとり(相互作用)する(例えば、必要であれば、ロボットに商品を積み込む)。次いで、ロボットは、顧客202の所まで移動し、顧客は、商品またはサービス(例えば、注文した商品)を受け取るためにロボットと相互作用する。相互作用は、顧客のアプリを通してまたはロボット自身のユーザインターフェースを通して(例えば、RFIDリーダおよび顧客の電話、タッチパッド、キーパッド、音声コマンド、視覚ベースの個人認識などを用いて)、そのコンパートメント102、104を開くようロボットに要求することを含みうる。配達(または、適切であれば、回収)が完了すると、ロボットは、任務の完了を報告し、再割り当てに向けてフリート管理モジュールに報告を返す。
上述し、図4でさらに示すように、いくつかの実施形態において、フリート管理モジュール120は、ロボットフリート100の調整およびフリート内の各ロボット101へのタスクの割り当てを扱う。フリート管理モジュールは、フリート内の各ロボットの活動および配置を調整する。また、フリート管理モジュールは、システム全体の挙動を最適化するために、販売業者/企業204および顧客202と通信する。フリート管理モジュールは、ロボットのプロセッサ125を利用して、フリート内の各ロボットの様々な機能を効果的に管理および調整するように、ロボットのシステムおよびモジュール(輸送システム130、電力システム135、ナビゲーションモジュール140、センサシステム170、175、通信モジュール160、および、コントローラ150など)の各々からの様々な入力および出力を処理することによって、この最適化を行う。
いくつかの実施形態において、ロボットは、別の当事者へ配達する目的で物品(例えば、文書)の受け取りを要求されうる。このシナリオにおいて、フリート管理モジュールは、特定の位置に行くようロボットを割り当て、物品の受け取りのためのセキュリティ保護可能なコンパートメントを割り当て、第1当事者からフリート管理モジュールへの受け取りを確認し、その後、第2位置に進み、そこで、情報を得た受け取り側が、適切なPINまたはその他の認識コードを用いてセキュリティ保護可能なコンパートメントへアクセスすることでロボットから物品を回収する。次いで、ロボットは、任務の完了を報告し、再割り当てに向けてフリート管理モジュールに報告を返す。
輸送システム
フリート内の各ロボット車両101は、輸送システム130(例えば、推進エンジン、車輪、無限軌道、翼、ロータ、ブロワ、ロケット、プロペラ、ブレーキなどを備えた駆動システム)を備える。
上述のように、ロボットフリートは、陸上移動用に構成可能である。典型的な車両は、陸上車両の中でも、乗用車、ワゴン、バン、無人自動車(例えば、三輪車、トラック、トレーラー、バスなど)、無人列車(例えば、列車、路面電車など)を含む。
典型的な一実施形態では、ロボット陸上車両101が、従来のステアリングシステムおよびブレーキシステムを備えた従来の四輪自動車構成で構成される。駆動系は、標準的な二輪駆動または四輪オールテレーン駆動のために構成可能である。推進システム(エンジン)は、ガスエンジン、タービンエンジン、電気モータ、および/または、ハイブリッドガス/電気エンジンとして構成可能である。あるいは、ロボットは、バックアップ非常用電力または小規模低電力サブシステムのための電力を供給するために補助太陽光発電システム135を備えるよう構成されてもよい。
推進エンジンを備えたトータル駆動システムに代わる構成要素の別の構成は、車輪、無限軌道、翼、ロータ、ブロワ、ロケット、プロペラ、ブレーキなどを備えてもよい。
電力システム
いくつかの実施形態において、ロボットフリートの各ロボットは、1または複数の電源を備えるよう構成され、電源は、電力システム135(例えば、バッテリ、ソーラ、ガソリン、プロパンなど)を含む。
ナビゲーションモジュール
フリート内の各ロボットは、さらに、非構造化開放環境または閉鎖環境内でのナビゲーションのためのナビゲーションモジュール140(例えば、デジタルマップ、HDマップ、GPSなど)を備える。いくつかの実施形態において、フリート100は、ユーザ、オペレータ、または、フリートオペレータによって生成された、具体手には、ロボットがそこで動作するよう構成されている意図した環境を網羅するように作成されたマップに頼る。そうして、これらのマップは、フリート内の各ロボットの全般的な誘導に用いられ、ロボットは、様々なオンボードセンサ(カメラ、LiDAR、高度計、または、レーダなど)を用いて、その相対地理位置および高度を確認することによって、この環境の理解を補う。
いくつかの実施形態において、ナビゲーションのために、ロボットのフリートは、内部マップを利用して、ロボットが進んでいる場所および道路環境の構造(例えば、レーンなど)に関する情報を提供し、この情報をオンボードセンサ(例えば、カメラ、LiDAR、レーダ、超音波、マイクなど)および内部コンピュータ処理と組み合わせて、ロボットがどこに安全に進むことができるのか、どのような他の物体が各ロボットの周りにあるのか、および、何をしてもよいのか、を常に決定する。さらに別の実施形態において、フリートは、オンラインマップを組み込んで、内部マップを増補する。次いで、この情報は、ロボットがたどるための安全でロバストな軌道を決定するために組み合わせられ、その後、これは、ロボット上の低レベルアクチュエータによって実行される。
いくつかの実施形態において、フリートは、ユーザが、24時間、すべての天候条件で、世界中のどこでも、正確な位置、速度、および、時間を決定することを可能にするグローバルポジショニングシステム(GPS)に依存する。
いくつかの実施形態において、ロボットのフリートは、内部マップ、センサ、および、GPSシステムの組み合わせを用いて、相対的な地理位置および高度を確認する。
いくつかの実施形態において、自律フリートは、既知の需要を予期して、地位的領域にわたって戦略的に配置される。
時間と共に、ユーザ202および/または販売業者204は、領域の様々な地域から、一日の特定の時間に、どれだけの注文(およびどのようなタイプの注文)がなされたかに関するデータを蓄積することによって、ロボットサービスへの需要を予測できるようになる。これは、ソース(例えば、レストラン、食料品店、一般企業など)および宛先(例えば、顧客、他の企業など)の両方に対してなされうる。次いで、特定の現在日時について、この蓄積されたデータを用いて、予測された需要を所与としてフリートの最適な位置がどこであるかを決定する。より具体的には、予測されたソース位置が、システムに新しい注文の入る可能性が最も高い位置であることを予期して、それらのソース位置の可能な限り近くにフリートを配置することができる。さらにより具体的には、その後の1時間に各可能な提供元からの注文回数を評価し、この回数で各提供元の位置に重み付けすることが可能である。そうして、フリートがこれらの回数に基づいて重み付けされた位置を最適に網羅するように、フリートを配置することができる。
ロボットフリートのいくつかの実施形態において、ロボットの配置は、以下に基づいてカスタマイズできる。利用予測、行動履歴のパターン、または、運ばれている具体的な商品。
センサシステム
上述のように、各ロボットは、どこに安全に進むことができるのか、どのような他の物体が各ロボットの周りにあるのか、および、すぐ周辺の範囲内で何をしてもよいのか、を常に決定するために、最低限の数のオンボードセンサ(例えば、カメラ(例えば、ビデオと同様に、高フレームレートで動作するカメラ)、LiDAR、レーダ、超音波センサ、マイクなど)を含むセンサシステム170と、内部計算処理125と、を備える。
いくつかの実施形態において、ロボットフリートのロボットは、さらに、輸送システムセンサ175を備えており、輸送システムセンサ175は、駆動メカニズムの性能(例えば、推進エンジン)を監視するように、電力システムレベル135(例えば、バッテリ、ソーラ、ガソリン、プロパンなど)を監視するように、もしくは、駆動系の性能(例えば、トランスミッション、タイヤ、ブレーキ、ロータなど)を監視するように構成される。
通信モジュール
フリート内の各ロボットは、さらに、フリート管理モジュールに対して、ユーザに対して、フリート管理モジュール120との間で、フリート100内のロボットとの間で、データを受信、格納、および、送信するよう構成可能な通信モジュール160を備える。いくつかの実施形態において、データは、例えば、スケジュールされた要求または注文、オンデマンドの要求または注文、もしくは、非構造化開放または閉鎖環境内で予測される需要に基づいたロボットフリートの自己ポジショニングの必要性など、少なくともユーザのやりとり(相互作用)およびロボットフリートのやりとり(相互作用)に関連する。
いくつかの実施形態において、フリート内の各ロボットは、データを受信、格納、および、送信するよう、ならびに、将来的なデータ転送または手動ダウンロードのためにメモリデバイスにそのデータを格納するよう構成可能な少なくとも1つの通信モジュールを備える。
いくつかの実施形態において、各企業204および顧客202は、フリートオペレータ200と通信するための自身のアプリ/インターフェース(例えば、電話上にある顧客用の「Nuro customer app」、タブレットまたは電話または内部コンピュータシステム上にあるビジネス用の「Nuro vendor app」など)を有する。
いくつかの実施形態において、ユーザおよびフリート内のロボットへの、フリートのロボット間の、ならびに、ユーザとフリート内のロボットとの間の通信は、無線伝送で行われる。
いくつかの実施形態において、ユーザの無線伝送のやりとり(相互作用)およびロボットフリート無線伝送のやりとり(相互作用)は、モバイルアプリケーションを介して行われ、電子デバイスによって送信されて、中央サーバ、フリート管理モジュール、および/または、メッシュネットワークを介して通信モジュールに転送される。
いくつかの実施形態において、1つの好ましい通信方法は、フリート管理者とロボットのフリートとの間でセルラー通信(例えば、3G、4G、5Gなど)を用いる方法である。あるいは、フリート管理モジュールとロボットとの間の通信は、衛星通信システムを介してなされてもよい。
いくつかの実施形態において、顧客は、(携帯電話、ラップトップ、タブレット、コンピュータ、または、任意のインタラクティブデバイスのいずれかの上の)アプリを用いて、サービス(例えば、オンデマンド食品注文、または、移動店舗ロボットを呼ぶ注文)を要求する。
いくつかの実施形態において、電子デバイスは、以下を含む。電話、個人用モバイルデバイス、パーソナルデジタルアシスタント(PDA)、メインフレームコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、および/または、ウェアラブルコンピュータデバイス(通信ヘッドセット、スマートメガネ、コンタクトレンズ、デジタル時計、ブレスレット、リング、ジュエリー、または、それらの組みあわせなど)。
本開示の態様によれば、各ロボット車両の通信モジュール160は、リモートの人間オペレータと通信するよう構成されうる。例えば、通信モジュール160は、高フレームレートで動作するカメラによってキャプチャされた環境のビデオをリモートのオペレータに通信することにより、リモートの人間オペレータが車両の環境を見ることを可能にすることができる。さらに、通信モジュール160は、ロボット車両を移動させるように輸送システムを制御するためにリモートの人間オペレータから命令を受信できる。人間オペレータによって自律車両をリモート操作するさらなる態様については、図5~図7に関連して詳述する。
本開示の別の態様において、図8も参照すると、通信モジュール160は、自律車両101によるより信頼性の高い通信を可能にする複数の遠隔通信デバイス810a~nを備えてよい。様々な実施形態において、各遠隔通信デバイスは、構成要素の中でも特に、アンテナ812と、モデム814と、遠隔通信デバイスを識別する識別子816と、を備えてよい。様々な実施形態において、アンテナ812およびモデム814は、特に、UMTS、CDMA EV-DO、GSM EDGE、4G LTE、WiMAX、5G、および/または、衛星通信などを含むがそれらに限定されない、1または複数の通信技術用に構成されてよい。様々な実施形態において、識別子816は、SIMカードによって実装されてよい。様々な実施形態において、各遠隔通信デバイス810a~nは、互いに独立して動作できるが、互いに同時に動作することもできる。例えば、様々な遠隔通信デバイス810a~nは、同じ遠隔通信ネットワーク上で動作してよく、あるいは、異なる遠隔通信ネットワーク(セルラーキャリアなど)上で動作してもよく、その場合、各遠隔通信デバイスは、他の遠隔通信デバイス810a~nとは別個の独立した通信接続を有しうる。
図の実施形態において、通信モジュール160は、各遠隔通信デバイス810a~nと通信し、遠隔通信デバイス810a~nの動作を制御および調整できるコントローラまたはプロセッサ820を備える。便宜上、コントローラ/プロセッサ820は、「コントローラ」と呼ぶこととするが、コントローラ820は、プロセッサとして実装されうることが理解される。様々な実施形態において、コントローラ820は、各遠隔通信デバイス810a~nの通信容量を特定できる。様々な実施形態において、遠隔通信デバイスの通信容量は、遠隔通信デバイスによってコントローラ820へ報告されてよい。様々な実施形態において、通信容量は、信号強度、待ち時間、スループット、パケットロス率、および/または、遠隔通信デバイスの通信容量のその他のメトリクスを決定することで、コントローラ820によって評価されてもよい。様々な実施形態において、コントローラ820は、かかるテストのために構成された所定のサーバを用いてかかるメトリクスを決定できる。様々な実施形態において、コントローラ820は、遠隔通信デバイスが通信の実行について信頼性が低く、特定の時点に利用されるべきではないと、かかるメトリクスに基づいて決定しうる。
様々な実施形態において、コントローラ820は、自律車両101による通信にどの遠隔通信デバイス810a~nを利用すべきで、かかる遠隔通信デバイス810a~nにどのようにデータを分配すべきかを調整できる。様々な実施形態において、コントローラ820は、信頼性が低いと判定した任意の遠隔通信デバイスを除外できる。さらに、より高い通信容量を有すると評価された遠隔通信デバイスに対しては、より多くの量またはより高い速度のデータが、通信に向けてかかる遠隔通信デバイスへ送信されうる。より低い通信容量を有すると評価された遠隔通信デバイスに対しては、より少ない量またはより低い速度のデータが、通信に向けてかかる遠隔通信デバイスへ送信されうる。コントローラ820は、かかる調整を実行できる。
データは、1または複数の通信接続830を介して通信モジュール160によって受信されてよく、通信接続830は、接続の中でも特に、ハードワイヤードの通信バス、イーサネットケーブル、および/または、Wi-FiまたはBluetoothなどの無線通信、を含みうる。通信接続830は、図4に示す様々なモジュールなど、自律車両101の1または複数の他のモジュールと通信できる。
上述の実施形態は例示であり、変形例が本開示の範囲内で想定される。例えば、様々な実施形態において、コントローラ/プロセッサ820は、通信モジュール160の外にあってもよく、通信接続830を介して遠隔通信デバイス810a~nと通信できる。様々な実施形態において、自律車両101のプロセッサ125が、上述の動作を実行できる。その他の変形例が、本開示の範囲内で想定される。
コントローラおよびプロセッサ
いくつかの実施形態において、ロボットフリート内の各ロボットは、処理のための高レベルの計算およびハードウェアを制御するための低レベルのセーフティクリティカルな計算能力の両方が可能な1または複数のプロセッサ125を備えられる。少なくとも1つのプロセッサは、輸送システム、ナビゲーションモジュール、センサシステム、フリート管理モジュールからの命令、通信モジュール、および、コントローラを管理するよう構成される。
さらに、いくつかの実施形態において、ロボットフリート内の各ロボットは、割り当て可能な顧客202または提供者204にセキュリティ保護可能なコンパートメント102、104の各々を関連付け、許可された時にエントリ(利用)を許すよう構成可能なコントローラ150を備える。
以下では、人間オペレータによるロボット車両のリモート操作に関連する制御および処理について記載する。上述のように、完全自律または半自律車両のリモート操作は、様々な状況で適切でありうる。人間オペレータが自律車両をリモート操作できれば、人間オペレータが自律車両をローカルに操作できる場合でも有利である。この機能は、自律車両の内部空間が、商業的な積載量を最大化するように構成され、人間オペレータが自律車両の中から車両をローカルに操作するための空間を含まない場合に、はるかに重要になる。
様々な実施形態において、本開示の態様に従った自律車両は、自律車両をローカルに制御する際に人間オペレータを保持するための内部空間を備えるが、リモートの人間オペレータによってリモート制御されることもできる。様々な実施形態において、本開示の態様に従った自律車両は、自律車両をローカルに制御するために人間オペレータを保持する内部空間を備えない。むしろ、本開示の態様によれば、人間オペレータが、自律車両をリモート操作できる。かかる構成は、独自の考慮事項を提供する。自律車両に乗っている人間オペレータが危険を回避するために自律動作をオーバーライドして手動操作を行うことができる既存の構成と対照的に、本開示の様々な実施形態は、人間オペレータのための空間を自律車両内に備えない。人間による操作は、自律車両の位置から離れた場所でなされるので、本開示の一態様は、自律車両との遠隔通信を改善するためのシステムおよび方法を提供する。リモートでの人間による操作は、単に、自律車両の通信を改善する必要がある状況の一例である。本開示は、そのような状況に適用される。
ここで、図4を参照すると、本明細書で上述したように、自律車両は、自律車両の様々なシステムおよびモジュールを制御するためのプロセッサ125およびコントローラ150を備え、外部システムと通信するための通信モジュール160を備える。本開示の一態様において、通信モジュール160は、リモート人間オペレータシステムと通信することができ、リモート人間オペレータシステムは、フリート管理モジュール120の一部であってもよいし、別個であってもよい。
図5は、リモート人間オペレータシステム300の実施形態の一例を示しており、リモート人間オペレータシステム300は、通信/処理装置310および人間オペレータステーション320を備える。人間オペレータステーション320は、典型的な自動車内の運転手ステーションに似ていてよく、運転席322と、ハンドル324と、アクセルおよびブレーキペダル326と、シフトノブ328と、視覚インターフェース330と、を備えてよい。図の実施形態において、視覚インターフェース330は、仮想現実(VR)または拡張現実(AR)ヘッドセットの形態である。様々な実施形態において、視覚インターフェースは、LED、LCD、および/または、OLEDディスプレイスクリーンなど、1または複数のディスプレイスクリーンを備えてよい。様々な実施形態において、人間オペレータステーション320は、自動車内の実際の運転手ステーションに似た接触応答を有するよう構成できる。例えば、ハンドル324は、自動車のパワーステアリングの接触応答を有するよう構成でき、ペダル326は、実際の自動車のペダルの抵抗に似せるよう構成できる。
人間オペレータステーション320の機器324~328は、通信/処理装置310に接続または結合されてよく、通信/処理装置310は、人間オペレータステーション320と自律車両との間の通信を可能にする。図の実施形態において、人間オペレータステーション320は、物理ケーブルによって通信/処理装置310に接続されている。様々な実施形態において、人間オペレータステーション320は、Bluetoothなどの技術を用いて、通信/処理装置310に無線接続されてよい。様々な実施形態において、人間オペレータステーション320は、通信/処理装置310へ直接的に接続される必要はなく、中間デバイスおよび/またはネットワークを通して通信/処理装置310に接続されてもよい。
様々な実施形態において、通信/処理装置310は、例えば、IEEE 802.11x(WiFi)、セルラー3G/4G/5G、有線通信、および/または、その他の有線または無線通信プロトコルなど、様々な通信技術を用いて通信を確立できる。通信/処理装置310は、視覚インターフェース330による表示に向けて視覚情報を処理するために、1または複数のプロセッサ、メモリ、機械命令、および/または、ハードウェアを備える。当業者であれば、視覚情報を通信、処理、および、表示する様々な方法がわかる。
通信/処理装置310は、さらに、人間オペレータステーション320からの信号を処理して、それらの信号を、自律車両を制御するための制御命令(移動を実行するよう自律車両の輸送システム(図4の130)を制御するための制御命令など)に変換する。このように、人間オペレータがハンドルを回すと、通信/処理装置310は、車両に曲がるよう命令するために、対応する制御命令を自律車両へ送信する。別の例として、人間オペレータが、人間オペレータステーション320のペダル326を用いて、加速または減速する時、通信/処理装置310は、それぞれ、車両に加速または減速するよう命令するために、対応する制御命令を自律車両へ送信する。図5の実施形態は例示であり、その他の構成および変形例が本開示の範囲内で想定される。例えば、自律車両が鉄道車両である場合、リモート人間オペレータシステム300は、同じまたは類似のタイプの典型的な非自律車両上の実際のオペレータステーションを反映する人間オペレータステーション320を有してよい。
さらに図6を参照すると、視覚ディスプレイの一例の図が示されており、視覚ディスプレイは、VR/ARヘッドセットまたはディスプレイスクリーンもしくはその他の方法で表示されうる。本明細書で上述したように、各ロボット車両は、カメラ(例えば、ビデオと同様に高フレームレートで動作するカメラなど)およびその他のセンサを備えると共に、どのような他の物体が各ロボットの周りにあるのかを決定するために、内部コンピュータ処理を備えうるセンサシステムを設けられている。本開示の態様によれば、自律車両のセンサシステムによってキャプチャされたこの視覚情報は、視覚インターフェース330上に表示するために、処理されてリモート人間オペレータシステム300に通信されうる。様々な実施形態において、視覚ディスプレイは、表示されるコンテンツが運転手の頭部の回転と共に向きを変えるように、人間オペレータの視点から自律車両の周囲環境を提示することができる。様々な実施形態において、人間オペレータステーション320は、人間オペレータステーションを取り囲む複数のディスプレイスクリーン(図示せず)を備えてよく、それらのディスプレイスクリーンは、自律車両の周囲環境を同時に表示できる。その他の構成および変形例が、本開示の範囲内で想定される。
続けて図6を参照すると、視覚ディスプレイは、特定の条件を人間オペレータに知らせる様々なインジケータを備えうる。一例として、視覚ディスプレイは、自律車両が自律モードで動作中なのかリモート操作モードで動作中なのかを示すモードインジケータ332を備えうる。自律モードでは、人間オペレータと人間オペレータステーション320との相互作用は、自律車両420の動きに影響しない。リモート操作モードでは、人間オペレータが、人間オペレータステーション320との相互作用によって自律車両420の動きを制御する。様々な実施形態において、人間オペレータステーションは、物理スイッチまたはタッチインターフェースボタン、音声コマンド、もしくは、別のメカニズムなど、自律モードとリモート操作モードとの間の切り替えのためのメカニズム(図示せず)を備えてよい。図の視覚ディスプレイは、さらに、人間オペレータに危険条件を警告することができる警告インジケータ334を備える。図6の視覚ディスプレイのレイアウトおよび構成は単に例示であり、変形例が本開示の範囲内で想定される。例えば、自律車両が鉄道車両である場合、リモート人間オペレータシステム300の視覚インターフェースは、かかる車両を操作するための視覚的要素に合わせて変更されてよい。
図7は、自律モードとリモート操作モードとの間で切り替えを行う自律車両の動作を示すフローチャートである。図の動作は、自律車両が自律モードで動作する工程602で始まり、そのモードでは、自律車両を様々な目的地に移動させるために人間の介入は必要ない。自律車両が、命令を受信して、自律モードからリモート制御モードに切り替える(工程604)と、自律車両は、リモート制御モードをアクティブ化して、リモート人間オペレータシステムから制御命令を受信できる(工程606)。
したがって、リモート操作モード606において、自律車両は、一般に、自身の動きを制御しないが、周囲環境を監視し続けることができる。リモートの人間オペレータは、リモート操作モード606中に特定の自律的機能を有効化することができ、自律車両は、周囲環境の監視に基づいて自律的機能を実行できる。さらに、自律車両が危険条件を検出した(工程608)場合、自律車両は、様々な状況で、リモート操作モードをオーバーライドして、完全自律モードに戻すことができる(工程610)。例えば、危険条件は、自律車両の周囲環境内の物体(別の車両または人など)との衝突が迫っていることを含みうる。当業者であれば、車両の軌道を用いる方法および物体の軌道を推定する方法など、差し迫った衝突が起こりうると判定する方法がわかる。別の危険条件は、方向指示器が作動されなかった時の車線逸脱を含みうる。
リモート動作モードをオーバーライドした、および/または、自律モードに戻った(工程610)後、自律車両は、危険条件を自律的に軽減または回避するよう動作できる(工程612)。
自律車両は、危険の示唆および自律モードへの切り替えをリモート人間オペレータシステムへ通信できる(工程614)。様々な実施形態において、この通信は、危険条件が検出され、自律モードがアクティブ化された時に起こりうる。この通信は、人間オペレータシステムの視覚ディスプレイに危険の示唆を表示させうる。様々な実施形態において、人間オペレータシステムの視覚ディスプレイは、異なる絵またはテキストの表示など、異なる危険条件に対する異なる危険の示唆を表示できる。様々な実施形態において、リモート人間オペレータシステムは、音声、触覚、力覚、および/または、その他の物理的または非物理的な危険示唆を提供できる。
様々な実施形態において、人間オペレータシステムの視覚ディスプレイは、信号機または道路標識を強調表示する、もしくは、グラフィックアイコンとしてそれらを表示するなど、危険条件に関連する物体を視覚ディスプレイ上で強調表示することができる。様々な実施形態において、人間オペレータシステムの視覚ディスプレイは、数ある中でも特に、車両、歩行者、自転車に乗る人、障害物、信号、標識、車線境界線、屈折車線、および、縁石のような周囲の物体など、潜在的な危険条件を強調表示する。これらの特徴は、検出された物体に基づいて、自律車両および/またはリモート人間オペレータシステムによって動的に実行されうる。様々な実施形態において、自律車両および/またはリモート人間オペレータシステムは、周囲の物体を避ける推奨経路を決定することができ、人間オペレータへの示唆を推奨経路の案内として提供できる。様々な実施形態において、示唆は、リモート人間オペレータシステムのハンドルを通した触覚フィードバックおよび/または視覚ディスプレイ上に表示される提案経路を含みうる。
その他の変形例が、本開示の範囲内で想定される。
図7の動作は、リモート操作モードに切り替えるための別の命令を受信する(工程604)まで、自律モードを維持できる(工程602)。したがって、人間による自律車両のリモート操作を有効化するため、および、危険条件を軽減するために自律車両がリモート操作をオーバーライドするためのシステムおよび方法について説明した。
一態様によると、上述のように、本開示は、リモート人間オペレータへ自律車両の周囲環境を通信するなど、複数の遠隔通信デバイスを用いて、および/または、適応データ圧縮を用いて、異なる通信環境で通信するためのシステムおよび方法を提供する。様々な実施形態において、適応データ圧縮は、様々な方法で実施可能である。様々な実施形態において、データ圧縮は、通信モジュール160において、および/または、センサシステム170において、図4のプロセッサ125および/またはコントローラ150によって実施されうる。様々な実施形態において、通信モジュール160は、特に、Lempel-Ziv-Welch圧縮、ランレングス符号化、および/または、ハフマンコーディングなど、様々な技術を用いて、データを圧縮するためのエンコードを実行できる。様々な実施形態において、センサシステム170は、特に、カメラによってキャプチャされた画像のための画像圧縮(MPEG圧縮、H.264圧縮、および/または、H.265圧縮など)などの圧縮を実行できる。様々な実施形態において、上述した圧縮の一部または全部が、図4のプロセッサ125および/またはコントローラ150によって処理されうる。
本開示の一態様によると、適応データ圧縮は、通信モジュール160の遠隔通信デバイス810a~nの通信容量に基づきうる。より大きい通信容量が、より低いデータ圧縮を要求してよく、より小さい通信容量が、より高いデータ圧縮を要求してよい。様々な実施形態において、自律車両101のプロセッサ125は、推定通信容量に対してどれだけの圧縮が適切であるのかを判定できる。様々な実施形態において、適応データ圧縮は、通信容量と、どれだけの圧縮が実行されるべきかとを相関させるルックアップテーブルによって実施されうる。例えば、様々な実施形態において、通信容量が非常に大きいければ、通信モジュール160、センサモジュール170、または、プロセッサ125において、データ圧縮が全く必要となりえない。様々な実施形態において、通信容量が非常に小さければ、通信モジュール160、センサモジュール170、および、プロセッサ125の各々において、データ圧縮が必要となりうる。その中間では、様々な通信容量で、通信モジュール160、センサモジュール170、または、プロセッサ125の内の1または2つだけで、データ圧縮が必要となりうる。このように、データ圧縮の量は、通信容量に基づいて適応的に変更されうる。
本開示の一態様によると、適応データ圧縮は、自律車両101の移動速度に基づきうる。例えば、より高い移動速度では、リモート人間オペレータが、より高い移動速度で変化する車両の周囲環境をより確実に見ることができるように、リモート人間オペレータへの自律車両による通信がより速い必要がありうる。様々な実施形態において、より高い移動速度は、周囲環境がリモート人間オペレータへより迅速に伝えられうるような、より高いデータ圧縮に対応しうる。自律車両がより低い移動速度で移動している時、リモート人間オペレータは、周囲環境の変化をそれほど迅速に知らなくてもよい。様々な実施形態において、より低い移動速度は、より低いデータ圧縮に対応しうる。様々な実施形態において、自律車両101のプロセッサ125は、特定の移動速度に対してどれだけのデータ圧縮が適切であるのかを判定できる。様々な実施形態において、適応データ圧縮は、移動速度と、どれだけの圧縮が実行されるべきかとを相関させるルックアップテーブルによって実施されうる。
様々な実施形態において、自律車両は、通信容量および移動速度の両方に基づいて、適応データ圧縮を実行してもよい。適応データ圧縮は、通信容量および移動速度以外の要素または考慮事項に依存しうることが想定される。様々な実施形態において、適応データ圧縮は、様々な要素/考慮事項と、どれだけのデータ圧縮が実行されるべきかとを相関させるルックアップテーブルによって実施されうる。
上述の実施形態は例示であり、変形例が本開示の範囲内で想定される。例えば、様々な実施形態において、適応データ圧縮は、通信モジュール160における通信待ち時間またはアンテナ信号強度など、1または複数のその他のメトリクスに基づいてもよい。様々な実施形態において、データ圧縮が実行される各場所は、異なる程度のデータ圧縮を実施してよい。例えば、通信モジュール160は、複数の程度のデータ圧縮を実施でき、センサモジュール170は、複数の程度のデータ圧縮を別個に実施できる。自律車両101のプロセッサ125は、どの程度のデータ圧縮が様々なモジュールから必要とされているかを判断できる。様々な実施形態において、データ圧縮は、図に示したまたは本明細書に記載したものと異なるデバイスまたはモジュールによって実施されてもよい。様々な実施形態において、自律車両101は、ビデオエンコーディング/デコーディングおよび/またはオーディオエンコーディング/デコーディングを実施するハードウェアおよび/またはソフトウェア構成要素を備えてよく、かかるハードウェアおよび/またはソフトウェアは、スタンドアロンでもよいし、その他の構成要素に統合されてもよい。
ここで、図9を参照すると、自律車両101の動作例が示されている。ブロック910で、自律車両は、陸上車両輸送システムが移動を実行している間に、少なくとも2つの遠隔通信デバイスの通信容量を決定する。本明細書で上述したように、2以上の遠隔通信デバイスは、独立して通信を実行でき、各遠隔通信デバイスは、異なる通信容量を有しうる。ブロック910で、自律車両は、陸上車両輸送システムの移動速度を決定する。ブロック920で、自律車両は、車両の周囲環境の画像データ(周囲環境のビデオなど)をキャプチャする。ブロック940で、自律車両は、通信容量に基づいて、または、移動速度に基づいて、もしくは、通信容量および移動速度の両方に基づいて、データ圧縮率を決定する。例えば、より大きい通信容量が、低い圧縮を要求してよく、より小さい通信容量が、より高い圧縮を要求してよい。さらに、より高い移動速度が、より低い圧縮を要求してよい。ブロック950で、自律車両は、圧縮率に基づいて画像データを圧縮し、工程960で、自律車両は、遠隔通信デバイスを用いてエンコード済みデータを通信する。様々な実施形態において、自律車両は、データパケットでエンコード済みデータを通信することができ、データパケットは、それぞれの通信容量に基づいて遠隔通信デバイスに分配されうる。
様々な実施形態において、図9の動作の特定の部分が、他の部分が実行される前に複数回または連続的に実行されてもよい。例えば、ブロック940は、自律車両が移動している時に、圧縮率を更新するために連続的に実行されてよい。ブロック950は、圧縮率に基づいて、ブロック950が圧縮率を更新する前に、複数回実行されてよい。様々な実施形態において、ブロック950は、通信条件および容量がすぐに変化しうることから、自律車両がより高速で移動する時には、より高頻度で圧縮率を更新してよい。様々な実施形態において、ブロック950は、通信条件および容量がゆっくり変化しうることから、自律車両がより低速で移動する時には、より底頻度で圧縮率を更新してよい。
様々な実施形態において、図9の動作の特定の部分が、並列で実行されてもよい。例えば、ブロック930が、周囲環境の画像データをキャプチャでき、それと並列で、ブロック960が、遠隔通信デバイスを介してエンコード済みデータを通信できる。このように、図9の動作は例示であり、変形例が本開示の範囲内で想定される。
さらなる特徴
本明細書に開示された実施形態は、開示の例であり、様々な形態で具現化されてよい。例えば、本明細書のいくつかの実施形態は、別個の実施形態として記載されているが、本明細書の実施形態の各々が、本明細書の他の実施形態の内の1以上と組み合わせられてもよい。本明細書に開示された具体的な構造および機能の詳細は、限定として解釈されるべきではなく、請求項の根拠として、および、実質的に任意の適切に詳述された構造で本開示を様々に利用するよう当業者に教示するための代表的な根拠として解釈される。同様の符号は、図面の記載にわたって類似または同一の要素に言及しうる。
「一実施形態において」、「実施形態において」、「様々な実施形態において」、「いくつかの実施形態において」、または、「別の実施形態において」という表現は各々、本開示に従った同じまたは異なる実施形態の内の1以上に言及しうる。「AまたはB」の形態の表現は、「(A)、(B)、または、(AおよびB)」を意味する。「A、B、または、Cの少なくとも1つ」という形態の表現は、「(A);(B);(C);(AおよびB);(AおよびC);(BおよびC);または、(A,B、および、C)」を意味する。
本明細書に記載した方法、プログラム、アルゴリズム、または、コードはいずれも、プログラミング言語またはコンピュータプログラムに変換されるか、または、それらで表現されてよい。本明細書で用いられる「プログラミング言語」および「コンピュータプログラム」という用語は各々、コンピュータへの命令を記述するために用いられる任意の言語を含み、以下の言語およびそれらの派生物を含む(ただし、これらに限定されない)。アセンブラ、ベーシック、バッチファイル、BCPL、C、C+、C++、デルファイ、フォートラン、Java(登録商標)、JavaScript(登録商標)、マシンコード、オペレーティングシステムコマンド言語、パスカル、パール、PL1、スクリプト言語、ビジュアルベーシック、それら自身がプログラムを記述するメタ言語、および、すべての第1、第2、第3、第4、第5、または、さらなる世代のコンピュータ言語。また、データベースおよびその他のデータスキーマならびに任意のその他のメタ言語も含まれる。解釈される、コンパイルされる、または、コンパイルおよび解釈アプローチの両方に利用される言語は区別されない。プログラムのコンパイルバージョンおよびソースバージョンは区別されない。したがって、プログラムへの言及は、(ここで、プログラミング言語は、2以上の状態(ソース、コンパイル、オブジェクト、または、リンクなど)で存在しうる)、ありとあらゆるかかる状態への言及である。プログラムへの言及は、実際の命令および/またはそれらの命令の意図を含みうる。本明細書に記載のシステムは、1または複数のコントローラを用いて、様々な情報を受信し、受信した情報を変換して出力を生成してもよい。コントローラは、メモリに格納された一連の命令を実行できる任意のタイプのコンピュータデバイス、計算回路、もしくは、任意のタイプのプロセッサまたは処理回路を備えてよい。コントローラは、マルチプロセッサおよび/またはマルチコア中央処理装置(CPU)を備えてよく、任意のタイプのプロセッサ(マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)など)を備えてよい。コントローラは、1または複数のプロセッサによって実行された時に、1または複数のプロセッサに、1または複数の方法および/またはアルゴリズムを実行させるデータおよび/または命令を格納するメモリも備えてよい。
本明細書に記載した方法、プログラム、アルゴリズム、または、コードはいずれも、プログラミング言語またはコンピュータプログラムに変換されるか、または、それらで表現されてよい。本明細書で用いられる「プログラミング言語」および「コンピュータプログラム」という用語は各々、コンピュータへの命令を記述するために用いられる任意の言語を含み、以下の言語およびそれらの派生物を含む(ただし、これらに限定されない)。アセンブラ、ベーシック、バッチファイル、BCPL、C、C+、C++、デルファイ、フォートラン、Java(登録商標)、JavaScript(登録商標)、マシンコード、オペレーティングシステムコマンド言語、パスカル、パール、PL1、スクリプト言語、ビジュアルベーシック、それら自身がプログラムを記述するメタ言語、および、すべての第1、第2、第3、第4、第5、または、さらなる世代のコンピュータ言語。また、データベースおよびその他のデータスキーマならびに任意のその他のメタ言語も含まれる。解釈される、コンパイルされる、または、コンパイルおよび解釈アプローチの両方に利用される言語は区別されない。プログラムのコンパイルバージョンおよびソースバージョンは区別されない。したがって、プログラムへの言及は、(ここで、プログラミング言語は、2以上の状態(ソース、コンパイル、オブジェクト、または、リンクなど)で存在しうる)、ありとあらゆるかかる状態への言及である。プログラムへの言及は、実際の命令および/またはそれらの命令の意図を含みうる。
上述の記載は、本開示の単に例示にすぎないことを理解されたい。様々な代替例および変形例が、本開示から逸脱することなしに当業者によって考案されうる。したがって、本開示は、すべてのかかる代替例、変形例、および、変更例を含むよう意図される。添付の図面を参照しつつ説明された実施形態は、本開示の特定の例を示す目的でのみ提示されたものである。上述したものおよび/または添付の請求の範囲に記載したものと実質的に異ならない他の要素、工程、方法、および、技術も、本開示の範囲内に含まれるよう意図される。

Claims (20)

  1. 自律陸上車両であって、
    陸上車両輸送システムと、
    互いに独立的に無線通信を実行するよう構成され、前記陸上車両輸送システムが移動を実行している間に無線通信を同時に実行できる少なくとも2つの通信デバイスと、
    周囲環境の画像データをキャプチャするよう構成された撮像デバイスと、
    前記画像データをエンコードするよう構成されたビデオエンコーダと、
    1または複数のプロセッサと、
    前記1または複数のプロセッサに接続され、命令を格納する少なくとも1つのメモリと、
    を備え、
    前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、
    前記陸上車両輸送システムを用いて移動させ、
    前記陸上車両輸送システムが移動を実行している間に、前記少なくとも2つの遠隔通信デバイスの通信容量を決定させ、
    前記通信容量に基づいて、前記ビデオエンコーダのための圧縮率を決定させ、
    エンコード済みデータを生成するために、前記圧縮率に基づいて前記ビデオエンコーダを用いて前記画像データをエンコードさせ、
    前記通信容量に基づいて、前記少なくとも2つの遠隔通信デバイスの内の少なくとも1つを用いて前記エンコード済みデータを通信させる、自律陸上車両。
  2. 請求項1に記載の自律陸上車両であって、前記通信容量は、前記少なくとも2つの遠隔通信デバイスの総通信容量を含む、自律陸上車両。
  3. 請求項2に記載の自律陸上車両であって、より低い第1総通信容量に対する前記圧縮率は、より高い第2総通信容量に対する前記圧縮率よりも高い、自律陸上車両。
  4. 請求項1に記載の自律陸上車両であって、前記ビデオエンコーダのための前記圧縮率を決定する際に、前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、前記陸上車両輸送システムの移動速度にさらに基づいて前記圧縮率を決定させる、自律陸上車両。
  5. 請求項4に記載の自律陸上車両であって、より低い第1移動速度に対する圧縮率は、より高い第2移動速度に対する圧縮率よりも低い、自律陸上車両。
  6. 請求項1に記載の自律陸上車両であって、前記圧縮率は、前記通信容量が圧縮なしで前記画像データを通信するのに十分である場合に、非圧縮である、自律陸上車両。
  7. 請求項1に記載の自律陸上車両であって、
    前記少なくとも2つの遠隔通信デバイスの前記通信容量を決定する際に、前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、前記少なくとも2つの遠隔通信デバイスの内の遠隔通信デバイスで通信が不安定であると判定させ、
    前記少なくとも2つの遠隔通信デバイスの内の少なくとも1つを用いて前記エンコード済みデータを通信する際に、前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、前記不安定な通信を有する前記遠隔通信デバイスを利用せずに前記エンコード済みデータを通信させる、自律陸上車両。
  8. 請求項1に記載の自律陸上車両であって、前記エンコード済みデータを通信する際に、前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、前記少なくとも2つの遠隔通信デバイスを同時に用いて前記エンコード済みデータを通信させる、自律陸上車両。
  9. 請求項1に記載の自律陸上車両であって、
    前記少なくとも2つの遠隔通信デバイスを同時に用いて前記エンコード済みデータを通信する際に、前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、
    前記エンコード済みデータをパケットにするように処理させ、
    前記パケットを前記少なくとも2つの遠隔通信デバイスに分配させる、自律陸上車両。
  10. 請求項1に記載の自律陸上車両であって、
    前記少なくとも2つの遠隔通信デバイスの前記通信容量を決定する際に、前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、前記少なくとも2つの遠隔通信デバイスの前記通信容量を連続的に決定させ、
    前記ビデオエンコーダのための前記圧縮率を決定する際に、前記命令は、前記1または複数のプロセッサによって実行されると、前記自律陸上車両に、前記通信容量に基づいて前記ビデオエンコーダのための前記圧縮率を連続的に決定させる、自律陸上車両。
  11. 請求項10に記載の自律陸上車両であって、前記通信容量を連続的に決定する時間間隔および前記圧縮率を連続的に決定する時間間隔は、前記陸上車両輸送システムの移動速度に基づいている、自律陸上車両。
  12. 請求項11に記載の自律陸上車両であって、より高い第1移動速度に対する、前記通信容量を連続的に決定する前記時間間隔および前記圧縮率を連続的に決定する前記時間間隔は、より低い第2移動速度に対する、前記通信容量を連続的に決定する前記時間間隔および前記圧縮率を連続的に決定する前記時間間隔よりも短い、自律陸上車両。
  13. 自律陸上車両における方法であって、前記自律陸上車両は、陸上車両輸送システムと、互いに独立的に無線通信を実行するよう構成され、前記自律車両が移動を実行している間に無線通信を同時に実行できる少なくとも2つの通信デバイスと、を備え、前記方法は、
    前記自律車両の周囲環境の画像データをキャプチャする工程と、
    前記陸上車両輸送システムを用いて移動する工程と、
    前記陸上車両輸送システムが移動を実行している間に、前記少なくとも2つの遠隔通信デバイスの通信容量を決定する工程と、
    前記通信容量に基づいて、圧縮率を決定する工程と、
    エンコード済みデータを生成するために、前記圧縮率に基づいて前記画像データをエンコードする工程と、
    前記通信容量に基づいて、前記少なくとも2つの遠隔通信デバイスの内の少なくとも1つを用いて前記エンコード済みデータを通信する工程と、
    を備える、方法。
  14. 請求項13に記載の方法であって、前記通信容量は、前記少なくとも2つの遠隔通信デバイスの総通信容量を含む、方法。
  15. 請求項14に記載の方法であって、より低い第1総通信容量に対する前記圧縮率は、より高い第2総通信容量に対する前記圧縮率よりも高い、方法。
  16. 請求項13に記載の方法であって、前記圧縮率を決定する工程は、前記陸上車両輸送システムの移動速度にさらに基づいて前記圧縮率を決定する工程を含む、方法。
  17. 請求項16に記載の方法であって、より低い第1移動速度に対する圧縮率は、より高い第2移動速度に対する圧縮率よりも低い、方法。
  18. 請求項13に記載の方法であって、さらに、
    前記エンコード済みデータをパケットにするように処理する工程と、
    前記パケットを前記少なくとも2つの遠隔通信デバイスに分配する工程と、
    を備える、方法。
  19. 請求項13に記載の方法であって、
    前記少なくとも2つの遠隔通信デバイスの前記通信容量を決定する工程は、前記少なくとも2つの遠隔通信デバイスの前記通信容量を連続的に決定する工程を含み、
    前記圧縮率を決定する工程は、前記通信容量に基づいて前記圧縮率を連続的に決定する工程を含む、方法。
  20. 請求項19に記載の方法であって、前記通信容量を連続的に決定する時間間隔および前記圧縮率を連続的に決定する時間間隔は、前記陸上車両輸送システムの移動速度に基づいている、方法。
JP2021562955A 2019-04-23 2020-03-31 自律車両用の適応的モバイル遠隔通信のためのシステムおよび方法 Pending JP2022530032A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/391,855 2019-04-23
US16/391,855 US10623734B1 (en) 2019-04-23 2019-04-23 Systems and methods for adaptive mobile telecommunications for autonomous vehicles
PCT/US2020/025881 WO2020219236A1 (en) 2019-04-23 2020-03-31 Systems and methods for adaptive mobile telecommunications for autonomous vehicles

Publications (2)

Publication Number Publication Date
JP2022530032A true JP2022530032A (ja) 2022-06-27
JPWO2020219236A5 JPWO2020219236A5 (ja) 2023-03-31

Family

ID=70223741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021562955A Pending JP2022530032A (ja) 2019-04-23 2020-03-31 自律車両用の適応的モバイル遠隔通信のためのシステムおよび方法

Country Status (5)

Country Link
US (2) US10623734B1 (ja)
EP (1) EP3959892A1 (ja)
JP (1) JP2022530032A (ja)
CN (1) CN113785594A (ja)
WO (1) WO2020219236A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11706010B1 (en) 2019-12-30 2023-07-18 Nuro, Inc. Methods and apparatus for providing redundant networking capabilities for teleoperations
US11367356B1 (en) * 2020-03-16 2022-06-21 Wells Fargo Bank, N.A. Autonomous fleet service management
EP3902248A1 (de) * 2020-04-22 2021-10-27 Deutsche Telekom AG Verfahren und kommunikationssystem zur optimierung der bildübertragung bei teleoperated driving-anwendungen
USD935350S1 (en) * 2020-05-21 2021-11-09 Nuro, Inc. Autonomous vehicle
EP3937491A1 (en) 2020-07-07 2022-01-12 Ree Technology GmbH Optimizing video encoding and/or transmission for remote driving applications
USD965471S1 (en) 2020-10-01 2022-10-04 Nuro, Inc. Autonomous vehicle
US11682057B1 (en) 2021-01-05 2023-06-20 Wells Fargo Bank, N.A. Management system to facilitate vehicle-to-everything (V2X) negotiation and payment
USD1003194S1 (en) 2021-08-31 2023-10-31 Nuro, Inc. Autonomous vehicle
USD985400S1 (en) 2021-08-31 2023-05-09 Nuro, Inc. Sensor arch for vehicle
US20230104379A1 (en) * 2021-10-05 2023-04-06 Argo Al, LLC System and Method for Estimating Arrival Time of a Vehicle at a Destination

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630401B2 (en) * 2005-04-28 2009-12-08 Sony Corporation Bandwith management in a network
US9373149B2 (en) 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
JP2010191867A (ja) * 2009-02-20 2010-09-02 Panasonic Corp 画像圧縮器、画像圧縮方法および車載画像記録装置
US8862395B2 (en) * 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
WO2013048474A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Software based wireless channel-aware adaptive video bit rate encoding
KR101757994B1 (ko) 2012-07-10 2017-07-13 브이아이디 스케일, 인크. 품질 주도형 스트리밍
US9008890B1 (en) 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US10551851B2 (en) 2013-07-01 2020-02-04 Steven Sounyoung Yu Autonomous unmanned road vehicle for making deliveries
US9265000B2 (en) * 2013-09-10 2016-02-16 Broadcom Corporation Wireless communication device with throughput allocation and methods for use therewith
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
WO2016175480A1 (en) * 2015-04-30 2016-11-03 Samsung Electronics Co., Ltd. Electronic device, adapter device, and video data processing method thereof
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9958864B2 (en) * 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US10826963B2 (en) 2016-12-31 2020-11-03 DISH Technologies L.L.C. Reducing latency for streaming video
WO2019018695A1 (en) 2017-07-20 2019-01-24 Nuro, Inc. REPOSITIONING AN AUTONOMOUS VEHICLE

Also Published As

Publication number Publication date
US10911755B2 (en) 2021-02-02
WO2020219236A1 (en) 2020-10-29
US20200344470A1 (en) 2020-10-29
CN113785594A (zh) 2021-12-10
US10623734B1 (en) 2020-04-14
EP3959892A1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
US11176591B2 (en) Systems and methods for remote operation of robot vehicles
US10911755B2 (en) Systems and methods for adaptive mobile telecommunications for autonomous vehicles
JP6726363B2 (ja) 生成されたインターフェースを使用する自律走行車の監視
US20210094376A1 (en) Determining vehicle pose using ride height sensors
JP2019537159A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521