JP2016095851A - 自律的な乗客用の乗り物のためのコンピューティング装置、コンピュータにより実施される方法及びシステム - Google Patents

Abstract

【課題】困難なドライブ環境における遠隔操作を可能とする乗り物を提供する。
【解決手段】自律的な乗客用の乗り物２００のためのコンピューティング装置１００であって、１つ以上のプロセッサ１０２と、通信インタフェース１４０と、１つ以上のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリ１０４と、を具備し、１つ以上のプロセッサが、メモリに記憶された指令を実行して、予期せぬドライブ環境を識別し、乗り物に配置された１つ以上のセンサ１３０から受信される予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信し、遠隔オペレータによって送信された１つ以上の乗り物のシステム１１６に関する命令を受信し、実行のために１つ以上の乗り物のシステムに対して命令を送信するように構成された、コンピューティング装置。
【選択図】図１

Description

この開示は、自律的な乗り物若しくは半自律的な乗り物、又は高度な自動運転による乗り物のための乗り物の制御に関する。

いくつかの乗り物は、ドライバによる必要な入力がなくても、自律的に動作するように構成される。その代わりに、乗り物のシステムは、乗り物上の様々な位置に配置され又はその他の方法で固定された様々なセンサによって提供される乗り物の動作及び周囲のドライブ環境についての情報を用いて、乗り物に関連付けられたコンピューティング装置により制御される。関連技術において、いくつかの乗り物は、半自律的に動作するように構成されており、ドライバは、乗り物の操作の一部の態様（ステアリング）のみを制御する一方で、センサから受信される乗り物の移動及び周囲のドライブ環境に関する情報も用いて、コンピューティング装置が乗り物の操作の他の態様（ブレーキ及びアクセル）を制御する。

米国特許第８７１８８６１号明細書

乗り物が遭遇するいくつかのドライブ環境は、複雑すぎるか危険すぎるので、自律システムに排他的に依存することができないことが認識されている。このようなケースにおいて、乗り物は、予期せぬドライブ環境に遭遇したことを判定できてもよいが、そのために、乗り物によって取り込まれたデータに基づいて操縦するには乗り物の装備が不充分である。このような判定を行なう際に、どのような基準が用いられるべきか、に関して、例えば、モンテメルロ他の特許文献１など、様々な方法が示唆されている。いくつかの方法は、このようなケースにおいて、コンピューティング装置が乗り物を自律的に操作するのを中止すべきであり、ドライバが手動的に乗り物を操作しなければならないということをドライバに知らせるべきである、ことを示唆している。しかしながら、これは、ドライバを不安にする可能性があり、そのようなドライバは、むしろ乗り物を制御しない方が良いだろう。

本明細書に開示するのは、自律的な乗り物を遠隔的に操作するためのコンピュータ装置、システム、及び方法である。自律的な乗り物が、自律的操作に適していない、道路工事又は障害物などの予期せぬドライブ環境に遭遇する場合、乗り物のセンサは、画像、レーダー、及びライダーデータなどを含む乗り物及び予期せぬドライブ環境に関するデータを取り込むことができる。取り込まれたデータは、遠隔オペレータに送信することができる。遠隔オペレータは、遠隔的に乗り物を手動で操作することができ、或いは、様々な乗り物のシステムによって実行される自律的な乗り物に対する命令を発行することができる。遠隔オペレータに送信されて取り込まれたデータは、取り込まれたデータの限定されたサブセットを送信することなどによって、帯域幅を節約するために最適化することができる。

一実施態様において、自律的乗用車のためのコンピューティング装置であって、コンピューティング装置の動作を制御するための１つ以上のプロセッサと、ネットワーク上の遠隔サーバと通信するように構成された通信インタフェースと、１つ以上のプロセッサによって用いられるデータ及びプログラム命令を保存するためのメモリとを含み、１つ以上のプロセッサは、メモリ内に保存された命令を実行して、予期せぬドライブ環境を識別し、乗り物上に配置された１つ以上のセンサから受信された予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信し、１つ以上の乗り物のシステムに関する、遠隔オペレータによって送信された命令を受信し、実行のために１つ以上の乗り物のシステムに対して命令を送信するように構成されるコンピューティング装置を開示する。

別の実施態様において、自律的乗用車のためのコンピュータで実現される方法であって、予期せぬドライブ環境を識別することと、乗り物上に配置された１つ以上のセンサから受信された予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信することと、１つ以上の乗り物のシステムに関する、遠隔オペレータによって送信された命令を受信することと、実行のために１つ以上の乗り物のシステムに対して命令を送信することとを含む方法を開示する。

別の実施態様において、システムであって、乗り物上に配置された１つ以上のセンサと、１つ以上のセンサと通信するコンピューティング装置であって、コンピューティング装置の動作を制御するための１つ以上のプロセッサと、ネットワーク上の遠隔サーバと通信するように構成された通信インタフェースと、１つ以上のプロセッサによって用いられるデータ及びプログラム命令を保存するためのメモリとを備えるコンピューティング装置とを含み、１つ以上のプロセッサは、メモリ内に保存された命令を実行して、予期せぬドライブ環境を識別し、乗り物に関連する１つ以上のセンサから受信された情報を、遠隔サーバを用いて遠隔オペレータに対して送信し、１つ以上の乗り物のシステムに関する、遠隔オペレータによって送信された命令を受信し、１つ以上の乗り物のシステム上で命令を実行するように構成される、システムを開示する。

乗り物を遠隔的に操作するための、自律的な乗り物に関連するコンピューティング装置の概略ブロック図である。 図１のコンピューティング装置を含む自律的な乗り物の図的表現である。 自律的な乗り物を遠隔的に操作するプロセス例の論理フローチャートである。

自律的な乗り物を遠隔的に操作するためのコンピュータ装置、システム、及び方法を本明細書に開示する。自律的な乗り物は、自律モードで通常運転することができるか、又は乗り物内の乗員（すなわち乗り物の「ドライバ」）によって操作することができる乗用車であり得る。自律的な乗り物が、自律的操作に適さない、道路工事又は障害物などの予期せぬドライブ環境に遭遇する場合、乗り物のセンサは、画像、レーダー、及びライダーデータなどを含む乗り物及び予期せぬドライブ環境に関するデータを取り込むことができる。取り込まれたデータは、遠隔オペレータに送信することができる。遠隔オペレータは、遠隔的に乗り物を手動で操作することができ、或いは、様々な乗り物のシステムによって実行される自律的な乗り物に対する命令を発行することができる。遠隔操作は、ドライバによる介入なしで行なうことができ、或いは、ドライバは、遠隔操作を承認若しくはリクエストするように要求され得る。帯域幅を節約するために、遠隔オペレータに対して送信されて取り込まれたデータは、取り込まれたデータの限定されたサブセットを送信するなどによって、例えば、遠隔オペレータの情報ニーズに基づいた、遠隔操作を行なうのに必要最小限の情報のみに最適化することができる。最良のＱｏＳ又は最高速の通信チャネルを発見するために有効な通信チャネルの検索も用いることができる。予期せぬドライブ環境に関するデータも、同じ予期せぬドライブ環境の他の乗り物から受信することができる。さらに、遠隔オペレータによって選択された経路も、同じ予期せぬ環境における他の自律的な乗り物に対して伝えることができる。

図１は、（図２に表現したような）乗り物２００に関連するコンピューティング装置１００の概略ブロック図である。コンピューティング装置１００は、乗り物に実装された、手動操作式、デスクトップ、若しくは他の形式の単一のコンピューティング装置のいずれのタイプにもなり得るし、又は複数のコンピューティング装置から構成されることができる。コンピューティング装置１００内の演算処理装置１０２は、情報を操作若しくは処理できる従来の中央処理装置（ＣＰＵ）若しくは他の種類のデバイス、又は複数の装置とすることができる。コンピューティング装置１００内のメモリ１０４は、ランダムアクセスメモリ装置（ＲＡＭ）又は他の適当な種類の記憶装置とすることができる。メモリ１０４は、バス１０８を用いてＣＰＵ１０２によってアクセスされるデータ１０６を含むことができる。

また、メモリ１０４は、オペレーティングシステム１１０と、インストールされたアプリケーション１１２とを含むことができ、インストールされたアプリケーション１１２は、以下に記載されるように、ＣＰＵ１０２が乗り物２００の遠隔操作を実施することを可能にするプログラム又はアプリを含む。また、コンピューティング装置１００は、例えば、メモリカード、フラッシュドライブ、若しくはコンピュータ読み取り可能媒体の他の形式などの、二次記憶装置、追加記憶装置、又は外部記憶装置１１４を含むことができる。一実施態様において、アプリケーション１１２は、全体的又は部分的に外部記憶装置１１４内に保存されるとともに、処理のために必要に応じてメモリ１０４内にロードされることができる。

コンピューティング装置１００は、様々な乗り物の機能を制御する１つ以上の乗り物のシステム１１６と直接的又は間接的に通信することができる。乗り物のシステム１１６は、コンピューティング装置１００を通信すること、又はコンピューティング装置１００から情報を受信することをドライバが可能にすることが可能な、１つ以上の乗り物のインタフェース１１８を含むことができる。乗り物のインタフェース１１８は、例えば、１つ以上の対話型のディスプレイ、オーディオシステム、音声認識システム、ボタン及び／又はダイヤル、触覚フィードバックシステム、又は情報を入力又は出力するために用いられる他の同様のシステムを含むことができる。他の例示的な乗り物のシステム１１６は、推進システム１２０と、ステアリングシステム１２２と、スタビリティ制御システム１２４と、ナビゲーションシステム１２６と、エネルギーシステム１２８と、例えば乗り物の環境又は娯楽機能などの様々な乗り物の機能を制御することができる他のシステムとを含むことができる。乗り物のインタフェース１１８は、他の乗り物のシステム１１６の動作に作用する、コンピューティング装置１００に対する命令を発行するためにドライバによって用いられることができる。

推進システム１２０は、エンジン、モータ、トランスミッション、及び／又は乗り物２００を運転するために用いられる他の乗り物の制御を制御することができる。ナビゲーションシステム１２６は、乗り物のためのルート又は方向を確立するために用いることができ、地図を含むことができ、及び／又は最適ルートを判定するために外部若しくは遠隔ソースに接続することができる。スタビリティ制御システム１２４は、例えば、乗り物の適切な偏揺れ（yaw）を含む、乗り物の安定性を維持するために乗り物のホイールの１つ以上に対してブレーキ又はモータを作動させることができる。エネルギーシステム１２８は、乗り物のエネルギー利用及びエネルギー貯蔵を制御することができ、エネルギー源は、ガソリン、天然ガス、ディーゼル油、バッテリ、燃料電池、又は同種のもの形式であってもよい。乗り物のシステム１１６は、特定の乗り物のシステム１１６によって制御される機能を実施するために用いることが可能な様々なアクチュエータと通信することができる。例えば、推進システム１２０は、アクチュエータにアクセルペダルの位置に基づいてスロットルプレートの位置を移動させることができる。このように、様々な乗り物のシステム１１６は、乗り物２００のエンジン、モータ、バッテリシステム、アクセル、ブレーキ、ステアリング、トランスミッション、若しくは他のシステムの動作を制御又は作用することができる。

また、コンピューティング装置１００は、乗り物２００及び乗り物のシステム１１６の性能を示すデータを取り込むことが可能な、１つ以上のセンサ１３０と直接的又は間接的に通信することができる。センサ１３０は、方向、速度、アクセル、偏揺などの乗り物２００の移動を測定するために用いることができる。センサ１３０から受信されるデータに基づいて、コンピューティング装置１００は、乗り物のシステム１１６を制御することができる。例示的なセンサ１３０は、加速度計、ジャイロスコープ、及び／又は磁力計を含むことができ、その１つ以上は、慣性計測装置（ＩＭＵ）１３２で組み合わされることができる。位置センサ１３４は、乗り物２００の位置を判定するために地球投影位置決定衛星システム（ＧＰＳ）を用いることができる。カメラなどの光学センサ１３６は、電荷結合素子（ＣＣＤ）、相補性金属酸化膜半導体（ＣＭＯＳ）、又は同様の画像取り込み素子を用いて、画像データを取り込むことができ、単一スペクトル画像又はマルチスペクトル画像を取り込むように構成されることができる。（それぞれ無線又は光検出を用いる）レーダーセンサ１３８及び／又はライダーセンサ１３９は、乗り物２００の近くの物体（例えば他の乗り物など）を識別するのを支援することができる。用いてもよい他の例示的なセンサ１３０は、気候（例えば、温度計又は気圧計）又は高度（例えば、高度計）の変化を検出することができ、乗り物のシステム１１６の状態を監視する（例えば、燃料若しくはエネルギー準位、エンジン温度、酸素レベル、タイヤ圧などを監視する）内界センサを含むことができる。センサ１３０によって検出可能な他の情報のうち、センサ１３０は、乗り物の速度、乗り物の方向、乗り物の加速度、乗り物の回転、乗り物の位置、環境的な天候条件、トラフィック状況、及び道路事情を検出することができる。

コンピューティング装置１００は、また、コンピューティング装置１００がインターネットなどのネットワーク１４２上の外部ソースと通信することができる通信インタフェース１４０を含むことができる。これらの外部ソースは、１つ以上の遠隔サーバ１４４を含むことができる。

図２は、コンピューティング装置１００と直接的又は間接的に通信する乗り物２００の図的表現である。コンピューティング装置１００は、乗り物２００内に設置されることができ、又は乗り物２００から遠隔的に別の位置に設置されることができる。コンピューティング装置１００が乗り物２００から遠隔にあれば、乗り物２００は、通信インタフェース１４０を通じてなど、コンピューティング装置１００と通信する能力を有することができる。この開示において、乗り物（vehicle）２００は、概して自動車（automobile）として記載される点に留意されるべきである。しかしながら、飛行機、ボート、列車などのドライバ又はオペレータによって概して制御された他の乗り物でも開示したシステム及び方法を実施することができるので、乗り物２００は、自動車に限定されない。

１つ以上のセンサは、図１を参照して説明したセンサ１３０など、乗り物２００上に配置されることができる。例えば、ＩＭＵ１３２内に含まれる１つ以上のセンサ１３０は、例えば推測航法システムにおいて乗り物２００及びステアリング角の位置及び方位を推定するためにコンピューティング装置１００による使用のための周囲環境の物体に対する速度、アクセル、ホイール回転数、偏揺れ、及び距離の変化を取り込むように構成されることができる。１つ以上のセンサ１３０は、また、ｘ、ｙ、及びｚ軸位置の変化、速度、アクセル、回転角、及び乗り物２００のナビゲーションルートに隣接する物体に対する乗り物のための回転角レート及び類似データを表現するデータを取り込むことができる。センサ１３０が推測航法システムのためのデータを取り込む場合、ホイール回転数、変更の走行距離、ステアリング角及びステアリング角速度に関連する情報を取り込むことができる。

別の例として、ライダーセンサ１３９は、信号がライダーセンサ１３９に戻るのにかかる時間を測定することによって計算された範囲の距離で乗り物２００を囲むエリア内の物理オブジェクトからのレーザリターンに関連するデータを取り込むことができる。レーザリターンは、乗り物２００上に又は乗り物２００に隣接して配置されたライダーセンサ１３９又は別のソースによって発せられる、例えばレーザー光などの光源によって衝突される物体で反射された後方散乱光を含むことができる。光が物体によって一旦反射されると、ライダーセンサ１３９は、例えば、コンピューティング装置１００内に又はコンピューティング装置１００内に対してアクセス可能に保存されたアプリケーション１１２の１つによって、物体の解析及び分類に用いられる物体上各ポイントの強度値及び反射率を取り込むことができる。

また、１つ以上のセンサ１３０は、例えば、交通信号灯、道路上のマーキング、又は交通標識の画像を取り込むことによって交通信号及び交通パターンを検出するために用いられることができる。例えば、光学センサ１３６は、コンピューティング装置１００によって処理するための画像を取り込むことができる。例として、道路上のレーンマーキングを読み取るために光学センサ１３６を用いることによって、コンピューティング装置１００は、その道路上の適切な走行レーン（すなわち２組のレーンマーキング間のスペース）の場所を判定することができる。別の例として、テキスト認識処理を用いると、１つ以上の光学センサ１３６は、各道路上の法定速度制限値を明示する交通標識を読み取ることができる。以下に記載されるように、この情報は、自律モードの乗り物を操作する場合に、コンピューティング装置１００で用いることができる。さらに、光学センサ１３６は、ドライブ環境の単一スペクトル画像データ又はマルチスペクトル画像データを取り込むように構成されることができる。

１つ以上の位置センサ１３４は、複数の衛星からの信号に基づいてグローバル座標における乗り物２００の位置を取り込むことができる。複数の衛星は、３次元の三角測量及び時間評価を用いて、乗り物の２００の位置及び速度を推定するために用いられることができる。さらに、乗り物２００の現状を判定するか、又は乗り物２００の環境に関しての乗り物２００の位置を判定するために用いることができ得る他のデータ及び／又は信号も、また、１つ以上のセンサ１３０によって取り込むことができる。

乗り物２００は、手動モード又は自律モードにおいて動作するためのオプションを含むことができる。乗り物２００が手動モードにある場合、ドライバは、乗り物のシステム１１６を手動的に制御する。他方で、自律モードにおいて、コンピューティング装置１００は、ドライバの介入を伴わずに１つ以上の乗り物のシステム１１６を制御するために用いられる。いくつかの乗り物は、ドライバとコンピューティング装置１００との間で乗り物２００の動作が共有される「半自律モード」を装備してもよい。例えば、ドライバは、ステアリングなどの乗り物の操作の一部の態様を制御することができ、その一方でコンピューティング装置１００は、ブレーキ及びアクセルなどの乗り物の操作の他の態様を制御することができる。前述の２つのモードに加えて、乗り物２００は、より詳細には以下に記載されるように、遠隔操作モードで動作することができる。

乗り物２００が自律モードで動作している場合、コンピューティング装置１００は、センサ１３０によって取り込まれたデータを解析し、取り込まれたデータに基づいて乗り物のシステム１１６に関連する命令を発行することができる。例えば、コンピューティング装置１００は、光学センサ１３６によって検出された交通標識のテキストに基づいて、乗り物２００が走行している道路上の最大速度制限値を判定することができる。若しくは、コンピューティング装置は、位置センサ１３４から受信された位置情報と、ローカルに（メモリ１０４又は外部記憶装置１１４内などに）格納された又は最大速度制限値を判定するために遠隔のソースから検索された地図データとを用いることができる。一旦コンピューティング装置１００が道路上の最大速度制限値を判定すれば、コンピューティング装置は、乗り物のシステム１１６が最大速度制限値を超えて乗り物２００を操作するのを防ぐことができる。別の例として、レーンマーキングの検出によって、コンピューティング装置１００は、乗り物のシステム１１６が適切なレーン内で乗り物２００を操作することを保証することができる。

正常な操作環境下で、センサ１３０は、自律モードの乗り物２００を操作するためにコンピューティング装置１００のために充分な情報を提供することになる、ということが想定される。しかしながら、乗り物２００は、時々、例えば、建設区域、道路の真中の障害物、渋滞、又は異常気象など、自律的操作が不適当である、予期せぬドライブ環境に遭遇することになる。さらに、一部の道路パターンは、見通しの悪い交差点、曲がりくねった道がある山岳地帯、又は密集した都市環境など、自律モードにとってあまりにも難易度が高いと見なされるかもしれない。コンピューティング装置１００は、センサ１３０から受信されたデータに基づいて、乗り物２００がこのようなドライブ環境にある、ということを検出することができ、又は、このような地帯の位置は、コンピューティング装置１００によってアクセス可能な（例えば、メモリ１０４又は外部記憶装置１１４内にローカルに保存されるか、又は遠隔のソースからアクセス可能である）地図データ内に難易度が高い環境として保存することができる。加えて、予期せぬドライブ環境の存在は、センサ１３０によって検出されるような環境情報（例えば、道路、交通信号、交通パターン、など）が、ローカルに又は遠隔的に保存された地図又はデータベースから検索されるような環境に関する予期されたデータとは異なるか否かで、判定されることができる。（また、閾値も、取り込まれたデータと予期されたデータとの間の小さな変動を可能にするために定義することができ、環境内の変化を、このような閾値に対比して測定することができる。）自律モードが賢明でないこれらのあらゆるドライブ環境は、この開示の目的のために（すなわち、ドライブ環境への遭遇が全く予知しないか否かに関係なく）「予期せぬドライブ環境」と見なすことができる。この開示の目的のために、「予期せぬドライブ環境」は、コンピューティング装置１００が自律的操作に適していないと判定するあらゆるドライブ環境又は状況を意味する。

予期せぬドライブ環境が識別されれば、乗り物２００の動作を、遠隔操作モードに切り替えることができる。さらに、乗り物２００が、現在のドライブ環境の乗り物の２００の現在ルート及びリアルタイムの地図データに基づいて、予期せぬドライブ環境にすぐに遭遇するかもしれない、ということが予測される場合、遠隔操作モードを開始することができる。

遠隔操作モードにおいて、乗り物２００は、遠隔オペレータによって遠隔的に操作されることができる。一実装例において、ドライバ（すなわち、乗り物２００の物理的内部の乗員）に、遠隔操作モードを承認するように促すことができる。別の実装例において、遠隔操作モードは、ドライバによる積極的行動がなくても作動させることができるし、乗り物２００がもう自律モードにないということに気づいているドライバがいなくても、目に見えないように実行することができる。

一実装例によれば、コンピューティング装置１００が、予期せぬドライブ環境の識別に際して遠隔操作モードに入る準備をするとき、コンピューティング装置１００は、乗り物の２００の移動及び予期せぬドライブ環境に関するセンサ１３０から情報をリクエストする。この情報は、（ビデオデータを含む）画像データと、位置データと、レーダーデータ及び／又はライダーデータとを含むことができる。別の実施態様例によれば、予期せぬドライブ環境が充分に識別される前でも、環境から付加的な情報を収集するプロセスを、開始することができる。例えば、一旦乗り物２００が、期待されるものに比較してドライブ環境のいくつかの変化を経験すると、それらの変化が激しくなく、且つコンピューティング装置１００が変化に対してまだ自律的に反応することができ、自律モードで動作し続けることができたとしても、データ収集プロセスは、いずれ訪れる潜在的な予期せぬドライブ環境を見越して、開始することができる。

一実装例において、遠隔操作モードのために収集されたデータは、自律モードの間に、センサ１３０によって取り込まれるのと同じデータになり得る。但し、別の実装例において、異なるデータ又は付加的なデータを収集することができる。例えば、正常な自律的操作のために必要でない又は用いられないものの、遠隔オペレータのために有用になる周囲環境の画像データを取り込むことができるカメラがあってもよい。加えて、自律モードと比較して、同一の又は類似のデータが収集されたとしても、データを体系化し、パッケージ化し、及び／又は、（このようなデータを自律モードの間に通常利用する自律制御システムにではなく、人間によって用いられるために）さらに人間可読形式で示すことができる。

次に、遠隔オペレータは、自律的な乗り物２００を制御するリクエストのコンタクトをとることができる。遠隔オペレータは、ネットワーク１４２上のコンピューティング装置１００によってコンタクトをとることができる遠隔サーバ１４４を用いることができる。センサ１３０によって収集されたデータは、乗り物２００を手動的に操作しながらこのようなデータを閲覧できる遠隔オペレータに対して提示することができる。例えば、遠隔オペレータは、乗り物２００内又は乗り物上に含まれる光学センサ１３６を用いて環境を認識するとともに、レーダーセンサ１３８又はライダーセンサ１３９を用いて周囲の乗り物の速度に関するデータを認識することができる。１つの実装例において、センサ１３０は、例えば、光学センサ１３６を回転、パン撮り、又はズームイン若しくはズームアウトするために遠隔オペレータによって遠隔的に制御されることができる。また、遠隔オペレータは、位置センサ１３４によって取り込まれた位置データにアクセスすることができる。従って、遠隔オペレータを支援するために、ドライブ環境の他の乗り物又は他の機能又は物体を表わすアイコンとともに、地図上の正確な位置に表示された乗り物２００を表わすアイコンにより、環境の地図を遠隔オペレータに対して表示することができる。

遠隔オペレータが乗り物２００の制御をしている間に、遠隔オペレータは、あたかも運転席から乗り物２００を操作するかのように、センサ１３０によって取り込まれた情報を用いて、ドライブ環境のリアルタイム認識を有して、乗り物のシステム１１６をリアルタイムで直接操作することができる。別の実施態様例において、遠隔オペレータは、様々な事前に定義された自律的操作（例えば１つのレーン上で移動することなど）を実行するために（コンピューティング装置１００によって実行されるアプリケーション１１２において実施することができる）自律制御システムに対して命令を発行することができる。その後、自律制御システムは、自律モードのままの乗り物２００で、選択された操作を自律的に行なうことができる。別の例として、遠隔オペレータは、乗り物をガイドするために自律制御システムが用いているルートを手動的に修正することができる。例えば、遠隔オペレータは、利用可能な迂回ルートのいくつかのオプションを提示されることができる（１つの例として、遠隔オペレータのためのユーザインタフェース及び迂回経路の軌跡をドライブ環境の地図上に重ねることができる）。遠隔オペレータの新たなルートを選択すると、自律制御システムは、その後、新たなルートを用いて、乗り物を自律的に操作し続けることができる。

１つの実装例において、遠隔オペレータは、センサ１３０から受信された画像に基づいて、ドライバが乗り物２００自体の内部にいる光景を模倣する、フロントガラスの代わりのモニタをもつシミュレータマシンの内部から、乗り物２００を操作することができる。

別の実装例において、付近の他の乗り物からの情報は、乗り物２００によって取り込まれたデータを補強する可能性があり、遠隔オペレータが乗り物２００をガイドするのを支援することができる。例えば、近くの乗り物上で配置されたカメラによって取り込まれた画像情報は、遠隔オペレータを支援することができる場面の異なる光景を提供することができる。別の例として、乗り物２００の前方の別の乗り物から受信されたデータは、予期せぬドライブ環境（例えば乗り物２００がいまだに遭遇していない障害物など）に関する付加的な環境情報を示すことができるかもしれない。１つの実装例において、道路の上の（乗り物２００を含む）各乗り物は、定期的に又は継続的にその位置データにより遠隔サーバ（例えば遠隔オペレータによって用いられる遠隔サーバ１４４など）を更新することができる。その後、遠隔オペレータがそのエリア内の乗り物を遠隔的に操作しているとき、遠隔サーバ１４４は、これらの乗り物からのセンサデータをリクエストすることができる。若しくは、乗り物２００自体のコンピューティング装置１００は、このような他の乗り物から関連するセンサデータを受信するためにローカルのその場限りの無線接続を用いて、近くの他の乗り物と通信することができ、その後、コンピューティング装置１００は、遠隔オペレータによって用いられる遠隔サーバ１４４に対して、その情報を転送することができる。

１つの実装例において、遠隔オペレータがコンタクトをとる前に、例えば、遠隔オペレータに対する制御権の許諾を確認又は承認するために、対話型のディスプレイ、オーディオシステム、又は他の乗り物のインタフェース１１８を用いて、ドライバに促す及び／又は尋ねることができる。ドライバが肯定的に応答し、遠隔操作モードを開始することを選択する場合、遠隔オペレータは、コンタクトをとることができ、センサ１３０によって取り込まれた関連データは、遠隔オペレータに対して送信することができ、乗り物２００の制御権は、遠隔オペレータに移ることができる。一方、ドライバが遠隔オペレータとコンタクトをとることを選択しなければ、乗り物２００は、手動モードに切り替えることができ、ドライバは、乗り物２００及び乗り物のシステム１１６を管理することができる。若しくは、ドライバが乗り物２００の制御権を維持することを肯定的に選び、且つそれを手動モードに入れる機会を与えられるように、乗り物２００を構成することができ、ドライバが所定の秒数内にそのような選択を行なわなければ、遠隔オペレータは、コンタクトをとり、乗り物２００の得たコンタクトは、遠隔オペレータに自動的に移る。

別の実施形態において、制御権は、ドライバによる肯定的選択を必要とせず、且つ、ドライバに通知することなく、遠隔オペレータへと自動的に移行し得る。このような実施態様において、ドライバは、乗り物２００が遠隔オペレータによって遠隔的に操作されているという事実に対して警告を受けることができる。さらに、遠隔オペレータが現在のドライブ環境に関するドライバの質問を要求することができるか、そうでなければ、乗り物２００の遠隔操作に関してドライバに助言することができるように、オーディオ又はテキストベースの通信を、遠隔オペレータとドライバとの間で確立することができる。さらに、特に難易度が高い予期せぬドライブ環境において、遠隔オペレータが乗り物２００を遠隔的に操作することを快適に感じないかもしれないということもあり得る。このようなケースにおいて、遠隔オペレータは、制御権がドライバに譲られており、且つ乗り物２００が手動モードに入ることになる、ということをドライバに助言することができる。別の実装例において、ドライバによる肯定の選択を必要とせずに、且つドライバに通知することなく、制御権が、遠隔オペレータに対して自動的に移ることができる。このように、乗り物２００が、自律的に操作される代わりに、遠隔的に操作されるという事実は、ドライバにとって不可視になり得る。

乗り物２００の遠隔操作をリアルタイムで行なうことができるので、データ伝送の信頼性は重要な問題になり得る。従って、遠隔オペレータに対して送信されたデータは、乗り物２００を操作するために遠隔オペレータにより必要とされる最小量の情報のみを送信することによって、最適化された方式で用意されて送信されることができる。例えば、帯域幅を節約するためにデータを圧縮することができる。さらに、一実装例において、最も関連するセンサデータのみを遠隔オペレータに送信することができる。例えば、予期せぬドライブ環境がドライバの乗り物２００の側から生じる予期せぬ要素に基づくとコンピューティング装置１００が判定すれば（例えばドライバが左に曲がりたいと思う道路が妨げられた光景）、コンピューティング装置１００は、前部及びドライバ側の光学センサ１３６から（例えば、後部カメラのいずれかからではない）遠隔オペレータに対して画像データのみを送信するように構成することができる。別の例として、ライダーセンサ１３９によって取り込まれたライダーデータのポイントクラウドの最も関連する部分のみを、遠隔サーバ１４４に送信することができる。上記のように、道路上に他の乗り物も、また、遠隔サーバ１４４と通信してデータ（センサデータ及び／又は画像データを含む）を送信していてもよい。従って、一部の例においては、最も帯域効率的な方法は、近くの他の乗り物上に設置されたセンサによって取り込まれた情報を用いることかもしれない。要するに、伝送されたすべての情報は、予期せぬドライブ環境のニーズによるものとすることができる。遠隔操作の間に付加データが必要になる場合、このような付加データは、センサ１３０又は乗り物外のソースから得ることができ、必要に応じて遠隔オペレータに対して送信されることができる。

別の実装例において、コンピューティング装置１００がクオリティ・オブ・サービス（quality-of-service）（ＱｏＳ）及び帯域幅容量の観点から最適な通信ネットワーク上で検索してロックすることができるように、乗り物２００は、利用可能なネットワークのクオリティ・メトリック（quality metrics）（例えば、帯域幅、ネットワーク速度、信頼性など）を測定することができるコグニティブ無線を装備することができる。コンピューティング装置１００は、また、最適な通信ネットワークのためのその検索に従事するために、ドライバの携帯電話を利用することができる。

別の実装例において、利用可能な帯域幅は、関連データ（例えば、センサ１３０によって取り込まれたデータ）の伝送のために必要な帯域幅に対比して測定することができる。帯域幅が伝送される必要がある情報にとって充分である場合、このような情報が伝送され、乗り物の２００の動作に対する変更は行なわれない。但し、帯域幅が不充分である場合、情報は、より遅く伝送されることができる（例えば、光学センサ１３６からのビデオストリームデータは、低フレームレートで伝送され始めることができる）。そのような場合、コンピューティング装置１００は、自動的に遠隔オペレータからドライバに乗り物の制御権を移行する（すなわち、手動モードに入る）か、乗り物２００の速度を制限するか、又は乗り物２００を自律的に道路の脇に寄せるように構成することができる。

上記のように、遠隔サーバ１４４は、付近の他の乗り物と直接的又は間接的に（例えば、上記のように、ネットワーク１４２上、又は乗り物２００と近くの他の乗り物との間でローカルに形成されたアドホックネットワークを通じてのいずれかで）通信することができる。１つの実装例において、遠隔オペレータによって選択された経路を、それぞれの自律的操作システムに対してガイダンスを提供するために、同じ予期せぬドライブ環境の他の自律的な乗り物に対して送信することができる。また、必要な情報を移行するのに帯域幅が不充分である場合、付近の他の乗り物（又は付近の他のドライバの携帯電話）の通信システムは、このような情報を通信するためにピアツーピアネットワーク構成において利用することができる。このようにして、遠隔操作モードのためのコンピューティング装置１００のための利用可能な有効帯域幅が増加される。

開示した装置、方法、及びシステムは、乗員について排他的且つ自律的な乗り物に対して適用されることができ、これは、乗員が乗り物２００を操作できる手動制御（例えば、ステアリングホイール、変速レバー、ペダル、など）がないということを意味する。乗り物２００に対して、重量、スペース、及び費用を増やすことになるこれらの手動制御を自律的な乗り物２００に含めることの必要性が全くない一方で、乗り物２００を制御することを、経験を積んだ人間に許可し得る、予期せぬドライブ環境があってもよい。このように、乗員に操作機能がない乗り物２００では、乗り物が予期せぬドライブ環境に遭遇する場合には自動的に、この開示に記載されているように、乗り物２００の操作機能の制御権は、遠隔オペレータに移ることができる。従って、この実装例において、乗り物２００は、コンピューティング装置１００よって自律的にのみ、又は遠隔オペレータによって手動的に、制御されることができる。このような実装例において、乗り物２００の操作を制御しているドライバ（すなわち乗り物２００の乗員）に通知することは必要ないかもしれないので、予期せぬドライブ環境の場合、制御権は、ドライバによる肯定の選択を必要とせずに、且つドライバに通知せずに、遠隔オペレータに対して自動的に移ることができる。同じように、コンピューティング装置１００は、例えば、ドライバが眠っているかどうかを、ドライバの瞳の動き又は心拍数モニタを取り込むことができるカメラを用いて、検出するように構成することができる。ドライバが寝ていると判断された場合は、乗り物２００の制御権は、制御権の許諾をドライバに確認する必要なく、遠隔オペレータへと自動的に迅速に移行することができる。

図３は、自律的な乗り物を遠隔的に操作するプロセス３００の例の論理フローチャートである。ステップ３０２において、センサ１３０によって取り込まれたデータに基づいて、コンピューティング装置１００は、予期せぬドライブ環境を識別する。ステップ３０４において、コンピューティング装置１００は、遠隔オペレータとコンタクトをとり、これは遠隔オペレータに対してセンサデータを送信することを含む。上記のように、コンピューティング装置１００は、帯域幅を節約するために、制限されたデータを選択的に送信することができる。ステップ３０６において、遠隔操作が認証される。上記のように、認証は、自動的であってもよいし、又は遠隔オペレータ、ドライバ、若しくはその両者の肯定的な同意を必要としてもよい。ステップ３０８において、コンピューティング装置１００は、遠隔オペレータによって送信された命令を受信する。ステップ３１０において、コンピューティング装置１００は、実行のために乗り物のシステム１１６に対してこれらの命令を送信する。上記のように、これらの命令は、乗り物の２００の動作（乗り物２００の内部から乗り物２００を手動的に操作する場合に、ドライバが実行する制御と同種）の態様をすべて直接的に制御することを含むことができるし、又はこれらの命令は、（乗り物２００のための採用すべき特定のルート又は演習を選択するような）コンピューティング装置１００に対するハイレベルの命令であってもよく、その後、乗り物の２００の標準的な自律的操作モードを介して実施されることができる。

前述の記述は、現在最も実際的な実施形態であると見なされるものに関する。但し、本開示は、これらの実施形態に限定されず、添付の請求項の精神及び範囲に含まれる様々な改良及び等価な構成を網羅するように意図される、ということを理解すべきである。例えば、本開示におけるユーザは、乗り物２００のドライバとして概して識別される。但し、ユーザは、添付の請求項の精神及び範囲から逸脱せずに、乗り物２００の乗員又は認証されたユーザのいずれかであってもよい。さらに、「自律的な乗り物」がこの開示において用いられる場合、乗り物は、あらゆる点で自律的である必要はなく、むしろ、このような用語は、添付の請求項の精神及び範囲から逸脱せずに、高度に自動化された動作又は半自律的な動作を利用するあらゆる乗り物を包含することができる。従って、特許請求の範囲は、法の下で許可されるような改良及び等価の構成をすべて包含するように、最も広い範囲の解釈を与えられるべきである。

１００ コンピューティング装置
１０２ 演算処理装置
１０４ メモリ
１０６ データ
１０８ バス
１１０ オペレーティングシステム
１１２ アプリケーション
１１４ 外部記憶装置
１１６ 乗り物のシステム
１１８ 乗り物のインタフェース
１２０ 推進システム
１２２ ステアリングシステム
１２４ スタビリティ制御システム
１２６ ナビゲーションシステム
１２８ エネルギーシステム
１３０ センサ
１３２ 慣性計測装置
１３４ 位置センサ
１３６ 光学センサ
１３８ レーダーセンサ
１３９ ライダーセンサ
１４０ 通信インタフェース
１４２ ネットワーク
１４４ 遠隔サーバ

Claims (20)

1. 自律的な乗客用の乗り物のためのコンピューティング装置であって、
   当該コンピューティング装置の操作を制御するための１つ以上のプロセッサと、
   ネットワーク上の遠隔サーバと通信するように構成された通信インタフェースと、
   前記１つ以上のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記１つ以上のプロセッサが、前記メモリに記憶された指令を実行して、
   予期せぬドライブ環境を識別し、
   前記乗り物に配置された１つ以上のセンサから受信される前記予期せぬドライブ環境に基づく情報を、前記遠隔サーバを用いて遠隔オペレータに対して送信し、
   前記遠隔オペレータによって送信された１つ以上の乗り物のシステムに関する命令を受信し、
   実行のために前記１つ以上の乗り物のシステムに対して前記命令を送信するように構成された、コンピューティング装置。
2. 前記予期せぬドライブ環境が、前記乗り物に配置された前記１つ以上のセンサから受信された情報に、少なくとも部分的に基づいて自律的に識別される、請求項１に記載のコンピューティング装置。
3. 前記１つ以上のセンサから受信された前記情報が、前記予期せぬドライブ環境の乗り物の速度、乗り物の方向、乗り物の加速度、乗り物の回転、乗り物の位置、環境的な天候条件、交通状況、道路事情、及び画像のうちの少なくとも１つに関する、請求項１に記載のコンピューティング装置。
4. 前記乗り物のシステムが、ステアリングシステム、推進システム、スタビリティ制御システム、ナビゲーションシステム及びエネルギーシステムのうちの少なくとも１つを含む、請求項１に記載のコンピューティング装置。
5. 前記遠隔オペレータから受信された前記命令は、前記１つ以上の乗り物のシステムを直接的に制御するために用いられる、請求項１に記載のコンピューティング装置。
6. 前記乗り物のシステムは、前記遠隔オペレータから受信された前記命令に基づいて自律的に制御される、請求項１に記載のコンピューティング装置。
7. 前記１つ以上のセンサから受信された前記情報は、前記乗り物の乗員による承認の指示を受信したときに前記遠隔オペレータに対して送信される、請求項１に記載のコンピューティング装置。
8. 前記１つ以上のセンサから受信された前記情報は、前記予期せぬドライブ環境を識別したときに前記遠隔オペレータに対して送信される、請求項１に記載のコンピューティング装置。
9. 前記１つ以上のセンサから受信された前記情報は、前記乗り物の遠隔操作における前記遠隔オペレータの前記情報の要求に基づいて前記遠隔オペレータに対して選択的に送信される、請求項１に記載のコンピューティング装置。
10. 前記予期せぬドライブ環境に関する付加的な情報は、前記予期せぬドライブ環境にある他の乗り物から受信される、請求項１に記載のコンピューティング装置。
11. 前記命令は、他の乗り物を自律的に制御するために、前記予期せぬドライブ環境にある前記他の乗り物に対して送信される、請求項１に記載のコンピューティング装置。
12. 前記ネットワークは、クオリティ・オブ・サービスに基づいて選択される、請求項１に記載のコンピューティング装置。
13. 前記ネットワーク上で送信される前記情報は、前記ネットワークのクオリティ・メトリックに少なくとも部分的に基づく、請求項１に記載のコンピューティング装置。
14. 前記１つ以上のプロセッサは、前記メモリに記憶された指令を実行し、前記ネットワークのクオリティ・メトリックに基づいて１つ以上の乗り物のシステムに対して自律命令を送信するように更に構成された、請求項１に記載のコンピューティング装置。
15. 自律的な乗客用の乗り物のためのコンピュータにより実施される方法であって、
    予期せぬドライブ環境を識別することと、
    前記乗り物に配置された１つ以上のセンサから受信される前記予期せぬドライブ環境に基づく情報を、遠隔サーバを用いて遠隔オペレータに対して送信することと、
    前記遠隔オペレータによって送信された１つ以上の乗り物のシステムに関する命令を受信することと、
    実行のために前記１つ以上の乗り物のシステムに対して前記命令を送信することと、を含む、方法。
16. 前記予期せぬドライブ環境は、前記乗り物に配置された前記１つ以上のセンサから受信される情報に少なくとも部分的に基づいて自律的に識別される、請求項１５に記載の方法。
17. 前記遠隔オペレータから受信された前記命令は、前記１つ以上の乗り物のシステムを直接的に制御するために用いられる、請求項１５に記載の方法。
18. 前記乗り物のシステムは、前記遠隔オペレータから受信された前記命令に基づいて自律的に制御される、請求項１５に記載の方法。
19. 前記１つ以上のセンサから受信された前記情報は、前記乗り物の遠隔操作における前記遠隔オペレータの前記情報の要求に基づいて、前記遠隔オペレータに対して選択的に送信される、請求項１５に記載の方法。
20. 乗り物に配置された１つ以上のセンサと、
    該１つ以上のセンサと通信するコンピューティング装置と、を具備するシステムであって、
    前記コンピューティング装置の操作を制御するための１つ以上のプロセッサと、
    ネットワーク上の遠隔サーバと通信するように構成された通信インタフェースと、
    前記１つ以上のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記１つ以上のプロセッサは、前記メモリに記憶された指令を実行し、
    予期せぬドライブ環境を識別し、
    １つ以上のセンサから受信された前記乗り物に関する情報を、前記遠隔サーバを用いて遠隔オペレータに対して送信し、
    前記遠隔オペレータによって送信された１つ以上の乗り物のシステムに関する命令を受信し、
    前記１つ以上の乗り物のシステムにおいて前記命令を実行するように構成された、システム。

Images