JP2018523331A - 無人車両の制御のための動的に調整可能な状況認識インタフェース - Google Patents

Abstract

装置は、少なくとも１つのパラメータを監視して、画像データセットから収集されたシーン内の少なくとも１つのオブジェクトに割り当てられるデータ量および解像度を動的に調整する画像収集モジュールを含む。ＳＡＩ（状況認識インタフェース）は、画像収集モジュールにより画像データセットから割り当てられたデータ量および解像度に基づいてシーンの３Ｄビデオをオペレータにレンダリングし、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受信する。

Description

本開示は、制御システムに関し、より詳細には、無人車両の制御のための状況認識インタフェースを動的に調整するためのシステムおよび方法に関する。

多くの無人システムは、組織ユニット内の専門職員に関する割り当ておよび計画を立てる司令官として要求されるオペレータに対する特殊な訓練を必要とする。これは、特殊な訓練が無人システムの適切な利用に先立って数ヶ月または数年の訓練を必要とする多くの状況において実用的ではない。通常、無人のシステムは無人の車両とセンサに焦点を当てるように開発されており、ユーザインタフェースはオペレータがデータで満たされるように設計されている。現在の無人システムは、例えば、情報品質および通信ファクタにより直接的なオペレータの制御の有効性には限界がある。オンボードセンサは、非常に複雑でダイナミックな環境での操作をサポートするために、十分な視野、解像度、または更新レートを提供しない場合がある。制限された帯域幅および待ち時間は、車両からオペレータへの情報の品質および適時性を低下させる可能性があり、ユーザ入力の遅延は車両の制御性を低下させる可能性がある。さらに、状況認識情報のオペレータへの提示およびオペレータからの制御入力の手段は、オペレータと車両との間の接続を著しく劣化させる可能性がある。

本開示は、無人車両の制御のための状況認識インタフェースを動的に調整するためのシステムおよび方法に関する。一態様では、装置は、少なくとも１つのパラメータを監視して、画像データセットから収集されたシーン内のある領域に割り当てられるデータ量および解像度を動的に調整する画像収集モジュールを含む。ＳＡＩ（状況認識インタフェース）は、画像収集モジュールによる画像データセットから割り当てられたデータ量および解像度に基づいてシーンの３Ｄビデオをオペレータにレンダリングし、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受信する。

別の態様では、システムは、シーンを特徴付けるＥＯ（電気光学）画像データセットを生成するように構成された第１のセンサを含む。シーンの３Ｄビデオを提供するステムは、シーンを特徴付けるＬＩＤＡＲ（レーザー照明型検出および測距）画像データセットを生成するように構成された第２のセンサを含む。画像収集モジュールは、少なくとも１つのパラメータに基づいて、ＥＯ画像データセットおよびＬＩＤＡＲ画像データセットからシーンの領域内の少なくとも１つのオブジェクトに割り当てられるデータ量および解像度を動的に調整して、シーンの３Ｄビデオを提供するために統合された画像データセットを生成する。状況認識インタフェースは、統合された画像データセットからシーンの３Ｄビデオをオペレータにレンダリングし、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受信する。

さらに別の態様では、方法は、少なくとも２つのセンサから画像データセットを受け取るステップを含む。方法は、画像データセットを統合して、画像データセットに基づいてＵＶ（無人車両）のオペレータ用の３Ｄシーンを生成するステップを含む。方法は、オペレータ用のインタフェースでシーンをレンダリングするための利用可能な帯域幅を決定することを含む。方法は、利用可能な帯域幅に基づいてシーン内のある領域の解像度を調整することを含む。

無人車両の制御のための状況認識インタフェースを動的に調整するシステムの一例を示す。 無人車両の制御のための状況認識インタフェースを動的に調整する画像統合モジュールの一例を示す。 画像統合モジュールおよびインタフェースの較正手順の一例を示す。 無人車両の制御のための状況認識インタフェースの一例を示す。 検出された帯域幅パラメータに基づく状況認識ディスプレイへの例示的な出力レンダリングを示す。 状況認識インタフェースおよびコントローラにより無人車両を制御するために利用することができる例示的な入力デバイスを示す。 無人車両の制御のための状況認識インタフェースを動的に調整する方法の一例を示す。

本開示は、無人車両の制御のための状況認識インタフェースを動的に調整するためのシステムおよび方法に関する。これは、無人車両（ＵＶ：ｕｎｍａｎｎｅｄ ｖｅｈｉｃｌｅ）に搭載されたオンボードセンサから状況認識インタフェース（ＳＡＩ：ｓｉｔｕａｔｉｏｎａｌ ａｗａｒｅｎｅｓｓ ｉｎｔｅｒｆａｃｅ）によりシーンの３次元（３−Ｄ）ビデオ（例えば、３Ｄパノラマビデオ）を生成することを含む。コントローラはＳＡＩとインタラクトして、ＳＡＩから受信したオペレータのインタラクションおよびジェスチャがＵＶを制御できるようにする。システムは、例えば、電気光学（ＥＯ：ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ）センサのデータセットに対応するシーンのＥＯ画像を生成する全方向性センサ（例えば、レディバグ（ＬａｄｙＢｕｇ（登録商標））センサ）を含むことができる。他のセンサデータは、例えば、レーザー照明型検出及び測距（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｌｌｕｍｉｎａｔｅｄ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサのデータセットに対応するシーンのＬＩＤＡＲ画像を生成するＬＩＤＡＲセンサを含む。システムはさらに、ＬＩＤＡＲセンサデータ（および／または他のセンサデータ）を用いてＥＯセンサデータなどのセンサデータを収集および処理して画像データセットを生成する画像収集モジュールを含む。画像データセットは、ＵＶのオペレータに対してシーンの３Ｄビデオをリアルタイムでレンダリングするためのデバイス（例えば、仮想現実ヘッドセットまたは３Ｄモニタ）への（無線）ネットワークリンクを介して送信することができる。

画像収集モジュールは、画像データセットを生成するためにセンサのデータセットから使用されるデータ（要素）の量を動的に調整するように構成することができ、このことは、結果的にＳＡＩを介してオペレータに提示されるシーンの３Ｄビデのリッチネスレベル（ｒｉｃｈｎｅｓｓ ｌｅｖｅｌ）（バージョン）を制御する。システムは、少なくとも１つのパラメータに基づいて各センサのデータセットから画像データセットのデータサイズおよび／またはレンダリング品質を決定するために使用されるデータ量および／または解像度を動的に調整する。例えば、パラメータは、ネットワークリンクで利用可能な帯域幅の量、ＥＯセンサおよびＬＩＤＡＲセンサによって捕捉されるデータの量、および／またはシステムの処理能力に基づいて決定することができる。パラメータ（または複数のパラメータ）に基づいてシーンの３Ｄビデオのリッチネスを動的に調整することにより、オペレータはリアルタイムで、例えば、ネットワークリンクの帯域幅が低下した状態で、想定的に低いリッチネスレベル（例えば、シーンの３Ｄビデオからバックグラウンドオブジェクトが省略されること、相対的に低い解像度のシーンの３Ｄビデオなどを伴う）ではあるが、シーンを継続して見ることができる。

システムは、シーンの背景オブジェクトの先験的な知識に基づいて、およびセンサデータを実世界の状態に変換すること（ｄｉｓｔｉｌｌｉｎｇ）によって、ネットワークリンクで利用可能な最小限の量の帯域幅を利用するようにさらに構成することができる。例えば、画像統合モジュールは、ＬＩＤＡＲデータセット（またはいくつかの適用ではＥＯデータセットのみまたは両方のセット）を分析し、モデルデータベースからモデルオブジェクトを選択して、シーン内のオブジェクト（例えば、背景オブジェクト）を表すように構成することができる。画像統合のコレクションはまた、選択されたモデルオブジェクトおよび画像データセットの対応するバージョンに基づいて、画像データセットの拡張バージョンを生成することができる。これには、オペレータがＵＶに対するコマンドおよび制御の決定を支援するためのシーン内の注釈を含めることができる。

図１は、図１は、無人車両（ＵＶ）１２０の制御のために状況認識インタフェース（ＳＡＩ）１１０を動的に調整するシステム１００の一例を示す。コントローラ１４０に関連する画像収集モジュール１３０は、少なくとも１つのパラメータを監視して、画像データセット１５０から収集されたシーン内のある領域に割り当てられたデータおよび解像度を動的に調整する。本明細書で使用されるように、用語「領域」は、ＵＶの集合的な視野を表す収集されたセンサデータに基づいてオペレータに提示されるレンダリングされた画像を指す。この領域は、視野全体を含むことができ、かつ視野内のオブジェクトを含むこともできる。状況認識インタフェース（ＳＡＩ）１１０は、画像収集モジュール１３０によって画像データセット１５０から割り当てられたデータ量および解像度に基づいて、シーンの３Ｄビデオをオペレータ１６０にレンダリングする。ＳＡＩは、シーンと相互作用する無人車両（ＵＶ）１２０を制御するように指示されるオペレータ１６０からのオペレータコマンドを受信する。例えば、ＵＶ１２０は、１つまたは複数のセンサ１７０を含み、１つまたは複数のセンサ１７０は、ＵＶ１２０のオンボードに搭載され、画像データセット１５０において収集されかつ処理することができるデータを生成して、ＵＶの視点から観察されるシーンを生成して、オペレータ１６０がＳＡＩ１１０を介してシーンを見ることができる。帯域幅検出器１８０は、任意のシーンに対してレンダリング可能な利用可能な帯域幅および／または解像度を決定する。帯域幅検出器１８０は、画像データセット１５０を収集するため、および／またはシーンデータをＳＡＩ１１０に送信するために現在のネットワーク送信条件に関する情報を受信するソフトウェアおよび／またはハードウェアコンポーネントを含むことができる。

帯域幅検出器１８０は、複数の変化するネットワーク性能データを監視して、画像収集モジュール１３０を介してＳＡＩ１１０によって任意のシーンがどのようにレンダリングされるべきかを示すパラメータを生成することができる。これは、良好な帯域幅条件下での高解像度から任意のシーンの解像度を変更して、不十分なネットワーク能力に対応するようにシーンの解像度を低解像度に調整することを含む。場合によっては、シーン全体を高解像度または低解像度に調整することができる。他の例では、オペレータのフィードバックまたは所定のポリシーおよび／または検出された条件に基づいて、シーン内にレンダリングされる特定のオブジェクトをより高い解像度でレンダリングし、他のオブジェクトを低解像度でレンダリングすることができる。また、オンボード処理（例えば、オンボードＵＶ処理および／または画像収集モジュールでの処理）に対して、送信すべきデータ量を決定するために帯域幅のトレードオフを行うことができる。これには、オンボード処理が利用可能な帯域幅に対して任意のポリシーについてどのくらい行われるべきかを規定する決定またはポリシーが含まれ、オブジェクトをさらに認識して特徴付けて、次に圧縮された表現を送信するか、例えば、または別の例では生データを送信する。

帯域幅検出器１８０によって提供されるパラメータは、例えば、画像データセットをレンダリングするための利用可能な帯域幅の量、ネットワークサービスプロバイダからのサービスパラメータの品質、現在のネットワーク性能を示す秒当たりのデータパラメータ、または３Ｄビデオシーンのためにレンダリングされるディテール（ｄｅｔａｉｌ）の量を示すための高解像度パラメータを含む。ＳＡＩ１１０は、シーン内の特定のオブジェクトに解像度帯域幅を割り当てるためにオペレータからのフィードバックを画像収集モジュール１３０に提供することができ、フィードバックは、音声コマンド、視線追跡デバイス入力、またはジョイスティック入力による十字線調整を含むことができ、例えば、フィードバックは、シーン内の他のオブジェクトよりもより高い解像度（可能であれば）でレンダリングされるべき対象のオブジェクトを示す。

特定のセンサの例では、画像収集モジュール１３０は、例えば、電気光学（ＥＯ）センサのデータセットおよびレーザー照明型検出及び測距（ＬＩＤＡＲ）画像センサのデータセットを含む少なくとも２つのセンサから生成された少なくとも２つのデータセットから収集されたデータを処理することができる。他のセンサ１７０は、例えば、音響センサ、赤外線センサ、紫外線センサ、および／または可視光センサを含むことができる。図示されていないが、ＵＶ１２０は、コントローラ１４０によって提供されるオペレータコマンドに反応するオンボード飛行／地上コントローラを含むことができる。ＵＶ１２０は、ヘリコプターまたは飛行機のような航空機搭載システムであってもよく、また自動車、トラック、または軍事資産などの地上デバイスとすることができる。

システム１００は、オペレータ１６０からＵＶ１２０に詳細な定義、実質的にゼロレイテンシイマージョン（ｚｅｒｏ ｌａｔｅｎｃｙ ｉｍｍｅｒｓｉｏｎ）、または意識の伝達（ｔｒａｎｓｆｅｒ ｏｆ ｃｏｎｓｃｉｏｕｓｎｅｓｓ）を提供して、操縦された航空機または陸上車両のようにシームレスな制御を可能にすることができる。自律的動作をサポートするために、センサ１７０の豊富なセットは、オンボードの無人車両１２０に利用される外部環境に関する質の良いタイムリーな情報を提供することができる。これらのセンサ１７０からの集約されかつ関連付けられた情報は、自律的な制御システムが利用可能ものとしてオペレータ１６０に同じ状況認識を提供するように活用することができる。これは高帯域幅の通信を必要とするかもしれないが、意識の高い伝達を可能にし、忠実度の高い制御を可能にする。ターミナルエリアなどの特定の動作環境では、この機能は、困難な状況で安全を維持するために実行可能であり、かつ必要であり得る。さらに、３Ｄ情報を提示し、かつ制御入力を可能にする様々な技術を利用して、制御効率および精度をさらに向上させることができる。例えば、システム１００は、レディバグ（Ｌａｄｙｂｕｇ）センサからの５つの電気光学（ＥＯ）画像を、ベロダインライダー（Ｖｅｌｏｄｙｎｅ Ｌｉｄａｒ）センサからの３Ｄ ＬＩＤＡＲポイントクラウドと合成して単一の統合データセットにすることができる。集約／収集／統合データセット内に含まれる結果として得られる情報は、環境の色および３Ｄ位置を提供するセットにおける各データ要素またはオブジェクトを有する環境（例えば、領域）のシームレスなパノラマビューとすることができる。

図２は、無人車両の制御のための状況認識インタフェース（ＳＡＩ）２１０を動的に調整する画像統合モジュール２００の一例を示す。前述のように、画像収集モジュールは、帯域幅検出器２２０からの少なくとも１つのパラメータを監視して、画像データセットから収集されたシーン内のある領域に割り当てられるデータ量および解像度を動的に調整することができる。ＳＡＩ２１０は、画像収集モジュール２００により画像データセットから割り当てられたデータ量および解像度に基づいて、シーンの３Ｄビデオをオペレータにレンダリングする。ＳＡＩ２１０は、シーン内の特定のオブジェクトに解像度帯域幅を割り当てるためにオペレータからのフィードバックを画像収集モジュール２００に提供するリッチネス収集モジュール２３０を含む。例えば、フィードバックは、音声コマンド、視線追跡デバイス入力、またはジョイスティック入力による十字線調整を含むことができ、フィードバックは、シーン内のどのオブジェクトが、検出された帯域幅条件に基づいてオペレータが可能であればより高い解像度でレンダリングされたものを見たいかを示す。

１つの特定の例では、画像収集モジュール２００は、シーンを特徴付ける電気光学（ＥＯ）画像データセットを生成するように構成された第１のセンサ２４０から画像データを収集することができる。２４０における第２のセンサは、シーンを特徴付けるレーザー照明型検出および測距（ＬＩＤＡＲ）画像データセットを生成するように構成することができる。この例では、画像収集モジュール２００は、少なくとも１つのパラメータに基づいてＥＯ画像データセット２４０およびＬＩＤＡＲ画像データセットからシーンのある領域内の少なくとも１つのオブジェクトに割り当てられるデータ量および解像度を動的に調整して、シーンの３ＤビデオをＳＡＩ２１０に提供するための統合画像データセットを生成する。

画像収集モジュール２５０は、センサ２４０から受け取った状況データを３Ｄビデオシーンのビデオ座標にマッピングするオブジェクト座標マッパ２５０を含む。これは、Ｘ、Ｙ、Ｚ直交座標マッピングおよび／または例えば、任意のターゲットからの半径が任意の角度で指定される放射状マッピング（ｒａｄｉａｌ ｍａｐｐｉｎｇ）を含むことができる。マッピングを決定するための較正プロトコルは、図３に関して以下に図示され、かつ説明される。画像収集モジュール２００は、シーンにおいて検出されたオブジェクトタイプ（例えば、自動車、トラック、樹木、大型ごみ容器（ｄｕｍｐｓｔｅｒｓ）、人など）を決定するオブジェクト識別子２６０をも含むことができる。１つの特定の例では、オブジェクト識別子２６０は、オブジェクトから放出され（ｅｍｉｔｔｅｄ）、かつセンサ２４０によって検出される形状または周波数帯域に関連する確率に基づいてオブジェクトタイプを決定するための分類子（または複数の分類子）を含むことができる。一例の分類子は、サポートベクトルマシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）であるが、オブジェクトを識別するために他のタイプを用いることができる。

オブジェクトが識別された後、オペレータの状況認識を容易にするために、オブジェクト分類、手順データまたは処理データを３Ｄシーンに重ね合わせることができる。図示のように、画像収集モジュール２００は、ＳＡＩ２１０にシーン出力を提供し、ＳＡＩを介してオペレータのフィードバックおよび／または制御コマンドを受信するためのシーン出力ジェネレータおよびコマンドプロセッサ２７０を含むことができる。ＳＡＩ２１０は、例えば、オペレータに３Ｄシーンをレンダリングするための仮想現実ヘッドセットまたは複数のモニタを含むこともできる（例えば、図４参照）。

図３は、画像統合モジュールおよびインタフェースの較正手順３００の一例を示す。本明細書に記載された画像収集モジュール用のセンサデータを収集するために、いくつかの較正手順を実行して、収集されたセンサデータが本明細書に記載されたＳＡＩを介してオペレータに提示されるシーンオブジェクトにマッピングされる。３１０において、内部較正が実行され、ここでは、半径および接線方向の歪みファクタに加えて、決定される主オブジェクトデータポイント、決定される画像スキューファクタに関してレンズ焦点距離（例えば、センサ上にデータを収集するためのレンズ）が考慮される。３２０において、外部較正が実行され、ここでは、例えば、平面までの距離（例えば、オペレータによって知覚されるような）、平面に対する単位法線、平面上の任意の点、ＬＩＤＡＲと個々のカメラヘッドとの間の定量または回転、およびＬＩＤＡＲとカメラヘッドとの間の変換等のパラメータおよび座標を決定することができる。外部較正３２０の後、３３０においてデータを補間することができ（例えば、センサからのデータは、Ｘ、Ｙ、Ｚの３Ｄ座標系にプロットされる）、３４０においてフィルタリングを介して関心領域（またはオブジェクト）としてレンダリングされる。ここで、領域は、オペレータによって観察されるようなレンダリングされる視野を指す。

センサの内部較正パラメータ及び外部較正パラメータの情報が与えられると、各センサ間のデータ関連付けは、図３に示すように、センサ歪みに対するオフセット補正を伴う座標フレームの変換と、その後のセンサデータ補間とによって行うことができる。収集されたデータセットは、２つ（または３つ以上）の相補的なデータタイプ（例えば、３Ｄ ＬＩＤＡＲおよびＥＯ画像）が組み合わされることで、より完全なものとなると予想することができる。得られたリッチな３Ｄデータは、仮想現実ヘッドセットまたは３Ｄモニタにより容易に表示され、オペレータに詳細な空間認識を提供することができる。３Ｄの関係や色を超えていても、他のセンサ（赤外、音響など）との統合により、より高い次元のデータを生成してオペレータに表示することができる。視差のために、遠方点の奥行き知覚は、３Ｄ表示によって影響されないが、近接物体については、３Ｄ表示は劇的な効果を有することができる。特に、屋内環境または都市環境のパーキングまたはナビゲーションなどの近接移動の場合、この空間認識の表示の改善は、制御の有効性を高めることができる。

図４は、無人車両の制御のための状況認識インタフェース４００の一例を示す。４１０において、仮想現実ヘッドセットを装着して、４２０で示されたレンダリングされたビデオシーンを見ているが、ヘッドセットまたは他のデバイスを介して無人車両にコマンドフィードバックを提供するオペレータが示されている。これは、音声コマンド、目の動きに基づくコマンド、または図６の例に示されるようなオペレータの手から受信されたコマンドを含むことができる。レンダリングされたシーンを観察するための別の例では、４２０で示されるように、複数の出力モニタをオペレータが監視することができる（例えば、３Ｄメガネを介して）。レンダリングされるシーン４２０は、利用可能な検出された帯域幅に基づいて全体的に低い解像度レベルでレンダリングされる。相対的に高い解像度から相対的に低い解像度への様々な他のレンダリングの例が、図５に関して示され、かつ説明される。

図５は、検出された帯域幅パラメータに基づく状況認識ディスプレイへの出力レンダリングの例を示す。帯域幅、センサデータ、およびセンサ処理の可用性に応じて、直接観測可能な範囲を超えてオペレータにハイパーアウェアネス（ｈｙｐｅｒ ａｗａｒｅｎｅｓｓ）を提示することが可能である。先験的に抽出されるか、または既知の分類、手順データおよび他の処理情報は、状況認識の変換および制御を容易にするために、５１０で重ね合わされ、５２０で示される没入型３Ｄ環境内でオペレータに提示されることができる。

オンボードの自律的な能力から得られる情報は、オペレータの認識を改善するために使用することができる。帯域幅の制約が問題になる場合、５３０に示すようなフル解像度または低下解像度での統合されたセンサデータを表示するか、または５４０に示すようなオンボードセンサ処理によって抽出された３Ｄ空間における個別のエンティティのプリミティブ表現を表示することができる。一例における別の可能なアプローチは、通信帯域幅の最小量を必要とするが、センサ情報の実世界の状態および／または環境の先験的な知識への高性能のオンボード処理および変換を行って５５０において示されるように実世界の状態の高レベルの情報を利用して環境およびオブジェクトの高精度３Ｄレンダリングを生成することを必要とする。例えば、自律システムによって評価されるような可用性、解決すべき状況の複雑さ、および正しい決定の不確定性に基づいて、表示フォーマットおよびその後の帯域幅利用を調整することができる。

図６は、状況認識インタフェースおよびコントローラを介して無人車両を制御するために利用することができる例示的な入力デバイス６００を示す。オペレータの相互作用に関しては、無人車両の直接制御を指示するために様々な技術を用いることができる。６１０におけるグローブまたはタッチスクリーン６２０を介した身体および指ジェスチャ制御インタフェースを使用して、オペレータからの入力を読み取ることができる。これには、没入型の３Ｄ環境でオペレータを仮想制御インタフェースに接続するために活用される触覚フィードバック技術が含まれる。仮想メニューと制御インタフェースとの複雑で自然な相互作用により、オペレータの制御精度が向上し、作業負荷が軽減される。加えて、伝統的なスティック６３０または６４０におけるホイールコントローラを使用して、没入型の世界表現の有無にかかわらず直接入力を提供することができる。

上述の構造的及び機能的特徴を考慮して、例示的な方法は、図７を参照することにより、より良く理解されるであろう。説明を簡単にするために、この方法は連続的に実行されるように図示され説明されているが、方法は図示の順序に限定されず、方法の一部が本明細書に示され説明されたものとは異なる順序および／または同時に起こり得ることが理解されかつ評価されるべきである。このような方法は、例えば、ＩＣやコントローラに構成された各種のコンポーネントによって実行可能である。

図７は、無人車両の制御のための状況認識インタフェースを動的に調整する方法７００の一例を示す。７１０において、方法７００は、（例えば、図１のセンサ１７０により）少なくとも２つのセンサから画像データセットを受信することを含む。７２０において、方法７００は、（例えば、図１の画像収集モジュール１３０により）画像データセットに基づいて画像データセットを統合して、無人車両（ＵＶ）のオペレータのための３Ｄシーンを生成することを含む。７３０において、方法７００は、（例えば、図１の帯域幅検出器１８０により）オペレータのためのインタフェースでシーンをレンダリングするために利用可能な帯域幅を決定することを含む。７４０において、方法７００は、（例えば、図１の画像収集モジュール１３０により）利用可能な帯域幅に基づいてシーン内のある領域（またはオブジェクト）の解像度を調整することを含む。前述のように、検出された帯域幅に基づいて、シーン全体の解像度を増減することができる。別の例では、利用可能な帯域幅および／またはオペレータのフィードバックに基づいてシーン内の任意のオブジェクト（または複数のオブジェクト）の解像度を高め、シーン内の他のオブジェクトの解像度を下げることができる。図示されていないが、方法７００は、シーン内のオブジェクトを分類して、例えば、オブジェクトから放出される形状または周波数帯域に関連する確率に基づいてオブジェクトタイプを決定することも含むことができる。

上記の記載は例示的なものである。当然のことながら、構成要素または方法のあらゆる考えられる組み合わせを説明することは不可能であるが、当業者は、多くのさらなる組み合わせおよび置換が可能であることを認識するであろう。したがって、本開示は、添付の特許請求の範囲を含む本出願の範囲内に含まれるそのような変更、修正、および変形をすべて包含することが意図されている。本明細書で使用される場合、「含む」という用語は、含むことを意味するがこれに限定されない、「含んでいる」という用語は含んでいることを意味するがこれに限定されない。「に基づく」という用語は、少なくとも部分的に基づいていることを意味する。さらに、本開示または特許請求の範囲が「ある」、「第１の」、または「別の」要素またはその等価物を引用する場合、そのような要素の１つまたは複数を含むと解釈されるべきであり、そのような要素を２つ以上必要とも排除するものでもない。

上記の記載は例示的なものである。当然のことながら、構成要素または方法のあらゆる考えられる組み合わせを説明することは不可能であるが、当業者は、多くのさらなる組み合わせおよび置換が可能であることを認識するであろう。したがって、本開示は、添付の特許請求の範囲を含む本出願の範囲内に含まれるそのような変更、修正、および変形をすべて包含することが意図されている。本明細書で使用される場合、「含む」という用語は、含むことを意味するがこれに限定されない、「含んでいる」という用語は含んでいることを意味するがこれに限定されない。「に基づく」という用語は、少なくとも部分的に基づいていることを意味する。さらに、本開示または特許請求の範囲が「ある」、「第１の」、または「別の」要素またはその等価物を引用する場合、そのような要素の１つまたは複数を含むと解釈されるべきであり、そのような要素を２つ以上必要とも排除するものでもない。
上記実施形態から把握できる技術思想を付記として以下に記載する。
［付記１］
装置であって、
少なくとも１つのパラメータを監視して画像データセットから収集されたシーンのある領域に割り当てられるデータ量及び解像度を動的に調整する画像収集モジュールと、
前記画像収集モジュールによって前記画像データセットから割り当てられたデータ量および解像度に基づいてシーンの３Ｄビデオをオペレータにレンダリングし、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受信するＳＡＩ（状況認識インタフェース）と
を備え、
前記ＳＡＩは、３Ｄシーンをオペレータにレンダリングするための仮想現実ヘッドセットまたは複数のモニタを含み、
オペレータの状況認識を容易にするために、オブジェクト分類、手順データ、または処理データが３Ｄシーンに重ね合わされる、装置。
［付記２］
システムであって、
シーンを特徴付けるＥＯ（電気光学）画像データセットを生成するように構成された第１のセンサと、
シーンを特徴付けるＬＩＤＡＲ（レーザー照射型検出及び測距）画像データセットを生成するように構成された第２のセンサと、
少なくとも１つのパラメータに基づいて前記ＥＯ画像データセットおよび前記ＬＩＤＡＲ画像データセットからシーンのある領域内の少なくとも１つのオブジェクトに割り当てられるデータ量および解像度を動的に調整して、シーンの３Ｄビデオを提供するための統合された画像データセットを生成するように構成された画像収集モジュールと、
前記統合された画像データからシーンの３Ｄビデオをレンダリングして、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受け取るための状況認識インタフェースと
を備え、
前記画像収集モジュールが、音響センサ、赤外線センサ、紫外線センサ、および可視光センサを含む他のデータセットからのデータを統合し、
前記画像収集モジュールは、前記センサから受信した状況データを３Ｄビデオシーンのビデオ座標にマッピングするオブジェクト座標マッパを含む、システム。
［付記３］
前記画像収集モジュールは、シーンの領域内で検出されたオブジェクトタイプを決定するためのオブジェクト識別子を含む、付記２に記載のシステム。
［付記４］
前記オブジェクト識別子は、前記オブジェクトから放出される形状または周波数帯域に関連する確率に基づいてオブジェクトタイプを決定するための分類子を含む、付記３に記載のシステム。
［付記５］
システムであって、
シーンを特徴付けるＥＯ（電気光学）画像データセットを生成するように構成された第１のセンサと、
シーンを特徴付けるＬＩＤＡＲ（レーザー照射型検出及び測距）画像データセットを生成するように構成された第２のセンサと、
少なくとも１つのパラメータに基づいて前記ＥＯ画像データセットおよび前記ＬＩＤＡＲ画像データセットからシーンのある領域内の少なくとも１つのオブジェクトに割り当てられるデータ量および解像度を動的に調整して、シーンの３Ｄビデオを提供するための統合された画像データセットを生成するように構成された画像収集モジュールと、
前記統合された画像データからシーンの３Ｄビデオをレンダリングして、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受け取るための状況認識インタフェースと
ＳＡＩからオペレータコマンドを受信し、前記オペレータコマンドに基づいて前記ＵＶに制御コマンドを送信するコントローラと
を備えるシステム。

Claims (20)

1. 装置であって、
   少なくとも１つのパラメータを監視して画像データセットから収集されたシーンのある領域に割り当てられるデータ量及び解像度を動的に調整する画像収集モジュールと、
   前記画像収集モジュールによって前記画像データセットから割り当てられたデータ量および解像度に基づいてシーンの３Ｄビデオをオペレータにレンダリングし、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受信するＳＡＩ（状況認識インタフェース）と
   を備える装置。
2. 前記少なくとも１つのパラメータは、前記画像データセットをレンダリングするための利用可能な帯域幅の量のパラメータ、ネットワークサービスプロバイダからのサービスパラメータの品質、現在のネットワーク性能を示す秒当たりのデータパラメータ、または３Ｄビデオシーンに対してレンダリングされるディテールの量を示す解像度パラメータを示す、請求項１に記載の装置。
3. 前記ＳＡＩは、シーンの領域内の特定のオブジェクトに解像度帯域幅を割り当てるために、前記オペレータからのフィードバックを前記画像収集モジュールに提供し、前記フィードバックは、音声コマンド、視線追跡デバイス入力、またはジョイスティック入力による十字線調整を含む、請求項２に記載の装置。
4. 前記画像収集モジュールは、ＥＯ（電気光学）センサのデータセット、ＬＩＤＡＲ（レーザー照明型検出及び測距）画像センサのデータセット、音響センサ、赤外線センサ、紫外線センサ、および可視光センサを含む少なくとも２つのセンサから生成された少なくとも２つのデータセットからのデータを処理する、請求項１に記載の装置。
5. 前記画像収集モジュールは、前記センサから受信した状況データを３Ｄビデオシーンのビデオ座標にマッピングするオブジェクト座標マッパを含む、請求項４に記載の装置。
6. 前記画像収集モジュールは、シーンの領域内で検出されたオブジェクトタイプを決定するためのオブジェクト識別子を含む、請求項５に記載の装置。
7. 前記オブジェクト識別子は、オブジェクトから放出される形状または周波数帯域に関連する確率に基づいてオブジェクトタイプを決定するための分類子を含む、請求項６に記載の装置。
8. 前記ＳＡＩは、３Ｄシーンをオペレータにレンダリングするための仮想現実ヘッドセットまたは複数のモニタを含む、請求項１に記載の装置。
9. 前記ＳＡＩからオペレータコマンドを受信し、前記オペレータコマンドに基づいて前記ＵＶに制御コマンドを送信するコントローラをさらに備える、請求項８に記載の装置。
10. オペレータの状況認識を容易にするために、オブジェクト分類、手順データ、または処理データが３Ｄシーンに重ね合わされる、請求項８に記載の装置。
11. システムであって、
    シーンを特徴付けるＥＯ（電気光学）画像データセットを生成するように構成された第１のセンサと、
    シーンを特徴付けるＬＩＤＡＲ（レーザー照射型検出及び測距）画像データセットを生成するように構成された第２のセンサと、
    少なくとも１つのパラメータに基づいて前記ＥＯ画像データセットおよび前記ＬＩＤＡＲ画像データセットからシーンのある領域内の少なくとも１つのオブジェクトに割り当てられるデータ量および解像度を動的に調整して、シーンの３Ｄビデオを提供するための統合された画像データセットを生成するように構成された画像収集モジュールと、
    前記統合された画像データからシーンの３Ｄビデオをレンダリングして、シーンと相互作用するＵＶ（無人車両）に対するオペレータコマンドを受け取るための状況認識インタフェースと
    を備えるシステム。
12. 前記少なくとも１つのパラメータは、前記画像データセットをレンダリングするための利用可能な帯域幅パラメータの量、ネットワークサービスプロバイダからのサービスパラメータの品質、現在のネットワーク性能を示す秒当たりのデータパラメータ、または３Ｄビデオシーンに対してレンダリングされるディテールの量を示すための解像度パラメータを示す、請求項１１に記載のシステム。
13. ＳＡＩは、シーンの領域内の特定のオブジェクトに解像度帯域幅を割り当てるために、オペレータからのフィードバックを前記画像収集モジュールに提供し、前記フィードバックは、音声コマンド、視線追跡デバイス入力、またはジョイスティック入力による十字線調整を含む、請求項１１に記載のシステム。
14. 前記画像収集モジュールが、音響センサ、赤外線センサ、紫外線センサ、および可視光センサを含む他のデータセットからのデータを統合する、請求項１１に記載のシステム。
15. 前記画像収集モジュールは、前記センサから受信した状況データを３Ｄビデオシーンのビデオ座標にマッピングするオブジェクト座標マッパを含む、請求項１４に記載のシステム。
16. 前記画像収集モジュールは、シーンの領域内で検出されたオブジェクトタイプを決定するためのオブジェクト識別子を含む、請求項１５に記載のシステム。
17. 前記オブジェクト識別子は、前記オブジェクトから放出される形状または周波数帯域に関連する確率に基づいてオブジェクトタイプを決定するための分類子を含む、請求項１６に記載のシステム。
18. ＳＡＩからオペレータコマンドを受信し、前記オペレータコマンドに基づいて前記ＵＶに制御コマンドを送信するコントローラをさらに備える、請求項１１に記載のシステム。
19. 方法であって、
    コントローラにより少なくとも２つのセンサから画像データセットを受信するステップと、
    前記コントローラにより前記画像データセットを統合して、前記画像データセットに基づいてＵＶ（無人車両）のオペレータ用の３Ｄシーンを生成するステップと、
    前記コントローラによりオペレータのためのインタフェースにおいてシーンをレンダリングするために利用可能な帯域幅を決定するステップと、
    前記コントローラにより前記利用可能な帯域幅に基づいてシーン内のある領域の解像度を調整するステップと
    を含む方法。
20. シーン内のオブジェクトを分類して、前記オブジェクトから放出される形状または周波数帯域に関連する確率に基づいてオブジェクトタイプを決定するステップをさらに含む、請求項１９に記載の方法。