JP2022527029A - 遠隔操作型ロボットのためのシステム、装置、及び、方法 - Google Patents

Abstract

本明細書に開示されたシステム、デバイス、及び方法は、既知及び未知の障害物の周りの敷地をメンテナンスするための遠隔操作ロボットの自律的及び遠隔操作を可能にする。方法は、敷地及び敷地内の障害物に関する追加データを取得するために無人航空機を使用し、遠隔操作ロボットに搭載されたセンサからのデータ及び空撮画像を使用して障害物の周囲の経路を計画することを含んでもよい。また、遠隔操作ロボットを敷地内の障害物の周りに移動させたり、敷地内の障害物を取り除いたりするために人手が必要な場合には、メンテナンスに要する時間や人件費を最適化することも可能である。【選択図】図1

Description

関連アプリケーションへのクロスリファレンス
本出願は、2019年4月6日に出願された米国仮出願第62／830，447号の優先権を主張するものであり、その全体があらゆる目的のために本明細書に参照として組み込まれる。

技術分野
本明細書で開示されるシステム、デバイス、及び、方法は、遠隔操作ロボット、特に、屋外のプロパティメンテナンスに使用される遠隔操作ロボットに向けられている。

遠隔操作ロボットは，爆弾の解除，原子力・化学プラントの検査など，操作者が危険な環境にさらされる可能性のある状況で使用されてきた。遠隔操作ロボットの別の用途は、ロボットが外科医の能力を増強し、切開のサイズを小さくするロボット支援手術である。

遠隔操作ロボットの未開発のアプリケーションの1つは、ナビゲーション、芝生の手入れ、造園、燻蒸、害虫駆除、表面への散布など、屋外のプロパティメンテナンスで発生する様々なプロセスである。

本開示の一態様では、プロパティのメンテナンスのために遠隔操作ロボットを操作する方法は、無人航空機（UAV）を使用してプロパティの空撮画像を取得することを含む。前記空撮画像は、前記UAV及び前記遠隔操作ロボットに通信可能に結合されたコントロールセンタに送信される。前記コントロールセンタは、プロセッサを含む。前記コントロールセンタでは、空撮画像に基づいて、プロパティメンテナンスが行われる前記プロパティ内の関心領域が決定される。前記空撮画像に基づいて、前記関心領域は、前記コントロールセンタにおいて、前記遠隔操作ロボットが自律的にナビゲート可能な第1の領域と、前記遠隔操作ロボットが自律的にナビゲートできない第2の領域とに分類される。前記コントロールセンタにおいて、前記第1のエリアと前記第2のエリアの相対的な大きさに基づいて、関心のあるエリアで前記プロパティメンテナンスを行うための前記遠隔操作ロボットの動作のスケジュールが決定される。前記スケジュールは、前記プロパティメンテナンスの実行にかかる労働時間及び総時間を最小化するように構成される。

本開示の別の態様では、プロパティのメンテナンスのために遠隔操作ロボットを動作させる方法は、前記プロパティのメンテナンスのための前記遠隔操作ロボットの動作中に、前記遠隔操作ロボットのセンサを使用して、前記遠隔操作ロボットの動作経路における障害物に関連するデータを取得することを含む。前記障害物が検出された場合、コントロールセンタにおいて、前記障害物に関するデータに基づいて、前記障害物を回避する経路を推定できるかどうかが判断される。コントロールセンタは、プロセッサを含み、遠隔操作ロボットと通信可能に結合されている。前記障害物を回避する経路が推定できないと判断された場合、コントロールセンタによってUAVの飛行が開始される。前記UAVの飛行経路は、前記遠隔操作ロボットの動作経路からの逸脱を最小限に抑えつつ、前記障害物を回避する経路の推定を可能にするために、前記障害物を囲む領域の空撮画像を取得するように構成される。

本開示のさらに別の態様では、プロパティのメンテナンスのために遠隔操作ロボットを動作させる方法は、前記プロパティのメンテナンスのための前記遠隔操作ロボットの自律的な動作中に、前記遠隔操作ロボットのセンサを使用して、前記遠隔操作ロボットの動作経路内の障害物に関するデータを取得することを含む。コントロールセンタでは、障害物の位置及び分類の一方又は両方が事前に知られているかどうかが判断される。前記コントロールセンタは、前記遠隔操作ロボットに通信可能に結合されたプロセッサを含む。前記コントロールセンタでは、前記障害物の位置及び分類が事前に知られていないと判定された場合、前記障害物に関するデータに基づいて、前記障害物を回避しながら敷地内のメンテナンスされていない領域を保全する代替動作経路を推定できるか否かが判定される。前記コントロールセンタでは、前記代替動作経路を推定できると判断すると、前記代替動作経路を推定する。前記代替動作経路を用いて、遠隔操作ロボットの自律的な動作を継続する。

図面の簡単な説明
以下、開示された態様を説明するために提供され、開示された態様を限定するものではない添付の図面と併せて説明するが、同様の表記は同様の要素を示している。

図1は、本開示のいくつかの実施形態に従った遠隔操作ロボットシステムのブロック図である。 図2は、本開示の一実施形態に係る障害物回避方法のフローチャートを示す。 図3Aは、本開示の一実施形態による、プロパティメンテナンスのための遠隔操作ロボットを操作する方法のフローチャートを示す。 図3Bは、本開示の一実施形態による、プロパティメンテナンスのための遠隔操作ロボットを操作する方法のフローチャートを示す。 図3Cは、本開示の一実施形態による、プロパティメンテナンスのための遠隔操作ロボットを操作する方法のフローチャートを示す。 図4は、本開示の一実施形態による、プロパティのメンテナンスのために遠隔操作ロボットを操作する方法のフローチャートである。

人間参加（Human-in-the-Loop）ベースの監視は、電気機械アクチュエータを備えた部分的に自動化されたロボットやツールのバックストップとして人間を使用するプロセスである。これは、一般的に条件付き自動化として知られている。自動車用語では、レベル3オートメーションとも呼ばれる。この場合の作業は、人間の監視がほとんど必要ないものから、人間の監視がかなりの割合で必要なものまで様々である。

このシステムでは、現場のロボットとその周辺機器に設置されたセンサ（力、温度、圧力など）やビデオカメラから取得したデータを遠隔地のオペレータに提供し、テレメトリーデータリンクを介して現場のロボットのアクチュエータにコマンドを中継するインターフェースを提供するものである。

プロパティメンテナンスには、知覚的には複雑だが、必要とされる手先の器用さが比較的低いいくつかの作業が含まれる。このシナリオでは、人間の労働力の最大の付加価値は、不測の事態や、ロボットの意思決定能力にまだ高い信頼性がない状況に対処する際に、複数の機械に対する遠隔管理の層を提供する能力から生まれる。さらに、不測の事態に対処するためのバックストップがあれば、機械の自動化は比較的容易であり、特定の意思決定経路を適用しなければならない稀なケースの漸近線を登る必要はない。

多くの作業において、これはコスト効率を達成するための唯一の可能な方法である。つまり、ロボットとわずかな量の人間の監視を組み合わせ、多くの場合、人件費の安い遠隔地で行う。これにより、プロパティメンテナンス（芝生の手入れ、樹木の手入れ、近隣の警備、小包の配達、ホームクリーニングなどを含むがこれらに限定されない）の多くの産業が可能になる。

図1は、本開示のいくつかの実施形態に従った遠隔操作ロボットシステムのブロック図である。一実施形態では、遠隔操作ロボットシステム100は、遠隔操作ロボット110とコントロールセンタ130とを含む。いくつかの実装形態では、遠隔操作ロボットシステム100は、さらに、無人航空機（UAV、本明細書では交換可能にドローンと呼ばれる）を含んでもよい。

A. 遠隔操作型ロボット
本明細書で使用される「遠隔操作ロボット」という用語は、人間のユーザによってローカル又はリモートで操作又は監督されることができるだけでなく、自律的に機能することができるロボットを意味する。自律的に機能するということは、必ずしも人間の監視や支援を受けずに完全に自律的に機能することを意味しないことを理解していただきたい。言い換えれば、本明細書において自律的に機能するとは、自動車のレベル5のような自動化を意味するものではない。したがって、本開示の実施態様に従った遠隔操作ロボットは、自律的に機能することができるが、人間のユーザは、遠隔操作ロボットの自律的な制御を上書きして、ローカル又はリモートで制御することができる。

図1を参照すると、遠隔操作型ロボット110は、ツールキット112、プロセッサ114、センサモジュール116、及び、通信モジュール118を含んでもよい。図には示されていないが、いくつかの実施形態では、遠隔操作ロボットは、基本的なマシンビジョンアプローチを使用して頭上を飛行するUAVによって容易に識別されることを可能にするために、例えば、UAVが操作中に遠隔操作ロボット110を低く横たわる障害物、又は、地上の地形から区別することを可能にするために、拡張現実（AR）又は仮想現実（VR）のマーカー、形状又は輪郭線、又は、ペイントを任意に含んでもよい。

ツールキット112は、遠隔操作ロボット110がその機能を実行することを可能にする1つ又は複数のツール又はアクチュエータを含んでもよい。例えば、遠隔操作ロボット芝刈り機のツールキットは、維持管理されている敷地内の地面にある草を切断するために構造化され、配置された1つ以上のブレードセットを含んでもよい。遠隔操作型ロボット芝刈り機のツールキットには、刈り取った草やその他のゴミを吸い上げるための吸引モーター、吸い上げた草やその他のゴミを集めるための容器又はバスケット、吸引モーターと容器又はバスケットを接続するためのホース、さらに、地面の草を切断及び／又は整形するのに適した他のツールが含まれていてもよい。

プロパティメンテナンスのための遠隔操作ロボットの文脈では、遠隔操作ロボットは、芝刈り機、ヘッジトリマー、ストリングトリマー、ティラー、耕運機、雑草引き、ポールソー、リーフブロワー、チェーンソー、ヘッジシヤーを含むことができるが、これらに限定されない。殺虫剤、除草剤、抗ウイルス剤、抗菌剤などを散布する燻蒸器、表面や頻繁に触れる場所を消毒するための紫外線照射器、その他、造園やプロパティメンテナンスに適した道具など。したがって、遠隔操作ロボットのツールキットは、ロボットの主な機能に応じて異なっていてもよい。いくつかの実施形態では、遠隔操作ロボット用のツールキット内のツールの一部又はすべてが、遠隔操作ロボットの主な機能が変更されるように、異なるツールと交換可能であってもよい。

プロセッサ114は、1つ又は複数のモーションプロセッシングユニット（MPU）、デジタル・シグナル・プロセッサ（DSP）、汎用マイクロプロセッサ、特定用途向け集積回路（ASIC）、特定用途向け命令セットプロセッサ（ASIP）、フィールドプログラマブルゲートアレイ（FPGA）、又は他の同等の集積又は離散論理回路などの1つ又は複数のプロセッサを含んでもよい。本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、又は本明細書に記載された技術の実装に適した他の構造を指す場合がある。さらに、いくつかの側面では、本明細書に記載されている機能は、本明細書に記載されているように構成された専用のソフトウェアモジュール又はハードウェアモジュール内で提供されてもよい。また、技術は、1つ又は複数の回路又は論理要素に完全に実装され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は、ステートマシンであってもよい。また、プロセッサは、コンピューティングデバイスの組み合わせ、例えば、MPUとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、MPUコアと組み合わせた1つ又は複数のマイクロプロセッサ、又は、その他のそのような構成として実装されてもよい。

いくつかの実施形態では、プロセッサ114は、センサモジュール116及び／又は通信モジュール118から受信したデータを処理して、遠隔操作ロボット110をナビゲート及び操作する。いくつかの実施形態では、プロセッサ114は、通信モジュール118から受信したコマンド及び制御を処理して、遠隔操作ロボット110をナビゲート及び操作する。

いくつかの実施形態では、プロセッサ114は、1つ又は複数のアクチュエータの動作を制御してもよい。例えば、いくつかの実施形態では、プロセッサ114は、コントロールセンタから受信される通信（例えば、ナビゲーションコマンド又は操作コマンド）のレイテンシーに基づいて、アクチュエータがタスクを実行する動作速度を変更してもよい。いくつかの実施形態では、プロセッサ114は、所与の障害物密度（及び所与の視界）で遠隔監視／遠隔操作を行うために必要な最小反応時間を計算し、この反応時間の制約下で最小停止距離（運動／あらゆる種類の器用な操作の両方）を計算してもよい。

センサモジュール116は、遠隔操作ロボットの自律的な動作を可能にする、又は、遠隔操作ロボットのローカル又はリモートのオペレータ又はスーパーバイザが遠隔操作ロボットを取り巻く環境を感知することを可能にする1つ又は複数のセンサを含んでもよい。プロパティメンテナンスのための遠隔操作ロボットに含まれ得る様々なセンサの例には、カメラ、ステレオカメラLIDAR、RADAR、超音波センサ、GPS測位システム、IRセンサ、光スペクトルの様々な部分をカバーするスペクトルセンサ、及び、ジャイロスコープ（複数可）が含まれるが、これらに限定されない。さらに、センサモジュール116は、遠隔操作ロボットがその性能を検出することを可能にするセンサを含んでもよい。例えば、芝刈り機は、刈られるべき草の高さと、刈られた草の高さとを検出するためのセンサを含んでもよい。いくつかの実施形態では、芝刈り機は、例えば、芝のスペクトル分析を用いて芝の品質を検出するためのセンサを含んでもよい。別の例として、センサは、所定の表面上に噴霧された気体／液体の被覆面積及び広がりを検出してもよい。

センサモジュール116は、遠隔操作ロボット110を取り巻く環境に関連するデータを、例えば、光学画像、LIDARデータ、及び／又は、超音波データの形で取得してもよい。いくつかの実施形態では、センサモジュール116は、追加的又は交互に、遠隔操作ロボット110の（絶対的又は相対的な）位置又は向きに関する情報を取得してもよい。

いくつかの実施形態では、センサモジュール116によって得られたデータは、プロセッサ114によって、遠隔操作ロボット110を自律的に操作するために使用される。いくつかの実施形態では、センサモジュール116によって得られたデータは、プロセッサ114によって使用され、遠隔操作ロボット110が人間のオペレータから受け取るコマンドを増強する。いくつかの実施形態では、センサモジュール116によって得られたデータは、プロセッサ114によって、追加的又は交互に、遠隔操作ロボット110の環境及び／又は動作に関するフィードバックを人間の操作者に提供するために使用される。

通信モジュール118は、システム100の他のコンポーネントとワイヤレスで通信するように構成された受信機及び送信機を含んでもよい。通信モジュール118の送信機及び／又は受信機は、例えば、4G、5G、WiMax、WiFi、又はそれらの組み合わせなど、現在利用可能な任意の通信プロトコルを利用して、ネットワーク、例えば、インターネットを介してシステム100の他の構成要素と通信してもよい。いくつかの実施形態では、通信モジュール118は、通信の信頼性を向上させるために複数の通信プロトコルを利用するように構成されてもよい。例えば、実施形態では、遠隔操作ロボット110は、WiFiを用いてUAV150と通信する一方で、4G又は5Gの通信プロトコルを用いてコントロールセンタ130と通信してもよい。通信モジュール118が使用する通信プロトコルは、現在利用可能なものに限定されず、通信技術の進歩に伴い、将来的には他のプロトコルが使用される可能性があることが理解されよう。したがって、本開示の範囲は、現在利用可能な通信プロトコルに限定されるものではなく、将来的に利用可能になる可能性のあるあらゆる通信プロトコルも含まれる。

例えば、通信モジュール118は、遠隔操作ロボット110がコントロールセンタ130又はUAV150と通信することを可能にする。いくつかの実施形態では、通信モジュール118は、遠隔操作ロボット110からコントロールセンタ130にセンサデータを送信し、コントロールセンタ130からコマンド及び制御データを受信することができる。いくつかの実施形態では、通信モジュール118は、追加的に又は交互に、UAV150から航空画像情報を受信することができる。

B. コントロールセンタ
本明細書で使用される用語「コントロールセンタ」は、遠隔操作ロボットの制御及びコマンドを提供する遠隔操作ロボットシステムのコンポーネントを指す。したがって、コントロールセンタは、人間のオペレータ又は監督者によって提供されるナビゲーション及び／又は操作コマンドを遠隔操作ロボットに提供してもよい。いくつかの実施形態では、コントロールセンタは、コントロールセンタが受信したデータ（遠隔操作ロボットから、又は、UAVなどのシステムの他のコンポーネントからのいずれか）の分析に基づいて、ナビゲーション及び／又は操作コマンドを追加又は交互に提供してもよい。

図1を参照すると、コントロールセンタ130は、コマンドモジュール132、プロセッサ134、通信モジュール136、及び、任意に仮想コントロールルーム138を含んでもよい。

コマンドモジュール132は、例えば、ラップトップ、コンソール、デスクトップ、タブレット、モバイルコンピューティングデバイス、又は、携帯電話などの入力端末を含んでもよい。入力端末は、例えば、キーボード、ジョイスティック、マウス、マイク、ゲームコントローラ、又は、それらの組み合わせなどの入力デバイスを備え、人間のユーザが入力端末にコマンドを入力できるようにしてもよい。

人間のユーザによって入力されたコマンドは、入力端末によって処理され、コントロールセンタ130を介して、遠隔操作ロボット110に送信される。コントロールセンタ130から遠隔操作ロボット110に送信されるコマンドは、遠隔操作ロボット110に、一定の経路に沿って関心領域の周りを移動させたり、動作モードを変更したり、移動速度を変更したり、動作速度を変更したり、いくつかの実施形態では、コントロールセンタ130を介してコマンドが送信されない場合、遠隔操作ロボット110は自律的に動作し続けてもよい。

プロセッサ134は、1つ又は複数のモーションプロセッシングユニット（MPU）、デジタル・シグナル・プロセッサ（DSP）、汎用マイクロプロセッサ、特定用途向け集積回路（ASIC）、特定用途向け命令セットプロセッサ（ASIP）、フィールドプログラマブルゲートアレイ（FPGA）、又は、他の同等の集積又は離散論理回路などの1つ又は複数のプロセッサを含んでもよい。本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、又は本明細書に記載された技術の実装に適した他の構造を指す場合がある。さらに、いくつかの側面では、本明細書に記載されている機能は、本明細書に記載されているように構成された専用のソフトウェアモジュール又はハードウェアモジュール内で提供されてもよい。また、技術は、1つ又は複数の回路又は論理要素に完全に実装され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。また、プロセッサは、コンピューティングデバイスの組み合わせ、例えば、MPUとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、MPUコアと組み合わせた1つ又は複数のマイクロプロセッサ、又はその他のそのような構成として実装されてもよい。

いくつかの実施形態では、プロセッサ134は、コマンドモジュール132の入力端子の一部であってもよい。いくつかの実施形態では、プロセッサ134は、コマンドモジュール132の入力端子とは別に、例えば遠隔操作ロボット110及び／又はUAV150などのシステム100の他の構成要素からコントロールセンタ130が受信したデータを処理するための専用のものであってもよい。

いくつかの実施形態では、コントロールセンタ130は、プロセッサ134が遠隔操作ロボット110に搭載されている一方で、コマンドモジュール132が遠隔地に設けられているように実装される。いくつかの実施形態では、プロセッサは、コマンドモジュール132がリモートサイトで提供される一方で、UAV150にオンボードで常駐する。いくつかの実施形態では、プロセッサ134及びコマンドモジュール132が遠隔操作ロボット110に搭載され、追加の同一の（又は異なる）コマンドモジュール132がリモートサイトに提供される。他の順列は、本開示の範囲内で企図される。

いくつかの実施形態では、プロセッサ134は、遠隔操作ロボット110及び／又はUAV150から受信したデータを処理し、遠隔操作ロボット110のナビゲーション及び／又は操作のためのコマンドを生成してもよい。いくつかの実施形態では、プロセッサ134によって生成されたコマンドは、コマンドモジュール132を介して人間のユーザによって発行されたコマンドをさらに含んでもよい。

通信モジュール136は、システム100の他の構成要素とワイヤレスで通信するように構成された受信機及び送信機を含んでもよい。通信モジュール136の送信機及び／又は受信機は、例えば、LTE、5G、WiMax、WiFiなどの現在利用可能な任意の通信プロトコルを利用して、ネットワーク、例えば、インターネットを介して、システム100の他の構成要素と通信してもよい。通信モジュール136が使用する通信プロトコルは、現在利用可能なものに限定されるものではなく、通信技術の進歩に伴い、将来的には他のプロトコルが使用される可能性があることが理解されよう。したがって、本開示の範囲は、現在利用可能な通信プロトコルに限定されるものではなく、将来的に利用可能になる可能性のあるあらゆる通信プロトコルも含まれる。

例えば、通信モジュール136は、コントロールセンタ130が遠隔操作ロボット110又はUAV150と通信することを可能にする。いくつかの実施形態では、通信モジュール136は、コントロールセンタ130から遠隔操作ロボット110にコマンド及び制御を送信し、遠隔操作ロボット110及び／又はUAV150などのシステム100の他の構成要素からデータを受信することができる。

仮想制御室138は、人間のユーザがコントロールセンタ130を介して操作又は監督されている遠隔操作ロボット110を取り巻く環境を視覚化及び／又は聴取できるようにするために、例えば、ディスプレイ及びスピーカなどの出力装置を含んでもよい。

いくつかの実施形態では、人間の監督者／操作者が遠隔操作ロボットのためのコマンドを入力する仮想空間に、敷地の地図がロードされてもよい。これらのコマンドには、作動命令、ナビゲーション命令などが含まれるが、これらに限定されない。これらのコマンドは、仮想空間に必要な変化をもたらし、所望の出力が得られるまで反復的又は連続的に変更することができる。そして、この一連のコマンドは、現実世界の遠隔操作ロボットに送信され、ロボットは所望のタスクを作成する。言い換えれば、仮想空間で提供された一連のコマンドは、遠隔操作ロボットが実行するアクションの青写真として機能する。有利なことに、このような設計図は、遅延や高帯域幅データのリアルタイム転送の必要性を低減するのに役立つ。例えば、シーン全体に関わるデータを送信するのではなく、シーンの変化に関わるデータのみを送信し、それを仮想空間で適切にレンダリングすることができるようになっている。

いくつかの実施形態では、仮想制御室138は、人間の監督者／操作者のためのより没入的な経験のために、ドームスクリーンディスプレイを含んでもよい。例えば、直接的な1：1の遠隔操作が必要な場合、人間の監督者／操作者は、半球状のドームの前の椅子に取り付けられてもよい。いくつかの実施形態では、人間の監督者／操作者の位置は、パースペクティブが直感的であり、パースペクティブの作成を支援するように計算される。また、遠隔操作ロボットへの触覚フィードバックが重要な場合には、椅子にフォースフィードバックとジョイスティックが装備されている。また、聴覚的なフィードバックを再生するために、バイノーラル音声を人間の監督者や操作者に提供する場合もある。

以下の議論は、本開示による様々な方法がどのように動作するかの例として、本明細書で互換的にロボット芝刈り機と呼ばれる遠隔操作式芝刈り機を使用することができるが、議論は本開示の範囲を制限することを意図していないことが理解されるであろう。当業者であれば、本開示を理解した上で、本考察が他のタイプの遠隔操作ロボットにも同様に適用可能であり、又は容易に変更可能であることが分かるであろう。

C.無人航空機（Unmanned Aerial Vehicle）
図1に戻ると、システム100は、任意で、無人航空機（本明細書では、交換可能にUAV又はドローンとも呼ばれる）150を含んでもよい。いくつかの実施形態では、UAV150は、飛行制御モジュール152、センサモジュール154、及び通信モジュール156を含んでもよい。

UAV150は、自律飛行、半自律飛行、又は遠隔操作による飛行が可能な任意の無人航空機であってもよい。UAVは、ドローン、ヘリコプター、マルチコプター、ヘキサコプター、オクトコプター、気球、飛行船など、又は、垂直離着陸（VTOL）が可能なドローンと飛行機の混合物を含んでもよいが、これらに限定されない。

いくつかの実施形態では、UAVは、その現在の位置を決定し、目標位置への経路を計画するために、GPS（全地球測位システム）コントローラを備えてもよい。いくつかの実施形態では、UAVは、電力、充電式電池、及び／又は内燃機関で動作してもよい。UAVが電力で作動する実施形態では、燃料電池を用いて電力を生成してもよい。

飛行制御モジュール152は、例えば、着陸、離陸、ナビゲーション、空中障害物回避などを含むUAVの飛行を制御することを主に担当する。飛行制御モジュール152は、プロセッサを含むコントローラを含んでもよい。

いくつかの実施形態では、プロセッサは、コントロールセンタ130及び／又は遠隔操作ロボット110に送信する前に、センサモジュール154のセンサによって得られたデータを追加的又は任意に処理してもよい。

センサモジュール154は、UAVの自律的な動作を可能にする1つ又は複数のセンサを含んでもよい。さらに、センサモジュール154は、プロパティに関連するデータの収集を可能にし、センサモジュール116から遠隔操作ロボット110が利用できるデータを増強する1つ以上のセンサを含む。例えば、センサモジュール154は、限定されないが、深度カメラ、ビデオカメラ、ステレオカメラ、LIDAR、RADAR、超音波センサ、GPS測位システム、IRセンサ、光スペクトルの様々な部分をカバーするスペクトルセンサ、及び、ジャイロスコープ（複数可）を含むことができる。

いくつかの実施形態では、人間の監督者／操作者、又は遠隔操作ロボット110もしくはコントロールセンタ130の自律航行プロセッサのために、遠隔操作ロボット110の周囲の環境のより明確なビューを得るために、（UAVの）位置、ズーム、又は焦点の領域などのセンサパラメータをリアルタイムで使用する。例えば、遠隔操作ロボットが樹冠の下に入る場合、UAVは、木を避けながら、斜めに、例えば、45度の角度で後ろに付いたり、ホバリングの高さを調整して、遠隔操作ロボット110の真上になるようにする。代替的又は追加的に、遠隔操作又は自律的なナビゲーションを強化するために、遠隔操作ロボット110を取り巻く環境の局所的な部分の鮮明な画像を得るために、例えば、光学センサのズームレベルを増加又は減少させることができる。

このように、いくつかの実施形態では、センサモジュール154のセンサは、遠隔操作ロボット110のナビゲーションを可能にする、遠隔操作ロボット110に搭載されたセンサを補強又は代替するように選択及び構成される。

いくつかの実施形態では、センサモジュール154は、遠隔操作ロボット110を取り巻く環境における特定の構造、人工物又は欠陥を検出するためのセンサを含んでもよい。例えば、センサモジュール154は、遠隔操作ロボット110が雑草を検出し、雑草制御のための最適な動作経路を計画することを可能にするために、雑草によって放出される特定の波長を検出するように構成されたスペクトルセンサを含んでもよい。別の例として、スペクトルセンサは、光スペクトルの異なる部分で撮影された画像を使用して、切断されていない草又は異なる処理が施された草のパッチを検出するように構成されてもよい。

通信モジュール156は、コントロールセンタ130及び／又は遠隔操作ロボット110又はシステム100の他の構成要素と通信するための無線送受信機を含んでもよい。通信モジュール156を介して、UAV150は、例えば、維持されているプロパティの座標と、プロパティの上をオーバーフライトするための飛行経路とを含む指示をコントロールセンタ130から受け取ってもよい。

D. 障害物回避の方法
本明細書で述べたように、遠隔操作ロボット110のような遠隔操作ロボットは、プロパティメンテナンスを行うために使用されてもよい。例えば、一実施形態では、遠隔操作された芝刈り機のような遠隔操作されたロボットは、例えば、ゴルフコースのような土地の広がりで草を刈るために使用されてもよい。このような土地の広がりは、芝を刈る際に遠隔操作された芝刈り機にとって障害となり得る既知及び未知のオブジェクトを含む可能性がある。本明細書では、遠隔操作型ロボットの動きを妨げる可能性のある障害物を回避するための方法及びシステムを開示する。

図2は、本開示の一実施形態による障害物回避方法のフローチャートを示す。一実施形態では、ロボット芝刈り機のようなプロパティメンテナンスのために遠隔操作ロボットを操作する方法は、S202において、プロパティメンテナンスのための遠隔操作ロボットの自律的な動作中に、遠隔操作ロボットのセンサを使用して、遠隔操作ロボットの動作経路内の物体に関連するデータを取得することを含む。いくつかの実施形態では、動作経路は、プロパティの事前調査に基づいて事前に決定されてもよい。いくつかの実施形態では、動作経路は、遠隔操作ロボットを取り巻く環境のリアルタイム分析に基づいて決定されてもよい。リアルタイム分析は、いくつかの実施形態において、遠隔操作ロボットに搭載されたセンサから得られたデータに基づいて実行されてもよい。

S204では、コントロールセンタにおいて、物体に関するデータに基づいて、物体が障害物である確率が閾値よりも大きいか否かが判断される。物体が障害物である確率が高いかどうかの判断は、例えば、検出された物体の形状や大きさなどの要因に基づいて行われる。コントロールセンタは、遠隔操作ロボットに通信可能に結合されたプロセッサを含む。例えば、いくつかの実施形態では、コントロールセンタは、システム100のコントロールセンタ130であってもよい。いくつかの実施形態では、コントロールセンタは、遠隔操作ロボットの中に含まれていてもよい。

物体が障害物である確率が閾値よりも大きくないと判断された場合、S206において、コントロールセンタは、遠隔操作ロボットに動作経路での動作を継続させる。

対象物が障害物である確率が閾値よりも大きいと判断された場合、S208では、障害物の位置と分類の一方又は両方が事前に知られているかどうかが判断される。障害物は、例えば、移動可能、不動、変更可能、変更不可能、横断可能、横断不可能、新しい、古い、などの分類が考えられる。位置は、地球上の座標に対する絶対的な位置と考えてもよいし、敷地内のあらかじめ特定されたランドマークを基準とした相対的な位置と考えてもよい。

障害物の位置又は分類のいずれかが不明であると判定された場合、S210において、コントロールセンタにおいて、障害物の位置が不明であるか否かが判定される。障害物の位置が既知であると判定された場合、S212において、コントロールセンタにおいて、物体の分類が未知であるか否かが判定される。物体の分類が既知であると判断された場合、S220において、コントロールセンタにおいて、メンテナンスされてない領域を保全する代替動作経路が決定され、コントロールセンタは、S206において、遠隔操作ロボットに代替動作経路での動作を継続させる。

一方、障害物の位置は既知であるが、障害物の分類は不明であると判断された場合、コントロールセンタは、S214において、障害物の分類の決定を可能にするために、障害物の検査のためのプロセスを開始する。いくつかの実施形態では、プロセスは、障害物の分類を決定するために、人間の監督者を配備させることを含む。いくつかの実施形態では、人間の監督者は、S216において、障害物がプロパティから除去可能であるかどうかをさらに決定してもよい。

いくつかの実施形態では、障害物を検査する工程は、UAVに、障害物の分類を決定するように構成された飛行経路で、敷地の上を飛行させることを含む。いくつかの実施形態では、UAVの飛行経路は、プロパティの3次元（3D）幾何学的に補正された合成マップを構成する空撮画像を取得するように構成される。そして、3D幾何学的に補正された合成地図は、メンテナンスされてない領域を保全する代替の動作経路の推定を可能にするために、コントロールセンタ又は遠隔操作ロボットに送信される。

図2に戻って、障害物の位置が既知であると判断された場合、障害物の分類が既知であるか否かが判断され、S216において、コントロールセンタにおいて、対象物（今は障害物と判断されている）に関するデータに基づいて、障害物が敷地内から除去可能であるか否かが判断されている。

障害物が敷地内から除去できないと判断された場合、S220で、メンテナンスされてない領域を保全する代替動作経路がコントロールセンタで決定され、コントロールセンタは、S206で、代替動作経路での動作を遠隔操作ロボットに継続させる。

対照的に、障害物が除去可能であると判断された場合、まずS218で、コントロールセンタにおいて、障害物を乗り越えられるかどうかが判断される。障害物を乗り越えることができると判断された場合、コントロールセンタは、S206において、遠隔操作ロボットに、代替動作経路での動作を継続させる。そして、障害物を乗り越えることができないと判断された場合、コントロールセンタでは、S222において、障害物を手動で除去するためのプロセスが開始される。いくつかの実施形態では、プロセスは、障害物を除去するために地上作業員を展開させることを含んでもよい。

いくつかの実施形態では、障害物が除去可能ではなく、その上を横切ることができないと判断された場合、コントロールセンタは、遠隔操作ロボットに、ナビゲーション及び操作制御を人間のオペレータに譲らせてもよい。いくつかの実施形態では、人間のオペレータは、プロパティの現場で利用可能であってもよい（例えば、地上作業員のメンバー）。いくつかの実施形態では、人間のオペレータは、遠隔地から遠隔操作されたロボットを操作してもよい。

E. ドローンによる遠隔操作と自律的なナビゲーション
特定の状況では、敷地の地形、及び敷地の所定の領域内の障害物の数に応じて、遠隔操作ロボットに搭載されたセンサのみを使用して、遠隔操作ロボットを自律的にナビゲート及び操作することが困難な場合がある。このような状況では、人間の監督者やオペレータが遠隔操作ロボットをナビゲート及び／又は操作することができる。しかし、そのような状況においても、遠隔操作ロボットに搭載されたセンサから得られるデータには固有の制限があるため、人間の監督者やオペレータが遠隔操作ロボットの動作経路を推定することが困難な場合がある。このような状況では、人間の監督者や操作者が遠隔操作ロボットを適切にナビゲートして操作するために、例えばドローンからの空撮画像のようなパースペクティブビューを得ることが役立つ場合がある。

有利には、UAV用のセンサを適切に選択することで、遠隔操作ロボットのナビゲーションを可能にする遠隔操作ロボットに搭載されたセンサを補強又は代替することができる。例えば、UAVに適切なセンサを搭載することで、遠隔操作ロボットに搭載されているナビゲーションセンサ（例えば、LIDAR）を完全に排除することができ、それにより、遠隔操作ロボットのコストを大幅に削減することができる。さらに、本明細書で詳細に説明するように、特定の状況では、複数の遠隔操作ロボット間でUAVを共有することが可能であり、それによって機器コストをさらに削減することができる。

図3A、3B及び3Cは、本開示の一実施形態による、プロパティメンテナンスのために遠隔操作ロボットを操作する方法のフローチャートを示す。一実施形態では、本方法は、遠隔操作ロボット及びUAVに通信可能に結合されたコントロールセンタで実施されてもよい。コントロールセンタは、遠隔操作ロボットに通信可能に結合されたプロセッサを含む。例えば、いくつかの実施形態では、コントロールセンタは、システム100のコントロールセンタ130であってもよい。いくつかの実施形態では、コントロールセンタは、遠隔操作ロボット内に含まれていてもよい。

いくつかの実施形態では、本方法は、S302において、コントロールセンタで、プロパティのメンテナンスのための遠隔操作ロボットの動作中に、遠隔操作ロボットの動作経路で検出された障害物に関するデータを受信することを含む。いくつかの実施形態では、障害物に関するデータは、遠隔操作ロボットに搭載されたセンサを用いて取得される。障害物に関連するデータは、光学画像、LIDARデータ、超音波データ、スペクトルデータ、及び赤外線（IR）データを含むが、これらに限定されない。

S304では、コントロールセンタにおいて、障害物に関するデータに基づいて、障害物を回避する経路が推定できるか否かが判断される。いくつかの実施形態では、障害物に関連するデータに基づいて、障害物を回避する経路を推定できるかどうかは、S321において、コントロールセンタにおいて、障害物の位置及び分類の一方又は両方が以前に知られているかどうかを判定することによって決定される。S322において、障害物の位置及び分類が以前に知られていないと判定された場合、コントロールセンタにおいて、障害物に関連するデータに基づいて、障害物を囲む境界ボックスを推定できるかどうかが判定される。S323では、障害物に関するデータに基づいて、境界ボックスを推定できると判断した場合、障害物に関するデータに基づいて、障害物を回避する経路を推定できると判断する。S324において、境界ボックスが推定できないと判定された場合、コントロールセンタにおいて、障害物に関するデータに基づいて、障害物を回避する経路を計画できないと判定する。

障害物に関するデータに基づいて、障害物を回避する経路を推定できると判断された場合、S306において、障害物に関するデータを用いて、動作経路からのずれを最小にする代替動作経路を推定し、S308において、コントロールセンタは、遠隔操作ロボットに代替経路での動作を継続させる。

一方、障害物に関するデータに基づいて、障害物を回避する経路を推定できないと判断された場合、S310において、コントロールセンタは、無人航空機（UAV）の飛行を開始する。UAVの飛行経路は、遠隔操作ロボットの動作経路からの逸脱を最小限に抑えつつ、障害物を回避する経路の推定を可能にするために、障害物を囲む領域の空撮画像を取得するように構成される。いくつかの実施形態では、空撮画像は、光学画像、LIDARデータ、又は超音波センサデータのうちの1つ以上を含んでもよい。

S312では、コントロールセンタにおいて、障害物に関連するデータと航空画像とを用いて、障害物を回避する経路を推定できるか否かが判断される。いくつかの実施形態では、障害物に関連するデータ及び空撮画像に基づいて、障害物を回避する経路を推定できるかどうかは、コントロールセンタにおいて、S341で、障害物に関連するデータ及び空撮画像に基づいて、障害物を囲む境界ボックスを推定できるかどうかを判定することによって決定される。S342では、障害物に関するデータと空撮画像とに基づいて、境界ボックスを推定できると判定した場合に、障害物に関するデータに基づいて、障害物を回避する経路を推定できると判定する。S343では、境界ボックスを推定できないと判断した場合、コントロールセンタにおいて、障害物に関するデータに基づいて、障害物を回避する経路を計画できないと判断する。

障害物に関するデータに基づいて障害物を回避する経路が推定できると判断された場合、S314において、障害物に関するデータと航空画像を用いて、動作経路からの逸脱を最小化する代替動作経路を推定し、S308において、コントロールセンタは、遠隔操作ロボットに代替経路での動作を継続させる。

一方、障害物に関するデータと空撮画像に基づいて、障害物を回避する経路を推定できないと判断された場合、S316において、コントロールセンタは、遠隔操作ロボットを人間の監督者や操作者に制御を委ねさせる。

いくつかの実施形態では、UAVは、一定の高さで遠隔操作ロボットの上方をホバリングし、及び／又は、遠隔操作ロボットから一定の距離を維持するように構成されてもよい。いくつかの実施形態では、UAVは、遠隔操作ロボットにテザー接続される。そのような実施形態では、テザーは、遠隔操作ロボットに搭載された電源（例えば、バッテリー）からUAVに電力を供給してもよい。

いくつかの実施形態では、遠隔操作ロボットは、UAVが休息する着陸パッドを含んでもよい。コントロールセンタによる飛行の開始時に、UAVは着陸パッドから離陸し、必要な空撮画像を取得した後に戻ってくることができる。

いくつかの実施形態では、着陸パッドは、UAVが連続した飛行の間にそのバッテリーを補充できるようにするための誘導充電ポートを含むことができる。

いくつかの実施形態では、UAVは、近くの敷地でプロパティメンテナンスを行う第2の遠隔操作ロボットに通信可能に結合されてもよく、現在の遠隔操作ロボットが操作及び／又はナビゲーションのために空撮画像を必要としないときに、第2の遠隔操作ロボットによって利用されてもよい（すなわち、共有されてもよい）。有利なことに、このような共有は、所定の地域内で必要とされるドローンの数を減らし、それによって資本コストを削減する。

F. LIDARを用いた遠隔操作・ナビゲーション

いくつかの実施形態では、航空画像の代わりに、遠隔操作ロボットに搭載されたLIDARの点群がコントロールセンタに提供される（結果的に、人間の監督者又はオペレータに提供される場合もある）。有利なことに、オンボードLIDARを使用すると、UAVが不要になり、また、LIDARの点群はUAVによって得られる光学画像よりもデータ量が少ないため、必要な帯域幅も大幅に減少する。したがって、より低いレイテンシーでの遠隔操作が可能になる。

G. 遠隔操作ロボットと地上作業員の動作のスケジューリング
メンテナンス対象となるプロパティが、困難な地形や多数の障害物を含む場合、遠隔操作ロボットをサポートするために人間の監督者／オペレータ及び／又は地上作業員が必要となることがある。このような状況では、コストを最適化するために、プロパティのメンテナンスを行う際の人間の労働時間及び総時間を最小限にすることが重要である。したがって、本開示の一態様は、人間の労働時間と総所要時間を最小限に抑えながら、プロパティのメンテナンスのために遠隔操作ロボットを操作する方法を含む。

図4は、本開示の一実施形態による、プロパティのメンテナンスのために遠隔操作ロボットを操作する方法のフローチャートを示す。

一実施態様において、本方法は、402において、UAVを使用して得られたプロパティの空撮画像をコントロールセンタで受信することを含み得る。コントロールセンタは、遠隔操作ロボットに通信可能に結合されたプロセッサを含む。例えば、いくつかの実施形態では、コントロールセンタは、システム100のコントロールセンタ130であってもよい。いくつかの実施形態では、コントロールセンタは、遠隔操作ロボット内に含まれていてもよい。

いくつかの実施形態では、空撮画像は、光学画像、LIDARデータ、又は超音波センサデータのうちの少なくとも1つからなる。いくつかの実施形態では、航空画像は、プロパティの3次元（3D）幾何学的に補正された合成マップを構成する。

S404では、空撮画像に基づいて、プロパティメンテナンスを行うべきプロパティ内の関心領域をコントロールセンタで決定する。

S406では、空撮画像に基づいて、コントロールセンタにおいて、関心領域を、遠隔操作ロボットが自律的にナビゲート可能な第1の領域と、遠隔操作ロボットが自律的にナビゲートできない第2の領域とに分類する。いくつかの実施形態では、第2のエリアはさらに、遠隔操作ロボットの遠隔操作によってナビゲート可能な第3のエリアと、地上作業員による現場介入が必要な第4のエリアに分類される。

いくつかの実施形態では、地上作業員による現場介入は、以下の方法で、第4のエリアを第1のエリア又は第3のエリアにするために、第4のエリアの環境を修正すること、第4のエリアから物体を取り除くこと、第4のエリアの一部の地形を滑らかにすること、第4のエリア内の物体を別の場所に移動させること、第4のエリアの一部に紫外線可視塗料を吹き付けること、第4のエリア内で障害物が取り除かれる領域を広げること、第4のエリア内の既知の障害物の近くでの動作マージンを広げること、第4のエリアの一部に修理のフラグを立てること、第4のエリアの一部に付属作業のフラグを立てること、又はそれらの組み合わせを行うことを含むことができる。

いくつかの実施形態では、関心領域を分類することは、関心領域内の遠隔操作ロボットの動作経路を決定することと、航空画像に基づいて、関心領域内の遠隔操作ロボットの動作を阻害する障害物の数、関心領域内の単位面積当たりの障害物の密度、関心領域内の障害物の大きさ、障害物の種類、及び関心領域内の障害物の相対的な位置のうちの1つ以上を決定することとを含むことができる。

第1エリア、第3エリア、及び第4エリアとは、地図の離散的な部分や囲まれた連結空間を指すのではなく、敷地内の複数の離散的な非連結空間を指すことが理解されるであろう。したがって、いくつかの実施形態では、関心領域は、複数の非連結の第1の領域、複数の非連結の第3の領域、及び複数の非連結の第4の領域を含んでいてもよい。

S408では、コントロールセンタにおいて、第1エリアと第2エリアの相対的な大きさに基づいて、関心のあるエリアでプロパティメンテナンスを行うための遠隔操作ロボットの動作のスケジュールが決定される。スケジュールは、プロパティメンテナンスの実行に費やされる労働時間及び総時間を最小化するように構成される。スケジュールは、一日のうちの時間に限定されないことが理解されるであろう。例えば、スケジュールには、夜間に自律的なプロパティメンテナンスを行うことが含まれ、地上作業員や人間の監督・操作者を必要とする作業は、日中（又は、人間の監督・操作者が配置されているタイムゾーンに応じて夜間）にスケジュールされてもよい。

いくつかの実施形態では、スケジュールは、異なる場所での動作における動作時間と、同様に分類されたエリア間で遠隔操作ロボットを移動させるために必要な時間の手当を含んでもよい。例えば、第1の第1のエリアと第2の第1のエリアが接続されておらず、例えば第4のエリアによって分離されていてもよい場合に、第1の第1のエリアから第2の第1のエリアに遠隔操作ロボットを移送するための時間の許容量が提供されてもよい。

いくつかの実施形態では、動作のスケジュールは、異なるエリアでの動作時間と、異なるエリアのそれぞれにおける遠隔操作ロボットの動作経路（動作経路の開始点及び終了点の座標を含む）とを含む。例えば、スケジュールは、遠隔操作ロボットの第1のエリアの座標と、第1のエリア内でプロパティメンテナンスを自律的に行うための動作経路の始点及び終点の座標とを含むことができる。

いくつかの実施形態では、所定のエリアにおける遠隔操作ロボットの動作経路は、同様に分類されたエリア間の距離を最小化するように生成されてもよい。例えば、スケジュールは、第1のエリアでプロパティのメンテナンスを自律的に行うための第1の動作経路と、人間のオペレータによる遠隔操作ロボットの遠隔操作によって第2のエリアでプロパティのメンテナンスを行うための第2の動作経路とを含んでいてもよい。このような実施形態では、遠隔操作ロボットを第1の第1エリアから第2の第1エリアに移すのに必要な時間を最小限にすることで、スケジュールが最適化される。これは、例えば、第1の第1のエリアと第2の第1のエリアとの間の最短経路を決定し、第1の第1のエリアのための動作経路が第1の第1のエリアと第2の第1のエリアとの間の最短経路の一端で終了するように、第1の第1のエリアと第2の第1のエリアのメンテナンスを行うための動作経路を生成することによって達成され得る。

いくつかの実施形態では、スケジュールは、地上作業員の通常の作業スケジュールとの干渉を最小化するようにさらに構成される。

H. プロパティの地図を事前に記録する
いくつかの実施形態では、関心のあるデータ（例えば、障害物、境界、センサの読み取り値など）を記録するために、無人航空機による作業現場の作業前のオーバーフライトが行われる。記録された関心のあるデータは、地上車両の記録によるサイトごとの1回のマッピングと対になっていてもよい。このようにして、LIDAR、デプスカメラ、超音波データを航空データと融合させることで、敷地の3次元（3D）マップを作成することができる。この3Dマップを保存しておけば、敷地内でタスクを実行する際に素早く検索し、ナビゲーションすることができます。

芝刈り機や造園機などのプロパティメンテナンスツールを自律的に操作する際の課題の1つは、障害物（木、茂み、壁など）の近くで正確に位置を特定することである。リアルタイムキネマティックGPS（RTK GPS）による測位では誤差の許容範囲があるが、特にマルチパス誤差を考慮すると許容範囲が不十分な場合がある。このような状況では、UAVに基地局を設置して上空からの視線を確保したり、ツールからの視線を確保したりして、より正確な測位を行うことができます。

いくつかの実施形態では、UAVは、地上から一定の高さであることを除いて、遠隔操作ロボットがたどる動作経路と同様の経路でエリア上を飛行する。このプレパフォーマンスチェックでは、複数のセンサ（視覚データ、LIDARデータ、GPS（RTK及び非RTK）データを含むがこれらに限定されない）からのデータが敷地内に記録され、既知の不動の障害物が分類され、マッピングされる。この分類の処理は、ドローン本体に搭載されているアルゴリズムで行うこともできるし、飛行体として軽量化が求められることから、コントロールセンタで行うこともできる。

さらに、又は代わりに、いくつかの実施形態では、遠隔操作ロボットが手動モードで操作されている（すなわち、遠隔又は現場のいずれかの人間のユーザによって操作されている）ときに、ツールと付随物の両方への視線を有する障害物の近くのUAV GPS読取値が得られるかもしれない。これらの測定値は、他の判断基準となる地図や敷地の経路のグランドトゥルースとして機能する可能性がある。

I. 条項
条項1．プロパティのメンテナンスのために遠隔操作ロボットを操作する方法であって、コントロールセンタにおいて、無人航空機（UAV）を使用して得られた前記プロパティの空撮画像を受信することと、ここで、前記コントロールセンタは、UAV及び遠隔操作ロボットに通信可能に結合され、プロセッサを備える、前記コントロールセンタにおいて、前記空撮画像に基づいて、プロパティメンテナンスが実行されるプロパティ内の関心領域を決定することと、前記コントロールセンタにおいて、前記空撮画像に基づいて、前記関心領域を、前記遠隔操作ロボットが自律的にナビゲート可能な第1の領域と、前記遠隔操作ロボットが自律的にナビゲートできない第2の領域とに分類することと、前記コントロールセンタにおいて、前記第1のエリアと前記第2のエリアの相対的な大きさに基づいて、前記遠隔操作ロボットが前記対象エリアにおいて前記プロパティメンテナンスを行うための動作のスケジュールを決定することと、を含み、該スケジュールは、前記プロパティメンテナンスを行うために費やす労働時間及び総時間を最小化するように構成され、前記決定された動作のスケジュールに従って前記プロパティメンテナンスを行うことを特徴とする。

条項2．前記第2のエリアは、前記遠隔操作ロボットの遠隔操作によってナビゲート可能な第3のエリアと、地上作業員による現場介入が必要な第4のエリアとにさらに分類される、条項1に記載の方法。

条項3．前記スケジュールを決定することは、前記地上作業員の通常の作業スケジュールとの干渉を最小化するようにさらに構成される、条項2に記載の方法。

条項4．条項2に記載の方法であって、地上作業員による現場介入は、第4のエリアを第1のエリア又は第3のエリアにするために、第4のエリアの環境を修正することと、第4のエリアから物体を取り除くこと、第4のエリアの一部の地形を滑らかにすること、第4のエリア内の物体を別の場所に移動させること、第4のエリアの一部に紫外線可視塗料を吹き付けること、第4のエリア内の障害物が取り除かれる領域を広げること、第4のエリア内の既知の障害物の近くの動作マージンを広げること、第4のエリアの一部に修理のフラグを立てること、第4のエリアの一部に付属作業のフラグを立てること、又は、これらの組み合わせを行うことを含む。

条項5．前記コントロールセンタから、前記遠隔操作ロボットが前記第1のエリアでプロパティメンテナンスを自律的に行うことを可能にするために、前記第1のエリアの座標を前記遠隔操作ロボットに送信することをさらに含む、条項1に記載の方法。

条項6．前記空撮画像は、光学画像、LIDARデータ、又は、超音波センサデータの少なくとも1つを含む、条項1に記載の方法。

条項7．前記関心領域を分類することは、前記関心領域内の遠隔操作ロボットの動作経路を決定することと、空撮画像に基づいて、関心領域内の遠隔操作ロボットの動作を阻害する障害物の数、関心領域内の単位面積当たりの障害物の密度、関心領域内の障害物の大きさ、障害物の種類、及び関心領域内の障害物の相対的な位置のうちの1つ以上を決定することと、を含む、条項1に記載の方法。

条項8．前記コントロールセンタにおいて、前記空撮画像に基づいて、前記第1のエリアで前記プロパティのメンテナンスを自律的に行うための第1の動作経路と、前記第2のエリアで前記プロパティのメンテナンスを人間のオペレータによる前記遠隔操作によって行うための第2の動作経路とを決定することをさらに含む、条項1に記載の方法。

条項9．プロパティメンテナンスのために遠隔操作ロボットを操作する方法であって、コントロールセンタにおいて、プロパティのメンテナンスのための遠隔操作ロボットの動作中に、遠隔操作ロボットのセンサを使用して遠隔操作ロボットの動作経路で検出された障害物に関するデータを受信することと、ここで、前記コントロールセンタは、遠隔操作ロボットに通信可能に結合されたプロセッサを備える、前記コントロールセンタにおいて、障害物に関するデータに基づいて、障害物を回避する経路を推定できるかどうかを決定することと、前記コントロールセンタが、前記障害物を回避する経路を推定できないと判断した場合に、無人航空機（UAV）の飛行を開始することと、を含み、前記UAVの飛行経路は、前記遠隔操作ロボットの動作経路からの逸脱を最小限に抑えつつ、前記障害物を回避する経路の推定を可能にするために、前記障害物を囲む領域の空撮画像を取得するように構成されている。

条項10．前記空撮画像は、光学画像、LIDARデータ、又は、超音波センサデータの少なくとも1つを含む、条項9に記載の方法。

条項11．前記障害物を回避する経路が推定できるかどうかを判定することは、前記コントロールセンタにおいて、前記障害物の位置及び分類の一方又は両方が以前に知られているかどうかを判定することと、前記コントロールセンタにおいて、前記障害物の位置及び分類が以前に知られていないと判定された場合に、前記障害物に関連するデータに基づいて障害物を囲む境界ボックスを推定できるかどうかを判定することと、前記障害物に関するデータに基づいて境界ボックスを推定できると判断した場合には、前記障害物に関するデータに基づいて前記障害物を回避する経路を推定できると判断し、前記障害物に関するデータに基づいて境界ボックスを推定できないと判断した場合には、前記障害物に関するデータに基づいて前記障害物を回避する経路を計画できないとコントロールセンタで判断することを含む、条項9に記載の方法。

条項12．前記コントロールセンタにおいて、前記障害物を回避する経路が推定可能であると判断された場合に、前記動作経路からの偏差を最小化する代替動作経路を推定する工程をさらに含む、条項11に記載の方法。

条項13．前記代替動作経路の決定時に、前記代替動作経路を用いた前記遠隔操作ロボットの自律的動作を継続することをさらに含む、条項11に記載の方法。

条項14．前記コントロールセンタにおいて、前記障害物に関連するデータ及び前記空撮画像に基づいて、境界ボックスを推定できるかどうかを決定することと、障害物に関連するデータ及び空撮画像に基づいて、前記境界ボックスを推定できると決定された場合に、前記障害物を回避する経路を推定できると決定することと、前記コントロールセンタにおいて、前記障害物と前記空撮画像に関するデータに基づいて前記境界ボックスを推定できないと判断した場合、前記障害物を回避する経路を推定できないと判断し、人間の遠隔操作者に遠隔操作ロボットの制御を委ねることを含む、条項9に記載の方法。

条項15．前記コントロールセンタにおいて、前記障害物を回避する経路が推定可能であると判断された場合に、前記動作経路からの逸脱を最小化する代替動作経路を推定することをさらに含む方法、条項14に記載の方法。

条項16．前記代替動作経路の決定時に、前記代替動作経路を用いた前記遠隔操作ロボットの自律的動作を継続することをさらに含む、条項14に記載の方法。

条項17．前記UAVは、前記遠隔操作ロボットにテザー接続されている、条項9に記載の方法。

条項18．前記空撮画像は、前記プロパティの3次元（3D）幾何学的に補正された合成地図を含む、条項9に記載の方法。

条項19．前記遠隔操作ロボットは、受信機、ロボットプロセッサ、及びメモリを備え、前記方法は、3D幾何学的に補正された合成地図を前記遠隔操作ロボットに送信することと、前記ロボットプロセッサによって、前記3D幾何学的に補正された合成地図に基づいて、敷地内の固定障害物に対する前記遠隔操作ロボットの位置及び距離をリアルタイムで推定することと、をさらに含む、条項18に記載の方法。

条項20．プロパティのメンテナンスのために遠隔操作ロボットを操作する方法であって、プロパティメンテナンスのための前記遠隔操作ロボットの自律的な動作中に、前記遠隔操作ロボットのセンサを使用して、前記遠隔操作ロボットの動作経路内の障害物に関するデータを取得することと、コントロールセンタにおいて、前記障害物の位置及び分類の一方又は両方が以前に知られているかどうかを決定することと、ここで、前記コントロールセンタは、前記遠隔操作ロボットに通信可能に結合されたプロセッサを備え、前記コントロールセンタにおいて、前記障害物の位置及び分類が事前に知られていないと判定された場合に、前記障害物に関するデータに基づいて、前記障害物を回避しながら前記敷地のメンテナンスされていない領域を保全する代替動作経路を推定できるか否かを判定することと、前記コントロールセンタにおいて、前記代替動作経路を推定できると判定された場合に、前記代替動作経路を推定することと、前記代替動作経路を用いて前記遠隔操作ロボットの自律走行を継続することとを含む、方法。

条項21．前記コントロールセンタにおいて、前記代替動作経路が計画できないと判定されたときに、前記障害物が取り外し可能であるか否かを判定するステップと、前記コントロールセンタにおいて、前記障害物が取り外し可能であると判定されたときに、前記障害物を手動で除去するプロセスを開始することと、をさらに含む、条項20に記載の方法。

条項22．前記コントロールセンタにおいて、前記障害物に関するデータに基づいて前記代替動作経路が推定できないと判断された場合に、前記遠隔操作ロボットの制御を人間の遠隔操作者に委ねることをさらに含む、条項20に記載の方法。

条項23．プロパティのメンテナンスを行うための遠隔操作ロボットであって、前記プロパティのメンテナンスを行うように構成された1つ以上のアクチュエータを含むツールキットと、前記遠隔操作ロボットを取り巻く環境を検知するように構成されたセンサを含むセンサモジュールと、命令を有する非一時的メモリに結合されたプロセッサと、を備え、該命令は該プロセッサに以下を行わせる。すなわち、コントロールセンタは、プロパティメンテナンスのための前記遠隔操作ロボットの動作中に、前記遠隔操作ロボットのセンサを使用して前記遠隔操作ロボットの動作経路で検出された障害物に関するデータを受信することと、ここで、コントロールセンタは、前記遠隔操作ロボットと通信可能に結合されたプロセッサを有する、障害物に関するデータに基づいて、前記障害物を回避する経路を推定できるかどうかを判断することと、前記障害物を回避する経路が推定できないと判断された場合に、無人航空機（UAV）の飛行を開始することと、前記UAVの飛行経路は、前記障害物を回避する経路の推定を可能にするために、前記障害物を取り巻く領域の空撮画像を取得するように構成され、前記遠隔操作ロボットの動作経路からの逸脱を最小限に抑えることと、を含む。

条項24．前記空撮画像は、光学画像、LIDARデータ、又は、超音波センサデータのうちの少なくとも1つを含む、条項23に記載の遠隔操作型ロボット。

条項25．前記障害物を回避する経路が推定できるか否かを判断することは、以下のように構成される。すなわち、前記障害物の位置及び分類の一方又は両方が以前に知られているかどうかを判定することと、前記障害物の位置及び分類が以前に知られていないと判定された場合に、前記障害物に関連するデータに基づいて前記障害物を囲む境界ボックスを推定できるかどうかを判定することと、前記障害物に関するデータに基づいて境界ボックスを推定できると判断した場合には、前記障害物に関するデータに基づいて前記障害物を回避する経路を推定できると判断し、前記障害物に関するデータに基づいて境界ボックスを推定できないと判断した場合には、前記障害物に関するデータに基づいて前記障害物を回避する経路を計画できないと判断することと、を含む。

条項26．前記命令はさらに、前記プロセッサに、障害物を回避する経路が推定可能であると判断された場合に、前記動作経路からの偏差を最小化する代替動作経路を推定させることを含む条項25に記載の遠隔操作ロボット。

条項27．前記命令は、前記代替動作経路の決定時に、前記代替動作経路を用いた前記遠隔操作ロボットの自律動作を継続させることをさらに前記プロセッサに指示する、条項25に記載の遠隔操作ロボット。

条項28．前記命令は、さらに前記プロセッサに以下を行わせる。すなわち、前記障害物に関連するデータ及び前記空撮画像に基づいて、境界ボックスを推定できるかどうかを判断することと、前記障害物に関連するデータ及び前記空撮画像に基づいて、前記境界ボックスを推定できると判断した場合に、前記障害物を回避する経路を推定できると判断することと、前記コントロールセンタにおいて、前記障害物に関連するデータ及び前記空撮画像に基づいて、前記境界ボックスを推定できないと判断した場合に、前記障害物を回避する経路を推定できないと判断し、前記遠隔操作ロボットの制御を人間の遠隔操作者に委ねることを含む条項23に記載の遠隔操作ロボット。

条項29．前記命令はさらに、前記プロセッサに、前記コントロールセンタにおいて、前記障害物を回避する経路が推定可能であると判断された場合に、前記動作経路からの逸脱を最小化する代替動作経路を推定させる条項28に記載の遠隔操作ロボット。

条項30．前記命令は、前記代替動作経路の決定時に、前記プロセッサに、前記代替動作経路を使用した前記遠隔操作ロボットの自律的な動作を継続させることをさらに特徴とする条項28に記載の遠隔操作ロボット。

条項31．前記UAVが前記遠隔操作ロボットにテザー接続されている、条項23に記載の遠隔操作ロボット。

条項32．前記空撮画像は、前記プロパティの3次元（3D）幾何学的に補正された合成地図を含む、条項23に記載の遠隔操作ロボット。

条項33．前記命令は、前記プロセッサに、3D幾何学的に補正された合成地図を前記遠隔操作ロボットに送信することと、前記3D幾何学的に補正された合成地図に基づいて、前記敷地上の固定障害物に対する前記遠隔操作ロボットの位置及び距離をリアルタイムで推定することと、をさらに行わせる、条項32に記載の遠隔操作型ロボット。

条項34．プロパティのメンテナンスを行うための遠隔操作ロボットであって、プロパティのメンテナンスを行うように構成された1つ以上のアクチュエータを含むツールキットと、遠隔操作ロボットを取り巻く環境を感知するように構成されたセンサを含むセンサモジュールと、プロセッサに結合された非一時的メモリであって、該非一時的メモリはその上に命令を有し、該命令は該プロセッサに以下を行わせるものである。無人航空機（UAV）を使用して取得されたプロパティの空撮画像を受信することと、ここで、コントロールセンタは、UAV及び遠隔操作ロボットと通信可能に結合され、プロセッサを備え、前記空撮画像に基づいて、プロパティメンテナンスを行うべきプロパティ内の関心領域を決定することと、前記空撮画像に基づいて、前記関心領域を、遠隔操作ロボットによって自律的にナビゲート可能な第1の領域と、遠隔操作ロボットによって自律的にナビゲートできない第2の領域とに分類することと、前記第1のエリアと前記第2のエリアの相対的な大きさに基づいて、前記遠隔操作ロボットの動作のスケジュールを決定することと、前記動作のスケジュールは、前記プロパティメンテナンスの実行にかかる労働時間及び総時間を最小化するように構成され、前記決定された動作のスケジュールに従って前記プロパティメンテナンスを実行することと、を含む。

条項35．前記第2のエリアは、前記遠隔操作ロボットの遠隔操作によってナビゲート可能な第3のエリアと、地上作業員による現場介入が必要な第4のエリアとにさらに分類される、条項34に記載の遠隔操作ロボット。

条項36．前記スケジュールを決定することは、前記地上作業員の通常の作業スケジュールとの干渉を最小化するようにさらに構成される、条項35に記載の遠隔操作型ロボット。

条項37．前記地上作業員による現場介入は、第4エリアを第1エリア又は第3エリアにするために、第4エリアの環境を修正することと、第4のエリアから物体を取り除くこと、第4のエリアの一部の地形を滑らかにすることと、第4のエリア内の物体を別の場所に移動させることと、第4のエリアの一部に紫外線可視塗料を吹き付けることと、第4のエリア内の障害物が取り除かれる領域を広げることと、第4のエリア内の既知の障害物の近くの動作マージンを広げることと、第4のエリアの一部に修理のフラグを立てることと、第4のエリアの一部に付属タスクのフラグを立てることと、又は、それらの組み合わせを含む条項35に記載の遠隔操作ロボット。

条項38．前記命令は、さらに、前記プロセッサに、次のことを行わせる：前記遠隔操作ロボットが前記第1のエリアでプロパティメンテナンスを自律的に実行することを可能にするために、前記第1のエリアの座標を前記遠隔操作ロボットに送信する、条項34に記載の遠隔操作ロボット。

条項39．前記空撮画像は、光学画像、LIDARデータ、又は超音波センサデータのうちの少なくとも1つを含む、条項34に記載の遠隔操作型ロボット。

条項40．前記関心領域を分類することは、前記関心領域内の前記遠隔操作ロボットの動作経路を決定することと、前記空撮画像に基づいて、前記関心領域内の前記遠隔操作ロボットの動作を阻害する障害物の数、前記関心領域内の単位面積当たりの障害物の密度、前記関心領域内の障害物の大きさ、障害物の種類、及び関心領域内の障害物の互いの位置のうちの1つ以上を決定することとを含む、条項34に記載の遠隔操作ロボット。

条項41．前記命令はさらに、前記プロセッサに、前記空撮画像に基づいて、前記第1のエリアで前記プロパティメンテナンスを自律的に行うための第1の動作経路と、前記第2のエリアで前記プロパティメンテナンスを人間のオペレータによる前記遠隔操作によって行うための第2の動作経路とを決定させる、条項34に記載の遠隔操作型ロボット。

条項42．プロパティのメンテナンスを行うための遠隔操作ロボットであって、プロパティのメンテナンスを行うように構成された1つ以上のアクチュエータを含むツールキットと、遠隔操作ロボットを取り巻く環境を感知するように構成されたセンサを含むセンサモジュールと、プロセッサに結合された非一時的メモリであって、前記非一時的メモリはその上に命令を有し、前記命令は前記プロセッサに以下のことを行わせる。プロパティのメンテナンスのために遠隔操作ロボットが自律的に動作している間に、遠隔操作ロボットのセンサを使用して、遠隔操作ロボットの動作経路にある障害物に関するデータを取得することと、障害物の位置及び分類の一方又は両方が事前に知られているかどうかを判断することと、ここで、コントロールセンタは、遠隔操作ロボットに通信可能に結合されたプロセッサを備え、前記障害物の位置及び分類が事前に知られていないと判定された場合に、前記障害物に関するデータに基づいて、前記障害物を回避しながら前記敷地のメンテナンスされていない領域を保全する代替動作経路を推定できるか否かを判定し、前記代替動作経路を推定できると判定された場合に、前記代替動作経路を推定し、前記代替動作経路を用いて前記遠隔操作ロボットの自律走行を継続することを含む。

条項43．前記命令はさらに、前記プロセッサに、前記コントロールセンタにおいて、前記代替動作経路が計画できないと判断されたときに、前記障害物が取り外し可能であるかどうかを判断し、前記コントロールセンタにおいて、前記障害物が取り外し可能であると判断されたときに、前記障害物を手動で除去するプロセスを開始させる、条項42に記載の遠隔操作ロボット。

条項44．前記命令は、前記プロセッサに、前記コントロールセンタにおいて、前記障害物に関連するデータに基づいて前記代替動作経路が推定できないと判断された場合に、前記遠隔操作ロボットの制御を人間の遠隔操作者に委ねることをさらに行わせる、条項42に記載の遠隔操作ロボット。

J. さらなる検討

上述の説明は、当業者が本明細書に記載された様々な構成を実施できるようにするために提供されている。対象技術は、様々な図及び構成を参照して特に説明されてきたが、これらは説明のためのものであり、対象技術の範囲を限定するものと見なされるべきではないことを理解すべきである。

対象技術を実装する方法は他にもたくさんあるかもしれない。本明細書に記載されている様々な機能及び要素は、対象技術の範囲から逸脱することなく、図示されているものとは異なる方法で分割されてもよい。これらの構成に対する様々な変更は、当業者には容易に明らかになるであろうし、本明細書で定義された一般的な原理は、他の構成に適用することができる。このように、当業者であれば、対象技術の範囲を逸脱することなく、対象技術に多くの変更や修正を加えることができる。

開示されたプロセスにおけるステップの特定の順序又は階層は、例示的なアプローチの例示であることが理解されている。デザインの好みに基づいて、プロセスにおけるステップの特定の順序又は階層は、再配置されてもよいことが理解される。いくつかのステップは、同時に実行されてもよい。添付の方法クレームは、サンプルの順序で様々なステップの要素を提示しており、提示された特定の順序又は階層に限定されることを意図していない。

いくつかの実施形態では、本明細書のいずれかの節は、独立節のいずれか1つ又は従属節のいずれか1つに依存してもよい。一態様では、条項のいずれか（例えば、従属条項又は独立条項）は、他の1つ以上の条項（例えば、従属条項又は独立条項）と組み合わせてもよい。一態様では、請求項は、節、文、句、又は段落に記載された単語（例えば、ステップ、操作、手段、又は構成要素）の一部又はすべてを含んでもよい。ある局面では、請求項は、1つ以上の節、文、フレーズ、又は段落に記載されている単語の一部又は全部を含んでもよい。ある局面では、節、文、句、又は段落のそれぞれに含まれる単語の一部が削除されてもよい。ある局面では、節、文、フレーズ、又は段落に、追加の単語又は要素が加えられてもよい。ある局面では、対象技術は、本明細書に記載された構成要素、エレメント、機能又は操作の一部を利用せずに実施されてもよい。ある局面では、対象技術は、追加のコンポーネント、要素、機能、又は操作を利用して実装されてもよい。

単数形の「a」、「an」、及び「the」は、文脈が明らかにそうでないことを指示しない限り、複数の参照語を含む。したがって、例えば、「a plunger component」への言及は、1つ又は複数のプランジャーコンポーネントへの言及を含み、「the magnet」への言及は、1つ又は複数の磁石への言及を含む。

1つ以上の態様において、「約」、「実質的に」、及び「約」という用語は、それらの対応する用語及び／又は項目間の相対性について、1％未満から5％など、業界で受け入れられている許容範囲を提供することができる。

本明細書では、「実質的に」という用語は、作用、特性、性質、状態、構造、項目、又は結果の完全又はほぼ完全な範囲又は程度を意味する。

範囲のフォーマットは、単に便宜上、簡潔にするために使用されており、したがって、範囲の限界として明示的に記載されている数値だけでなく、各数値及びサブレンジが明示的に記載されているかのように、その範囲内に包含されるすべての個々の数値又はサブレンジを含むように、柔軟に解釈されるべきであることを理解する必要があります。例として、「約0.5～10cm」という数値範囲は、明示的に記載されている約0.5cm～約10.0cmの値だけでなく、示された範囲内の個々の値やサブレンジも含むと解釈すべきである。したがって、この数値範囲には、2、5、7などの個々の値や、2から8、4から6などのサブレンジも含まれます。これは、数値が1つだけの範囲についても同様です。さらに、このような解釈は、範囲の広さや記述されている特性に関係なく適用されるべきである。

特に定義されていない限り、本明細書で使用されているすべての技術的及び科学的用語は、本開示が属する技術分野の通常の技術者に一般的に理解されているものと同じ意味を持つ。本開示の実施又は試験には、本明細書に記載されたものと同様又は同等の任意の方法、装置、及び材料を使用することができるが、代表的な方法、装置、及び材料を以下に記載する。

単数形の要素への言及は、特に明記されていない限り、"1つだけ "という意味ではなく、"1つ以上 "という意味である。男性形（例えば、his）の代名詞は、女性形及び中性形（例えば、her及びits）を含み、その逆もまた同様である。また、「some」とは1つ以上のことを指します。下線及び／又はイタリック体の見出し及び小見出しは、便宜上のみ使用されており、対象技術を限定するものではなく、対象技術の説明の解釈に関連して参照されることはない。本開示を通して記載された様々な構成の要素に対する、当業者に知られている、又は後に知られるようになる構造的及び機能的な同等物は、参照することにより本明細書に明示的に組み込まれ、対象技術に包含されることを意図しています。さらに、本明細書に開示されているものは、そのような開示が上記の説明に明示的に記載されているかどうかにかかわらず、公衆に捧げられることを意図していない。

本明細書に記載されている技術は、特定の方法で実装されると具体的に記載されていない限り、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装することができる。また、モジュール又はコンポーネントとして記述された任意の機能は、統合された論理デバイスに一緒に実装されてもよいし、離散的だが相互運用可能な論理デバイスとして別々に実装されてもよい。ソフトウェアで実装される場合、技術は、実行されると上述の方法の1つ又は複数を実行する命令を含む非一時的なプロセッサ読み取り可能な記憶媒体によって、少なくとも部分的に実現されてもよい。

非一過性のプロセッサ可読記憶媒体は、SDRAM（synchronous dynamic random access memory）などのランダムアクセスメモリ（RAM）、ROM（read only memory）、NVRAM（non-volatile random access memory）、EEPROM（electrical erasable programmable read-only memory）、FLASHメモリ、その他の既知の記憶媒体などで構成されていてもよい。本技術は、追加的に、又は代替的に、命令又はデータ構造の形態でコードを搬送又は通信し、コンピュータ又は他のプロセッサによってアクセス、読み取り、及び／又は実行可能なプロセッサ読み取り可能な通信媒体によって、少なくとも部分的に実現されてもよい。例えば、電子メールの送受信や、インターネットやLANなどのネットワークへのアクセスに使用されるような、コンピュータで読み取り可能な電子データを搬送するために搬送波を採用してもよい。この構成には、請求項に記載された主題の範囲や精神から逸脱することなく、多くの変更を加えることができる。

詳細な説明には多くの具体的な内容が含まれているが、これらは対象技術の範囲を限定するものと解釈されるべきではなく、単に対象技術の異なる例や側面を示すものと解釈されるべきである。対象技術の範囲には、上記で詳細に説明していないいくつかの実施形態が含まれることを理解すべきである。本開示の範囲から逸脱することなく、本明細書に開示された対象技術の方法及び装置の配置、動作、及び詳細において、様々な他の修正、変更、及びバリエーションを行うことができる。別段の表現がない限り、単数形の要素への言及は、明示的に述べられていない限り、"1つだけ "を意味するものではなく、"1つ以上 "を意味するものである。さらに、本開示の範囲に包含されるために、装置又は方法が、本開示の異なる実施形態によって解決可能なすべての問題に対処する（又は達成可能なすべての利点を有する）ことは必要ではない。本明細書における「can」及びその派生語の使用は、肯定的な能力とは対照的に、「possibly」又は「optionally」の意味で理解されるものとする。

Claims (22)

1. プロパティのメンテナンスのために遠隔操作ロボットを操作する方法であって、
   コントロールセンタで、無人航空機（UAV）を使用して得られたプロパティの空撮画像を受信すること；ここで前記コントロールセンタは、前記UAV及び前記遠隔操作ロボットと通信可能に結合されており、プロセッサを備えている、
   前記コントロールセンタにおいて、空撮画像に基づいて、プロパティメンテナンスを行うべきプロパティ内の関心領域を決定すること；
   前記コントロールセンタにおいて、前記空撮画像に基づいて、前記関心領域を、前記遠隔操作ロボットが自律的にナビゲート可能な第1の領域と、前記遠隔操作ロボットが自律的にナビゲートできない第2の領域とに分類すること；
   前記コントロールセンタにおいて、前記第1のエリアと前記第2のエリアの相対的な大きさに基づいて、前記遠隔操作ロボットが前記関心領域において前記プロパティメンテナンスを行うための動作のスケジュールを決定すること；ここで、前記スケジュールは、前記プロパティメンテナンスを行うために費やす労働時間及び総時間を最小化するように構成される、
   決められた前記動作のスケジュールに沿って、前記プロパティメンテナンスを行うこと；を含む方法。
2. 請求項1に記載の方法であって、前記第2エリアを、前記遠隔操作ロボットの遠隔操作によりナビゲート可能な第3エリアと、地上作業員による現場介入が必要な第4エリアとにさらに分類する方法。
3. 請求項2に記載の方法であって、前記スケジュールを決定することは、地上作業員の通常の作業スケジュールとの干渉を最小限にするようにさらに構成される方法。
4. 請求項2に記載の方法であって、地上作業員による前記現場介入は、第4のエリアを第1のエリア又は第3のエリアにするために、第4のエリアの環境を修正すること、前記第4のエリアから物体を取り除くこと、前記第4のエリアの一部の地形を滑らかにすること、前記第4のエリア内の物体を別の場所に移動させること、前記第4のエリアの一部に紫外線可視塗料を吹き付けること、前記第4のエリア内の障害物が取り除かれる領域を広げること、前記第4のエリア内の既知の障害物付近の動作マージンを広げること、前記第4のエリアの一部に修理のフラグを立てること、前記第4のエリアの一部にアクセサリ作業のフラグを立てること、又はこれらの組み合わせを含む方法。
5. 請求項1に記載の方法であって、
   前記遠隔操作ロボットが自律的に前記第1のエリアのプロパティメンテナンスを行うために、前記第1のエリアの座標を前記コントロールセンタから前記遠隔操作ロボットに送信するステップをさらに含む方法。
6. 請求項1に記載の方法であって、前記空撮画像は、光学画像、LIDARデータ、又は超音波センサデータの少なくとも1つからなる方法。
7. 請求項1に記載の方法であって、前記関心領域を分類することは、前記関心領域内の遠隔操作ロボットの動作経路を決定すること；
   前記空撮画像に基づいて、前記関心領域内で前記遠隔操作ロボットの動作を阻害する障害物の数、前記関心領域内の単位面積当たりの障害物の密度、前記関心領域内の障害物の大きさ、障害物の種類、及び前記関心領域内の障害物の相対的な位置のうちの1つ又は複数を決定すること；を含む方法。
8. 請求項1に記載の方法であって、前記コントロールセンタにおいて、前記空撮画像に基づいて、前記第1のエリアで前記プロパティのメンテナンスを自律的に行うための第1の動作経路と、前記第2のエリアで前記プロパティのメンテナンスを人間の操作者による前記遠隔操作によって行うための第2の動作経路とを決定することをさらに含む方法。
9. プロパティメンテナンスのための遠隔操作ロボットであって
   プロパティメンテナンスを行うように構成された1つ又は複数のアクチュエータを含むツールキットと；
   前記遠隔操作ロボットの周囲の環境を感知するように構成されたセンサを含むセンサモジュールと；
   プロセッサに結合された非一時的メモリであって、該非一時的メモリはそこに命令を有し、該命令は該プロセッサに以下を行わせる：
   プロパティのメンテナンスのための前記遠隔操作ロボットの動作中に、前記遠隔操作ロボットのセンサを用いて前記遠隔操作ロボットの動作経路で検出された障害物に関するデータを受信すること；ここで、前記コントロールセンタは、前記遠隔操作ロボットと通信可能に結合されたプロセッサを備える、
   前記障害物に関連するデータに基づいて、前記障害物を回避する経路を推定できるかどうかを判断すること；
   前記障害物を回避する経路を推定できないと判断した場合に、無人航空機（UAV）の飛行を開始すること；ここで、前記UAVの飛行経路は、前記遠隔操作ロボットの動作経路からの逸脱を最小限に抑えつつ、前記障害物を回避する経路の推定を可能にするために、前記障害物を囲む領域の空撮画像を取得するように構成されることを含む遠隔操作ロボット。
10. 請求項9に記載の遠隔操作ロボットであって、前記空撮画像は、光学画像、LIDARデータ、又は、超音波センサデータの少なくとも1つからなる遠隔操作ロボット。
11. 請求項9に記載の遠隔操作ロボットであって、障害物を回避する経路を推定できるかどうかを判断することは、
    前記障害物の位置と分類の一方又は両方が事前に知られているかどうかを判断こと；
    前記障害物の位置及び分類が事前に知られていないと判断した場合に、前記障害物に関するデータに基づいて、前記障害物を囲む境界ボックスを推定できるかどうかを判断すること；
    前記障害物に関するデータに基づいて境界ボックスを推定できると判断した場合に、前記障害物に関するデータに基づいて前記障害物を回避する経路を推定できると判断すること；
    前記障害物に関するデータに基づいて境界ボックスを推定できないと判断した場合、前記障害物に関するデータに基づいて前記障害物を回避する経路を計画することができないと判断すること；を含む遠隔操作ロボット。
12. 請求項11に記載の遠隔操作ロボットであって、前記命令はさらに
    前記障害物を回避する経路を推定できると判断した場合、前記動作経路からの偏差を最小化する代替動作経路を推定することを前記プロセッサに行わせる遠隔操作ロボット。
13. 請求項11に記載の遠隔操作ロボットであって、前記命令はさらに、前記代替動作経路の決定時に、前記代替動作経路を用いた前記遠隔操作ロボットの自律動作を継続させることを前記プロセッサに行わせる遠隔操作ロボット。
14. 請求項9に記載の遠隔操作ロボットであって、前記命令はさらに、
    前記障害物に関連するデータと前記空撮画像に基づいて、境界ボックスを推定できるかどうかを判断すること；
    障害物に関するデータと航空写真に基づいて境界ボックスを推定できると判断した場合に、障害物を回避する経路を推定できると判断すること；
    前記コントロールセンタにおいて、前記障害物と前記空撮画像に関するデータに基づいて前記境界ボックスを推定できないと判断した場合に、前記障害物を回避する経路を推定できないと判断し、前記遠隔操作ロボットの制御を人間の遠隔操作者に委ねること；を前記プロセッサに行わせる遠隔操作ロボット。
15. 請求項14に記載の遠隔操作ロボットであって、前記命令はさらに、前記障害物を回避する経路を推定できると判断した場合、前記コントロールセンタにおいて、前記動作経路からの偏差を最小化する代替動作経路を推定することを前記プロセッサに行わせる遠隔操作ロボット。
16. 請求項14に記載の遠隔操作ロボットであって、前記命令はさらに、前記代替動作経路の決定時に、前記代替動作経路を用いた前記遠隔操作ロボットの自律動作を継続させることを前記プロセッサに行わせることを遠隔操作ロボット。
17. 請求項9に記載の遠隔操作ロボットであって、前記UAVは前記遠隔操作ロボットにテザー接続されている遠隔操作ロボット。
18. 請求項9に記載の遠隔操作ロボットであって、前記空撮画像は、前記プロパティの3次元（3D）幾何学的に補正された合成地図からなる遠隔操作ロボット。
19. 請求項18に記載の遠隔操作ロボットであって、前記命令はさらに、
    3次元幾何学的に補正されたコンポジットマップを遠隔操作ロボットに送信すること；
    前記3次元幾何学的に補正された合成地図に基づいて、敷地内の固定障害物に対する遠隔操作ロボットの位置と距離をリアルタイムに推定すること；をプロセッサに行わせる遠隔操作ロボット。
20. プロパティのメンテナンスのために遠隔操作ロボットを操作する方法であって、
    前記遠隔操作ロボットが前記プロパティのメンテナンスのために自律的に動作している間に、前記遠隔操作ロボットのセンサを用いて、前記遠隔操作ロボットの動作経路にある障害物に関するデータを取得すること;
    コントロールセンタにおいて、障害物の位置及び分類の一方又は両方が以前に知られていたかどうかを判断すること；ここで、前記コントロールセンタは、遠隔操作ロボットに通信可能に結合されたプロセッサを備える。
    前記障害物の位置及び分類が事前に知られていないと判断された場合に、前記障害物に関するデータに基づいて、前記障害物を回避しつつ前記敷地のメンテナンスされていない領域を保全する前記代替運転経路を推定できるか否かを前記コントロールセンタで判断すること；
    前記コントロールセンタにおいて、前記代替動作経路を推定できると判断した場合に、前記代替動作経路を推定すること；
    前記代替動作経路を用いて遠隔操作ロボットの自律動作を継続すること；を含む方法。
21. 請求項20に記載の方法であって、
    前記コントロールセンタにおいて、前記代替動作経路が計画できないと判断された場合に、前記障害物が取り外し可能であるかどうかを判断すること；
    前記コントロールセンタにおいて、前記障害物が除去可能であると判断された場合、前記障害物を手動で除去するプロセスを開始すること；をさらに含む方法。
22. 請求項20に記載の方法であって
    前記障害物に関するデータに基づいて前記代替動作経路を推定できないと判断した場合に、前記コントロールセンタにおいて、前記遠隔操作ロボットの制御を人間の遠隔操作者に委ねることをさらに含む方法。
    
    

Images