JP2022543193A - 移動ロボットのナビゲーション - Google Patents

Abstract

【課題】 簡単かつ直感的にナビゲートを可能とすることである。【解決手段】 ロボット（３００）を制御するための方法（１７００）は、少なくとも１つのイメージセンサ（３４４）から画像データ（３４２）を受信することを含む。画像データはロボットの周囲の環境（３０１）に対応する。この方法は、画像データに基づいて環境のシーン（２２２）を表示し、シーン内のピクセル位置（２２４）の選択を示す入力指示を受信するように構成されるグラフィカルユーザインタフェース（２２１）を実行することも含む。この方法は、ピクセル位置の選択に基づいてポインティングベクトルを決定することも含む。ポインティングベクトルは、環境内でロボットをナビゲートするための移動方向を表す。この方法は、ロボットにウェイポイントコマンドを伝送することも含む。ウェイポイントコマンドはロボットによって受信されると、標的位置までロボットをナビゲートさせる。標的位置は、ロボットのポインティングベクトルと地形推定との交点に基づく。【選択図】 図１

Description

技術分野
[0001] 本開示は移動ロボットをナビゲートすることに関する。

背景
[0002] 技術が進歩するにつれ、ユーザを支援し得る様々な機能を行うための様々な種類のロボット装置が作成されている。ロボット装置はとりわけ材料の管理、輸送、溶接、組み立て、及び供給を含む応用に使用され得る。時が経つにつれ、これらのロボットシステムが動作する方法はより知的、効率的、及び直感的になっている。現代生活の様々な側面においてロボットシステムがますます普及するにつれ、人が動作させナビゲートするのにロボットシステムが簡単であること及び直感的であることが望ましい。

概要
[0003] 本開示の一態様は、ロボットを制御するための方法を提供する。この方法は、オペレータ装置のデータ処理ハードウェアにおいて少なくとも１つのイメージセンサから画像データを受信することを含む。画像データはロボットの周囲の環境に対応する。この方法は、オペレータ装置の画面上に表示するためのグラフィカルユーザインタフェース（ＧＵＩ）をデータ処理ハードウェアによって実行することも含む。ＧＵＩは、画像データに基づいてロボットの周囲の環境のシーンを表示し、ロボットの周囲の環境のシーン内のピクセル位置の選択を示す入力指示を受信するように構成される。この方法は、ピクセル位置の選択に基づいてポインティングベクトルＶをデータ処理ハードウェアによって決定することも含む。ポインティングベクトルは、環境内でロボットをナビゲートするための移動方向を表す。この方法は、ロボットにウェイポイントコマンドＷをデータ処理ハードウェアによって伝送することも含む。ウェイポイントコマンドＷはロボットによって受信されると、標的位置Ｔまでロボットをナビゲートさせる。標的位置は、ロボットのポインティングベクトルＶと地形推定Ｇとの交点に基づく。地形推定Ｇは地表面推定を含み得る。簡単にするために、本開示では「地形推定」を「地表面推定」と呼ぶ。

[0004] 本開示の実装形態は、以下の任意選択的特徴の１つ又は複数を含み得る。一部の実装形態では、ロボットの周囲の環境のシーンが、画像データに基づく環境の前方シーンであって、画像データはロボット上に配置される左前カメラ及び右前カメラによって捕捉される、前方シーン、画像データに基づく環境の左側シーンであって、画像データはロボット上に配置される左側カメラによって捕捉される、左側シーン、画像データに基づく環境の右側シーンであって、画像データは移動ロボット上に配置される右側カメラによって捕捉される、右側シーン、画像データに基づく環境の後方シーンであって、後方シーンはロボット上に配置される後方カメラによって捕捉される、後方シーン、又は画像データに基づくロボットの下向きシーンであって、画像データはペイロードカメラ、左前カメラ、右前カメラ、左側カメラ、右側カメラ、及び後方カメラによって捕捉される、下向きシーンのうちの何れか１つを含む。

[0005] 一部の例では、この方法は、ポインティングベクトルと地形推定との交点がロボットの前にあるかどうかをデータ処理ハードウェアによって決定すること、及びポインティングベクトルと地形推定との交点がロボットの前にある場合はその交点を標的位置としてデータ処理ハードウェアによって識別することをさらに含む。これらの例では、この方法は、ポインティングベクトルと地形推定との交点がロボットの背後にある場合、データ処理ハードウェアによって交点を反射してロボットの前の反射交点を決定すること、及びその反射交点を標的位置としてデータ処理ハードウェアによって識別することをさらに含み得る。加えて又は或いは、これらの例ではこの方法が、標的位置として交点を識別する前に、ロボットの現在位置とポインティングベクトル及び地形推定間の交点との間の第１の距離が閾値距離を満たさないことをデータ処理ハードウェアによって決定すること、及び移動済み交点を形成するためにデータ処理ハードウェアによってロボットにより近い中間位置に交点を移動することをさらに含むことができ、ロボットの現在位置と移動済み交点との間の第２の距離は閾値距離を満たす。

[0006] ロボットは、標的位置が障害物の背後にあるかどうかを決定するように構成され得る。ここでは、標的位置が障害物の背後にない場合は標的位置まで自律的にナビゲートするようにロボットが構成される。しかし標的位置が障害物の背後にある場合、障害物を回避することが可能かどうかを決定し、障害物を回避することが可能である場合は障害物を回避し標的位置までロボットを自律的にナビゲートするようにロボットが構成される。加えて、標的位置が障害物の背後にあり障害物を回避することが不可能である場合、標的位置までロボットが自律的にナビゲートされるのを妨げるようにロボットがさらに構成され得る。

[0007] 一部の実装形態では、少なくとも１つのイメージセンサが１つ又は複数の魚眼カメラ及び１つ又は複数の赤外線カメラを含む。少なくとも１つのイメージセンサはロボット上に配置することができ、オペレータ装置がネットワークによってイメージセンサと通信し得る。

[0008] 一部の例では、グラフィカルユーザインタフェースが、グラフィカルユーザインタフェース内に表示されている現在のシーンから離れる方向にロボットの周囲の環境の視野を旋回させるための旋回入力を受信し、現在のシーンから離れる方向にロボットの周囲の環境の視野を旋回させることによってプレビューシーンを表示するようにさらに構成される。グラフィカルユーザインタフェースは、ロボットによる物理的な動きを必要とすることなしにプレビューシーンを表示するように構成することができ、及び／又はグラフィカルユーザインタフェース内に表示される旋回グラフィックの選択を示す入力指示を受信することに応答して旋回入力を受信するように構成することができる。さらなる例では、現在のシーンから離れる方向にロボットの周囲の環境の視野を旋回させることが、現在のシーンから離れる方向に及びプレビューシーンの方向にロボットがターン操作を行うことをシミュレートする。

[0009] 本開示の別の態様は、ロボットを動作させるためのシステムを提供する。このシステムは、データ処理ハードウェア及びデータ処理ハードウェアと通信するメモリハードウェアを含む。メモリハードウェアは、データ処理ハードウェア上で実行されるとき、少なくとも１つのイメージセンサから画像データを受信することを含む操作をデータ処理ハードウェアに実行させる命令を記憶する。画像データはロボットの周囲の環境に対応する。この操作は、オペレータ装置の画面上で表示するためのグラフィカルユーザインタフェース（ＧＵＩ）を実行することも含む。ＧＵＩは、画像データに基づいてロボットの周囲の環境のシーンを表示し、ロボットの周囲の環境のシーン内のピクセル位置の選択を示す入力指示を受信するように構成される。この操作は、ピクセル位置の選択に基づいてポインティングベクトルＶを決定することも含む。ポインティングベクトルは、環境内でロボットをナビゲートするための移動方向を表す。この操作は、ロボットにウェイポイントコマンドＷを伝送することも含む。ウェイポイントコマンドＷはロボットによって受信されると、標的位置Ｔまでロボットをナビゲートさせる。標的位置は、ロボットのポインティングベクトルＶと地形推定Ｇとの交点に基づく。

[0010] 本開示の実装形態は以下の任意選択的特徴の１つ又は複数を含み得る。一部の実装形態では、ロボットの周囲の環境のシーンが、画像データに基づく環境の前方シーンであって、画像データはロボット上に配置される左前カメラ及び右前カメラによって捕捉される、前方シーン、画像データに基づく環境の左側シーンであって、画像データはロボット上に配置される左側カメラによって捕捉される、左側シーン、画像データに基づく環境の右側シーンであって、画像データは移動ロボット上に配置される右側カメラによって捕捉される、右側シーン、画像データに基づく環境の後方シーンであって、後方シーンはロボット上に配置される後方カメラによって捕捉される、後方シーン、又は画像データに基づくロボットの下向きシーンであって、画像データはペイロードカメラ、左前カメラ、右前カメラ、左側カメラ、右側カメラ、及び後方カメラによって捕捉される、下向きシーンのうちの何れか１つを含む。

[0011] 一部の例では、この操作は、ポインティングベクトルと地形推定との交点がロボットの前にあるかどうかを決定すること、及びポインティングベクトルと地形推定との交点がロボットの前にある場合はその交点を標的位置として識別することをさらに含む。これらの例では、この操作は、ポインティングベクトルと地形推定との交点がロボットの背後にある場合、交点を反射してロボットの前の反射交点を決定すること、及びその反射交点を標的位置として識別することをさらに含み得る。加えて又は或いは、これらの例ではこの操作が、標的位置として交点を識別する前に、ロボットの現在位置とポインティングベクトル及び地形推定間の交点との間の第１の距離が閾値距離を満たさないことを決定すること、及び移動済み交点を形成するためにロボットにより近い中間位置に交点を移動することをさらに含むことができ、ロボットの現在位置と移動済み交点との間の第２の距離は閾値距離を満たす。

[0012] ロボットは、標的位置が障害物の背後にあるかどうかを決定するように構成され得る。ここでは、標的位置が障害物の背後にない場合は標的位置まで自律的にナビゲートするようにロボットが構成される。しかし標的位置が障害物の背後にある場合、障害物を回避することが可能かどうかを決定し、障害物を回避することが可能である場合は障害物を回避し標的位置までロボットを自律的にナビゲートするようにロボットが構成される。加えて、標的位置が障害物の背後にあり障害物を回避することが不可能である場合、標的位置までロボットが自律的にナビゲートされるのを妨げるようにロボットがさらに構成され得る。ロボットは四足ロボットを含み得る。

[0013] 一部の実装形態では、少なくとも１つのイメージセンサが１つ又は複数の魚眼カメラ及び１つ又は複数の赤外線カメラを含む。少なくとも１つのイメージセンサはロボット上に配置することができ、オペレータ装置がネットワークによってイメージセンサと通信し得る。

[0014] 一部の例では、グラフィカルユーザインタフェースが、グラフィカルユーザインタフェース内に表示されている現在のシーンから離れる方向にロボットの周囲の環境の視野を旋回させるための旋回入力を受信し、現在のシーンから離れる方向にロボットの周囲の環境の視野を旋回させることによってプレビューシーンを表示するようにさらに構成される。グラフィカルユーザインタフェースは、ロボットによる物理的な動きを必要とすることなしにプレビューシーンを表示するように構成することができ、及び／又はグラフィカルユーザインタフェース内に表示される旋回グラフィックの選択を示す入力指示を受信することに応答して旋回入力を受信するように構成することができる。さらなる例では、現在のシーンから離れる方向にロボットの周囲の環境の視野を旋回させることが、現在のシーンから離れる方向に及びプレビューシーンの方向にロボットがターン操作を行うことをシミュレートする。

[0015] 本開示の別の態様は、移動ロボットをナビゲートするための方法を提供する。この方法は、移動ロボット上のカメラによって捕捉されるロボット環境のシーン内のピクセル位置をデータ処理ハードウェアにおいて受信すること、及びそのピクセル位置及びカメラの較正情報からポインティングベクトルをデータ処理ハードウェアによって決定することを含む。受信されるピクセル位置は移動ロボットのオペレータによって選択される。この方法は、データ処理ハードウェアによって移動ロボットのポインティングベクトルを地形推定と組み合わせて交点を形成することをさらに含む。交点はロボット環境内の物理的位置を含む。この方法は、データ処理ハードウェアによって移動ロボットに物理的位置を伝送し、ロボット環境内の物理的位置に移動ロボットをナビゲートさせることをさらに含む。

[0016] 本開示の実装形態は以下の任意選択的特徴の１つ又は複数を含み得る。一部の実装形態では、シーンがｉ）移動ロボット上の左前カメラ及び右前カメラによって捕捉されるロボット環境の前方シーン、ｉｉ）移動ロボット上の左側カメラによって捕捉されるロボット環境の左側シーン、ｉｉｉ）移動ロボット上の右側カメラによって捕捉されるロボット環境の右側シーン、ｉｖ）移動ロボット上の後方カメラによって捕捉されるロボット環境の後方シーン、及びｖ）移動ロボットの上部に配置される仮想カメラによって捕捉されるロボット環境の下向きシーンの何れか１つである。

[0017] この方法の一部の例では、ポインティングベクトルを地形推定と組み合わせて交点を形成することが、移動ロボットと交点との間の距離が移動ロボットの距離閾値を上回るかどうかをデータ処理ハードウェアによって決定することを含む。この方法のこれらの例は、距離が移動ロボットの距離閾値を上回る場合、移動済み交点を形成するためにデータ処理ハードウェアによって交点を移動ロボットに近づけることをさらに含み、それにより移動ロボットと移動済み交点との間の短縮された距離が距離閾値以下になる。

[0018] この方法の他の例では、ポインティングベクトルを地形推定と組み合わせて交点を形成することは、交点が移動ロボットの背後にあるかどうかをデータ処理ハードウェアによって決定することを含む。この方法のこれらの例は、交点が移動ロボットの背後にある場合、データ処理ハードウェアによって移動ロボットの前に交点を反射して反射交点を形成することをさらに含む。ここでは、反射交点は移動ロボットのナビゲート先であるロボット環境内の別の物理的位置を含む。任意選択的に、この方法の他の一部の例は、移動ロボットと反射交点との間の距離が移動ロボットの距離閾値を上回るかどうかをデータ処理ハードウェアによって決定することをさらに含む。この方法のこれらの他の例は、距離が移動ロボットの距離閾値を上回る場合、移動済み交点を形成するためにデータ処理ハードウェアによって反射交点を移動ロボットに近づけることをさらに含み、それにより移動ロボットと移動済み交点との間の短縮された距離が移動ロボットの距離閾値以下になる。

[0019] この方法の一部の例では、ロボット環境のシーンが、移動ロボット上の第１のカメラによって捕捉されるロボット環境の第１のシーン及びロボット環境の第１のシーンと異なるロボット環境の少なくとも１つの第２のシーンを含む。移動ロボット上の少なくとも１つの第２のカメラによって捕捉されるロボット環境の少なくとも１つの第２のシーンは、移動ロボット上の第１のカメラと異なる。これらの例では、この方法が、ロボット環境の少なくとも１つの第２のシーンと共にロボット環境の第１のシーンをデータ処理ハードウェアによって表示することをさらに含む。この方法は、オペレータがロボット環境の第１のシーンとロボット環境の少なくとも１つの第２のシーンとを変更することに応じて、移動ロボットがナビゲートする方向をデータ処理ハードウェアによって変更することをさらに含む。

[0020] この方法の他の例ではシーンがロボット環境の一人称ビューであり、この方法が移動ロボットの上部に配置される仮想カメラによって捕捉されるロボット環境の下向きシーンと一緒にシーンをデータ処理ハードウェアによって表示することをさらに含む。この方法は、表示シーンの１つの中のピクセル位置の選択に応じて表示シーンの別のものの中にピクセル位置の選択をデータ処理ハードウェアによってミラーリングすることをさらに含む。

[0021] この方法の一部の例では、ロボット環境内の物理的位置を伝送することが、物理的位置を伴う位置コマンドを移動ロボットに伝送することを含む。任意選択的に、カメラは魚眼カメラ及び２つの赤外線カメラを有し得る。加えて、移動ロボットは４本の脚を有し得る。

[0022] 本開示の別の態様は、移動ロボットをナビゲートするためのシステムを提供する。このシステムは、データ処理ハードウェア及びデータ処理ハードウェアと通信するメモリハードウェアを含む。メモリハードウェアは、データ処理ハードウェア上で実行されるとき、移動ロボット上のカメラによって捕捉されるロボット環境のシーン内のピクセル位置を受信すること、及びそのピクセル位置及びカメラの較正情報からポインティングベクトルを決定することを含む操作をデータ処理ハードウェアに実行させる命令を記憶する。ピクセル位置は移動ロボットのオペレータによって選択される。データ処理ハードウェアによって実行される操作は、移動ロボットのポインティングベクトルを地形推定と組み合わせて交点を形成することをさらに含む。交点はロボット環境内の物理的位置を含む。データ処理ハードウェアによって実行される操作は、移動ロボットに物理的位置を伝送し、ロボット環境内の物理的位置に移動ロボットをナビゲートさせることをさらに含む。

[0023] 本開示の実装形態は以下の任意選択的特徴の１つ又は複数を含み得る。一部の実装形態では、シーンがｉ）移動ロボット上の左前カメラ及び右前カメラによって捕捉されるロボット環境の前方シーン、ｉｉ）移動ロボット上の左側カメラによって捕捉されるロボット環境の左側シーン、ｉｉｉ）移動ロボット上の右側カメラによって捕捉されるロボット環境の右側シーン、ｉｖ）移動ロボット上の後方カメラによって捕捉されるロボット環境の後方シーン、及びｖ）移動ロボットの上部に配置される仮想カメラによって捕捉されるロボット環境の下向きシーンの何れか１つである。

[0024] このシステムの一部の例では、ポインティングベクトルを地形推定と組み合わせて交点を形成する操作が、移動ロボットと交点との間の距離が移動ロボットの距離閾値を上回るかどうかを決定することを含む。この操作は、距離が移動ロボットの距離閾値を上回る場合、移動済み交点を形成するために交点を移動ロボットに近づけることをさらに含み、それにより移動ロボットと移動済み交点との間の短縮された距離が距離閾値以下になる。

[0025] このシステムの他の例では、ポインティングベクトルを地形推定と組み合わせて交点を形成する操作は、交点が移動ロボットの背後にあるかどうかを決定することを含む。この操作は、交点が移動ロボットの背後にある場合、移動ロボットの前に交点を反射して反射交点を形成することをさらに含む。ここでは、反射交点は移動ロボットのナビゲート先であるロボット環境内の別の物理的位置を含む。任意選択的に、このシステムの他の一部の例では、移動ロボットと反射交点との間の距離が移動ロボットの距離閾値を上回るかどうかを決定することをこの操作がさらに含む。この操作は、距離が移動ロボットの距離閾値を上回る場合、移動済み交点を形成するためにデータ処理ハードウェアによって反射交点を移動ロボットに近づけることをさらに含み、それにより移動ロボットと移動済み交点との間の短縮された距離が移動ロボットの距離閾値以下になる。

[0026] このシステムの一部の例では、ロボット環境のシーンが、移動ロボット上の第１のカメラによって捕捉されるロボット環境の第１のシーン及びロボット環境の第１のシーンと異なるロボット環境の少なくとも１つの第２のシーンを含む。移動ロボット上の少なくとも１つの第２のカメラによって捕捉されるロボット環境の少なくとも１つの第２のシーンは、移動ロボット上の第１のカメラと異なる。システムのこれらの例では、操作が、ロボット環境の少なくとも１つの第２のシーンと共にロボット環境の第１のシーンを表示することをさらに含む。この操作は、オペレータがロボット環境の第１のシーンとロボット環境の少なくとも１つの第２のシーンとを変更することに応じて、移動ロボットがナビゲートする方向を変更することをさらに含む。

[0027] このシステムの他の例ではシーンがロボット環境の一人称ビューであり、この操作が移動ロボットの上部に配置される仮想カメラによって捕捉されるロボット環境の下向きシーンと一緒にシーンを表示することをさらに含む。この操作は、表示シーンの１つの中のピクセル位置の選択に応じて表示シーンの別のものの中にピクセル位置の選択をミラーリングすることをさらに含む。

[0028] このシステムの一部の例では、ロボット環境内の物理的位置を伝送する操作が、物理的位置を伴う位置コマンドを移動ロボットに伝送することを含む。任意選択的に、カメラは魚眼カメラ及び２つの赤外線カメラを有し得る。加えて、移動ロボットは４本の脚を有し得る。

[0029] 本開示のさらに別の態様は、移動ロボットを「予旋回」するための方法を提供する。この方法は、移動ロボット上に配置される１つ又は複数の現実のカメラによって捕捉されるロボット環境の前方ビューの実画像をデータ処理ハードウェアにおいて受信することを含む。移動ロボットは前方の姿勢角度にあり、前方向を向いている。この方法は前方の姿勢角度から移動ロボットが右方向又は左方向を向いているターン済みの姿勢角度までターンするとき移動ロボットが旋回するプレビュー角度をデータ処理ハードウェアによって決定することをさらに含む。この方法は、仮想シーンカメラによって投射される仮想的な矩形上の点ごとに、個々の点が実画像内のピクセルに対応するかどうかをデータ処理ハードウェアによって決定すること、及び対応するピクセルを含むプレビューシーンをデータ処理ハードウェアによって表示することをさらに含む。表示されているプレビューシーンは、前方の姿勢角度からターン済みの姿勢角度まで移動ロボットが実際にターンすることなしに、右方向又は左方向にプレビュー角度の分だけターンされるロボット環境のビューである。

[0030] 本開示の実装形態は以下の任意選択的特徴の１つ又は複数を含み得る。一部の実装形態ではこの方法は、仮想的な矩形上の個々の点が実画像内のピクセルに対応する場合、対応するピクセルからの画像色を用いて個々の点にデータ処理ハードウェアによって着色することをさらに含む。この方法は、仮想的な矩形上の個々の点が実画像内の如何なるピクセルにも対応しない場合、データ処理ハードウェアによって個々の点を黒色に着色することをさらに含む。この方法は、着色済みの仮想的な矩形に基づいてプレビューシーンをデータ処理ハードウェアによってレンダリングすることをさらに含む。

[0031] この方法の他の例では、プレビュー角度を決定することが、前方の姿勢角度からターン済みの姿勢角度までターンするように移動ロボットを制御するためにオペレータによって与えられるユーザ入力に対応する仮想速度をデータ処理ハードウェアによって受信することを含む。この方法のこれらの例は、プレビュー角度を生成するためにデータ処理ハードウェアによって仮想速度を経時的に積分することをさらに含む。

[0032] この方法の一部の例は、前方の姿勢角度からターン済みの姿勢角度までターンするように移動ロボットを制御するためにユーザ入力をオペレータが与えることに応じてカウントダウンタイマをデータ処理ハードウェアによって開始することをさらに含む。この方法のこれらの例は、カウントダウンタイマがタイムアウトする前に、オペレータによって与えられるユーザ入力に基づいてロボット環境のビューをターンするプレビュー角度をデータ処理ハードウェアによって継続的に決定することをさらに含む。この方法のこれらの例は、カウントダウンタイマがタイムアウトするとき、プレビュー角度に等しい旋回角度をデータ処理ハードウェアによって移動ロボットに伝送し、前方の姿勢角度からターン済みの姿勢角度までの旋回角度の分だけ移動ロボットをターンさせることをさらに含む。

[0033] この方法の他の例では、ロボット環境の前方ビューの実画像が移動ロボット上に配置される左前カメラ及び右前カメラによって捕捉される。任意選択的に、カメラは魚眼カメラ及び２つの赤外線カメラを有し得る。加えて、移動ロボットは４本の脚を有し得る。

[0034] 本開示のまたさらに別の態様は、移動ロボットを「予旋回」するためのシステムを提供する。このシステムは、データ処理ハードウェア及びデータ処理ハードウェアと通信するメモリハードウェアを含む。メモリハードウェアは、データ処理ハードウェア上で実行されるとき、移動ロボット上に配置される１つ又は複数の現実のカメラによって捕捉されるロボット環境の前方ビューの実画像を受信することを含む操作をデータ処理ハードウェアに実行させる命令を記憶し、移動ロボットは前方の姿勢角度にあり、前方向を向いている。データ処理ハードウェアによって実行される操作は、前方の姿勢角度から移動ロボットが右方向又は左方向を向いているターン済みの姿勢角度までターンするとき移動ロボットが旋回するプレビュー角度を決定することをさらに含む。データ処理ハードウェアによって実行される操作は、仮想シーンカメラによって投射される仮想的な矩形上の点ごとに、個々の点が実画像内のピクセルに対応するかどうかを決定すること、及び対応するピクセルを含むプレビューシーンを表示することをさらに含む。プレビューシーンは、前方の姿勢角度からターン済みの姿勢角度まで移動ロボットが実際にターンすることなしに、右方向又は左方向にプレビュー角度の分だけターンされるロボット環境のビューである。

[0035] 本開示の実装形態は以下の任意選択的特徴の１つ又は複数を含み得る。一部の実装形態ではこの操作は、仮想的な矩形上の個々の点が実画像内のピクセルに対応する場合、対応するピクセルからの画像色を用いて個々の点に着色することをさらに含む。この操作は、仮想的な矩形上の個々の点が実画像内の如何なるピクセルにも対応しない場合、データ処理ハードウェアによって個々の点を黒色に着色することをさらに含む。この操作はさらに、レンダリングハードウェア、着色済みの仮想的な矩形に基づくプレビューシーン。

[0036] このシステムの他の例では、プレビュー角度を決定する操作が、前方の姿勢角度からターン済みの姿勢角度までターンするように移動ロボットを制御するためにオペレータによって与えられるユーザ入力に対応する仮想速度を受信することを含む。このシステムのこれらの例は、プレビュー角度を生成するために仮想速度を経時的に積分することをさらに含む。

[0037] このシステムの一部の例では、前方の姿勢角度からターン済みの姿勢角度までターンするように移動ロボットを制御するためにユーザ入力をオペレータが与えることに応じてカウントダウンタイマを開始することを操作がさらに含む。このシステムのこれらの例では、カウントダウンタイマがタイムアウトする前に、オペレータによって与えられるユーザ入力に基づいてロボット環境のビューをターンするプレビュー角度を継続的に決定することを操作がさらに含む。このシステムのこれらの例では、カウントダウンタイマがタイムアウトするとき、プレビュー角度に等しい旋回角度を移動ロボットに伝送し、前方の姿勢角度からターン済みの姿勢角度までの旋回角度の分だけ移動ロボットをターンさせることを操作がさらに含む。

[0038] このシステムの他の例では、ロボット環境の前方ビューの実画像が移動ロボット上に配置される左前カメラ及び右前カメラによって捕捉される。任意選択的に、カメラは魚眼カメラ及び２つの赤外線カメラを有し得る。加えて、移動ロボットは４本の脚を有し得る。

図面の説明
[0039]ロボットをナビゲートするためのシステムの一例のブロック図である。 [0040]ロボットをナビゲートするためにオペレータによって使用される携帯型装置の一例の概略図である。 [0041]本明細書に記載するシステム及び方法を使用して動作させることができるロボットの一例の概略図である。 [0041]本明細書に記載するシステム及び方法を使用して動作させることができるロボットの一例の概略図である。 [0041]本明細書に記載するシステム及び方法を使用して動作させることができるロボットの一例の概略図である。 [0041]本明細書に記載するシステム及び方法を使用して動作させることができるロボットの一例の概略図である。 [0041]本明細書に記載するシステム及び方法を使用して動作させることができるロボットの一例の概略図である。 [0042]ロボットをナビゲートするためのタッチツーゴーアプリケーションの一例のブロック図である。 [0042]ロボットをナビゲートするためのタッチツーゴーアプリケーションの一例のブロック図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0043]ウェイポイントを決定するためのタッチツーゴーアプリケーションの方法の一例の図である。 [0044]ロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットであり、ロボットは障害物を回避する。 [0044]ロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットであり、ロボットは障害物を回避する。 [0044]ロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットであり、ロボットは障害物を回避する。 [0045]ロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットであり、ロボットは角を曲がる。 [0045]ロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットであり、ロボットは角を曲がる。 [0045]ロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットであり、ロボットは角を曲がる。 [0046]シーンを変更することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0046]シーンを変更することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0046]シーンを変更することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0046]シーンを変更することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0047]複数のシーンからあるシーンを選択することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0047]複数のシーンからあるシーンを選択することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0047]複数のシーンからあるシーンを選択することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0047]複数のシーンからあるシーンを選択することによってロボットの移動方向を変更するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0048]下向きシーンからロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0048]下向きシーンからロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0049]分割スクリーンを使用してロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0049]分割スクリーンを使用してロボットをナビゲートするためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0050]ロボットを「予旋回」するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0050]ロボットを「予旋回」するためにオペレータがタッチツーゴーアプリケーションの一例を使用するスクリーンショットである。 [0051]ロボットを「予旋回」するためのタッチツーゴーアプリケーションの方法の一例のブロック図である。 [0051]ロボットを「予旋回」するためのタッチツーゴーアプリケーションの方法の一例のブロック図である。 [0051]ロボットを「予旋回」するためのタッチツーゴーアプリケーションの方法の一例のブロック図である。 [0051]ロボットを「予旋回」するためのタッチツーゴーアプリケーションの方法の一例のブロック図である。 [0051]ロボットを「予旋回」するためのタッチツーゴーアプリケーションの方法の一例のブロック図である。 [0052]グラフィカルユーザインタフェース上で表示されるシーンの一例である。 [0052]予旋回プロセス中のロボット環境の一例である。 [0052]グラフィカルユーザインタフェース上で表示されるシーンの一例である。 [0052]予旋回プロセス中のロボット環境の一例である。 [0052]グラフィカルユーザインタフェース上で表示されるシーンの一例である。 [0052]予旋回プロセス中のロボット環境の一例である。 [0052]グラフィカルユーザインタフェース上で表示されるシーンの一例である。 [0052]予旋回プロセス中のロボット環境の一例である。 [0053]ロボットをナビゲートする方法に関する操作の構成例のフローチャートである。 [0054]ロボットを予旋回する方法に関する操作の構成例のフローチャートである。 [0055]ロボットを制御する方法に関する操作の構成例のフローチャートである。 [0056]本明細書に記載するシステム及び方法を実装するために使用することができるコンピューティングデバイスの一例の概略図である。

[0057] 様々な図面の中の同様の参照記号は同様の要素を示す。

詳細な説明
[0058] 図１は、ロボット３００をナビゲートするためのシステム１００を示し、オペレータ１０は携帯型装置２００を使用してロボット環境内でロボット３００をナビゲートする。ロボット環境は、ロボット３００が通り抜けることができる何らかの種類の地形に関連する空間領域を一般に指す。例えば地形は、建物、街路、歩道、公園、路地、階段、坂道、トンネル等を有する都市地形、道路、野原、丘、山、洞窟等を有する田園地形、洞窟、トンネル等を有する地下地形、又はその任意の組み合わせを含み得る。

[0059] ロボット３００は、ロボット３００を取り巻くロボット環境に関する情報並びにロボット環境内で動作することに関連する情報を集める。ロボット３００は、ロボット３００によって捕捉されるロボット環境の画像を含むこの情報の一部又は全てを携帯型装置２００に送信する。次いで携帯型装置２００は、ロボット３００が動作しているロボット環境（この例では倉庫の内部）をオペレータ１０が見ることができるようにオペレータ１０に向けて画像を表示する。一部の例では、オペレータ１０がロボット３００の視点からロボット環境を見る。この「一人称」のエクスペリエンスはシステム１００の一定の応用にとって有益であり得る。携帯型装置２００はロボット環境３０１（図２）の画像をユーザインタフェース２２１（図２）上に表示し、オペレータ１０は自身がロボット３００をナビゲートしたいロボット環境３０１内の物理的位置（例えば標的位置Ｔ）に対応する画像内の位置の選択を示すナビゲーション入力（例えばウェイポイントコマンドＷ）を与えることができる。一部の例では、画像内の位置の選択を示すナビゲーション入力（例えばウェイポイントコマンドＷ）は、ロボット環境３０１のシーンがレンダリングされる元となる起源に対応する世界空間内の点として、並びにオペレータ１０によって選択される画像内の位置に対応する世界空間内の方向として携帯型装置２００からロボット３００に送信される。例えば携帯型装置２００は、携帯型装置２００の画面２２０（図２）上でロボット環境の画像を表示するためにグラフィカルユーザインタフェース（ＧＵＩ）２２１を実行することができ、オペレータ１０は標的位置Ｔまでロボット３００をナビゲートするために画像内の位置を触ることによってナビゲーション入力を与えることができる。さらなる例では、オペレータ１０が物理的なボタン、マウス、ジョイスティック、又は他の任意の入力機構によってナビゲーション入力を与える。本明細書で使用するとき、ナビゲーション入力は標的位置Ｔ（例えば物理的位置）に対応する画像を用いた位置の入力指示の選択を指す。

[0060] ナビゲーション入力を受信することに応答し、携帯型装置２００はロボット環境内の標的位置までナビゲートするようロボット３００に指示する位置コマンドをロボット３００に送信する。位置コマンドを受信することに応答して標的位置までナビゲートするとき、ロボット３００は障害物（例えば柱）を回避する又は角を曲がる必要があり得る。ロボット３００は、ロボット環境の制約を所与として標的位置までどのようにナビゲートするのかを計画することができる。一部のシナリオでは、ロボット３００はオペレータ１０によって選択された標的位置まで自らがナビゲートできないと決定し、その場合、携帯型装置２００が（例えばＧＵＩ上で通知を表示すること及び／又は可聴警報を与えることによって）オペレータ１０に知らせることができる。

[0061] ロボット３００が標的位置に向けて移動するとき、ロボット３００に対するロボット環境の特性が（例えば平らな地形から起伏の富んだ地形に）変化し得る。したがってロボット３００は、ロボット環境内の変化を反映する更新済み画像データを含む更新済み環境情報を携帯型装置２００に継続的に又は定期的に送信することができる。標的位置に向けてロボット環境を通り抜ける間のロボット３００の進行状況をオペレータ１０が見られるようにするために、携帯型装置２００は更新済み画像データを表示することができる。

[0062] 一部の実装形態では、標的位置への到着時に標的位置にあるロボット３００を示す目的地画像を表示するように携帯型装置２００が構成される。次いでオペレータ１０は、自身がロボット３００をナビゲートしたいロボット環境内の新たな標的位置に対応する新たなナビゲーション入力を目的地画像内で与えることができる。上記の操作はオペレータ１０がロボット３００のナビゲーションを終える（例えばロボット３００がロボット環境内の最終目的地に到着する）まで繰り返される。

[0063] ロボット３００をナビゲートする際、ロボット環境内でロボット３００をターンさせ、現在の姿勢角度から標的の姿勢角度へと変更する必要があり得る。オペレータ１０は、自身がロボット３００をロボット環境内で現在の姿勢角度から（例えば左又は右に）ターンさせたい標的方向に対応する画像内の方向をクリックする／触る。それに応答し、標的方向に対応する方向にターンされたビューの更新済み画像を携帯型装置２００が表示する。これにより、ロボット３００が現在の姿勢角度から標的の姿勢角度へとターンしている印象をオペレータ１０に与える。標的方向に対応する方向のビューを表示する更新済み画像はロボットを現在の姿勢角度から実際にターンすること／移動させることなしに生じることができ、それによりオペレータ１０が標的の姿勢角度の視点からロボット環境を更新済み画像内で見ることを可能にする。

[0064] 現実には、ロボット３００は如何なるターン操作も直ちに実行せず、そのためロボット３００の実際の姿勢角度はロボット環境内で現在の姿勢角度に固定されたままである。オペレータ１０が方向をクリックする／触るのを止め、標的の姿勢角度において停止するまで携帯型装置２００はビューを旋回し続ける。旋回角度が現在の姿勢角度と標的の姿勢角度とを分ける。

[0065] その後、携帯型装置２００はロボット３００に旋回コマンドを送信することができ、旋回コマンドはオペレータ１０によって設定される旋回角度に基づいてロボット環境内で旋回操作を実行するようロボット３００に命令する。ロボット環境についてのロボット３００のビューを予旋回し、そのビューを携帯型装置２００上で表示することは、ロボット３００がターン操作を実行する前にロボット３００をターンさせた最終結果をオペレータ１０が見ることを可能にする即座のフィードバックをオペレータ１０に与える。オペレータ１０がコマンドを出す時点とロボット３００がそのコマンドを実行する時点との間にレイテンシ又は遅延があるこの「棒と人参（stick and carrot）」の手法はシステム１００の応用において有益であり得る。

[0066] 図２は、ロボット環境の方々にロボット３００をナビゲートするためにオペレータ１０によって使用される携帯型装置２００の一例を示す。携帯型装置２００は、ディスプレイ２２０を有するハウジング２１０及びディスプレイ２２０の周りに位置する複数のコントロール２３０を含む。図示のようにコントロール２３０はハウジング２１０の前端及び上端に位置し、ボタン２３０ａ、コントロールスティック２３０ｂ、方向ｄパッド２３０ｃ、及び上部ボタン２３０ｄを含む。携帯型装置２００の前面にあるコントロール（例えばコントロールスティック２３０ｂ）を操作するようにオペレータ１０の親指が位置し、携帯型装置２００の上端にあるコントロール（例えば上部ボタン２３０ｄ）を操作するようにオペレータ１０の人差し指が位置するように、ハウジング２１０はオペレータ１０の両手で保持されるように形作られる。携帯型装置２００は、オペレータ１０の他の指で操作される位置において、携帯型装置２００の裏側に位置する１つ又は複数の追加のコントロールを含むこともできる。

[0067] ディスプレイ（例えば画面）２２０は、ロボット３００によって捕捉される画像データに基づくロボット環境の画像又はシーン２２２をオペレータ１０に表示する。一部の例では、ディスプレイ２２０がシーン２２２をビデオフィードとして提示する。

[0068] 携帯型装置２００は、処理装置２４０、記憶装置２５０（例えばメモリ装置）、及び通信インタフェース２６０をハウジング２１０内にさらに含む。図示の例では、オペレータ１０が見るためのロボット環境のシーン２２２を提示するために、画面２２０上に表示するためのＧＵＩ２２１を処理装置２４０が実行する。携帯型装置２００は図２に不図示の追加のコンポーネントを含み得る。処理装置２４０は、コンピュータ実行可能命令を実行する１つ又は複数のプロセッサ及びコンピュータ実行可能命令を記憶する関連メモリ（例えばＲＡＭ及び／又はＲＯＭ）を含み得る。処理装置２４０が複数のプロセッサを含む実装形態では、プロセッサは分散式に又は個別式に実行することができる。処理装置２４０は、オペレーティングシステム２４２及びロボット環境内でロボット３００をナビゲートするためのタッチツーゴーアプリケーション４００（図４Ａ）を実行することができる。一部の例では処理装置２４０が他のアプリケーション２４４を実行し、ウェブブラウザ等の他のアプリケーション２４４は携帯型装置２００にとってネイティブでもネイティブでなくてもよく、その全てがコンピュータ可読命令として実装され得る。

[0069] 記憶装置２５０は、１つ又は複数のコンピュータ可読媒体（例えばハードディスクドライブ、ソリッドステートメモリドライブ、及び／又はフラッシュメモリドライブ）を含み得る。記憶装置２５０は、オペレーティングシステム２４２、他のアプリケーション２４４、及びタッチツーゴーアプリケーション４００によって利用される任意の適切なデータを記憶することができる。通信インタフェース２６０は、ロボット環境内のロボット３００と通信するように構成される１つ又は複数の装置を含む。一部の実装形態では、通信インタフェース２６０がネットワークによってロボット３００と通信するように構成される。通信インタフェース２６０は有線通信又は無線通信を行うための１つ又は複数のトランシーバを含み得る。通信インタフェース２６０の例は、これだけに限定されないがIEEE 802.11無線規格を使用して通信を行うように構成されるトランシーバ、イーサネットポート、無線送信機、及びユニバーサルシリアルバス（ＵＳＢ）ポートを含み得る。

[0070] 図３Ａ及び図３Ｂを参照し、ロボット３００は胴部３１０、及びロボット環境内でロボット３００を移動するために胴部３１０に連結されるモビリティシステム３２０を含む。ロボット３００は、センサシステム３４０に通信可能に連結される制御システム３３０をさらに含む。制御システム３３０は、センサシステム３４０によって収集されるデータに基づいてロボット３００がロボット環境内でどのように動くのかを決定する。ロボット３００は、ロボット３００の様々な動作を可能にするための電気的コンポーネント３５０、１つ又は複数の動力源３６０、及び１つ又は複数の通信リンク３７０をまたさらに含む。

[0071] ロボット３００は、胴部３１０内に収納されるデータ処理ハードウェア３１２及びメモリハードウェア３１４も含む。データ処理ハードウェア３１２は、１つ又は複数の汎用プロセッサ又は専用プロセッサ（例えばデジタル信号プロセッサ、特定用途向け集積回路等）として動作することができる。データ処理ハードウェア３１２は、メモリハードウェア３１４内に記憶され、本明細書に記載のロボット３００の動作をもたらすために実行可能なコンピュータ可読プログラム命令３１６を実行するように構成され得る。例えばプログラム命令３１６は制御システム３３０の動作をもたらすために実行可能とすることができ、制御システム３３０はモビリティシステム３２０及び電気的コンポーネント１１６の活性化及び非活性化を引き起こすように構成され得る。データ処理ハードウェア３１２はロボット３００を動作させ、本明細書に記載の機能を含む様々な機能をロボット３００が実行できるようにし得る。図示の例ではロボット３００がデータ処理ハードウェア３１２及びメモリハードウェア３１４を実装するが、データ処理ハードウェア３１２及び／又はメモリはロボット３００及び携帯型装置２００と通信するリモートシステム１９０（図４Ｂ）上にあってもよい。同様に、データ処理ハードウェア３１２及び／又はメモリはロボット３００及びリモートシステム１９０（図４Ｂ）にわたって分散されてもよい。

[0072] メモリハードウェア３１４は様々な種類の記憶媒体として存在し得る。例えばメモリハードウェア３１４は、データ処理ハードウェア３１２によって読み出し可能な又はアクセス可能な１つ又は複数のコンピュータ可読記憶媒体を含むことができ、又はかかるコンピュータ可読記憶媒体の形を取り得る。１つ又は複数のコンピュータ可読記憶媒体は、光学、磁気、有機、又は他のメモリ若しくはディスク記憶域等の揮発性及び／又は不揮発性記憶コンポーネントを含むことができ、かかる記憶コンポーネントはデータ処理ハードウェア３１２と完全に又は部分的に一体化され得る。一部の実装形態では、単一の物理装置（例えば１つの光学、磁気、有機、又は他のメモリ若しくはディスク記憶ユニット）を使用してメモリハードウェア３１４を実装することができる一方、他の実装形態では、有線通信又は無線通信によって通信し得る２つ以上の物理装置を使用してメモリハードウェア３１４を実装することができる。さらに、コンピュータ可読プログラム命令３１６に加え、メモリハードウェア３１４は幾つかある可能性の中で特に診断データ等の追加のデータを含み得る。

[0073] モビリティシステム３２０は、ロボット３００が動作し物理的機能を行うことを可能にし得るロボット３００のハードウェアを表す。幾つかの例として、モビリティシステム３２０はアクチュエータ、伸縮可能な脚（「脚」）、アーム、車輪、及び／又は他の機械的コンポーネントを含み得る。モビリティシステム３２０はロボット３００の設計に依存し得る。さらに、モビリティシステム３２０はロボット３００が実行するように構成される機能及び／又は作業に基づき得る。そのためロボット３００の動作及び機能に応じて、ロボット３００が利用するための様々なモビリティシステムが入手可能であり得る。一部の例では、モビリティシステム３２０のコンポーネントを追加し及び／又は除去するようにロボット３００を構成することができ、それはユーザ及び／又は別のロボット装置からの支援を含み得る。例えばロボット３００は最初に４本の脚で構成され、四足歩行装置として動作し得るが、４本の脚のうちの２本を取り外して２足歩行装置として動作するようにユーザ又はロボット３００によって変更され得る。モビリティシステム３２０の他の例が含まれてもよい。

[0074] 図３Ａに示す例では、モビリティシステム３２０のシステムが胴部３１０に連結される４本の脚３２２を含む。４本の脚３２２のそれぞれは、脚ジョイント３２８によって隔てられる上部分３２４及び下部分３２６を含む。それぞれの脚３２２の下部分３２６は足３２９で終わる。それぞれの脚の足３２９は任意選択的であり、脚３２２の１本又は複数本の下部分３２６の終端は車輪に連結され得る。ロボット３００は重力方向に沿った垂直重力軸Ｖ_ｇ、及びロボット３００の分布質量の加重相対位置の合計がゼロになる点である質量中心ＣＭを有する。一部の例ではＺ軸Ａ_Ｚが垂直重力軸Ｖ_ｇと一致する。ロボット３００は、ロボット３００がとる特定の姿勢又はスタンスを定義するための、垂直重力軸Ｖｇ（すなわち、重力に関する固定参照フレーム）に関するＣＭに基づくポーズＰをさらに有する。ロボット３００の姿勢は、空間内のロボット３００の姿勢角度又は角度位置により定義できる。脚３２２の胴部３１０に関する移動により、ロボット３００のポーズＰ（すなわち、ロボットのＣＭの位置とロボット３００の姿勢又は姿勢角度との組合せ）が変わる。

[0075] 幾つかの実装形態において、ロボット３００は１つ又は複数の付属物をさらに含み、これは例えば胴部３１０上に配置され、胴部３１０に関して移動するように構成された関節腕である。関節腕は、５又はそれ以上の自由度を有し得る。さらに、関節腕は、マニピュレーションアーム又は単に付属物と互換的に呼ばれ得る。幾つかの例において、関節腕は、相互に対して、及び胴部にも対して回転可能な２つの部分を含む。他の例において、関節腕はそれより多いか又は少ない部分を含んでもよく、これらも本開示の範囲から逸脱しない。第一の部分は、第二の部分から関節腕ジョイントにより分離され得る。エンドエフェクタは、マニピュレータヘッドと互換的に呼ばれ得、関節腕の第二の部分の先端に連結され得、物体を握り／把持するための１つ又は複数のアクチュエータを含み得る。

[0076] モビリティシステム３２０及び／又はセンサシステム３４０間のリンク等、制御システム３３０はロボット３００の部分間のリンクとして働く。一部の例では、制御システム３３０がロボット３００と、ロボット３００をナビゲートするためにオペレータ１０によって使用される携帯型装置２００（図２）等の別のコンピューティングデバイスとの間のインタフェースとして働く。従って制御システム３３０は、ロボット３００と携帯型装置２００を使用するオペレータ１０との間のインタフェースとして働き得る。図３Ｃは、トラバーサルシステム３８０及び知覚システム３９０を含む制御システム３３０の一例を示す。トラバーサルシステム３８０は、ロボット環境の方々でロボット３００を調整すること及び／又は移動させることを担う。知覚システム３９０はセンサシステム３４０（感覚システム／カメラ）から画像データ又はセンサデータ３４２を受信し、周囲のロボット環境内の障害物を示す１つ又は複数のマップ３９４を生成する。

[0077] ロボット３００がロボット環境の方々を移動するとき、トラバーサルシステム３８０は地形を分析し、ロボット３００の運動軌道を計画し、及び／又は様々な動きを行うようにロボット３００に指示することができる。ロボット３００又はロボット環境に対する衝突及び／又は損傷を回避しながらロボット環境を成功裏に通り抜けることを試みるために、トラバーサルシステム３８０はロボット３００の様々なシステムを使用することができる。

[0078] 一部の実装形態では、図３Ｃに示すようにトラバーサルシステム３８０が少なくとも１つのコントローラ３８２、経路生成器３８４、ステッププランナ／ロケータ３８６、及び胴部プランナ３８８を含む。トラバーサルシステム３８０は、センサシステム３４０及び知覚システム３９０と通信するように構成される。

[0079] コントローラ３８２は、ロボット３００のシステム（例えばトラバーサルシステム３８０、知覚システム３９０等）からの入力又はフィードバック並びに携帯型装置２００によるオペレータ１０からの入力に基づいてロボット環境の方々を通り抜けるようにロボット３００の動きを制御するよう構成される。かかる動きは、ポーズ間の動き及び／又はロボット３００の挙動を含み得る。例えばコントローラ３８２は様々な足取りパターン、脚のパターン、胴部の動きパターン、又はビジョンシステムの検知パターンを制御する。ここでは、コントローラ３８２はロボット３００のシステム（例えばトラバーサルシステム３８０、知覚システム３９０等）から又はオペレータ１０から与えられる動きを実行するためにデータ処理ハードウェア３１２及び／又はメモリハードウェア３１４と通信するように構成される。

[0080] 一部の例では、コントローラ３８２が複数のコントローラ３８２を含み、コントローラ３８２のそれぞれは固定された歩調を有する。固定された歩調とは、脚３２２を進めること又は振ることに関する固定されたタイミングを指す。例えばコントローラ３８２は特定の頻度（例えば２５０ミリ秒、３５０ミリ秒刻み等）で脚３２２を動かす（例えば歩を進める）ようにロボット３００に命令する。各コントローラ３８２が固定された歩調を有する複数のコントローラ３８２により、ロボット３００はコントローラ３８２を切り替えることによって可変のタイミングを経験し得る。一部の実装形態では、ロボット３００がロボット環境を通り抜けるとき、ロボット３００が固定歩調コントローラ３８２を継続的に切り替える／選択する（例えば３ミリ秒ごとにコントローラ３８２を再選択する）。

[0081] トラバーサルシステム３８０は、コントローラ３８２のためのステップ計画に基づいてコントローラ３８２を選択することができる。トラバーサルシステム３８０は、歩調（すなわち所与のコントローラに関してプログラムされる動作速度）及びロボット環境の方々でロボット３００を動かすための少なくとも１つの操縦コマンドに基づいて各コントローラ３８２のステップ計画を生成することができる。ステップ計画とは、コントローラ３８２の歩調に基づきロボット環境の周囲の地形内に障害物又は衝突領域がない場合にロボット３００が歩を進める場所（すなわち足３２９又は脚３２２の遠位端の配置位置）に対応する無制約の足位置のマップ（無制約マップと呼ぶ）を指す。ステップ計画を所与とし、トラバーサルシステム３８０はステップ計画を知覚システム３９０によって生成される制約付きマップ３９４と比較する。その比較に基づいてトラバーサルシステム３８０はコントローラ３８２を選択し、選択されるコントローラのステップ計画（すなわち制約付きマップ３９４を実現するために最小量の逸脱を必要とするステップ計画）は、制約付きマップ３９４内で識別される制約の最小量違反する。逸脱が最も少ないコントローラ３８２を選択することにより、トラバーサルシステム３８０はロボット３００が障害物又は衝突領域を回避するために最も少ない調節を必要とすることを確実にし得る。

[0082] 一部の実装形態では、トラバーサルシステム３８０がステップ計画と制約付きマップ３９４との間の関係に基づいて各コントローラ３８２にスコアを付け、最適なスコアを有するコントローラ３８２を選択する。例えばトラバーサルシステム３８０は、制約付きマップ３９４を実現するための逸脱が最も少ないステップ計画を有するコントローラ３８２に相当する最も低いスコアを有するコントローラ３８２を選択する。一部の例ではスコアは、ステップ計画と制約付きマップ３９４との間の関係に加え、コントローラ３８２のためのソフト制約又は条件に基づくコスト関数に対応する。トラバーサルシステム３８０は、スコア付け及び／又は選択の前に特定のコントローラ３８２を除外する条件を用いて構成することもできる。条件の一部の例は、地形との所望の接触が振り足の位置に基づいて実現可能かどうか、又は通り抜け中に特定のステップ高が必要かどうかを含む。一部の構成ではコスト関数が様々な条件に重みを適用し、ステップ計画と制約付きマップとの間の逸脱が最重要の条件である。

[0083] 一部の例では、メモリハードウェア３１４がトラバーサルシステム３８０に関する動き又は動きの制約をロボット３００上でローカルに記憶する。他の例では、これらの動き又は制約がトラバーサルシステム３８０によって遠隔的に記憶され及び／又はアクセスされる（図４Ｂに関して以下で説明する）。

[0084] 図３Ｃにて続けるが、経路生成器３８４はロボット３００の水平運動を決定するように構成される。例えば水平運動は、ロボット３００の並進運動及び／又はヨーを指す。経路生成器３８４は、センサデータ３４２に基づいてロボット３００の周囲のロボット環境内の障害物を決定する。経路生成器３８４はステッププランナ／ロケータ３８６に障害物を伝達し、それによりステッププランナ／ロケータ３８６はロボット３００の脚３２２の足取りの配置（例えば脚３２２の遠位端／終端を配置する位置又は足３２９を配置する位置）を明らかにすることができる。ステッププランナ／ロケータ３８６は、知覚システム３９０からの入力を使用して足取りの配置（すなわちロボット３００が歩を進めるべき位置）を生成する。

[0085] 胴部プランナ３８８は、制約付きマップ３９４（又は地形マップ）、及びステッププランナ／ロケータ３８６からの足取りの配置、及び１組の制約等の入力に基づいてロボット３００の高さ及びピッチを決定する。一部の実装形態では、ロボット３００の高さ及びピッチを決定するために、胴部プランナ３８８は入力に基づく１組の制約を満たすロボット３００用の最適な軌道を決定するように構成される二次計画法軌道プランナである。

[0086] 一部の例では、知覚システム３９０はロボット環境の周囲の地形のセンサデータ３４２に基づいてマップを生成するマップ生成器３９２を含む。生成済みのマップに基づき、知覚システム３９０はロボット３００のための（例えばロボット３００のトラバーサルシステム３８０が実行するための）制約付きマップ３９４を生成する。知覚システム３９０は、概して制約付きマップ３９４又は制約付きマップ３９４の一部（例えば衝突／非衝突領域）を（例えばトラバーサルシステム３８０のステッププランナ／ロケータ３８６を有する）トラバーサルシステム３８０に伝達する。ステッププランナ／ロケータ３８６は、ロボット環境を通り抜ける間の衝突を回避する運動軌道を計画するように構成されるロボット３００の軌道プランナ（運動計画とも呼ぶ）を指す。

[0087] 一部の実装形態では、マップ生成器３９２が不完全なマップを生成し、センサデータ３４２の性質に基づいてセンサデータ３４２のギャップを埋めるように構成される。換言すれば、知覚システム３９０のマップ生成器３９２は可視的な地形について収集されるセンサデータ３４２から妨害地形（推論地形とも呼ぶ）に関する詳細を推論する。センサデータ３４２に基づき、マップ生成器３９２は欠落したセンサデータが平滑な地形又は平らな地形に対応すると見なすようにプログラムされる。遠くのオブジェクトに隣接する近くのオブジェクトをセンサデータ３４２が示す場合、マップ生成器３９２はその遠近コントラストがロボット環境内のセンサシステム３４０のオクルージョンによって生じると見なす。オクルージョンが生じたとマップ生成器３９２が見なす場合、センサデータ３４２のギャップを平らな地形としてマッピングすることによってマップ生成器３９２がそれらのギャップを埋める。対照的に、センサデータ３４２が遠近コントラストを示さない場合、マップ生成器３９２は欠落したセンサデータ３４２がセンサシステム３４０による不十分なビジョンに起因すると見なし、欠落したセンサデータ３４２を平滑な地形としてマップする。

[0088] センサシステム３４０は、幾つかある可能性の中で特に力覚センサ、近接センサ、運動センサ、負荷センサ、位置センサ、触覚センサ、深度センサ、超音波領域センサ、及び赤外線センサ等の１つ又は複数のセンサを含む。ロボット環境とのロボット３００の適切な相互作用並びにロボット３００のシステムの動作のモニタリングを可能にするために、センサシステム３４０はセンサデータをデータ処理ハードウェア３１２に与えることができる。センサデータは、ロボット３００の制御システム３３０及び／又は計算システムによるモビリティシステム３２０及び電気的コンポーネント３５０の活性化及び非活性化のための様々な要因を評価する際に使用され得る。

[0089] センサシステム３４０は、ロボット３００の動作を決定するために制御システム３３０及び／又は計算システム（例えば携帯型装置２００上で実行されるタッチツーゴーアプリケーション４００を使用してロボット３００をナビゲートするオペレータ１０）が使用するための、ロボット３００のロボット環境を示す情報を提供することができる。例えばセンサシステム３４０は環境の地形又は付近のオブジェクトの位置に対応するデータを捕捉することができ、かかるデータは環境の認識及びナビゲーション等を支援し得る。センサシステム３４０はロボット環境をリアルタイムでモニタし、ロボット３００の環境の障害物、地形の要素、気象条件、気温、及び／又は他のパラメータを検出することができる。

[0090] さらにロボット３００は、ロボット３００の様々なコンポーネントの状態をモニタすることができるセンサを含む、ロボット３００の状態を示す情報を受信するように構成される他のセンサを含み得る。センサはロボット３００のシステムの活動を測定し、伸縮可能な脚、アーム、又はロボット３００の他の機械的特徴及び／又は電気的特徴の動作等、ロボット３００の様々な特徴の動作に基づく情報を受信することができる。センサシステム３４０によって与えられるセンサデータは、ロボット３００の制御システム３３０が動作の誤りを決定すること並びにロボット３００のコンポーネントの全体的な機能をモニタすることを可能にし得る。

[0091] 例えば制御システム３３０は、幾つかある情報の中で特に、動作中のロボット３００の安定性を決定するためのセンサデータ並びに出力レベル、通信活動、修理が必要なコンポーネントに関係する測定値を使用することができる。構成の一例として、ロボット３００はロボット３００の動作の状態に関係するセンサデータを提供するためのジャイロスコープ、加速度計、及び／又は他のあり得るセンサを含み得る。さらにセンサシステム３４０は、ロボット３００が現在動作している可能性がある歩容等の機能の現在の状態をモニタすることもできる。加えてセンサシステム３４０は、ロボットの所与のロボット脚とロボットの質量中心との間の距離を測定することができる。センサシステム３４０の他の使用例も存在し得る。

[0092] 図３Ａ及び図３Ｄに示す例では、ロボット３００が５台のカメラ、つまり左前カメラ３４４ａ、右前カメラ３４４ｂ、左側カメラ３４４ｃ、右側カメラ３４４ｄ、及び後方カメラ３４４ｅを含む。他の例では、ロボット３００が６台以上（例えば７台）のカメラ又は４台以下（例えば３台）のカメラを有し得る。例えばロボット３００は、ロボットに搭載される１つ又は複数のペイロードカメラ３４４をさらに含むことができる。一例では、ペイロードカメラがリングカメラを含む。カメラ３４４のそれぞれは、カメラ３４４の検知範囲又は検知領域を定める、「ビュー」と単純に呼ばれる対応する視野を有する。カメラ３４４は胴部３１０の周囲に配置される。

[0093] 図３Ｄを特に参照し、胴部３１０は左右の方向に横に伸びるＸ軸Ａ_Ｘ及び前後の方向に縦に伸びるＹ軸Ａ_Ｙを有する。左前カメラ３４４ａが右前方向を指し、右前ビュー３４９ｂを捕捉するように、左前カメラ３４４ａはＹ軸Ａ_Ｙに対して斜めにあり胴部３１０上に配置される。例えば左前カメラ３４４ａは胴部３１０の左前部分上に位置する。右前カメラ３４４ｂが左前方向を指し、左前ビュー３４９ａを捕捉するように、右前カメラ３４４ｂはＹ軸Ａ_Ｙに対して斜めにあり胴部３１０上に配置される。例えば左前カメラ３４４ａは胴部３１０の左前部分上に位置する。左前カメラ３４４ａ及び右前カメラ３４４ｂのこの構成により、右前カメラ３４４ｂから左前ビュー３４９ａまでの光線Ｒ_１及び左前カメラ３４４ａから右前ビュー３４９ｂまでの第２の光線Ｒ_２を書く場合、結果として生じる光線Ｒ_１及びＲ_２は図示のように互いに交差する。そのため、この構成を「交差カメラ」構成と呼ぶのが便利であり得る。

[0094] 左側カメラ３４４ｃが左方向を指し、左側ビュー３４９ｃを捕捉するように、左側カメラ３４４ｃはＸ軸Ａ_Ｘに揃えられ、胴部３１０上に配置される。例えば左側カメラ３４４ｃは胴部３１０の左側に配置される。右側カメラ３４４ｄが右方向を指し、右側ビュー３４９ｄを捕捉するように、右側カメラ３４４ｄはＸ軸Ａ_Ｘに揃えられ、胴部３１０上に配置される。例えば右側カメラ３４４ｄは胴部３１０の右側に配置される。後方カメラ３４４ｅが後方を指し、後方ビュー３４９ｅを捕捉するように、後方カメラ３４４ｅはＹ軸Ａ_Ｙに揃えられ、胴部３１０上に配置される。例えば後方カメラ３４４ｅは胴部３１０の後部に位置する。

[0095] 一部の例では、ロボット３００が個々の左前ビュー３４９ａ及び右前ビュー３４９ｂよりも大きい前方ビュー３４９ｆへと、左前ビュー３４９ａ及び右前ビュー３４９ｂを連結し又は「ステッチ」する。より広がった前方ビュー３４９ｆにより、ロボット３００は障害物及び他の制約等の自らの前にあるものについてのより優れた認識を有することができ、ロボット３００は大体の場合前に移動するのでかかる前方ビュー３４９ｆを作成することは特に有利である。図示のように左前ビュー３４９ａの一部と右前ビュー３４９ｂの一部とが重複する場合があり、かかる重複はビューをステッチする際に有用であり得る。別の例では、ロボット３００が左前ビュー３４９ａ、右前ビュー３４９ｂ、左側ビュー３４９ｃ、右側ビュー３４９ｄ、後方ビュー３４９ｅを連結して、ロボット３００の周囲の３６０度ビューにほぼ等しい周辺ビューを形成する。

[0096] 図３Ａに示す例では、カメラ３４４のそれぞれが３台の個別のカメラを含む。参照し易いように、３台のカメラの各構成を「カメラトリプレット」と呼ぶ。カメラ３４４の他の例は、さらに多くの（例えば４台の）又はさらに少ない（例えば２台の）個別のカメラを含み得る。カメラトリプレット３４４を構成するカメラの例は、これだけに限定されないが立体カメラ、走査型光検知測距（ＬＩＤＡＲ）センサ、走査型レーザ検出測距（ＬＡＤＡＲ）センサ、及び赤外線カメラを含む。一例として、カメラトリプレット３４４は１台の魚眼カメラ３４６及び２台の赤外線カメラ３４８、３４８ａ～ｂを含む。魚眼カメラ３４６は幅広の軸及び狭い軸を有し、そのレイアウトは様々なカメラトリプレットについて異なる。

[0097] 図３Ａ及び図３Ｅを参照し、左側、右側、及び後方のカメラトリプレット３４４ｃ～ｅに関して、魚眼カメラ３４６ｃ～ｅのレイアウトはＸ軸Ａ_Ｘ及びＹ軸Ａ_Ｙに概して揃えられる水平方向の幅広の軸、及びＺ軸Ａ_Ｚに概して揃えられる垂直方向の狭い軸を有する。図３Ｅに示すように、このレイアウトは垂直視野（Ｖ_Ｖ）よりも広い水平視野（Ｖ_Ｈ）を有する矩形に似た視野（すなわち左側ビュー３４９ｃ、右側ビュー３４９ｄ、及び後方ビュー３４９ｅ）をもたらす。

[0098] 左前カメラトリプレット３４４ａ及び右前カメラトリプレット３４４ｂに関して、魚眼カメラ３４６ａ、３４６ｂのレイアウトは水平方向に狭い軸を有し、垂直方向に幅広の軸を有する。図３Ｅに示すように、このレイアウトは垂直視野（Ｖ_Ｖ）よりも狭い水平視野（Ｖ_Ｈ）を有する矩形に似た視野（すなわち左前ビュー３４９ａ及び右前ビュー３４９ｂ）をもたらす。前方ビュー３４９ｆ（すなわち左前ビュー３４９ａと右前ビュー３４９ｂとを組み合わせた結果）は正方形に似る。

[0099] 赤外線カメラ３４８（図３Ａ）は赤外光を検出する。それぞれの赤外線カメラ３４８は、パターンを有さない場合がある面上に赤外光のパターンを放つプロジェクタを含む。放たれるパターンはオブジェクトの面に反射し、赤外線カメラ３４８によって検出される。このようにして、赤外線カメラ３４８はテクスチャを有さないオブジェクト上のテクスチャを「見る」ことができる。

[0100] センサを使って視野を（例えば右前カメラ３４４ｂを使って左前ビュー３４９ａを）測量するとき、センサシステム３４０が視野に対応するセンサデータ３４２を生成する。一部の例では、センサデータ３４２が三次元体積イメージセンサによって生成される三次元体積点群に対応する画像データを含む。加えて又は或いは、ロボット３００がロボット環境の方々を移動しているとき、センサシステム３４０は（例えば慣性測定ユニットによって測定される）慣性測定データを含むロボット３００のポーズデータを集める。一部の例では、ポーズデータがロボット３００に関する運動学的データ及び／又は姿勢角度データを含む。センサデータ３４２により、知覚システム３９０はロボット環境１０の周囲の地形に関する制約付きマップ３９４等のマップを生成することができる。

[0101] ロボット環境に関係する画像データ、ポーズデータ、慣性データ、運動学的データ等、センサシステム３４０によって収集されるセンサデータ３４２はロボット３００のトラバーサルシステム３８０（例えばデータ処理ハードウェア３１２及びメモリハードウェア３１４）に伝達することができる。一部の例では、センサシステム３４０がセンサデータ３４２を集め（例えばメモリハードウェア３１４又は図４Ｂのリモートリソース１９２のメモリハードウェア１９６内に）記憶する。他の例では、センサシステム３４０がセンサデータ３４２をリアルタイムで集め、生の（すなわち未処理の）センサデータ３４２を記憶することなしにセンサデータ３４２を処理する。さらに他の例では、トラバーサルシステム３８０及び／又はリモートリソース１９２（図４Ｂ）が処理済みのセンサデータ３４２及び生のセンサデータ３４２の両方を記憶する。

[0102] 図３Ｂのロボットアーキテクチャの例では、データ処理ハードウェア３１２及びメモリハードウェア３１４がロボット３００の中心を成し、そのためロボット３００の様々なシステムがハードウェア（例えば制御システム３３０、センサシステム３４０、トラバーサルシステム３８０、及び知覚システム３９０）を使用する際に共用することができる。一部の構成では、ロボット３００の１つ又は複数のシステム（例えば制御システム３３０、センサシステム３４０、トラバーサルシステム３８０、及び／又は知覚システム３９０）が（例えばデータ処理ハードウェア３１２及びメモリハードウェア３１４と通信する）独自の専用ハードウェアを有する。

[0103] 図３Ｂを参照し、ロボット３００はロボット３００の様々なコンポーネント／システムに動力を与えるように構成される１つ又は複数の動力源３６０を含み得る。あり得る動力源の中で、ロボット３００は油圧系統、電気系統、電池、及び／又は他の種類の動力源を含み得る。解説の一例として、ロボット３００は有線接続及び／又は無線接続によってコンポーネント／システムに動力を供給するように構成される１つ又は複数の電池を含み得る。例の中で、モビリティシステム３２０及び電気的コンポーネント３５０のコンポーネントはそれぞれ異なる動力源に接続することができ、又は同じ動力源によって動力を与えられ得る。ロボット３００のコンポーネントは複数の動力源に接続してもよい。

[0104] 構成例の中で、ロボット３００に動力を与えるためにガソリンエンジン等の任意の種類の動力源が使用され得る。さらに動力源３６０は、外部動力源への有線接続、無線充電、燃焼、又は他の例等の様々な種類の充電を使用して充電することができる。他の構成も可能であり得る。加えて、ロボット３００は流体動力を使用してモビリティシステム３２０に動力を供給するように構成される油圧系統を含むことができる。ロボット３００のコンポーネントは、作動液が油圧系統の全体を通して例えば様々な油圧モータ及び油圧シリンダに送られることに基づいて動作し得る。ロボット３００の油圧系統は小管、たわみ管、又はロボット３００のコンポーネント間の他の接続路によって大きい力を伝えることができる。ロボット３００内には他の動力源が含まれてもよい。

[0105] 電気的コンポーネント３５０は、例えば電荷又は電気信号を処理し、転送し、提供することができる様々なコンポーネントを含み得る。あり得る例の中で、電気的コンポーネント３５０はロボット３００の動作を可能にするための電線、回路、及び／又は無線通信送受信機を含み得る。電気的コンポーネント３５０は、ロボット３００が様々な動作を行えるようにするためにモビリティシステム３２０と相互動作することができる。電気的コンポーネント３５０は、動力源３６０からの動力を例えばモビリティシステム３２０のコンポーネントに与えるように構成され得る。さらにロボット３００は電気モータを含むことができる。電気的コンポーネント３５０の他の例も存在し得る。

[0106] 一部の実装形態では、ロボット３００が情報を送信及び／又は受信するように構成される通信リンク３７０も含み得る。通信リンク３７０は、ロボット３００の様々なコンポーネント／システムの状態を示すデータを伝送することができる。例えばセンサシステム３４０によって読み込まれる情報が通信リンク３７０によって別個のコンピューティングデバイス（例えば図２の携帯型装置２００）に伝送され得る。データ処理ハードウェア３１２、メモリハードウェア３１４、制御システム３３０、モビリティシステム３２０、動力源３６０、及び／又は電気的コンポーネント３５０の完全性又は正常性を示す他の診断情報が外部装置（例えばロボット３００をナビゲートするためにオペレータ１０によって使用される図２の携帯型装置２００）に通信リンク３７０を介して伝送され得る。

[0107] 一部の実装形態では、ロボット３００はデータ処理ハードウェア３１２によって処理される情報を通信リンク３７０において受信する。受信される情報は、例えばプログラム命令３１６の実行中にデータ処理ハードウェア３１２によってアクセス可能なデータを示し得る。さらに、受信される情報はモビリティシステム３２０又は電気的コンポーネント３５０の挙動に影響し得る制御システム３３０の側面を変更する場合がある。一部の事例では、受信される情報は特定の情報片（例えばロボット３００のコンポーネント／システムの１つ又は複数の動作状態）を要求するクエリを示し、データ処理ハードウェア３１２は後にその特定の情報片を通信リンク３７０から送り返すことができる。

[0108] 通信リンク３７０の例は、如何なる物理的配線もなしにロボット３００を外部装置（例えばロボット３００をナビゲートするためにオペレータ１０によって使用される図２の携帯型装置２００）に接続するための無線接続を含む。無線接続の一部の例はＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳ、４Ｇ電気通信（WiMAX又はＬＴＥ等）、又は５Ｇ電気通信等のセルラ接続を利用することができる。或いは又は加えて、無線接続は無線ローカルエリアネットワーク（ＷＬＡＮ）にデータを伝送するためのWi-Fi接続を利用することができる。一部の実装形態では、無線接続が赤外線リンク、Bluetooth、又は近距離無線通信（ＮＦＣ）装置上で通信することもできる。通信リンク３７０の他の例は、無線接続に加えて又はその代わりに有線接続を含み得る。これらの例では、ロボット３００が通信リンク３７０を外部装置（例えばロボット３００をナビゲートするためにオペレータ１０によって使用される図２の携帯型装置２００）にインタフェースするための１つ又は複数のポートを含み得る。

[0109] 図３Ａ～図３Ｅに示すロボット３００は例示目的であり、本明細書の開示の範囲から逸脱することなしにさらに多くの又は少ないコンポーネントを含み得ることに留意されたい。ロボット３００の様々なコンポーネントは、有線接続又は無線接続等を含む任意のやり方で接続され得る。さらに一部の例では、ロボット３００のコンポーネントが単一の物理エンティティ上ではなく複数の別個の物理エンティティ上に配置され得る。ロボット３００の他の構成例も存在し得る。

[0110] 図３Ａ～図３Ｅに関して上記で説明したロボット３００及びその例は、本明細書に記載の動作を実行するように構成されるロボット装置の一例を表す。加えてロボット３００は、自律的に、半自律的に、及び／又は（例えば携帯型装置２００経由で）オペレータ１０によって与えられる方向を使用して動作するように構成されてもよく、幾つかある例の中で特に人型ロボット又は四足ロボット（例えば犬）等の様々な形で存在し得る。さらにロボット３００は、幾つかある呼称の中で特にロボット装置、移動ロボット、又はロボットと呼ぶこともできる。

[0111] 図４Ａを参照し、携帯型装置２００上で実行される（例えば処理装置２４０（例えば携帯型装置２００のデータ処理ハードウェア２４０）上で実行される）タッチツーゴーアプリケーション４００がロボット環境内の標的位置Ｔ（例えば物理的位置）又はオペレータ１０がロボット３００をナビゲートしたい場所の「ウェイポイント」を決定する。センサシステム３４０（図３Ｂ及び図３Ｃ）から、タッチツーゴーアプリケーション４００はロボット３００の画像データ３４２、カメラ地点／位置４０４、及び地形推定４０６を受信する。図３Ｄに関して上記で説明した魚眼カメラ３４６等のロボット３００上の１つ又は複数のカメラが画像データ３４２を捕捉することができる。画像データ３４２は、カメラによって測量／捕捉される１つ又は複数の視野（例えば図３Ｄの前方ビュー３４９ｆ）に対応する。携帯型装置２００は、ディスプレイ２２０上に画像データ３４２を画像又はシーン２２２としてレンダリングするためにＧＵＩ２２１を実行し、それによりオペレータ１０はロボット３００の視点からロボット環境のビューを見る。オペレータ１０は、自身がロボット３００をナビゲートしたいロボット環境内の物理的位置又は標的位置Ｔに対応するシーン２２２内の位置を対象とするナビゲーション入力（例えば入力指示）を与える。参照し易くするために、標的位置に対応するシーン２２２内の位置は「ピクセル位置」２２４と呼ぶ場合がある。

[0112] ピクセル位置２２４及び入力３４２、４０４、４０６から、タッチツーゴーアプリケーション４００がウェイポイントＷ（以下でより詳細に説明する）を決定し、ウェイポイントＷをトラバーサルシステム３８０（図３Ｃ）に与える。例えばタッチツーゴーアプリケーション４００は、ウェイポイントを伴う位置コマンドをロボット３００に伝送する。ここでは、ウェイポイントを伴う位置コマンドがウェイポイントコマンドに対応し得る。次いでトラバーサルシステム３８０は、図３Ｃに関して上記で説明したようにセンサシステム３４０及び知覚システム３９０（図３Ｃ）からの入力と共にウェイポイントＷを使用してウェイポイントＷまでロボット３００を制御しナビゲートする。

[0113] 図４Ｂを参照し、システム１００はネットワークコンポーネントを含み得る。例えばトラバーサルシステム３８０は、ネットワーク１８０を介してリモートシステム１９０と通信する。リモートシステム１９０は、リモートデータ処理ハードウェア１９４及びリモートメモリハードウェア１９６等のリモートリソース１９２を含むサーバ又はクラウドベース環境であり得る。一部の実装形態では、リモートリソース１９２を使用して動き又はトラバース制約がリモートシステム１９０上に記憶され及び／又はリモートシステム１９０上で処理される。制約はネットワーク１８０を介してロボット３００のトラバーサルシステム３８０に伝達される。さらに他の例では、トラバーサルシステム３８０に関係する様々な出力が（例えばリモートシステム１９０によって）遠隔的に及び（例えばメモリハードウェア３１４（図３Ｂ）によって）ローカルに処理され及び／又は記憶される。タッチツーゴーアプリケーション４００によって決定されるウェイポイントＷは、ネットワーク１８０によって（例えばウェイポイントコマンドとして）ロボット３００に伝送され得る。

[0114] 図５Ａ～図５Ｃに関して、ロボット環境内でロボット３００を操縦するためにオペレータ１０によるナビゲーション方向入力を決定するために、タッチツーゴーアプリケーション４００がピクセル位置２２４の水平方向位置及び垂直方向位置を使用する（図５Ａ）。水平方向位置及び垂直方向位置は、シーン２２２内のピクセル位置２２４の水平座標及び垂直座標にそれぞれ関連し得る。オペレータ１０によって与えられるナビゲーション方向入力はポインティングベクトルＶによって表すことができる（図５Ｂ及び図５Ｃ）。したがって、タッチツーゴーアプリケーションはシーン２２２内のピクセル位置２２４の選択に基づいてポインティングベクトルＶを決定することができ、ポインティングベクトルＶは環境３０１内でロボット３００をナビゲートするための移動方向を表す。ポインティングベクトルＶは、シーン２２２に対応する画像データ２４２を捕捉する少なくとも１台のカメラ３４４のカメラ位置４０４等の較正情報にさらに基づき得る。タッチツーゴーアプリケーション４００は、ポインティングベクトルＶをロボット３００の地表面推定Ｇと組み合わせて、ポインティングベクトルＶと地表面推定Ｇ（図５Ｄ）との交点Ｉ（図５Ｄ）を見つけ出す。図５Ｄに示すようにポインティングベクトルＶと地表面推定Ｇとの交点Ｉがロボット３００の前にある場合、タッチツーゴーアプリケーション４００が交点Ｉの位置をウェイポイント（例えば標的位置）としてロボット３００に送信／伝送し、そのウェイポイントまでロボット３００を（例えば自律的に）ナビゲートさせる。この例では、ロボット３００の現在位置と交点との間の距離が閾値距離（例えば４メートル）を満たす（例えば閾値距離以下である）場合、タッチツーゴーアプリケーション４００が交点Ｉを標的位置として識別することができる。本明細書で使用するとき、アプリケーション４００によってロボット３００に送信されるウェイポイントは、ウェイポイントに関連する標的位置までナビゲートするようロボット３００に命令するウェイポイントコマンドＷに対応する。

[0115] 任意選択的に、交点Ｉに基づく実際の「ウェイポイント」を送信する代わりに、携帯型装置２００上で実行されるアプリケーション４００は、シーン２２２に対応する画像データ２４２を捕捉する少なくとも１台のカメラ３４４の起源に対応する世界空間内の点を含むウェイポイントコマンドＷ、及びシーン２２２内のピクセル位置２２４の選択に基づく世界空間内のポインティングベクトルＶを送信する。このシナリオでは、世界空間内の点及びポインティングベクトルＶを単に含むウェイポイントコマンドＷを受信すると、ロボット３００はそれに応答して距離閾値に達するまで又はポインティングベクトルＶと交差する障害物をロボット３００が検出するまでポインティングベクトルＶの方向に移動する。有利には、携帯型装置２００はロボット３００に送信される実際の「ウェイポイント座標」を計算するための地形推定（例えば地表面推定Ｇ）を決定する必要がなく、代わりにロボット３００が標的位置Ｔに近づくとき、ロボット３００がポインティングベクトルＶの方向にナビゲートしながら地形推定（例えば地表面推定）を継続的に再計算することを可能にする。

[0116] 一部のシナリオでは、ロボット３００が許可される、意図される、或いは自律的にナビゲートするよう設計される閾値距離又は指定範囲（例えば４メートルの自律ナビゲーション範囲）を超える（例えば満たさない）ロボット環境３０１内の標的位置に対応するピクセル位置２２４をオペレータ１０が選択する。新たなピクセル位置をオペレータ１０が選択することを要求するエラーメッセージを返す代わりに、タッチツーゴーアプリケーション４００は標的位置の方への移動を開始し、標的位置の手前の中間位置（例えばロボット３００の開始位置から４メートルのところ）で停止するようにロボット３００に命令する。ここでは、ピクセル位置２２４（すなわちナビゲーション方向入力）の受信時のロボット３００の位置と中間位置との間の距離が、ロボット３００が自律的にナビゲートすることを許可される閾値距離に対応し得る。したがって、閾値距離を満たす別のピクセル位置をオペレータ１０が選択することを要求することなしにロボット３００が標的位置の方向に移動できるようにすることにより、ロボット３００を制御するためのオペレータ１０のユーザエクスペリエンスが改善される。

[0117] 図４Ｂ、図５Ｅ、及び図５Ｆを参照し、ロボット３００とロボット３００の前にあるポインティングベクトルＶ及び地表面推定Ｇ間の交点Ｉとの間の第１の距離Ｄ１が閾値距離（例えば４メートル）を満たさない（例えば超える）場合、タッチツーゴーアプリケーション４００はロボット３００と移動済み交点Ｉ_Ｍ（図５Ｆ）との間の短縮距離Ｄ２（図５Ｆ）の分だけ交点Ｉの方にロボット３００を移動させるウェイポイントコマンドＷ（図４Ｂ）をロボット３００に送信する。図５Ｆは、第１の限界（図５Ｅ）未満である（例えば４メートルに等しい）閾値距離以下の第２の限界に等しい短縮距離Ｄ２を示す。換言すれば、交点Ｉとロボット３００との間の距離が閾値距離を満たさない場合、結果として生じる移動済み交点Ｉ_Ｍが閾値距離を満たすように、アプリケーション４００は交点Ｉをロボット４００の近くにずらし又は移動することができる。タッチツーゴーアプリケーション４００は移動済み交点Ｉ_Ｍの位置をウェイポイントコマンドＷとしてロボット３００に送信し、その後ロボット３００がウェイポイントまで自らナビゲートする。

[0118] オペレータ１０はロボット環境内の地平線よりも上の位置、つまり地上ではない位置に対応するピクセル位置２２４を選択することがある。警告又はエラーメッセージを返す代わりに、タッチツーゴーアプリケーション４００はロボット３００を遠くにナビゲートしたいが、オペレータ１０が地平線よりも高い位置を誤って選択したこととしてオペレータ１０の選択を解釈する。この解釈に基づき、タッチツーゴーアプリケーション４００はオペレータ１０が別の位置を選択する必要なしにオペレータ１０が意図する方向に移動するようロボット３００に命令する。

[0119] 図４Ｂ、図５Ｇ、及び図５Ｈを参照し、オペレータ１０によって選択されるピクセル位置２２４が地平線よりも高い場合、オペレータ１０がロボット３００をナビゲートしたい方向を表すポインティングベクトルＶとロボット３００の地表面推定Ｇとの交点Ｉがロボット３００の背後に位置する（図５Ｇ）。このシナリオでは、図５Ｈはタッチツーゴーアプリケーション４００が交点Ｉを反射し、それにより反射交点Ｉ_Ｒがロボット３００の前にあることを示す。ここでは、ロボット３００とロボット３００の背後の交点Ｉとの間の距離が、ロボットとロボット３００の前の反射交点Ｉ_Ｒとの間の距離に等しい。このようにして、ロボット３００は意図した方向と逆の方向に動くことを命令されない。ロボット３００が閾値距離（例えば４メートル以下）を満たす反射交点（Ｉ_Ｒ）（図５Ｈ）からの距離Ｄであるように、タッチツーゴーアプリケーション４００は反射交点Ｉ_Ｒをロボット３００の近くに又は遠くに移動する。タッチツーゴーアプリケーション４００は反射交点Ｉ_Ｒの位置をウェイポイントコマンドとしてロボット３００に送信し、それによりロボット３００を反射交点Ｉ_Ｒに関連するウェイポイントまでナビゲートさせる。

[0120] 図６Ａ～図６Ｃ及び図７Ａ～図７Ｃを参照し、一部のシナリオでは、オペレータ１０が障害物Ｏ（図６Ａ）の背後に位置する又は交差壁によって形成される角Ｃ（図７Ａ）を曲がった所に位置するウェイポイント（例えば標的位置Ｔ）までロボット３００をナビゲートすることを望む。例えば図６Ａは、オペレータ１０が障害物Ｏの背後のピクセル位置２２４を入力することによってナビゲーション入力を与え、障害物Ｏの背後の標的位置Ｔまでロボット３００を操縦させることを示す。同様に図７Ａは、オペレータ１０が角Ｃを曲がった所のピクセル位置２２４を入力することによってナビゲーション入力を与え、角Ｃを曲がった所にある通路又は通常領域を含む標的位置Ｔまでロボット３００を操縦させることを示す。これらの状況では、センサシステム３４０及び知覚システム３９０からの入力により、障害物Ｏを回避してナビゲートし標的位置Ｔへと操縦することによってロボット３００が障害物Ｏ（図６Ｂ及び図６Ｃ）を回避するようにトラバーサルシステム３８０がロボット３００を制御する。つまりトラバーサルシステム３８０は、可能な場合にロボット３００が障害物を回避して通り抜けられるようにするためにナビゲーション入力をオーバライドするよう構成される。障害物を回避して通り抜けることが不可能なシナリオでは、トラバーサルシステム３８０は標的位置へのナビゲーション操縦の実行を停止することができる。これらのシナリオでは、標的位置Ｔへのナビゲーションが不可能であることをトラバーサルシステム３８０がアプリケーション４００に知らせることができ、アプリケーション４００はナビゲーション入力が実行不可能であることをオペレータ１０に知らせる（視覚、触覚、及び／又は音声）メッセージを出力することができる。

[0121] 同様に図７Ａ及び図７Ｂに示すように、センサシステム３４０及び知覚システム３９０からの入力により、オペレータ１０によって入力されるピクセル位置２２４に関連するロボット環境内の標的位置に着くために、角（図７Ｂ）に近づき、角Ｃを避けながら動く（例えば図７Ｃのビューに対して右に動く）ようにトラバーサルシステム３８０がロボット３００を制御する。有利にはオペレータ１０は標的位置Ｔに到着するための高水準コマンドとしてピクセル位置２２４を与えることができ、ロボット３００は標的位置Ｔに到着するための側方通路を突き止める作業を負う。図示の例では、標的位置に到着するために通過する角Ｃの周囲にある隙間を見つけるまでロボット３００が壁に沿って進む。この障害物回避機能は、ロボット３００を標的位置まで操縦する目的で各障害（例えば障害物Ｏ又は角Ｃ）を回避してロボット３００をナビゲートするためにオペレータ１０が複数の中間ナビゲーション入力を与えなければならないことを軽減する。一部の実装形態は、その全体を本明細書に援用する２０１８年１０月１２日に出願され「足取りプランのための地形及び制約計画（Terrain and Constraint Planning for Footstep Plan）」と題された米国特許出願第６２／７４４，９５４号、及び２０１９年４月１２日に出願され「階段をロボット制御で通り抜けること（Robotically Negotiating Stairs）」と題された米国特許出願第１６／３８２，３９０号の中で開示される制御／トラバーサル技術を利用することができる。

[0122] 一部の実装形態では、タッチツーゴーアプリケーション４００は、シーンを変更することによってロボット３００が移動している方向をオペレータ１０が変更することができるを可能にする。図３Ｄ及び図３Ｅに関して上記で説明したように、ロボット３００上のカメラ３４４、３４４ａ～ｅのそれぞれがその個々の視野３４９、３４９ａ～ｆ（又は単純に「ビュー」）内のロボット環境の一部を測量又は捕捉し、その視野に対応する画像データ３４２を与える。それを受けてタッチツーゴーアプリケーション４００は画像又はシーン内に画像データ３４２をレンダリングし、そのためオペレータ１０はシーンの変化を認める。例えば図８Ａ及び図８Ｂは、ロボット３００の左前カメラ３４４ａ及び右前カメラ３４４ｂによって捕捉される前方ビュー３４９ｆからレンダリングされる前方シーン２２２、２２２ａを提示するＧＵＩ２２１を示す。前方シーン２２２ａは、ロボット３００の前のロボット環境をオペレータ１０に提示する。図８Ｃ及び図８Ｄは、ロボット３００の後方カメラ３４４ｅによって捕捉される後方ビュー３４９ｅからレンダリングされる後方シーン２２２、２２２ｂを提示するＧＵＩ２２１を示す。ロボット３００の背後に何があるのかをオペレータ１０が見ることができるように、後方シーン２２２ｂがオペレータ１０に表示される。

[0123] 図８Ｂ及び図８Ｃを参照し、以下でより詳細に説明するように、アプリケーション４００は、オペレータ１０が様々なシーンを変更できるようにするための並びにロボット３００が移動している方向を変更できるようにするためのシーンチェンジャ２２６グラフィカル要素（例えばボタン）をＧＵＩ２２１上に提示することができる。図示の例では、シーンチェンジャ２２６グラフィカル要素は様々なシーンを切り替えるためにオペレータ１０が選択可能な４つの方向矢印を含む。例えばオペレータ１０は、前方シーン２２２ａ（図８Ｂ）を見るためにシーンチェンジャ２２６の前方の方向矢印の選択を示す入力指示を与え、その後シーンチェンジャ２２６の後方の方向矢印の別の入力指示の選択を与えることによって切り替えて後方シーン２２２ｂ（図８Ｃ）を見ることができる。オペレータ１０は、シーンチェンジャ２２６の左側の方向矢印及び右側の方向矢印の選択を示す入力指示をそれぞれ与えることによって左側シーン及び右側シーンをさらに切り替えることができる（不図示）。これらのシナリオでは、シーンチェンジャ２２６によって受信される入力指示に基づき、方向を変更することに関連するターン操作をロボットに行わせる対応するターンコマンドをタッチツーゴーアプリケーション４００が送信する前に、ＧＵＩ２２１は左側シーン２２２又は右側シーン２２２をオペレータ１０が見るために提示することができる。シーンチェンジャ２２６はシーンを変更するための選択肢を４つ（例えば前方、後方、左側、及び右側）しか与えないが、タッチツーゴーアプリケーション４００はシーンを変更するための５つ以上の又は３つ以下の選択肢を可能にし得る。

[0124] 図８Ａ～図８Ｄは、オペレータ１０がロボット環境内でロボット３００をナビゲートするためにタッチツーゴーアプリケーション４００を使用する間のＧＵＩ２２１の例を示す。図８Ａではオペレータ１０が前方シーン２２２ａを見ており、ロボット３００のナビゲート先の標的位置Ｔに対応するピクセル位置２２４を選択することによってナビゲーション入力を与える。図５Ａ～図５Ｆに関して上記で説明したように、ナビゲーション入力を受信することに応答してタッチツーゴーアプリケーション４００は決定済みの標的位置Ｔに向けて（図８Ａ及び図８Ｂのビューに対して）前進するようロボット３００に命令する（例えばウェイポイントコマンドＷを送信する）。次いで、ロボット３００はオペレータ１０によって選択されたピクセル位置２２４に関連する標的位置Ｔまでナビゲートする。ロボット３００が前方シーン２２２ａ内の標的位置Ｔにナビゲートする際、図８Ｂはロボット３００のナビゲート先の新たな標的位置に対応する別のピクセル位置２２４を選択することによってオペレータ１０が別のナビゲーション入力を与えることを示す。このようにしてオペレータ１０は、ロボット３００が前方に進むにつれ新たなピクセル位置２２４を選択することによってロボットを前方向に移動させ続けることができる。

[0125] 図８Ｃは、後方シーン２２２ｂを見てロボット３００の移動方向を後方に反転させるために、オペレータ１０がシーンチェンジャ２２６グラフィカル要素の後方の方向矢印を選択することを示す。ＧＵＩ２２１はシーンチェンジャ２２６の後方の方向矢印を選択する入力指示に応答して後方シーン２２２ｂを提示する一方、図８Ｄはロボット３００のナビゲート先の標的位置Ｔに対応するピクセル位置２２４を選択することによってオペレータ１０がナビゲーション入力を与えることを示す。後方シーン２２２ｂ内のピクセル位置２２４に関連するナビゲーション入力を受信することに応答してタッチツーゴーアプリケーション４００は標的位置Ｔに向けて後ろ方向に（例えば後ろに）移動するようロボット３００に命令する（例えばウェイポイントコマンドＷを送信する）。一部の例では、後ろに移動する代わりに、ロボット３００はウェイポイントコマンドＷを受信することに応答して新たな前方向として後ろ方向２２２ｂに面するようにまずターン操作を行ってほぼ１８０度ターンし、次いで決定済みの標的位置に向けて前進する。ロボット３００は、後ろ方向に進むかどうか又はまずターン操作を行って前方向に進むかどうかを１つ又は複数の要因に基づいて決めることができる。例えば非限定的な要因は標的位置Ｔまでの距離、ロボット３００がターン操作を行う実行可能性、ロボット環境の熟知度、カメラ位置４０４（図４Ａ）、又はユーザ選択を含み得る。一部の構成では、後ろ方向に移動するようにロボット３００が構成されず、それにより前方向に移動することによって標的位置Ｔまで移動することができるようにロボット３００がターン操作をまず行うことが要求される。

[0126] 図９Ａ～図９Ｄは、前方シーン２２２ａ、後方シーン２２２ｂ、右側シーン２２２ｃ、及び左側シーン２２２ｄの同時表示をレンダリングしているタッチツーゴーアプリケーション４００のＧＵＩ２２１の例を示す。ここではオペレータ１０はシーンを変更するためにシーンチェンジャ２２６を使用する必要がなく、代わりに標的位置Ｔを提示する利用可能なシーン２２２、２２２ａ～ｄのうちの対応するシーン内のピクセル位置２２４を選択することによって標的位置Ｔまでのナビゲーション入力を与えることができる。例えば図９Ａは、ロボット３００のナビゲート先の標的位置Ｔに対応するピクセル位置２２４をオペレータが前方シーン２２２ａから選択することを示す。図５Ａ～図５Ｆに関して上記で説明したように、ナビゲーション入力を受信することに応答してタッチツーゴーアプリケーション４００は決定済みの標的位置Ｔに向けて（図９Ａ及び図９Ｂのビューに対して）前進するようロボット３００に命令する（例えばウェイポイントコマンドＷを送信する）。

[0127] 図９Ｃは、ロボット３００のナビゲート先の新たな標的位置Ｔに対応する新たなピクセル位置２２４をオペレータが右側シーン２２２ｃから選択することを示す。右側シーン２２２ｃ内のピクセル位置２２４に関連するナビゲーション入力を受信することに応答し、タッチツーゴーアプリケーション４００は右へのターン操作を行い、決定済みの新たな標的位置Ｔに向けて前進するようロボット３００に命令する（例えばウェイポイントコマンドＷを送信する）。図９Ｄは、ロボット３００が右へのターン操作を行った後で新たな標的位置Ｔに向けて移動する間のシーン２２２ａ～ｄの同時表示をレンダリングするＧＵＩ２２１を示す。つまり、図９Ｄの前方シーン２２２ａが図９Ｃの右側シーン２２２ｃに対応し、図９Ｄの右側シーン２２２ｃが図９Ｃの後方シーン２２２ｂに対応し、図９Ｄの後方シーン２２２ｂが図９Ｃの左側シーン２２２ｄに対応し、図９Ｄの左側シーン２２２ｄが図９Ｃの前方シーン２２２ａに対応するように、図９Ｃのシーン２２２ａ～ｄのそれぞれに示すロボット環境のビューが９０度旋回される。

[0128] 図１０Ａ及び図１０Ｂは、ロボット３００の下向きシーン２２２ｅの表示をレンダリングするタッチツーゴーアプリケーション４００のＧＵＩ２２１の例を示す。アプリケーション４００は、ロボット３００上のカメラ３４４、３４４ａ～ｅの任意の組み合わせから、そのそれぞれの視野３４９、３４９ａ～ｆ（又は単純に「ビュー」）内で捕捉される画像データ３４２を使用して下向きシーン２２２ｅを構築することができる。下向きシーン２２２ｅを構築するために使用される画像データ３４２は、ロボット３００上に搭載されるペイロードカメラ３４４からさらに捕捉され得る。ロボット３００を標的位置Ｔまでナビゲートするために、図１０Ａは標的位置Ｔに関連する下向きシーン２２２ｅ内のピクセル位置２２４を選択することによってオペレータ１０がナビゲーション入力を与えることを示す。ピクセル位置２２４に基づき、タッチツーゴーアプリケーション４００はロボット３００をナビゲートするための標的位置Ｔを決定することができる。したがって図５Ａ～図５Ｆに関して上記で説明したように、ナビゲーション入力を受信することに応答し、図１０Ｂは決定済みの標的位置Ｔに向けて（図１０Ａ及び図１０Ｂのビューに対して）前進するようロボット３００にタッチツーゴーアプリケーション４００が命令すること（例えばウェイポイントコマンドＷを送信すること）を示す。ロボット環境内のロボット３００の現在位置を表示するために、ロボット３００を示すグラフィックを下向きシーン２２２ｅ上にレンダリングすることができる。例えばロボット３００のグラフィックは、標的位置Ｔに進む間ロボット３００の瞬時位置を示すように移動することができる。

[0129] さらなる例では、図１１Ａ及び図１１Ｂは、ロボット環境の下向きシーン２２２ｅ（図１０Ａ及び図１０Ｂ）及びユーザ選択シーン２２８の両方を同時に示す分割画面２２９を表示するようにタッチツーゴーアプリケーション４００のＧＵＩ２２１が構成されることを示す。本開示の範囲から逸脱することなしにシーン２２２ｅ、２２８の向きは分割画面２２９の反対側に表示することができる。一部の例では、アプリケーション４００はオペレータ１０がＧＵＩ２２１上にレンダリングされるシーン２２ｅ、２２８の位置をカスタマイズすること、及び／又はシーン２２２ｅ、２２８の何れかのウィンドウサイズを調節することを可能にする。図示の例では、ユーザ選択シーン２２８が前方シーン２２２ａに対応する。他の例では、ユーザ選択シーン２２８が後方シーン２２２ｂ、右側シーン２２２ｃ、又は左側シーン２２２ｄの何れか１つに対応する。ＧＵＩ２２１は、ユーザ選択シーン２２８としてどのシーン２２２ａ～ｄをＧＵＩ２２１内でレンダリングするのかをオペレータ１０が選択できるようにするためのボタン（不図示）を提示することができる。図８Ａ～図１０Ｂの何れかのＧＵＩ２２１は、様々な異なるＧＵＩ構成をオペレータ１０が選択できるようにするための１つ又は複数のボタンを同様に提示することができる。例えばオペレータ１０は下向きシーン２２２ｅを使用して高レベルナビゲーション入力を与え、細粒度のナビゲーション入力が必要な場合に４つのシーン２２２ａ～ｄを同時にレンダリングするようＧＵＩ２２１に切り替えることを選ぶ場合がある。

[0130] ロボット３００を標的位置Ｔまでナビゲートするために、図１１Ａは標的位置Ｔに関連する下向きシーン２２２ｅ内のピクセル位置２２４、又は標的位置Ｔに関連するユーザ選択シーン２２８内のピクセル位置２２４を選択することによってオペレータ１０がナビゲーション入力を与えることを示す。シーン２２２ｅ、２２８それぞれの中のピクセル位置２２４は異なるが、タッチツーゴーアプリケーション４００はオペレータ１０がナビゲーション入力を与えるためにどちらのシーン２２２ｅ、２２８を使用するのかに関係なく、ロボット３００をナビゲートするための同じ標的位置Ｔを決定することができる。他の実装形態では、アプリケーション４００はオペレータ１０がシーン２２２ｅ、２２８の１つだけにナビゲーション入力を与えることを可能にする。ピクセル位置２２４に基づき、タッチツーゴーアプリケーション４００はロボット３００をナビゲートするための標的位置Ｔを決定することができる。したがって図５Ａ～図５Ｆに関して上記で説明したように、ナビゲーション入力を受信することに応答し、図１１Ｂは決定済みの標的位置Ｔに向けて（図１１Ａ及び図１１Ｂのビューに対して）前進するようロボット３００にタッチツーゴーアプリケーション４００が命令すること（例えばウェイポイントコマンドＷを送信すること）を示す。ロボット環境内のロボット３００の現在位置を表示するために、ロボット３００を示すグラフィックを下向きシーン２２２ｅ上にレンダリングすることができる。例えばロボット３００のグラフィックは、標的位置Ｔに進む間ロボット３００の瞬時位置を示すように移動することができる。

[0131] オペレータ１０が一人称ビュー２２８内のロボット環境及び下向きシーン２２２ｅに対するロボット環境を同時に及びリアルタイムで見るように、ユーザ選択シーン２２８及び下向きシーン２２２ｅが同期される。さらにシーン２２２ｅ、２２８の１つの中で標的位置Ｔのためのピクセル位置２２４を選択することは、標的位置Ｔの対応するピクセル位置２２４の選択を他方のシーン２２２ｅ、２２８にミラーリングさせることもできる。有利には、分割画面２２９により、オペレータ１０はロボット３００をナビゲートするために所与の作業、状況、及び／又は環境に適した特定のビュー／シーンを使用する選択肢を有する。

[0132] 図１２Ａ及び図１２Ｂを参照し、一部の実装形態では、移動するようロボット３００に物理的に命令することなしにオペレータ１０がロボット環境のシーン２２２、２２２Ｐ（図１２Ｂ）をプレビューすることを可能にするようにタッチツーゴーアプリケーション４００が構成される。例えばＧＵＩ２２１（図１２Ａ）上で現在のシーン２２２、２２２Ｃを提示する間、ＧＵＩ２２１は第１の旋回グラフィック２７２及び第２の旋回グラフィック２７４も提示し、それらのグラフィックはオペレータ１０によって選択されるとき、現在のシーン２２２Ｃから離れる第１の方向又は逆の第２の方向の一方に視野を旋回させることによるプレビューシーン２２２Ｐ（図１２Ｂ）をＧＵＩ２２１に提示させる。或いは又は加えて、オペレータ１０は、第１の旋回グラフィック２７２及び第２の旋回グラフィック２７４の機能を行うために、コントロールスティック２３０ｂ又は方向ｄパッド２３０ｃ等の携帯型装置２００上のコントロール２３０を使用することができる。そのためＧＵＩ２２１は、旋回グラフィック２７２、２７４の何れかの選択時に現在のシーン２２２Ｃから離れて視野を旋回させる旋回入力、及び／又はコントロールスティック２３０ｂ若しくは方向ｄパッド２３０ｃへのユーザ入力を受信することができる。

[0133] 例えばＧＵＩ２２１は、ロボット３００が物理的に動くことなしに又はターン操作を行うことなしにロボット３００による右へのターン操作を伝えるために、視野を現在のシーン２２２Ｃから離れる第１の方向に（例えば右に）旋回させるための第１の旋回グラフィック２７２の選択を示す旋回入力を受信することができる。一部の例では、第１の旋回グラフィック２７２を選択することは、第１の方向へのターン操作を実行するよう、タッチツーゴーアプリケーション４００がロボット３００にコマンドすることも引き起こす。これらの例では、ＧＵＩ２２１が応答して現在のシーン２２２Ｃから離れる第１の方向に視野を旋回させて、遅れ（例えば携帯型装置２００とロボット３００との間の通信の遅れ、並びにターンを行うためにロボット３００を物理的に制御する時間から生じる遅れ）によりロボット３００が実際にターン操作を行うよりも前に、ターン操作を行っているロボット３００のインスタントフィードバックをオペレータ１０に与えることができる。他の例では第１の旋回グラフィック２７２を選択することは、ロボット３００による動きを物理的に必要とすることなしにオペレータ１０がプレビューシーン２２２Ｄを見られるようにするために、現在のシーン２２２Ｃから離れる第１の方向に単純に視野を旋回させる。例えばオペレータ１０は、ロボット３００に動くように命令する前にナビゲーションの判断をオペレータ１０が行うのを支援するように、第１の方向に視野を旋回させてロボット３００の右側のシーンを見ることができる。一部の例では、視野が旋回する量は第１の旋回グラフィック２７２が（例えば触ることによって）オペレータ１０と接触する時間の長さに比例する。例えば視野はオペレータ１０が第１の旋回グラフィック２７２との接触を離すまで第１の方向に旋回し得る。さらなる例では、第１の旋回グラフィック２７２が触られ離されるたびに視野がある増分だけ旋回する。アプリケーション４００は、グラフィック２７２が選択されたときを示すために拡張（例えば第１の旋回グラフィック２７２の色を変更）し得る。

[0134] 同様にＧＵＩ２２１は、ロボット３００が物理的に動くことなしに又はターン操作を行うことなしにロボット３００による左へのターン操作を伝えるために、視野を現在のシーン２２２Ｃから離れる第２の方向に（例えば左に）旋回させるための第２の旋回グラフィック２７４の選択を示す旋回入力を受信することができる。一部の例では、第２の旋回グラフィック２７４を選択することは、第２の方向へのターン操作を実行するよう、タッチツーゴーアプリケーション４００がロボット３００にコマンドすることも引き起こす。これらの例では、ＧＵＩ２２１が応答して現在のシーン２２２Ｃから離れる第２の方向に視野を旋回させて、遅れ（例えば携帯型装置２００とロボット３００との間の通信の遅れ、並びにターンを行うためにロボット３００を物理的に制御する時間から生じる遅れ）によりロボット３００が実際にターン操作を行うよりも前に、ターン操作を行っているロボット３００のインスタントフィードバックをオペレータ１０に与えることができる。他の例では第２の旋回グラフィック２７４を選択することは、ロボット３００による動きを物理的に必要とすることなしにオペレータ１０がプレビューシーン２２２Ｄを見られるようにするために、現在のシーン２２２Ｃから離れる第２の方向に単純に視野を旋回させる。例えばオペレータ１０は、ロボット３００に動くように命令する前にナビゲーションの判断をオペレータ１０が行うのを支援するように、第２の方向に視野を旋回させてロボット３００の左側のシーンを見ることができる。一部の例では、視野が旋回する量は第２の旋回グラフィック２７４が（例えば触ることによって）オペレータ１０と接触する時間の長さに比例する。例えば、視野はオペレータ１０が接触を離すまで第２の方向に旋回し得る、第２の旋回グラフィック２７４。さらなる例では、第２の旋回グラフィック２７４が触られ離されるたびに視野がある増分だけ旋回する。アプリケーション４００は、グラフィック２７４が選択されたときを示すために拡張（例えば第２の旋回グラフィック２７４の色を変更）し得る。

[0135] 視野が現在のシーン２２２Ｃから離れる第１の方向に旋回されようが、又は第２の方向に旋回されようが、ＧＵＩ２２１上で表示するためにレンダリングされる画像データ３４２は単純に第１の方向又は第２の方向にパン／スライドしない。むしろ第１の方向又は第２の方向に視野を旋回させることが第１の方向又は第２の方向の対応する方向へのロボット３００の実際のターンをシミュレートするように、タッチツーゴーアプリケーション４００はロボット３００上の様々なカメラ３９４によって捕捉される画像データ３４２を編集し変形させるように構成される。画像データ３４２の可用性は、プレビューシーン２２２Ｐが現在のシーン２２２Ｃから離れて何れかの方向にどの程度旋回できるのかを制約し得る。したがって画像データ３４２が入手できなくなる場合、アプリケーション４００は画像データ３４２が入手不能なプレビューシーン２２２Ｐの外縁を一時的に喪失し得る。

[0136] 図１３Ａを参照し、仮想的な矩形５２０を使用してシーン５００（例えば現在のシーン２２２Ｃ）がシーンカメラ５１０からレンダリングされる。シーンカメラ５１０は、ロボット３００の中心付近に位置し、仮想的な矩形５２０の方に前を向く仮想カメラを含む。シーンカメラ５１０は、シーン５００をレンダリングするための画像データ３４２を捕捉するためにロボット３００の１台又は複数台の現実のカメラ３４４を活用することができる。仮想的な矩形５２０は「ステッチ距離」と呼ばれる距離Ｄ隔ててシーンカメラ５１０の前に位置する。シーンカメラ５１０はプログラムで調節可能な視野（ＦＯＶ）を有する。例えばオブジェクトを有するシーンのさらに多くの部分又は少ない部分がＦＯＶに含まれるように、視野角と呼ばれるＦＯＶの角度を増加又は減少させることができる。

[0137] 図１３Ｂを参照し、シーン５００（例えば現在のシーン２２２Ｃ）をレンダリングするために、タッチツーゴーアプリケーション４００は、ロボット３００上の１台又は複数台の現実のカメラ５３０（例えばカメラ３４４）上の対応するピクセルからの画像色を用いて仮想的な矩形５２０上の点を「着色」する。説明目的で、現実のカメラ５３０は知られている位置から知られている方向に実画像５３２を空間内に投射するプロジェクタと考えることができる。例えば図３Ｄを参照し、現実のカメラ５３０は右前カメラ３４４ｂとすることができ、実画像５３２は左前ビュー３４９ａであり得る。

[0138] タッチツーゴーアプリケーション４００は、仮想的な矩形５２０に着色するために、現実のカメラ５３０からの内在的及び外在的な較正情報と共にロボット３００に対する仮想的な矩形５２０の位置を使用する。図１３Ａに関して上記で説明したように、ロボット３００に対する仮想的な矩形５２０の位置はステッチ距離においてロボット３００の前にあるように定められる。タッチツーゴーアプリケーション４００は、ロボット３００に対する現実のカメラ５３０の位置を外在的な較正情報から決定する。内在的な較正情報から、タッチツーゴーアプリケーション４００は仮想的な矩形５２０上の任意の点が実画像５３２内で対応するピクセル（図中では正方形として示す）を決定する。

[0139] 仮想的な矩形５２０上の点が現実のカメラ上のピクセルに対応する場合、タッチツーゴーアプリケーション４００は実画像５３２からの色を用いてそれらの点（図中では〇として示す）に着色する。仮想的な矩形５２０上の点が現実のカメラ５３０上のピクセルに対応しない場合、タッチツーゴーアプリケーション４００は黒色又は他の色でそれらの点（図中では×として示す）に着色する。仮想的な矩形５２０上の全ての点が現実のカメラ５３０上のピクセルに対応し、点が実画像５３２からの色を用いて着色されるようにシーンカメラ５１０が十分ワイドである場合、図１３Ｂに示すようにオペレータ１０はレンダリングされたシーンから実画像５３２の境界を認識することができる。

[0140] 図１３Ｃを参照し、オペレータ１０がロボット３００を現在の姿勢角度（図中では円として示す）からある角度隔てられた標的の姿勢角度（図中では正方形として示す）にターンさせたい場合、タッチツーゴーアプリケーション４００がその角度に一致するプレビュー角度ＰＡの分だけシーンカメラ５１０及び仮想的な矩形５２０を旋回させる。この旋回は、旋回済みのシーンカメラ５１０_{ｒｏｔａｔｅｄ}及び旋回済みの仮想的な矩形５２０_{ｒｏｔａｔｅｄ}をもたらす。次いでタッチツーゴーアプリケーション４００は（明瞭にするために不図示の）実画像からの色を用いて旋回済みの仮想的な矩形５２０_{ｒｏｔａｔｅｄ}上の点に着色してプレビューシーン５４０（例えばプレビューシーン２２２Ｐ）をレンダリングする。

[0141] 一実装形態では、タッチツーゴーアプリケーション４００は、ロボット３００の旋回をコマンドするオペレータ１０のユーザ入力に対応する「仮想速度」を経時的に積分する。例えば仮想速度は、オペレータ１０が第１の旋回グラフィック２７２（図１２Ｂ）又は第２の旋回グラフィック２７４（図１２Ｂ）を選択して押下することに関係する。旋回済みのシーンカメラ５１０_{ｒｏｔａｔｅｄ}及び旋回済みの仮想的な矩形５２０_{ｒｏｔａｔｅｄ}をプレビュー角度ＰＡの分だけ旋回させるために仮想速度を使用することにより、レンダリングされるプレビューシーン５４０がオペレータ１０のコマンドに応じたものとなり、したがってロボット３００が実際にプレビュー角度ＰＡの分だけ旋回することをシミュレートする。つまりプレビューシーン５４０から、オペレータ１０が旋回をコマンドするときロボット３００がターンするように見え、オペレータ１０が旋回のコマンドを止めるときロボット３００がターンを止めるように見える。このような即座の又はほぼ即座のユーザフィードバックは、移動ロボットとの通信の遅延及び／又は移動ロボットがコマンドを実行する際の遅延がある場合の移動ロボットを正確にリモート制御する課題を克服し得る。

[0142] 図１３Ｄを参照し、ロボット３００は旋回していないのでロボット３００上の現実のカメラ５３０、５３０ａ～ｂは現在の視野を維持し、現実のカメラ５３０、５３０ａ～ｂからの実画像５３２、５３２ａ～ｂは現在のシーンを維持する。（明瞭にするために不図示の）シーンカメラが積極的なプレビュー角度まで旋回される場合、図中の〇として示す旋回済みの仮想的な矩形５２０_{ｒｏｔａｔｅｄ}の部分を埋めるのに十分な現実のカメラ５３０からのデータだけがある。×として図中に示す旋回済みの仮想的な矩形５２０_{ｒｏｔａｔｅｄ}の残りの部分は黒色（又は他の色）で埋められる。図１３Ｅに示すように、オペレータ１０はこの部分をプレビューシーン５４０の一番右側の喪失領域１３４０（又は他の着色バー／領域）として認める。

[0143] 図１４Ａ～図１４Ｈは、オペレータ１０がタッチツーゴーアプリケーション４００を使用して現在の姿勢角度から標的の姿勢角度へと右にターンするようにロボット３００にコマンドするときのＧＵＩ２２１の例（図１４Ａ、図１４Ｃ、図１４Ｅ、図１４Ｇ）及びロボット環境３０１の例（図１４Ｂ、図１４Ｄ、図１４Ｆ、図１４Ｈ）を示す。携帯型装置２００を使用するオペレータ１０は、ロボット３００を制御するためのユーザ入力を与える。タッチツーゴーアプリケーション４００はロボット３００を予旋回することによってオペレータ１０のユーザ入力に応答し、そのためオペレータはロボット３００が物理的にターンする前にロボット３００が標的の姿勢角度に向けてロボット環境内でターンすることをロボット３００の視点から見る。

[0144] 説明のために、予旋回プロセスを開始時点Ｔ_{ｓｔａｒｔ}及び停止時点Ｔ_ｓｔｏｐに関して説明する。開始時点Ｔ_{ｓｔａｒｔ}はオペレータがロボットを制御し始める直前の時点に対応し、停止時点Ｔ_ｓｔｏｐはオペレータがロボットの制御を止めた直後の時点に対応する。さらに、開始時点Ｔ_{ｓｔａｒｔ}と停止時点Ｔ_ｓｔｏｐとの間の中間時点Ｔ_１及びＴ_２を参照し、そのため時点の完全な順番はＴ_{ｓｔａｒｔ}、Ｔ_１、Ｔ_２、及びＴ_ｓｔｏｐである。中間時点Ｔ_１及びＴ_２は、オペレータ１０がロボット３００を制御している間にタッチツーゴーアプリケーション４００がロボット３００を予旋回しているときに対応する。

[0145] 携帯型装置２００の画面上に表示されるＧＵＩ２２１内にレンダリングされるシーンは、ロボット３００の視点から見たロボット環境３０１のビューをオペレータ１０に与える。図１４Ａ及び図１４Ｂは開始時点Ｔ_{ｓｔａｒｔ}における前方シーン５５０を示し、図１４Ｃ及び図１４Ｄは中間時点Ｔ_１におけるプレビューシーン５５２を示し、図１４Ｅ及び図１４Ｆは中間時点Ｔ_２における次のプレビューシーン５５４を示し、図１４Ｇ及び図１４ＨはＴ_ｓｔｏｐにおける右向きシーン５５６を示す。図１３Ａ～図１３Ｅに関して上記で説明したように、シーンのそれぞれ（５５０、５５２、５５４、５５６）は仮想的な矩形（５６２、５６４、５６６）を投射するシーンカメラ５６０からＧＵＩ２２１上にレンダリングされる。例えば図１４Ａ及び図１４Ｂを参照し、ＧＵＩ２２１上に前方シーン５５０をレンダリングするために、タッチツーゴーアプリケーション４００は対応するピクセルの画像色を用いて実画像５７０ａ、５７０ｂ内のピクセルに対応する仮想的な矩形５６２上の点に着色する。実画像５７０ａ、５７０ｂ内の如何なるピクセルにも対応しない仮想的な矩形５６２上の点については、タッチツーゴーアプリケーション４００はそれらの点を黒色（又は別の色）で着色する（例えば図１３Ｅの喪失領域１３４０）。実画像５７０ａ、５７０ｂはロボット３００上の現実のカメラ（明瞭にするために不図示）によって捕捉される。例えば図３Ｄを参照し、現実のカメラは左前カメラ３４４ａ及び右前カメラ３４４ｂとすることができる。

[0146] 引き続き図１４Ａ及び図１４Ｂを参照し、開始時点Ｔ_{ｓｔａｒｔ}においてロボット３００は現在の姿勢角度にあり、又は単純にするためにロボット３００は前方向を向いている。ロボット３００上の現実のカメラによって捕捉される実画像５７０ａ、５７０ｂは前方向のロボット環境のものであり、この例では参照し易いように「前方ビュー」と呼ぶ。タッチツーゴーアプリケーション４００は、前方ビューの実画像５７０ａ及び実画像５７０ｂからの画像色を用いて仮想的な矩形５６２を着色することによってＧＵＩ２２１上に表示するための前方シーン５５０をレンダリングする。ＧＵＩ２２１を見ているオペレータ１０にとって、前方シーン５５０からロボット３００は前方向を向いているように見える。

[0147] オペレータ１０は、ＧＵＩ２２１上に表示される第１の旋回グラフィック２３２及び第２の旋回グラフィック２３４を使用して、現在の姿勢角度に対して右に又は左にターンするようロボット３００にコマンドする。この例ではオペレータ１０が第１の旋回グラフィック２３２を押下して、現在の姿勢角度から標的の姿勢角度の方へロボット３００を右に旋回させるためのコマンドを示すユーザ入力指示を与える。

[0148] 図１４Ｃ及び図１４Ｄを参照し、オペレータ１０がロボット３００を制御する間の中間時点Ｔ_１において、タッチツーゴーアプリケーション４００はユーザ入力指示に対応する仮想速度からプレビュー角度ＰＡを決定する。図示の例では、中間時点Ｔ_１におけるプレビュー角度ＰＡは（円として示す）現在の姿勢角度と（正方形として示す）中間の姿勢角度との間の角度として示す。タッチツーゴーアプリケーション４００はシーンカメラ５６０をプレビュー角度ＰＡの分だけ旋回させ、旋回済みの仮想的な矩形５６４をもたらす。しかしロボット３００は前方向を向いたままであり、実画像５７０ａ及び実画像５７０ｂは依然として前方ビューのものである。

[0149] 旋回済みの仮想的な矩形５６４を実画像５７０ａ及び実画像５７０ｂと隔てるプレビュー角度ＰＡにおいて、図１４Ｄは旋回済みの仮想的な矩形５６４上の全ての点が実画像５７０ａ又は実画像５７０ｂ内のピクセルとの対応関係を見出すことを示す。タッチツーゴーアプリケーション４００は、前方ビューの実画像５７０ａ及び実画像５７０ｂからの画像色を用いて旋回済みの仮想的な矩形５６４に着色することによってＧＵＩ２２１上に表示するためのプレビューシーン５５２をレンダリングする。ＧＵＩ２２１を見ているオペレータ１０にとって、プレビューシーン５５２からロボット３００が自身のコマンドに応答して右にターンしているように見える。しかし、現実にはロボット３００は依然として前方向（すなわちロボット３００の現在の姿勢角度）を向いている。

[0150] オペレータ１０は標的の姿勢角度の方へ右にターンし続けるようロボット３００にコマンドするために、右矢印ボタン２３２を押し続け又は押下し続ける。図１４Ｅ及び図１４Ｆを参照し、オペレータ１０がロボット３００を制御する間の中間時点Ｔ_２において、タッチツーゴーアプリケーション４００はユーザ入力２０２に対応する仮想速度から次のプレビュー角度ＰＡ_ｎｅｘｔを決定する。図示の例では、中間時点Ｔ_２における次のプレビュー角度ＰＡ_ｎｅｘｔは（円として示す）現在の姿勢角度と（三角形として示す）次の中間の姿勢角度との間の角度として示す。タッチツーゴーアプリケーション４００はシーンカメラ５６０を次のプレビュー角度ＰＡ_ｎｅｘｔの分だけ旋回させ、次の旋回済みの仮想的な矩形５６６をもたらす。しかしロボット３００は前方向を向いたままであり、実画像５７０ａ及び実画像５７０ｂは依然として前方ビューのものである。

[0151] 次の旋回済みの仮想的な矩形５６６を実画像５７０ａ及び実画像５７０ｂと隔てる次のプレビュー角度ＰＡ_ｎｅｘｔにおいて、図１４Ｆは次の旋回済みの仮想的な矩形５６６上の全ての点が実画像５７０ａ又は実画像５７０ｂ内のピクセルとの対応関係を見出すわけではないことを示す。簡単に言えば、次の旋回済みの仮想的な矩形５６６上の全ての点に着色するのに実画像５７０ａ及び実画像５７０ｂからの情報又は画像データがないほど、ロボット３００上の現実のカメラに対してシーンカメラ５６０が大きい又は極端な角度にある。タッチツーゴーアプリケーション４００は、それらの対応するピクセルの画像色を用いて実画像５７０ａ及び実画像５７０ｂ内で見つかるピクセルと一致する次の旋回済みの仮想的な矩形５６６上の点（図中では〇として示す）に着色することによってＧＵＩ２２１上に表示するための次のプレビューシーン５５４をレンダリングする。

[0152] 実画像５７０ａ及び実画像５７０ｂ内で見つかる如何なるピクセルとも一致しない次の旋回済みの仮想的な矩形５６６上の点について、タッチツーゴーアプリケーション４００はそれらの点（図中では×として示す）を黒色で又は別の色で着色する。携帯型装置２００は、実画像５７０ａ及び実画像５７０ｂからの画像データが欠如していること又はないことを示すシーンの右側の黒色領域と共に次のプレビューシーン５５４をオペレータ１０に表示する。オペレータ１０にとって、次のプレビューシーン５５４からロボット３００が自身のコマンドに応答して右にターンしているように見える。しかし、現実にはロボット３００は依然として前方向を向いている。前の中間時点Ｔ_１と異なり、中間時点Ｔ_２ではロボット３００の視点から見たロボット環境についてのオペレータ１０のビューは次の大きなプレビュー角度ＰＡ_ｎｅｘｔが原因で不完全又は部分的である。

[0153] ロボット３００が標的の姿勢角度に達したことをオペレータ１０が認めると、オペレータ１０は右矢印ボタン２３２を離してユーザ入力２０２を与えるのを止める。停止時点Ｔ_ｓｔｏｐにおいて、タッチツーゴーアプリケーション４００はユーザ入力２０２の最後に対応する仮想速度から旋回角度ＡＯＲを決定する。図４Ａと共に図１４Ｇ及び図１４Ｆを参照し、タッチツーゴーアプリケーション４００は旋回角度ＡＯＲを有する旋回コマンドＲをトラバーサルシステム３８０に与える。それを受けてトラバーサルシステム３８０は、センサシステム３４０及び／又は知覚システム３９０からの入力を用いて旋回コマンドＲを行い、ロボット３００はその現在の姿勢角度から（図中では六角形として示す）標的の姿勢角度にターンする。

[0154] ロボット３００は標的の姿勢角度にターンした後でようやく右方向を向いている。ロボット３００上の現実のカメラはロボット環境３０１の右方向の実画像５７２ａ、５７２ｂを捕捉し、それらの画像は参照し易いようにこの例では「右向きビュー」と呼ぶ。タッチツーゴーアプリケーション４００はシーンカメラ５６０及び仮想的な矩形５６２をその非旋回状態に戻し或いはリセットし、それによりシーンカメラ５６０及び仮想的な矩形５６２も右方向を向く。タッチツーゴーアプリケーション４００の予旋回プロセスにロボット３００が旋回的に「追いついた」と言うのが簡便な場合がある。

[0155] ロボット３００上の現実のカメラ及びシーンカメラ５６０が同じ全般的方向を向いた状態で、図１４Ｈは仮想的な矩形５６２上の全ての点が右向きビューの実画像５７２ａ又は実画像５７２ｂ内の対応するピクセルを有することを示す。対照的に図１４Ｆに示す例では、シーンカメラ５６０が現実のカメラの右に旋回され過ぎており、そのため次の旋回済みの仮想的な矩形５６６上の全ての点に着色するための前方ビューの実画像５７０ａ及び実画像５７０ｂからの十分な情報がない。タッチツーゴーアプリケーション４００は、右向きビューの実画像５７２ａ及び実画像５７２ｂからの画像色を用いて仮想的な矩形５６２に着色することによってＧＵＩ２２１上に表示するための右向きシーン５５６をレンダリングする。

[0156] 予旋回プロセスの上記の解説では、オペレータ１０がロボット３００の制御を止めると（すなわちオペレータ１０がユーザ入力を与えなくなると）（旋回コマンドＲ内で）旋回角度を与えるものとしてタッチツーゴーアプリケーション４００を説明した。タッチツーゴーアプリケーション４００の他の実装形態は、設定した期間にわたってオペレータ１０からユーザ入力を受信した後で（例えばタイマがタイムアウトした後で）旋回角度をロボット３００に与える。例示目的で、タッチツーゴーアプリケーション４００はユーザ入力を受信する５ミリ秒ごとに旋回角度を与える。この例ではオペレータ１０が１５ミリ秒にわたってユーザ入力を与え、タッチツーゴーアプリケーション４００は５ミリ秒において第１の旋回角度を与え、１０ミリ秒において第２の旋回角度を与え、１５ミリ秒において第３の旋回角度を与えることによって応答する。タッチツーゴーアプリケーション４００のかかる実装形態により、ロボット３００は増分的にターンする一方、タッチツーゴーアプリケーション４００はロボット３００を継続的に予旋回させる。有利には、かかる実装形態はロボット３００を予旋回する間にプレビューシーンをレンダリングするとき、実画像からの欠落している画像データの量を減らし得る。

[0157] 加えて予旋回プロセスの上記の解説は、タッチツーゴーアプリケーション４００を離散的な瞬間（例えば中間時点Ｔ_１及び中間時点Ｔ_２）に関して説明した。予旋回プロセスの他の実装形態は連続的に行われ得る。例えばタッチツーゴーアプリケーション４００は、オペレータ１０によって与えられる継続的なユーザ入力に応答してロボット３００を継続的に予旋回させる。このように予旋回させることは、ロボット３００にコマンドが実際に送信される前にオペレータ１０が自身のコマンドの最終結果を見ることを可能にする即座のフィードバックを与える。

[0158] 図１５は、ロボット３００をナビゲートするための方法６００に関する操作の構成例のフローチャートである。操作６０２で、方法６００はロボット３００上のカメラによって捕捉されるロボット環境のシーン内のピクセル位置を得る。得られるピクセル位置はロボット３００のオペレータによって選択される。操作６０４で、方法６００はピクセル位置及びカメラの較正情報からポインティングベクトルを決定する。操作６０６で、方法６００はロボット３００のポインティングベクトルを地表面推定と組み合わせて交点を形成する。ここでは、交点はロボット環境内の物理的位置を含む。操作６０８で、方法６００はロボット３００に物理的位置を伝送し、ロボット環境内の物理的位置にロボット３００をナビゲートさせる。

[0159] 図１６は、ロボット３００を「予旋回」する方法７００に関する操作の構成例のフローチャートである。操作７０２で、方法７００はロボット３００上に配置される１台又は複数台の現実のカメラによって捕捉されるロボット環境の前方ビューの実画像を取得し、ロボット３００は前方の姿勢角度にあり、前方向を向いている。操作７０４で、方法７００は前方の姿勢角度からロボット３００が右方向又は左方向を向いているターン済みの姿勢角度までターンするときロボット３００が旋回するプレビュー角度を決定する。操作７０６で、方法７００はプレビュー角度の分だけ仮想シーンカメラを旋回させる。ここでは仮想シーンカメラがロボット３００の前方の姿勢角度に対して旋回している。操作７０８で、仮想シーンカメラによって投射される仮想的な矩形上の点ごとに、方法７００は個々の点が実画像内のピクセルに対応するかどうかを決定する。操作７１０で、方法７００は対応するピクセルを含むプレビューシーンを表示する。ここではプレビューシーンは、前方の姿勢角度からターン済みの姿勢角度まで移動ロボットが実際にターンすることなしに、右方向又は左方向にプレビュー角度の分だけターンされるロボット環境のビューである。

[0160] 図１７は、ロボット３００を制御する方法１７００に関する操作の構成例のフローチャートである。操作１７０２で、方法１７００はオペレータ装置２００のデータ処理ハードウェア２４０において少なくとも１つのイメージセンサ３４４から画像データ３４２を受信することを含む。画像データ３４２はロボット３００の周囲の環境３０１に対応する。

[0161] 操作１７０４で、方法１７００はオペレータ装置２００の画面２２０上に表示するためのグラフィカルユーザインタフェース（ＧＵＩ）２２１をデータ処理ハードウェア２４０によって実行することを含む。ＧＵＩ２２１は、画像データ３４２に基づいてロボット３００の周囲の環境３０１のシーン２２２を表示し、ロボット３００の周囲の環境３０１のシーン２２２内のピクセル位置２２４の選択を示す入力指示を受信するように構成される。

[0162] 操作１７０６で、方法１７００はピクセル位置２２４の選択に基づいてポインティングベクトルＶをデータ処理ハードウェア２４０によって決定することを含む。ポインティングベクトルは、環境３０１内でロボット３００をナビゲートするための移動方向を表す。操作１７０８で、方法１７００はロボット３００にウェイポイントコマンドＷをデータ処理ハードウェア２４０によって伝送することを含む。ウェイポイントコマンドＷはロボット３００によって受信されると、標的位置Ｔまでロボット３００をナビゲートさせる。標的位置は、ロボット３００のポインティングベクトルＶと地形推定（例えば地表面推定）Ｇとの交点に基づく。

[0163] 一部の実装形態では、データ処理ハードウェア２４０が地形推定（例えば地表面推定）を決定し、ポインティングベクトルＶと地表面推定Ｇとの交点に基づく実際のウェイポイントとしてウェイポイントコマンドＷを送信する。他の実装形態では、交点Ｉに基づく実際の「ウェイポイント」を送信する代わりに、携帯型装置２００上で実行されるアプリケーション４００は、シーン２２２に対応する画像データ２４２を捕捉する少なくとも１台のカメラ３４４の起源に対応する世界空間内の点を含むウェイポイントコマンドＷ、及びシーン２２２内のピクセル位置２２４の選択に基づく世界空間内のポインティングベクトルＶを送信する。このシナリオでは、世界空間内の点及びポインティングベクトルＶを単に含むウェイポイントコマンドＷを受信すると、ロボット３００はそれに応答して距離閾値に達するまで又はポインティングベクトルＶと交差する障害物をロボット３００が検出するまでポインティングベクトルＶの方向に移動する。有利には、携帯型装置２００のデータ処理ハードウェア２４０はロボット３００に送信される実際の「ウェイポイント座標」を計算するための地形推定（例えば地表面推定Ｇ）を決定する必要がなく、代わりにロボット３００が標的位置Ｔに近づくとき、ロボット３００がポインティングベクトルＶの方向にナビゲートしながら地形推定（例えば地表面推定）を継続的に再計算することを可能にする。この形態は、携帯型装置２００上の計算済みの／決定済みの地形推定（例えば地表面推定）が無効であるシナリオにおいてロボット３００のナビゲーションを最適化し得る。

[0164] ソフトウェアアプリケーション（すなわちソフトウェアリソース）はコンピューティングデバイスに作業を行わせるコンピュータソフトウェアを指し得る。一部の例では、ソフトウェアアプリケーションを「アプリケーション」、「アプリ」、又は「プログラム」と呼ぶ場合がある。アプリケーションの例は、これだけに限定されないがシステム診断アプリケーション、システム管理アプリケーション、システム保守アプリケーション、文書処理アプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、及びゲーミングアプリケーションを含む。

[0165] 図１８は、本明細書に記載したシステム及び方法を実装するために使用することができるコンピューティングデバイス８００の一例の概略図である。コンピューティングデバイス８００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータ等の様々な形のデジタルコンピュータを表すことを意図する。ここに示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は、例に過ぎないものとし、本明細書に記載され、及び／又は特許請求される本発明の実施を限定するものではない。

[0166] コンピューティングデバイス８００は、プロセッサ８１０、メモリ８２０、記憶装置８３０、メモリ８２０と高速拡張ポート８５０に接続される高速インタフェース／コントローラ８４０、及び低速バス８７０と記憶装置８３０に接続される低速インタフェース／コントローラ８６０を含む。コンポーネント８１０、８２０、８３０、８４０、８５０、及び８６０の各々は、各種のバスを使って相互接続され、共通のマザーボード上に、又はその他の適当な方法で実装され得る。プロセッサ８１０は、コンピューティングデバイス８００内で実行されるための命令を処理することができ、これにはメモリ８２０内又は記憶装置８３０上に記憶される、高速インタフェース８４０に連結されたディスプレイ８８０等の外部入力／出力デバイス上にグラフィカルユーザインタフェース（ＧＵＩ）のためのグラフィック情報を表示させる命令が含まれる。他の実装形態において、複数のプロセッサ及び／又は複数のバスが、複数のメモリ及びメモリタイプと共に適切に使用され得る。また、複数のコンピューティングデバイス８００が接続され得て、各デバイスが必要な動作の一部を（例えば、サーババンク、ブレードサーバ群、又はマルチプロセッサシステムとして）提供する。

[0167] メモリ８２０は、コンピューティングデバイス８００内に非一時的に情報を保存する。メモリ８２０は、コンピュータ可読媒体、揮発性メモリユニット、又は不揮発性メモリユニットであり得る。不揮発性メモリ８２０は、プログラム（例えば、命令のシーケンス）又はデータ（例えば、プログラム状態情報）をコンピューティングデバイス８００により使用されるために一時的又は永久的に記憶するために使用される物理デバイスであり得る。不揮発性メモリの例には、フラッシュメモリ及びリードオンリメモリ（ＲＯＭ）／プログラマブルリードオリメモリ（ＰＲＯＭ）／イレーサブルプログラマブルリードオンリメモリ（ＥＰＲＯＭ）／エレクトロニカルイレーサブルプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）（例えば、典型的に、ブートプログラム等、ファームウェアのために使用される）が含まれるが、これらに限定されない。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、及びディス又はテープが含まれるが、これらに限定されない。

[0168] 記憶装置８３０は、コンピューティングデバイス８００のための大量記憶を提供できる。幾つかの実装形態において、記憶装置８３０は、コンピュータ可読媒体である。各種の異なる実装形態において、記憶装置８３０はフロッピディスクデバイス、ハードディスクデバイス、光ディスクデバイス、又はテープデバイス、フラッシュメモリ若しくはその他同様のソリッドステートメモリデバイス又は、記憶エリアネットワーク若しくはその他の構成のデバイスを含むデバイスのアレイであり得る。追加的な実装形態において、コンピュータプログラム製品は、情報キャリア内で有形の状態に具現化される。コンピュータプログラム製品は、実行されると、１つ又は複数の方法、例えば前述の方法を実行する命令を含む。情報キャリアは、コンピュータ又は機械可読媒体、例えばメモリ８２０、記憶装置８３０、又はプロセッサ８１０上のメモリである。

[0169] 高速コントローラ８４０は、コンピューティングデバイス８００のためのバンド幅集約動作を管理し、他方で、低速コントローラ８６０は、よりバンド幅集約性の低い動作を管理する。このような担当作業の割り当ては例示にすぎない。一部の実装形態では、高速コントローラ８４０がメモリ８２０、ディスプレイ８８０（例えばグラフィックスプロセッサ又はアクセラレータ経由）、及び様々な拡張カード（不図示）を受け入れることができる高速拡張ポート８５０に連結される。一部の実装形態では、低速コントローラ８６０が記憶装置８３０及び低速拡張ポート８９０に連結される。低速拡張ポート８９０は、各種の通信ポート（例えば、ＵＳＢ、Bluetooth、イーサネット、無線イーサネット）を含み得て、１つ又は複数の入力／出力デバイス、例えばキーボード、ポインティングデバイス、スキャナ、又はスイッチや又はルータ等のネットワークデバイスに、例えばネットワークアダプタを通じて連結され得る。

[0170] 図示のように、コンピューティングデバイス８００は幾つかの異なる形で実装することができる。例えばコンピューティングデバイス８００は、標準サーバ８００ａとして若しくはかかるサーバ８００ａのグループ内で複数回実装されてもよく、ラップトップコンピュータ８００ｂとして実装されてもよく、又はラックサーバシステム８００ｃの一部として実装されてもよい。

[0171] 本明細書の記載のシステム及び技術の各種の実装形態は、デジタル電子機器及び／又は光回路構成、集積回路、特別に設計されたＡＳＩＣ（特定用途集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組合せで実現できる。これらの各種の実装形態は、特定目的用でも汎用でもよい、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、そこにデータ及び命令を送信するために連結された少なくとも１つのプログラマブルプロセッサを含むプログラム可能システム上で実行可能及び／又は解釈可能な１つ又は複数のコンピュータプログラムでの実装を含むことができる。

[0172] これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとしても知られる）は、プログラム可能プロセッサのための機械命令を含み、高レベル手続き型及び／又はオブジェクト指向プログラミング言語及び／又はアセンブリ／機械言語で実装できる。本明細書で使用されるかぎり、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械命令及び／又はデータをプログラム可能プロセッサに提供するために使用されるあらゆるコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置、及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤｓ））を指し、機械可読信号として機械命令を受け取る機械可読媒体も含まれる。「機械可読信号」という用語は、機械命令及び／又はデータをプログラム可能プロセッサに提供するために使用されるあらゆる信号を指す。

[0173] 本明細書に記載されるプロセッサ及びロジックフローは、入力データを処理し、出力を生成することによって機能を果たすために１つ又は複数のコンピュータプログラムを実行する、データ処理ハードウェアとも呼ばれる１つ又は複数のプログラム可能プロセッサにより実行可能である。プロセッサ及びロジックフローはまた、特殊用途の論理回路構成、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途集積回路）等によっても実行可能である。コンピュータプログラムの実行に適したプロセッサには、例えば汎用及び特殊用途のマイクロプロセッサ、あらゆる種類のデジタルコンピュータの１つ又は複数のプロセッサが含まれる。一般に、プロセッサはリードオンリメモリ若しくはランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの基本要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための１つ又は複数のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための１つ又は複数の大量記憶装置、例えば磁気、磁気光ディスク、又は光ディスクを含むか、これらからデータを受信し、又はそれらにデータを送信するために動作的に連結される。しかしながら、コンピュータは、このようなデバイスを含んでいなくてもよい。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体には、あらゆる形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれ、これらには例えば、半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、磁気ディスク、例えば内蔵ハードディスク若しくはリムーバブルディスク、磁気光ディスク、並びにＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクが含まれる。プロセッサとメモリは、特殊用途の論理回路構成により補足され、又はその中に組み込まれることも可能である。

[0174] ユーザとの対話を可能にするために、本開示の１つ又は複数の態様はユーザに情報を表示するための表示装置、例えばＣＲＴ（ブラウン管）、ＬＣＤ（液晶ディスプレイ）モニタ、又はタッチスクリーン、及び任意選択的にユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス、例えばマウス又はトラックボールを有するコンピュータ上で実装され得る。ユーザとの対話を可能にするために他の種類のデバイスを使用することもでき、例えばユーザに与えられるフィードバックは任意の形の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザからの入力は音響入力、音声入力、又は触覚入力を含む任意の形で受信することができる。加えてコンピュータは、ユーザによって使用されるデバイスとの間で文書を送受信することによって、例えばユーザのクライアントデバイス上のウェブブラウザから受信される要求に応じてそのウェブブラウザにウェブページを送信することによってユーザと対話することができる。

[0175] 様々な実施形態を説明した。しかしながら、本開示の主旨と範囲から逸脱することなく、各種の改良が加えられてよいと理解されたい。したがって、その他の実装形態も以下の特許請求の範囲に含まれる。

Claims (28)

1. オペレータ装置（２００）のデータ処理ハードウェア（２４０）において少なくとも１つのイメージセンサ（３４４）から画像データ（２４２）を受信することであって、前記画像データ（２４２）はロボット（３００）の周囲の環境（３０１）に対応する、前記画像データ（２４２）を受信すること、
   前記オペレータ装置（２００）の画面（２２０）上に表示するためのグラフィカルユーザインタフェース（２２１）を前記データ処理ハードウェア（２４０）によって実行することであって、前記グラフィカルユーザインタフェース（２２１）は
   前記画像データ（２４２）に基づいて前記ロボット（３００）の周囲の前記環境（３０１）のシーン（２２２）を表示し、
   前記ロボット（３００）の周囲の前記環境（３０１）の前記シーン（２２２）内のピクセル位置（２２４）の選択を示す入力指示を受信する
   ように構成される、前記グラフィカルユーザインタフェース（２２１）を実行すること、
   前記ピクセル位置（２２４）の前記選択に基づいてポインティングベクトルを前記データ処理ハードウェア（２４０）によって決定することであって、前記ポインティングベクトルは前記環境（３０１）内で前記ロボット（３００）をナビゲートするための移動方向を表す、前記ポインティングベクトルを決定すること、及び
   前記ロボット（３００）にウェイポイントコマンドを前記データ処理ハードウェア（２４０）によって伝送することであって、前記ウェイポイントコマンドは前記ロボット（３００）によって受信されると、前記ロボット（３００）の前記ポインティングベクトルと地形推定との交点に基づく標的位置まで前記ロボット（３００）をナビゲートさせる、前記ウェイポイントコマンドを伝送すること
   を含む、方法（１７００）。
2. 前記ロボット（３００）の周囲の前記環境（３０１）の前記シーン（２２２）が、
   前記画像データ（２４２）に基づく前記環境（３０１）の前方シーン（２２２）であって、前記画像データ（２４２）は前記ロボット（３００）上に配置される左前カメラ（３４４）及び右前カメラ（３４４）によって捕捉される、前方シーン（２２２）、
   前記画像データ（２４２）に基づく前記環境（３０１）の左側シーン（２２２）であって、前記画像データ（２４２）は前記ロボット（３００）上に配置される左側カメラ（３４４）によって捕捉される、左側シーン（２２２）、
   前記画像データ（２４２）に基づく前記環境（３０１）の右側シーン（２２２）であって、前記画像データ（２４２）は前記移動ロボット（３００）上に配置される右側カメラ（３４４）によって捕捉される、右側シーン（２２２）、
   前記画像データ（２４２）に基づく前記環境（３０１）の後方シーン（２２２）であって、前記後方シーン（２２２）は前記ロボット（３００）上に配置される後方カメラ（３４４）によって捕捉される、後方シーン（２２２）、又は
   前記画像データ（２４２）に基づく前記ロボット（３００）の下向きシーン（２２２）であって、前記画像データ（２４２）はペイロードカメラ（３４４）、前記左前カメラ（３４４）、前記右前カメラ（３４４）、前記左側カメラ（３４４）、前記右側カメラ（３４４）、及び前記後方カメラ（３４４）によって捕捉される、下向きシーン（２２２）
   のうちの何れか１つを含む、請求項１に記載の方法（１７００）。
3. 前記ポインティングベクトルと前記地形推定との前記交点が前記ロボット（３００）の前にあるかどうかを前記データ処理ハードウェア（２４０）によって決定すること、及び
   前記ポインティングベクトルと前記地形推定との前記交点が前記ロボット（３００）の前にある場合は前記交点を前記標的位置として前記データ処理ハードウェア（２４０）によって識別すること
   をさらに含む、請求項１又は２に記載の方法（１７００）。
4. 前記ポインティングベクトルと前記地形推定との前記交点が前記ロボット（３００）の背後にある場合、
   前記データ処理ハードウェア（２４０）によって前記交点を反射して前記ロボット（３００）の前の反射交点を決定すること、及び
   前記反射交点を前記標的位置として前記データ処理ハードウェア（２４０）によって識別すること
   をさらに含む、請求項３に記載の方法（１７００）。
5. 前記標的位置として前記交点を識別する前に、
   前記ロボット（３００）の現在位置と前記ポインティングベクトル及び前記地形推定間の前記交点との間の第１の距離が閾値距離を満たさないことを前記データ処理ハードウェア（２４０）によって決定すること、及び
   移動済み交点を形成するために前記データ処理ハードウェア（２４０）によって前記ロボット（３００）により近い中間位置に前記交点を移動することであって、前記ロボット（３００）の前記現在位置と前記移動済み交点との間の第２の距離は前記閾値距離を満たす、前記交点を移動すること
   をさらに含む、請求項３又は４に記載の方法（１７００）。
6. 前記ロボット（３００）は、
   前記標的位置が障害物の背後にあるかどうかを決定するように構成され、及び
   前記標的位置が前記障害物の背後にない場合は前記標的位置まで自律的にナビゲートするか、又は
   前記標的位置が前記障害物の背後にある場合、
   前記障害物を回避することが可能かどうかを決定し、
   前記障害物を回避することが可能である場合は前記障害物を回避し前記標的位置まで前記ロボット（３００）を自律的にナビゲートする
   うちの一方であるように構成される、請求項１乃至５の何れか一項に記載の方法（１７００）。
7. 前記ロボット（３００）は、前記標的位置が前記障害物の背後にあり前記障害物を回避することが不可能である場合、前記標的位置まで前記ロボット（３００）が自律的にナビゲートされるのを妨げるようにさらに構成される、請求項６に記載の方法（１７００）。
8. 前記少なくとも１つのイメージセンサ（３４４）が１つ又は複数の魚眼カメラ（３４６）及び１つ又は複数の赤外線カメラ（３４８）を含む、請求項１乃至７の何れか一項に記載の方法（１７００）。
9. 前記ロボット（３００）が四足ロボット（３００）を含む、請求項１乃至８の何れか一項に記載の方法（１７００）。
10. 前記少なくとも１つのイメージセンサ（３４４）が前記ロボット（３００）上に配置され、
    前記オペレータ装置（２００）がネットワーク（１８０）によって前記イメージセンサ（３４４）と通信する、
    請求項１乃至９の何れか一項に記載の方法（１７００）。
11. 前記グラフィカルユーザインタフェース（２２１）が、
    前記グラフィカルユーザインタフェース（２２１）内に表示されている現在のシーン（２２２Ｃ）から離れる方向に前記ロボット（３００）の周囲の前記環境（３０１）の視野を旋回させるための旋回入力を受信し、
    前記現在のシーン（２２２Ｃ）から離れる前記方向に前記ロボット（３００）の周囲の前記環境（３０１）の前記視野を旋回させることによってプレビューシーン（２２２Ｐ）を表示する
    ようにさらに構成される、請求項１乃至１０の何れか一項に記載の方法（１７００）。
12. 前記グラフィカルユーザインタフェース（２２１）が、前記ロボット（３００）による物理的な動きを必要とすることなしに前記プレビューシーン（２２２Ｐ）を表示するように構成される、請求項１１に記載の方法（１７００）。
13. 前記グラフィカルユーザインタフェース（２２１）が、前記グラフィカルユーザインタフェース（２２１）内に表示される旋回グラフィックの選択を示す入力指示を受信することに応答して前記旋回入力を受信するように構成される、請求項１１又は１２に記載の方法（１７００）。
14. 前記現在のシーン（２２２Ｃ）から離れる前記方向に前記ロボット（３００）の周囲の前記環境（３０１）の前記視野を前記旋回させることが、前記現在のシーン（２２２Ｃ）から離れる前記方向に及び前記プレビューシーン（２２２Ｐ）へ向かう前記方向に前記ロボット（３００）がターン操作を行うことをシミュレートする、請求項１１乃至１３の何れか一項に記載の方法（１７００）。
15. データ処理ハードウェア（２４０）、及び
    前記データ処理ハードウェア（２４０）と通信するメモリハードウェア（２５０）
    を含むシステム（２００）であって、前記メモリハードウェア（２５０）は、前記データ処理ハードウェア（２４０）上で実行されるとき、
    少なくとも１つのイメージセンサ（３４４）から画像データ（２４２）を受信することであって、前記画像データ（２４２）はロボット（３００）の周囲の環境（３０１）に対応する、前記画像データ（２４２）を受信すること、
    オペレータ装置（２００）の画面（２２０）上に表示するためのグラフィカルユーザインタフェース（２２１）を実行することであって、前記グラフィカルユーザインタフェース（２２１）は
    前記画像データ（２４２）に基づいて前記ロボット（３００）の周囲の前記環境（３０１）のシーン（２２２）を表示し、
    前記ロボット（３００）の周囲の前記環境（３０１）の前記シーン（２２２）内のピクセル位置（２２４）の選択を示す入力指示を受信する
    ように構成される、前記グラフィカルユーザインタフェース（２２１）を実行すること、
    前記ピクセル位置（２２４）の前記選択に基づいてポインティングベクトルを決定することであって、前記ポインティングベクトルは前記環境（３０１）内で前記ロボット（３００）をナビゲートするための移動方向を表す、前記ポインティングベクトルを決定すること、及び
    前記ロボット（３００）にウェイポイントコマンドを伝送することであって、前記ウェイポイントコマンドは前記ロボット（３００）によって受信されると、前記ロボット（３００）の前記ポインティングベクトルと地形推定との交点に基づく標的位置まで前記ロボット（３００）をナビゲートさせる、前記ウェイポイントコマンドを伝送すること
    を含む操作を前記データ処理ハードウェア（２４０）に実行させる命令を記憶する、
    システム（２００）。
16. 前記ロボット（３００）の周囲の前記環境（３０１）の前記シーン（２２２）が、
    前記画像データ（２４２）に基づく前記環境（３０１）の前方シーン（２２２）であって、前記画像データ（２４２）は前記ロボット（３００）上に配置される左前カメラ（３４４）及び右前カメラ（３４４）によって捕捉される、前方シーン（２２２）、
    前記画像データ（２４２）に基づく前記環境（３０１）の左側シーン（２２２）であって、前記画像データ（２４２）は前記ロボット（３００）上に配置される左側カメラ（３４４）によって捕捉される、左側シーン（２２２）、
    前記画像データ（２４２）に基づく前記環境（３０１）の右側シーン（２２２）であって、前記画像データ（２４２）は前記移動ロボット（３００）上に配置される右側カメラ（３４４）によって捕捉される、右側シーン（２２２）、
    前記画像データ（２４２）に基づく前記環境（３０１）の後方シーン（２２２）であって、前記後方シーン（２２２）は前記ロボット（３００）上に配置される後方カメラ（３４４）によって捕捉される、後方シーン（２２２）、又は
    前記画像データ（２４２）に基づく前記ロボット（３００）の下向きシーン（２２２）であって、前記画像データ（２４２）はペイロードカメラ（３４４）、前記左前カメラ（３４４）、前記右前カメラ（３４４）、前記左側カメラ（３４４）、前記右側カメラ（３４４）、及び前記後方カメラ（３４４）によって捕捉される、下向きシーン（２２２）
    のうちの何れか１つを含む、請求項１５に記載のシステム（２００）。
17. 前記操作は、
    前記ポインティングベクトルと前記地形推定との前記交点が前記ロボット（３００）の前にあるかどうかを決定すること、及び
    前記ポインティングベクトルと前記地形推定との前記交点が前記ロボット（３００）の前にある場合は前記交点を前記標的位置として識別すること
    をさらに含む、請求項１５又は１６に記載のシステム（２００）。
18. 前記操作は、
    前記ポインティングベクトルと前記地形推定との前記交点が前記ロボット（３００）の背後にある場合、
    前記交点を反射して前記ロボット（３００）の前の反射交点を決定すること、及び
    前記反射交点を前記標的位置として識別すること
    をさらに含む、請求項１７に記載のシステム（２００）。
19. 前記操作は前記標的位置として前記交点を識別する前に、
    前記ロボット（３００）の現在位置と前記ポインティングベクトル及び前記地形推定間の前記交点との間の第１の距離が閾値距離を満たさないことを決定すること、及び
    移動済み交点を形成するために前記ロボット（３００）により近い中間位置に前記交点を移動することであって、前記ロボット（３００）の前記現在位置と前記移動済み交点との間の第２の距離は前記閾値距離を満たす、前記交点を移動すること
    をさらに含む、請求項１７又は１８に記載のシステム（２００）。
20. 前記ロボット（３００）は、
    前記標的位置が障害物の背後にあるかどうかを決定するように構成され、及び
    前記標的位置が前記障害物の背後にない場合は前記標的位置まで自律的にナビゲートする、又は
    前記標的位置が前記障害物の背後にある場合、
    前記障害物を回避することが可能かどうかを決定し、
    前記障害物を回避することが可能である場合は前記障害物を回避し前記標的位置まで前記ロボット（３００）を自律的にナビゲートする
    うちの一方であるように構成される、
    請求項１５乃至１９の何れか一項に記載のシステム（２００）。
21. 前記ロボット（３００）は、前記標的位置が前記障害物の背後にあり前記障害物を回避することが不可能である場合、前記標的位置まで前記ロボット（３００）が自律的にナビゲートされるのを妨げるようにさらに構成される、請求項２０に記載のシステム（２００）。
22. 前記少なくとも１つのイメージセンサ（３４４）が１つ又は複数の魚眼カメラ（３４６）及び１つ又は複数の赤外線カメラ（３４８）を含む、請求項１５乃至２１の何れか一項に記載のシステム（２００）。
23. 前記ロボット（３００）が四足ロボット（３００）を含む、請求項１５乃至２２の何れか一項に記載のシステム（２００）。
24. 前記少なくとも１つのイメージセンサ（３４４）が前記ロボット（３００）上に配置され、
    前記オペレータ装置（２００）がネットワーク（１８０）によって前記イメージセンサ（３４４）と通信する、
    請求項１５乃至２３の何れか一項に記載のシステム（２００）。
25. 前記グラフィカルユーザインタフェース（２２１）が、
    前記グラフィカルユーザインタフェース（２２１）内に表示されている現在のシーン（２２２Ｃ）から離れる方向に前記ロボット（３００）の周囲の前記環境（３０１）の視野を旋回させるための旋回入力を受信し、
    前記現在のシーン（２２２Ｃ）から離れる前記方向に前記ロボット（３００）の周囲の前記環境（３０１）の前記視野を旋回させることによってプレビューシーン（２２２Ｐ）を表示する
    ようにさらに構成される、請求項１５乃至２４の何れか一項に記載のシステム（２００）。
26. 前記グラフィカルユーザインタフェース（２２１）が、前記ロボット（３００）による物理的な動きを必要とすることなしに前記プレビューシーン（２２２Ｐ）を表示するように構成される、請求項２５に記載のシステム（２００）。
27. 前記グラフィカルユーザインタフェース（２２１）が、前記グラフィカルユーザインタフェース（２２１）内に表示される旋回グラフィックの選択を示す入力指示を受信することに応答して前記旋回入力を受信するように構成される、請求項２５又は２６に記載のシステム（２００）。
28. 前記現在のシーン（２２２Ｃ）から離れる前記方向に前記ロボット（３００）の周囲の前記環境（３０１）の前記視野を前記旋回させることが、前記現在のシーン（２２２Ｃ）から離れる前記方向に及び前記プレビューシーン（２２２Ｐ）に向かう前記方向に前記ロボット（３００）がターン操作を行うことをシミュレートする、請求項２５乃至２７の何れか一項に記載のシステム（２００）。

Images