JP2022078761A - 遠隔表示システム、ロボット、及び表示端末 - Google Patents

Abstract

【課題】表示端末におけるロボットのモニタ画面の表示を、利用者によるロボットの周辺状況の認識が容易な態様で行う。【解決手段】遠隔表示システム１は、表示端末１００の端末表示部１４１に表示するモニタ画面を、所定の画面切替条件に応じて、ロボットカメラ６２による撮影画像の第１画像範囲を表示する第１モニタ画面から、撮影画像の第１画像範囲と異なる第２画像範囲を表示する第２モニタ画面に切り替える、第１画面切替処理を実行する画面表示制御部を備える。【選択図】図２

Description

本発明は、遠隔表示システム、ロボット、及び表示端末に関する。

従来、カメラを備えた移動ロボットを、操作端末によって利用者が遠隔操作するシステムが提案されている（例えば、特許文献１参照）。
上記システムによれば、移動ロボットのカメラによる撮影画像が操作端末に送信され、操作端末の表示部に、移動ロボットの周辺の撮影画像を含むモニタ画面が表示される。操作端末の利用者は、モニタ画面を視認することにより、移動ロボットの周辺の状況を確認することができる。

特開２０１９－６２２９３号公報

上述したように、ロボットの周辺の状況を、ロボットのカメラで撮影された画像を表示するモニタ画面により利用者に認識させる場合、モニタ画面の表示は、利用者によるロボットの周辺状況の認識が容易な態様で行われることが望まれる。
本発明はかかる背景に鑑みてなされたものであり、表示端末におけるロボットのモニタ画面の表示を、利用者によるロボットの周辺状況の認識が容易な態様で行うことができる遠隔表示システム、ロボット、及び表示端末を提供することを目的とする。

上記目的を達成するための第１態様として、ロボットと、前記ロボットとの間で通信を行う表示端末と、を備え、前記ロボットは、前記ロボットの周辺を撮影するカメラを有して、前記カメラの撮影画像に基づくモニタ画像情報を前記表示端末に送信し、前記表示端末は、端末表示部を有し、前記モニタ画像情報を受信して、前記撮影画像に基づくモニタ画像を含むモニタ画面を前記端末表示部に表示する、遠隔表示システムが挙げられる。

上記遠隔表示システムにおいて、前記カメラの周辺に存在する動作中物体を認識する動作中物体認識部を備え、前記画面切替条件として、前記動作中物体認識部により、前記カメラの撮影範囲内の前記第１画像範囲に対応する第１撮影範囲外で、前記動作中物体認識部により前記動作中物体が認識されること、が設定され、前記画面表示制御部は、前記動作中物体の画像部分が含まれるように、前記第２画像範囲を設定する構成としてもよい。

上記遠隔表示システムにおいて、前記動作中物体認識部は、動作中の人又は他のロボットを前記動作中物体として認識する構成としてもよい。

上記遠隔表示システムにおいて、前記画面表示制御部は、前記動作中物体認識部により認識された前記動作中物体の画像部分を含む画像範囲を拡大した画像を表示する画面を、前記第２モニタ画面とする構成としてもよい。

上記遠隔表示システムにおいて、前記画面表示制御部は、前記第１画像範囲を、前記動作中物体認識部により認識された前記動作中物体の画像部分が含まれるように拡大した範囲を、前記第２画像範囲とする構成としてもよい。

上記遠隔表示システムにおいて、前記画面表示制御部は、前記撮影画像に含まれる人及び他のロボットの画像部分が全て含まれるように、前記第１画像範囲を設定する構成としてもよい。

上記遠隔表示システムにおいて、前記画面表示制御部は、前記画面切替条件に応じて前記モニタ画面を前記第１モニタ画面から前記第２モニタ画面に切り替えた時点から、所定時間が経過した時に、前記モニタ画面を前記第１モニタ画面に戻す構成としてもよい。

上記遠隔表示システムにおいて、前記表示端末は、前記表示端末の利用者による操作に応じて、前記端末表示部に表示される前記撮影画像の範囲を設定する表示画像範囲設定部を備え、前記画面表示制御部は、前記表示画像範囲設定部により設定された範囲を前記第２画像範囲とする構成としてもよい。

上記遠隔表示システムにおいて、前記ロボットは、胴部と、該胴部に対して回転又は揺動する頭部とを備え、前記カメラは前記胴部に設けられている構成としてもよい。

上記遠隔表示システムにおいて、前記ロボットは、前記ロボットの周辺に存在する物体を検出する物体検出センサを備え、前記動作中物体認識部は、前記物体検出センサによる検出情報に基づいて、前記動作中物体を認識する構成としてもよい。

上記遠隔表示システムにおいて、地図情報に基づいて前記ロボットの現在位置を認識する現在位置認識部を備え、前記動作中物体認識部は、前記現在位置認識部により前記ロボットが部屋内に位置していることが認識されている状態で、前記物体検出センサにより前記部屋内に進入する物体が検出された場合に、当該物体を前記動作中物体として認識する構成としてもよい。

上記遠隔表示システムにおいて、前記ロボットは、物体から発信される識別信号を受信する識別信号受信部を備え、前記動作中物体認識部は、前記識別信号受信部による前記識別信号の受信状況に基づいて、前記動作中物体を認識する構成としてもよい。

上記遠隔表示システムにおいて、前記ロボットは、前記ロボットの周辺の音を検出する音センサを備え、前記動作中物体認識部は、前記音センサによる音の検出状況に応じて、前記動作中物体を認識する構成としてもよい。

上記遠隔表示システムにおいて、前記画面表示制御部は、前記動作中物体認識部により、前記音センサによる音の検出状況に基づいて、複数の前記動作中物体が認識されたときに、発した音の音量が最大である前記動作中物体の画像部分が含まれるように前記第２画像範囲を設定する構成としてもよい。

上記遠隔表示システムにおいて、前記動作中物体認識部は、前記撮影画像と前記音センサによる音の検出状況に基づいて、起立して発言中の動作中物体を認識し、前記画面表示制御部は、前記動作中物体認識部により、起立して発言中の前記動作中物体が認識されたときに、起立して発言中の前記動作中物体の画像部分が含まれるように前記第２画像範囲を設定する構成としてもよい。

上記遠隔表示システムにおいて、前記画面表示制御部は、前記動作中物体認識部により複数の前記動作中物体が認識されたときに、最も大きな声で発言中の前記動作中物体、移動中の前記動作中物体、起立して発言の中の前記動作中物体、の順に設定された優先順位によって選択した前記動作中物体の画像部分が含まれるように、前記第２画像範囲を設定する構成としてもよい。

上記遠隔表示システムにおいて、前記カメラの撮影画像に、前記ロボットの周辺に所在する人及び他のロボットの画像部分が全て含まれるように、前記カメラの撮影範囲を制御するカメラ撮影範囲制御部を備える構成としてもよい。

上記遠隔表示システムにおいて、前記撮影画像から、前記カメラの撮影方向が水平方向である場合に対応した水平相当画像範囲を抽出する水平相当画像抽出部を備え、前記画面表示制御部は、前記水平相当画像から前記第１モニタ画面を抽出する構成としてもよい。

上記遠隔表示システムにおいて、前記画面表示制御部は、前記画面切替条件に応じて、前記第１画面切替処理、又は、前記モニタ画面を、前記撮影画像の第３画像範囲の画像部分を表示する第３モニタ画面から、前記第３画像範囲の画像部分と前記第３画像範囲の一部を拡大した第４画像部分とを表示する第４モニタ画面に切り替える第２画面切替処理を、実行する構成としてもよい。

上記遠隔表示システムにおいて、前記ロボットは移動ロボットであり、前記ロボットの移動状況を認識する移動状況認識部を備え、前記画面表示制御部は、前記移動状況認識部により前記ロボットが停止状態であることが認識されているときは、前記第１画面切替処理を実行し、前記移動状況認識部により前記ロボットが移動状態であることが認識されているときには、前記第２画面切替処理を実行する構成としてもよい。

上記目的を達成するための第２態様として、周辺を撮影するカメラと、表示端末との間で通信を行うロボット通信部と、前記表示端末に表示させる、前記カメラによる撮影画像に基づくモニタ画面を設定する画面表示制御部と、前記画面表示制御部により設定された前記モニタ画面のデータを、前記ロボット通信部により前記表示端末に送信するモニタ画面データ送信部と、を備えるロボットであって、前記画面表示制御部は、所定の画面切替条件に応じて、前記モニタ画面を、前記撮影画像の第１範囲の画像部分を表示する第１モニタ画面から、前記撮影画像の前記第１範囲と異なる第２範囲の画像部分を表示する第２モニタ画面に切り替える、第１画面切り替え処理を実行するロボットが挙げられる。

上記目的を達成するための第３態様として、端末表示部と、カメラを有するロボットとの間で通信を行う端末通信部と、前記ロボットから送信される前記カメラによる撮影画像を、前記端末通信部により受信して取得する撮影画像取得部と、前記撮影画像に基づいて、前記端末表示部によるモニタ画面の表示を制御する画面表示制御部と、を備える表示端末であって、前記画面表示制御部は、所定の画面切替条件に応じて、前記モニタ画面を、前記撮影画像の第１範囲の画像部分を表示する第１モニタ画面から、前記撮影画像の前記第１範囲と異なる第２範囲の画像部分を表示する第２モニタ画面に切り替える、第１画面切り替え処理を実行する表示端末が挙げられる。

上記遠隔表示システムによれば、画面切替条件に応じて、端末表示部の画面表示を、第１モニタ画面から、表示する撮影画像の画像範囲が第１モニタ画面とは異なる第２モニタ画面に切り替えることにより、表示端末におけるロボットのモニタ画面の表示を、利用者によるロボットの周辺状況の認識が容易な態様で行うことができる。

図１は、遠隔操作システムの構成の説明図である。 図２は、移動ロボットの構成図である。 図３は、操作端末の構成図である。 図４は、表示モードに応じた操作画面の切替処理のフローチャートである。 図５は、停止表示モードにおける操作画面の表示処理のフローチャートである。 図６は、移動表示モードにおける操作画面の表示処理のフローチャートである。 図７は、移動ロボットが会議の場に所在している状況における、操作画面の表示態様の説明図である。 図８は、会議の場に新たな人が加わった状況における、操作画面の表示態様の説明図である。 図９は、会議の場に新たな人が加わった状況における、操作画面の別の表示態様の説明図である。 図１０は、移動ロボットが屋内を移動している状況における、操作画面の表示態様の説明図である。 図１１は、モニタ画像の一部を拡大表示する態様の説明図である。 図１２は、移動ロボットが観光スポットを移動している状況における、操作画面の説明図である。 図１３は、移動ロボットが屋外の道路を移動している状況における、操作画面の説明図である。 図１４は、移動ロボットが傾斜地を移動している場合に、カメラの撮影方向を水平方向に制御する態様の説明図である。

［１．遠隔操作システムの構成］
図１を参照して、本実施形態の遠隔操作システム１の実施態様について説明する。遠隔操作システム１は、移動ロボット１０と操作端末１００とを備え、移動ロボット１０と操作端末１００は、通信ネットワーク２００を介して相互に通信を行う。移動ロボット１０は、頭部１１、首部１２、胴部１３、及び走行ユニット１４を備えている。遠隔操作システム１は本発明の遠隔表示システムの構成を含み、操作端末１００は本発明の表示端末の構成を含んでいる。

頭部１１には、ロボット表示部６１、ロボットスピーカー６３、及びロボットマイク６４が設けられている。首部１２は、胴部１３に対して、頭部１１を上下及び左右にスイング動作（首振り動作）させる。胴部１３には、ロボットカメラ６２及びライダー６５が設けられている。ロボットカメラ６２は、移動ロボット１０の周辺を撮影し、ライダー（ＬｉＤＡＲ）は、レーザー照射により移動ロボット１０の周辺に存在する物体までの距離を検出する。

操作端末１００の端末表示部１４１（タッチパネル）には、移動ロボット１０から送信されるモニタ画像を含む操作画面が表示され、遠隔操作システム１の利用者Ｕは、操作画面に表示される移動ロボット１０の周辺のモニタ画像を視認して、移動ロボット１０の移動先の状況を認識する。そして、利用者Ｕは、移動ロボット１０の状況に応じて、操作端末１００により移動ロボット１０を遠隔操作する。

移動ロボット１０は、いわゆるテレプレゼンスロボットであり、例えば、建物３００内を移動して会議の場３０１で会議に参加し、或いは屋外を移動して観光スポット３１０や、ホテル等の目的地３２０に向かう。移動ロボット１０のロボット表示部６１には、利用者Ｕの顔画像或いは利用者Ｕの顔を模したアイコンが表示され、これにより、利用者Ｕ自身が、移動ロボット１０の移動先に所在しているかのような感覚を、移動ロボット１０の付近にいる人達に与えることができる。

また、利用者Ｕも、操作端末１００に表示される移動ロボット１０の周辺の画像を視認することにより、利用者Ｕ自身が移動ロボット１０の移動先に所在しているかのような感覚を得ることができる。さらに、利用者Ｕは、操作端末１００により、移動ロボット１０の移動先にいる人或いは他のロボットとの間で、ビデオ通話やチャットによるコミュニケーションを行うことができる。

移動ロボット１０は、通信ネットワーク２００を関して、エリア情報サーバー２１０から、移動ロボット１０の移動エリア内の情報を取得すると共に、ロボット管理サーバー２２０から、移動ロボット１０或いは他のロボットに関する情報を取得する。

［２．移動ロボットの構成］
図２を参照して、移動ロボット１０の構成について説明する。移動ロボット１０は、上述した構成要素の他に、ロボット通信部６０、ロボットコントローラ２０、ＧＮＳＳ（Global Navigation Satellite System）センサ６６、速度センサ６７、及び傾斜センサ６８を備えている。

ロボット通信部６０は、通信ネットワーク２００を介して、操作端末１００との間で通信を行う。なお、移動ロボット１０と操作端末１００との距離が短い状況では、ロボット通信部６０が、操作端末１００との間で直接通信を行うようにしてもよい。ＧＮＳＳセンサ６６は、ＧＮＳＳ衛星からの電波を受信して、移動ロボット１０の現在位置を検出する。速度センサ６７は、移動ロボット１０の移動速度（走行速度）を検出する。傾斜センサ６８は、水平方向に対する移動ロボット１０の傾斜角度を検出する。

ロボットコントローラ２０は、ロボットプロセッサ３０、ロボットメモリ５０、及び図示しないインターフェース回路等により構成されている。ロボットメモリ５０には、ロボット制御用プログラム５１、地図ＤＢ（data base）５２、建物ＤＢ５３等が保存されている。地図ＤＢ５２には、移動ロボット１０の移動エリアの地図が記録されている。建物ＤＢ５３には、移動ロボット１０の移動エリア内に存在する建物のフロアレイアウト等が記録されている。

地図ＤＢ５２、及び建物ＤＢ５３は、エリア情報サーバー２１０から移動ロボット１０にダウンロードされてもよい。ロボット制御用プログラム５１は、ロボット管理サーバー２２０から移動ロボット１０にダウンロードされてもよい。

ロボットプロセッサ３０は、ロボット制御用プログラム５１をロボットメモリ５０から読み込んで実行することによって、画面表示制御部３１、現在位置認識部３２、移動状況認識部３３、表示モード切替部３４、周辺対象物体認識部３５、コミュニケーション対象選択受付部３６、コミュニケーション制御部３７、障害物認識部３８、動作中物体認識部３９、目的地認識部４０、移動ルート認識部４１、表示画像範囲設定部４２、カメラ撮影範囲制御部４３、水平方向画像取得部４４、利用者顔画像表示制御部４５、及び表示レイアウト変更部４６として機能する。

画面表示制御部３１は、移動ロボット１０が停止状態である場合に対応した停止表示モードと、移動ロボット１０が移動状態（走行状態）である場合に対応した移動表示モードとに応じて、操作端末１００に送信する操作画面のデータを変更することにより、操作端末１００の端末表示部１４１に表示される操作画面を制御する。各表示モードにおける操作画面の表示態様の詳細については後述する。

現在位置認識部３２は、ＧＮＳＳセンサ６６から出力される位置検出信号に基づいて、移動ロボット１０の現在位置（緯度、経度）を認識する。移動状況認識部３３は、現在位置認識部３２により認識される移動ロボット１０の現在位置の変化、速度センサ６７により検出される移動ロボット１０の移動速度、地図ＤＢ５２から取得した地図データ、建物ＤＢ５３から取得した建物のレイアウト等に基づいて、移動ロボット１０の移動状況を認識する。現在位置認識部３２は、移動ロボット１０が屋内に位置している場合は、ライダー６５による周囲物体の検出状況と、建物ＤＢ５３から取得した屋内のレイアウトデータをマッチングさせて、屋内における移動ロボット１０の現在位置を認識する。

表示モード切替部３４は、利用者Ｕによる選択操作に応じて、表示端末１００における操作画面の表示モードを、停止表示モードと移動表示モードとに切り替える。周辺対象物体認識部３５は、ロボットカメラ６２による撮影画像、ライダー６５による物体検出信号、及びロボットマイク６４による検出音に基づいて、移動ロボット１０の周辺の所在する人及び他のロボットを、周辺対象物体として認識する。なお、人又はロボットが所持している発信機から送信される識別信号を、ロボット通信部６０により受信することによって、移動ロボット１０の周辺に所在する人及び他のロボットを認識してもよい。

コミュニケーション対象選択受付部３６は、利用者Ｕによる操作画面の選択操作に応じて、利用者Ｕがコミュニケーションの実施を希望する周辺対象物体の選択を受け付ける。コミュニケーション制御部３７は、コミュニケーション対象選択受付部３６により選択が受付けられた周辺対象物体と、利用者Ｕとの間のコミュニケーションを制御する。具体的には、する。コミュニケーション制御部３７は、利用者Ｕと周辺対象物体とのビデオ通話、音声通話、チャットを可能にする。

障害物認識部３８は、ロボットカメラ６２による撮影画像、及びライダー６５による物体検出信号に基づいて、移動ロボット１０の周辺に存在する障害物を認識する。動作中物体認識部３９は、ロボットカメラ６２による撮影画像、ライダー６５の物体検出信号、及びロボットマイク６４の検出音に基づいて、移動ロボット１０の周辺の動作中物体を認識する。動作中物体には、人及び移動ロボット１０以外の他のロボットが含まれる。ここで、「動作」には、体を動かす行為の他に、発言等の声を発する行為も含まれる。

目的地認識部４０は、利用者Ｕにより設定された移動ロボット１０の移動の目的地を認識する。利用者Ｕは、操作端末１００の操作によって、移動ロボット１０の目的地を設定する。ここで、目的地には、移動ロボット１０が向かう最終的な目的地の他に、最終的な目的地まで移動する途中で立ち寄る地点も含まれる。

移動ルート認識部４１は、現在位置認識部３２により認識された移動ロボット１０の現在位置、目的地認識部４０により認識された移動ロボット１０の目的地、及び地図ＤＢ５２から取得した地図データに基づいて、移動ロボット１０の移動ルートを認識する。表示画像範囲設定部４２、利用者Ｕによる操作に応じて、操作端末１００の操作画面に表示するモニタ画像の範囲を設定する。

カメラ撮影範囲制御部４３は、移動ロボット１０の周辺に所在する全ての人及び他のロボットが、ロボットカメラ６２の撮影範囲に含まれるように、移動ロボット１０を移動させる。なお、ロボットカメラ６２が、広角と望遠の切替が可能な構成になっている場合には、広角に切り替えて、移動ロボット１０の周辺に所在する全ての人及び他のロボットが、ロボットカメラ６２の撮影範囲に含まれるようにしてもよい。

水平方向画像取得部４４は、ロボットカメラ６２が撮影方向を変更する機能を有している場合に、図１４のＳ１、Ｓ２に示したように、移動ロボット１０が傾斜地に位置していて、ロボットカメラ６２が水平方向よりも上向き或いは下向きになる状況で、Ｓ３、Ｓ４に示したように、ロボットカメラ６２の撮影方向を水平方向に向ける処理を行う。これにより、移動ロボット１０の進行方向の撮影画像を取得することができる。また、ロボットカメラ６２が撮影方向を変更する機能を有していない場合には、水平方向画像取得部４４は、Ｓ１、Ｓ２の状況でロボットカメラ６２により撮影された上向き又は下向きの画像から、水平方向に相当する範囲の画像を抽出することにより、移動ロボット１０の進行方向の撮影画像を取得する。

利用者顔画像表示制御部４５は、利用者Ｕによる操作端末１００の操作に応じて、ロボット表示部６１に利用者Ｕの顔画像を表示させるか否かを制御する。利用者Ｕの顔画像は、端末カメラ１４２により撮影されて移動ロボット１０に送信されるリアルタイムの画像でもよく、予め移動ロボット１０のロボットメモリ５０に保存された画像でもよい。利用者顔画像表示制御部４５は、ロボット表示部６１に利用者Ｕの顔画像を表示しないときには、利用者Ｕの操作に応じて、利用者Ｕの顔を模したアイコンをロボット表示部６１に表示するか、或いは顔画像と顔を模したアイコンのいずれもロボット表示部６１に表示しない状態とする。表示レイアウト変更部４６は、利用者Ｕによる操作端末１００の操作に応じて、操作端末１００に表示される操作画面のレイアウトを変更する。

［３．操作端末の構成］
図３を参照して、操作端末１００の構成について説明する。操作端末１００は、端末コントローラ１１０、端末通信部１４０、端末表示部１４１、端末カメラ１４２、端末マイク１４３、及び端末スピーカー１４４を備えている。操作端末１００は、移動ロボット１０を操作するための専用端末であってもよく、スマートフォンやタブレット端末等の汎用の通信端末であってもよい。

端末通信部１４０は、通信ネットワーク２００（図１参照）を介して、移動ロボット１０との間で相互に通信を行う。端末表示部１４１はタッチパネルであり、端末コントローラ１１０から出力される画面データに応じた操作画面を表示すると共に、利用者Ｕのタッチ操作に応じた操作データを、端末コントローラ１１０に出力する。

端末カメラ１４２は、利用者Ｕの顔画像等を撮影して撮影画像のデータを端末コントローラ１１０に出力する。端末マイク１４３は、利用者Ｕの音声等を検出して音声データを端末コントローラ１１０に出力する。端末スピーカー１４４は、端末コントローラ１１０から出力される音データを入力して、移動ロボット１０を介して通話を行っている相手の音声等を出力する。

端末メモリ１３０には、移動ロボット１０の操作を実現するロボット操作アプリのプログラム１３１が保存されている。端末プロセッサ１２０は、ロボット操作アプリのプログラム１３１を読み込んで実行することにより、ロボット操作画面制御部１２１、及びロボット操作指示制御部１２２として機能する。

ロボット操作画面制御部１２１は、移動ロボット１０から送信される移動ロボット１０用の操作画面のデータを、端末通信部１４０により受信して、操作画面を端末表示部１４１に表示する。操作画面のデータには、ロボットカメラ６２による撮影画像に基づくモニタ画像情報が含まれる。ロボット操作指示制御部１２２は、端末表示部１４１から出力される操作画面のタッチ操作に応じた操作信号から、利用者Ｕによる操作の指示内容を認識して、操作の指示内容を示す操作データを、端末通信部１４０により移動ロボット１０に送信する。

［４．表示モードの切替処理］
図４に示したフローチャートに従って、移動ロボット１０により実行される端末表示部１４１における操作画面の表示モードの切替処理について説明する。画面表示制御部３１は、操作端末１００に表示される操作画面を、図７～図９に例示した停止表示モードによる操作画面と、図１０～図１３に例示した移動表示モードによる表示画面とに切り替えて制御する。

図７を参照して、操作画面５１０には、ロボットカメラ６２により撮影される移動ロボット１０の周辺の撮影画像５００から抽出されたモニタ画像を表示する第１サブ画面５２０と、移動ロボット１０を操作するための第２サブ画面５３０とが含まれる。本実施形態では、第２サブ画面５３０は、操作画面５１０の第１サブ画面５２０以外の領域となっている。第２サブ画面５３０には、表示モードを切り替えるためのモード切替スイッチ５３１が表示される。

図７の操作画面５１０は、移動ロボット１０が停止状態である場合に対応した停止表示モードによる操作画面であるため、移動ロボット１０の頭部１１の縦振りを指示する縦振りアイコン５３２と、頭部１１の横振りを指示する横振りアイコン５３３が表示される。また、ビデオ通話、音声通話、チャット等によるコミュニケーションを行うためのコミュニケーションアイコン５３４と、コミュニケーションウィンドウ５４０が表示される。

コミュニケーションアイコン５３４には、音声通話を開始するための音声通話アイコン５３４ａ、ビデオ通話を開始するためのビデオ通話アイコン５３４ｂ、チャットの開始等を行うためのオプションアイコン、通話を終了するための通話終了アイコン５３４ｄが含まれる。コミュニケーションウィンドウ５４０には、通話相手の顔画像５４１、チャットによるメッセージ５４２等が表示される。

図４のステップＳ１で、表示モード切替部３４は、操作端末１００から送信される操作データに基づいて、モード切替スイッチ５３１の操作状態を認識する。そして、表示モード切替部３４は、モード切替スイッチ５３による首振モードへの切替操作がなされたときに、ステップＳ１０に処理を進めて停止表示モードに設定し、ステップＳ４に処理を進める。

一報、首振りモードへの切替操作がなかったときには、表示モード切替部３４は、ステップＳ３に処理を進めて、切替スイッチ５３１の走行モードへの切替操作がなされたか否かを判断する。そして、表示モード切替部３４は、走行モードへの切替操作がなされたときはステップＳ５０に処理を進め、走行モードへの切替操作がなされなかったときには、ステップＳ４に処理を進める。ステップＳ４で、表示モード切替部３４は、操作画面の表示モードを移動表示モードに設定する。

［５．停止表示モードによる操作画面の表示］
図７～図９に示した操作画面を参照しつつ、図５に示したフローチャートに従って、移動ロボット１０により実行される、停止表示モードによる操作画面の表示の制御について説明する。

図５のステップＳ１１で、画面表示制御部３１は、図７に示したように、停止表示モードによる操作画面５１０の画面データを操作端末１００に送信して、操作画面５１０を、操作端末１００の端末表示部１４１に表示させる。操作画面５１０には、上述したように、ロボットカメラ６２の撮影画像に５００に基づくモニタ画像が表示される第１サブ画面５２０と、コミュニケーション用の操作部が表示される第２サブ画面５３０とが含まれる。

図７は、移動ロボット１０が会議の場に所在している状況での撮影画像５００と操作画面５１０とを示しており、撮影画像５００には、会議の参加者の画像部分が含まれている。この場合、カメラ撮影範囲制御部４３は、会議の参加している全ての人及び他のロボットの画像部分が含まれるように、移動ロボット１０を移動させて、ロボットカメラ６２の撮影範囲を調節する。なお、ロボットカメラ６２に撮影方向の変更、或いはレンズの広角と標準の切替等の機能が備えられている場合には、カメラ撮影範囲制御部４３は、これらの機能も活用してロボットカメラ６２の撮影範囲を調節する。

画面表示制御部３１は、ロボットカメラ６２の撮影画像５００から、会議の場に所在している全ての人及び他のロボットの画像部分が含まれるように設定した範囲５０１の画像部分を抽出したモニタ画像５２０ａを、第１サブ画面５２０に表示する。利用者Ｕは、第１サブ画面５２０を視認することで、会議に参加している人及び他のロボットを確認することができる。

次のステップＳ１２で、コミュニケーション対象選択受付部３６は、第１サブ画面５２０に表示されている人の画像部分５２２～５２６のいずれかについて、利用者Ｕのタッチ操作がなされた否かを判断する。そして、コミュニケーション対象選択受付部３６は、いずれかの人の画像部分がタッチされたときに、タッチされた画像部分に対応する人を、利用者Ｕとのコミュニケーション対象として設定し、ステップＳ２０に処理を進める。

この場合、画面表示制御部３１が、コミュニケーション対象として設定された人の画像部分を拡大した画像を、第１サブ画面５２０又は第２サブ画面５３０に表示するようにしてもよい。図７では、画面表示制御部３１が、コミュニケーション対象として設定された人の画像部分を拡大した画像５４１を、第２サブ画面５３０のコミュニケーションウィンドウ５４０に表示する例を示している。また、コミュニケーション制御部３７が、コミュニケーション対象として設定された人が使用している通信端末と操作端末１００との通信を確立することによって、コミュニケーション対象として設定された人についてのみ、利用者Ｕとのコミュニケーション（音声通話、チャット等）を可能にするようにしてもよい。

ステップＳ２０で、コミュニケーション制御部３７は、利用者Ｕによるコミュニケーションアイコン５３４の操作に応じて、利用者Ｕとコミュニケーション対象との間で、音声通話、ビデオ通話、或いはチャットによるコミュニケーションの制御を実行し、ステップＳ１３に処理を進める。

ステップＳ１３で、動作中物体認識部３９は、移動ロボット１０の周辺に存在する動作中物体を探索し、動作中物体を認識したときにステップＳ２１に処理を進める。ステップＳ２１で、画面表示制御部３１は、図８に示したように、ロボットカメラ６２の撮影画像５０２から、動作中物体の画像部分５０３が含まれる範囲５０４の画像部分を抽出する。そして、範囲５０４の画像部分を拡大したモニタ画像５２０ｂを、第１サブ画面５２０に表示する。これにより、移動ロボット１０に接近する動作中物体について、利用者Ｕによる認識を容易にすることができる。

また、図９に示したように、画面表示制御部３１が、ロボットカメラ６２の撮影画像５０２から、動作中物体の画像部分５０３と、会議に参加している全ての人の画像部分とが含まれる範囲５０５の画像部分を抽出するようにしてもよい。この場合、画面表示制御部３１は、範囲５０５のモニタ画像を第１サブ画面５２０に表示する。これにより、利用者Ｕは、会議に参加している全ての人の様子を視認しつつ、移動ロボット１０に接近している動作中物体を容易に認識することができる。

ここで、画面表示制御部３１は、動作中物体認識部３９により複数の動作中物体が認識されたときには、以下の優先順位１→優先順位２→優先順位３、の決定条件により、ステップＳ２１による処理の対象とする動作中物体を決定する。
優先順位１：最も大きい声で発言中の動作中物体。
優先順位２：移動中の動作中物体。
優先順位３：起立して発言中の動作中物体。
なお、上記優先順位は一例にすぎず、例えば、利用者Ｕが操作端末１００を操作して、優先順位をカスタマイズできるようにしてもよい。

ステップＳ２１で、第１サブ画面５２０の表示を、動作中物体の画像部分を含まない第１画像範囲５０１の第１モニタ画面５２０ａから、動作中物体の画像部分を含む第２画像範囲５０４，５０５の第２モニタ画面５２０ｂ，５２０ｃに切り替える処理は、第１画面切替処理に相当する。ここで、画面表示制御部３１により、第１サブ画面５２０の表示を、第１モニタ画面５２０ａから第２モニタ画面５２０ｂ，５２０ｃに切替えた時点から、所定時間が経過した時に、第１サブ画面５２０の表示を第１モニタ画面５２０ａに戻す処理を行ってもよい。

［６．移動表示モードによる操作画面の表示］
図１０～図１３に示した操作画面を参照しつつ、図６に示したフローチャートに従って、移動ロボット１０により実行される、移動表示モードによる操作画面の表示の制御について説明する。

図６のステップＳ５１で、画面表示制御部３１は、図１０に示したように、移動表示モードによる操作画面５１０の画面データを操作端末１００に送信して、操作画面５１０を、操作端末１００の端末表示部１４１に表示させる。操作画面５１０には、ロボットカメラ６２の撮影画像に基づくモニタ画像が表示される第１サブ画面５２０と、移動ロボット１０の移動操作をサポートするための画像が表示される第２サブ画面５３０とが含まれる。

図１０は、移動ロボット１０が建物の中（屋内）を移動している状況での操作画面５１０を示している。移動表示モードでは、移動ロボット１０の前後の移動を指示するための前後移動アイコン、及び左右の移動を指示するための左右移動アイコン６０２が表示される。また、移動ロボット１０の移動速度を表示する速度メータ６０３が表示される。さらに、移動ロボット１０が移動している建物のフロアレイアウト図６１０が表示される。

続くステップＳ５２で、障害物認識部３８は、移動ロボット１０の周辺に存在する障害物を探索する。そして、障害物認識部３８は、障害物を認識したときはステップＳ６０に処理を進め、障害物を認識しなかったときにはステップＳ５３に処理を進める。ステップＳ６０で、画面表示制御部３１は、図６に示したように、障害物の存在を報知する障害物報知ウィンドウ６１１を、第２サブ画面５３０に表示する。障害物報知ウィンドウ６１１には、注意喚起メッセージ（ここでは、「この先、段差があります」のメッセージ）、障害物の画像等が表示される。

次のステップＳ５３で、画面表示制御部３１は、移動ロボット１０の移動速度が低速判定速度（例えば、数ｋｍ／hourに設定される）である状態で、第１サブ画面５２０に表示されている画像部分の選択操作がなされたか否かを判断する。そして、画面表示制御部３１は、画像部分の選択操作がなされたときはステップＳ６１に処理を進め、画像部分の選択操作がなされていないときにはステップＳ５４に処理を進める。

ステップＳ６１で、画面表示制御部３１は、図１１に示したように、第１サブ画面５２０の画像部分６１２（ここでは、フロアガイドパネルの画像部分）が選択されたときに、画像部分６１２を拡大した拡大ウィンドウ６２０を第２サブ画面５３０に表示する。これにより、利用者Ｕは、第１サブ画面５２０により、移動ロボット１０の前方を広範囲で確認しつつ、第２サブ画面５２０の拡大ウィンドウ６２０により、確認したい対象物の詳細を視認することができる。

続くステップＳ５４で、移動状況認識部３３は、移動ロボット１０が観光スポットに所在しているか否かを判断する。そして、移動状況認識部３３は、移動ロボット１０が観光スポットに所在しているときはステップＳ６２に処理を進め、移動ロボット１０が観光スポットに位置していないときにはステップＳ５５に処理を進める。

ステップＳ６２で、画面表示制御部３１は、図１２に示したように、移動ロボット１０の周辺の撮影画像５２０ｅを表示する第１サブ画面５２０と、観光スポット（ここでは動物園）の地図７００を表示する第２サブ画面５３０とを含む操作画面５１０を表示する。さらに、画面表示制御部３１は、移動ロボット１０の所在地点或いは移動ロボット１０の付近の付加情報を表示する付加情報７０１を表示する。

また、画面表示制御部３１は、障害物認識部３８により移動ロボット１０の付近の障害物が認識されている場合は、ステップＳ６０の処理により、障害物報知ウィンドウ７０２も表示する。

続くステップＳ５５で、移動状況認識部３３は、移動ロボット１０の移動速度が高速判定速度（例えば、数１０ｋｍ／ｈｏｕｒに設定される）以上であるか否かを判断する。そして、移動状況認識部３３は、移動ロボット１０の移動速度が高速判定速度以上であるときはステップＳ６３に処理を進め、移動ロボット１０の移動速度が高速判定速度未満であるときにはステップＳ５６に処理を進める。

ステップＳ６３で、画面表示制御部３１は、図１３に示したように、移動ロボット１０の前方の撮影画像５２０ｆを表示する第１サブ画面５２０と、移動ロボット１０の移動エリアの地図に、移動ロボット１０の現在位置Ｓから目的地Ｇまでの経路Ｒｔを示すルート案内ウィンドウ８００を表示する第２サブ画面５３０とを含む、操作画面５１０を表示する。ルート案内ウィンドウ８００の表示により、利用者Ｕによる移動ロボット１０の目的地までの移動を支援することができる。

さらに、画面表示制御部３１は、目的地への到着予測時刻８０１を第２サブ画面５３０に表示する。また、画面表示制御部３１は、障害物認識部３８により移動ロボット１０の付近の障害物が認識されている場合は、ステップＳ６０の処理により、障害物ウィンドウ８０２を第２サブ画面５３０に表示する。障害物ウィンドウ８０２には、障害物として認識された歩行者の画像部分が枠８０２ａにより強調されて表示される。

ここで、図１３において、画面切替条件（ここでは、障害物である歩行者の認識）の成立により、操作画面５３０の表示を、第１サブ画面５２０にのみモニタ画像（本発明の第３画像範囲の画像部分に相当する）を表示する操作画面（本発明の第３モニタ画面に相当する）から、第１サブ画面５２０にモニタ画像を表示すると共に、第２サブ画面５３０に、第１サブ画面５２０のモニタ画像の一部を拡大した画像部分（本発明の第３画像範囲の一部を拡大した第４画像部分に相当する）を表示する操作画面（本発明の第４モニタ画面にう相当する）に切り替える処理は、本発明の第２画面切替処理に相当する。

また、移動ロボット１０が高速判定速度以上で移動しているときには、コミュニケーションの操作は禁止されるため、画面表示制御部３１は、図１３に示したように、コミュニケーションアイコン５１４の表示を、他の操作が可能な前後移動アイコン６０１，左右移動アイコン６０２よりも暗くして（異なる表示態様で）表示する。これにより、コミュニケーションアイコン５１４の操作が不能であることを、利用者Ｕに認知させる。なお、異なる表示態様として、操作可能なアイコンをカラーで表示し、操作不能なアイコンをグレースケールで表示する等、他の表示態様を用いてもよい。

［７．他の実施形態］
上記実施形態では、表示モード切替部３４は、図４に示したフローチャートによる処理により、利用者Ｕによるモード切替スイッチ５３１の操作に応じて、停止表示モードと移動表示モードとを切り替えた。他の実施形態として、移動状況認識部３３により認識される移動ロボット１０の移動状況に応じて、停止表示モードと移動表示モードとを切り替えるようにしてもよい。例えば、移動ロボット１０が所定時間以上停止状態であるときに、停止表示モードに切り替えるようにしてもよい。また、移動ロボットが所定速度以上で移動しているときに、移動表示モードに切り替えるようにしてもよい。

上記実施形態では、図８、図９に示したように、停止表示モードにおいて、動作中物体認識部３９により動作中物体が認識されたときに、第１サブ画面５２０の表示を、動作中物体の画像部分を含まない第１モニタ画面５２０ａから、動作中物体の画像部分を含む第２モニタ画面５２０ｂ，５２０ｃに切り替えた。他の実施形態として、第１サブ画面５２０の表示は変更せずに、動作中物体の画像部分を含む第２モニタ画面５２０ｂ，５２０ｃを、第２サブ画面５３０に表示するようにしてもよい。

或いは、停止表示モードにおいては、第１サブ画面５２０を第１モニタ画面から第２モニタ画面に切替え、移動表示モードにおいては、第２モニタ画面を第２サブ画面５３０に表示するようにしてもよい。

上記実施形態において、コミュニケーション対象選択受付部３６は、第１サブ画面５２０に表示されている人の画像部分がタッチ操作されたときに、タッチ操作された画像部分に対応した人をコミュニケーション対象として設定した。他の実施形態として、第１サブ画面５２に表示されている画像部分に対応する人又はロボットの識別情報（氏名、ＩＤ等）を、第１サブ画面に一覧表示し、一覧表示された識別情報のタッチ操作により、コミュニケーション対象を選択できるようにしてもよい。

上記実施形態では、操作画面５１０の表示を、移動ロボット１０のロボットプロセッサ３０により、画面表示制御部３１～利用者顔画像表示制御部４５の処理によって制御した。他の実施形態として、画面表示制御部３１～利用者顔画像表示制御部４５の全部又は一部を、操作端末１００の端末プロセッサ１２０により構成してもよい。この場合、端末プロセッサ１２０は、移動ロボット１０から送信されるロボットカメラ６２の撮影画像、ロボットマイク６４により検出される音声のデータ、ライダー６５により検出される物体のデータ等に基づいて、端末表示部１４１に表示される操作画面５１０を制御する。

また、画面表示制御部３１～利用者顔画像表示制御部４５の全部又は一部をロボット管理サーバー２２０により構成してもよい。この場合、ロボット管理サーバー２２０は、移動ロボット１０及び操作端末１００との間で通信を行って、ロボットカメラ６２の撮影画像、操作端末１００の操作データ等を受信し、操作端末１００の端末表示部１４１の表示を制御する。

上記実施形態では、走行ユニット１４を備えた移動ロボット１０に本発明を適用した例を示したが、本発明は、会議室等の屋内の特定の場所や公共施設等に設置されて、移動機能を有しないモニタ用のロボットについても適用可能である。この場合は、図４に示した表示モードの切替処理は実行されず、図５に示した停止表示モードによる画面表示の制御のみが実行される。

上記実施形態において、現在位置認識部３２が地図ＤＢ５２又は建物ＤＢ５３に基づいて、移動ロボット１０が部屋内に位置していることを認識するようにしてもよい。そして、現在位置認識部３２により移動ロボット１０が部屋内に位置していることが認識されている状態であるときに、ロボットカメラ６２による撮影画像、ライダー６５の物体検出信号、及びロボットマイク６４の検出音等に基づいて、部屋内に進入する物体が検出された場合に、動作中物体認識部３９が、当該物体を動作中物体として認識するようにしてもよい。

なお、図２、図３は、本願発明の理解を容易にするために、移動ロボット１０と操作端末１００の構成を、主な処理内容により区分して示した概略図であり、移動ロボット１０と操作端末１００の構成を、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図４～図６に示した各構成要素による処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。

［８．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成の具体例である。

（第１項）ロボットと、前記ロボットとの間で通信を行う表示端末と、を備え、前記ロボットは、前記ロボットの周辺を撮影するカメラを有して、前記カメラの撮影画像に基づくモニタ画像情報を前記表示端末に送信し、前記表示端末は、端末表示部を有し、前記モニタ画像情報を受信して、前記撮影画像に基づくモニタ画像を含むモニタ画面を前記端末表示部に表示する、遠隔表示システムであって、所定の画面切替条件に応じて、前記端末表示部に表示する前記モニタ画面を、前記撮影画像の第１画像範囲を表示する第１モニタ画面から、前記撮影画像の前記第１画像範囲と異なる第２画像範囲を表示する第２モニタ画面に切り替える、第１画面切替処理を実行する画面表示制御部を備える遠隔表示システム。
第１項の遠隔表示システムによれば、画面切替条件に応じて、端末表示部の画面表示を、第１モニタ画面から、表示する撮影画像の画像範囲が第１モニタ画面とは異なる第２モニタ画面に切り替えることにより、表示端末におけるロボットのモニタ画面の表示を、利用者によるロボットの周辺状況の認識が容易な態様で行うことができる。

（第２項）前記カメラの周辺に存在する動作中物体を認識する動作中物体認識部を備え、前記画面切替条件として、前記動作中物体認識部により、前記カメラの撮影範囲内の前記第１画像範囲に対応する第１撮影範囲外で、前記動作中物体認識部により前記動作中物体が認識されること、が設定され、前記画面表示制御部は、前記動作中物体の画像部分が含まれるように、前記第２画像範囲を設定する第１項に記載の遠隔表示システム。
第２項の遠隔表示システムによれば、ロボットの近くにいる動作中物体について、利用者による認識を容易にすることができる。

（第３項）前記動作中物体認識部は、動作中の人又は他のロボットを前記動作中物体として認識する第２項に記載の遠隔表示システム。
第３項の遠隔表示システムによれば、ロボットの近くにいる動作中の人又は他のロボットについて、利用者による認識を容易にすることができる。

（第４項）前記画面表示制御部は、前記動作中物体認識部により認識された前記動作中物体の画像部分を含む画像範囲を拡大した画像を表示する画面を、前記第２モニタ画面とする第２項又は第３項に記載の遠隔表示システム。
第４項の遠隔表示システムによれば、動作中物体の画像部分を拡大して表示することにより、利用者による動作中物体の識別を容易にすることができる。

（第５項）前記画面表示制御部は、前記第１画像範囲を、前記動作中物体認識部により認識された前記動作中物体の画像部分が含まれるように拡大した範囲を、前記第２画像範囲とする第２項から第４項のうちいずれか１項に記載の遠隔表示システム。
第５項の遠隔表示システムによれば、利用者によるロボット周辺の広範囲の認識を確保しつつ、動作中物体に対する注意喚起を利用者に促すことができる。

（第６項）前記画面表示制御部は、前記撮影画像に含まれる人及び他のロボットの画像部分が全て含まれるように、前記第１画像範囲を設定する第１項から第５項のうちいずれか１項に記載の遠隔表示システム。
第６項の遠隔表示システムによれば、例えば、ロボットが会議の場に所在している場合に、会議に参加している全ての人及び他のロボットの状況を、利用者に認識させることができる。

（第７項）前記画面表示制御部は、前記画面切替条件に応じて前記モニタ画面を前記第１モニタ画面から前記第２モニタ画面に切り替えた時点から、所定時間が経過した時に、前記モニタ画面を前記第１モニタ画面に戻す第１項から第６項のうちいずれか１項に記載の遠隔表示システム。
第７項の遠隔表示システムによれば、利用者による第２モニタ画面から第１モニタ画面への切替操作を不要として、利用者の使い勝手を向上させることができる。

（第８項）前記表示端末は、前記表示端末の利用者による操作に応じて、前記端末表示部に表示される前記撮影画像の範囲を設定する表示画像範囲設定部を備え、前記画面表示制御部は、前記表示画像範囲設定部により設定された範囲を前記第２画像範囲とする第１項から第７項のうちいずれか１項に記載の遠隔表示システム。
第８項の遠隔表示システムによれば、利用者の関心に応じた対象の画像を、第２モニタ画面に表示させることができる。

（第９項）前記ロボットは、胴部と、該胴部に対して回転又は揺動する頭部とを備え、前記カメラは前記胴部に設けられている第１項から第８項のうちいずれか１項に記載の遠隔表示システム。
第９項の遠隔表示システムによれば、カメラをロボットに設けた場合に生じ得る不都合である、カメラの撮影画像の揺れにより、端末表示部に表示される第１モニタ画面及び第２画面を視認する利用者に不快感を与えることを防止することできる。

（第１０項）前記ロボットは、前記ロボットの周辺に存在する物体を検出する物体検出センサを備え、前記動作中物体認識部は、前記物体検出センサによる検出情報に基づいて、前記動作中物体を認識する第１項から第５項のうちいずれか１項に記載の遠隔表示システム。
第１０項の遠隔表示システムによれば、物体検出センサによる検出情報の変化により、移動中物体を認識することができる。

（第１１項）地図情報に基づいて前記ロボットの現在位置を認識する現在位置認識部を備え、前記動作中物体認識部は、前記現在位置認識部により前記ロボットが部屋内に位置していることが認識されている状態で、前記物体検出センサにより前記部屋内に進入する物体が検出された場合に、当該物体を前記動作中物体として認識する第１０項に記載の遠隔表示システム。
第１１項の遠隔操作システムによれば、ロボットが部屋内に位置している状況において、部屋の外を移動している物体を、動作中物体認識部による認識対象から除外することができる。例えば、部屋の窓の外側を移動している物体、オープンスペースに配置された部屋で会議が行われている状況で部屋の外の廊下を移動している物体、部屋の扉が開いている状況で扉の外側を移動している物体を、動作中物体の認識対象から除外することができる。

（第１２項）前記ロボットは、物体から発信される識別信号を受信する識別信号受信部を備え、前記動作中物体認識部は、前記識別信号受信部による前記識別信号の受信状況に基づいて、前記動作中物体を認識する第２項から第５項のうちいずれか１項に記載の遠隔表示システム。
第１２項の遠隔表示システムによれば、識別信号受信部により受信される識別信号の強度の変化等により、移動中物体を認識することができる。

（第１３項）前記ロボットは、前記ロボットの周辺の音を検出する音センサを備え、前記動作中物体認識部は、前記音センサによる音の検出状況に応じて、前記動作中物体を認識する第２項から第５項のうちいずれか１項に記載の遠隔表示システム。
第１３項の遠隔表示システムによれば、音センサによる音の音量の変化等に基づいて、移動中物体を認識することができる。

（第１４項）前記画面表示制御部は、前記動作中物体認識部により、前記音センサによる音の検出状況に基づいて、複数の前記動作中物体が認識されたときに、発した音の音量が最大である前記動作中物体の画像部分が含まれるように前記第２画像範囲を設定する第１３項に記載の遠隔表示システム。
第１４項の遠隔表示システムによれば、発している音の音量が最大である動作中物体について、利用者による認識を容易にすることができる。

（第１５項）前記動作中物体認識部は、前記撮影画像と前記音センサによる音の検出状況に基づいて、起立して発言中の動作中物体を認識し、前記画面表示制御部は、前記動作中物体認識部により、起立して発言中の前記動作中物体が認識されたときに、起立して発言中の前記動作中物体の画像部分が含まれるように前記第２画像範囲を設定する第１３項又は第１４項に記載の遠隔表示システム。
第１５項の遠隔表示システムによれば、起立して発言している動作中物体について、利用者による認識を容易にすることができる。

（第１６項）前記画面表示制御部は、前記動作中物体認識部により複数の前記動作中物体が認識されたときに、最も大きな声で発言中の前記動作中物体、移動中の前記動作中物体、起立して発言の中の前記動作中物体、の順に設定された優先順位によって選択した前記動作中物体の画像部分が含まれるように、前記第２画像範囲を設定する第１３項に記載の遠隔表示システム。
第１６項の遠隔表示システムによれば、動作中物体が複数存在する場合に、上記優先順位に従って、利用者による認識を容易にする対象とする動作中物体を決定することができる。

（第１７項）前記カメラの撮影画像に、前記ロボットの周辺に所在する人及び他のロボットの画像部分が全て含まれるように、前記カメラの撮影範囲を制御するカメラ撮影範囲制御部を備える第１項から第１６項のうちいずれか１項に記載の遠隔表示システム。
第１７項の遠隔表示システムによれば、例えば、カメラが可動式であるときはカメラの向きを変えることにより、また、ロボットが移動ロボットである場合はロボットを移動させることにより、ロボットの周辺に所在する人及び他のロボットの画像部分が全て含まれるように、カメラの撮影範囲を制御することによって、ロボットの周辺の存在する全ての人及び他のロボットを、利用者に認識させることができる。

（第１８項）前記撮影画像から、前記カメラの撮影方向が水平方向である場合に対応した水平相当画像範囲を抽出する水平相当画像抽出部を備え、前記画面表示制御部は、前記水平相当画像から前記第１モニタ画面を抽出する第１項から第１７項のうちいずれか１項に記載の遠隔表示システム。
第１７項の遠隔表示システムによれば、カメラの撮影方向が水平方向ではない場合に、水平相当画像から第１モニタ面を抽出することにより、端末表示部に表示される第１モニタ画面を、利用者の視線の向きに合ったものとすることができる。

（第１９項）前記画面表示制御部は、前記画面切替条件に応じて、前記第１画面切替処理、又は、前記モニタ画面を、前記撮影画像の第３画像範囲の画像部分を表示する第３モニタ画面から、前記第３画像範囲の画像部分と前記第３画像範囲の一部を拡大した第４画像部分とを表示する第４モニタ画面に切り替える第２画面切替処理を、実行する第１項から第１８項のうちいずれか１項に記載の遠隔表示システム。
第１９項の遠隔表示システムによれば、広範囲の第３画像範囲と第３画像刃にの一部を拡大した第４画面を表示する第４モニタ画面により、利用者に対して、ロボットの周辺の広範囲の画像情報の提供を確保しつつ、特定範囲について詳細な画像情報を提供することができる。

（第２０項）前記ロボットは移動ロボットであり、前記ロボットの移動状況を認識する移動状況認識部を備え、前記画面表示制御部は、前記移動状況認識部により前記ロボットが停止状態であることが認識されているときは、前記第１画面切替処理を実行し、前記移動状況認識部により前記ロボットが移動状態であることが認識されているときには、前記第２画面切替処理を実行する第１９項に記載の遠隔表示システム。
第２０項の遠隔表示システムによれば、ロボットが停止している場合は、第１画面切替処理により、特定範囲の画像部分に限定した第２モニタ画面を表示して、特定範囲の画像に対する利用者の認識を容易にする。一方、ロボットが移動している場合には、第２画面切替処理により、広範囲の画像部分と広範囲の画像部分の一部を拡大した画像部分とを含む第４モニタ画面を表示して、利用者に対してロボットの周辺の広範囲の画像情報を提供しつつ、利用者による広範囲内の一部の画像情報の認識を容易にすることができる。

（第２１項）周辺を撮影するカメラと、表示端末との間で通信を行うロボット通信部と、 前記表示端末に表示させる、前記カメラによる撮影画像に基づくモニタ画面を設定する画面表示制御部と、前記画面表示制御部により設定された前記モニタ画面のデータを、前記ロボット通信部により前記表示端末に送信するモニタ画面データ送信部と、を備えるロボットであって、前記画面表示制御部は、所定の画面切替条件に応じて、前記モニタ画面を、前記撮影画像の第１範囲の画像部分を表示する第１モニタ画面から、前記撮影画像の前記第１範囲と異なる第２範囲の画像部分を表示する第２モニタ画面に切り替える、第１画面切り替え処理を実行するロボット。
第２１項のロボットによれば、画面切替条件に応じて、表示端末に送信するモニタ画面のデータを、第１モニタ画面のデータから、表示する撮影画像の画像範囲が第１モニタ画面とは異なる第２モニタ画面のデータに切り替えることにより、表示端末の端末表示部にロボットのモニタ画面の表示を、利用者によるロボットの周辺状況の認識が容易な態様で行うことができる。

（第２２項）端末表示部と、カメラを有するロボットとの間で通信を行う端末通信部と、前記ロボットから送信される前記カメラによる撮影画像を、前記端末通信部により受信して取得する撮影画像取得部と、前記撮影画像に基づいて、前記端末表示部によるモニタ画面の表示を制御する画面表示制御部と、を備える表示端末であって、前記画面表示制御部は、所定の画面切替条件に応じて、前記モニタ画面を、前記撮影画像の第１範囲の画像部分を表示する第１モニタ画面から、前記撮影画像の前記第１範囲と異なる第２範囲の画像部分を表示する第２モニタ画面に切り替える、第１画面切り替え処理を実行する表示端末。
第２２項の表示端末によれば、画面切替条件に応じて、端末表示部の画面表示を、第１モニタ画面から、表示する撮影画像の画像範囲が第１モニタ画面とは異なる第２モニタ画面に切り替えることにより、表示端末におけるロボットのモニタ画面の表示を、利用者によるロボットの周辺状況の認識が容易な態様で行うことができる。

１…遠隔操作システム、１０…移動ロボット、１４…走行ユニット、２０…ロボットコントローラ、３０…ロボットプロセッサ、３１…画面表示制御部、３２…現在位置認識部、３３…表示モード切替部、３４…表示モード切替部、３５…周辺対象物体認識部、３６…コミュニケーション対象選択受付部、３７…コミュニケーション制御部、３８…障害物認識部、３９…動作中物体認識部、４０…目的地認識部、４１…移動ルート認識部、４２…表示画像範囲設定部、４３…カメラ撮影範囲制御部、４４…水平方向画像取得部、４５…利用者顔画像表示制御部、６１…ロボット表示部、６２…ロボットカメラ、６３…ロボットスピーカー、６４…ロボットマイク、６５…ライダー、６６…ＧＮＳＳセンサ、６７…速度センサ、６８…傾斜センサ、１００…操作端末、１１０…端末コントローラ、１２０…端末プロセッサ、１２１…ロボット操作画面制御部、１２２…ロボット操作指示制御部、１４１…端末表示部、１４２…端末カメラ、１４３…端末マイク、１４４…端末スピーカー。

上記目的を達成するための第１態様として、ロボットと、前記ロボットとの間で通信を行う表示端末と、を備え、前記ロボットは、前記ロボットの周辺を撮影するカメラを有して、前記カメラの撮影画像に基づくモニタ画像情報を前記表示端末に送信し、前記表示端末は、端末表示部を有し、前記モニタ画像情報を受信して、前記撮影画像に基づくモニタ画像を含むモニタ画面を前記端末表示部に表示する、遠隔表示システムであって、所定の画面切替条件に応じて、前記端末表示部に表示する前記モニタ画面を、前記撮影画像の第１画像範囲を表示する第１モニタ画面から、前記撮影画像の前記第１画像範囲と異なる第２画像範囲を表示する第２モニタ画面に切り替える、第１画面切替処理を実行する画面表示制御部を備える遠隔表示システムが挙げられる。

移動ロボット１０は、通信ネットワーク２００を介して、エリア情報サーバー２１０から、移動ロボット１０の移動エリア内の情報を取得すると共に、ロボット管理サーバー２２０から、移動ロボット１０或いは他のロボットに関する情報を取得する。

ロボットコントローラ２０は、ロボットプロセッサ３０、ロボットメモリ５０、及び図示しないインターフェース回路等により構成されている。ロボットメモリ５０には、ロボット制御用プログラム５１、地図ＤＢ（database）５２、建物ＤＢ５３等が保存されている。地図ＤＢ５２には、移動ロボット１０の移動エリアの地図が記録されている。建物ＤＢ５３には、移動ロボット１０の移動エリア内に存在する建物のフロアレイアウト等が記録されている。

コミュニケーション対象選択受付部３６は、利用者Ｕによる操作画面の選択操作に応じて、利用者Ｕがコミュニケーションの実施を希望する周辺対象物体の選択を受け付ける。コミュニケーション制御部３７は、コミュニケーション対象選択受付部３６により選択が受付けられた周辺対象物体と、利用者Ｕとの間のコミュニケーションを制御する。コミュニケーション制御部３７は、利用者Ｕと周辺対象物体とのビデオ通話、音声通話、チャットを可能にする。

コミュニケーションアイコン５３４には、音声通話を開始するための音声通話アイコン５３４ａ、ビデオ通話を開始するためのビデオ通話アイコン５３４ｂ、チャットの開始等を行うためのオプションアイコン５３４ｃ、通話を終了するための通話終了アイコン５３４ｄが含まれる。コミュニケーションウィンドウ５４０には、通話相手の顔画像５４１、チャットによるメッセージ５４２等が表示される。

図４のステップＳ１で、表示モード切替部３４は、操作端末１００から送信される操作データに基づいて、モード切替スイッチ５３１の操作状態を認識する。そして、表示モード切替部３４は、モード切替スイッチ５３１による首振モードへの切替操作がなされたときに、ステップＳ１０に処理を進めて停止表示モードに設定し、ステップＳ４に処理を進める。

一方、首振りモードへの切替操作がなかったときには、表示モード切替部３４は、ステップＳ３に処理を進めて、モード切替スイッチ５３１の走行モードへの切替操作がなされたか否かを判断する。そして、表示モード切替部３４は、走行モードへの切替操作がなされたときはステップＳ５０に処理を進め、走行モードへの切替操作がなされなかったときには、ステップＳ４に処理を進める。ステップＳ４で、表示モード切替部３４は、操作画面の表示モードを移動表示モードに設定する。

ステップＳ６１で、画面表示制御部３１は、図１１に示したように、第１サブ画面５２０の画像部分６１２（ここでは、フロアガイドパネルの画像部分）が選択されたときに、画像部分６１２を拡大した拡大ウィンドウ６２０を第２サブ画面５３０に表示する。これにより、利用者Ｕは、第１サブ画面５２０により、移動ロボット１０の前方を広範囲で確認しつつ、第２サブ画面５３０の拡大ウィンドウ６２０により、確認したい対象物の詳細を視認することができる。

上記実施形態において、コミュニケーション対象選択受付部３６は、第１サブ画面５２０に表示されている人の画像部分がタッチ操作されたときに、タッチ操作された画像部分に対応した人をコミュニケーション対象として設定した。他の実施形態として、第１サブ画面５２０に表示されている画像部分に対応する人又はロボットの識別情報（氏名、ＩＤ等）を、第１サブ画面５２０に一覧表示し、一覧表示された識別情報のタッチ操作により、コミュニケーション対象を選択できるようにしてもよい。

（第１８項）前記撮影画像から、前記カメラの撮影方向が水平方向である場合に対応した水平相当画像範囲を抽出する水平相当画像抽出部を備え、前記画面表示制御部は、前記水平相当画像から前記第１モニタ画面を抽出する第１項から第１７項のうちいずれか１項に記載の遠隔表示システム。
第１８項の遠隔表示システムによれば、カメラの撮影方向が水平方向ではない場合に、水平相当画像から第１モニタ面を抽出することにより、端末表示部に表示される第１モニタ画面を、利用者の視線の向きに合ったものとすることができる。

（第１９項）前記画面表示制御部は、前記画面切替条件に応じて、前記第１画面切替処理、又は、前記モニタ画面を、前記撮影画像の第３画像範囲の画像部分を表示する第３モニタ画面から、前記第３画像範囲の画像部分と前記第３画像範囲の一部を拡大した第４画像部分とを表示する第４モニタ画面に切り替える第２画面切替処理を、実行する第１項から第１８項のうちいずれか１項に記載の遠隔表示システム。
第１９項の遠隔表示システムによれば、広範囲の第３画像範囲と第３画像範囲の一部を拡大した第４画面を表示する第４モニタ画面により、利用者に対して、ロボットの周辺の広範囲の画像情報の提供を確保しつつ、特定範囲について詳細な画像情報を提供することができる。

Claims (22)

1. ロボットと、前記ロボットとの間で通信を行う表示端末と、を備え、
   前記ロボットは、前記ロボットの周辺を撮影するカメラを有して、前記カメラの撮影画像に基づくモニタ画像情報を前記表示端末に送信し、
   前記表示端末は、端末表示部を有し、前記モニタ画像情報を受信して、前記撮影画像に基づくモニタ画像を含むモニタ画面を前記端末表示部に表示する、
   遠隔表示システムであって、
   所定の画面切替条件に応じて、前記端末表示部に表示する前記モニタ画面を、前記撮影画像の第１画像範囲を表示する第１モニタ画面から、前記撮影画像の前記第１画像範囲と異なる第２画像範囲を表示する第２モニタ画面に切り替える、第１画面切替処理を実行する画面表示制御部を備える
   遠隔表示システム。
2. 前記カメラの周辺に存在する動作中物体を認識する動作中物体認識部を備え、
   前記画面切替条件として、前記動作中物体認識部により、前記カメラの撮影範囲内の前記第１画像範囲に対応する第１撮影範囲外で、前記動作中物体認識部により前記動作中物体が認識されること、が設定され、
   前記画面表示制御部は、前記動作中物体の画像部分が含まれるように、前記第２画像範囲を設定する
   請求項１に記載の遠隔表示システム。
3. 前記動作中物体認識部は、動作中の人又は他のロボットを前記動作中物体として認識する
   請求項２に記載の遠隔表示システム。
4. 前記画面表示制御部は、前記動作中物体認識部により認識された前記動作中物体の画像部分を含む画像範囲を拡大した画像を表示する画面を、前記第２モニタ画面とする
   請求項２又は請求項３に記載の遠隔表示システム。
5. 前記画面表示制御部は、前記第１画像範囲を、前記動作中物体認識部により認識された前記動作中物体の画像部分が含まれるように拡大した範囲を、前記第２画像範囲とする
   請求項２から請求項４のうちいずれか１項に記載の遠隔表示システム。
6. 前記画面表示制御部は、前記撮影画像に含まれる人及び他のロボットの画像部分が全て含まれるように、前記第１画像範囲を設定する
   請求項１から請求項５のうちいずれか１項に記載の遠隔表示システム。
7. 前記画面表示制御部は、前記画面切替条件に応じて前記モニタ画面を前記第１モニタ画面から前記第２モニタ画面に切り替えた時点から、所定時間が経過した時に、前記モニタ画面を前記第１モニタ画面に戻す
   請求項１から請求項６のうちいずれか１項に記載の遠隔表示システム。
8. 前記表示端末は、前記表示端末の利用者による操作に応じて、前記端末表示部に表示される前記撮影画像の範囲を設定する表示画像範囲設定部を備え、
   前記画面表示制御部は、前記表示画像範囲設定部により設定された範囲を前記第２画像範囲とする
   請求項１から請求項７のうちいずれか１項に記載の遠隔表示システム。
9. 前記ロボットは、胴部と、該胴部に対して回転又は揺動する頭部とを備え、
   前記カメラは前記胴部に設けられている
   請求項１から請求項８のうちいずれか１項に記載の遠隔表示システム。
10. 前記ロボットは、前記ロボットの周辺に存在する物体を検出する物体検出センサを備え、
    前記動作中物体認識部は、前記物体検出センサによる検出情報に基づいて、前記動作中物体を認識する
    請求項２から請求項５のうちいずれか１項に記載の遠隔表示システム。
11. 地図情報に基づいて前記ロボットの現在位置を認識する現在位置認識部を備え、
    前記動作中物体認識部は、前記現在位置認識部により前記ロボットが部屋内に位置していることが認識されている状態で、前記物体検出センサにより前記部屋内に進入する物体が検出された場合に、当該物体を前記動作中物体として認識する
    請求項１０に記載の遠隔表示システム。
12. 前記ロボットは、物体から発信される識別信号を受信する識別信号受信部を備え、
    前記動作中物体認識部は、前記識別信号受信部による前記識別信号の受信状況に基づいて、前記動作中物体を認識する
    請求項２から請求項５のうちいずれか１項に記載の遠隔表示システム。
13. 前記ロボットは、前記ロボットの周辺の音を検出する音センサを備え、
    前記動作中物体認識部は、前記音センサによる音の検出状況に応じて、前記動作中物体を認識する
    請求項２から請求項５のうちいずれか１項に記載の遠隔表示システム。
14. 前記画面表示制御部は、前記動作中物体認識部により、前記音センサによる音の検出状況に基づいて、複数の前記動作中物体が認識されたときに、発した音の音量が最大である前記動作中物体の画像部分が含まれるように前記第２画像範囲を設定する
    請求項１３に記載の遠隔表示システム。
15. 前記動作中物体認識部は、前記撮影画像と前記音センサによる音の検出状況に基づいて、起立して発言中の動作中物体を認識し、
    前記画面表示制御部は、前記動作中物体認識部により、起立して発言中の前記動作中物体が認識されたときに、起立して発言中の前記動作中物体の画像部分が含まれるように前記第２画像範囲を設定する
    請求項１３又は請求項１４に記載の遠隔表示システム。
16. 前記画面表示制御部は、前記動作中物体認識部により複数の前記動作中物体が認識されたときに、最も大きな声で発言中の前記動作中物体、移動中の前記動作中物体、起立して発言の中の前記動作中物体、の順に設定された優先順位によって選択した前記動作中物体の画像部分が含まれるように、前記第２画像範囲を設定する
    請求項１３に記載の遠隔表示システム。
17. 前記カメラの撮影画像に、前記ロボットの周辺に所在する人及び他のロボットの画像部分が全て含まれるように、前記カメラの撮影範囲を制御するカメラ撮影範囲制御部を備える
    請求項１から請求項１６のうちいずれか１項に記載の遠隔表示システム。
18. 前記撮影画像から、前記カメラの撮影方向が水平方向である場合に対応した水平相当画像範囲を抽出する水平相当画像抽出部を備え、
    前記画面表示制御部は、前記水平相当画像から前記第１モニタ画面を抽出する
    請求項１から請求項１７のうちいずれか１項に記載の遠隔表示システム。
19. 前記画面表示制御部は、前記画面切替条件に応じて、前記第１画面切替処理、又は、前記モニタ画面を、前記撮影画像の第３画像範囲の画像部分を表示する第３モニタ画面から、前記第３画像範囲の画像部分と前記第３画像範囲の一部を拡大した第４画像部分とを表示する第４モニタ画面に切り替える第２画面切替処理を、実行する
    請求項１から請求項１８のうちいずれか１項に記載の遠隔表示システム。
20. 前記ロボットは移動ロボットであり、
    前記ロボットの移動状況を認識する移動状況認識部を備え、
    前記画面表示制御部は、前記移動状況認識部により前記ロボットが停止状態であることが認識されているときは、前記第１画面切替処理を実行し、前記移動状況認識部により前記ロボットが移動状態であることが認識されているときには、前記第２画面切替処理を実行する
    請求項１９に記載の遠隔表示システム。
21. 周辺を撮影するカメラと、
    表示端末との間で通信を行うロボット通信部と、
    前記表示端末に表示させる、前記カメラによる撮影画像に基づくモニタ画面を設定する画面表示制御部と、
    前記画面表示制御部により設定された前記モニタ画面のデータを、前記ロボット通信部により前記表示端末に送信するモニタ画面データ送信部と、
    を備えるロボットであって、
    前記画面表示制御部は、所定の画面切替条件に応じて、前記モニタ画面を、前記撮影画像の第１範囲の画像部分を表示する第１モニタ画面から、前記撮影画像の前記第１範囲と異なる第２範囲の画像部分を表示する第２モニタ画面に切り替える、第１画面切り替え処理を実行する
    ロボット。
22. 端末表示部と、
    カメラを有するロボットとの間で通信を行う端末通信部と、
    前記ロボットから送信される前記カメラによる撮影画像を、前記端末通信部により受信して取得する撮影画像取得部と、
    前記撮影画像に基づいて、前記端末表示部によるモニタ画面の表示を制御する画面表示制御部と、
    を備える表示端末であって、
    前記画面表示制御部は、所定の画面切替条件に応じて、前記モニタ画面を、前記撮影画像の第１範囲の画像部分を表示する第１モニタ画面から、前記撮影画像の前記第１範囲と異なる第２範囲の画像部分を表示する第２モニタ画面に切り替える、第１画面切り替え処理を実行する
    表示端末。
    

Images