JP2020109926A - ロボット制御装置、ロボット制御方法、ロボット制御プログラム及びロボット制御システム - Google Patents

Abstract

【課題】ロボットを制御する際に、ユーザの操作を受け付けてから、ユーザの操作が反映された後の向きの画像をユーザに提供するまでに掛かる時間を短縮できるようにする。【解決手段】本発明の一実施形態に係るロボット制御装置１は、撮像部が撮像したロボットの周囲の撮像画像を取得する画像取得部１５１と、ユーザの操作を受け付ける操作受付部１５３と、撮像画像の中で操作に対応する位置を特定し、特定した位置を含む撮像画像の一部の表示領域を表示部に表示させる表示制御部１５２と、ロボットの頭部を、表示制御部が特定した位置に対応する向きに向くように動作させる動作制御部１５５と、を有する。【選択図】図３

Description

本発明は、ロボットを制御するためのロボット制御装置、ロボット制御方法、ロボット制御プログラム及びロボット制御システムに関する。

ユーザがロボットを遠隔で操作し、ロボットが有するカメラが撮像した撮像画像をユーザに提供する技術の開発が進んでいる。特許文献１には、ユーザが装着しているヘッドマウントディスプレイの動きに連動して、カメラを有するロボットの筐体を動かすシステムが記載されている。このようなシステムによれば、ユーザは、ロボットのカメラの向きを所望の向きに変えるとともに、向きの変わったカメラが撮像した画像を見ることができる。

特開２０１７−２０１７４２号公報

特許文献１に記載のシステムおいて、ユーザがヘッドマウントディスプレイを動かす操作をすると、操作内容を示す信号がロボットに送られる。その後、ロボットは、受信した信号に基づいて筐体を動かし、向きが変わったカメラが撮像した画像をユーザのヘッドマウントディスプレイへ送信する。そのため、ユーザの操作を受け付けてから、ユーザの操作が反映された後の向きの画像をユーザに提供するまでに、長い時間が掛かるという問題があった。

本発明はこれらの点に鑑みてなされたものであり、ロボットを制御する際に、ユーザの操作を受け付けてから、ユーザの操作が反映された後の向きの画像をユーザに提供するまでに掛かる時間を短縮できるロボット制御装置、ロボット制御方法、ロボット制御プログラム及びロボット制御システムを提供することを目的とする。

本発明の第１の態様に係るロボット制御装置は、撮像部が撮像したロボットの周囲の撮像画像を取得する取得部と、ユーザの操作を受け付ける受付部と、前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させる表示制御部と、前記ロボットの頭部を、前記表示制御部が特定した前記位置に対応する向きに向くように動作させる動作制御部と、を有し、前記表示制御部は、前記動作制御部が前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる。

前記取得部は、前記表示領域に対応する撮像範囲よりも広い範囲を撮像した前記撮像画像を取得してもよい。

前記取得部は、前記ロボットに接続された撮像部又は前記ロボット上に設けられた撮像部が撮像した前記撮像画像を取得してもよい。

前記動作制御部は、前記撮像画像の中心点に対する前記表示領域の中心点の位置と、前記ロボットの頭部の向きとの関係とに基づいて決定した前記向きに向くように、前記頭部を動作させてもよい。

前記動作制御部は、前記位置を含む所定範囲内に前記位置が滞在した時間を測定し、測定した前記時間が所定値以上である場合に、前記頭部を動作させてもよい。

前記動作制御部は、前記位置の所定時間内の変化量が所定値以下である場合に、前記頭部を動作させてもよい。

前記表示制御部は、前記位置を含む所定範囲内に前記位置が滞在した時間を測定し、測定した前記時間が所定値以上である場合に、前記表示部に前記表示領域を表示させてもよい。

前記表示制御部は、前記位置の所定時間内の変化量が所定値以下である場合に、前記表示部に前記表示領域を表示させてもよい。

本発明の第２の態様に係るロボット制御方法は、プロセッサが、撮像部が撮像したロボットの周囲の撮像画像を取得するステップと、ユーザの操作を受け付けるステップと、前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させるステップと、前記ロボットの頭部を、前記表示させるステップが特定した前記位置に対応する向きに向くように動作させるステップと、を実行し、前記表示させるステップは、前記動作させるステップが前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる。

本発明の第３の態様に係るロボット制御プログラムは、コンピュータに、撮像部が撮像したロボットの周囲の撮像画像を取得するステップと、ユーザの操作を受け付けるステップと、前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させるステップと、前記ロボットの頭部を、前記表示させるステップが特定した前記位置に対応する向きに向くように動作させるステップと、を実行させ、前記表示させるステップは、前記動作させるステップが前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる。

本発明の第４の態様に係るロボット制御システムは、ロボットと、ロボット制御装置とを備え、前記ロボットは、向きが変わるように動作可能な頭部を有し、前記ロボット制御装置は、撮像部が撮像した前記ロボットの周囲の撮像画像を取得する取得部と、ユーザの操作を受け付ける受付部と、前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させる表示制御部と、前記ロボットの前記頭部を、前記表示制御部が特定した前記位置に対応する向きに向くように動作させる動作制御部と、を有し、前記表示制御部は、前記動作制御部が前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる。

本発明によれば、ロボットを制御する際に、ユーザの操作を受け付けてから、ユーザの操作が反映された後の向きの画像をユーザに提供するまでに掛かる時間を短縮できるという効果を奏する。

本実施形態に係るロボット制御システムの模式図である。 本実施形態に係るロボット制御方法の模式図である。 本実施形態に係るロボット制御システムのブロック図である。 本実施形態に係るロボットの正面図である。 本実施形態に係るロボット制御装置の画像取得部が取得する撮像画像の模式図である。 撮像画像と表示領域との関係を示す模式図である。 本実施形態に係るロボットの動作を示す模式図である。 本実施形態に係るロボット制御方法のフローチャートを示す図である。

［ロボット制御システムＳの概要］
図１は、本実施形態に係るロボット制御システムＳの模式図である。ロボット制御システムＳは、ロボット制御装置１と、通信端末２と、ロボット３とを含む。ロボット制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。

ロボット制御装置１は、表示部１１及び操作部１２を有するコンピュータである。ロボット制御装置１は、例えばパーソナルコンピュータ又はサーバである。ロボット制御装置１は、インターネット、ローカルエリアネットワーク等のネットワークＮを介して、通信端末２と通信する。表示部１１は、ユーザに対して各種情報を表示する表示装置を含む。操作部１２は、ユーザの操作を受け付ける操作装置を含む。

ロボット制御装置１は、後述するロボット制御方法によって、ロボットの周囲の撮像画像を表示部１１に表示させるとともに、操作部１２を介してユーザから受け付けた操作に基づいてロボットを制御する。

通信端末２は、撮像部２１を有するコンピュータである。通信端末２は、例えばスマートフォン、タブレット端末等の携帯端末である。通信端末２は、ネットワークＮを介してロボット制御装置１と通信する。撮像部２１は、所定の範囲を撮像する撮像装置を含む。

ロボット３は、ロボット制御装置１からの制御情報に従って動作する装置である。ロボット３は、それぞれ向きが変わるように動作可能な頭部３１及び２つの腕部３２を有する。本実施形態に係るロボット３は人型の装置であるが、少なくとも１つの頭部３１を有するその他の形状の装置であってもよい。

ロボット３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等による近距離無線通信、又はケーブルによる有線で、通信端末２と接続されている。ロボット３は、通信端末２を介してロボット制御装置１から受け取った制御情報に従って、頭部３１及び腕部３２を動作させる。

［ロボット制御方法の概要］
図２は、本実施形態に係るロボット制御方法の模式図である。まずロボット３の設置者は、ロボット３の周囲を撮像可能な位置に通信端末２を配置する。そして設置者は、通信端末２に、撮像部２１による撮像を開始させる（ａ）。撮像部２１は、ロボット３の周囲として、少なくともロボット３の頭部３１から正面へ向かう向きを含む所定の範囲を撮像する。

通信端末２は、撮像部２１が撮像した撮像画像を所定の時間間隔で、ロボット制御装置１へ送信する（ｂ）。通信端末２は、１つ又は複数の静止画像を撮像画像として送信してもよく、動画像を撮像画像として送信してもよい。

ロボット制御装置１は、撮像部２１が撮像した撮像画像の一部の領域を、表示領域として表示部１１に表示させる（ｃ）。撮像画像は、例えば、ロボット制御装置１の表示部１１が表示可能な表示領域に対応する撮像範囲よりも広い範囲が撮像された画像である。撮像画像は、例えば全方位カメラによりロボット３の周囲３６０度の範囲が撮像された画像である。ロボット制御装置１は、ロボット３の操作者であるユーザから、操作部１２を介してロボット３に対する操作を受け付ける（ｄ）。ロボット制御装置１は、ユーザから受け付けた操作に対応する撮像画像中の表示領域の位置を特定し、特定した位置に基づいて表示部１１上に表示された表示領域を更新する。ロボット制御装置１は、操作の受け付けと、表示領域の更新とを繰り返す。

表示領域の更新と並行して、ロボット制御装置１は、ユーザから受け付けた操作に対応する表示領域の位置に基づいて、ロボット３の頭部３１の向きを決定する（ｅ）。例えばロボット制御装置１は、ユーザが撮像画像中で表示領域を左に動かした場合に、ロボット３の頭部３１の向きを現在の向きよりも左に変更する。ロボット制御装置１は、決定した向きにロボット３の頭部を向かせる動作を示す動作情報を生成し、通信端末２へ送信する（ｆ）。

ロボット３は、ロボット制御装置１からの動作情報を、通信端末２を介して受け取る。そしてロボット３は、受け取った動作情報に従って、頭部３１を動作させる（ｇ）。これにより、ロボット３の頭部３１は、ユーザが見ている撮像画像中の表示領域に対応する向きに向くように動作する。

このようにロボット制御システムＳは、ロボット制御装置１の表示部１１が表示可能な表示領域に対応する撮像範囲よりも広い範囲の撮像画像の一部である表示領域を、ユーザの操作に対応する位置に更新する。それと並行して、ロボット制御システムＳは、ロボット３の頭部３１を、更新された表示領域に対応する向きに向くように動作させる。これにより、ロボット制御システムＳは、ユーザの操作に対応する向きの撮像画像を短時間で表示できるとともに、ロボット３の頭部３１をユーザの操作に対応する向きに向かせることができる。

また、ロボット制御システムＳによれば、ユーザが見ている撮像画像とロボット３の動作との間の時間差を小さくできるため、ロボット３の動作は、ユーザがどこを見ているかをより正確に反映する。したがって、ロボット３の操作者であるユーザと、ロボット３の周囲にいる人との間のコミュニケーションを円滑化できる。

［ロボット制御システムＳの構成］
図３は、本実施形態に係るロボット制御システムＳのブロック図である。図３において、矢印は主なデータの流れを示しており、図３に示したもの以外のデータの流れがあってよい。図３において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図３に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

通信端末２は、撮像部２１と、通信部２２とを有する。撮像部２１は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を有する撮像装置を含む。撮像部２１は、複数の撮像装置を含んでもよい。撮像部２１は、撮像した撮像画像をロボット制御装置１に送信する。

通信部２２は、ロボット制御装置１及びロボット３との間で通信をするための通信インタフェースである。通信部２２は、通信を行うためのプロセッサ、コネクタ、アンテナ等を含む。通信部２２は、ロボット制御装置１又はロボット３から受信した通信信号に所定の処理を行ってデータを取得する。また、通信部２２は、外部に送信すべきデータに所定の処理を行って通信信号を生成し、生成した通信信号をロボット制御装置１又はロボット３に送信する。

ロボット３は、上述の頭部３１及び腕部３２に加えて、駆動部３３と、通信部３４とを有する。駆動部３３は、頭部３１及び腕部３２をそれぞれ駆動するモータ、アクチュエータ等の駆動機構を含む。頭部３１及び腕部３２は、駆動部３３が発生させる動力によって動作する。

通信部３４は、通信端末２との間で通信をするための通信インタフェースである。通信部３４は、通信を行うためのプロセッサ、コネクタ、アンテナ等を含む。通信部３４は、通信端末２から受信した通信信号に所定の処理を行ってデータを取得する。また、通信部３４は、外部に送信すべきデータに所定の処理を行って通信信号を生成し、生成した通信信号を通信端末２に送信する。

本実施形態に係るロボット３は、通信端末２を介してロボット制御装置１からの制御情報を受け取っているが、ロボット制御装置１と直接通信することによって制御情報を受け取ってもよい。

ロボット制御装置１は、表示部１１と、操作部１２と、記憶部１３と、通信部１４と、制御部１５とを有する。制御部１５は、画像取得部１５１と、表示制御部１５２と、操作受付部１５３と、向き決定部１５４と、動作制御部１５５とを有する。

表示部１１は、各種情報を表示するための、液晶ディスプレイ等の表示装置を含む。表示部１１は、制御部１５から受け取った信号に従って情報を表示する。操作部１２は、ユーザの操作を受け付けるための、キーボード、マウス等の操作装置を含む。操作部１２は、ユーザの操作を示す信号を、制御部１５に入力する。表示部１１としてユーザによる接触の位置を検出可能なタッチスクリーンを用いることによって、表示部１１と操作部１２とを一体に構成してもよい。

表示部１１は、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。この場合に、ヘッドマウントディスプレイである表示部１１は、ユーザの頭部に装着可能であり、ユーザに対して情報を表示するとともに、ユーザの頭部の向きを検出する。ヘッドマウントディスプレイである表示部１１は、検出したユーザの頭部の向きを示す信号をユーザの操作を示す信号として出力することによって、操作部１２としても機能する。これにより、ユーザは自身の頭部を動かすことによって、表示領域を変更できるとともに、ロボット３の頭部３１を動かすことができる。

操作部１２は、ユーザの目を含む領域を撮像する撮像装置を含んでもよい。この場合に、操作部１２の撮像装置は、ユーザの目を含む撮像画像を撮像し、ユーザの操作を示す信号として出力する。制御部１５は、操作部１２の撮像装置が撮像した撮像画像に基づいて、ユーザの視線の向きを特定し、特定した視線の向きをユーザの操作として受け付ける。制御部１５は、撮像画像からユーザの視線の向きを特定するために、既知の技術を用いることができる。これにより、ユーザは自身の視線を動かすことによって、表示領域を変更できるとともに、ロボット３の頭部３１を動かすことができる。

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１５が実行するプログラムを予め記憶している。また、記憶部１３は、通信端末２から受信した撮像画像を記憶する。記憶部１３は、ロボット制御装置１の外部に設けられてもよく、その場合に通信部１４を介して制御部１５との間でデータの授受を行ってもよい。

通信部１４は、通信端末２との間で通信をするための通信インタフェースである。通信部１４は、ロボット３との間で通信をしてもよい。通信部１４は、通信を行うためのプロセッサ、コネクタ、アンテナ等を含む。通信部１４は、通信端末２から受信した通信信号に所定の処理を行ってデータを取得する。また、通信部１４は、外部に送信すべきデータに所定の処理を行って通信信号を生成し、生成した通信信号を通信端末２に送信する。

制御部１５は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、画像取得部１５１、表示制御部１５２、操作受付部１５３、向き決定部１５４及び動作制御部１５５として機能する。画像取得部１５１、表示制御部１５２、操作受付部１５３、向き決定部１５４及び動作制御部１５５の機能については、図４〜図７を用いて後述する。制御部１５の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１５の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。

本実施形態に係るロボット制御システムＳは、図３に示す具体的な構成に限定されない。例えばロボット制御装置１、通信端末２及びロボット３は、それぞれ１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。例えばロボット制御装置１は、制御部１５を有するサーバと、表示部１１及び操作部１２を有する端末とに分けて構成されてもよい。

［ロボット制御方法の説明］
図４〜図７を用いて、ロボット制御システムＳが実行するロボット制御方法を以下に説明する。図４（ａ）〜図４（ｃ）は、本実施形態に係るロボット３の正面図である。図４（ａ）のロボット３は有線又は無線で通信端末２と接続されている。すなわち、図４（ａ）の例では、通信端末２の撮像部２１を、ロボット３の周囲を撮像するために利用する。通信端末２は、ロボット３上に固定されてもよく、あるいは三脚等を用いて地面等に設置されてもよい。

通信端末２の撮像部２１上には広角レンズが設けられているため、撮像部２１は表示部１１の表示領域が表示可能な範囲よりも広い範囲を撮像可能である。広角レンズは、クリップや粘着剤を用いて撮像部２１上に固定されている。広角レンズは、６０度以上の画角を有しており、１８０度以上の画角を有することが望ましい。

図４（ａ）のように、通信端末２が有する撮像部２１をロボット３の周囲を撮像するために利用することによって、ロボット３に撮像部２１を設ける必要がないため、本実施形態に係るロボット制御システムＳを実装することが容易になる。また、スマートフォン等の通信端末２は高性能な撮像部２１を有していることが多いため、そのような高性能な撮像部２１を本実施形態に係るロボット制御方法に流用できる。

図４（ｂ）のロボット３は有線又は無線で通信端末２と接続されており、さらに通信端末２は有線又は無線で撮像部２１と接続されている。撮像部２１は、ロボット３と接続されてもよい。すなわち、図４（ｂ）の例では、通信端末２又はロボット３の外部に接続された撮像部２１を、ロボット３の周囲を撮像するために利用する。撮像部２１は、広角カメラであり、表示領域に対応する撮像範囲よりも広い範囲を撮像可能である。広角カメラは、６０度以上の画角を有しており、１８０度以上の画角を有することが望ましい。広角カメラは、ロボット３の周囲３６０度の範囲を撮像可能であることがさらに望ましい。これにより、ユーザがロボット３の周囲のどの方位を見たい場合であっても、撮像部２１を動かす必要がない。

図４（ｂ）のように、通信端末２又はロボット３の外部に接続された撮像部２１をロボット３の周囲を撮像するために利用することによって、ロボット３に撮像部２１を設ける必要がないため、本実施形態に係るロボット制御システムＳを実装することが容易になる。また、通信端末２及びロボット３の形状によらず撮像部２１を設置できるため、設置の自由度が高い。

図４（ｃ）のロボット３は、撮像部２１を備える。この場合に、図３における通信端末２の機能は、ロボット３に内蔵される。すなわち、図４（ｃ）の例では、ロボット３の撮像部２１を、ロボット３の周囲を撮像するために利用する。撮像部２１は、例えばロボット３の胴体に固定される。

図４（ｃ）のように、ロボット３上に設けられた撮像部２１をロボット３の周囲を撮像するために利用することによって、本実施形態に係るロボット制御方法を実行する際に、通信端末２をロボット３に接続する手間を削減できる。

本実施形態に係るロボット制御システムＳは、図４（ａ）〜図４（ｃ）のうちいずれか１つの撮像部２１を備えてもよく、図４（ａ）〜図４（ｃ）のうち複数の撮像部２１を備えてもよい。

図５（ａ）、図５（ｂ）は、本実施形態に係るロボット制御装置１の画像取得部１５１が取得する撮像画像Ｐの模式図である。図５（ａ）、図５（ｂ）は、撮像部２１と撮像画像Ｐとの関係を模式的に表している。

図５（ａ）の例では、広角レンズが設けられた撮像部２１又は広角カメラである撮像部２１が、表示領域に対応する撮像範囲よりも広い範囲を撮像し、撮像画像をロボット制御装置１へ送信する。画像取得部１５１は、受信した撮像画像を、撮像画像Ｐとして記憶部１３に記憶させる。これにより、１つの撮像部２１によって表示領域に対応する撮像範囲よりも広い範囲の撮像画像Ｐを取得できる。

図５（ｂ）の例では、複数の撮像部２１が異なる範囲を撮像し、複数の撮像画像をロボット制御装置１へ送信する。１つの撮像部２１が回転しながら異なる範囲を撮像することによって、複数の撮像画像をロボット制御装置１へ送信してもよい。そして画像取得部１５１は、受信した複数の撮像画像を合成することによって、表示領域に対応する撮像範囲よりも広い範囲の撮像画像Ｐを生成し、記憶部１３に記憶させる。これにより、撮像部２１上に広角レンズを設ける必要がなく、また撮像部２１として広角カメラを用いる必要がない。

複数の撮像部２１が撮像するために、図４（ａ）の例においてロボット３に複数の通信端末２を接続してもよく、図４（ｂ）の例において通信端末２又はロボット３に複数の撮像部２１を接続してもよく、図４（ｃ）の例においてロボット３が複数の撮像部２１を備えてもよい。

図６（ａ）、図６（ｂ）は、撮像画像Ｐと表示領域Ｒとの関係を示す模式図である。図６（ａ）、図６（ｂ）では、撮像画像Ｐの中心点Ｐ１が円形で表されており、表示領域Ｒの中心点Ｒ１が矩形で表されているが、中心点Ｐ１及び中心点Ｒ１は表示部１１に表示されなくてもよい。単一の撮像部２１を用いる場合には、中心点Ｐ１は撮像部２１の光軸の向きと一致する。

表示制御部１５２は、画像取得部１５１が取得した撮像画像Ｐの一部を、表示領域Ｒとして表示部１１に表示させる。表示領域Ｒの大きさは、表示部１１の大きさに応じて、予めロボット制御装置１に設定される。

具体的には、まず表示制御部１５２は、撮像画像Ｐの表示を開始した際に、撮像画像Ｐの中央に表示領域Ｒが位置するように（すなわち中心点Ｒ１が中心点Ｐ１に一致するように）、表示領域Ｒの初期位置を特定する。図６（ａ）は、撮像画像Ｐの表示を開始した際の表示領域Ｒの初期位置を表している。そして表示制御部１５２は、撮像画像Ｐの一部である、初期位置を含む所定の大きさの領域を、表示領域Ｒとして表示部１１に表示させる。

操作受付部１５３は、操作部１２を介して、ユーザが表示領域Ｒを移動させる操作を受け付ける。上述のように、ユーザは、キーボード、マウス等の操作装置に対して操作してもよく、ヘッドマウントディスプレイの向きによって操作してもよく、ユーザの視線によって操作してもよい。ユーザは、表示領域Ｒを移動させる向きを指定してもよく、あるいは表示領域Ｒの撮像画像Ｐ上の位置を指定してもよい。

操作受付部１５３がユーザから表示領域Ｒを移動させる操作を受け付けた場合に、表示制御部１５２は、ユーザの操作に対応する表示領域Ｒの移動後の位置を特定する。例えば表示制御部１５２は、ユーザの操作が表示領域Ｒを移動させる向きを指定している場合に、移動前の位置から指定された向きへ所定量移動した位置を、移動後の位置として特定する。表示制御部１５２は、ユーザの操作が表示領域Ｒの撮像画像Ｐ上の位置を指定している場合に、指定された位置を、移動後の位置として特定する。そして表示制御部１５２は、撮像画像Ｐの一部である、移動後の位置を含む所定の大きさの領域を、表示領域Ｒとして表示部１１に表示させる。これにより、ユーザの操作に対応する位置に表示領域Ｒが更新される。

表示制御部１５２は、移動後の位置を特定した際に、撮像画像Ｐの中で移動前の位置から移動後の位置まで表示領域Ｒを移動させながら表示部１１に表示させてもよく、撮像画像Ｐの中で移動前の位置の表示領域Ｒから移動後の位置の表示領域Ｒにすぐに切り替えて表示部１１に表示させてもよい。

このように、表示制御部１５２は、撮像画像Ｐの中でユーザの操作に応じて表示領域Ｒを移動させるため、ロボット３が頭部３１を動作させる時点よりも前に表示領域Ｒを更新でき、ユーザの操作に対するレスポンスが向上する。

表示制御部１５２がユーザの操作に対応する表示領域Ｒの移動後の位置を特定した際に、表示制御部１５２が表示領域Ｒを更新するのと並行して、向き決定部１５４は、表示領域Ｒの移動後の位置に対応するロボット３の頭部３１の向きを決定する。例えば向き決定部１５４は、撮像画像Ｐの中心点Ｐ１に対する表示領域Ｒの中心点Ｒ１の位置を特定する。向き決定部１５４は、例えば、撮像画像Ｐの平面上における中心点Ｐ１と中心点Ｒ１との距離、及び中心点Ｐ１に対する中心点Ｒ１の向き（例えば、表示領域Ｒの水平方向に対する角度）を算出することにより、中心点Ｐ１に対する中心点Ｒ１の位置を特定する。

そして向き決定部１５４は、算出した距離及び向きに基づいて、ロボット３の頭部３１の向きを決定する。撮像画像Ｐの中心点Ｐ１に対する表示領域Ｒの中心点Ｒ１の位置と、ロボット３の頭部３１の向きとの関係は、予めロボット制御装置１に設定される。ロボット３の頭部３１を動かす方位は中心点Ｐ１に対する中心点Ｒ１の向きに対応し、ロボット３の頭部３１を動かす量は中心点Ｐ１と中心点Ｒ１との距離に対応する。

動作制御部１５５は、向き決定部１５４が決定した向きにロボット３の頭部３１を向かせる動作を示す動作情報を生成し、通信端末２へ送信する。動作情報は、駆動部３３が頭部３１をどのように駆動するかを示す情報である。駆動部３３は、通信端末２を介してロボット制御装置１から受け取った動作情報が示す動作に従って、頭部３１を駆動する。

また、動作制御部１５５は、向き決定部１５４が決定した向きを示す動作情報を、通信端末２へ送信してもよい。この場合に、ロボット３は、通信端末２を介してロボット制御装置１から受け取った動作情報が示す向きに頭部３１を向かせる動作を決定する。駆動部３３は、ロボット３が決定した動作に従って、頭部３１を駆動する。

動作制御部１５５は、頭部３１に加えて、腕部３２を動作させるための動作情報を、通信端末２へ送信してもよい。この場合に、ロボット３は、通信端末２を介してロボット制御装置１から受け取った動作情報に基づいて、頭部３１及び腕部３２を動作させる。

ヘッドマウントディスプレイの向きや視線の向きを用いてユーザの操作を受け付ける場合に、ユーザの身体はある程度無意識に動くため、ユーザの操作をそのまま反映するとロボット３の頭部３１が不規則に動いてしまう。そこで動作制御部１５５は、表示領域Ｒの位置を含む所定範囲内に表示領域Ｒの位置が滞在した時間を測定してもよい。そして動作制御部１５５は、測定した時間が所定値以上である場合に、ロボット３の頭部３１を動作させる。

これにより、動作制御部１５５は、ユーザの操作に基づいて特定された表示領域Ｒの位置がほぼ停止した場合にロボット３の頭部３１を動作させるため、ロボット３の頭部３１が不規則に動くことを抑制できる。

また、表示制御部１５２は、表示領域Ｒの位置を含む所定範囲内に表示領域Ｒの位置が滞在した時間が所定値以上である場合に、移動後の位置の表示領域Ｒを表示部１１に表示させてもよい。これにより、表示制御部１５２は、ユーザの操作に基づいて特定された表示領域Ｒの位置がほぼ停止した場合に表示領域Ｒを更新するため、表示領域Ｒが不規則に動くことを抑制できる。

ヘッドマウントディスプレイの向きや視線の向きを用いてユーザの操作を受け付ける場合に、反射等によってユーザの身体が動いてしまうことがあり、このような異常な動きをロボット３の頭部３１に反映する必要はない。そこで動作制御部１５５は、表示領域Ｒの位置の所定時間内の変化量（すなわち移動速度）を算出してもよい。そして動作制御部１５５は、算出した所定時間内の変化量が所定値以下である場合に、ロボット３の頭部３１を動作させる。

これにより、動作制御部１５５は、ユーザの操作に基づいて特定された表示領域Ｒの位置の移動速度が小さい場合にロボット３の頭部３１を動作させるため、ユーザの異常な動きに基づいてロボット３の頭部３１が動くことを抑制できる。

また、表示制御部１５２は、表示領域Ｒの位置の所定時間内の変化量が所定値以下である場合に、移動後の位置の表示領域Ｒを表示部１１に表示させてもよい。これにより、表示制御部１５２は、ユーザの操作に基づいて特定された表示領域Ｒの位置の移動速度が小さい場合に表示領域Ｒを更新するため、ユーザの異常な動きに基づいて表示領域Ｒが動くことを抑制できる。

図７は、本実施形態に係るロボット３の動作を示す模式図である。図７の上図は、ロボット３が正面を向いている状態を表している。この状態で、ユーザが図６（ｂ）のように表示領域Ｒを左に動かす操作をした場合に、動作制御部１５５は、ロボット３の頭部３１を左に向かせる動作を示す動作情報を送信する。そして図７の下図のように、ロボット３は、ロボット制御装置１から受け取った動作情報が示す動作に従って、頭部３１をロボット３から見て左に動かす。

このように、表示制御部１５２が表示領域Ｒを更新するのと並行して動作制御部１５５がロボット３の頭部３１を動作させることによって、ロボットの操作者であるユーザが見ている表示領域Ｒとロボット３の動作との間の時間差を小さくできるため、ユーザとロボット３の周囲にいる人との間のコミュニケーションを円滑化できる。

［ロボット制御方法のフローチャート］
図８は、本実施形態に係るロボット制御方法のフローチャートを示す図である。図８のフローチャートは、例えばユーザがロボット制御装置１に対して所定の開始操作をすることによって開始される。まずロボット３の設置者は、ロボット３の周囲を撮像可能な位置に通信端末２を配置する。そして設置者は、通信端末２に、撮像部２１による撮像を開始させる。

ロボット制御装置１の画像取得部１５１は、撮像部２１が撮像した、表示部１１が表示可能な表示領域に対応する撮像範囲よりも広い範囲の撮像画像を取得し、記憶部１３に記憶させる（Ｓ１１）。以降の処理では、画像取得部１５１は、撮像部２１が撮像した撮像画像を定期的に取得し、記憶部１３に記憶されている撮像画像を更新する。

表示制御部１５２は、撮像画像の中央に表示領域Ｒが位置するように、表示領域の初期位置を特定し、撮像画像の中で初期位置を含む所定の大きさの領域を、表示領域として表示部１１に表示させる（Ｓ１２）。

操作受付部１５３は、操作部１２を介して、ユーザが行った操作を受け付ける（Ｓ１３）。表示領域を移動させる操作を操作受付部１５３が受け付けていない場合に（Ｓ１４のＮＯ）、操作受付部１５３はステップＳ１３〜Ｓ１４を繰り返す。表示領域を移動させる操作を操作受付部１５３が受け付けた場合に（Ｓ１４のＹＥＳ）、表示制御部１５２は、ユーザの操作に対応する表示領域の移動後の位置を特定する（Ｓ１５）。

表示制御部１５２は、撮像画像の中で移動後の位置を含む所定の大きさの領域を、表示領域として表示部１１に表示させる（Ｓ１６）。ステップＳ１６と並行して、向き決定部１５４は、表示領域の移動後の位置に対応するロボット３の頭部３１の向きを決定する（Ｓ１７）。動作制御部１５５は、向き決定部１５４が決定した向きにロボット３の頭部３１を向かせる動作を示す動作情報を生成する（Ｓ１８）。

そして動作制御部１５５は、生成した動作情報を、通信端末２を介してロボット３へ送信することによって、ロボット３の頭部３１を動作させる（Ｓ１９）。ロボット３の駆動部３３は、ロボット制御装置１から受け取った動作情報が示す動作に従って、頭部３１を駆動する。

ステップＳ１６は、ステップＳ１７〜Ｓ１９よりも前に行われることが望ましい。これにより、ロボット制御装置１は、ロボット３の頭部３１が動作するのを待たずに表示領域の向きを変えられるため、ユーザの操作に対するレスポンスが向上する。

所定の終了条件（例えばユーザがロボット制御装置１に対して所定の終了操作をすること）が満たされていない場合に（Ｓ２０のＮＯ）、ロボット制御装置１はステップＳ１３に戻って処理を繰り返す。所定の終了条件が満たされた場合に（Ｓ２０のＹＥＳ）、ロボット制御装置１は処理を終了する。

［実施形態の効果］
本実施形態に係るロボット制御システムＳは、ロボット制御装置１の表示部１１が表示可能な表示領域に対応する撮像範囲よりも広い範囲の撮像画像の一部である表示領域を、ユーザの操作に対応する位置に更新する。それと並行して、ロボット制御システムＳは、ロボット３の頭部３１を、更新された表示領域に対応する向きに向くように動作させる。これにより、ロボット制御システムＳは、ユーザの操作に対応する向きの撮像画像を短時間で表示できるとともに、ロボット３の頭部３１をユーザの操作に対応する向きに向かせることができる。

また、ロボット制御システムＳによれば、ユーザが見ている撮像画像とロボット３の動作との間の時間差を小さくできるため、ロボット３の動作は、ユーザがどこを見ているかをより正確に反映する。したがって、ロボット３の操作者であるユーザと、ロボット３の周囲にいる人との間のコミュニケーションを円滑化できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

ロボット制御装置１のプロセッサは、図８に示すロボット制御方法に含まれる各ステップ（工程）の主体となる。すなわち、ロボット制御装置１のプロセッサは、図８に示すロボット制御方法を実行するためのプログラムを記憶部から読み出し、当該プログラムを実行してロボット制御システムＳの各部を制御することによって、図８に示すロボット制御方法を実行する。図８に示すロボット制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

Ｓ ロボット制御システム
１ ロボット制御装置
１１ 表示部
１５ 制御部
１５１ 画像取得部
１５２ 表示制御部
１５３ 操作受付部
１５５ 動作制御部
２１ 撮像部
３ ロボット
３１ 頭部

Claims (11)

1. 撮像部が撮像したロボットの周囲の撮像画像を取得する取得部と、
   ユーザの操作を受け付ける受付部と、
   前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させる表示制御部と、
   前記ロボットの頭部を、前記表示制御部が特定した前記位置に対応する向きに向くように動作させる動作制御部と、
   を有し、
   前記表示制御部は、前記動作制御部が前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる、ロボット制御装置。
2. 前記取得部は、前記表示領域に対応する撮像範囲よりも広い範囲を撮像した前記撮像画像を取得する、請求項１に記載のロボット制御装置。
3. 前記取得部は、前記ロボットに接続された撮像部又は前記ロボット上に設けられた撮像部が撮像した前記撮像画像を取得する、請求項１又は２に記載のロボット制御装置。
4. 前記動作制御部は、前記撮像画像の中心点に対する前記表示領域の中心点の位置と、前記ロボットの頭部の向きとの関係とに基づいて決定した前記向きに向くように、前記頭部を動作させる、請求項１から３のいずれか一項に記載のロボット制御装置。
5. 前記動作制御部は、前記位置を含む所定範囲内に前記位置が滞在した時間を測定し、測定した前記時間が所定値以上である場合に、前記頭部を動作させる、請求項１から４のいずれか一項に記載のロボット制御装置。
6. 前記動作制御部は、前記位置の所定時間内の変化量が所定値以下である場合に、前記頭部を動作させる、請求項１から５のいずれか一項に記載のロボット制御装置。
7. 前記表示制御部は、前記位置を含む所定範囲内に前記位置が滞在した時間を測定し、測定した前記時間が所定値以上である場合に、前記表示部に前記表示領域を表示させる、請求項１から６のいずれか一項に記載のロボット制御装置。
8. 前記表示制御部は、前記位置の所定時間内の変化量が所定値以下である場合に、前記表示部に前記表示領域を表示させる、請求項１から７のいずれか一項に記載のロボット制御装置。
9. プロセッサが、
   撮像部が撮像したロボットの周囲の撮像画像を取得するステップと、
   ユーザの操作を受け付けるステップと、
   前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させるステップと、
   前記ロボットの頭部を、前記表示させるステップが特定した前記位置に対応する向きに向くように動作させるステップと、
   を実行し、
   前記表示させるステップは、前記動作させるステップが前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる、ロボット制御方法。
10. コンピュータに、
    撮像部が撮像したロボットの周囲の撮像画像を取得するステップと、
    ユーザの操作を受け付けるステップと、
    前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させるステップと、
    前記ロボットの頭部を、前記表示させるステップが特定した前記位置に対応する向きに向くように動作させるステップと、
    を実行させ、
    前記表示させるステップは、前記動作させるステップが前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる、ロボット制御プログラム。
11. ロボットと、ロボット制御装置とを備え、
    前記ロボットは、向きが変わるように動作可能な頭部を有し、
    前記ロボット制御装置は、
    撮像部が撮像した前記ロボットの周囲の撮像画像を取得する取得部と、
    ユーザの操作を受け付ける受付部と、
    前記撮像画像の中で前記操作に対応する位置を特定し、前記位置を含む前記撮像画像の一部の表示領域を表示部に表示させる表示制御部と、
    前記ロボットの前記頭部を、前記表示制御部が特定した前記位置に対応する向きに向くように動作させる動作制御部と、
    を有し、
    前記表示制御部は、前記動作制御部が前記頭部を動作させる時点よりも前に、前記表示部に前記表示領域を表示させる、ロボット制御システム。

Images