JP2019009592A - 遠隔通信方法、遠隔通信システム及び自律移動装置 - Google Patents

Abstract

【課題】遠隔地にいる第１のユーザがその場にいるような臨場感を第２のユーザに対して与える。【解決手段】ヘッドマウントディスプレイ２は、カメラを用いて第１のユーザを撮影した撮影画像を第１のテレプレゼンスロボット１から受信し、撮影画像を表示し、第１のユーザを仮想的に表した第２のテレプレゼンスロボット３に対する第２のユーザの位置の変化量を示す第１の変化量と、第２のテレプレゼンスロボット３に対する第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を検出し、第１の変化量及び第２の変化量の少なくとも一方を第１のテレプレゼンスロボット１へ送信し、第１のテレプレゼンスロボット１は、第１の変化量を受信した場合、第１の変化量に応じてカメラの視点を変化させ、第２の変化量を受信した場合、第２の変化量に応じてカメラの撮影方向を変化させる。【選択図】図３

Description

本開示は、自律して移動するとともに、第１の拠点で第１のユーザを撮影する第１のロボットと、第１のロボットによって撮影された撮影画像を、第１の拠点とは異なる第２の拠点で第１のユーザとは異なる第２のユーザに提示する第１の提示装置とを備える遠隔通信システムにおける遠隔通信方法、当該遠隔通信システム及び自律して移動する自律移動装置に関するものである。

近年、ロボットの人間に対するコミュニケーション力が日々向上しており、テレビ会議技術及び遠隔操作技術等を自律移動型ロボットに組み込んだテレプレゼンスロボットが開発されている。テレプレゼンスロボットは、通信元のユーザの分身として、遠隔地で種々の場所を歩きまわったり、通信先のユーザとの通話等を行ったりする（例えば、特許文献１参照）。これにより、テレプレゼンスロボットは、今までにない存在感を通信先のユーザに与えながら、良好なコミュニケーションを実現することができる。その結果、テレプレゼンスロボットは、在宅勤務、各種イベント、オフィス、教育現場等において普及し始めている。

特開２００７−２１６３６３号公報

しかしながら、上記従来の技術では、遠隔地にいる人物のそれぞれは互いに相手がその場にいるような臨場感を得ることができず、更なる改善が必要とされていた。

本開示は、上記の問題を解決するためになされたもので、遠隔地にいる第１のユーザがその場にいるような臨場感を第２のユーザに対して与えることができる遠隔通信方法、遠隔通信システム及び自律移動装置を提供することを目的とするものである。

本開示の一態様に係る遠隔通信方法は、自律して移動するとともに、第１の拠点で第１のユーザを撮影する第１のロボットと、前記第１のロボットによって撮影された撮影画像を、前記第１の拠点とは異なる第２の拠点で前記第１のユーザとは異なる第２のユーザに提示する第１の提示装置とを備える遠隔通信システムにおける遠隔通信方法であって、前記第１のロボットが、カメラを用いて前記第１のユーザを撮影し、前記第１のロボットが、撮影画像を前記第１の提示装置へ送信し、前記第１の提示装置が、前記撮影画像を前記第１のロボットから受信し、前記第１の提示装置が、前記撮影画像を表示し、前記第１の提示装置が、前記第１のユーザを仮想的に表した第２のロボットに対する前記第２のユーザの位置の変化量を示す第１の変化量と、前記第２のロボットに対する前記第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を検出し、前記第１の提示装置が、前記第１の変化量及び前記第２の変化量の少なくとも一方を前記第１のロボットへ送信し、前記第１のロボットが、前記第１の提示装置によって送信された前記第１の変化量及び前記第２の変化量の少なくとも一方を受信し、前記第１のロボットが、前記第１の変化量を受信した場合、前記第１の変化量に応じて前記カメラの視点を変化させ、前記第２の変化量を受信した場合、前記第２の変化量に応じて前記カメラの撮影方向を変化させる。

本開示によれば、第２の拠点における第２のユーザの移動に合わせて、第１の拠点において第１のユーザを撮影する第１のロボットが移動し、第１のロボットのカメラの視点が変化するので、遠隔地にいる第１のユーザがその場にいるような臨場感を第２のユーザに対して与えることができる。

本開示の実施の形態１における遠隔通信システムの構成を示す図である。 本開示の実施の形態１における遠隔通信システムの概要について説明するための模式図である。 本開示の実施の形態１における第１のテレプレゼンスロボット、ヘッドマウントディスプレイ及び第２のテレプレゼンスロボットの構成を示す図である。 本実施の形態１において、ヘッドマウントディスプレイ及び第１のテレプレゼンスロボットが第１の極座標系及び第２の極座標系を設定する初期設定処理について説明するためのフローチャートである。 本実施の形態１における第１の極座標系及び第２の極座標系の初期設定を説明するための模式図である。 本開示の実施の形態１における遠隔通信システムの動作について説明するためのフローチャートである。 本実施の形態１の遠隔通信システムにおいて、第１の拠点で第１のテレプレゼンスロボットが第１のユーザを正面から撮影している動作について説明するための模式図である。 図７に示す第２の拠点において、ヘッドマウントディスプレイに表示される表示画面の一例を示す図である。 本実施の形態１の遠隔通信システムにおいて、第１の拠点で第１のテレプレゼンスロボットが第１のユーザを後ろ側から撮影している動作について説明するための模式図である。 図９に示す第２の拠点において、ヘッドマウントディスプレイに表示される表示画面の一例を示す図である。 本開示の実施の形態２における遠隔通信システムの構成を示す図である。 本開示の実施の形態２における第１のテレプレゼンスロボット、第１のヘッドマウントディスプレイ、第２のヘッドマウントディスプレイ及び第２のテレプレゼンスロボットの構成を示す図である。

（本開示の基礎となった知見）
近年、ロボットの人間に対するコミュニケーション力が日々向上しており、テレビ会議技術及び遠隔操作技術等を自律移動型ロボットに組み込んだテレプレゼンスロボットが開発されている。テレプレゼンスロボットは、通信元のユーザの分身として、遠隔地で種々の場所を歩きまわったり、通信先のユーザとの通話等を行ったりする。これにより、テレプレゼンスロボットは、今までにない存在感を通信先のユーザに与えながら、良好なコミュニケーションを実現することができる。その結果、テレプレゼンスロボットは、在宅勤務、各種イベント、オフィス及び教育現場等において普及し始めている。

例えば、特許文献１では、在宅者の友人とコミュニケーションロボットが連れ立って博物館を見学し、在宅者が、ロボットのカメラに映る映像を家の操作側装置で見ている。コミュニケーションロボットは、操作側装置側の在宅者の顔が向く方向に頭部を向けたり、操作側装置側の在宅者が指差す方向に腕を上げたりする媒介モードで動作する。

このように、特許文献１では、操作側装置が在宅者を撮影し、在宅者の動きに合わせてコミュニケーションロボットの動作を制御することが開示されている。

しかしながら、特許文献１の操作側装置は固定されており、コミュニケーションロボットと連れ立って移動する人物の動きに合わせて操作側装置が移動することはない。そのため、特許文献１のシステムでは、遠隔地にいる人物のそれぞれは互いに相手がその場にいるような臨場感を得ることができない。

以上の課題を解決するために、本開示の一態様に係る遠隔通信方法は、自律して移動するとともに、第１の拠点で第１のユーザを撮影する第１のロボットと、前記第１のロボットによって撮影された撮影画像を、前記第１の拠点とは異なる第２の拠点で前記第１のユーザとは異なる第２のユーザに提示する第１の提示装置とを備える遠隔通信システムにおける遠隔通信方法であって、前記第１のロボットが、カメラを用いて前記第１のユーザを撮影し、前記第１のロボットが、撮影画像を前記第１の提示装置へ送信し、前記第１の提示装置が、前記撮影画像を前記第１のロボットから受信し、前記第１の提示装置が、前記撮影画像を表示し、前記第１の提示装置が、前記第１のユーザを仮想的に表した第２のロボットに対する前記第２のユーザの位置の変化量を示す第１の変化量と、前記第２のロボットに対する前記第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を検出し、前記第１の提示装置が、前記第１の変化量及び前記第２の変化量の少なくとも一方を前記第１のロボットへ送信し、前記第１のロボットが、前記第１の提示装置によって送信された前記第１の変化量及び前記第２の変化量の少なくとも一方を受信し、前記第１のロボットが、前記第１の変化量を受信した場合、前記第１の変化量に応じて前記カメラの視点を変化させ、前記第２の変化量を受信した場合、前記第２の変化量に応じて前記カメラの撮影方向を変化させる。

この構成によれば、第１のロボットにおいて、カメラを用いて第１のユーザが撮影される。撮影画像が第１の提示装置へ送信される。第１の提示装置において、撮影画像が第１のロボットから受信される。撮影画像が表示される。第１のユーザを仮想的に表した第２のロボットに対する第２のユーザの位置の変化量を示す第１の変化量と、第２のロボットに対する第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方が検出される。第１の変化量及び第２の変化量の少なくとも一方が第１のロボットへ送信される。第１のロボットにおいて、第１の提示装置によって送信された第１の変化量及び第２の変化量の少なくとも一方が受信される。第１の変化量が受信された場合、第１の変化量に応じてカメラの視点が変化され、第２の変化量が受信された場合、第２の変化量に応じてカメラの撮影方向が変化される。

したがって、第２の拠点における第２のユーザの移動に合わせて、第１の拠点において第１のユーザを撮影する第１のロボットが移動し、第１のロボットのカメラの視点が変化するので、遠隔地にいる第１のユーザがその場にいるような臨場感を第２のユーザに対して与えることができる。

また、上記の遠隔通信方法において、前記第１の提示装置は、前記第２のユーザとともに移動し、前記第１の提示装置が、前記第２のロボットと前記第２のユーザとが正対する際の前記第２のロボットと前記第１の提示装置との間の初期距離を測定し、前記第１の提示装置が、前記第２のロボットの位置を原点とする第１の極座標系を設定するとともに、前記第２のロボットと前記第１の提示装置とを結ぶ直線を前記第１の極座標系の第１の始線とし、前記第１の提示装置が、測定した前記初期距離を前記第１のロボットへ送信し、前記第１のロボットが、前記初期距離を前記第１の提示装置から受信し、前記第１のロボットが、前記第１のユーザに正対するとともに、前記第１のユーザから前記初期距離離れた位置に前記第１のロボットを移動させ、前記第１のロボットが、前記第１のユーザの位置を原点とする第２の極座標系を設定するとともに、前記第１のロボットと前記第１のユーザとを結ぶ直線を前記第２の極座標系の第２の始線としてもよい。

この構成によれば、第１の提示装置は、第２のユーザとともに移動する。第１の提示装置において、第２のロボットと第２のユーザとが正対する際の第２のロボットと第１の提示装置との間の初期距離が測定される。第２のロボットの位置を原点とする第１の極座標系が設定されるとともに、第２のロボットと第１の提示装置とを結ぶ直線が第１の極座標系の第１の始線とされる。測定された初期距離が第１のロボットへ送信される。第１のロボットにおいて、初期距離が第１の提示装置から受信される。第１のユーザに正対するとともに、第１のユーザから初期距離離れた位置に第１のロボットが移動される。第１のユーザの位置を原点とする第２の極座標系が設定されるとともに、第１のロボットと第１のユーザとを結ぶ直線が第２の極座標系の第２の始線とされる。

したがって、第１の提示装置において、第２のロボットの位置を原点とする第１の極座標系が設定されるとともに、第２のロボットと第１の提示装置とを結ぶ直線が第１の極座標系の第１の始線とされ、第１のロボットにおいて、第１のユーザの位置を原点とする第２の極座標系が設定されるとともに、第１のロボットと第１のユーザとを結ぶ直線が第２の極座標系の第２の始線とされるので、第１の極座標系における第２のユーザの移動と、第２の極座標系における第１のロボットの移動とを一致させることができる。

また、上記の遠隔通信方法において、前記第１の提示装置が、前記第１の極座標系における前記第１の提示装置の移動後の位置と前記第２のロボットとの間の距離を測定し、前記第１の提示装置が、前記第１の極座標系における前記第１の提示装置の移動後の位置と前記第２のロボットとを結ぶ直線と、前記第１の始線とがなす角度を測定し、前記第１の提示装置が、測定した前記距離及び前記角度を含む前記第１の変化量を前記第１のロボットへ送信し、前記第１のロボットが、前記第１の変化量を前記第１の提示装置から受信し、前記第１のロボットが、受信した前記第１の変化量に含まれる前記距離及び前記角度に応じて、前記第１の極座標系における前記第２のロボットに対する前記第１の提示装置の位置と、前記第２の極座標系における前記第１のユーザに対する前記第１のロボットの位置とが同じになるように、前記第１のロボットを移動させてもよい。

この構成によれば、第１の提示装置において、第１の極座標系における第１の提示装置の移動後の位置と第２のロボットとの間の距離が測定される。第１の極座標系における第１の提示装置の移動後の位置と第２のロボットとを結ぶ直線と、第１の始線とがなす角度が測定される。測定された距離及び角度を含む第１の変化量が第１のロボットへ送信される。第１のロボットにおいて、第１の変化量が第１の提示装置から受信される。受信された第１の変化量に含まれる距離及び角度に応じて、第１の極座標系における第２のロボットに対する第１の提示装置の位置と、第２の極座標系における第１のユーザに対する第１のロボットの位置とが同じになるように、第１のロボットが移動される。

したがって、第１の極座標系における第１の提示装置の移動後の位置と第２のロボットとの間の距離と、第１の極座標系における第１の提示装置の移動後の位置と第２のロボットとを結ぶ直線と第１の始線とがなす角度とに応じて、第１の極座標系における第２のロボットに対する第１の提示装置の位置と、第２の極座標系における第１のユーザに対する第１のロボットの位置とが同じになるように、第１のロボットを移動させることができる。

また、上記の遠隔通信方法において、前記第１の提示装置が、測定した前記角度が所定の角度以上であるか否かを判断し、前記第１の提示装置が、測定した前記角度が前記所定の角度以上であると判断された場合、前記第１の変化量を前記第１のロボットへ送信し、測定した前記角度が前記所定の角度より小さいと判断された場合、前記第１の変化量を前記第１のロボットへ送信しなくてもよい。

この構成によれば、第１の提示装置において、測定された角度が所定の角度以上であるか否かが判断される。測定された角度が所定の角度以上であると判断された場合、第１の変化量が第１のロボットへ送信される。測定された角度が所定の角度より小さいと判断された場合、第１の変化量が第１のロボットへ送信されない。

したがって、測定された角度が所定の角度より小さいと判断された場合、第１の変化量が第１のロボットへ送信されないので、第２のユーザの移動量が小さい場合には、第１のロボットを移動させず、第２のユーザの移動量が大きい場合には、第１のロボットを移動させることができる。

また、上記の遠隔通信方法において、前記第２のロボットが、前記第２のロボットの正面の下方に向かって可視光を出射してもよい。

この構成によれば、第２のロボットにおいて、第２のロボットの正面の下方に向かって可視光が出射されるので、第２のユーザは可視光を目視することにより、第２のロボットと正対することができる。

また、上記の遠隔通信方法において、前記第２のロボットが、前記第２のロボットの正面に向かって赤外線光を出射し、前記第１の提示装置が、前記第２のロボットによって出射された前記赤外線光を前記第１の提示装置の正面で検知し、前記赤外線光が検知された場合、前記初期距離を測定してもよい。

この構成によれば、第２のロボットにおいて、第２のロボットの正面に向かって赤外線光が出射される。第１の提示装置において、第２のロボットによって出射された赤外線光が第１の提示装置の正面で検知され、赤外線光が検知された場合、初期距離が測定される。

したがって、第２のロボットによって出射された赤外線光が第１の提示装置の正面で検知されたことをトリガにして、初期距離を測定することができるとともに、第１の極座標系及び第２の極座標系を設定することができる。

また、上記の遠隔通信方法において、前記第１の提示装置が、前記第１の始線に対する、前記第２のユーザの顔の向きの回転角度を測定し、前記第１の提示装置が、測定した前記回転角度を含む前記第２の変化量を前記第１のロボットへ送信し、前記第１のロボットが、前記第２の変化量を前記第１の提示装置から受信し、前記第１のロボットが、受信した前記第２の変化量に含まれる前記回転角度に応じて、前記カメラの撮影方向を前記第２の始線に対して回転させてもよい。

この構成によれば、第１の提示装置において、第１の始線に対する、第２のユーザの顔の向きの回転角度が測定される。第１の提示装置において、測定された回転角度を含む第２の変化量が第１のロボットへ送信される。第１のロボットにおいて、第２の変化量が第１の提示装置から受信される。受信された第２の変化量に含まれる回転角度に応じて、カメラの撮影方向が第２の始線に対して回転される。

したがって、第２のユーザの顔の向きの変化に合わせて、カメラの撮影方向が変化するので、自身が遠隔地にいるような臨場感を第２のユーザに対して与えることができる。

また、上記の遠隔通信方法において、前記第２のロボットは、自律して移動するとともに、前記第２の拠点でカメラを用いて前記第２のユーザを撮影し、前記遠隔通信システムは、前記第１のロボットに対する前記第１のユーザの位置の変化量を示す第３の変化量と、前記第１のロボットに対する前記第１のユーザの顔の向きの変化量を示す第４の変化量との少なくとも一方を検出し、前記第２のロボットによって撮影された撮影画像を、前記第１の拠点で前記第１のユーザに提示する第２の提示装置をさらに備え、前記第１の提示装置が、前記第１の変化量又は前記第２の変化量を検出した場合、前記第１のユーザに対して静止するよう促すための第１の通知情報を前記第２の提示装置へ送信し、前記第２の提示装置が、前記第３の変化量又は前記第４の変化量を検出する前に、前記第１の通知情報を前記第１の提示装置から受信した場合、前記第１のユーザに対して静止するよう促すための情報を表示し、前記第２の提示装置が、前記第３の変化量又は前記第４の変化量を検出した場合、前記第２のユーザに対して静止するよう促すための第２の通知情報を前記第１の提示装置へ送信し、前記第１の提示装置が、前記第１の変化量又は前記第２の変化量を検出する前に、前記第２の通知情報を前記第２の提示装置から受信した場合、前記第２のユーザに対して静止するよう促すための情報を表示してもよい。

この構成によれば、第２のロボットは、自律して移動するとともに、第２の拠点でカメラを用いて第２のユーザを撮影する。第２の提示装置において、第１のロボットに対する第１のユーザの位置の変化量を示す第３の変化量と、第１のロボットに対する第１のユーザの顔の向きの変化量を示す第４の変化量との少なくとも一方が検出される。第２のロボットによって撮影された撮影画像が、第１の拠点で第１のユーザに提示される。第１の提示装置において、第１の変化量又は第２の変化量が検出された場合、第１のユーザに対して静止するよう促すための第１の通知情報が第２の提示装置へ送信される。第２の提示装置において、第３の変化量又は第４の変化量が検出される前に、第１の通知情報が第１の提示装置から受信された場合、第１のユーザに対して静止するよう促すための情報が表示される。第２の提示装置において、第３の変化量又は第４の変化量が検出された場合、第２のユーザに対して静止するよう促すための第２の通知情報が第１の提示装置へ送信される。第１の提示装置において、第１の変化量又は第２の変化量が検出される前に、第２の通知情報が第２の提示装置から受信された場合、第２のユーザに対して静止するよう促すための情報が表示される。

したがって、第１のロボットによる第１のユーザの撮影画像が第１の提示装置に提示され、第２のロボットによる第２のユーザの撮影画像が第２の提示装置に提示され、第１の提示装置及び第２の提示装置のうち一方が移動している場合は、他方が静止するように促すことにより、第１のロボット及び第２のロボットの一方を移動させることができる。これにより、第１のロボット及び第２のロボットの両方が同時に移動するのを防止することができる。

本開示の他の態様に係る遠隔通信システムは、自律して移動するとともに、第１の拠点で第１のユーザを撮影する第１のロボットと、前記第１のロボットによって撮影された撮影画像を、前記第１の拠点とは異なる第２の拠点で前記第１のユーザとは異なる第２のユーザに提示する提示装置と、を備え、前記第１のロボットは、前記第１のユーザを撮影するカメラと、前記カメラによる撮影画像を前記提示装置へ送信する送信部と、を備え、前記提示装置は、前記撮影画像を前記第１のロボットから受信する受信部と、前記撮影画像を表示する表示部と、前記第１のユーザを仮想的に表した第２のロボットに対する前記第２のユーザの位置の変化量を示す第１の変化量と、前記第２のロボットに対する前記第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を検出する検出部と、前記第１の変化量及び前記第２の変化量の少なくとも一方を前記第１のロボットへ送信する送信部と、を備え、前記第１のロボットは、前記提示装置によって送信された前記第１の変化量及び前記第２の変化量の少なくとも一方を受信する受信部と、前記第１の変化量を受信した場合、前記第１の変化量に応じて前記カメラの視点を変化させ、前記第２の変化量を受信した場合、前記第２の変化量に応じて前記カメラの撮影方向を変化させるように、前記第１のロボットを移動させる移動部と、を備える。

この構成によれば、第１のロボットにおいて、カメラによって第１のユーザが撮影される。カメラによる撮影画像が提示装置へ送信される。提示装置において、撮影画像が第１のロボットから受信される。撮影画像が表示される。第１のユーザを仮想的に表した第２のロボットに対する第２のユーザの位置の変化量を示す第１の変化量と、第２のロボットに対する第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方が検出される。第１の変化量及び第２の変化量の少なくとも一方が第１のロボットへ送信される。第１のロボットにおいて、提示装置によって送信された第１の変化量及び第２の変化量の少なくとも一方が受信される。第１の変化量が受信された場合、第１の変化量に応じてカメラの視点を変化させ、第２の変化量が受信された場合、第２の変化量に応じてカメラの撮影方向を変化させるように、第１のロボットが移動される。

したがって、第２の拠点における第２のユーザの移動に合わせて、第１の拠点において第１のユーザを撮影する第１のロボットが移動し、第１のロボットのカメラの視点が変化するので、遠隔地にいる第１のユーザがその場にいるような臨場感を第２のユーザに対して与えることができる。

本開示の他の態様に係る自律移動装置は、自律して移動する自律移動装置であって、第１の拠点で第１のユーザを撮影するカメラと、前記カメラによる撮影画像を、前記第１の拠点とは異なる第２の拠点に存在する提示装置へ送信する送信部と、前記第２の拠点で前記第１のユーザとは異なる第２のユーザに前記撮影画像を提示する前記提示装置から、前記第１のユーザを仮想的に表した第２のロボットに対する前記第２のユーザの位置の変化量を示す第１の変化量と、前記第２のロボットに対する前記第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を受信する受信部と、前記第１の変化量を受信した場合、前記第１の変化量に応じて前記カメラの視点を変化させ、前記第２の変化量を受信した場合、前記第２の変化量に応じて前記カメラの撮影方向を変化させるように、前記自律移動装置を移動させる移動部と、を備える。

この構成によれば、カメラによって第１の拠点で第１のユーザが撮影される。カメラによる撮影画像が、第１の拠点とは異なる第２の拠点に存在する提示装置へ送信される。第２の拠点で第１のユーザとは異なる第２のユーザに撮影画像を提示する提示装置から、第１のユーザを仮想的に表した第２のロボットに対する第２のユーザの位置の変化量を示す第１の変化量と、第２のロボットに対する第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方が受信される。第１の変化量が受信された場合、第１の変化量に応じてカメラの視点を変化させ、第２の変化量が受信された場合、第２の変化量に応じてカメラの撮影方向を変化させるように、自律移動装置が移動される。

したがって、第２の拠点における第２のユーザの移動に合わせて、第１の拠点において第１のユーザを撮影する自律移動装置が移動し、自律移動装置のカメラの視点が変化するので、遠隔地にいる第１のユーザがその場にいるような臨場感を第２のユーザに対して与えることができる。

以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

（実施の形態１）
まず、本開示の実施の形態１における遠隔通信システムの概要について説明する。

図１は、本開示の実施の形態１における遠隔通信システムの構成を示す図であり、図２は、本開示の実施の形態１における遠隔通信システムの概要について説明するための模式図である。

図１に示す遠隔通信システムは、第１のテレプレゼンスロボット１、ヘッドマウントディスプレイ２及び第２のテレプレゼンスロボット３を備える。第１のテレプレゼンスロボット１は、第１の拠点に配置され、ヘッドマウントディスプレイ２及び第２のテレプレゼンスロボット３は、第１の拠点とは異なる第２の拠点に配置される。第１のテレプレゼンスロボット１とヘッドマウントディスプレイ２とは、ネットワーク７を介して互いに通信可能に接続されている。なお、ネットワーク７は、例えばインターネットである。

図２に示すように、第１の拠点において、第１のテレプレゼンスロボット１は、第１のユーザ４を撮影し、撮影画像をヘッドマウントディスプレイ２へ送信する。また、第１のテレプレゼンスロボット１は、自律して移動する。

第２のテレプレゼンスロボット３は、第１のユーザ４の分身として、第２の拠点に配置される。本実施の形態１における第２のテレプレゼンスロボット３は、自立して移動しないが、自立して移動してもよい。

ヘッドマウントディスプレイ２は、第２のユーザ５の頭部に装着される。ヘッドマウントディスプレイ２は、第１のテレプレゼンスロボット１によって送信された撮影画像を受信し、受信した撮影画像を表示する。ヘッドマウントディスプレイ２は、第１のテレプレゼンスロボット１によって撮影された撮影画像を、第１の拠点とは異なる第２の拠点で第１のユーザ４とは異なる第２のユーザ５に提示する。このとき、第１のテレプレゼンスロボット１と第１のユーザ４との位置関係は、第２のテレプレゼンスロボット３と第２のユーザ５（ヘッドマウントディスプレイ２）との位置関係と同じである。第２のユーザ５は、ヘッドマウントディスプレイ２を装着しているので、ヘッドマウントディスプレイ２の位置は、第２のユーザ５の位置と同じである。

ここで、第２のユーザ５が、第２の拠点において移動した場合、第１のテレプレゼンスロボット１も、第２のユーザ５の移動に合わせて移動する。そして、第１のテレプレゼンスロボット１は、移動後の第２のユーザ５の位置と同じ位置から第１のユーザ４を撮影した撮影画像をヘッドマウントディスプレイ２へ送信する。これにより、ヘッドマウントディスプレイ２には、移動後の第２のユーザ５の位置と同じ位置から第１のユーザ４を撮影した撮影画像が表示されることになる。

図３は、本開示の実施の形態１における第１のテレプレゼンスロボット、ヘッドマウントディスプレイ及び第２のテレプレゼンスロボットの構成を示す図である。

第２のテレプレゼンスロボット３は、赤外線出射部３１を備える。赤外線出射部３１は、第２のテレプレゼンスロボット３の正面に向かって赤外線光を出射する。

ヘッドマウントディスプレイ２は、通信部２１、表示部２２、赤外線受光部２３、初期設定部２４及び変化量検出部２５を備える。

通信部２１は、第１の拠点で第１のユーザ４を撮影した撮影画像を第１のテレプレゼンスロボット１から受信する。

表示部２２は、通信部２１によって受信された撮影画像を表示する。

赤外線受光部２３は、第２のテレプレゼンスロボット３によって出射された赤外線光をヘッドマウントディスプレイ２（第２のユーザ５）の正面で検知する。赤外線光は、第２のテレプレゼンスロボット３の正面に向かって出射されるので、当該赤外線光がヘッドマウントディスプレイ２の正面で検知されることにより、第２のテレプレゼンスロボット３とヘッドマウントディスプレイ２とが正対することになる。

なお、本実施の形態１では、第２のテレプレゼンスロボット３は、第２のテレプレゼンスロボット３の正面に向かって赤外線光を出射する赤外線出射部３１を備えているが、本開示は特にこれに限定されず、第２のテレプレゼンスロボット３は、第２のテレプレゼンスロボット３の正面の下方に向かって可視レーザ光を出射するレーザ光出射部を備えてもよい。この場合、ヘッドマウントディスプレイ２は、赤外線受光部２３を備えていなくてもよく、第２のユーザ５は、可視レーザ光を目視することにより、第２のテレプレゼンスロボット３と正対する位置に移動することができる。

変化量検出部２５は、第１のユーザ４を仮想的に表した第２のテレプレゼンスロボット３に対する第２のユーザ５の位置の変化量を示す第１の変化量と、第２のテレプレゼンスロボット３に対する第２のユーザ５の顔の向きの変化量を示す第２の変化量との少なくとも一方を検出する。通信部２１は、変化量検出部２５によって検出された第１の変化量及び第２の変化量の少なくとも一方を第１のテレプレゼンスロボット１へ送信する。変化量検出部２５は、偏角測定部２５１、移動判定部２５２、距離測定部２５３及び回転角度測定部２５４を備える。

距離測定部２５３は、例えば、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）又はミリ波レーダなどの測距センサであり、対象物との距離を測定する。距離測定部２５３は、第２のテレプレゼンスロボット３と第２のユーザ５とが正対する際の第２のテレプレゼンスロボット３とヘッドマウントディスプレイ２との間の初期距離を測定する。距離測定部２５３は、赤外線受光部２３によって赤外線光が検知された場合、初期距離を測定する。

なお、第２のテレプレゼンスロボット３が、赤外線光ではなく、可視レーザ光を出射する場合、第２のテレプレゼンスロボット３と第２のユーザ５とが正対した際に押下するボタンをヘッドマウントディスプレイ２に設けてもよい。そして、距離測定部２５３は、ボタンが押下された場合、初期距離を測定してもよい。

初期設定部２４は、第２のテレプレゼンスロボット３と第２のユーザ５とが正対する場合、すなわち、赤外線受光部２３によって赤外線光が検知された場合、第２のテレプレゼンスロボット３とヘッドマウントディスプレイ２との間の初期距離を測定するように距離測定部２５３に指示する。初期設定部２４は、第２のテレプレゼンスロボット３の位置を原点とする第１の極座標系を設定するとともに、第２のテレプレゼンスロボット３とヘッドマウントディスプレイ２とを結ぶ直線を第１の極座標系の第１の始線とする。このとき、第１の極座標系の第１の始線上における第２のテレプレゼンスロボット３（原点）とヘッドマウントディスプレイ２との間の距離は、距離測定部２５３によって測定された初期距離となる。通信部２１は、距離測定部２５３によって測定された初期距離を第１のテレプレゼンスロボット１へ送信する。

距離測定部２５３は、第１の極座標系におけるヘッドマウントディスプレイ２の移動後の位置と第２のテレプレゼンスロボット３との間の距離を測定する。

偏角測定部２５１は、第１の極座標系におけるヘッドマウントディスプレイ２の移動後の位置と第２のテレプレゼンスロボット３とを結ぶ直線と、第１の始線とがなす角度を測定する。

偏角測定部２５１は、例えば、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）の規格に対応するアンテナを含む。アンテナは、ヘッドマウントディスプレイ２の周囲に設置された発信機から送信されるビーコン信号を受信する。発信機は、例えば、ＢＬＥの通信プロトコルに準拠するビーコン信号を送信する発信機で構成されている。発信機は、ヘッドマウントディスプレイ２が存在する第２の拠点の内部（例えば、部屋）の天井、床又は壁等に一定の間隔（例えば数メートル）で設置されており、一定の周期でビーコン信号を送信する。発信機は、自身の設置位置を示す位置情報を事前に記憶するメモリを備え、ビーコン信号に自身の位置情報を含ませて送信する。なお、発信機の位置情報は、例えば、第２の拠点内の所定の領域を示す直交座標系の座標で表される。

偏角測定部２５１は、アンテナが受信する最も強度が高いビーコン信号に含まれる発信機の位置情報をヘッドマウントディスプレイ２の位置情報として取得する。偏角測定部２５１は、取得した直交座標系の座標を、第１の極座標系の座標に変換する。そして、偏角測定部２５１は、第１の極座標系におけるヘッドマウントディスプレイ２（第２のユーザ５）の移動後の位置と第２のテレプレゼンスロボット３とを結ぶ直線と、第１の始線とがなす角度を測定する。通信部２１は、距離測定部２５３によって測定された距離及び偏角測定部２５１によって測定された角度を含む第１の変化量を第１のテレプレゼンスロボット１へ送信する。

移動判定部２５２は、偏角測定部２５１によって測定された角度が所定の角度以上であるか否かを判断することにより、ヘッドマウントディスプレイ２（第２のユーザ５）が移動したか否かを判断する。すなわち、移動判定部２５２は、偏角測定部２５１によって測定された角度が所定の角度以上である場合、ヘッドマウントディスプレイ２（第２のユーザ５）が移動したと判断し、偏角測定部２５１によって測定された角度が所定の角度より小さい場合、ヘッドマウントディスプレイ２（第２のユーザ５）が移動していないと判断する。通信部２１は、偏角測定部２５１によって測定された角度が所定の角度以上であると判断された場合、第１の変化量を第１のテレプレゼンスロボット１へ送信し、偏角測定部２５１によって測定された角度が所定の角度より小さいと判断された場合、第１の変化量を第１のテレプレゼンスロボット１へ送信しない。

回転角度測定部２５４は、第１の極座標系の第１の始線に対する、第２のユーザ５の顔の向きの回転角度を測定する。回転角度測定部２５４は、例えば、慣性センサで構成される。慣性センサは、３軸の角速度センサと３方向の加速度センサとからなる慣性運動量を検出するセンサであり、第２のユーザ５の頭部の挙動を検知する。回転角度測定部２５４は、第１の極座標系の第１の始線上のヘッドマウントディスプレイ２の位置から原点（第２のテレプレゼンスロボット３の位置）に向かう方向を基準方向として予め記憶し、当該基準方向に対する第２のユーザ５の顔の向きの角度を回転角度として測定する。通信部２１は、回転角度測定部２５４によって測定された回転角度を含む第２の変化量を第１のテレプレゼンスロボット１へ送信する。

第１のテレプレゼンスロボット１は、撮影部１１、通信部１２、初期設定部１３、移動制御部１４、移動部１５、回転制御部１６、回転部１７、距離測定部１８、偏角測定部１９及び回転角度測定部２０を備える。

撮影部１１は、第１のユーザ４を撮影する。

通信部１２は、撮影部１１によって得られた撮影画像をヘッドマウントディスプレイ２へ送信する。また、通信部１２は、ヘッドマウントディスプレイ２によって送信された第１の変化量及び第２の変化量の少なくとも一方を受信する。また、通信部１２は、初期設定時において、初期距離をヘッドマウントディスプレイ２から受信する。

距離測定部１８は、例えば、測距センサであり、対象物との距離を測定する。距離測定部１８は、第１のテレプレゼンスロボット１と第１のユーザ４との間の距離を測定する。

移動制御部１４は、移動部１５を制御することで第１のテレプレゼンスロボット１を移動させる。

移動部１５は、モータ及び駆動輪で構成され、第１のテレプレゼンスロボット１を移動させる。移動部１５は、第１の変化量が受信された場合、第１の変化量に応じて撮影部１１の視点を変化させる。また、移動部１５は、通信部１２によって初期距離が受信されると、第１のユーザ４に正対するとともに、第１のユーザ４から初期距離離れた位置に第１のテレプレゼンスロボット１を移動させる。

初期設定部１３は、第１のユーザ４の位置を原点とする第２の極座標系を設定するとともに、第１のテレプレゼンスロボット１と第１のユーザ４とを結ぶ直線を第２の極座標系の第２の始線とする。

偏角測定部１９は、第２の極座標系における第１のユーザ４の移動後の位置と第１のテレプレゼンスロボット１とを結ぶ直線と、第２の始線とがなす角度を測定する。なお、偏角測定部１９の構成は、偏角測定部２５１の構成と同じである。

移動部１５は、受信した第１の変化量に含まれる距離及び角度に応じて、第１の極座標系における第２のテレプレゼンスロボット３に対する第２のユーザ５の位置と、第２の極座標系における第１のユーザ４に対する第１のテレプレゼンスロボット１の位置とが同じになるように、第１のテレプレゼンスロボット１を移動させる。

回転制御部１６は、回転部１７を制御することで第１のテレプレゼンスロボット１を水平方向に回転させる。

回転角度測定部２０は、第２の極座標系の第２の始線に対する、第１のユーザ４の顔の向きの回転角度を測定する。回転角度測定部２０の構成は、回転角度測定部２５４の構成と同じである。

回転部１７は、第２の変化量が受信された場合、第２の変化量に応じて撮影部１１の撮影方向を変化させる。回転部１７は、通信部１２によって受信された第２の変化量に含まれる回転角度に応じて、撮影部１１の撮影方向を第２の始線に対して回転させる。回転部１７は、回転角度測定部２０によって測定される回転角度が、受信された第２の変化量に含まれる回転角度と一致するように、撮影部１１の撮影方向を第２の始線に対して回転させる。

なお、第１のテレプレゼンスロボット１は、第１のユーザ４の音声を取得するマイクを備えてもよく、ヘッドマウントディスプレイ２は、通信部２１によって受信された音声データを出力するスピーカを備えてもよい。この場合、第１のテレプレゼンスロボット１のマイクは、第１のユーザ４の音声を取得し、音声データに変換する。通信部１２は、マイクによって取得された音声データをヘッドマウントディスプレイ２へ送信する。ヘッドマウントディスプレイ２の通信部２１は、第１のテレプレゼンスロボット１によって送信された音声データを受信する。スピーカは、受信した音声データを出力する。

また、本実施の形態１において、第１のテレプレゼンスロボット１が第１のロボット及び自律移動装置の一例に相当し、ヘッドマウントディスプレイ２が第１の提示装置の一例に相当し、第２のテレプレゼンスロボット３が第２のロボットの一例に相当し、撮影部１１がカメラの一例に相当し、通信部１２が送信部及び受信部の一例に相当し、通信部２１が受信部及び送信部の一例に相当し、表示部２２が表示部の一例に相当し、変化量検出部２５が検出部の一例に相当し、移動部１５が移動部の一例に相当する。

続いて、ヘッドマウントディスプレイ２及び第１のテレプレゼンスロボット１が第１の極座標系及び第２の極座標系を設定する初期設定処理について説明する。

図４は、本実施の形態１において、ヘッドマウントディスプレイ及び第１のテレプレゼンスロボットが第１の極座標系及び第２の極座標系を設定する初期設定処理について説明するためのフローチャートである。

まず、ステップＳ１において、ヘッドマウントディスプレイ２の赤外線受光部２３は、第２のテレプレゼンスロボット３によって出射された赤外線光を検知する。

次に、ステップＳ２において、距離測定部２５３は、第２のテレプレゼンスロボット３と第２のユーザ５とが正対する際の第２のテレプレゼンスロボット３とヘッドマウントディスプレイ２との間の初期距離を測定する。

次にステップＳ３において、初期設定部２４は、第２のテレプレゼンスロボット３の位置を原点とする第１の極座標系を設定するとともに、第２のテレプレゼンスロボット３とヘッドマウントディスプレイ２とを結ぶ直線を第１の極座標系の第１の始線とする。なお、第１の極座標系の初期設定値は、ヘッドマウントディスプレイ２が備える不図示のメモリに記憶される。

次に、ステップＳ４において、通信部２１は、距離測定部２５３によって測定された初期距離を第１のテレプレゼンスロボット１へ送信する。

次に、ステップＳ５において、第１のテレプレゼンスロボット１の通信部１２は、ヘッドマウントディスプレイ２によって送信された初期距離を受信する。

次に、ステップＳ６において、移動部１５は、第１のユーザ４に正対するとともに、第１のユーザ４から初期距離離れた位置に第１のテレプレゼンスロボット１を移動させる。このとき、撮影部１１により第１のユーザ４が撮影され、移動部１５は、撮影画像中の第１のユーザ４が正対するように（第１のユーザ４の正面が撮影されるように）、第１のテレプレゼンスロボット１を移動させる。また、距離測定部１８は、第１のテレプレゼンスロボット１と第１のユーザ４との間の距離を測定し、移動部１５は、第１のテレプレゼンスロボット１と第１のユーザ４との間の距離が初期距離となるように、第１のテレプレゼンスロボット１を移動させる。

次に、ステップＳ７において、初期設定部１３は、第１のユーザ４の位置を原点とする第２の極座標系を設定するとともに、第１のテレプレゼンスロボット１と第１のユーザ４とを結ぶ直線を第２の極座標系の第２の始線とする。なお、第２の極座標系の初期設定値は、第１のテレプレゼンスロボット１が備える不図示のメモリに記憶される。

図５は、本実施の形態１における第１の極座標系及び第２の極座標系の初期設定を説明するための模式図である。

図５に示すように、第１の極座標系は、第２のテレプレゼンスロボット３の位置ＴＰＲ＿Ｂを原点とし、第２のテレプレゼンスロボット３の位置ＴＰＲ＿Ｂとヘッドマウントディスプレイ２の位置Ｕ＿Ｂとを結ぶ直線を第１の始線とし、第２のテレプレゼンスロボット３の位置ＴＰＲ＿Ｂとヘッドマウントディスプレイ２の位置Ｕ＿Ｂとの間の距離を初期距離ｒ０とする。

また、第２の極座標系は、第１のユーザ４の位置Ｕ＿Ａを原点とし、第１のテレプレゼンスロボット１の位置ＴＰＲ＿Ａと第１のユーザ４の位置Ｕ＿Ａとを結ぶ直線を第２の始線とし、第１のテレプレゼンスロボット１の位置ＴＰＲ＿Ａと第１のユーザ４の位置Ｕ＿Ａとの間の距離を初期距離ｒ０とする。

そして、第１の極座標系において、ヘッドマウントディスプレイ２の位置Ｕ＿Ｂが、矢印Ｙ１の方向へ移動した場合、ヘッドマウントディスプレイ２の移動後の位置Ｕ＿Ｂ’と第２のテレプレゼンスロボット３の位置ＴＰＲ＿Ｂとの間の距離ｒが測定されるとともに、ヘッドマウントディスプレイ２の移動後の位置Ｕ＿Ｂ’と第２のテレプレゼンスロボット３の位置ＴＰＲ＿Ｂとを結ぶ直線と第１の始線との間の角度θが測定される。

このヘッドマウントディスプレイ２の移動に合わせて、第２の極座標系において、第１のテレプレゼンスロボット１の位置ＴＰＲ＿Ａは、第１のテレプレゼンスロボット１の移動後の位置ＴＰＲ＿Ａ’と第１のユーザ４の位置Ｕ＿Ａとの間の距離が距離ｒとなり、第１のテレプレゼンスロボット１の移動後の位置ＴＰＲ＿Ａ’と第１のユーザ４の位置Ｕ＿Ａとを結ぶ直線と第２の始線との間の角度が角度θとなるように、矢印Ｙ２の方向へ移動する。

続いて、本開示の実施の形態１における遠隔通信システムの動作について説明する。

図６は、本開示の実施の形態１における遠隔通信システムの動作について説明するためのフローチャートである。

まず、ステップＳ１１において、第１のテレプレゼンスロボット１の撮影部１１は、第１のユーザ４を撮影する。

次に、ステップＳ１２において、通信部１２は、撮影部１１によって得られた撮影画像をヘッドマウントディスプレイ２へ送信する。

次に、ステップＳ１３において、撮影部１１は、撮影を終了するか否かを判断する。ここで、撮影を終了すると判断された場合（ステップＳ１３でＹＥＳ）、遠隔通信システムの処理を終了する。一方、撮影を終了しないと判断された場合（ステップＳ１３でＮＯ）、ステップＳ１１の処理に戻り、第１のユーザ４の撮影を継続する。例えば、第１のテレプレゼンスロボット１は、撮影を終了するか否かの第１のユーザ４による入力を受け付ける。また、ヘッドマウントディスプレイ２は、撮影を終了するか否かの第２のユーザ５による入力を受け付けてもよい。この場合、ヘッドマウントディスプレイ２は、撮影を終了することを示す情報を第１のテレプレゼンスロボット１へ送信する。

次に、ステップＳ１４において、ヘッドマウントディスプレイ２の通信部２１は、第１のテレプレゼンスロボット１によって送信された撮影画像を受信する。

次に、ステップＳ１５において、表示部２２は、通信部２１によって受信された撮影画像を表示する。

次に、ステップＳ１６において、偏角測定部２５１は、第１の極座標系におけるヘッドマウントディスプレイ２の位置と第２のテレプレゼンスロボット３の位置とを結ぶ直線と、第１の始線とがなす角度を測定する。

次に、ステップＳ１７において、偏角測定部２５１は、測定した角度が所定の角度以上であるか否かを判断する。ここで、測定した角度が所定の角度より小さいと判断した場合（ステップＳ１７でＮＯ）、ステップＳ２２の処理に移行する。

一方、測定した角度が所定の角度以上であると判断した場合（ステップＳ１７でＹＥＳ）、ステップＳ１８において、距離測定部２５３は、第１の極座標系におけるヘッドマウントディスプレイ２の位置と第２のテレプレゼンスロボット３の位置との間の距離を測定する。

次に、ステップＳ１９において、通信部２１は、偏角測定部２５１によって測定された角度と、距離測定部２５３によって測定された距離とを含む第１の変化量を第１のテレプレゼンスロボット１に送信する。

次に、ステップＳ２０において、第１のテレプレゼンスロボット１の通信部１２は、ヘッドマウントディスプレイ２によって送信された第１の変化量を受信する。

次に、ステップＳ２１において、移動部１５は、通信部１２によって受信された第１の変化量に含まれる距離及び角度に応じて、第１の極座標系における第２のテレプレゼンスロボット３に対する第２のユーザ５の位置と、第２の極座標系における第１のユーザ４に対する第１のテレプレゼンスロボット１の位置とが同じになるように、第１のテレプレゼンスロボット１を移動させる。その後、ステップＳ１１の処理に戻り、撮影部１１は、第１のユーザ４を撮影する。

一方、ステップＳ１９で第１の変化量が送信された後、ステップＳ２２において、回転角度測定部２５４は、第１の極座標系の第１の始線に対する、第２のユーザ５の顔の向きの回転角度を測定する。

次に、ステップＳ２３において、回転角度測定部２５４は、測定した回転角度が所定の角度以上であるか否かを判断する。ここで、測定した回転角度が所定の角度より小さいと判断した場合（ステップＳ２３でＮＯ）、ステップＳ１５の処理に移行する。

一方、測定した回転角度が所定の角度以上であると判断した場合（ステップＳ２３でＹＥＳ）、ステップＳ２４において、通信部２１は、回転角度測定部２５４によって測定された回転角度を含む第２の変化量を第１のテレプレゼンスロボット１へ送信する。その後、ステップＳ１５の処理に戻り、表示部２２は、通信部２１によって受信された撮影画像を表示する。

次に、ステップＳ２５において、第１のテレプレゼンスロボット１の通信部１２は、ヘッドマウントディスプレイ２によって送信された第２の変化量を受信する。

次に、ステップＳ２６において、回転部１７は、通信部１２によって受信された第２の変化量に含まれる回転角度に応じて、回転角度測定部２０によって測定される回転角度が、受信された第２の変化量に含まれる回転角度と一致するように、撮影部１１の撮影方向を第２の始線に対して回転させる。その後、ステップＳ１１の処理に戻り、撮影部１１は、第１のユーザ４を撮影する。

続いて、本実施の形態１の遠隔通信システムにおいて、第１の拠点で第１のテレプレゼンスロボットが第１のユーザを撮影し、第２の拠点でヘッドマウントディスプレイが第２のユーザに撮影画像を提示する具体的な動作について説明する。

図７は、本実施の形態１の遠隔通信システムにおいて、第１の拠点で第１のテレプレゼンスロボットが第１のユーザを正面から撮影している動作について説明するための模式図である。

図７の第１の拠点において、第１のテレプレゼンスロボット１は、第１のユーザ４を撮影し、撮影画像をヘッドマウントディスプレイ２へ送信する。このとき、第１のユーザ４は、ゴルフクラブをスイングしており、第１のテレプレゼンスロボット１は、第１のユーザ４を正面から撮影している。

そして、第２の拠点において、第２のユーザ５は、第２のテレプレゼンスロボット３の後ろ側に回り込むように矢印５１の方向へ移動する。第２のユーザ５の移動に応じて、第１の拠点の第１のテレプレゼンスロボット１も、第１のユーザ４の後ろ側に回り込むように矢印５２の方向へ移動する。

図８は、図７に示す第２の拠点において、ヘッドマウントディスプレイに表示される表示画面の一例を示す図である。

図８に示すように、ヘッドマウントディスプレイ２の表示部２２は、第１の拠点で第１のユーザ４を正面から撮影した撮影画像を表示する。

図９は、本実施の形態１の遠隔通信システムにおいて、第１の拠点で第１のテレプレゼンスロボットが第１のユーザを後ろ側から撮影している動作について説明するための模式図である。

図９の第２の拠点において、第２のユーザ５は、矢印５１の方向へ移動し、第２のテレプレゼンスロボット３の後ろ側にいる。そして、第１の拠点の第１のテレプレゼンスロボット１も、第２のユーザ５の移動に応じて矢印５２の方向へ移動し、第１のユーザ４の後ろ側に存在している。

そして、第１のテレプレゼンスロボット１は、第１のユーザ４を撮影し、撮影画像をヘッドマウントディスプレイ２へ送信する。このとき、第１のテレプレゼンスロボット１は、ゴルフクラブをスイングしている第１のユーザ４を後ろ側から撮影している。

図１０は、図９に示す第２の拠点において、ヘッドマウントディスプレイに表示される表示画面の一例を示す図である。

図１０に示すように、ヘッドマウントディスプレイ２の表示部２２は、第１の拠点で第１のユーザ４を後ろ側から撮影した撮影画像を表示する。

このように、第２の拠点における第２のユーザ５が装着しているヘッドマウントディスプレイ２の移動に合わせて、第１の拠点における第１のテレプレゼンスロボット１が移動し、第１のテレプレゼンスロボット１の撮影部１１の視点も、第１のテレプレゼンスロボット１の移動に合わせて変化する。その結果、ヘッドマウントディスプレイ２に表示される撮影画像も、第２のユーザ５の移動に合わせて変化する。したがって、遠隔地にいる第１のユーザ４がその場にいるような臨場感を第２のユーザ５に対して与えることができる。

なお、本実施の形態において、撮影画像は、第２のユーザ５が移動している間も表示され続けてもよい。また、撮影画像は、第２のユーザ５が移動している間は表示されず、第２のユーザ５が停止した時点で表示されてもよい。これにより、第１のテレプレゼンスロボット１が移動することによって生じる撮影画像のブレを防止することができる。

また、本実施の形態１では、２次元平面上の第２のユーザ５及び第１のテレプレゼンスロボット１の位置の変化を検知する例について説明しているが、３次元空間内の第２のユーザ５及び第１のテレプレゼンスロボット１の位置の変化を検知してもよい。この場合、ヘッドマウントディスプレイ２は、３次元空間内のヘッドマウントディスプレイ２の移動を検知し、第１のテレプレゼンスロボット１は、ヘッドマウントディスプレイ２の移動に合わせて、３次元空間内を移動してもよい。

（実施の形態２）
続いて、本開示の実施の形態２における遠隔通信システムの概要について説明する。上記の実施の形態１では、第１の拠点に第１のテレプレゼンスロボットが存在し、第２の拠点にヘッドマウントディスプレイ及び第２のテレプレゼンスロボットが存在しているが、実施の形態２では、第１の拠点に第１のテレプレゼンスロボット及び第１のヘッドマウントディスプレイが存在し、第２の拠点に第２のヘッドマウントディスプレイ及び第２のテレプレゼンスロボットが存在している。

図１１は、本開示の実施の形態２における遠隔通信システムの構成を示す図である。

図１１に示す遠隔通信システムは、第１のテレプレゼンスロボット１’、第１のヘッドマウントディスプレイ６、第２のヘッドマウントディスプレイ２’及び第２のテレプレゼンスロボット３’を備える。第１のテレプレゼンスロボット１’及び第１のヘッドマウントディスプレイ６は、第１の拠点に配置され、第２のヘッドマウントディスプレイ２’及び第２のテレプレゼンスロボット３’は、第１の拠点とは異なる第２の拠点に配置される。第１のテレプレゼンスロボット１’と第２のヘッドマウントディスプレイ２’とは、ネットワーク７を介して互いに通信可能に接続されている。また、第２のテレプレゼンスロボット３’と第１のヘッドマウントディスプレイ６とは、ネットワーク７を介して互いに通信可能に接続されている。なお、ネットワーク７は、例えばインターネットである。

第１の拠点において、第１のテレプレゼンスロボット１’は、第１のユーザ４を撮影し、撮影画像を第２のヘッドマウントディスプレイ２’へ送信する。また、第１のテレプレゼンスロボット１’は、自律して移動する。第２のヘッドマウントディスプレイ２’は、第２のユーザ５の頭部に装着される。第２のヘッドマウントディスプレイ２’は、第１のテレプレゼンスロボット１’によって送信された撮影画像を受信し、受信した撮影画像を表示する。第２のヘッドマウントディスプレイ２’は、第１のテレプレゼンスロボット１’によって撮影された撮影画像を、第１の拠点とは異なる第２の拠点で第１のユーザ４とは異なる第２のユーザ５に提示する。このとき、第１のテレプレゼンスロボット１’と第１のユーザ４との位置関係は、第２のテレプレゼンスロボット３’と第２のユーザ５（第２のヘッドマウントディスプレイ２’）との位置関係と同じである。

ここで、第２のユーザ５が、第２の拠点において移動した場合、第１のテレプレゼンスロボット１’も、第２のユーザ５の移動に合わせて移動する。そして、第１のテレプレゼンスロボット１’は、移動後の第２のユーザ５の位置と同じ位置から第１のユーザ４を撮影した撮影画像を第２のヘッドマウントディスプレイ２’へ送信する。これにより、第２のヘッドマウントディスプレイ２’には、移動後の第２のユーザ５の位置と同じ位置から第１のユーザ４を撮影した撮影画像が表示されることになる。

一方、第２の拠点において、第２のテレプレゼンスロボット３’は、第２のユーザ５を撮影し、撮影画像を第１のヘッドマウントディスプレイ６へ送信する。また、第２のテレプレゼンスロボット３’は、自律して移動する。第１のヘッドマウントディスプレイ６は、第１のユーザ４の頭部に装着される。第１のヘッドマウントディスプレイ６は、第２のテレプレゼンスロボット３’によって送信された撮影画像を受信し、受信した撮影画像を表示する。第１のヘッドマウントディスプレイ６は、第２のテレプレゼンスロボット３’によって撮影された撮影画像を、第１の拠点で第１のユーザ４に提示する。このとき、第２のテレプレゼンスロボット３’と第２のユーザ５との位置関係は、第１のテレプレゼンスロボット１’と第１のユーザ４（第１のヘッドマウントディスプレイ６）との位置関係と同じである。

ここで、第１のユーザ４が、第１の拠点において移動した場合、第２のテレプレゼンスロボット３’も、第１のユーザ４の移動に合わせて移動する。そして、第２のテレプレゼンスロボット３’は、移動後の第１のユーザ４の位置と同じ位置から第２のユーザ５を撮影した撮影画像を第１のヘッドマウントディスプレイ６へ送信する。これにより、第１のヘッドマウントディスプレイ６には、移動後の第１のユーザ４の位置と同じ位置から第２のユーザ５を撮影した撮影画像が表示されることになる。

図１２は、本開示の実施の形態２における第１のテレプレゼンスロボット、第１のヘッドマウントディスプレイ、第２のヘッドマウントディスプレイ及び第２のテレプレゼンスロボットの構成を示す図である。なお、図１２において、実施の形態１と同じ構成については同じ符号を付し、詳細な説明を省略する。

第２のテレプレゼンスロボット３’は、赤外線出射部３１、撮影部１１、通信部１２、初期設定部１３、移動制御部１４、移動部１５、回転制御部１６、回転部１７、距離測定部１８、偏角測定部１９及び回転角度測定部２０を備える。

第２のヘッドマウントディスプレイ２’は、通信部２１、表示部２２、赤外線受光部２３、初期設定部２４及び変化量検出部２５を備える。

第１のテレプレゼンスロボット１’の構成は、第２のテレプレゼンスロボット３’の構成と同じであり、第１のヘッドマウントディスプレイ６の構成は、第２のヘッドマウントディスプレイ２’の構成と同じである。

なお、本実施の形態２において、第１のテレプレゼンスロボット１’が第１のロボット及び自律移動装置の一例に相当し、第２のヘッドマウントディスプレイ２’が第１の提示装置の一例に相当し、第２のテレプレゼンスロボット３’が第２のロボットの一例に相当し、第１のヘッドマウントディスプレイ６が第２の提示装置の一例に相当し、撮影部１１がカメラの一例に相当し、通信部１２が送信部及び受信部の一例に相当し、通信部２１が受信部及び送信部の一例に相当し、表示部２２が表示部の一例に相当し、変化量検出部２５が検出部の一例に相当し、移動部１５が移動部の一例に相当する。

第２のテレプレゼンスロボット３’は、自律して移動するとともに、第２の拠点で撮影部１１を用いて第２のユーザを撮影する。

第１のヘッドマウントディスプレイ６の変化量検出部２５は、第１のテレプレゼンスロボット１’に対する第１のユーザ４の位置の変化量を示す第３の変化量と、第１のテレプレゼンスロボット１’に対する第１のユーザ４の顔の向きの変化量を示す第４の変化量との少なくとも一方を検出する。なお、第３の変化量及び第４の変化量の検出方法については、実施の形態１における第１の変化量及び第２の変化量の検出方法と同じである。第１のヘッドマウントディスプレイ６の表示部２２は、第２のテレプレゼンスロボット３’によって撮影された撮影画像を、第１の拠点で第１のユーザに提示する。

第２のヘッドマウントディスプレイ２’の通信部２１は、変化量検出部２５によって第１の変化量又は第２の変化量が検出された場合、第１のユーザ４対して静止するよう促すための第１の通知情報を第１のヘッドマウントディスプレイ６へ送信する。

第１のヘッドマウントディスプレイ６の通信部２１は、第２のヘッドマウントディスプレイ２’によって送信された第１の通知情報を受信する。第１のヘッドマウントディスプレイ６の表示部２２は、変化量検出部２５によって第３の変化量又は第４の変化量が検出される前に、第１の通知情報が第２のヘッドマウントディスプレイ２’から受信された場合、第１のユーザ４に対して静止するよう促すための情報を表示する。

第１のヘッドマウントディスプレイ６の通信部２１は、変化量検出部２５によって第３の変化量又は第４の変化量が検出された場合、第２のユーザ５に対して静止するよう促すための第２の通知情報を第２のヘッドマウントディスプレイ２’へ送信する。

第２のヘッドマウントディスプレイ２’の通信部２１は、第１のヘッドマウントディスプレイ６によって送信された第２の通知情報を受信する。第２のヘッドマウントディスプレイ２’の表示部２２は、変化量検出部２５によって第１の変化量又は第２の変化量が検出される前に、第２の通知情報が第１のヘッドマウントディスプレイ６から受信された場合、第２のユーザ５に対して静止するよう促すための情報を表示する。

第１のヘッドマウントディスプレイ６及び第２のヘッドマウントディスプレイ２’のうち一方が移動している場合は、他方が静止するように促すことにより、第１のヘッドマウントディスプレイ６及び第２のヘッドマウントディスプレイ２’の一方を移動させることができる。これにより、第１のヘッドマウントディスプレイ６及び第２のヘッドマウントディスプレイ２’の両方が同時に移動するのを防止することができる。

本開示に係る遠隔通信方法、遠隔通信システム及び自律移動装置は、遠隔地にいる第１のユーザがその場にいるような臨場感を第２のユーザに対して与えることができ、自律して移動するとともに、第１の拠点で第１のユーザを撮影する第１のロボットと、第１のロボットによって撮影された撮影画像を、第１の拠点とは異なる第２の拠点で第１のユーザとは異なる第２のユーザに提示する第１の提示装置とを備える遠隔通信システムにおける遠隔通信方法、当該遠隔通信システム及び自律して移動する自律移動装置として有用である。

１，１’ 第１のテレプレゼンスロボット
２ ヘッドマウントディスプレイ
２’ 第２のヘッドマウントディスプレイ
３，３’ 第２のテレプレゼンスロボット
４ 第１のユーザ
５ 第２のユーザ
６ 第１のヘッドマウントディスプレイ
７ ネットワーク
１１ 撮影部
１２ 通信部
１３ 初期設定部
１４ 移動制御部
１５ 移動部
１６ 回転制御部
１７ 回転部
１８ 距離測定部
１９ 偏角測定部
２０ 回転角度測定部
２１ 通信部
２２ 表示部
２３ 赤外線受光部
２４ 初期設定部
２５ 変化量検出部
３１ 赤外線出射部
２５１ 偏角測定部
２５２ 移動判定部
２５３ 距離測定部
２５４ 回転角度測定部

Claims (10)

1. 自律して移動するとともに、第１の拠点で第１のユーザを撮影する第１のロボットと、前記第１のロボットによって撮影された撮影画像を、前記第１の拠点とは異なる第２の拠点で前記第１のユーザとは異なる第２のユーザに提示する第１の提示装置とを備える遠隔通信システムにおける遠隔通信方法であって、
   前記第１のロボットが、カメラを用いて前記第１のユーザを撮影し、
   前記第１のロボットが、撮影画像を前記第１の提示装置へ送信し、
   前記第１の提示装置が、前記撮影画像を前記第１のロボットから受信し、
   前記第１の提示装置が、前記撮影画像を表示し、
   前記第１の提示装置が、前記第１のユーザを仮想的に表した第２のロボットに対する前記第２のユーザの位置の変化量を示す第１の変化量と、前記第２のロボットに対する前記第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を検出し、
   前記第１の提示装置が、前記第１の変化量及び前記第２の変化量の少なくとも一方を前記第１のロボットへ送信し、
   前記第１のロボットが、前記第１の提示装置によって送信された前記第１の変化量及び前記第２の変化量の少なくとも一方を受信し、
   前記第１のロボットが、前記第１の変化量を受信した場合、前記第１の変化量に応じて前記カメラの視点を変化させ、前記第２の変化量を受信した場合、前記第２の変化量に応じて前記カメラの撮影方向を変化させる、
   遠隔通信方法。
2. 前記第１の提示装置は、前記第２のユーザとともに移動し、
   前記第１の提示装置が、前記第２のロボットと前記第２のユーザとが正対する際の前記第２のロボットと前記第１の提示装置との間の初期距離を測定し、
   前記第１の提示装置が、前記第２のロボットの位置を原点とする第１の極座標系を設定するとともに、前記第２のロボットと前記第１の提示装置とを結ぶ直線を前記第１の極座標系の第１の始線とし、
   前記第１の提示装置が、測定した前記初期距離を前記第１のロボットへ送信し、
   前記第１のロボットが、前記初期距離を前記第１の提示装置から受信し、
   前記第１のロボットが、前記第１のユーザに正対するとともに、前記第１のユーザから前記初期距離離れた位置に前記第１のロボットを移動させ、
   前記第１のロボットが、前記第１のユーザの位置を原点とする第２の極座標系を設定するとともに、前記第１のロボットと前記第１のユーザとを結ぶ直線を前記第２の極座標系の第２の始線とする、
   請求項１記載の遠隔通信方法。
3. 前記第１の提示装置が、前記第１の極座標系における前記第１の提示装置の移動後の位置と前記第２のロボットとの間の距離を測定し、
   前記第１の提示装置が、前記第１の極座標系における前記第１の提示装置の移動後の位置と前記第２のロボットとを結ぶ直線と、前記第１の始線とがなす角度を測定し、
   前記第１の提示装置が、測定した前記距離及び前記角度を含む前記第１の変化量を前記第１のロボットへ送信し、
   前記第１のロボットが、前記第１の変化量を前記第１の提示装置から受信し、
   前記第１のロボットが、受信した前記第１の変化量に含まれる前記距離及び前記角度に応じて、前記第１の極座標系における前記第２のロボットに対する前記第１の提示装置の位置と、前記第２の極座標系における前記第１のユーザに対する前記第１のロボットの位置とが同じになるように、前記第１のロボットを移動させる、
   請求項２記載の遠隔通信方法。
4. 前記第１の提示装置が、測定した前記角度が所定の角度以上であるか否かを判断し、
   前記第１の提示装置が、測定した前記角度が前記所定の角度以上であると判断された場合、前記第１の変化量を前記第１のロボットへ送信し、測定した前記角度が前記所定の角度より小さいと判断された場合、前記第１の変化量を前記第１のロボットへ送信しない、
   請求項３記載の遠隔通信方法。
5. 前記第２のロボットが、前記第２のロボットの正面の下方に向かって可視光を出射する、
   請求項２〜４のいずれか１項に記載の遠隔通信方法。
6. 前記第２のロボットが、前記第２のロボットの正面に向かって赤外線光を出射し、
   前記第１の提示装置が、前記ロボットによって出射された前記赤外線光を前記第１の提示装置の正面で検知し、
   前記赤外線光が検知された場合、前記初期距離を測定する、
   請求項２〜４のいずれか１項に記載の遠隔通信方法。
7. 前記第１の提示装置が、前記第１の始線に対する、前記第２のユーザの顔の向きの回転角度を測定し、
   前記第１の提示装置が、測定した前記回転角度を含む前記第２の変化量を前記第１のロボットへ送信し、
   前記第１のロボットが、前記第２の変化量を前記第１の提示装置から受信し、
   前記第１のロボットが、受信した前記第２の変化量に含まれる前記回転角度に応じて、前記カメラの撮影方向を前記第２の始線に対して回転させる、
   請求項２〜６のいずれか１項に記載の遠隔通信方法。
8. 前記第２のロボットは、自律して移動するとともに、前記第２の拠点でカメラを用いて前記第２のユーザを撮影し、
   前記遠隔通信システムは、前記第１のロボットに対する前記第１のユーザの位置の変化量を示す第３の変化量と、前記第１のロボットに対する前記第１のユーザの顔の向きの変化量を示す第４の変化量との少なくとも一方を検出し、前記第２のロボットによって撮影された撮影画像を、前記第１の拠点で前記第１のユーザに提示する第２の提示装置をさらに備え、
   前記第１の提示装置が、前記第１の変化量又は前記第２の変化量を検出した場合、前記第１のユーザに対して静止するよう促すための第１の通知情報を前記第２の提示装置へ送信し、
   前記第２の提示装置が、前記第３の変化量又は前記第４の変化量を検出する前に、前記第１の通知情報を前記第１の提示装置から受信した場合、前記第１のユーザに対して静止するよう促すための情報を表示し、
   前記第２の提示装置が、前記第３の変化量又は前記第４の変化量を検出した場合、前記第２のユーザに対して静止するよう促すための第２の通知情報を前記第１の提示装置へ送信し、
   前記第１の提示装置が、前記第１の変化量又は前記第２の変化量を検出する前に、前記第２の通知情報を前記第２の提示装置から受信した場合、前記第２のユーザに対して静止するよう促すための情報を表示する、
   請求項１〜７のいずれか１項に記載の遠隔通信方法。
9. 自律して移動するとともに、第１の拠点で第１のユーザを撮影する第１のロボットと、
   前記第１のロボットによって撮影された撮影画像を、前記第１の拠点とは異なる第２の拠点で前記第１のユーザとは異なる第２のユーザに提示する提示装置と、
   を備え、
   前記第１のロボットは、
   前記第１のユーザを撮影するカメラと、
   前記カメラによる撮影画像を前記提示装置へ送信する送信部と、
   を備え、
   前記提示装置は、
   前記撮影画像を前記第１のロボットから受信する受信部と、
   前記撮影画像を表示する表示部と、
   前記第１のユーザを仮想的に表した第２のロボットに対する前記第２のユーザの位置の変化量を示す第１の変化量と、前記第２のロボットに対する前記第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を検出する検出部と、
   前記第１の変化量及び前記第２の変化量の少なくとも一方を前記第１のロボットへ送信する送信部と、
   を備え、
   前記第１のロボットは、
   前記提示装置によって送信された前記第１の変化量及び前記第２の変化量の少なくとも一方を受信する受信部と、
   前記第１の変化量を受信した場合、前記第１の変化量に応じて前記カメラの視点を変化させ、前記第２の変化量を受信した場合、前記第２の変化量に応じて前記カメラの撮影方向を変化させるように、前記第１のロボットを移動させる移動部と、
   を備える、
   遠隔通信システム。
10. 自律して移動する自律移動装置であって、
    第１の拠点で第１のユーザを撮影するカメラと、
    前記カメラによる撮影画像を、前記第１の拠点とは異なる第２の拠点に存在する提示装置へ送信する送信部と、
    前記第２の拠点で前記第１のユーザとは異なる第２のユーザに前記撮影画像を提示する前記提示装置から、前記第１のユーザを仮想的に表した第２のロボットに対する前記第２のユーザの位置の変化量を示す第１の変化量と、前記第２のロボットに対する前記第２のユーザの顔の向きの変化量を示す第２の変化量との少なくとも一方を受信する受信部と、
    前記第１の変化量を受信した場合、前記第１の変化量に応じて前記カメラの視点を変化させ、前記第２の変化量を受信した場合、前記第２の変化量に応じて前記カメラの撮影方向を変化させるように、前記自律移動装置を移動させる移動部と、
    を備える、
    自律移動装置。

Images