JP2022148263A - ロボット、コミュニケーションシステム、コミュニケーション方法及びプログラム - Google Patents

Abstract

【課題】コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことが可能なロボット、コミュニケーションシステム、コミュニケーション方法及びプログラムを提供すること。【解決手段】一実施形態にかかるロボット１０は、周囲に存在する人物の中から、コミュニケーションの対象となるコミュニケーション対象者を特定する特定部と、特定部が特定したコミュニケーション対象者に関連する個人情報を取得する取得部と、個人情報を保護する保護処理がセットで実行されるように、個人情報を表示部に表示させる表示処理部を備える。【選択図】図３

Description

本発明はロボット、コミュニケーションシステム、コミュニケーション方法及びプログラムに関する。

近年、人とロボットとの間のコミュニケーション技術が進展している。例えば、特許文献１には、コミュニケーションシステムが搭載されたロボットが、特定したコミュニケーション対象者に対して光を照射することが記載されている。これにより、コミュニケーション対象者に対して、ロボットとコミュニケーションをとることを認識させることができる。

国際公開第２０１３／１１４４９３号

上述の技術においては、特定したコミュニケーション対象者に対して、ピンポイントで光を照射することができない可能性が想定される。例えば、ロボットの周辺に人が多く存在するような場合、照射された光が他の人によって遮られることが考えられるほか、コミュニケーション対象者が他に気をとられることで、照射された光に気付けないことも考えられる。このような場合、コミュニケーション対象者に対して、自身がコミュニケーション対象であることを効果的に示すことができないことになる。

本発明は、このような問題を解決するためのものであり、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことが可能なロボット、コミュニケーションシステム、コミュニケーション方法及びプログラムを提供するものである。

本発明の例示的な一態様に係るロボットは、周囲に存在する人物の中から、コミュニケーションの対象となるコミュニケーション対象者を特定する特定部と、特定部が特定したコミュニケーション対象者に関連する個人情報を取得する取得部と、個人情報を保護する保護処理がセットで実行されるように、個人情報を表示部に表示させる表示処理部を備える。これにより、ロボットは、コミュニケーション対象者に対してコミュニケーション対象者に関する情報を視認させるため、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。また、ロボットの表示データに基づいて第三者が個人を特定しにくくなるため、コミュニケーション対象者がロボットと安心してコミュニケーションを取ることができる。

また、上記ロボットにおいて、個人情報は、コミュニケーション対象者の顔画像を含み、保護処理は、顔画像に加工を施した加工画像を作成する処理であり、表示処理部は加工画像を表示部に表示させても良い。これにより、ロボットは、第三者に個人を特定される可能性をさらに削減できる。

また、上記ロボットにおいて、個人情報は、コミュニケーション対象者の顔画像を含み、表示処理部は、顔画像を表示部に表示させた後、保護処理として、顔画像のデータをロボットから削除させる処理を実行しても良い。これにより、ロボットは、個人情報が適切に管理されているという安心感をコミュニケーション対象者に対して与えられるため、コミュニケーション対象者は、ロボットと安心してコミュニケーションを取ることができる。

また、上記ロボットにおいて、取得部は、顔画像を撮像する撮像部を含んでも良い。これにより、ロボットは、ロボット単独で、顔画像を用いて、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。

また、上記ロボットにおいて、特定部は、コミュニケーション対象者の位置情報をさらに特定し、表示処理部は、個人情報とともに、位置情報を表示部に表示させても良い。これにより、ロボットは、コミュニケーション対象者に対して、コミュニケーション対象であることを一層効果的に示すことができる。

また、上記ロボットにおいて、特定部は、周囲に存在する人物とロボットとの距離に基づいて、コミュニケーション対象者を特定しても良い。これにより、これにより、ロボットは、ロボットに対してコミュニケーションを取ろうとしているコミュニケーション対象者を精度良く判定することができる。

本発明の例示的な他の態様に係るロボットは、周囲に存在する人物を撮像する撮像部と、撮像部が撮像した撮像データを遠隔装置に送信する送信部と、遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を周囲に存在する人物の中から特定する特定情報を受信する受信部と、特定情報が特定するコミュニケーション対象者に関連する個人情報を表示部に表示させる表示処理部を備える。これにより、ロボットは、コミュニケーション対象者に対してコミュニケーション対象者に関する情報を視認させるため、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。

また、上記ロボットにおいて、撮像データから、人物の少なくとも一部を人物領域として抽出する抽出部をさらに備え、送信部は、撮像データと併せて、人物領域を示す情報を遠隔装置に送信しても良い。これにより、操作者は、人物領域を示す情報によって、遠隔装置の表示部上に表示された人物の中からコミュニケーション対象者を選択する処理がしやすくなる。

また、上記ロボットにおいて、周囲に存在する人物とロボットとの距離に基づいて、撮像データから、コミュニケーション対象者の候補となる人物の少なくとも一部を人物領域として抽出する抽出部をさらに備え、送信部は、撮像データと併せて、人物領域を示す情報を遠隔装置に送信しても良い。これにより、操作者は、人物領域を示す情報によって、遠隔装置の表示部上に表示された人物の中からコミュニケーション対象者を選択する処理がしやすくなる。また、ロボットは、ロボットとコミュニケーションを取ろうとしていると考えられる人物を、ロボットとの距離を考慮して予め選択している。そのため、操作者は、コミュニケーションを取ろうとしている人物を、より精度良くコミュニケーション対象者として選択することができる。

本発明の例示的な一態様に係るコミュニケーションシステムは、ロボットと、ロボットを遠隔操作する遠隔装置と、ロボットの周囲に存在する人物を撮像して撮像データを取得する撮像装置を備え、ロボットは、遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を周囲に存在する人物の中から特定する特定情報を受信する受信部と、受信部が特定したコミュニケーション対象者に関連する個人情報を取得する取得部と、ロボットの表示部を介して個人情報を表示させる表示処理部を有し、遠隔装置は、送信された撮像データを操作者に表示する表示部と、操作者によって指定されたコミュニケーション対象者に係る特定情報をロボットに送信する特定情報送信部を有する。これにより、ロボットは、コミュニケーション対象者に対してコミュニケーション対象者に関する情報を視認させるため、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。

また、上記コミュニケーションシステムにおいて、撮像装置又はロボットは、撮像データから、人物の少なくとも一部を人物領域として抽出し、人物領域を示す情報が撮像データと併せて遠隔装置に送信され、遠隔装置の表示部は、撮像データ及び人物領域を示すデータを操作者に表示するか、又は、遠隔装置は、撮像データから、人物の少なくとも一部を人物領域として抽出し、遠隔装置の表示部は、撮像データ及び人物領域を示す情報を操作者に表示しても良い。これにより、操作者は、人物領域を示す情報によって、遠隔装置の表示部上に表示された人物の中からコミュニケーション対象者を選択する処理がしやすくなる。

また、上記コミュニケーションシステムにおいて、撮像装置又はロボットは、周囲に存在する人物とロボットとの距離に基づいて、撮像データから、コミュニケーション対象者の候補となる人物の少なくとも一部を人物領域として抽出し、人物領域を示す情報が撮像データと併せて遠隔装置に送信され、遠隔装置の表示部は、撮像データ及び人物領域を示す情報を操作者に表示するか、又は、遠隔装置は、周囲に存在する人物とロボットとの距離に基づいて、撮像データから、コミュニケーション対象者の候補となる人物の少なくとも一部を人物領域として抽出し、遠隔装置の表示部は、撮像データ及び人物領域を示す情報を操作者に表示しても良い。これにより、操作者は、人物領域を示す情報によって、遠隔装置の表示部上に表示された人物の中からコミュニケーション対象者を選択する処理がしやすくなる。また、操作者は、コミュニケーションを取ろうとしている人物を、より精度良くコミュニケーション対象者として選択することができる。

本発明の例示的な一態様に係るコミュニケーション方法は、周囲に存在する人物の中から、コミュニケーションの対象となるコミュニケーション対象者を特定する特定ステップと、特定したコミュニケーション対象者に関連する個人情報を取得する取得ステップと、個人情報を保護する保護処理がセットで実行されるように、個人情報を表示部に表示させる表示処理ステップをロボットが実行するものである。これにより、ロボットは、コミュニケーション対象者に対してコミュニケーション対象者に関する情報を視認させるため、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。また、ロボットの表示データに基づいて第三者が個人を特定しにくくなるため、コミュニケーション対象者がロボットと安心してコミュニケーションを取ることができる。

本発明の例示的な他の態様に係るコミュニケーション方法は、周囲に存在する人物を撮像する撮像ステップと、撮像した撮像データを遠隔装置に送信する送信ステップと、遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を周囲に存在する人物の中から特定する特定情報を受信する受信ステップと、特定したコミュニケーション対象者に関連する個人情報を表示部に表示させる表示処理ステップをロボットが実行するものである。これにより、ロボットは、コミュニケーション対象者に対してコミュニケーション対象者に関する情報を視認させるため、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。

本発明の例示的な一態様に係るプログラムは、周囲に存在する人物の中から、コミュニケーションの対象となるコミュニケーション対象者を特定する特定ステップと、特定した前記コミュニケーション対象者に関連する個人情報を取得する取得ステップと、個人情報を保護する保護処理がセットで実行されるように、個人情報を表示部に表示させる表示処理ステップをロボットに実行させるものである。これにより、ロボットは、コミュニケーション対象者に対してコミュニケーション対象者に関する情報を視認させるため、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。また、ロボットの表示データに基づいて第三者が個人を特定しにくくなるため、コミュニケーション対象者がロボットと安心してコミュニケーションを取ることができる。

本発明の例示的な他の態様に係るプログラムは、周囲に存在する人物を撮像する撮像ステップと、撮像した撮像データを遠隔装置に送信する送信ステップと、遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を周囲に存在する人物の中から特定する特定情報を受信する受信ステップと、特定したコミュニケーション対象者に関連する個人情報を表示部に表示させる表示処理ステップをロボットに実行させるものである。これにより、ロボットは、コミュニケーション対象者に対してコミュニケーション対象者に関する情報を視認させるため、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことができる。

本発明により、コミュニケーション対象者に対してコミュニケーション対象であることを効果的に示すことが可能なロボット、コミュニケーションシステム、コミュニケーション方法及びプログラムを提供することができる。

実施の形態１にかかるコミュニケーションシステムの一例を示す模式図である。 実施の形態１にかかるロボットの外部構成の一例を示す図である。 実施の形態１にかかるロボットの一例を示すブロック図である。 実施の形態１にかかる操作端末の一例を示すブロック図である。 実施の形態１にかかる管理サーバの一例を示すブロック図である。 実施の形態１にかかるコミュニケーションシステムの動作例を示すシーケンス図である。 実施の形態１にかかるコミュニケーションシステムの動作例を示すシーケンス図である。 実施の形態２にかかるロボットの一例を示すブロック図である。 実施の形態２にかかるロボットの動作例を示すフローチャートである。 各実施の形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。
まず、図１～図５を用いて、本実施の形態にかかるコミュニケーションシステムの構成と動作について説明する。その後、図６Ａ、６Ｂを用いて、本実施の形態にかかるコミュニケーションシステム全体の動作について説明する。

＜コミュニケーションシステム＞
図１は、実施の形態にかかるコミュニケーションシステムを説明するための図である。図１に示すように、本実施の形態にかかるコミュニケーションシステム１は、ロボット１０、操作端末２０（遠隔装置）、及び管理サーバ３０を備える。本実施の形態にかかるコミュニケーションシステム１は、操作端末２０によって遠隔操作されるロボット１０が、ロボット１０の周囲に存在するサービス利用者である対象者Ｃ（図２参照）と会話等のコミュニケーションを行うコミュニケーションシステムである。

ロボット１０は、例えばイベント等の会場に置かれることで、対象者Ｃに対して会場の案内や宣伝等をすることができる。ロボット１０には、コミュニケーションをするために、表示パネル、マイク及びスピーカが搭載されている。ロボット１０の詳細な構成については後述する。

ロボット１０と操作端末２０は、互いに離れた位置に配置されており、操作者は操作端末２０を用いてロボット１０を遠隔操作することができる。ロボット１０と操作端末２０は、後述するように、ロボット１０の動作指示、映像データ、音声データ等について、互いに通信可能に構成されている。また、ロボット１０と管理サーバ３０、操作端末２０と管理サーバ３０も、互いに通信可能に構成されている。なお、管理サーバ３０は、ロボット１０および操作端末２０と離れた位置に配置されていてもよく、操作端末２０の近傍に配置されていてもよく、ロボット１０の近傍に配置されていてもよい。以下、本実施の形態にかかるコミュニケーションシステム１の構成と動作について詳細に説明する。

＜ロボットの外部構成＞
まず、ロボット１０の外部構成について説明する。図２に示すように、ロボット１０は、移動ユニット１０１及び本体部１０２を備える。

移動ユニット１０１は、ロボット１０を移動させるためのユニットである。例えば、移動ユニット１０１の下面には車輪（不図示）が設けられており、この車輪を駆動することで、ロボット１０を平面上で自在に移動又は回転させることができる。移動ユニット１０１は、操作端末２０からの制御信号によって、移動又は回転の方向、速度、停止等が制御される。ロボット１０が回転することにより、頭部１１３が向く方向を変える、すなわち、ロボット１０がコミュニケーションをする対象者を変えることができる。

本体部１０２は、移動ユニット１０１の上部に搭載されており、胴部１１１、接続部１１２及び頭部１１３を有する。移動ユニット１０１の上部に胴部１１１が搭載され、接続部１１２は、胴部１１１と頭部１１３を接続している。

胴部１１１には、正面に支持されたアーム１２１及びその先端部に設置されたハンド１２２を備える。アーム１２１とハンド１２２は、操作端末２０からの制御信号によって、不図示のモータを介して駆動され、様々な物体を制御された姿勢で把持したり、感情を表現するジェスチャーを行ったりする。例えば、アーム１２１とハンド１２２が連動して動作することで、ロボット１０の近傍にあるパンフレット、お菓子等のグッズをハンド１２２が把持し、それをロボット１０とコミュニケーションを取っている人物の前まで移動させて、その人物に渡すように制御されても良い。

頭部１１３は、ステレオカメラ１３１（取得部、撮像部又は撮像装置）、マイク１３２、スピーカ１３３及び表示パネル１３４を備え、コミュニケーション対象者Ｃ（以下、対象者Ｃと記載）とコミュニケーションを取るための構成を有する。以下、頭部１１３の詳細な構成について説明する。

ステレオカメラ１３１は、同じ画角を有する２つのカメラユニット１３１Ａ、１３１Ｂが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された画像を撮像データとして生成する。この撮像データは、静止画でも良いし、動画でも良い。ステレオカメラ１３１は、このようにして、ロボット１０の周囲に存在する人物を撮像する。なお、ステレオカメラ１３１は、ロボット１０周辺に人物（コミュニケーション対象の候補者）が存在することだけでなく、ロボット１０からその人物までの距離を検出することもできる。ロボット１０は、撮像された撮像データ及び距離の情報を、操作端末２０に送信する。

マイク１３２は、ロボット１０の周辺で発生する音や、人物の声を音声データに変換する。ロボット１０は、その音声データを操作端末２０に送信する。

スピーカ１３３は、操作端末２０からの指示に応じてロボット１０が記憶した音声データを選択し、その音声を出力しても良いし、操作端末２０からの指示に応じて生成した音声を出力しても良い。また、操作端末２０から受け取った音声データを実際の音声に変換して出力することもできる。

表示パネル１３４は、例えば液晶パネルであり、顔画像（撮像された顔画像の実画像、又は、撮像された顔画像に基づいて生成された加工画像）を対象者Ｃに対して表示する。表示パネル１３４に実画像又は加工画像の顔を表示することにより、表示パネル１３４が擬似的な顔部であるかの印象を対象者Ｃに与えることができる。また、表示パネル１３４は、文字情報や絵の情報（例えばアイコン）等を表示して、対象者Ｃに知らせることもできる。表示パネル１３４に表示される上述の顔画像、文字情報や絵の情報は、ロボット１０が記憶又は生成しても良いし、操作端末２０から表示データとして受け取っても良い。

また、表示パネル１３４は、表示面にタッチパネルを設けて、対象者Ｃからの指示入力を受け付けるように構成しても良い。ロボット１０は、受け付けた指示入力に応じた動作をしても良いし、その指示入力を操作端末２０に送信しても良い。

なお、移動ユニット１０１がロボット１０の向きを変えることで、頭部１１３が面する方向を変えることができる。そのため、ステレオカメラ１３１は、任意の方向の対象物を撮像することができ、マイク１３２は、任意の方向からの音声データを取得することができる。また、スピーカ１３３、表示パネル１３４は、それぞれ、任意の方向に向けて音声を発したり、任意の方向へ向けて表示内容を呈示したりすることができる。

＜ロボットのシステム構成＞
次に、ロボット１０のシステム構成について説明する。図３は、ロボットのシステム構成を説明するためのブロック図である。図３に示すように、ロボット１０は、システム構成として、ステレオカメラ１３１、マイク１３２、スピーカ１３３、表示パネル１３４のほかに、制御部１４０（表示処理部及び抽出部）、アーム駆動部１４１、移動ユニット駆動部１４２、通信部１４３（送信部及び受信部）及び記憶部１４４を備える。

制御部１４０は、ロボット１０の各部の処理を制御するものであり、バスを介して、他の各構成要素と接続されている。

制御部１４０は、ステレオカメラ１３１から取得した撮像データや、マイク１３２から取得した音声データ（例えば、人物の画像データや音声データ）を、通信部１４３を介して操作端末２０に送信する。また、必要に応じて、制御部１４０は、ステレオカメラ１３１やマイク１３２から取得した撮像データ、音声データを、記憶部１４４に格納しても良い。制御部１４０は、記憶部１４４に格納した任意のデータを読みだして利用したり、削除したりすることができる。

例えば、制御部１４０は、ステレオカメラ１３１が撮像した撮像データを表示パネル１３４に表示させることができる。制御部１４０は、撮像データのうち、選択された対象者Ｃの実物の顔画像の部分を抽出して、その顔画像を表示パネル１３４に表示させても良い。また、制御部１４０は、対象者Ｃの顔画像に対して保護処理である加工を施した加工画像を作成して、その顔画像を表示パネル１３４に表示させても良い。加工画像は、例えば実物の顔画像をフィルタ加工したものであっても良いし、実物の顔画像に基づく似顔絵又はアバターであっても良い。制御部１４０は、公知の加工処理を用いてこの加工画像を生成することができる。

また、制御部１４０は、ステレオカメラ１３１から取得した撮像データに基づいて、撮像データに映っている人物の少なくとも一部を人物領域として抽出しても良い。人物の存在を検出するために、制御部１４０は、顔検出（顔全体又は顔のパーツの検出）、顔認識、人物検出、動画における人物追跡等の公知の技術を用いることができる。

また、制御部１４０は、公知の測定技術を用いて、人物とロボット１０との距離（以下、人物との距離と記載）を算出することもできる。なお、制御部１４０は、マイク１３２から取得した音声データのうち、撮像データに映っている人物の音声データを抽出し、その音声データをさらに用いて、人物との距離を算出しても良い。

制御部１４０は、人物領域を示す情報及び算出した人物との距離を、ステレオカメラ１３１から取得した撮像データと併せて、通信部１４３を介して操作端末２０に送信しても良い。例えば、制御部１４０は、撮像データにおいて人物の顔を検出した場合に、その顔を四角形等の図形で囲む目印を、人物領域を示す情報として撮像データに付加する。また、ある人物の検出した距離を、撮像データ上において、その人物の顔の近傍に表示させるように撮像データに付加する。制御部１４０は、これらの付加処理がなされた撮像データを、操作端末２０に送信する。なお、送信される撮像データには、複数の人物に関して、その存在を示す情報及び人物との距離に係る情報が含まれていても良いことはいうまでもない。

また、制御部１４０は、通信部１４３を介して操作端末２０から受信した音声データを、音声としてスピーカ１３３から出力する。また、通信部１４３を介して操作端末２０から受信した表示データを、表示パネル１３４に表示させる。なお、制御部１４０は、操作端末２０からの指示に応じて、記憶部１４４に記憶された音声データや表示データを選択し、それぞれスピーカ１３３、表示パネル１３４から出力しても良い。また、必要に応じて、制御部１４０は、操作端末２０から受信した音声データ、表示データを、記憶部１４４に格納しても良い。

また、制御部１４０は、制御信号をアーム駆動部１４１に出力することで、アーム１２１及びハンド１２２を駆動させる。これにより、ロボット１０のアーム部を任意の態様で動かすことができる。例えば、制御部１４０は、操作端末２０（又は管理サーバ３０）から送信された操作信号に基づいて、ステレオカメラ１３１で撮影されている対象者Ｃに対し、アーム１２１を前方に伸ばすことによって、握手の動作をすることができる。

また、制御部１４０は、制御信号を移動ユニット駆動部１４２に出力することで、移動ユニット１０１を駆動させる。これにより、ロボット１０を任意の態様で移動させることができる。例えば、制御部１４０は、操作端末２０（又は管理サーバ３０）から送信された操作信号に基づいて、移動ユニット１０１を制御するための制御信号を生成することができる。また、制御部１４０は、ステレオカメラ１３１やマイク１３２から取得した情報を用いて、ロボット１０の周囲の障害物を検知し、この検知した障害物に関する情報を用いて制御信号を生成してもよい。これにより、ロボット１０が障害物を回避して移動するように移動ユニット１０１を制御することができる。制御部１４０は、このような動作に関するロボット１０の現在の動作状態（実行中の動作、実行された動作及び実行できなかった動作に関するもの）を、通信部１４３を介して操作端末２０に送信する。

アーム駆動部１４１は、アーム１２１を駆動するための手段であり、例えばモータ等を用いて構成することができる。アーム駆動部１４１は、制御部１４０から供給された制御信号に基づいて、アーム１２１及びハンド１２２を駆動する。

移動ユニット駆動部１４２は、移動ユニット１０１を駆動するための手段であり、例えばモータ等を用いて構成することができる。移動ユニット駆動部１４２は、制御部１４０から供給された制御信号に基づいて、移動ユニット１０１を駆動する。

通信部１４３は、操作端末２０、管理サーバ３０のそれぞれと、有線または無線で通信可能に構成されている。通信部１４３によって、操作信号、撮像データや音声データといった情報を送受信することができる。例えば、通信部１４３は、ＷｅｂＲＴＣ（Web Real-Time Communication）により、ウェブブラウザ又はモバイルアプリケーションによるリアルタイム通信で、操作端末２０と撮像データや音声データの送受信をしても良い。また、通信部１４３は、所定の通信プロトコル（例えばＷｅｂＳｏｃｋｅｔ）により、操作端末２０から操作信号を受信したり、操作端末２０に現在の動作状態を送信したりしても良い。

記憶部１４４には、ステレオカメラ１３１やマイク１３２から取得した撮像データ、音声データや、操作端末２０から受信したデータ（例えば音声データや表示データ）が格納される。また、記憶部１４４には、コミュニケーションに必要な文字、絵等の表示データが格納されていても良い。この表示データは、例えば、ロボット１０が設けられる会場で実施されるイベントの一覧や、ナビゲーションに用いられる図であっても良い。ナビゲーションに用いられる図として、会場の見取り図（特に、ロボット１０周辺の環境が示された見取り図）、会場から近隣の交通機関へのアクセスを示す図が一例として挙げられる。制御部１４０は、格納されたこれらのデータを、操作端末２０からの操作信号に応じて読みだし、表示パネル１３４に表示させることができる。

なお、ロボット１０の上記構成は一例であり、本実施の形態にかかるコミュニケーションシステム１において、ロボット１０の構成は上記構成に限定されることはない。

＜操作端末の構成＞
次に、操作端末２０について説明する。図１に示すように、操作端末２０は、操作者がロボット１０を遠隔操作するための端末であり、例えば、パーソナルコンピュータやタブレット端末等を用いて構成することができるコンピュータである。図１に示されるように、操作端末２０は、その外観上において、カメラ２０１と表示部２０２が設けられている。

図４は、操作端末のシステム構成を説明するためのブロック図である。図４に示すように、操作端末２０は、カメラ２０１、表示部２０２、スピーカ２０３、マイク２０４、入力部２０５、通信部２０６（特定情報送信部）、記憶部２０７及び制御部２０８を備える。制御部２０８は、操作端末２０を制御する機能を有し、カメラ２０１、表示部２０２、スピーカ２０３、マイク２０４、入力部２０５、及び通信部２０６は、制御部２０８に接続されている。

カメラ２０１は、操作端末２０の表示部２０２の前方にいる操作端末２０の操作者を撮影する。表示部２０２は、ロボット１０から送信された撮像データ（撮像データには、例えば人物の画像、人物領域を示す情報及び算出された人物との距離の情報が含まれる）や、ロボット１０の現在の動作状態を表示する。また、スピーカ２０３は、通信部１４３を介して操作端末２０から受信した音声データ（例えば、人物の声）を音声に変換して出力する。これにより、操作端末２０の操作者は、人物の顔や音声等を確認することができる。

マイク２０４は、操作端末２０の周辺で発生する音や、人物の声（例えば、操作端末２０を操作している操作者の声）を音声データに変換する。この音声データは、通信部２０６を介してロボット１０の通信部１４３に送信されても良い。

入力部２０５は、操作者が操作端末２０に対して情報を入力するための手段である。入力部２０５に情報が入力されることで、ロボット１０を遠隔操作するための各種情報が入力される。制御部２０８は、入力された入力情報を操作信号として通信部２０６からロボット１０に送信する。

例えば、入力部２０５は、タッチパネルやキーボードを用いて構成することができる。例えば、タッチパネルを用いて入力部２０５を構成した場合は、表示部２０２に表示されているアイコン等を操作者が押下することで、ロボット１０を遠隔操作することができる。また、キーボードを用いて入力部２０５を構成した場合は、例えば、キーボードから所定の情報を入力することで、ロボット１０を遠隔操作することができる。

なお、表示部２０２に人物の画像及び人物領域を示す情報が撮像データとして表示されているとき、操作者が表示部２０２上での人物の表示領域を入力部２０５で指定することにより、その人物をコミュニケーションの対象者Ｃとして選択することができる。指定は、操作者がタッチパネルを押下したり、キーボードによる入力であったりしても良い。

入力部２０５の入力によりなされる遠隔操作は、例えば、ロボット１０全体の移動、アーム１２１及びハンド１２２の動作、スピーカ１３３からの音声の出力、表示パネル１３４への表示内容の決定及び変更に関するものであるが、これに限られない。

通信部２０６は、ロボット１０、管理サーバ３０のそれぞれと有線または無線で通信可能に構成されている。例えば、通信部２０６は、制御部２０８から出力された情報をロボット１０に送信するほか、ロボット１０から送信された情報を制御部２０８に出力することにより、ロボット１０の遠隔操作を実行する。通信部２０６により送受信される情報は、上述の通りである。例えば、通信部２０６は、ＷｅｂＲＴＣにより、通信部１４３と撮像データや音声データの送受信をしても良いし、ＷｅｂＳｏｃｋｅｔにより、通信部１４３に操作信号を送信したり、通信部１４３から現在の動作状態を受信したりしても良い。

記憶部２０７は、制御部２０８の制御によって、カメラ２０１、スピーカ２０３、マイク２０４、入力部２０５から取得した情報を格納することができる。また、制御部２０８の制御によって、ロボット１０から通信部２０６を介して取得した撮像データ、音声データ等の情報を格納しても良い。

制御部２０８は、操作端末２０の各部の処理を制御するものであり、バスを介して、他の各構成要素と接続されている。

制御部２０８は、カメラ２０１から取得した撮像データや、マイク２０４から取得した音声データ（例えば、操作者の画像データや音声データ）を、通信部２０６を介してロボット１０に送信することができる。また、制御部２０８は、入力部２０５から入力されたロボット１０の遠隔操作に関する入力情報を操作信号として、通信部２０６を介してロボット１０に送信することができる。

また、制御部２０８は、通信部２０６を介してロボット１０から受信した音声データを、音声としてスピーカ２０３から出力する。また、通信部２０６を介してロボット１０から受信した撮像データを、表示部２０２に表示させる。さらに、制御部１４０は、ロボット１０から受信したロボット１０の現在の動作状態を、表示部２０２に表示させる。

また、制御部２０８は、記憶部２０７に、取得した各種情報を格納することができるほか、格納された任意の情報を読みだしたり、削除したりすることができる。

なお、操作端末２０の上記構成は一例であり、本実施の形態にかかるコミュニケーションシステム１において、操作端末２０の構成は上記構成に限定されることはない。

＜管理サーバの構成＞
次に、管理サーバ３０について説明する。図１に示すように、管理サーバ３０は、ロボット１０を管理するためのサーバである。管理サーバ３０は、ロボット１０、操作端末２０とそれぞれ通信可能に構成されている。

図５は、管理サーバのシステム構成を説明するためのブロック図である。図５に示すように、管理サーバ３０は、通信部３０１、通信制御部３０２、及び記憶部３０３を備える。

通信部３０１は、ロボット１０の通信部１４３および操作端末２０の通信部２０６と、有線または無線で通信可能に構成されている。通信制御部３０２は、通信部３０１を介してロボット１０、操作端末２０と通信をすることにより、ロボット１０と操作端末２０間の撮像データ、音声データの通信をアシストする。

例えば、通信部１４３と通信部２０６とが、ＷｅｂＲＴＣにより撮像データや音声データの送受信をする場合を考える。この場合、通信制御部３０２は、通信部１４３のＷｅｂＲＴＣクライアント、通信部２０６のアプリケーション表示をそれぞれ制御することで、互いに通信を可能とする。例えば、通信制御部３０２は、ロボット１０と操作端末２０とが通信を開始する際に、通信部２０６のアプリケーションを立ち上げても良い。また、通信部１４３は、アプリケーション表示のステータス更新の情報を通信部３０１に送信しても良い。この場合、管理サーバ３０は、Ｗｅｂサーバとして機能する。

記憶部３０３は、通信制御部３０２の制御に必要な各種情報を記憶する。通信制御部３０２は、必要な際に記憶部３０３からその情報を読み込み、制御を行う。

なお、操作端末２０、管理サーバ３０は、それぞれ、複数のロボット１０と通信し、複数のロボット１０を管理するように構成されていてもよい。また、管理サーバ３０は、操作端末２０と同一のコンピュータシステムを構成してもよい。

＜コミュニケーションシステムの動作の説明＞
次に、本実施の形態にかかるコミュニケーションシステムの動作について、図６Ａ、６Ｂに示すシーケンス図を用いて説明する。

まず、操作端末２０側の操作者は、入力部２０５に遠隔操作の入力をすることで、ロボット１０を所望の方向に移動又は回転させるように操縦する（ステップＳ１１）。制御部２０８は、その遠隔操作に係る操作信号を生成し、通信部２０６によりロボット１０に送信する（ステップＳ１２）。

ロボット１０の通信部１４３は、その操作信号を受信する。制御部１４０は、その操作信号に基づいて、移動ユニット駆動部１４２に対してロボット１０を移動又は回転させるための制御信号を出力する。移動ユニット駆動部１４２がそれに応じて駆動することで、ロボット１０は操作者が指示した通りの動作をする（ステップＳ１３）。

ロボット１０は、ステレオカメラ１３１が撮像した撮像データ中に人物を検出した場合（ステップＳ１４）、検出した全ての人物について、人物までの距離を算出する。この詳細は上述の通りである。そして、ロボット１０は、検出した全ての人物領域を示す情報及び人物との距離を、ステレオカメラ１３１から取得した撮像データと併せて、通信部１４３を介して操作端末２０に送信する（ステップＳ１５）。なお、ステレオカメラ１３１が撮像した撮像データは、一時的に、記憶部１４４に格納される。

操作端末２０の通信部２０６は、送信された撮像データを受信し、制御部２０８は、その撮像データを表示部２０２上に表示させる（ステップＳ１６）。操作者は、表示された一人又は複数の人物のうち、一人の人物を入力部２０５で指定することにより、ロボット１０の周囲に存在する人物の中から、コミュニケーションの対象となる対象者Ｃを決定する（ステップＳ１７）。

操作端末２０の通信部２０６は、選択された対象者Ｃを特定する特定情報を送信する（ステップＳ１８）。ロボット１０の通信部１４３は、その特定情報を受信する。

制御部１４０は、受信した特定情報に基づいて、対象者Ｃとコミュニケーションを取る処理をする。しかしながら、ロボット１０が単に対象者Ｃに話しかけた場合には、対象者Ｃに気づかれない可能性がある。したがって、ロボット１０は、次の通り、対象者Ｃに対してコミュニケーション対象であることを示すようにする。

制御部１４０は、ステップＳ１８で受信した特定情報に基づいて、対象者Ｃを特定する特定部として機能し、対象者Ｃの顔画像を抽出する（すなわち、対象者Ｃに関連する個人情報を取得する）ことで、その顔画像を表示パネル１３４に表示させる（ステップＳ１９）。顔画像は、静止画の実画像であっても良いし、ステレオカメラ１３１が撮像した動画データから抽出した、対象者Ｃの顔領域を追跡した動画であっても良い。また、制御部１４０は、対象者Ｃの実画像ではなく、実画像に加工を施した加工画像を生成して、その加工画像を表示パネル１３４に表示させても良い。加工画像についての詳細な説明は上述の通りである。なお、表示パネル１３４に表示させる画像は、一時的に、記憶部１４４に格納される。

制御部１４０は、ステップＳ１９の処理と連動して、対象者Ｃの方向に対してロボット１０を所定の距離だけさらに移動させても良い。この所定の距離は、ロボット１０と対象者Ｃとの距離よりも短い距離である。この移動は、制御部１４０が自動的に実行しても良いし、操作者が操作端末２０を介して遠隔操作をすることによりなされても良い。また、制御部１４０は、ステップＳ１９において、対象者Ｃに対してアピールするために、表示パネル１３４をさらに発光させるなどの処理を実行しても良い。

制御部１４０は、対象者Ｃがロボット１０に気づいたことを検出すると、コミュニケーションを開始する（ステップＳ２０）。ここで、制御部１４０は、例えば次のいずれかの状態を判定した場合に、対象者Ｃがロボット１０に気づいたことを検出する。
（ａ）対象者Ｃの視線がロボット１０の表示パネル１３４を見たことを、顔認証、顔検出等の技術を用いて、ステレオカメラ１３１の撮像データに基づいて制御部１４０が検出した場合
（ｂ）表示パネル１３４が対象者Ｃの顔画像を表示開始後に、対象者Ｃがロボット１０に近づいた距離又は速度が、所定の閾値以上であることを制御部１４０が検出した場合
（ｃ）表示パネル１３４がタッチパネルである場合に、対象者Ｃが表示パネル１３４に触れたことを制御部１４０が検出した場合
なお、（ｂ）の所定の閾値は、記憶部１４４に格納され、制御部１４０によって判定に用いられる。

なお、制御部１４０は、コミュニケーションを開始するときに、記憶部１４４に格納された音声データをスピーカ１３３から音声として出力する。例えば、スピーカ１３３からは、「何か御用でしょうか」等の音声が出力される。また、制御部１４０は、スピーカ１３３からの音声出力に代えて、又は併せて、記憶部１４４に格納された表示データを表示パネル１３４に表示させても良い。表示データは、例えば、対象者Ｃが情報を取得するためのホーム画面である。

対象者Ｃが音声を発した場合、その音声は操作端末２０に送信され、操作者が聞くことになる。操作者は、その音声に応じて、ロボット１０が対象者Ｃとコミュニケーションを取るための動作を、入力部２０５を介した遠隔操縦によりロボット１０に指示する。この動作は、例えば、スピーカ１３３から音声を発する、表示パネル１３４上の画面を変更する、アーム１２１やハンド１２２を動かす、等の動作である。また、操作者がスピーカ２０３に自身の音声を話すことにより、ロボット１０のスピーカ１３３からその音声を出力しても良い。この場合、対象者Ｃと操作者が、コミュニケーションシステム１によって通話することになる。

また、操作者は、遠隔操作により、ロボット１０のアーム１２１とハンド１２２を動作させて、ロボット１０の近傍にあるグッズを対象者Ｃに渡す動作を実行させても良い。

対象者Ｃは、コミュニケーションを取った後、コミュニケーションを終了する（ステップＳ２１）。ここで、コミュニケーションの終了としては、例えば次のいずれかの状態が想定される。
（ｄ）対象者Ｃがロボット１０から遠ざかった距離又は速度が、所定の閾値以上であることを制御部１４０が検出した場合
（ｅ）所定時間以上、対象者Ｃがロボット１０に話しかけない時間が継続した場合
（ｆ）表示パネル１３４がタッチパネルである場合に、所定時間以上、対象者Ｃが表示パネル１３４に触れない時間が継続した場合

操作端末２０の操作者は、ロボット１０と対象者Ｃとのコミュニケーションが終了したと判断した場合に、入力部２０５を介して、ロボット１０に対し、コミュニケーションの終了処理を実行させるよう、遠隔操作する（ステップＳ２２）。操作端末２０の通信部２０６は、終了処理の指示をロボット１０に送信する（ステップＳ２３）。

ロボット１０の通信部１４３は、終了処理の指示を受信する。制御部１４０は、スピーカ１３３からの音声出力を停止する、表示パネル１３４に表示された画面を初期画面（ステップＳ１９の前に表示されていた画面）にするといった終了処理を実行する（ステップＳ２４）。遅くともこの段階で、表示パネル１３４には、コミュニケーションをしていた対象者Ｃの実画像又は加工画像が表示されなくなる。

さらに、制御部１４０は、ステップＳ２４において、ステップＳ１９で使用するために記憶部１４４に格納された対象者Ｃの実画像又は加工画像を削除する、個人情報の保護処理を実行しても良い。また、制御部１４０は、記憶部１４４に一時的に格納されており、過去に対象者Ｃが撮像された撮像データを参照し、その撮像データを記憶部１４４からさらに削除しても良い。

また、以上に示した図６Ａ、６Ｂの処理について、以下のような変更をすることも可能である。

上述のステップＳ１１～Ｓ１３では、ロボット１０が操作端末２０からの遠隔操縦によって自身の移動又は回転を実行した。しかしながら、制御部１４０は、外部からの指示がない場合でも、自動的にロボット１０の移動又は回転を実行しても良い。例えば、制御部１４０は、数～１０秒に一度、移動ユニット駆動部１４２を制御し、ロボット１０を所定の距離だけ移動、又は所定の角度だけ回転させても良い。制御部１４０は、この動作を、ステップＳ１９以前の処理において実行することができる。また、ステレオカメラ１３１の撮像データ中において、人物がロボット１０から所定の閾値以内にいる場合、又は所定の過去の時間から現在までにかけて、ロボット１０に近づいた距離又は速度が所定の閾値以上である人物がいる場合には、制御部１４０は、この動作を停止し、ロボット１０を静止させても良い。

上述のステップＳ１４では、ロボット１０が、ステレオカメラ１３１が撮像した撮像データ中に対象者Ｃを検出した場合に、対象者Ｃまでの距離を算出した。しかしながら、ロボット１０と対象者Ｃまでの距離の算出は、操作端末２０側の制御部２０８が、ステレオカメラ１３１から取得した撮像データを用いて実行しても良い。なお、制御部２０８は、マイク１３２から取得した音声データのうち、対象者Ｃの音声データを抽出し、その音声データをさらに用いて、対象者との距離を算出しても良い。

上述のステップＳ１７では、操作端末２０の表示部２０２上に、対象者Ｃの候補である人物を示す情報が表示され、操作者はそのうちの一人の人物を入力部２０５で選択することにより、対象者Ｃを決定した。しかしながら、複数の人物が撮像データ中に存在する場合に、操作端末２０は、そのうちの特定の１又は複数の人物を対象者Ｃの候補として選択して、表示部２０２上に表示させても良い。例えば、制御部２０８は、撮像データ中に存在する複数の人物のうち、最も距離が近い人物、又はロボット１０から所定の閾値以内にいる人物の少なくともいずれかを、対象者Ｃの候補として選択しても良い。又は、制御部２０８は、撮像データが動画である場合、所定の過去の時間（例えば数～１０秒前）から現在までにかけて、ロボット１０に近づいた距離又は速度が所定の閾値以上である人物を対象者Ｃの候補として選択しても良い。この場合、ロボット１０に近づいてくる人物は、ロボット１０に興味を有して近づいてくると想定されるからである。

選択された人物は、表示部２０２上に強調して表示される。例えば、制御部２０８は、選択された人物全体又はその一部（例えば顔）を表示部２０２上で濃い枠で囲んだり、発光又は点滅させたりして表示させることができる。

操作者は、入力部２０５を操作することにより、制御部２０８が選択した人物を対象者Ｃとして決定することができる。また、制御部２０８が選択した人物を対象者Ｃとして決定しない場合には、その旨を、入力部２０５を操作することにより入力することもできる。この入力を受けて、制御部２０８は表示部２０２上の強調表示を停止し、ステレオカメラ１３１が撮像した撮像データ中の全ての人物を、ステップＳ１７と同様に表示する。そして、操作者は、入力部２０５を操作して、その中から一人を対象者Ｃとして選択する。なお、選択に用いられる所定の閾値は、記憶部２０７に格納されても良いし、操作者が設定しても良い。

また、ロボット１０の制御部１４０が、撮像データ中に存在する人物について、ロボットとの距離に基づいて、対象者Ｃの候補者となる所定の人物を判定しても良い。制御部１４０は、例えば、最も距離が近い人物、ロボット１０から所定の閾値以内にいる人物、所定の過去の時間から現在までにかけて、ロボット１０に近づいた距離又は速度が所定の閾値以上である人物の少なくともいずれかを満たす人物を判定しても良い。判定条件を満たす人物について、制御部１４０は、その人物の存在を強調して示す情報を撮像データにさらに付加し、操作端末２０に送信しても良い。又は、制御部１４０は、判定条件を満たす人物に限り、その人物領域を示す情報及び人物との距離の情報を生成し、撮像データと併せて操作端末２０に送信しても良い。

上述のステップＳ１９において、制御部１４０は、表示パネル１３４に対して、実画像又は加工画像とともに、対象者Ｃの位置情報を表示しても良い。対象者Ｃの位置情報は、ステレオカメラ１３１が撮像した撮像データから取得可能である。制御部１４０は、対象者Ｃの位置情報を、ロボット１０と対象者Ｃの位置関係を示す図面、テキストといった情報で表示させる。

また、ステップＳ１９において、顔画像（実画像又は加工画像）は、制御部１４０に代えて、操作端末２０の制御部２０８が生成し、ロボット１０に送信しても良い。通信部１４３は、顔画像を取得する取得部として機能する。制御部１４０は、表示パネル１３４に、その顔画像を表示させる。

ステップＳ２２、Ｓ２３の処理はなされずに、ロボット１０の制御部１４０が、（ｄ）～（ｆ）の状態を自動的に判定することにより、コミュニケーション終了を判定しても良い。（ｅ）、（ｆ）の所定時間の値は、記憶部１４４に格納され、制御部１４０によって判定に用いられる。コミュニケーション終了を判定した場合に、制御部１４０は、ステップＳ２４の処理を実行する。

また、ステップＳ２４において、制御部１４０は、対象者Ｃの情報を削除する旨の通知を、操作端末２０に出力しても良い。操作端末２０が、対象者Ｃの実画像又は加工画像、対象者Ｃが撮像された撮像データを記憶部２０７に一時的に格納している場合、制御部２０８は、その通知を受けて、対象者Ｃの実画像又は加工画像、又は対象者Ｃが撮像された撮像データのうち少なくともいずれかを記憶部２０７から削除しても良い。

ステップＳ１９で対象者Ｃの加工画像を生成した場合、ステップＳ２４において、加工画像は記憶部１４４から必ずしも削除されなくとも良い。個人情報の保護処理は、加工画像を生成する処理において既になされていると考えられるからである。

なお、ロボット１０は、ステレオカメラでなく、他の種類のカメラを撮像部として有しても良い。また、ロボット１０に設けられた撮像部に代えて、ロボット１０とは別の装置である撮像装置を設けても良い。この撮像装置は、ロボット１０周辺の人物を撮像し、その撮像データを操作端末２０に送信する。なお、撮像装置は、撮像データから、人物の少なくとも一部を人物領域として抽出し、撮像データと併せて、その人物領域を示す情報を操作端末２０に送信しても良い。また、撮像装置は、ロボット１０の周囲に存在する人物とロボット１０との距離に基づいて、撮像データから、対象者Ｃの候補となる人物の少なくとも一部を人物領域として抽出し、撮像データと併せて、その人物領域を示す情報を操作端末２０に送信しても良い。ただし、この抽出処理は、撮像装置から撮像データを出力されたロボット１０側で実行されても良い。この処理の詳細は、上述に記載の通りである。撮像装置又はロボット１０は、抽出処理がなされた撮像データを操作端末２０に送信し、操作端末２０は、送信された撮像データを用いて、上述の処理をする。

＜効果の説明＞
次に、本実施の形態にかかるコミュニケーションシステムの効果について説明する。

実施の形態１において、ロボット１０は、ステレオカメラ１３１が撮像した周囲に存在する人物の撮像データを操作端末２０に送信する。操作端末２０は、操作者の操作に基づいて、対象者Ｃを周囲に存在する人物の中から特定する特定情報を送信する。制御部１４０は、特定情報が特定する対象者Ｃに関連する個人情報である実画像又は加工画像を表示パネル１３４に表示させる。このようにして、ロボット１０は、対象者Ｃに対して対象者Ｃに関する情報を視認させるため、対象者Ｃに対してコミュニケーション対象であることを効果的に示すことができる。ロボット１０は、イベント等、不特定多数の人物が存在し、人物の個人情報が事前に与えられていない場所に設けられていても、人物の顔画像を撮像することで、人物とコミュニケーションを取ることができる。

また、制御部１４０は、撮像データから、人物の少なくとも一部を人物領域として抽出し、通信部１４３は、撮像データと併せて、その人物領域を示す情報を操作端末２０に送信することができる。これにより、操作者は、人物領域を示す情報によって、表示部２０２上に表示された人物の中から対象者Ｃを選択する処理がしやすくなる。

また、制御部１４０は、周囲に存在する人物とロボット１０との距離に基づいて、撮像データから、対象者Ｃの候補となる人物の少なくとも一部を人物領域として抽出し、通信部１４３は、撮像データと併せて、その人物領域を示す情報を操作端末２０に送信することができる。この処理によっても、操作者は、対象者Ｃを選択する処理がしやすくなる。また、制御部１４０が、ロボット１０とコミュニケーションを取ろうとしていると考えられる人物を、ロボット１０との距離を考慮して予め選択している。そのため、操作者は、コミュニケーションを取ろうとしている人物を、より精度良く対象者Ｃとして選択することができる。

制御部１４０は、ステップＳ１９において、実画像を用いて加工画像を生成し、その加工画像を表示パネル１３４で表示しても良い。また、制御部１４０は、ステップＳ２４において、ステップＳ１９で使用するために記憶部１４４に格納された対象者Ｃの実画像又は加工画像を削除しても良い。このように、制御部１４０は、個人情報である顔画像を保護する保護処理がセットで実行されるように、顔画像を表示パネル１３４に表示させることができる。そのため、ロボット１０の表示データに基づいて第三者が個人を特定しにくくなり、対象者Ｃがロボット１０と安心してコミュニケーションを取ることができる。

なお、制御部１４０が加工画像を生成して表示パネル１３４に表示させることにより、ロボット１０が実画像を表示パネル１３４にそのまま表示した場合と比較して、第三者に個人を特定される可能性をさらに削減できる。また、制御部１４０が対象者Ｃに関する画像を記憶部１４４から削除することにより、個人情報が適切に管理されているという安心感を対象者Ｃに対して与えられるため、対象者Ｃは、ロボット１０と安心してコミュニケーションを取ることができる。

また、制御部１４０は、表示パネル１３４に対して対象者Ｃの位置情報を表示させることにより、対象者Ｃに対してコミュニケーション対象であることを一層効果的に示すことができる。

コミュニケーションシステム１における操作端末２０は、送信された撮像データを表示部２０２で表示し、通信部２０６は、操作者によって指定された対象者Ｃに係る特定情報をロボット１０に送信する。このようにして、操作端末２０の操作者は、ロボット１０の対象者Ｃを決定することができる。

また、コミュニケーションシステム１におけるロボット１０又は撮像装置は、撮像データから人物領域を抽出し、操作端末２０の表示部２０２は、撮像データ及び人物領域を示す情報を操作者に表示しても良い。又は、操作端末２０が、撮像データから人物領域を抽出し、表示部２０２が、撮像データ及び人物領域を示す情報を操作者に表示しても良い。これにより、操作者は、人物領域を示す情報によって、表示部２０２上に表示された人物の中から対象者Ｃを選択する処理がしやすくなる。

ロボット１０又は撮像装置は、撮像データから対象者Ｃに関する人物領域を抽出し、操作端末２０の表示部２０２は、撮像データ及び人物領域を示す情報を操作者に表示しても良い。又は、操作端末２０が、撮像データから対象者Ｃに関する人物領域を抽出し、表示部２０２が、撮像データ及び人物領域を示す情報を操作者に表示しても良い。この処理によっても、操作者は、対象者Ｃを選択する処理がしやすくなる。また、操作者は、コミュニケーションを取ろうとしている人物を、より精度良く対象者Ｃとして選択することができる。

実施の形態２
実施の形態１では、ロボット１０及び操作端末２０を含むコミュニケーションシステム１を説明したが、対象者Ｃとのコミュニケーションは、ロボット１０単独で行うこともできる。実施の形態２では、この内容について説明する。なお、以降では、実施の形態１と異なる構成及び処理内容について説明し、実施の形態１と共通する構成及び処理内容については、適宜説明を省略する。

実施の形態２におけるロボット１０の外部構成については、図２に示した通りである。また、その内部の構成要素については、図７に示す通りである。図７に示す通り、このロボット１０は、外部との情報の送受信をするための通信部１４３を有さない。制御部１４０は、自動的にロボット１０の各部を制御して、ロボット１０の動作を実行させる。

例えば、制御部１４０は、ステレオカメラ１３１で取得した撮像データ及び距離の情報、マイク１３２で取得した音声データに基づいて、人物を検出したり、対象者Ｃを決定したりする。この撮像データ、音声データ等は、適宜記憶部１４４に格納される。また、制御部１４０は、記憶部１４４から移動や動作のロジックを読み込むことにより、アーム駆動部１４１、移動ユニット駆動部１４２をそれぞれ制御することで、ロボット１０の移動や動作を制御する。一例として、制御部１４０は、近くに人物を検出した場合に、その人物を避けるように移動したり、その人物の方向に頭部１１３が向いたりするように移動ユニット１０１を制御しても良い。また、制御部１４０は、その人物の動作に応じて、アーム１２１とハンド１２２を連動して動作させ、その人物に物を渡したり、握手等のコミュニケーションをしたりするように制御しても良い。例えば、表示パネル１３４がタッチパネルである場合に、対象者Ｃからタッチパネルを介した指示入力を受け付けた場合に、制御部１４０はそのような動作を実行しても良い。

さらに、制御部１４０は、記憶部１４４から音声データを読みだすことにより、スピーカ１３３から、状況に応じたコミュニケーションに関する音声を出力しても良い。また、制御部１４０は、表示パネル１３４に表示される顔画像、文字情報や絵の情報を、自身で生成するか、記憶部１４４から読み込む。

制御部１４０は、人物領域を示す情報及び算出した人物との距離に基づいて、検出した１又は複数の人物の中から、ロボット１０がコミュニケーションを取る対象者Ｃがいるか否かを判定する。例えば、制御部１４０は、撮像データ中に存在する複数の人物のうち、最も距離が近い人物、又はロボット１０から所定の閾値以内にいる人物を、対象者Ｃとして選択しても良い。又は、制御部２０８は、撮像データが動画である場合、所定の過去の時間（例えば数～１０秒前）から現在までにかけて、ロボット１０に近づいた距離又は速度が所定の閾値以上である人物を対象者Ｃの候補として選択しても良い。この場合、ロボット１０に近づいてくる人物は、ロボット１０に興味を有して近づいてくると想定されるからである。以上の条件を満たさない場合には、制御部１４０は、ロボット１０がコミュニケーションを取る対象者Ｃがいないと判定する。

なお、ロボット１０の上記構成は一例であり、本実施の形態にかかるコミュニケーションシステム１において、ロボット１０の構成は上記構成に限定されることはない。

＜ロボットの動作の説明＞
次に、本実施の形態にかかるロボットの動作について、図８に示すフローチャートを用いて説明する。

まず、ロボット１０の制御部１４０は、記憶部１４４から移動のロジックを読み込むことにより、ロボット１０を自律的に移動させる（ステップＳ３１）。

制御部１４０は、ステレオカメラ１３１が撮像した撮像データ中に人物を検出した場合、この人物が、コミュニケーションを取る対象者Ｃとなるか否かを判定する（ステップＳ３２）。これにより、制御部１４０は、対象者Ｃが存在するか否かを判定する。上述の通り、ロボット１０は、人物領域を示す情報及び算出した人物との距離に基づいて、対象者Ｃを判定することができる。

対象者Ｃが存在しない場合（ステップＳ３２のＮｏ）、制御部１４０は、ステップＳ３１に戻って処理を実行する。一方、対象者Ｃが存在する場合（ステップＳ３２のＹｅｓ）、制御部１４０は、対象者Ｃが撮像された撮像データを用いて、対象者Ｃの顔画像を抽出する（すなわち、対象者Ｃに関連する個人情報を取得する）。そして、制御部１４０は、その顔画像を表示パネル１３４に表示させる（ステップＳ３３）。この顔画像は、上述の通り、実画像であっても良いし、加工画像であっても良い。

制御部１４０は、対象者Ｃがロボット１０に気づいたことを検出すると、コミュニケーションを開始する（ステップＳ３４）。この検出の詳細については、実施の形態１に記載の通りである。コミュニケーション開始後、制御部１４０は、スピーカ１３３から取得される対象者Ｃの音声、ステレオカメラ１３１が撮像した対象者Ｃの動作等に基づいて、動作を実行したり、マイク１３２で音声を出力したりする。

制御部１４０は、コミュニケーションを開始して所定の時間が経過後、対象者Ｃとのコミュニケーションが終了したか否かを判定する（ステップＳ３５）。この検出の詳細についても、実施の形態１に記載の通りである。

コミュニケーションが終了していない場合（ステップＳ３５のＮｏ）、制御部１４０は、コミュニケーションを続行し、所定の時間が経過後、再度ステップＳ３５の判定処理を行う。一方、コミュニケーションが終了した場合（ステップＳ３５のＹｅｓ）、制御部１４０は、スピーカ１３３からの音声出力を停止する、表示パネル１３４に表示された画面を初期画面にするといった終了処理を実行する（ステップＳ３６）。さらに、制御部１４０は、記憶部１４４に格納された対象者Ｃの実画像、加工画像、撮像データ等を削除する、個人情報の保護処理を実行しても良い。

なお、ロボット１０は、ステレオカメラでなく、他の種類のカメラを撮像部として有しても良い。また、ロボット１０に設けられた撮像部に代えて、ロボット１０とは別の装置である撮像装置を設けても良い。この撮像装置は、ロボット１０周辺の人物を撮像し、その撮像データをロボット１０に送信する。なお、撮像データから、人物の少なくとも一部を人物領域として抽出する処理又は対象者Ｃの候補となる人物の少なくとも一部を人物領域として抽出する処理は、ロボット１０と撮像装置のいずれが実行しても良い。

＜効果の説明＞
次に、本実施の形態にかかるロボット１０の効果について説明する。

実施の形態２でも、実施の形態１と同様、ロボット１０の制御部１４０は、個人情報である顔画像を保護する保護処理がセットで実行されるように、顔画像を表示パネル１３４に表示させることができる。これにより、ロボット１０は、対象者Ｃに対してコミュニケーション対象であることを効果的に示すことができる。

さらに、ロボット１０が顔画像を撮像するステレオカメラ１３１を有することで、ロボット１０単独で、顔画像を用いて、対象者Ｃに対してコミュニケーション対象であることを効果的に示すことができる。

また、制御部１４０は、ロボット１０の周囲に存在する人物とロボット１０との距離に基づいて、コミュニケーション対象者を特定することができる。これにより、ロボット１０は、ロボット１０に対してコミュニケーションを取ろうとしている対象者Ｃを精度良く判定することができる。その他の効果については、実施の形態１で記載した効果と同様のことがいえる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態１、２において、ロボット１０又は操作端末２０は、検出された撮像データ中の人物の中で、所定の条件を満たす人物を、優先して対象者Ｃの候補者として選択しても良い。所定の条件は、例えば、子供であっても良い。ある人物が子供か否かは、人物の顔画像、人物の服装、人物の身長等の少なくともいずれかに基づいて、ロボット１０又は操作端末２０が判定することができる。または、車椅子に搭乗した人物等、何らかの介助が必要と考えられる人物も、同様にして判定することができる。ロボット１０又は操作端末２０は、判定された人物を、優先して対象者Ｃの候補者として表示部２０２に表示させるよう、実施の形態１で記載した通り、表示部２０２上に強調して表示されるように制御しても良い。

実施の形態１において、管理サーバ３０は、コミュニケーションシステム１に必ずしも設けられなくても良い。また、別の端末がコミュニケーションシステム１に設けられても良い。別の端末として、例えば、スタッフがロボット１０の近傍でロボット１０の状態をチェックするためのタブレット端末が挙げられる。

表示パネル１３４に表示される対象者Ｃの画像として、対象者Ｃの正面以外の画像（例えば後ろ姿）を用いても良い。例えば、制御部１４０は、対象者Ｃが特定された場合に、記憶部１４４に格納された過去の撮像データ（例えば動画データ）を参照し、過去の撮像データ中の対象者Ｃの正面以外の画像を特定して抽出する。これにより、制御部１４０は、対象者Ｃの正面以外の画像を表示させることができる。この画像は、実施の形態に記載の通り、加工がなされても良い。

表示パネル１３４に表示される対象者Ｃの個人情報は、実施の形態で示したもの以外のバリエーションも考えられる。例えば、コミュニケーションシステム１内に、人物の個人情報を取得可能なコンピュータを設け、ロボット１０は、そのコンピュータと連動した処理をすることにより、人物の個人情報を取得しても良い。

例えば、ロボット１０が設けられるイベント会場の入口に、イベント参加者の顔画像を撮像するカメラと、そのカメラと接続され、撮像されたイベント参加者の顔画像と、その参加者の受付番号とを関連付けてイベント参加者に提示する受付コンピュータを設けても良い。受付コンピュータは、イベント参加者の顔写真と、その参加者の受付番号とを紐づけて、自身の記憶部に記憶する。

操作端末２０がステップＳ１７で対象者Ｃを決定した場合に、操作端末２０は、対象者Ｃの顔画像の情報を含む受付番号の問い合わせを受付コンピュータに送信する。受付コンピュータは、問い合わせに応じて、受信した顔画像と紐づけられた受付番号を、個人情報として操作端末２０に送信する。操作端末２０は、その受付番号を、ステップＳ１８においてロボット１０に送信する。ロボット１０は、その受付番号を、ステップＳ１９で表示する。受付番号の情報では、第三者から対象者Ｃを特定することが困難であるため、受付番号を表示することは、「個人情報を保護する保護処理」に該当する。これにより、ロボットは、対象者Ｃに対してコミュニケーション対象であることを効果的に示すことができるほか、個人情報を保護することもできる。ただし、ロボット１０は、受付番号に加えて、対象者Ｃの実際の顔画像又は加工画像を表示パネル１３４に表示しても良い。

なお、上述の例では、操作端末２０が受付コンピュータに問い合わせを送信しているが、ロボット１０がステップＳ１８によって対象者Ｃの特定情報を取得した後に、対象者Ｃの顔画像の情報を含む問い合わせを受付コンピュータに送信しても良い。受付コンピュータは、問い合わせに応じて受付番号をロボット１０に送信し、ロボット１０は、その受付番号を、ステップＳ１９で表示する。

また、受付番号に代えて、イベント参加者の仮名、イニシャル等、イベント参加者が自身を認識可能な他の種類の情報が用いられても良い。ロボット１０は、そのような情報を文字情報として単独で表示パネル１３４に表示させても良いし、対象者Ｃの実際の顔画像又は加工画像と併せて表示させても良い。なお、以上に示した受付番号等の表示パネル１３４上での表示処理は、実施の形態２に示されたロボット１０においても、ロボット１０が対象者Ｃを決定した場合に、顔画像の情報を含む問い合わせを受付コンピュータに送信し、受付番号等の個人情報を受付コンピュータから受信することで、同様に実現される。

図９は、以上に示した各実施の形態の処理が実行されるロボット１０、操作端末２０及び管理サーバ３０を構成する情報処理装置のハードウェア構成例を示すブロック図である。図９を参照すると、この情報処理装置９０は、信号処理回路９１、Ｉ／Ｏ部（Input/Output）９２、プロセッサ９３及びメモリ９４を含む。

信号処理回路９１は、プロセッサ９３の制御に応じて、信号を処理し、出力するための任意の回路である。Ｉ／Ｏ部９２は、情報処理装置９０の遠隔装置と情報の入出力を実行するハードウェアインタフェースである。

プロセッサ９３は、メモリ９４からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態において説明された装置の処理を行う。プロセッサ９３の一例として、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Demand-Side Platform）、ＡＳＩＣ（Application Specific Integrated Circuit）のうち一つを用いてもよいし、これらのうちの複数が用いられてもよい。プロセッサ９３がメモリ９４からソフトウェアを読み出して実行し、信号処理回路９１を制御することで、信号処理回路９１は、ロボット１０、操作端末２０及び管理サーバ３０のそれぞれにおいて、メモリを除く各部の機能を実行する。

メモリ９４は、揮発性メモリや不揮発性メモリ、またはそれらの組み合わせで構成される。メモリ９４は、１個に限られず、複数設けられてもよい。なお、揮発性メモリは、例えば、ＤＲＡＭ (Dynamic Random Access Memory)、ＳＲＡＭ (Static Random Access Memory)等のＲＡＭ (Random Access Memory)であってもよい。不揮発性メモリは、例えば、ＰＲＯＭ (Programmable Random Only Memory)、ＥＰＲＯＭ (Erasable Programmable Read Only Memory) 等のＲＯＭ (Random Only Memory)や、ＳＳＤ（Solid State Drive）であってもよい。

なお、メモリ９４は、プロセッサ９３の外部に設けられるものに加えて、プロセッサ９３に内蔵されているものを含んでもよい。また、メモリ９４は、プロセッサ９３を構成するプロセッサから離れて配置されたストレージを含んでもよい。この場合、プロセッサは、例えばＩ／Ｏ部９２を介してメモリ９４にアクセスすることができる。

図９の例では、メモリ９４は、ソフトウェアモジュール群を格納するために使用される。プロセッサ９３は、これらのソフトウェアモジュール群をメモリ９４から読み出して実行することで、上述の実施形態において説明された処理を行うことができる。

以上に説明したように、上述の実施形態における各装置が有する１又は複数のプロセッサは、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。この処理により、各実施の形態に記載された信号処理方法が実現できる。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、光学記憶媒体（例えばＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）といった光ディスク）、半導体メモリ（例えば、マスクＲＯＭ（Read Only Memory）、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本発明を説明したが、本発明は上記によって限定されるものではない。本発明の構成や詳細には、開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ コミュニケーションシステム
１０ ロボット
１０１ 移動ユニット
１０２ 本体部
１１１ 胴部
１１２ 接続部
１１３ 頭部
１２１ アーム
１２２ ハンド
１３１ ステレオカメラ
１３２ マイク
１３３ スピーカ
１３４ 表示パネル
１４０ 制御部
１４１ アーム駆動部
１４２ 移動ユニット駆動部
１４３ 通信部
１４４ 記憶部
２０ 操作端末
２０１ カメラ
２０２ 表示部
２０３ スピーカ
２０４ マイク
２０５ 入力部
２０６ 通信部
２０７ 記憶部
２０８ 制御部
３０ 管理サーバ
３０１ 通信部
３０２ 通信制御部
３０３ 記憶部

Claims (16)

1. 周囲に存在する人物の中から、コミュニケーションの対象となるコミュニケーション対象者を特定する特定部と、
   前記特定部が特定した前記コミュニケーション対象者に関連する個人情報を取得する取得部と、
   前記個人情報を保護する保護処理がセットで実行されるように、前記個人情報を表示部に表示させる表示処理部と、を備える
   ロボット。
2. 前記個人情報は、前記コミュニケーション対象者の顔画像を含み、
   前記保護処理は、前記顔画像に加工を施した加工画像を作成する処理であり、前記表示処理部は前記加工画像を前記表示部に表示させる、
   請求項１に記載のロボット。
3. 前記個人情報は、前記コミュニケーション対象者の顔画像を含み、
   前記表示処理部は、前記顔画像を前記表示部に表示させた後、前記保護処理として、前記顔画像のデータを前記ロボットから削除させる処理を実行する、
   請求項１に記載のロボット。
4. 前記取得部は、前記顔画像を撮像する撮像部を含む、
   請求項２又は３に記載のロボット。
5. 前記特定部は、前記コミュニケーション対象者の位置情報をさらに特定し、
   前記表示処理部は、前記個人情報とともに、前記位置情報を前記表示部に表示させる、
   請求項１乃至４のいずれか１項に記載のロボット。
6. 前記特定部は、前記周囲に存在する人物と前記ロボットとの距離に基づいて、前記コミュニケーション対象者を特定する、
   請求項１乃至５のいずれか１項に記載のロボット。
7. 周囲に存在する人物を撮像する撮像部と、
   前記撮像部が撮像した撮像データを遠隔装置に送信する送信部と、
   前記遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を前記周囲に存在する人物の中から特定する特定情報を受信する受信部と、
   前記特定情報が特定する前記コミュニケーション対象者に関連する個人情報を表示部に表示させる表示処理部と、を備える
   ロボット。
8. 前記撮像データから、人物の少なくとも一部を人物領域として抽出する抽出部をさらに備え、
   前記送信部は、前記撮像データと併せて、前記人物領域を示す情報を前記遠隔装置に送信する、
   請求項７に記載のロボット。
9. 前記周囲に存在する人物と前記ロボットとの距離に基づいて、前記撮像データから、前記コミュニケーション対象者の候補となる人物の少なくとも一部を人物領域として抽出する抽出部をさらに備え、
   前記送信部は、前記撮像データと併せて、前記人物領域を示す情報を前記遠隔装置に送信する、
   請求項７に記載のロボット。
10. ロボットと、
    前記ロボットを遠隔操作する遠隔装置と、
    前記ロボットの周囲に存在する人物を撮像して撮像データを取得する撮像装置と、
    を備え、
    前記ロボットは、
    前記遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を前記周囲に存在する人物の中から特定する特定情報を受信する受信部と、
    前記受信部が特定した前記コミュニケーション対象者に関連する個人情報を取得する取得部と、
    前記ロボットの表示部を介して前記個人情報を表示させる表示処理部と、を有し、
    前記遠隔装置は、
    送信された前記撮像データを操作者に表示する表示部と、
    前記操作者によって指定された前記コミュニケーション対象者に係る前記特定情報を前記ロボットに送信する特定情報送信部と、を有する
    コミュニケーションシステム。
11. 前記撮像装置又は前記ロボットは、前記撮像データから、人物の少なくとも一部を人物領域として抽出し、前記人物領域を示す情報が前記撮像データと併せて前記遠隔装置に送信され、前記遠隔装置の前記表示部は、前記撮像データ及び前記人物領域を示すデータを前記操作者に表示するか、又は、
    前記遠隔装置は、前記撮像データから、人物の少なくとも一部を人物領域として抽出し、前記遠隔装置の前記表示部は、前記撮像データ及び前記人物領域を示す情報を前記操作者に表示する、
    請求項１０に記載のコミュニケーションシステム。
12. 前記撮像装置又は前記ロボットは、前記周囲に存在する人物と前記ロボットとの距離に基づいて、前記撮像データから、前記コミュニケーション対象者の候補となる人物の少なくとも一部を人物領域として抽出し、前記人物領域を示す情報が前記撮像データと併せて前記遠隔装置に送信され、前記遠隔装置の前記表示部は、前記撮像データ及び前記人物領域を示す情報を前記操作者に表示するか、又は、
    前記遠隔装置は、前記周囲に存在する人物と前記ロボットとの距離に基づいて、前記撮像データから、前記コミュニケーション対象者の候補となる人物の少なくとも一部を人物領域として抽出し、前記遠隔装置の前記表示部は、前記撮像データ及び前記人物領域を示す情報を前記操作者に表示する、
    請求項１０に記載のコミュニケーションシステム。
13. 周囲に存在する人物の中から、コミュニケーションの対象となるコミュニケーション対象者を特定する特定ステップと、
    特定した前記コミュニケーション対象者に関連する個人情報を取得する取得ステップと、
    前記個人情報を保護する保護処理がセットで実行されるように、前記個人情報を表示部に表示させる表示処理ステップと、
    をロボットが実行するコミュニケーション方法。
14. 周囲に存在する人物を撮像する撮像ステップと、
    撮像した撮像データを遠隔装置に送信する送信ステップと、
    前記遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を前記周囲に存在する人物の中から特定する特定情報を受信する受信ステップと、
    特定した前記コミュニケーション対象者に関連する個人情報を表示部に表示させる表示処理ステップと、
    をロボットが実行するコミュニケーション方法。
15. 周囲に存在する人物の中から、コミュニケーションの対象となるコミュニケーション対象者を特定する特定ステップと、
    特定した前記コミュニケーション対象者に関連する個人情報を取得する取得ステップと、
    前記個人情報を保護する保護処理がセットで実行されるように、前記個人情報を表示部に表示させる表示処理ステップと、
    をロボットに実行させるプログラム。
16. 周囲に存在する人物を撮像する撮像ステップと、
    撮像した撮像データを遠隔装置に送信する送信ステップと、
    前記遠隔装置から、コミュニケーションの対象となるコミュニケーション対象者を前記周囲に存在する人物の中から特定する特定情報を受信する受信ステップと、
    特定した前記コミュニケーション対象者に関連する個人情報を表示部に表示させる表示処理ステップと、
    をロボットに実行させるプログラム。

Images