JP2018051669A - ロボットシステム及びプログラム - Google Patents

Abstract

【課題】コミュニケーションロボットのデザインを維持しつつ視野角を広げることが可能なロボットシステム及びプログラムを提供する。【解決手段】ロボット制御システム１００は、視野方向を回転可能なコミュニケーションロボット４のカメラ５２と、カメラ５２より広域な視野角を有する広視野カメラ３と、広視野カメラ３により撮像した画像から動体を検出する動体検出部１３と、動体検出部１３により検出した動体が入る回動方向及び回動角度を、記憶部２０に記憶されたカメラ５２の視野角を参照して算出し、エリアを特定するエリア特定部１６と、エリア特定部１６により特定したデータに基づいて、カメラ５２の視野方向を制御する方向制御部４５と、を備える。【選択図】図１

Description

本発明は、ロボットシステム及びプログラムに関する。

従来、人と違和感なくコミュニケーションをするためのコミュニケーションロボットが開示されている（例えば、特許文献１）。

特開２００４−４２１５１号公報

一般的に、コミュニケーションロボットは、眼の位置に有するカメラを用いて人を特定する。このカメラは、コミュニケーションロボットのデザインを維持するために、通常は、視野角の狭いものが使用される。
視野角が狭いカメラを使用すると、コミュニケーションロボットのデザインを維持できるが、視野角の外側を撮影できないため、視野角の外側にいる人を把握できない。

そこで、本発明は、コミュニケーションロボットのデザインを維持しつつ視野角を広げることが可能なロボットシステム及びプログラムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、視野方向を回転可能な第１撮像手段と、前記第１撮像手段より広域な視野角を有する第２撮像手段と、前記第２撮像手段により撮像した画像から動体を検出する動体検出手段と、前記動体検出手段により検出した前記動体が前記第１撮像手段の視野角に入る回動方向及び回動角度を、記憶部に格納された前記第１撮像手段の視野角を参照して特定する方向特定手段と、前記方向特定手段により特定したデータに基づき、前記視野方向を制御する方向制御手段と、を備えるロボットシステムである。
第２の発明は、第１の発明のロボットシステムにおいて、前記動体検出手段により検出した前記動体の大きさを判断し、検出した前記動体に対して優先度を付与する優先付け手段を備え、前記方向特定手段は、前記優先付け手段による優先度に基づき、高い優先度の前記動体の位置を特定すること、を特徴とするロボットシステムである。
第３の発明は、第２の発明のロボットシステムにおいて、前記優先付け手段は、前記動体検出手段により検出した複数の前記動体の密度が高いほど、高い優先度を付与すること、を特徴とするロボットシステムである。
第４の発明は、第２の発明又は第３の発明のロボットシステムにおいて、前記優先付け手段は、前記動体検出手段により検出した前記動体の前記第２撮像手段との距離が近いほど、高い優先度を付与すること、を特徴とするロボットシステムである。
第５の発明は、第２の発明から第４の発明までのいずれかのロボットシステムにおいて、前記優先付け手段は、前記動体検出手段により検出した前記動体の向いている方向が、前記第２撮像手段の方向を向いているほど、高い優先度を付与すること、を特徴とするロボットシステムである。
第６の発明は、第１の発明から第５の発明までのいずれかのロボットシステムにおいて、前記第２撮像手段の視野角を、前記第１撮像手段の視野角より小さい複数のエリアに分割し、画像の中心からの角度を、各エリアの位置として記憶するエリア記憶部を備え、前記方向特定手段は、前記動体検出手段により検出した前記動体の位置を含むエリアを、前記エリア記憶部を参照して特定し、前記方向制御手段は、前記方向特定手段により特定したエリアの角度に基づき、前記視野方向を制御すること、を特徴とするロボットシステムである。
第７の発明は、第１の発明から第６の発明までのいずれかのロボットシステムにおいて、前記第２撮像手段から時系列に連続した複数の画像を取得する画像取得手段を備え、前記動体検出手段は、前記画像取得手段により取得した前記複数の画像から動体を検出すること、を特徴とするロボットシステムである。
第８の発明は、第１の発明から第７の発明までのいずれかのロボットシステムにおいて、
前記第１撮像手段が取得した画像から対象者を検出する対象者検出手段を備え、前記方向制御手段は、前記対象者検出手段により対象者を検出できなかった場合に、前記方向特定手段により特定したデータに基づき、前記視野方向を制御すること、を特徴とするロボットシステムである。
第９の発明は、第１の発明から第８の発明までのいずれかのロボットシステムとしてコンピュータを機能させるためのプログラムである。

本発明によれば、ロボットのデザインを維持しつつ視野角を広げることが可能なロボットシステム及びプログラムを提供することができる。

本実施形態に係るロボット制御システムの運用に適する場面例を示す図である。 本実施形態に係るロボット制御システムの機能ブロック図である。 本実施形態に係るサーバのエリア記憶部を説明するための図である。 本実施形態に係るロボット制御システムでのロボット制御処理を示すフローチャートである。 本実施形態に係るサーバでの広視野画像処理を示すフローチャートである。 本実施形態に係るサーバでの広視野画像処理を説明するための図である。 変形形態に係るロボット制御システムの構成例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜ロボット制御システム１００＞
図１は、本実施形態に係るロボット制御システム１００の運用に適する場面例を示す図である。
ロボット制御システム１００（ロボットシステム）は、広視野カメラ３（第２撮像手段）と、コミュニケーションロボット４とを用いたシステムである。広視野カメラ３及びコミュニケーションロボット４は、例えば、展示場内、店舗内等のスペースＳに配置されている。広視野カメラ３は、スペースＳの壁Ｗに固定して設置される。また、コミュニケーションロボット４は、広視野カメラ３の略垂直位置に、スペースＳの壁Ｗを背にするように配置される。
コミュニケーションロボット４は、例えば、高さが１ｍ程度の人型のロボットである。
そして、コミュニケーションロボット４は、スペースＳにいるユーザＰ（図１の例では、ユーザＰ１〜Ｐ４）のうち、声掛けや案内等のコミュニケーションをとりたいユーザＰの方向を向くように、頭部４ａを制御して、ユーザＰとの間でコミュニケーションを行う。

次に、ロボット制御システム１００の全体構成について説明する。
図２は、本実施形態に係るロボット制御システム１００の機能ブロック図である。
図２に示すロボット制御システム１００は、サーバ１と、広視野カメラ３と、コミュニケーションロボット４とを備える。サーバ１と、広視野カメラ３と、コミュニケーションロボット４とは、通信ネットワークＮを介して通信可能に接続されている。
通信ネットワークＮは、例えば、インターネット回線や携帯端末通信網等である。また、通信ネットワークＮは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に基づく短距離無線通信等を一部に用いるものであってもよい。

＜サーバ１＞
サーバ１は、広視野カメラ３が取得した画像を分析する。そして、サーバ１は、画像分析結果として得たユーザＰの位置に関する情報を、コミュニケーションロボット４に対して送信する。この情報を得たコミュニケーションロボット４は、コミュニケーションロボット４の頭部４ａを動かして、ユーザＰを撮影することができる。
サーバ１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
制御部１０は、サーバ１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部１０は、依頼データ受信部１１と、画像受信部１２（画像取得手段）と、動体検出部１３（動体検出手段）と、人検出部１４（動体検出手段）と、優先付け部１５（優先付け手段）と、エリア特定部１６（方向特定手段）と、通知部１７とを備える。
依頼データ受信部１１は、コミュニケーションロボット４から依頼データを受信する。
画像受信部１２は、広視野カメラ３が撮影した画像を取得する。画像受信部１２は、例えば、時系列に連続した複数の画像を取得する。
動体検出部１３は、画像受信部１２が取得した画像に基づいて、画像に含まれる動体を検出する。
人検出部１４は、動体検出部１３が検出した動体の大きさを判断することで、ユーザＰを検出する。ここで検出するユーザＰは、複数であってよい。人検出部１４は、例えば、動体の大きさが閾値の範囲内であるか否かによって、ユーザＰを検出する。

優先付け部１５は、人検出部１４が検出したユーザＰに対して、優先付けをする。
優先付け部１５は、人検出部１４が判断した検出した動体の大きさに関する判断結果を用いて、優先付けを行ってもよい。優先付け部１５は、複数のユーザＰの密度に基づいて、密度の高いユーザＰほど高い優先度になるように優先付けを行ってもよい。また、優先付け部１５は、広視野カメラ３との間の距離に基づいて、距離が近いユーザＰほど高い優先度になるように優先付けを行ってもよい。さらに、優先付け部１５は、広視野カメラ３の方向を向いているか否かに基づき、広視野カメラ３の方向を向いているユーザＰほど高い優先度になるように優先付けを行ってもよい。
エリア特定部１６は、優先付け部１５が優先付けをしたユーザＰのうち、高い優先度が付与されたユーザＰのエリアを特定する。
通知部１７は、エリア特定部１６が特定したエリアに関するデータを、依頼データに対する結果データとして、コミュニケーションロボット４に対して送信する。

記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、エリア記憶部２２とを備える。
プログラム記憶部２１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した制御部１０の各種機能を実行するためのプログラム２１ａを記憶している。
エリア記憶部２２は、広視野カメラ３から取得した画像を複数のエリアに分けて、各エリアの角度を、エリア名に対応付けて記憶する記憶領域である。エリア記憶部２２に記憶する情報の決定方法については、後述する。
通信インタフェース部２９は、広視野カメラ３や、コミュニケーションロボット４との間の通信を行うためのインタフェースである。

＜広視野カメラ３＞
広視野カメラ３は、視野角が広いカメラであり、例えば、１２０度や、１８０度等の視野角を有する。広視野カメラ３は、その他、３６０度を撮影可能な全方位カメラ等であってもよい。
広視野カメラ３は、サーバ１からの指示に基づいて撮像し、画像を取得する。また、広視野カメラ３は、常に画像を取得していてもよい。

＜コミュニケーションロボット４＞
コミュニケーションロボット４は、制御部４０と、記憶部５０と、カメラ５２（第１撮像手段）と、スピーカ５３と、モータ部５４と、通信インタフェース部５９とを備える。
制御部４０は、コミュニケーションロボット４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部４０は、画像取得部４１と、対象者検出部４２（対象者検出手段）と、依頼データ送信部４３と、結果データ受信部４４と、方向制御部４５（方向制御手段）と、コミュニケーション処理部４８とを備える。
画像取得部４１は、カメラ５２が撮影した画像を取得する。
対象者検出部４２は、画像取得部４１が取得した画像を分析して、対象者であるユーザＰを検出する。ここで、対象者検出部４２は、ユーザＰを、人検出や顔検出等の技術によって判断する。
依頼データ送信部４３は、対象者検出部４２による検出結果に応じて、依頼データをサーバ１に対して送信する。具体的には、対象者検出部４２による検出結果が、対象者がいないとの検出結果であった場合に、依頼データ送信部４３は、依頼データを送信する。

結果データ受信部４４は、サーバ１から依頼データに対する結果データを受信する。結果データは、サーバ１が送信したエリア特定部１６が特定したエリアに関するデータである。
方向制御部４５は、結果データ受信部４４が受信した結果データに基づいて、頭部モータ５４ａを制御して、コミュニケーションロボット４の頭部４ａを動かす。結果として、方向制御部４５は、カメラ５２の視野方向を制御する。
コミュニケーション処理部４８は、コミュニケーションロボット４にコミュニケーション処理を行わせる。具体的には、コミュニケーション処理部４８は、例えば、声掛けや案内等に関する音声を、スピーカ５３から出力させる。

記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
カメラ５２は、撮影装置である。カメラ５２は、例えば、コミュニケーションロボット４の眼の部分に対応する位置に設けられている。そして、カメラ５２は、コミュニケーションロボット４が向いた方向の被写体を撮像する。カメラ５２は、例えば、４５度〜６０度程度の視野角を有する。また、カメラ５２は、コミュニケーションロボット４の頭部４ａに有するため、頭部４ａが動くことによって、視野方向を回転可能になっている。
スピーカ５３は、音声出力装置である。スピーカ５３は、例えば、コミュニケーションロボット４の口の部分に対応する位置に設けられている。そして、スピーカ５３は、制御部１０の指示に基づいて音声を出力する。

モータ部５４は、コミュニケーションロボット４に動作をさせるためのモータである。モータ部５４は、頭部モータ５４ａを備える。
頭部モータ５４ａは、コミュニケーションロボット４の頭部４ａを動かすモータである。頭部モータ５４ａは、制御部４０（方向制御部４５）によって制御され、頭部４ａを左右方向に動かす。
通信インタフェース部５９は、サーバ１との間の通信を行うためのインタフェースである。

＜エリアの決定方法＞
次に、広視野カメラ３により取得する画像のエリア決定方法について説明する。
図３は、本実施形態に係るサーバ１のエリア記憶部２２を説明するための図である。
図３（Ａ）は、広視野カメラ３の視野角が１２０度の場合の一例であり、図３（Ｂ）は、広視野カメラ３の視野角が１８０度の場合の一例である。
図３（Ａ−１）は、広視野カメラ３が取得する画像の画像領域６１と、正面を向いているコミュニケーションロボット４のカメラ５２が取得する画像の画像領域６２とを示す。ここで、サーバ１の記憶部２０には、カメラ５２の視野角が予め記憶されている。そして、サーバ１の制御部１０は、画像領域６１のうち、画像領域６２を除いた左側を、「エリアＡ」とし、画像領域６２の部分を、「エリアＢ」とし、残りの部分を、「エリアＣ」して、各エリアを決定する。
ここで、「エリアＢ」の横幅６１ｂは、「エリアＡ」の横幅６１ａ及び「エリアＣ」の横幅６１ｃより広い。これは、例えば、カメラ５２を「エリアＡ」の方向に向けた場合に、エリアＡの全体を含んだ画像を、カメラ５２に取得させるためである。

次に、各エリアの位置を、コミュニケーションロボット４の頭部４ａを動かす角度として、制御部１０は、各エリアに対応する角度を算出する。
隣り合う２つのエリアの各中心により形成される角度θは、広視野カメラ３の視野角をａとし、エリア数をｎとした場合に、簡単に算出する方法として、以下の式を用いる。

図３（Ａ）の例では、視野角ａが１２０、エリア数ｎが３であるので、角度θは、式１を用いて、３０度と算出できる。
この算出結果を使用して、制御部１０は、図３（Ａ−２）に示すエリア記憶部２２を作成することができる。なお、広視野カメラ３の画像領域６１のうち、正面に位置する「エリアＢ」の角度を０度とする。

次に、図３（Ｂ−１）は、広視野カメラ３が取得する画像の画像領域７１と、正面を向いているコミュニケーションロボット４のカメラ５２が取得する画像の画像領域７２とを示す。サーバ１の制御部１０は、画像領域７１のうち、画像領域７２を除いた領域を、左側から順番に「エリアＤ」、「エリアＥ」とし、画像領域７２の部分を「エリアＦ」とする。そして、制御部１０は、画像領域７１のうち、画像領域７２を除いた領域を、右側から順番に「エリアＨ」と、「エリアＧ」として、各エリアを決定する。
ここで、上述と同様に、「エリアＦ」の横幅７１ｃは、他のエリアの横幅７１ａ，７１ｂ，７１ｄ，７１ｅより広い。
図３（Ｂ−２）は、式１を用いて算出した角度をエリア名に対応付けたエリア記憶部２２を示す。この場合、視野角ａが１８０、エリア数ｎが５であるので、角度θは、式１を用いて、２２．５度と算出できる。

＜ロボット制御システム１００の処理＞
次に、ロボット制御システム１００の処理について説明する。
図４は、本実施形態に係るロボット制御システム１００でのロボット制御処理を示すフローチャートである。
図５は、本実施形態に係るサーバ１での広視野画像処理を示すフローチャートである。
図６は、本実施形態に係るサーバ１での広視野画像処理を説明するための図である。
図４のステップＳ（以下、「Ｓ」という。）１０において、コミュニケーションロボット４の制御部４０（画像取得部４１）は、カメラ５２を介して画像を取得する。

Ｓ１１において、制御部４０（対象者検出部４２）は、Ｓ１０で取得した画像を分析する。制御部４０は、例えば、人検出や、顔検出等の公知な方法を用いて、Ｓ１０で取得した画像から人（対象者）を検出する。
人検出の手法としては、例えば、ＨＯＧ特徴量を用いるものがある。ＨＯＧ特徴量を用いた人検出に関しては、「Ｎ． Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ． Ｉｎ ＣＶＰＲ， ｐａｇｅｓ ８８６−８９３， ２００５」に記載されている。
また、顔検出の手法としては、例えば、Ｈａａｒ−ｌｉｋｅ特徴を用いるものがある。Ｈａａｒ−ｌｉｋｅ特徴を用いた顔検出に関しては、「Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ． Ｊｏｎｅｓ： “Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．５１１−５１８， （２００１）．」に記載されている。
なお、制御部４０が人を検出した場合に、その人をユーザＰとする。

Ｓ１２において、制御部４０（対象者検出部４２）は、ユーザＰを検出できたか否かを判断する。ユーザＰを検出できた場合（Ｓ１２：ＹＥＳ）には、制御部４０は、処理をＳ１３に移す。他方、ユーザＰを検出できなかった場合（Ｓ１２：ＮＯ）には、制御部４０は、処理をＳ１４に移す。
Ｓ１３において、制御部４０（コミュニケーション処理部４８）は、コミュニケーション処理を行う。コミュニケーション処理は、例えば、ユーザＰに対して声掛けをする処理等をいう。その後、制御部４０は、本処理を終了する。なお、制御部４０は、この処理においてはコミュニケーション処理を行わず、記憶部５０に記憶されたコミュニケーション処理を行う他の処理プログラムを呼び出してもよい。その後、制御部４０は、本処理を終了する。

他方、Ｓ１４において、制御部４０（依頼データ送信部４３）は、依頼データを、サーバ１に対して送信する。依頼データは、広視野カメラ３による画像処理を依頼するためのデータである。
Ｓ１５において、サーバ１の制御部１０（依頼データ受信部１１）は、コミュニケーションロボット４から依頼データを受信する。
Ｓ１６において、制御部１０は、広視野画像処理を行う。

ここで、広視野画像処理について、図５に基づき説明する。
図５のＳ３０において、制御部１０（画像受信部１２）は、広視野カメラ３が取得した画像を受信する。ここで、制御部１０は、広視野カメラ３から時系列に連続した複数の画像を受信する。図６（Ａ）は、複数の画像のうちの１つの画像の例であり、広視野カメラ３から取得した画像８１を示す。
図５に戻り、Ｓ３１において、制御部１０（動体検出部１３）は、動体検出処理を行う。
動体検出処理では、制御部１０は、まず、公知の混合正規分布の定義に、複数の画像を当てはめて、背景モデルを作成する。次に、制御部１０は、各画像と、背景モデルとの差分を取ることで、移動物体（動体）を検出する。混合正規分布を用いた手法に関しては、「Ｐ． ＫａｅｗＴｒａＫｕｌＰｏｎｇ ａｎｄ Ｒ． Ｂｏｗｄｅｎ， “Ａｎ Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｂａｃｋｇｒｏｕｎｄ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｓｈａｄｏｗ Ｄｅｔｅｃｔｉｏｎ，” Ｐｒｏｃ．Ｅｕｒｏｐｅａｎ Ｗｏｒｋｓｈｏｐ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍｓ，２００１．」等に記載されている。
この手法では、例えば、スペースＳが屋外である場合に、風による物体のゆらぎや日差しの出入り等、画素単位で見れば前景となりうる領域に対しても、統計モデルを適用することで背景領域として捉えることができ、ロバスト性の高い動体検出を実現できる。

Ｓ３２において、制御部１０（動体検出部１３）は、Ｓ３１で検出した移動物体の近隣画素をラベリングし、動体候補枠を設定する。動体候補枠は、ラベリングした画素を囲む矩形である。
図６（Ｂ）は、動体候補枠８２ａを設定した画像８２を示す。画像８２には、様々な大きさの動体候補枠８２ａが設定されている。
図５に戻り、Ｓ３３において、制御部１０（人検出部１４）は、動体枠候補から動体枠を選定し、選定した動体枠の移動物体を、ユーザＰとして検出する。制御部１０は、予め設定した矩形の閾値により、動体枠を選定する。矩形の閾値は、例えば、広視野カメラ３の画像からユーザＰとして検出したい最大と最小とのサイズである。
図６（Ｃ）は、動体枠８３ａを選定した画像８３である。図６（Ｂ）の画像８２と比較して、小さい矩形の動体候補枠８２ａが除外されている。
上述の処理では、選定した動体枠の移動物体を、一律にユーザＰとして検出しているが、さらに精度の高い方法を用いることができる。例えば、選定した動体枠の移動物体に対して画像認識をすることで、制御部１０は、ユーザＰとして検出するか否かを判断してもよい。

図５に戻り、Ｓ３４において、制御部１０（優先付け部１５）は、ユーザＰとして検出した動体枠に優先付けをする。
制御部１０は、複数の動体枠の密度に基づいて、密度の高い動体枠を高い優先度になるように優先付ける。また、制御部１０は、動体枠の大きさに基づいて、大きい動体枠を高い優先度になるように優先付ける。動体枠の大きさが、ユーザＰとの距離に対応するためである。動体枠の密度と、大きさとは、どちらか一方を採用してもよいし、両方を採用してもよい。また、動体枠の密度と、大きさとの両方を採用した場合には、密度を優先させても、大きさを優先させてもよい。
Ｓ３５において、制御部１０（エリア特定部１６）は、優先付け部１５が優先付けをした高い優先度の動体枠を有するエリアを特定する。制御部１０は、各エリアと、優先度とを対応付けてもよい。

Ｓ３６において、制御部１０は、結果データを生成する。制御部１０は、エリア記憶部２２から抽出した、各エリア及び角度と、Ｓ３５で特定したエリアの優先度とを対応付けた結果データを生成する。図６に示す例で、密度の高い動体枠に対して優先度を高く優先付けた場合には、結果データは、例えば、「エリアＣ−右に３０度−優先度高」、「エリアＡ−左に３０度−優先度中」、「エリアＢ−０度−優先度低」といったものである。
なお、制御部１０は、例えば、「エリアＣ−右に３０度−優先度高」といった、優先度が高いデータのみを生成してもよい。
その後、制御部１０は、本処理を終了し、処理を図４に移す。
図４に戻り、Ｓ１７において、制御部１０（通知部１７）は、結果データをコミュニケーションロボット４に対して送信する。その後、制御部１０は、本処理を終了する。

Ｓ１８において、コミュニケーションロボット４の制御部４０（結果データ受信部４４）は、サーバ１が送信した結果データを受信する。
Ｓ１９において、制御部４０（方向制御部４５）は、結果データに基づいて、コミュニケーションロボット４の頭部４ａの向きを変える頭部制御処理を行う。
例えば、受信した結果データが、優先度が高いデータのみである場合には、制御部４０は、結果データに含まれる角度になるように頭部４ａを動かす。また、受信した結果データが、優先度の高低を含めて全てのデータである場合には、制御部４０は、結果データに含まれる優先度に基づいて、頭部４ａを動かす。
その後、制御部４０は、処理をＳ１０に移す。

Ｓ１０において、制御部４０は、カメラ５２が撮影した画像を取得する。この画像は、頭部４ａを、ユーザＰを含む位置に動かした後にカメラ５２が撮影したものであるので、画像に、ユーザＰが含まれる（Ｓ１１がＹＥＳ）。よって、その後、制御部４０は、コミュニケーション処理を行うことができる（Ｓ１３）。

このように、本実施形態のロボット制御システム１００によれば、以下のような効果がある。
（１）広視野カメラ３からの画像を分析し、検出したユーザＰのエリアの方向を、サーバ１がコミュニケーションロボット４に送信することで、コミュニケーションロボット４は、ユーザＰのいるエリアに頭部４ａを動かすことができる。よって、コミュニケーションロボット４は、カメラ５２でユーザＰを撮影でき、ユーザＰとの間でのコミュニケーションを行うことができる。
これにより、コミュニケーションロボット４は、そのデザイン性を保持しつつ、ユーザＰを検出する機能を拡張できる。

（２）サーバ１は、広視野カメラ３が取得した画像から検出したユーザＰに対して優先付けを行うことができる。そして、優先付けは、例えば、複数のユーザＰの密度、ユーザＰと広視野カメラ３との距離によって行う。よって、よりコミュニケーションを行いやすいユーザＰに対して、優先度を高く設定できる。
（３）サーバ１は、広視野カメラ３が取得した画像を、複数のエリアに分割して、エリアごとに、コミュニケーションロボット４の頭部４ａを動かす角度を対応付けたエリア記憶部２２を有する。そして、エリア記憶部２２を参照して、コミュニケーションロボット４に送信する結果データを生成する。よって、エリアごとの角度を、コミュニケーションロボット４に送信できるので、コミュニケーションロボット４での処理を容易にできる。

（４）サーバ１は、広視野カメラ３が取得した画像からユーザＰを検出するのに、公知の画像処理技術を用いて行うことができる。よって、サーバ１での処理を、簡単に構築できる。
（５）コミュニケーションロボット４は、カメラ５２が撮影した画像にユーザＰを含まない場合に、サーバ１から受信した結果データを用いる。よって、コミュニケーションロボット４のカメラ５２がユーザＰを撮影できない場合であっても、結果データを用いることで、ユーザＰがいるエリアの画像を、カメラ５２が撮影できるようになる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）本実施形態では、サーバにおいて画像に関する処理を行うものを説明したが、これに限定されない。サーバを有さない構成としてもよく、例えば、コミュニケーションロボットが全ての処理を行ってもよいし、コミュニケーションロボットのカメラや、広視野カメラのカメラ装置が処理を行ってもよい。また、各装置での処理は、どのような分担にしてもよい。また、サーバを有する構成とした場合であっても、画像に関する処理を全て行わずに、その一部処理を行うようにしてもよい。
（２）本実施形態では、コミュニケーションロボットがカメラから取得した画像に関する処理を行うものを例に説明したが、これに限定されない。コミュニケーションロボットがサーバに対してカメラから取得した画像を送信し、サーバがコミュニケーションロボットに備えたカメラの画像に関する処理を行ってもよい。その場合には、コミュニケーションロボットは、カメラの他、少なくとも、サーバが送信した音声データを出力するスピーカと、コミュニケーションロボットが頭部を動かすためのモータ部とを備えればよい。また、コミュニケーションロボットと、サーバとの両方の装置によって各種処理を行ってもよい。

（３）本実施形態では、各エリアをコミュニケーションロボットのカメラが撮影するための角度をサーバで算出し、コミュニケーションロボットに送信するものを例に説明したが、これに限定されない。サーバでは、コミュニケーションロボットのカメラの視野内にユーザが入る回動方向及び回動角度を算出するものであってもよい。そして、回動方向及び回動角度に関するデータを、コミュニケーションロボットに送信するものであってもよい。
また、コミュニケーションロボットの頭部の動作は、左右方向によらず、上下方向を含むものであってもよい。

（４）本実施形態では、優先付けに関して、ユーザの密度が高い場合や、ユーザが広視野カメラに近い場合に、高い優先度を付与するものとして説明したが、これに限定されない。例えば、ユーザが広視野カメラの方向を向いているか否かを判断し、広視野カメラの方向を向いている場合に、高い優先度を付与するようにしてもよい。そのようにすることで、コミュニケーションロボットに対して顔を向けているユーザを、コミュニケーションロボットに対して背中を向けているユーザよりも優先して、コミュニケーションロボットが、コミュニケーションを行うことができる。
（５）本実施形態では、優先付けに関して、動体枠の大きさにより、広視野カメラとユーザとの距離の長短を判別するものとして説明したが、これに限定されない。広視野カメラに距離を計測する距離センサを設け、又は、広視野カメラとは別に距離センサを備えて、距離センサを用いて、ユーザとの距離を測定してもよい。また、広視野カメラからの画像をサーバが画像処理をする際に、画像認識技術により、ユーザとの距離や、ユーザの向いている方向を判別してもよい。
（６）本実施形態では、複数の画像を用いた動体検出処理によって、移動物体を検出し、移動物体を含む動体候補枠から動体枠を選定して、動体枠の移動物体をユーザ（人）として検出するものを説明したが、これに限定されない。例えば、人検出等の画像認識技術を用いて画像から直接ユーザを検出し、それを、移動物体として認識させてもよい。

（７）本実施形態では、広視野カメラから時系列に連続した複数の画像を受信して用いるものを例に説明したが、これに限定されない。例えば、動画データを用いてもよい。その場合には、動画データから時系列に連続した複数の画像を取得すればよい。
（８）本実施形態では、サーバは、コミュニケーションロボットから依頼データを受信したことを契機として、広視野カメラから画像を取得して画像処理を行うものを例に説明したが、これに限定されない。サーバは、定期的に広視野カメラから画像を取得して、画像処理を行ってもよい。その場合には、サーバは、画像処理後に、画像処理後のデータ（実施形態でいう結果データ）を、コミュニケーションロボットに送信する。そのようにすることで、コミュニケーションロボット側では、広視野カメラによる結果データが必要なときに、すぐに結果データを得ることができる。

（９）本実施形態では、広視野カメラを、コミュニケーションロボットとは別に備えるものとして説明したが、これに限定しない。例えば、図７に示すように、コミュニケーションロボットに広視野カメラを備えてもよい。
図７は、変形形態に係るロボット制御システム２００の構成例を示す図である。
図７に示すロボット制御システム２００は、広視野カメラ２０３と、コミュニケーションロボット２０４と、図示しないサーバ１とを備える。コミュニケーションロボット２０４は、背中に相当する位置からアーム２０５がコミュニケーションロボット２０４の頭部２０４ａの上部に伸びており、アーム２０５の先端に、広視野カメラ２０３を備えている。このような構成のコミュニケーションロボット２０４であっても、上述した実施形態と同様の処理を行うことができ、コミュニケーションロボット２０４が移動するものであっても、移動した後であっても適用できる。

１ サーバ
３，２０３ 広視野カメラ
４，２０４ コミュニケーションロボット
４ａ，２０４ａ 頭部
１０，４０ 制御部
１２ 画像受信部
１３ 動体検出部
１４ 人検出部
１５ 優先付け部
１６ エリア特定部
１７ 通知部
２０，５０ 記憶部
２１ａ プログラム
２２ エリア記憶部
４１ 画像取得部
４２ 対象者検出部
４３ 依頼データ送信部
４４ 結果データ受信部
４５ 方向制御部
５２ カメラ
５３ スピーカ
５４ａ 頭部モータ
１００，２００ ロボット制御システム
Ｐ，Ｐ１〜Ｐ４ ユーザ
Ｓ スペース

Claims (9)

1. 視野方向を回転可能な第１撮像手段と、
   前記第１撮像手段より広域な視野角を有する第２撮像手段と、
   前記第２撮像手段により撮像した画像から動体を検出する動体検出手段と、
   前記動体検出手段により検出した前記動体が前記第１撮像手段の視野角に入る回動方向及び回動角度を、記憶部に格納された前記第１撮像手段の視野角を参照して特定する方向特定手段と、
   前記方向特定手段により特定したデータに基づき、前記視野方向を制御する方向制御手段と、
   を備えるロボットシステム。
2. 請求項１に記載のロボットシステムにおいて、
   前記動体検出手段により検出した前記動体の大きさを判断し、検出した前記動体に対して優先度を付与する優先付け手段を備え、
   前記方向特定手段は、前記優先付け手段による優先度に基づき、高い優先度の前記動体の位置を特定すること、
   を特徴とするロボットシステム。
3. 請求項２に記載のロボットシステムにおいて、
   前記優先付け手段は、前記動体検出手段により検出した複数の前記動体の密度が高いほど、高い優先度を付与すること、
   を特徴とするロボットシステム。
4. 請求項２又は請求項３に記載のロボットシステムにおいて、
   前記優先付け手段は、前記動体検出手段により検出した前記動体の前記第２撮像手段との距離が近いほど、高い優先度を付与すること、
   を特徴とするロボットシステム。
5. 請求項２から請求項４までのいずれかに記載のロボットシステムにおいて、
   前記優先付け手段は、前記動体検出手段により検出した前記動体の向いている方向が、前記第２撮像手段の方向を向いているほど、高い優先度を付与すること、
   を特徴とするロボットシステム。
6. 請求項１から請求項５までのいずれかに記載のロボットシステムにおいて、
   前記第２撮像手段の視野角を、前記第１撮像手段の視野角より小さい複数のエリアに分割し、画像の中心からの角度を、各エリアの位置として記憶するエリア記憶部を備え、
   前記方向特定手段は、前記動体検出手段により検出した前記動体の位置を含むエリアを、前記エリア記憶部を参照して特定し、
   前記方向制御手段は、前記方向特定手段により特定したエリアの角度に基づき、前記視野方向を制御すること、
   を特徴とするロボットシステム。
7. 請求項１から請求項６までのいずれかに記載のロボットシステムにおいて、
   前記第２撮像手段から時系列に連続した複数の画像を取得する画像取得手段を備え、
   前記動体検出手段は、前記画像取得手段により取得した前記複数の画像から動体を検出すること、
   を特徴とするロボットシステム。
8. 請求項１から請求項７までのいずれかに記載のロボットシステムにおいて、
   前記第１撮像手段が取得した画像から対象者を検出する対象者検出手段を備え、
   前記方向制御手段は、前記対象者検出手段により対象者を検出できなかった場合に、前記方向特定手段により特定したデータに基づき、前記視野方向を制御すること、
   を特徴とするロボットシステム。
9. 請求項１から請求項８までのいずれかに記載のロボットシステムとしてコンピュータを機能させるためのプログラム。

Images