JP2018149626A - コミュニケーションロボット、プログラム及びシステム - Google Patents

Abstract

【課題】環境によらず、人の話を聞くことで人とのコミュニケーションを円滑に行うことができるコミュニケーションロボット、プログラム及びシステムを提供する。【解決手段】マイク４３ａを備えたコミュニケーションロボット１は、被写体を撮影して画像データを生成するカメラ４１と、カメラ４１によって得られた画像データに基づいて、ユーザＰを特定するユーザ特定部１４と、コミュニケーションロボット１の配置位置周辺の混雑度を判定する混雑度判定部１７と、混雑度判定部１７による判定結果に応じて所定の処理を行うとともに、マイク４３ａを介して音声を受け付ける音声受付部２２と、音声受付部２２が受け付けた音声を認識して、発話内容を取得する音声認識部２３と、を備える。【選択図】図２

Description

本発明は、コミュニケーションロボット、プログラム及びシステムに関する。

従来、人間との間でコミュニケーション行動を行うコミュニケーションロボットがある。人間同士でのコミュニケーションと同じように、コミュニケーションロボットと人間との間でのコミュニケーションは、周囲の騒音が大きい場合等の混雑時には、コミュニケーションが取りにくくなる。そこで、混雑時におけるコミュニケーションロボットの動作として、混雑を緩和する行動を、コミュニケーションロボットに行わせることが開示されている（例えば、特許文献１）。

特許第４７９３９０４号公報

特許文献１に記載のコミュニケーションロボットは、混雑を緩和する行動を行うものにすぎなかった。混雑しているか否かにかかわらず、人とのコミュニケーションを行うために、コミュニケーションロボットには、人の話を聞いたり、人に話をしたりすることが求められる。

そこで、本発明は、環境によらず、人の話を聞くことで人とのコミュニケーションを円滑に行うことができるコミュニケーションロボット、プログラム及びシステムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、音声入力部を備えたコミュニケーションロボットであって、被写体を撮影して撮影画像を生成する撮影部と、前記撮影部によって得られた撮影画像に基づいて、発話対象者を特定する対象者特定手段と、前記コミュニケーションロボットの配置位置周辺の混雑度を判定する混雑度判定手段と、前記混雑度判定手段による判定結果に応じて所定の処理を行うとともに、前記音声入力部を介して音声を受け付ける音声受付手段と、前記音声受付手段が受け付けた音声を認識して発話内容を取得する音声認識手段と、を備えるコミュニケーションロボットである。
第２の発明は、第１の発明のコミュニケーションロボットにおいて、前記所定の処理として、前記対象者特定手段により特定した前記発話対象者と、このコミュニケーションロボットとを近接させるための処理を行うこと、を特徴とするコミュニケーションロボットである。
第３の発明は、第２の発明のコミュニケーションロボットにおいて、前記所定の処理として、前記対象者特定手段により特定した前記発話対象者までの距離が前記混雑度に対応した距離になるように、このコミュニケーションロボットを移動させる処理を行うこと、を特徴とするコミュニケーションロボットである。
第４の発明は、第１の発明から第３の発明までのいずれかのコミュニケーションロボットにおいて、前記撮影部によって得られた撮影画像から人物を特定する人特定手段と、前記人特定手段によって特定した人物の顔の器官を検出する器官検出手段と、を備え、前記対象者特定手段は、前記器官検出手段により検出した顔の器官から目を特定し、特定した目の向きに基づいて前記発話対象者を特定すること、を特徴とするコミュニケーションロボットである。
第５の発明は、第４の発明のコミュニケーションロボットにおいて、前記対象者特定手段は、さらに前記器官検出手段により検出した顔の器官から口を特定し、特定した口が動いている人物を、前記発話対象者として特定すること、
を特徴とするコミュニケーションロボットである。
第６の発明は、第４の発明又は第５の発明のコミュニケーションロボットにおいて、前記器官検出手段により検出した顔の器官から目を特定し、このコミュニケーションロボットの顔の位置を、特定した目に対面する位置に変更する顔位置変更手段を備えること、を特徴とするコミュニケーションロボットである。
第７の発明は、第４の発明又は第５の発明のコミュニケーションロボットにおいて、前記所定の処理として、前記器官検出手段により検出した顔の器官から口を特定し、前記音声入力部の位置を、特定した口に対面する位置に変更する処理を行うこと、を特徴とするコミュニケーションロボットである。
第８の発明は、第４の発明から第６の発明までのいずれかのコミュニケーションロボットにおいて、前記音声受付手段は、前記対象者特定手段により特定した前記発話対象者の口が動いている間の音声を受け付けること、を特徴とするコミュニケーションロボットである。
第９の発明は、第１の発明のコミュニケーションロボットにおいて、特定方向から発せられた音を入力する指向音声入力部を備え、前記所定の処理として、前記混雑度が閾値以上の場合に、前記対象者特定手段により特定した前記発話対象者の位置を特定し、特定した前記位置への方向が前記特定方向になるように、前記指向音声入力部の方向を設定する処理を行い、前記音声受付手段は、前記指向音声入力部を介して音声を受け付けること、を特徴とするコミュニケーションロボットである。
第１０の発明は、第１の発明から第９の発明までのいずれかのコミュニケーションロボットにおいて、前記コミュニケーションロボットの配置位置周辺の音声を取得する周辺音取得手段と、前記周辺音取得手段によって取得した前記音声の音量レベルを判定する音量判定手段と、を備え、前記混雑度判定手段は、前記音量判定手段により判定した音量レベルに基づいて、前記混雑度を判定すること、を特徴とするコミュニケーションロボットである。
第１１の発明は、第１の発明から第１０の発明までのいずれかのコミュニケーションロボットにおいて、前記混雑度判定手段は、前記撮影部によって得られた前記撮影画像に基づいて、前記混雑度を判定すること、を特徴とするコミュニケーションロボットである。
第１２の発明は、第１の発明から第１１の発明までのいずれかのコミュニケーションロボットにおいて、前記所定の処理として、前記発話対象者が発した音声をうち消す音を、前記対象者特定手段によって特定された前記発話対象者に対する方向とは異なる方向に、消音出力部から出力する処理を行うこと、を特徴とするコミュニケーションロボットである。
第１３の発明は、第１の発明から第１２の発明までのいずれかのコミュニケーションロボットとしてコンピュータを機能させるためのプログラムである。
第１４の発明は、被写体を撮影して撮影画像を生成する撮影部及び音声入力部を備えたコミュニケーションロボットと、前記コミュニケーションロボットに対して通信可能に接続されたサーバと、を備えるコミュニケーションロボットシステムであって、前記サーバは、前記コミュニケーションロボットによって得られた撮影画像に基づいて、発話対象者を特定する対象者特定手段と、前記コミュニケーションロボットの配置位置周辺の混雑度を判定する混雑度判定手段と、前記混雑度判定手段により判定された前記混雑度に基づく処理データを、前記コミュニケーションロボットに送信するデータ送信手段と、を備え、前記コミュニケーションロボットは、前記サーバから受信した前記処理データを実行する混雑処理手段と、前記音声入力部を介して音声を受け付ける音声受付手段と、前記音声受付手段が受け付けた音声を認識して発話内容を取得する音声認識手段と、を備えること、を特徴とするコミュニケーションロボットシステムである。

本発明によれば、環境によらず、人の話を聞くことで人とのコミュニケーションを円滑に行うことができるコミュニケーションロボット、プログラム及びシステムを提供することができる。

本実施形態に係るコミュニケーションロボットにおける運用の具体例を示す図である。 本実施形態に係るコミュニケーションロボットの機能ブロック図である。 本実施形態に係るコミュニケーションロボットでのロボット制御処理を示すフローチャートである。 本実施形態に係るコミュニケーションロボットでのユーザ特定処理を示すフローチャートである。 本実施形態に係るコミュニケーションロボットでの混雑度判定処理を示すフローチャートである。 本実施形態に係るコミュニケーションロボットのロボット制御処理における具体例を示す図である。 変形形態に係るコミュニケーションロボットの具体例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
図１は、本実施形態に係るコミュニケーションロボット１における運用の具体例を示す図である。
コミュニケーションロボット１は、このコミュニケーションロボット１に対して関心を持っているユーザＰ（発話対象者）を特定する。
そして、コミュニケーションロボット１は、特定したユーザＰの話を聞く処理をする。
また、コミュニケーションロボット１は、特定したユーザＰに対して話かける処理をする。
このように、コミュニケーションロボット１は、ヒアリングをするロボットであり、かつ、おしゃべりをするロボットである。
コミュニケーションロボット１は、例えば、展示場内、店舗内等のスペースＳに配置されている。なお、コミュニケーションロボット１は、ユーザＰを特定するために、図１に示すように、スペースＳを見渡せる位置に配置することが望ましい。

コミュニケーションロボット１は、例えば、高さが１ｍ程度の人型のロボットである。
コミュニケーションロボット１は、例えば、スペースＳにいるユーザを含む画像データ（撮影画像）を取得して分析する。
そして、コミュニケーションロボット１は、コミュニケーションロボット１に話かけたそうにしているユーザＰを特定した場合に、ユーザＰに近づく。そして、コミュニケーションロボット１は、ユーザＰが発した音声データを受け付けて、発話内容を取得する。
また、コミュニケーションロボット１は、コミュニケーションロボット１の話を聞きたそうにしているユーザＰを特定した場合に、ユーザＰに近づく。そして、コミュニケーションロボット１は、発話データを出力することで、ユーザＰに話しかける。

＜コミュニケーションロボット１＞
図２は、本実施形態に係るコミュニケーションロボット１の機能ブロック図である。
図２に示すように、コミュニケーションロボット１は、制御部１０と、記憶部３０と、カメラ４１（撮影部）と、スピーカ部４２と、マイク部４３と、モータ部４４とを備える。
制御部１０は、コミュニケーションロボット１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部１０は、画像取得部１１（画像取得手段）と、人物特定部１２（人特定手段）と、器官検出部１３（器官検出手段）と、ユーザ特定部１４（対象者特定手段）と、周辺音取得部１５（周辺音取得手段）と、音量判定部１６（音量判定手段）と、混雑度判定部１７（混雑度判定手段）と、顔位置変更部１８（顔位置変更手段）と、足移動部１９（混雑処理手段）と、消音出力部２０（混雑処理手段）と、発話部２１（発話手段）と、音声受付部２２（音声受付手段）と、音声認識部２３（音声認識手段）とを備える。
画像取得部１１は、カメラ４１を介して撮影した画像データを取得する。画像取得部１１は、画像データを、１つ取得してもよいし、動画のように連続して複数取得してもよい。

人物特定部１２は、画像取得部１１が取得した画像データを分析して、ユーザを特定する。人物特定部１２は、例えば、画像データから顔画像を検出することで、ユーザを特定する。ここで特定するユーザは、複数であってよい。
器官検出部１３は、人物特定部１２によって特定した各ユーザの顔の各器官（目、鼻、口等）を検出する。この顔の各器官の位置を求める手法としては、様々な公知の手法があるが、例えば、回帰モデルを用いた顔の器官検出手法を用いることができる。そして、回帰モデルを用いた顔の器官検出手法に関しては、例えば、米国特許出願公開第２０１４／０１８５９２４号明細書に記載されている。
ユーザ特定部１４は、このコミュニケーションロボット１の話を聞きたそうにしている、又は、このコミュニケーションロボット１に話かけたそうにしているユーザＰを特定する。ユーザ特定部１４は、例えば、器官検出部１３により検出した顔の目の向きや、口の動き等を考慮して、ユーザＰを特定する。

周辺音取得部１５は、マイク４３ｂを介して、このコミュニケーションロボット１の位置周辺の音声データを取得する。
音量判定部１６は、周辺音取得部１５が取得した音声データの音量レベルを判定する。
混雑度判定部１７は、例えば、音量判定部１６により判定した音量レベルに基づいて、このコミュニケーションロボット１の位置での混雑度を判定する。
また、混雑度判定部１７は、人物特定部１２で特定したユーザ数に基づいて、このコミュニケーションロボット１の位置での混雑度を判定してもよい。混雑度判定部１７は、例えば、特定したユーザ数が多ければ、混雑度を大と判定し、特定したユーザ数が少なければ、混雑度を小と判定する。
そして、混雑度判定部１７は、音量レベルと、ユーザ数との両方によって、混雑度を判定してもよい。

顔位置変更部１８は、ユーザ特定部１４で特定したユーザＰの目に対面する位置に、このコミュニケーションロボット１の顔の位置を変更する。顔位置変更部１８は、頭部モータ４４ａを制御して、コミュニケーションロボット１の顔の位置を変更する。
足移動部１９は、混雑度判定部１７により判定した混雑度に応じて、ユーザ特定部１４で特定したユーザＰの方向に、このコミュニケーションロボット１を移動させる。足移動部１９は、足部モータ４４ｂを制御して、コミュニケーションロボット１を移動させる。

消音出力部２０は、ユーザ特定部１４によりユーザＰを特定した場合に、ユーザＰのいる方向とは異なる方向に対して、スピーカ４２ｂから消音データを出力する。ここで、消音データとは、ユーザＰ又はコミュニケーションロボット１が発する音を打ち消すことができる音をいい、例えば、特殊な雑音等である。そうすることで、ユーザＰから発せられた声は、コミュニケーション対象であるコミュニケーションロボット１には聞こえるが、ユーザＰの周囲にいる他のユーザには、聞き取りにくいものにできる。また、コミュニケーションロボット１の音は、コミュニケーション対象であるユーザＰには聞こえるが、他のユーザには聞き取りにくいものにできる。
なお、消音データは、例えば、音楽等のＢＧＭとともに出力してもよい。このような、ノイズキャンセルの仕組みは、様々な技術により行うことができるが、例えば、特許第５６４８４８５号公報に記載の手法により行うことができる。

発話部２１は、発話データをスピーカ４２ａから出力させる。発話データは、予め決まったものであってもよいし、日付、時間帯や、ユーザＰの属性（子供又は大人が把握可能な身長等）によって異なるものであってもよい。
音声受付部２２は、マイク４３ａを介してユーザＰが発した音声データを受け付ける。音声受付部２２は、ユーザＰを特定した後の音声データを受け付けてもよいし、画像取得部１１が取得した画像データに基づいて、ユーザＰの口が動いている間の音声データを受け付けてもよい。
音声認識部２３は、音声受付部２２が受け付けた音声データから、ユーザＰが発した音声内容を認識する。
なお、各処理の詳細については、後述する。

記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部３０は、プログラム記憶部３１と、発話データ記憶部３２と、消音データ記憶部３３とを備える。
プログラム記憶部３１は、プログラムを記憶する記憶領域である。プログラム記憶部３１は、上述した制御部１０の各種機能を実行するための制御プログラム３１ａ（プログラム）を記憶している。
発話データ記憶部３２は、コミュニケーションロボット１がスピーカ４２ａから出力する発話データを記憶する記憶領域である。
消音データ記憶部３３は、コミュニケーションロボット１がスピーカ４２ｂから出力する消音データを記憶する記憶領域である。

カメラ４１は、撮影装置である。カメラ４１は、例えば、コミュニケーションロボット１の目の部分に対応する位置に設けられている。そして、カメラ４１は、コミュニケーションロボット１が向いた方向の被写体を撮影する。
スピーカ部４２は、音声出力装置である。スピーカ部４２は、スピーカ４２ａ（音声出力部）及びスピーカ４２ｂ（他の音声出力部、消音出力部）を備える。
スピーカ４２ａは、例えば、コミュニケーションロボット１の口の部分に対応する位置に設けられている。そして、スピーカ４２ａは、制御部１０の指示に基づいて、ユーザＰに対してあたかもコミュニケーションロボット１がしゃべっているかのように、発話データを音声出力する。
スピーカ４２ｂは、例えば、コミュニケーションロボット１の胴体部分に対応する位置に設けられて、制御部１０の指示に基づいて、消音データを出力する。

マイク部４３は、音声入力装置である。マイク部４３は、マイク４３ａ（音声入力部）及びマイク４３ｂを備える。
マイク４３ａは、例えば、コミュニケーションロボット１の耳の部分に対応する位置に設けられている。そして、マイク４３ａは、制御部１０の指示に基づいて、ユーザＰが発した音声データを入力する。
マイク４３ｂは、例えば、コミュニケーションロボット１の胴体部分に対応する位置に設けられて、制御部１０の指示に基づいて、コミュニケーションロボット１の周囲の音声データを入力する。

モータ部４４は、コミュニケーションロボット１に動作をさせるためのモータである。モータ部４４は、頭部モータ４４ａと、足部モータ４４ｂとを備える。
頭部モータ４４ａは、コミュニケーションロボット１の頭部を動かすモータである。頭部モータ４４ａは、制御部１０によって制御され、スペースＳ内にいる様々なユーザを被写体として撮影するために、頭部を上下左右に動かす。また、頭部モータ４４ａは、特定したユーザＰの方向を向くように、頭部を上下左右に動かす。
足部モータ４４ｂは、コミュニケーションロボット１の足部にあり、コミュニケーションロボット１を移動させるためのモータである。

＜コミュニケーションロボット１の処理＞
次に、コミュニケーションロボット１の処理について説明する。
図３は、本実施形態に係るコミュニケーションロボット１でのロボット制御処理を示すフローチャートである。
図４は、本実施形態に係るコミュニケーションロボット１でのユーザ特定処理を示すフローチャートである。
図５は、本実施形態に係るコミュニケーションロボット１での混雑度判定処理を示すフローチャートである。
なお、コミュニケーションロボット１は、このロボット制御処理を、例えば、コミュニケーションロボット１の電源が投入されている間に、適宜のタイミング（例えば、１分おき等）で実行する。

図３のステップＳ（以下、「Ｓ」という。）１０において、コミュニケーションロボット１の制御部１０（画像取得部１１）は、カメラ４１を介して画像データを取得する。そして、制御部１０は、取得した画像データを、記憶部３０に記憶させる。
Ｓ１１において、制御部１０は、ユーザ特定処理を行う。ユーザ特定処理では、このコミュニケーションロボット１の話を聞きたそうにしているユーザＰや、このコミュニケーションロボット１に対して話かけたそうにしているユーザＰを特定するための処理である。

ここで、ユーザ特定処理について、図４に基づき説明する。
図４のＳ３０において、制御部１０（人物特定部１２）は、画像データから顔画像を検出することで、人物であるユーザを特定する。この処理において、画像データに複数人を含む場合には、制御部１０は、人物であるユーザを複数特定する。
Ｓ３１において、制御部１０は、ユーザを特定できたか否かを判断する。ユーザを特定できた場合（Ｓ３１：ＹＥＳ）には、制御部１０は、処理をＳ３２に移す。他方、ユーザを特定できなかった場合（Ｓ３１：ＮＯ）には、制御部１０は、本処理を終了し、処理を図３に移す。なお、ユーザを特定できなかった場合とは、例えば、画像データに人を含まない場合をいう。

Ｓ３２において、制御部１０（器官検出部１３）は、特定した各ユーザの顔画像から各器官を検出する。例えば、画像データに２人のユーザが含まれる場合には、制御部１０は、２人のユーザの器官をそれぞれ検出する。
Ｓ３３において、制御部１０（ユーザ特定部１４）は、検出した各ユーザの目が向いている方向を特定する。

Ｓ３４において、制御部１０（ユーザ特定部１４）は、目が正面を向いているユーザが存在するか否かを判断する。目が正面を向いているユーザが存在する場合（Ｓ３４：ＹＥＳ）には、制御部１０は、処理をＳ３５に移す。他方、目が正面を向いているユーザが存在しない場合（Ｓ３４：ＮＯ）には、制御部１０は、本処理を終了し、処理を図３に移す。なお、目が正面を向いている場合には、そのユーザがコミュニケーションロボット１を見ているということを示す。
Ｓ３５において、制御部１０（ユーザ特定部１４）は、目が正面を向いているユーザを、ユーザＰとして特定する。ここで、制御部１０は、目が正面を向いているユーザが複数存在する場合には、ランダムにユーザＰを特定してもよい。また、制御部１０は、このコミュニケーションロボット１との間の距離に基づいて、ユーザＰを特定してもよい。さらに、制御部１０は、画像から判別したユーザの大きさに基づいて、ユーザＰを特定してもよい。その後、制御部１０は、本処理を終了し、処理を図３に移す。

図３に戻り、Ｓ１２において、制御部１０は、ユーザ特定処理によって、ユーザＰが特定できたか否かを判断する。ユーザＰが特定できた場合（Ｓ１２：ＹＥＳ）には、制御部１０は、処理をＳ１３に移す。他方、ユーザＰが特定できなかった場合（Ｓ１２；ＮＯ）には、制御部１０は、本処理を終了する。
Ｓ１３において、制御部１０は、混雑度判定処理を行う。

ここで、混雑度判定処理について、図５に基づき説明する。
図５のＳ４０において、制御部１０（周辺音取得部１５）は、マイク４３ｂを介して、このコミュニケーションロボット１の位置における周囲の音声データを受け付ける。
Ｓ４１において、制御部１０（音量判定部１６）は、受け付けた音声データの音量レベルを判定する。制御部１０は、音量レベルを、例えば、大、中、小の３段階のいずれであるかを判定する。

Ｓ４２において、制御部１０（混雑度判定部１７）は、判定した音量レベルに基づいて、混雑度を判定する。その際、制御部１０は、図４のＳ３０で特定したユーザ数を考慮してもよい。制御部１０は、例えば、音量レベルが大である場合には、混雑度を大と判定する。また、制御部１０は、例えば、音量レベルが中であっても、ユーザ数が１０以上である場合には、混雑度を大と判定してもよい。その後、制御部１０は、本処理を終了し、処理を図３に移す。

図３に戻り、Ｓ１４において、制御部１０は、混雑度判定処理によって判定した混雑度が大（閾値以上）であるか否かを判断する。混雑度が大である場合（Ｓ１４：ＹＥＳ）には、制御部１０は、処理をＳ１５に移す。他方、混雑度が大ではない場合（Ｓ１４：ＮＯ）には、制御部１０は、処理をＳ１６に移す。
Ｓ１５において、制御部１０（足移動部１９）は、足部モータ４４ｂを制御して、ユーザＰに近づくように、ユーザＰのいる方向へ移動させる。

Ｓ１６において、制御部１０（顔位置変更部１８）は、頭部モータ４４ａを制御して、このコミュニケーションロボット１が、あたかもユーザＰの顔を見ているかのように、このコミュニケーションロボット１の頭の向きを変更する。このようにすることで、ユーザＰは、このコミュニケーションロボット１が自身の方向を見ていると感じることができ、例えば、コミュニケーションロボット１に対して話かけることができる。
Ｓ１７において、制御部１０（消音出力部２０）は、消音データをスピーカ４２ｂから出力させる。ここで、消音データは、ユーザＰが発する音声データを打ち消す音のデータである。

Ｓ１８において、制御部１０（音声受付部２２）は、所定時間内（例えば、１０秒以内）に、ユーザＰの音声データを受け付けたか否かを判断する。ここで、制御部１０は、ユーザＰの音声データを受け付けたか否かを、例えば、マイク４３ａを介して受け付けた音声データと、マイク４３ｂを介して受け付けた音声データとによって判断する。ユーザＰの音声データを受け付けた場合に、マイク４３ａを介して制御部１０が受け付けた音声データには、音量の大きい音声データを含む。また、それと同時に、マイク４３ｂを介して制御部１０が受け付けた音声データには、マイク４３ａを介して受け付けた音声データを、小さい音量で受け付ける。これらのことから、制御部１０は、ユーザＰの音声データを受け付けたか否かを判断できる。ユーザＰの音声データを受け付けた場合（Ｓ１８：ＹＥＳ）には、制御部１０は、処理をＳ１９に移す。他方、ユーザＰの音声データを受け付けていない場合（Ｓ１８：ＮＯ）には、制御部１０は、処理をＳ２０に移す。

Ｓ１９において、制御部１０（音声認識部２３）は、受け付けた音声データを音声認識して、音声内容を取得する。その後、制御部１０は、処理をＳ２２に移す。
なお、コミュニケーションロボット１の制御部１０は、音声認識後の処理として、ユーザＰに音声認識結果に応じた音声データを出力したり、音声認識結果に応じた動作を行ったりして、ユーザＰとの間でコミュニケーションを行うことができる。

他方、Ｓ２０において、制御部１０（消音出力部２０）は、消音データをスピーカ４２ｂから出力する。ここで、スピーカ４２ｂから出力させる消音データは、Ｓ１７で出力させた消音データに代えて、コミュニケーションロボット１が発する音声データを打ち消す音のデータである。
Ｓ２１において、制御部１０（発話部２１）は、発話データ記憶部３２から抽出した発話データを、スピーカ４２ａを介して出力させる。

コミュニケーションロボット１の制御部１０は、発話データ出力後の処理として、発話データの内容に応じた動作を行ったり、ユーザＰから発話データに対する返答として発せられる音声データを受け付けたりして、ユーザＰとの間でコミュニケーションを行うことができる。
Ｓ２２において、制御部１０は、出力していた消音データを停止させる。その後、制御部１０は、本処理を終了する。

＜ロボット制御処理の具体例＞
次に、このコミュニケーションロボット１を用いたロボット制御処理の具体例について説明する。
図６は、本実施形態に係るコミュニケーションロボット１のロボット制御処理における具体例を示す図である。
まず、コミュニケーションロボット１の制御部１０は、図６（Ａ）に示すような、目が正面を向いているユーザＰ１を含む画像データ５０を取得する（図３のＳ１０）。そして、制御部１０は、ユーザＰ１を、コミュニケーションロボット１に関心を持ったユーザであると特定する（図３のＳ１１及び図４）。

次に、制御部１０は、混雑度を判定する（図３のＳ１３及び図５）。この例の場合、周囲のユーザが喋っており雑音がするいわゆる“ガヤガヤ”している状況であり、受け付けた音声データの音量レベルが大であるとする。よって、制御部１０は、混雑度を大と判定する。
そして、図６（Ｂ）及び（Ｃ）に示すように、制御部１０は、ユーザＰ１の位置に向かって移動し（図３のＳ１５）、ユーザＰ１の顔を見るように頭の向きを変更して（図３のＳ１６）、ユーザＰ１からの音声データを受け付け可能な状態にする。また、制御部１０は、スピーカ４２ｂから消音データを出力させる（図３のＳ１７）。

これにより、コミュニケーションロボット１は、ユーザＰ１が話す音声データを受け付ける（図３のＳ１８がＹＥＳ）場合に、よりはっきりとしたユーザＰ１の音声データを、マイク４３ａを介して受け付けることができる。また、コミュニケーションロボット１の周囲の第三者には、消音データによって、ユーザＰ１が発する音声データを聞き取りにくくすることができる。

また、コミュニケーションロボット１は、発話データを出力する場合に、コミュニケーションロボット１が発する音声データを打ち消す消音データをスピーカ４２ｂから出力して（図３のＳ２０）、発話データを音声出力する（図３のＳ２１）。よって、よりはっきりとしたコミュニケーションロボット１の発話データを音声としてユーザＰ１に届けることができる。また、コミュニケーションロボット１の周囲の第三者には、消音データによって、コミュニケーションロボット１から出力される音声データを聞き取りにくくすることができる。

このように、本実施形態のコミュニケーションロボット１によれば、以下のような効果がある。
（１）撮影した画像データからユーザＰを特定し、コミュニケーションロボット１の周囲の混雑度を判断し、混雑度に基づく処理の後にユーザＰに対して発話データを出力するので、混雑した状態であっても、ユーザＰに聞こえるように話かけることができる。また、混雑した状態であっても混雑度に基づく処理をするので、コミュニケーションロボット１は、ユーザＰの話を聞くことができる。
（２）撮影した画像データから人物を特定して、顔の器官を検出し、目の向きに基づいてユーザＰを特定するので、コミュニケーションロボット１の方向を向いているユーザＰを、コミュニケーションロボット１に対して関心を持っているものとして、話しかけをすることができる。

（３）コミュニケーションロボット１の顔の向きを、ユーザＰの目に対面する位置にするので、人との間のコミュニケーションのように、違和感なく話しかけられているように、ユーザＰに感じさせることができる。
（４）ユーザＰとの距離を近づけるように、コミュニケーションロボット１を移動させるので、囁くような小声で話しかけても、ユーザＰに聞こえるようにできる。また、大きな音量で音声データを出力する訳ではないので、第三者には、会話内容を聞かれるリスクを抑えることができる。

（５）コミュニケーションロボット１の周辺の音声データの音量に基づいて混雑度を判定するので、ユーザＰとの間の会話のためにどの程度の近づき加減で行えばよいかを、周囲の音量によって変えることができる。
（６）コミュニケーションロボット１と、ユーザＰとを結ぶ位置を除く範囲には、会話を聞き取りにくくする消音データを出力するので、第三者には、会話の内容を聞き取りにくくできる。
（７）画像データの取得から音声認識処理又は発話処理までの全ての処理を、コミュニケーションロボット１が行うことができる。よって、コミュニケーションロボット１のみを準備すればよく、設置を容易に行うことができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）本実施形態では、コミュニケーションロボットが、対象のユーザに対して音声データを出力するスピーカを有するものとして説明したが、これに限定されない。
図７は、変形形態に係るコミュニケーションロボットの具体例を示す図である。
コミュニケーションロボットとは別にスピーカを有して、コミュニケーションロボットに外付けしてもよい。そして、図７（Ａ）に示すように、スピーカ７２（指向音声出力部）は、指向性を有するものであってもよい。その場合には、コミュニケーションロボット１が対象のユーザＰ２に近づかなくても、コミュニケーションロボット１は、スピーカ７２によって対象のユーザＰ２に向かって音声データを出力できる。
（２）本実施形態では、コミュニケーションロボットが対象のユーザの音声データを受け付けるマイクを有するものとして説明したが、これに限定されない。コミュニケーションロボットとは別にマイクを有し、コミュニケーションロボットに外付けしてもよい。そして、図７（Ｂ）に示すように、マイク７３（指向音声入力部）は、指向性を有するものであってもよい。その場合には、コミュニケーションロボット１が対象のユーザＰ３に近づかなくても、コミュニケーションロボット１は、マイク７３によって対象のユーザＰ３が発した音声データを受け付けることができる。

（３）本実施形態では、コミュニケーションロボットが対象のユーザに近づくように移動するものを例に説明したが、これに限定されない。コミュニケーションロボットが、表示装置を有し、表示装置に、「近づいて！」といった表示をさせることで、対象のユーザが自らコミュニケーションロボットに近づくようにして、コミュニケーションロボットの近くに対象のユーザを誘導するものであってもよい。
（４）本実施形態では、ユーザの目の向きが正面である場合に、コミュニケーションロボットを見ているとみなして、ユーザを特定するものとして説明したが、これに限定されない。さらに、ユーザの口が動いている場合に、ユーザを特定してもよい。その場合には、コミュニケーションロボットは、ユーザの話を聞くものとして動作すればよい。
（５）本実施形態では、ユーザの見ている方向を、目の目線の方向としてもよい。例えば、制御部は、検出した顔画像から目を抽出することができるが、抽出した目の眼球と瞳孔との相対位置に基づいて、目線の向きを取得できる。その結果、コミュニケーションロボット１を直視しているユーザを、対象にすることができる。

（６）本実施形態では、コミュニケーションロボットがユーザの顔を見ているように頭の向きを変更するものを例に説明したが、これに限定されない。
コミュニケーションロボットが話かける場合に、ユーザの耳を検出し、ユーザの耳に近接した位置で発話データを音声出力してもよい。そのようにすることで、あたかもユーザの耳元で囁くように演出でき、コミュニケーションロボットが発した音声データを、第三者により聞き取れないようにできる。
また、コミュニケーションロボットが話を聞く場合に、ユーザの口を検出し、マイク４３ａをユーザの口に近接した位置にしてもよい。そのようにすることで、あたかもコミュニケーションロボットの耳を近づけて聞くように演出でき、ユーザが発した音声データを、第三者により聞き取れないようにできる。

（７）本実施形態では、混雑度を、コミュニケーションロボットの周囲の音声データの音量に基づいて判定するものを例に説明したが、これに限定されない。混雑度の判定に、音量以外の周波数等を考慮してもよい。また、音声データではなく、コミュニケーションロボットが取得した画像データに含まれるユーザ数に基づいて、混雑度を判定してもよい。
（８）本実施形態では、画像データの取得から音声認識処理又は発話処理までの全ての処理を、コミュニケーションロボットが行うものとして説明したが、これに限定されない。このコミュニケーションロボットに対して通信接続されたサーバを備え、サーバが、少なくとも一部の処理を行うようにしてもよい。

１ コミュニケーションロボット
１０ 制御部
１１ 画像取得部
１２ 人物特定部
１３ 器官検出部
１４ ユーザ特定部
１５ 周辺音取得部
１６ 音量判定部
１７ 混雑度判定部
１８ 顔位置変更部
１９ 足移動部
２０ 消音出力部
２１ 発話部
２２ 音声受付部
２３ 音声認識部
３０ 記憶部
３１ａ 制御プログラム
３３ 消音データ記憶部
４１ カメラ
４２ａ，４２ｂ，７２ スピーカ
４３ａ，４３ｂ，７３ マイク
４４ モータ部
Ｐ，Ｐ１〜Ｐ３ ユーザ

Claims (14)

1. 音声入力部を備えたコミュニケーションロボットであって、
   被写体を撮影して撮影画像を生成する撮影部と、
   前記撮影部によって得られた撮影画像に基づいて、発話対象者を特定する対象者特定手段と、
   前記コミュニケーションロボットの配置位置周辺の混雑度を判定する混雑度判定手段と、
   前記混雑度判定手段による判定結果に応じて所定の処理を行うとともに、前記音声入力部を介して音声を受け付ける音声受付手段と、
   前記音声受付手段が受け付けた音声を認識して発話内容を取得する音声認識手段と、
   を備えるコミュニケーションロボット。
2. 請求項１に記載のコミュニケーションロボットにおいて、
   前記所定の処理として、前記対象者特定手段により特定した前記発話対象者と、このコミュニケーションロボットとを近接させるための処理を行うこと、
   を特徴とするコミュニケーションロボット。
3. 請求項２に記載のコミュニケーションロボットにおいて、
   前記所定の処理として、前記対象者特定手段により特定した前記発話対象者までの距離が前記混雑度に対応した距離になるように、このコミュニケーションロボットを移動させる処理を行うこと、
   を特徴とするコミュニケーションロボット。
4. 請求項１から請求項３までのいずれかに記載のコミュニケーションロボットにおいて、
   前記撮影部によって得られた撮影画像から人物を特定する人特定手段と、
   前記人特定手段によって特定した人物の顔の器官を検出する器官検出手段と、
   を備え、
   前記対象者特定手段は、前記器官検出手段により検出した顔の器官から目を特定し、特定した目の向きに基づいて前記発話対象者を特定すること、
   を特徴とするコミュニケーションロボット。
5. 請求項４に記載のコミュニケーションロボットにおいて、
   前記対象者特定手段は、さらに前記器官検出手段により検出した顔の器官から口を特定し、特定した口が動いている人物を、前記発話対象者として特定すること、
   を特徴とするコミュニケーションロボット。
6. 請求項４又は請求項５に記載のコミュニケーションロボットにおいて、
   前記器官検出手段により検出した顔の器官から目を特定し、このコミュニケーションロボットの顔の位置を、特定した目に対面する位置に変更する顔位置変更手段を備えること、
   を特徴とするコミュニケーションロボット。
7. 請求項４又は請求項５に記載のコミュニケーションロボットにおいて、
   前記所定の処理として、前記器官検出手段により検出した顔の器官から口を特定し、前記音声入力部の位置を、特定した口に対面する位置に変更する処理を行うこと、
   を特徴とするコミュニケーションロボット。
8. 請求項４から請求項６までのいずれかに記載のコミュニケーションロボットにおいて、
   前記音声受付手段は、前記対象者特定手段により特定した前記発話対象者の口が動いている間の音声を受け付けること、
   を特徴とするコミュニケーションロボット。
9. 請求項１に記載のコミュニケーションロボットにおいて、
   特定方向から発せられた音を入力する指向音声入力部を備え、
   前記所定の処理として、前記混雑度が閾値以上の場合に、前記対象者特定手段により特定した前記発話対象者の位置を特定し、特定した前記位置への方向が前記特定方向になるように、前記指向音声入力部の方向を設定する処理を行い、
   前記音声受付手段は、前記指向音声入力部を介して音声を受け付けること、
   を特徴とするコミュニケーションロボット。
10. 請求項１から請求項９までのいずれかに記載のコミュニケーションロボットにおいて、
    前記コミュニケーションロボットの配置位置周辺の音声を取得する周辺音取得手段と、
    前記周辺音取得手段によって取得した前記音声の音量レベルを判定する音量判定手段と、
    を備え、
    前記混雑度判定手段は、前記音量判定手段により判定した音量レベルに基づいて、前記混雑度を判定すること、
    を特徴とするコミュニケーションロボット。
11. 請求項１から請求項１０までのいずれかに記載のコミュニケーションロボットにおいて、
    前記混雑度判定手段は、前記撮影部によって得られた前記撮影画像に基づいて、前記混雑度を判定すること、
    を特徴とするコミュニケーションロボット。
12. 請求項１から請求項１１までのいずれかに記載のコミュニケーションロボットにおいて、
    前記所定の処理として、前記発話対象者が発した音声をうち消す音を、前記対象者特定手段によって特定された前記発話対象者に対する方向とは異なる方向に、消音出力部から出力する処理を行うこと、
    を特徴とするコミュニケーションロボット。
13. 請求項１から請求項１２までのいずれかに記載のコミュニケーションロボットとしてコンピュータを機能させるためのプログラム。
14. 被写体を撮影して撮影画像を生成する撮影部及び音声入力部を備えたコミュニケーションロボットと、
    前記コミュニケーションロボットに対して通信可能に接続されたサーバと、
    を備えるコミュニケーションロボットシステムであって、
    前記サーバは、
    前記コミュニケーションロボットによって得られた撮影画像に基づいて、発話対象者を特定する対象者特定手段と、
    前記コミュニケーションロボットの配置位置周辺の混雑度を判定する混雑度判定手段と、
    前記混雑度判定手段により判定された前記混雑度に基づく処理データを、前記コミュニケーションロボットに送信するデータ送信手段と、
    を備え、
    前記コミュニケーションロボットは、
    前記サーバから受信した前記処理データを実行する混雑処理手段と、
    前記音声入力部を介して音声を受け付ける音声受付手段と、
    前記音声受付手段が受け付けた音声を認識して発話内容を取得する音声認識手段と、
    を備えること、
    を特徴とするコミュニケーションロボットシステム。

Images