JP2007181888A - コミュニケーションロボットシステム - Google Patents

Abstract

【構成】コミュニケーションロボットシステム２００は人の視線を検出する視線計測装置１４を含む。コミュニケーションロボット１０は人の視線に応じてその視線を動かす。たとえば、人に見られているとき当該人の目を見詰め返し、人に見られていないとき当該人と同じ方向に目を向ける。なお、ロボット１０はたとえば人の眼に照射された赤外線の角膜反射像を赤外線カメラ７４で検出し当該人の眼の位置を検出する。または、人に見られているとき当該人の眼の位置から視線をそらし、人に見られていないとき当該人の眼を盗み見する。あるいは、見詰め合っている時間が閾値を超えたとき人の眼から視線をそらし、見詰め合っている時間が閾値未満のとき人の眼を見詰め返したり人の視線を追ったりする。
【効果】人と視線のやりとりを行うことができ、人の眼を見ていることや見ていないことを人に強く実感させることができる。
【選択図】図３

Description

この発明はコミュニケーションロボットシステムに関し、特にたとえば、人間の視線を検出するコミュニケーションロボットシステムに関する。

たとえば本件出願人による特許文献１には、カメラ画像に基づいて検出した物体の位置を注視するコミュニケーションロボットが開示される。この技術では、物体として特に人の顔を検出することによって、人の顔に眼を向けることができる。そして、検出した顔の位置に眼を向けることによって、その人の顔を注視したり、その人と視線を合わせることを表現したりしていた。
特開２００４−４２１５１号公報

しかし、従来技術では、人の視線を検出することができないので、その人がどこを見ているのかを把握することができなかった。したがって、人の視線に応じて視線を変えるなど、人と視線をやりとりすることが困難であった。また、人の眼の位置を正確に検出することができないので、その人の眼を注視することが困難であった。したがって、ロボットから眼を見詰められ、あるいは見られていないことを人に実感させることが困難であった。

それゆえに、この発明の主たる目的は、人と視線をやりとりすることができる、コミュニケーションロボットシステムを提供することである。

この発明の他の目的は、見られていることや見られていないことを人に強く実感させることができる、コミュニケーションロボットシステムを提供することである。

請求項１の発明は、人の視線を検出する視線検出手段、および視線検出手段によって検出された人の視線に応じて視線を動かす視線制御手段を備える、コミュニケーションロボットシステムである。

請求項１の発明では、コミュニケーションロボットシステムは、視線検出手段によって人の視線を検出する。視線検出手段は、たとえば、人に装着される視線計測装置であり、当該人の眼球運動および視野画像の計測によって当該人の視線ないし注視点を検出する。視線制御手段は、検出された人の視線に応じてコミュニケーションロボットの視線を動かす。たとえば、人に見られているとき当該人の目を見詰め返したり、人に見られていないとき人の視線を追ったりするように、視線が制御される。または、人に見られているとき当該人の目から目をそらしたり、人に見られていないとき当該人の目を盗み見したりするように、視線が制御されてよい。あるいは、見詰め合っている時間が所定値を超えた場合見詰め合うのを止めたり、見詰め合っている時間が所定値よりも小さい場合人の目を見詰め返したり人の視線を追ったりするように、視線が制御されてもよい。なお、コミュニケーションロボットが変位可能な眼球部を備える場合、視線制御手段は眼球部を変位させることによって視線を制御する。また、コミュニケーションロボットが眼の設けられた変位可能な頭部を備える場合には、視線制御手段は頭部を変位させることによって視線を制御してもよい。あるいは、眼球部および頭部の両方を変位させるようにしてもよい。

請求項１の発明によれば、検出した人の視線に応じて視線が制御されるので、人と視線をやりとりすることができるコミュニケーションロボットを実現できるし、また、コミュニケーションロボットに見られていることや見られていないことを人に強く実感させることができる。

請求項２の発明は、請求項１の発明に従属し、人の眼の位置を検出する眼位置検出手段をさらに備え、視線制御手段は、眼位置検出手段によって検出された人の眼の位置に基づいて視線を動かす。

請求項２の発明では、眼位置検出手段によって人の眼の位置が検出される。たとえば、人の視線を計測するために人の眼に照射される赤外線の反射像を赤外線カメラで検出することによって、人の眼の位置を検出する。視線制御手段は、検出された人の眼の位置に基づいて視線を動かす。したがって、人の視線に応じて、人の眼の位置に視線を向けたり、人の眼の位置から視線をそらしたりするなどの視線制御を行うことができる。

請求項３の発明は、請求項２の発明に従属し、視線制御手段は、視線検出手段による検出結果に基づいて人に見られていると判定されるとき、眼位置検出手段によって検出された人の眼の位置に視線を向ける。

請求項３の発明では、検出された人の視線に基づいて当該人に見られていると判定されるとき、視線制御手段によって、当該人の眼の位置に視線が向けられる。したがって、人に見られたとき、当該人の眼を見詰め返すことができる。

請求項４の発明は、請求項２の発明に従属し、視線制御手段は、視線検出手段による検出結果に基づいて人に見られていると判定されるとき、眼位置検出手段によって検出された人の眼の位置以外に視線を向ける。

請求項４の発明では、検出された人の視線に基づいて当該人に見られていると判定されるとき、視線制御手段によって、当該人の眼の位置以外に視線が向けられる。したがって、人に見られたとき、当該人の眼から視線をそらすことができる。

請求項５の発明は、請求項２ないし４の発明のいずれかに従属し、視線制御手段は、視線検出手段による検出結果に基づいて人に見られていないと判定されるとき、眼位置検出手段によって検出された人の眼の位置に視線を向ける。

請求項５の発明では、検出された人の視線に基づいて当該人に見られていないと判定されるとき、視線制御手段によって、当該人の眼の位置に視線が向けられる。したがって、人に見られていないとき、当該人の眼を盗み見することができる。

請求項６の発明は、請求項１ないし３の発明のいずれかに従属し、視線制御手段は、視線検出手段による検出結果に基づいて人に見られていないと判定されるとき、人の視線と同じ方向に視線を向ける。

請求項６の発明では、検出された人の視線に基づいて当該人に見られていないと判定されるとき、視線制御手段によって、当該人の視線と同じ方向に視線が向けられる。したがって、人に見られていないとき、当該人の視線を追うことができる。

請求項７の発明は、請求項１ないし６の発明のいずれかに従属し、視線検出手段は、人の眼に向けて赤外線を照射する赤外線発光装置、人の眼の赤外線画像を撮影する第１赤外線カメラ、および人の視野画像を撮影する視野カメラを含み、人の視線として、赤外線画像および視野画像に基づいて人の注視点を検出する。

請求項７の発明では、視線検出手段は、赤外線発光装置、第１赤外線カメラおよび視野カメラを含む。たとえば、赤外線発光装置によって人の眼に照射された赤外線による輝点（角膜反射像）と瞳孔とを第１赤外線カメラで検出することによって、当該人の眼の回転運動が計測される。視線検出手段は、この眼球運動と視野カメラで撮影された人の視野画像とを関連付けることによって、人の視線すなわち注視点を検出することができる。これによって、人がロボットの顔ないし頭部などを見ているのか否かを把握することが可能であるし、人が見ている位置や物体などを特定することも可能になる。

請求項８の発明は、請求項２ないし７の発明のいずれかに従属し、眼位置検出手段は、赤外線画像を撮影する第２赤外線カメラを含み、第２赤外線カメラによって人の眼に反射した赤外線を検出することによって人の眼の位置を検出する。

請求項８の発明では、眼位置検出手段は、第２赤外線カメラを含む。第２赤外線カメラの赤外線画像から人の眼に反射した赤外線（角膜反射像）を検出することによって、当該人の眼の位置を検出することができる。なお、人の眼で反射される赤外線は、たとえば、視線検出手段の赤外線発光装置から照射された赤外線であってよい。これによって、人の眼の位置を把握することができる。

なお、請求項２の発明に従属するある発明では、視線制御手段は、相互注視時間が第１閾値を超えた場合、眼位置検出手段によって検出された人の眼の位置以外に視線を向けるようにしてもよい。このように構成した場合には、人とロボットとが見詰め合っている時間が所定時間を超えたときには、当該人の眼から視線をそらして、見詰め合うのを止めることができる。このため、適切な時間だけ人と見詰め合うことができ、より自然な対話やコミュニケーションを行える。

また、請求項２の発明または上記発明に従属する別の発明では、視線制御手段は、相互注視時間が第２閾値よりも小さい場合、眼位置検出手段によって検出された人の眼の位置に視線を向けるようにしてもよい。このように構成した場合には、人とロボットとが見詰め合っている時間が所定時間になるまでは、当該人と見詰め合うように視線を制御できる。このため、適切な時間だけ人と見詰め合うことができ、より自然な対話やコミュニケーションを行える。また、上記発明と組み合わせた発明では、第２閾値を第１閾値よりも小さい値に設定し、見詰め合っていないときに相互注視時間を減算するようにすれば、相互注視時間が第１閾値を超えたときに、見詰め合うのを止め、その後相互注視時間が第２閾値よりも小さくなったときに、再び人と見詰め合うというように、視線を制御することができる。したがって、適切な時間だけ見詰め合いかつ適切な時間だけ目を合わさないように視線を制御できるので、より自然な対話やコミュニケーションを行うことができる。

この発明によれば、人の視線を検出して、当該人の視線に応じて視線を動かすようにしたので、人と視線をやりとりすることができる。また、人の視線に応じてコミュニケーションロボットの視線が動かされるので、コミュニケーションロボットから見られていること、あるいは、見られていないことを、人に強く実感させることができる。したがって、より自然な対話やコミュニケーションを実行することが可能になる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のコミュニケーションロボットシステム（以下、単に「システム」という。）２００は、コミュニケーションロボット（以下、単に「ロボット」という。）１０、およびコミュニケーションの対象である人間１２の視線を検出するための視線計測装置１４を含む。ロボット１０は、身振りおよび発話の少なくとも一方を用いて人間１２と相互作用する機能を備えており、たとえば、日常生活の中で人間１２とかかわりながら活動し、人間１２と同じ環境で対等なパートナとして振る舞うことが可能である。このロボット１０は、人間１２とのコミュニケーションにおいて、視線計測装置１４を用いて計測された人間１２の視線に応じて動作することができる。

視線計測装置１４は、視野カメラ１６、赤外線発光装置１８、および赤外線カメラ２０を含み、これらは、たとえばキャップ２２を用いて人間１２に装着されるとともに、たとえば人間１２に背負われた携帯型のコンピュータ２４に接続される。

視野カメラ１６は、たとえばカラービデオカメラであり、人間１２の視野の映像を撮影し、当該映像信号をコンピュータ２４に出力する。赤外線発光装置１８は赤外線ＬＥＤを含み、人間１２の眼に向けて赤外線を照射する。赤外線カメラ２０は、たとえば赤外線フィルタ付きビデオカメラであり、人間１２の眼の赤外線の映像を撮影し、当該映像信号をコンピュータ２４に出力する。

コンピュータ２４は、たとえば一定時間ごとに赤外線画像および視野画像に基づいて人間１２の視線を検出する。赤外線カメラ２０によって撮影された赤外線画像には、瞳孔と赤外線発光装置１８からの赤外線が角膜で反射することによって得られた輝点（角膜反射像）とが含まれる。コンピュータ２４は、赤外線画像における瞳孔および輝点の位置に基づいて人間１２の眼球運動を検出し、この眼球の回転運動と視野画像とを関連付けることによって、人間１２の視線や注視点を検出する。また、赤外線発光装置１８および赤外線カメラ２０のセットを両目に対して設けて両目同時計測を行うことによって、輻輳角および注視点距離を計測することが可能になる。また、コンピュータ２４は、ロボット１０と無線通信可能であり、たとえば無線ＬＡＮのようなネットワークを介してまたは直接にロボット１０と通信することができる。コンピュータ２４は、検出した人間１２の視線ないし注視点に関する情報や、視野カメラ１６で撮影された視野映像などをロボット１０に送信する。

上述のような視線計測装置１４の一例として、株式会社ナックイメージテクノロジーの視線計測システム「アイマークレコーダ」（http://www.eyemark.jp/）の技術を適用することができる。

図２を参照して、ロボット１０は台車２６を含み、この台車２６の下面には、このロボット１０を自律移動させる車輪２８が設けられる。この車輪２８は、車輪モータ（図３において参照番号「３０」で示す。）によって駆動され、台車２６すなわちロボット１０を前後左右任意の方向に動かすことができる。なお、図２では示さないが、この台車２６の前面には、衝突センサ（図３において参照番号「３２」で示す。）が取り付けられ、この衝突センサ３２は、台車２６への人や他の障害物との接触を検知する。ロボット１０の移動中に接触を検知すると、直ちに車輪２８の駆動を停止することができる。

台車２６の上には、多角形柱のセンサ取付パネル３４が設けられ、このセンサ取付パネル３４の各面には、超音波距離センサ３６が取り付けられる。この超音波距離センサ３６は、取付パネル３４すなわちロボット１０の周囲の主として人間１２との間の距離を計測するためのものである。

台車２６の上には、さらに、ロボット１０の胴体が、その下部が上述の取付パネル３４に囲まれて、直立するように取り付けられる。この胴体は下部胴体３８と上部胴体４０とから構成され、これら下部胴体３８および上部胴体４０は、連結部４２によって連結される。連結部４２には、図示しないが、昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体４０の高さすなわちロボット１０の高さを変化させることができる。昇降機構は、腰モータ（図３において参照番号「４４」で示す。）によって駆動される。

上部胴体４０には、１つの全方位カメラ４６が設けられる。全方位カメラ４６はたとえば背面側上端部のほぼ中央から延びる支柱４８上に設置される。全方位カメラ４６は、ロボット１０の周囲を撮影するものであり、後述する眼カメラ５０とは区別される。この全方位カメラ４６としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。また、上部胴体４０の正面側のほぼ中央には、１つのマイク５２が設けられる。マイク５２は、周囲の音、とりわけコミュニケーション対象である人間１２の声を取り込む。なお、これら全方位カメラ４６およびマイク５２の設置位置は上部胴体４０に限られず適宜変更され得る。

上部胴体４０の両肩には、それぞれ、肩関節５４Ｒおよび５４Ｌによって、上腕５６Ｒおよび５６Ｌが取り付けられる。肩関節５４Ｒおよび５４Ｌは、それぞれ３軸の自由度を有する。すなわち、右肩関節５４Ｒは、Ｘ軸，Ｙ軸およびＺ軸の各軸廻りにおいて上腕５６Ｒの角度を制御できる。Ｙ軸は、上腕５６Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に、それぞれ異なる方向から直交する軸である。左肩関節５４Ｌは、Ａ軸，Ｂ軸およびＣ軸の各軸廻りにおいて上腕５６Ｌの角度を制御できる。Ｂ軸は、上腕５６Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に、それぞれ異なる方向から直交する軸である。

上腕５６Ｒおよび５６Ｌのそれぞれの先端には、肘関節５８Ｒおよび５８Ｌを介して、前腕６０Ｒおよび６０Ｌが取り付けられる。肘関節５８Ｒおよび５８Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕６０Ｒおよび６０Ｌの角度を制御できる。

なお、上腕５６Ｒおよび５６Ｌならびに前腕６０Ｒおよび６０Ｌの変位を制御するＸ，Ｙ，Ｚ，Ｗ軸およびＡ，Ｂ，Ｃ，Ｄ軸では、「０度」がホームポジションであり、このホームポジションでは、上腕５６Ｒおよび５６Ｌならびに前腕６０Ｒおよび６０Ｌは下方向に向けられる。

また、図２では示さないが、上部胴体４０の肩関節５４Ｒおよび５４Ｌを含む肩の部分や上述の上腕５６Ｒおよび５６Ｌならびに前腕６０Ｒおよび６０Ｌを含む腕の部分には、それぞれ、タッチセンサ（図３において参照番号「６２」で包括的に示す。）が設けられていて、これらのタッチセンサ６２は、人間１２がロボット１０のこれらの部位に接触したかどうかを検知する。

前腕６０Ｒおよび６０Ｌのそれぞれの先端には、手に相当する球体６４Ｒおよび６４Ｌがそれぞれ固定的に取り付けられる。なお、この球体６４Ｒおよび６４Ｌに代えて、この実施例のロボット１０と異なり指の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。

上部胴体４０の中央上方には、首関節６６を介して、頭部６８が取り付けられる。この首関節６６は、３軸の自由度を有し、Ｓ軸，Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、このＳ軸に対して異なる方向で直交する軸である。頭部６８には、人の口に相当する位置に、スピーカ７０が設けられる。なお、スピーカ７０は、ロボット１０が、それの周囲の人に対して音声または声によってコミュニケーションを図るために用いられる。また、スピーカ７０は、ロボット１０の他の部位たとえば胴体に設けられてもよい。

また、頭部６８には、目に相当する位置に眼球部７２Ｒおよび７２Ｌが設けられる。眼球部７２Ｒおよび７２Ｌは、それぞれ眼カメラ５０Ｒおよび５０Ｌを含む。なお、左右の眼球部７２Ｒおよび７２Ｌをまとめて参照符号「７２」で示し、左右の眼カメラ５０Ｒおよび５０Ｌをまとめて参照符号「５０」で示すこともある。眼カメラ５０は、ロボット１０に接近した人間１２の顔や他の部分ないし物体等を撮影してその映像信号を取り込む。なお、眼カメラ５０としては上述の全方位カメラ４６と同様なイメージセンサが使用され得る。

たとえば、眼カメラ５０は眼球部７２内に固定され、眼球部７２は眼球支持部（図示せず）を介して頭部６８内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部６８に対して設定される軸であり、α軸は頭部６８の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部６８の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部６８がホームポジションにあるとき、α軸はＳ軸に平行し、β軸はＵ軸に平行するように設定されている。このような頭部６８において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部７２ないし眼カメラ５０の先端（正面）側が変位され、カメラ軸すなわち視線が移動される。

なお、眼カメラ５０の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、眼カメラ５０のカメラ軸は頭部６８の正面側（顔）が向く方向に向けられ、視線は正視状態となる。

さらに、頭部６８の上部中央には、赤外線カメラ７４がそのカメラ軸を頭部６８の正面に向けた状態で固定的に設けられる。したがって、赤外線カメラ７４のカメラ軸は頭部６８の変位とともに変位される。赤外線カメラ７４は、たとえば赤外線フィルタ付きイメージセンサであり、視線計測装置１４を装着した人間１２の眼で反射した赤外線を検出するために設けられる。なお、赤外線カメラ７４は、頭部６８の他の場所や他の部位たとえば上部胴体４０に設けられてもよい。

図３を参照して、ロボット１０は、全体の制御のためにマイクロコンピュータまたはＣＰＵ７６を含み、このＣＰＵ７６には、バス７８を通して、メモリ８０，モータ制御ボード８２，センサ入力／出力ボード８４および音声入力／出力ボード８６が接続される。

メモリ８０は、図示しないが、ＲＯＭやＨＤＤおよびＲＡＭ等を含み、ＲＯＭまたはＨＤＤには、このロボット１０の動作を制御するためのプログラムおよびデータが予め格納されている。ＣＰＵ７６は、このプログラムに従って処理を実行する。また、ＲＡＭは、バッファメモリやワーキングメモリとして使用される。

モータ制御ボード８２は、たとえばＤＳＰ(Digital Signal Processor)で構成され、右腕、左腕、頭および眼等の身体部位を駆動するためのモータを制御する。すなわち、モータ制御ボード８２は、ＣＰＵ７６からの制御データを受け、右肩関節５４ＲのＸ，ＹおよびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節５８Ｒの軸Ｗの角度を制御する１つのモータを含む計４つのモータ（図３ではまとめて「右腕モータ」として示す。）８８の回転角度を調節する。また、モータ制御ボード８２は、左肩関節５４ＬのＡ，ＢおよびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節５８ＬのＤ軸の角度を制御する１つのモータとを含む計４つのモータ（図３ではまとめて「左腕モータ」として示す。）９０の回転角度を調節する。モータ制御ボード８２は、また、首関節６６のＳ，ＴおよびＵ軸のそれぞれの角度を制御する３つのモータ（図３ではまとめて「頭部モータ」として示す。）９２の回転角度を調節する。モータ制御ボード８２は、また、腰モータ４４および車輪２８を駆動する２つのモータ（図３ではまとめて「車輪モータ」として示す。）３０を制御する。さらに、モータ制御ボード８２は、右眼球部７２Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３ではまとめて「右眼球モータ」として示す。）９４の回転角度を調節し、また、左眼球部７２Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３ではまとめて「左眼球モータ」として示す。）９６の回転角度を調節する。

なお、この実施例の上述のモータは、車輪モータ３０を除いて、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、車輪モータ３０と同様に、直流モータであってよい。また、この実施例では、ロボット１０の腕、頭、眼などの身体部位を駆動するアクチュエータとして電力を駆動源とするモータを用いた。しかしながら、このロボット１０としては、たとえば空気圧（または負圧）、油圧、圧電素子あるいは形状記憶合金などによる他のアクチュエータによって身体部位を駆動するロボットが適用されてもよい。

センサ入力／出力ボード８４も、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ７６に与える。すなわち、超音波距離センサ３６の各々からの反射時間に関するデータがこのセンサ入力／出力ボード８４を通して、ＣＰＵ７６に入力される。また、全方位カメラ４６からの映像信号が、必要に応じてこのセンサ入力／出力ボード８４で所定の処理が施された後、ＣＰＵ７６に入力される。眼カメラ５０からの映像信号も、同様にして、ＣＰＵ７６に与えられる。赤外線カメラ７４からの映像信号も、同様にして、ＣＰＵ７６に与えられる。また、タッチセンサ６２および衝突センサ３２からの信号がセンサ入力／出力ボード８４を介してＣＰＵ７６に与えられる。

スピーカ７０には音声入力／出力ボード８６を介して、ＣＰＵ７６から音声データが与えられ、それに応じて、スピーカ７０からはそのデータに従った音声または声が出力される。また、マイク５２からの音声入力が、音声入力／出力ボード８６を介して音声データとしてＣＰＵ７６に取り込まれる。

さらに、ＣＰＵ７６には、バス７８を介して通信ＬＡＮボード９８が接続される。通信ＬＡＮボード９８は、同様にＤＳＰで構成され、無線通信装置１００に接続される。この実施例では、ロボット１０のＣＰＵ７６は、通信ＬＡＮボード９８および無線通信装置１００を用いて無線ＬＡＮなどのネットワークに通信接続される。通信ＬＡＮボード９８は、ＣＰＵ７６から与えられた送信データを無線通信装置１００に与えて、当該データを無線通信装置１００から送信する。また、通信ＬＡＮボード９８は無線通信装置１００を介してデータを受信し、受信データをＣＰＵ７６に与える。

さらにまた、ＣＰＵ７６には、上述の視線計測装置１４が、通信ＬＡＮボード９８、無線通信装置１００およびネットワークを介して無線により接続される。視線計測装置１４は、上述のようにコンピュータ２４を含み、コンピュータ２４は、視野カメラ１６の映像信号および赤外線カメラ２０の映像信号を取得し、また、赤外線発光装置１８の発光を制御する。また、コンピュータ２４は、視野カメラ１６で撮影された視野映像および赤外線カメラ２０で撮影された赤外線映像に基づいて、人間１２の注視点の位置を検出する。さらに、コンピュータ２４は、検出した人間１２の注視点に関する情報および視野カメラ１６で撮影された視野画像等の必要な情報をＣＰＵ７６に送信する。

このようなシステム２００では、視線計測装置１４によってコミュニケーションの相手である人間１２の注視点が検出され、当該人間１２の注視点の位置に応じてロボット１０の視線が制御される。たとえば、追従モード、逃避モードおよび見詰め合いモードが準備される。

追従モードでは、ロボット１０の視線は、人間１２の目の位置や視線を追うように制御される。具体的には、まず、視線計測装置１４から人間１２の注視点および視野画像が取得され、人間１２がロボット１０を見ているか否かが判定される。ロボット１０が人間１２に注視されている場合には、赤外線カメラ７４からの画像に基づいて当該人間１２の目の位置を検出し、この人間１２の目の位置を見るように頭部６８および／または眼球部７２を変位させることによって、ロボット１０の視線が制御される。このようにして、ロボット１０は、人間１２が自分を見ている場合には、当該人間１２の目の位置に視線を向けて、当該人間１２を見詰め返す。

一方、ロボット１０が人間１２に注視されていない場合には、当該人間１２が見ている位置を検出し、当該人間１２と同じ方向を見るように頭部６８および／または眼球部７２を変位させることによって、ロボット１０の視線が制御される。このようにして、ロボット１０は、人間１２が自分を見ていない場合には、当該人間１２の視線の先を追い、当該人間１２の見ているものをその人間１２と一緒に見る。

その後、たとえば、一定時間が経過し、または、人間１２の注視点の変化が検出されたときには、再び、人間１２がロボット１０を見ているか否かに応じて、ロボット１０の視線が制御される。

このように、追従モードでは、人間１２の視線の動きに応じて、人間１２の目を見詰め返したり人間１２の視線を追ったりするように、ロボット１０の視線が動かされる。このシステム２００によれば、ロボット１０が人間１２を見ていることや人間１２の目の動きを見ていること等を当該人間１２に強く実感させることができる。したがって、人間１２に知的な印象を与えることができるし、どこを見ているのかを明確に伝えることができるので、人間１２とより自然な対話やコミュニケーションを実行することが可能になる。

図４にはロボット１０のＣＰＵ７６の追従モードにおける動作の一例が示される。ステップＳ１では、人間１２の注視点が検出される。具体的には、視線計測装置１４で検出された人間１２の注視点が取得される。また、視野画像などの必要な情報も取得される。

次に、ステップＳ３で、人間１２がロボット１０を見ているのか否かが判定される。この実施例では、ロボット１０の顔を見ているか否かが判定される。たとえば、予め記憶しておいたロボット１０の顔画像に基づいて視野画像におけるロボット１０の顔の位置が検出され、当該ロボット１０の顔の位置（領域）内に注視点の座標が含まれる場合には、人間１２がロボット１０を注視していると判断され、当該ロボット１０の顔の位置（領域）内に注視点の座標が含まれない場合には、人間１２がロボット１０を注視していないと判断される。

ステップＳ３で“ＹＥＳ”であれば、つまり、ロボット１０が人間１２に見られている場合には、ステップＳ５で、人間１２の目の位置が検出される。たとえば、赤外線カメラ７４から取得した赤外線画像における輝点（角膜反射像）を検出することによって人間１２の目の位置が算出される。

続くステップＳ７で、人間１２の目の位置を見るように視線が制御される。これによって、ロボット１０は人間１２を見詰め返す。たとえば、眼球部７２のみの動きによって視線が動かされる。具体的には、ロボット１０の眼である眼球部７２が当該人間１２の目の位置を見るような、眼球部７２のα軸およびβ軸に関する制御データが算出される。そして、当該制御データがモータ制御ボード８２に与えられて、右眼球モータ９４および左眼球モータ９６の回転が制御される。または、頭部６８のみの動きによって視線が動かされてもよい。この場合には、眼球部７２が当該人間１２の目の位置を見るような、頭部６８（首関節６６）のＳ軸、Ｔ軸およびＵ軸に関する制御データが算出され、頭部モータ９２の回転が制御される。あるいは、眼球部７２および頭部６８の両方の動きによって視線が動かされてもよい。この場合には、眼球部７２が当該人間１２の目の位置を見るような、眼球部７２のα軸およびβ軸ならびに頭部６８のＳ軸、Ｔ軸およびＵ軸に関する制御データが算出されて、右眼球モータ９４、左眼球モータ９６および頭部モータ９２の回転が制御される。ステップＳ７を終了すると処理はステップＳ１３へ進む。

一方、ステップＳ３で“ＮＯ”であれば、つまり、ロボット１０が人間１２に見られていない場合には、ステップＳ９で、人間１２が見ている位置が検出される。具体的には、人間１２の注視点の３次元位置計測が行われる。たとえば、複数の視野カメラ１６で人間１２の頭の位置に対する注視点の３次元位置が計測される。また、ロボット１０の眼カメラ５０Ｒおよび５０Ｌまたは環境に設置したカメラ（図示しない）によって人間１２の頭の位置および姿勢が計測される。そして、ロボット１０の眼カメラ５０に対する注視点の３次元位置または環境に対する注視点の３次元位置が算出される。あるいは、物体認識が行われる。たとえば、視野カメラ１６の視野画像における人間１２の注視点周りの画像を用いて物体が認識される。また、ロボット１０の眼カメラ５０または環境に設置したカメラの画像に基づいて人間１２の見ている物体と一致する物体が探索され、当該物体の位置が算出される。

続くステップＳ１１で、人間１２と同じ方向を見るように視線が制御される。これによって、ロボット１０の視線は、人間１２の視線を追い、人間１２の見ているものを見る。ロボット１０の視線は、上述のステップＳ７と同様にして、眼球部７２および／または頭部６８を動かすことによって動かされる。眼球部７２がステップＳ９で検出された人間１２の見ている位置を見るような制御データが算出され、当該制御データに基づいて、対応するモータ９２、９４、９６の回転が制御される。ステップＳ１１を終了すると処理はステップＳ１３に進む。

ステップＳ１３では、注視点の変化または一定時間の経過が待機される。たとえば、視線計測装置１４から注視点に関する情報等が取得されて、当該注視点が前回取得した注視点と異なるか否かが判定される。注視点の変化がない場合には、たとえば、一定時間が経過するまで、注視点の変化の判定が繰返される。一方、注視点の変化が検出されたとき、または、一定時間が経過したときには、処理はステップＳ１５へ進む。

そして、ステップＳ１５で、この追従モードを終了するか否かが判定される。たとえば、オペレータからの終了指示を無線により受信した場合、人間１２がいなくなった場合等、追従モードを終了するための条件が満足されたか否かが判定される。ステップＳ１５で“ＮＯ”であれば、ステップＳ１に戻って、追従モードの動作が続けられ、“ＹＥＳ”であれば追従モードが終了される。

逃避モードでは、ロボット１０の視線は、人間１２と視線が合わないように制御される。具体的には、まず、視線計測装置１４から人間１２の注視点および視野画像が取得され、人間１２がロボット１０を見ているか否かが判定される。ロボット１０が人間１２に見られている場合には、当該人間１２の目の位置を検出し、この人間１２の目の位置以外を見るように頭部６８および／または眼球部７２を変位させることによって、ロボット１０の視線が制御される。このようにして、ロボット１０は、人間１２が自分を見ている場合には、当該人間１２の目の位置以外に視線を向けて、当該人間１２の目の位置から目をそらす。

一方、ロボット１０が人間１２に見られていない場合には、ロボット１０が人間１２を見ているか否かが判定される。ロボット１０が当該人間１２を見ていないときには、検出した人間１２の目の位置を見るように頭部６８および／または眼球部７２を変位させることによって、ロボット１０の視線が制御される。このようにして、ロボット１０は、人間１２が自分を見ておらず、かつ、自分も人間１２を見ていない場合には、当該人間１２の目の位置に目を向ける。つまり、ロボット１０は人間１２の目を盗み見する。

また、ロボット１０が人間１２に見られていない場合において、ロボット１０が人間１２を見ているときには、上述の人間１２に見られている場合と同様に、人間１２の目の位置以外を見るように視線が制御される。このように、ロボット１０は、自分を見ていない人間１２を見ている場合にも、当該人間１２の目の位置から目をそらす。したがって、この実施例では、ロボット１０は、人間１２の目を盗み見した後には当該人間１２の目の位置から目をそらすこととなる。

その後、たとえば、一定時間が経過し、または、人間１２の注視点の変化が検出されたときには、再び、人間１２がロボット１０を見ているか否か、あるいはロボット１０が人間１２を見ているか否かに応じて、ロボット１０の視線が制御される。

このように、逃避モードでは、人間１２の視線の動きやロボット１０の現在の視線に応じて、人間１２の目から目をそらしたり人間１２の目を盗み見したりするように、ロボット１０の視線が動かされる。このシステム２００によれば、ロボット１０が人間１２の目の動きを見ていること、その上で人間１２の目を見ていない（見ようとしない）ことを当該人間１２に強く実感させることができる。したがって、人間１２に知的な印象を与えることができるし、どこを見ているのかあるいは見ていないのかを明確に伝えることができるので、人間１２とより自然な対話やコミュニケーションを実行することが可能になる。

図５には、ロボット１０のＣＰＵ７６の逃避モードにおける動作の一例が示される。ステップＳ３１では、上述のステップＳ１と同様にして、人間１２の注視点が検出される。

次に、ステップＳ３３で、上述のステップＳ３と同様にして、人間１２がロボット１０を見ているのか否かが判定される。ステップＳ３３で“ＹＥＳ”であれば、つまり、ロボット１０が人間１２に見られている場合には、処理はステップＳ３７へ進む。

一方、ステップＳ３３で“ＮＯ”であれば、つまり、ロボット１０が人間１２に見られていない場合には、ステップＳ３５で、ロボット１０が人間１２を見ているか否かが判定される。たとえば、ロボット１０が人間１２の顔を見ているか否かが判定される。具体的には、眼カメラ５０で取得した画像において、眼球部７２の正面に対応する領域に、人間１２の顔を示す画像が入っているか否かが判定される。あるいは、赤外線カメラ７４の画像において、眼球部７２の正面に対応する領域に、赤外線照射による輝点が存在するか否かが判定されてもよい。ステップＳ３５で“ＹＥＳ”であれば、つまり、ロボット１０が自分を見ていない人間１２を見ている場合には、処理はステップＳ３７に進む。

ステップＳ３７では、上述のステップＳ５と同様にして、人間１２の目の位置が検出される。続くステップＳ３９では、人間１２の目の位置以外を見るように視線が制御される。これによって、ロボット１０は人間１２の目の位置から目をそらす。ステップＳ３９では、上述の追従モードの場合と同様に、視線は、眼球部７２および／または頭部６８を動かすことによって動かされる。ただし、人間１２の目の位置以外の位置を眼球部７２が見るような制御データが算出される。たとえば、人間１２の目の位置から所定距離以上離れた位置がランダムに選ばれてよい。ステップＳ３９を終了すると処理はステップＳ４５へ進む。

一方、ステップＳ３５で“ＮＯ”であれば、つまり、ロボット１０も人間１２も相手を見ていない場合には、ステップＳ４１で、上述のステップＳ１と同様にして、人間１２の目の位置が検出される。続くステップＳ４３では、上述のステップＳ７と同様にして、人間１２の目の位置を見るように視線が制御される。これによって、ロボット１０は、自分を見ていない人間１２の目を盗み見する。ステップＳ４３を終了すると処理はステップＳ４５へ進む。

ステップＳ４５では、上述のステップＳ１３と同様にして、注視点の変化または一定時間の経過が待機され、注視点が変化したとき、または、一定時間が経過したとき、処理はステップＳ４７へ進む。ステップＳ４７では、ステップＳ１５と同様にして、この逃避モードを終了するか否かが判断される。ステップＳ４７で“ＮＯ”であれば処理はステップＳ３１に戻って逃避モードの動作が続行され、“ＹＥＳ”でればこの逃避モードが終了される。

見詰め合いモードでは、ロボット１０の視線は、人間１２と見詰め合うように制御される。この実施例では、相互注視時間が計測され、この相互注視時間の値に応じて異なる方法で視線が制御される。相互注視時間は、ロボット１０と人間１２とが見詰め合った時間を示す。この実施例では、人間１２がロボット１０を見ている、かつ、ロボット１０が当該人間１２を見ていると判定されたとき、両者が見詰め合っていると判断して、相互注視時間が単位時間増加され、両者が見詰め合っていないと判定されるときには相互注視時間が単位時間減少される。つまり、相互注視時間としては、両者が連続的に見詰め合った時間が計測される。

相互注視時間の値は、ロボット１０が人間１２を見ているか否かに応じて異なる所定値を基に評価される。この実施例では、ロボット１０が人間１２を見ている場合には第１閾値が使用され、ロボット１０が人間１２を見ていない場合には第２閾値が使用される。第１閾値は第２閾値よりも大きい値に設定される。第１閾値はロボット１０が人間１２を見詰めたくなくなる限界を示し、第２閾値はロボット１０が人間１２を見詰めたくなる限界を示す。たとえば、第１閾値は３秒、第２閾値は２秒のように両値は適宜に設定される。

具体的には、ロボット１０が人間１２を見ていない場合において、相互注視時間が第２閾値よりも小さいときには、ロボット１０の視線は、人間１２とロボット１０とが見詰め合うように制御される。この実施例では、上述の追従モードで視線が制御され、ロボット１０は、人間１２に見られているとき当該人間１２を見詰め返し、人間１２に見られていないとき当該人間１２の視線を追う。

その後、ロボット１０が人間１２の目を見詰め返しているうちに相互注視時間は増加される。ロボット１０が人間１２を見ている場合において、相互注視時間が第１閾値を超えたときには、ロボット１０の視線は、人間１２の視線と合わないように制御される。この実施例では、上述の逃避モードで視線が制御され、ロボット１０は、人間１２の目の位置から目をそらす。なお、ロボット１０が人間１２を見ているときにこの第１閾値の判定が行われるので、この場合の逃避モードでは、盗み見が実行されることはない。

あるいは、相互注視時間が第１閾値を超える前に人間１２がロボット１０から目をそらしてロボット１０が人間１２の視線を追った場合において、相互注視時間が第２閾値を超えているときには、ロボット１０の視線は人間１２の視線と合わないように制御される。この実施例では、上述の逃避モードで視線が制御され、ロボット１０は、人間１２に見られているとき当該人間１２の目の位置から目をそらし、人間１２に見られていないとき当該人間１２の目を盗み見する。

そのうちに、相互注視時間が第２閾値を下回ると、ロボット１０の視線は、上述のように、再び人間１２と見詰め合うように制御される。

このように、見詰め合いモードでは、ロボット１０は、連続して見詰め合った時間が第１閾値に達していない場合には、人間１２と見詰め合うように視線を制御する。連続して見詰め合った時間が第１閾値を超えたときには、ロボット１０は人間１２から目をそらして見詰め合うのを止める。その後、見詰め合うのを止めてから所定時間（第１閾値−第２閾値）が経過して、相互注視時間が第２閾値よりも小さくなったときには、ロボット１０は再び人間１２と見詰め合うように視線を制御する。このシステム２００によれば、ロボット１０が人間１２の目を見ていること、あるいは、人間１２の目を見ていないことを、当該人間１２に強く実感させることができる。また、適切な時間（第１閾値）だけ人間１２と目を合わせ、その後、適切な時間（第１閾値−第２閾値）だけ人間１２から目をそらすことができる。したがって、人間１２に知的な印象を与えることができるし、どこを見ているのかあるいは見ていないのかを明確に伝えることができるので、人間１２とより自然な対話やコミュニケーションを実行することが可能になる。

図６には、ロボット１０のＣＰＵ７６の見詰め合いモードにおける動作の一例が示される。ステップＳ６１では、上述のステップＳ１と同様にして、人間１２の注視点が検出される。

次に、ステップＳ６３で、人間１２がロボット１０を見ていて、かつ、ロボット１０が人間１２を見ているか否か、すなわち、両者が見詰め合っているか否かが判定される。なお、人間１２がロボット１０を見ているか否かは上述のステップＳ３と同様にして判定され、ロボット１０が人間１２を見ているか否かは上述のステップＳ３５と同様にして判定される。

ステップＳ６３で“ＹＥＳ”であれば、つまり、両者が見詰め合っている場合には、ステップＳ６５で、相互注視時間が単位時間だけ増加される。一方、ステップＳ６３で“ＮＯ”であれば、つまり、両者が見詰め合っていない場合には、ステップＳ６７で、相互注視時間が単位時間だけ減少される。なお、相互注視時間の初期値は０であり、また、その最小値も０であり、相互注視時間は減算によって０より小さくなる場合はリセットされる。

ステップＳ６５またはＳ６７を終了すると、ステップＳ６９で、ロボット１０が人間１２を見ているか否かが判定される。ロボット１０が人間１２を見ている場合には、ステップＳ７１で第１閾値に基づいて相互注視時間の判定が実行され、一方、ロボット１０が人間１２を見ていない場合には、ステップＳ７３で第２閾値に基づいて相互注視時間の判定が実行される。そして、相互注視時間の判定結果に応じて視線が制御される。

すわなち、ステップＳ６９で“ＹＥＳ”の場合、ステップＳ７１で相互注視時間が第１閾値未満であるか否かが判定される。ステップＳ７１で“ＹＥＳ”の場合、つまり、相互注視時間が見詰め合いたくなくなる限界に達していない場合には、ステップＳ７５で上述の追従モードと同様にして視線が制御される。詳しくは、図４の追従モードのステップＳ３からＳ１１の処理が実行され、ロボット１０は、人間１２がロボット１０を見ているときには当該人間１２の目を見詰め返し、人間１２がロボット１０を見ていないときには当該人間１２の視線を追う。一方、ステップＳ７１で“ＮＯ”の場合、つまり、相互注視時間が見詰め合いたくなくなる限界に達した場合には、ステップＳ７７で上述の逃避モードと同様にして視線が制御される。詳しくは、図５のステップＳ３３からＳ４３の処理が実行され、ロボット１０は人間１２の目の位置から目をそらす。

また、ステップＳ６９で“ＮＯ”の場合、ステップＳ７３で相互注視時間が第２閾値未満であるか否かが判定される。ステップＳ７３で“ＹＥＳ”の場合、つまり、相互注視時間が見詰め合いたくなる下限を超えている場合には、ステップＳ７５で上述の追従モードと同様にして視線が制御される。これによって、ロボット１０は、人間１２に見られているときには当該人間１２の目を見詰め返し、人間１２に見られていないときには当該人間１２の視線を追う。一方、ステップＳ７３で“ＮＯ”の場合、つまり、相互注視時間が第２閾値以上である場合には、ステップＳ７７で上述の逃避モードと同様にして視線が制御される。これによって、ロボット１０は、人間１２に見られているときには当該人間１２の目から視線をそらし、人間１２に見られていないときには当該人間１２の目を盗み見する。

ステップＳ７５またはＳ７７を終了すると、ステップＳ７９で、上述のステップＳ１３と同様にして、注視点の変化または一定時間の経過が待機され、注視点が変化したとき、または、一定時間が経過したとき、処理はステップＳ８１へ進む。ステップＳ８１では、ステップＳ１５と同様にして、この見詰め合いモードを終了するか否かが判断される。ステップＳ８１で“ＮＯ”であれば処理はステップＳ６１に戻って見詰め合いモードの動作が続行され、“ＹＥＳ”でればこの見詰め合いモードが終了される。

なお、上述の実施例の見詰め合いモードでは、ロボット１０が人間１２を見ているか否かに応じて異なる閾値を用いて相互注視時間の判定を行うようにしていた。しかし、他の実施例では、相互注視時間が所定の閾値未満の場合には、人間１２と見詰め合うようにたとえば追従モードで視線が制御され、相互注視時間が所定の閾値以上の場合には、人間１２と目を合わさないようにたとえば逃避モードで視線が制御されるようにしてもよい。

また、上述の各実施例では、視線計測装置１４のコンピュータ２４で人間１２の視線ないし注視点を検出して、当該検出情報をロボット１０に送信するようにしているが、他の実施例では、コンピュータ２４は視野カメラ１６で撮影した視野映像および赤外線カメラ２０で撮影した赤外線映像をロボット１０に送信し、ロボット１０のＣＰＵ７６が人間１２の視線ないし注視点を検出するようにしてもよい。

また、上述の各実施例では、眼球部７２を変位可能に設けたが、他の実施例では、眼球部７２を頭部６８に固定的に設けてもよい。その場合には、頭部６８を変位させることによって、眼球部７２の向きすなわち視線を動かす。

この発明の一実施例のコミュニケーションロボットシステムの概略を示す図解図である。 図１実施例のコミュニケーションロボットの外観の一例を示す図解図である。 図１実施例のコミュニケーションロボットシステムの電気的な構成の一例を示すブロック図である。 コミュニケーションロボットの追従モードにおける動作の一例を示すフロー図である。 コミュニケーションロボットの逃避モードにおける動作の一例を示すフロー図である。 コミュニケーションロボットの見詰め合いモードにおける動作の一例を示すフロー図である。

符号の説明

１０ …コミュニケーションロボット
１４ …視線計測装置
１６ …視野カメラ
１８ …赤外線発光装置
２０，７４ …赤外線カメラ
２４ …コンピュータ
６６ …首関節
６８ …頭部
７２ …眼球部
７６ …ＣＰＵ
８０ …メモリ
８２ …モータ制御ボード
８４ …センサ入力／出力ボード
９２ …頭部モータ
９４ …右眼球モータ
９６ …左眼球モータ
２００ …コミュニケーションロボットシステム

Claims (8)

1. 人の視線を検出する視線検出手段、および
   前記視線検出手段によって検出された前記人の視線に応じて視線を動かす視線制御手段を備える、コミュニケーションロボットシステム。
2. 前記人の眼の位置を検出する眼位置検出手段をさらに備え、
   前記視線制御手段は、前記眼位置検出手段によって検出された前記人の眼の位置に基づいて前記視線を動かす、請求項１記載のコミュニケーションロボットシステム。
3. 前記視線制御手段は、前記視線検出手段による検出結果に基づいて前記人に見られていると判定されるとき、前記眼位置検出手段によって検出された前記人の眼の位置に前記視線を向ける、請求項２記載のコミュニケーションロボットシステム。
4. 前記視線制御手段は、前記視線検出手段による検出結果に基づいて前記人に見られていると判定されるとき、前記眼位置検出手段によって検出された前記人の眼の位置以外に前記視線を向ける、請求項２記載のコミュニケーションロボットシステム。
5. 前記視線制御手段は、前記視線検出手段による検出結果に基づいて前記人に見られていないと判定されるとき、前記眼位置検出手段によって検出された前記人の眼の位置に前記視線を向ける、請求項２ないし４のいずれかに記載のコミュニケーションロボットシステム。
6. 前記視線制御手段は、前記視線検出手段による検出結果に基づいて前記人に見られていないと判定されるとき、前記人の視線と同じ方向に前記視線を向ける、請求項１ないし３のいずれかに記載のコミュニケーションロボットシステム。
7. 前記視線検出手段は、前記人の眼に向けて赤外線を照射する赤外線発光装置、前記人の眼の赤外線画像を撮影する第１赤外線カメラ、および前記人の視野画像を撮影する視野カメラを含み、前記人の視線として、前記赤外線画像および前記視野画像に基づいて前記人の注視点を検出する、請求項１ないし６のいずれかに記載のコミュニケーションロボットシステム。
8. 前記眼位置検出手段は、赤外線画像を撮影する第２赤外線カメラを含み、前記第２赤外線カメラによって前記人の眼に反射した赤外線を検出することによって前記人の眼の位置を検出する、請求項２ないし７のいずれかに記載のコミュニケーションロボットシステム。

Images