JP2006272471A - コミュニケーションロボット - Google Patents

Abstract

【構成】 コミュニケーションロボット１０は赤外線照射装置１００および赤外反射光計測用カメラ１０２を用いて、コミュニケーション相手である人間の視線を検出する。ロボット１０は検出結果により人間の視線がロボット１０の方を向いていないと判断すれば、人間の視線をロボット１０の方に向けさせる行動を取る。
【効果】 ロボット１０は人間の視線に応じた自然な働きかけを人間にすることができる。
【選択図】 図１

Description

この発明はコミュニケーションロボットに関し、特にたとえば、ロボットが人間との間でコミュニケーション行動を行う、コミュニケーションロボットに関する。

従来の視線を検出する装置の一例が、特許文献１に開示されている。

特許文献１では、赤外線発光ダイオートから赤外線を人間の目に照射し、その反射光をセンサで検出する。目の黒眼と白眼との赤外線の反射率の違いに基づいて、黒眼の位置を求め、人間の視線方向を検出している。
特開平８−２９２３６２号公報

特許文献１の技術のように、これまで人間の視線を検出するだけの装置はあった。しかし、ロボットが検出した視線を利用して人間に働きかけるシステムはなかった。

それゆえに、この発明の主たる目的は、新規な、コミュニケーションロボットを提供することである。

この発明の他の目的は、人間の視線に応じて人間に働きかけることができる、コミュニケーションロボットを提供することである。

請求項１の発明は、人間との間でコミュニケーション行動を実行するコミュニケーションロボットであって、コミュニケーション相手の視線を検出する視線検出手段、および視線検出手段の検出結果に応じたコミュニケーション行動を決定する行動決定手段を含む、コミュニケーションロボットである。

請求項１の発明では、コミュニケーションロボット（１０）は視線検出手段（５２、Ｓ５）および行動決定手段（５２、Ｓ７）を含む。視線検出手段（５２、Ｓ５）は人間などのコミュニケーション相手の視線を検出し、行動決定手段（５２、Ｓ７）はその視線に応じてコミュニケーション行動を決定する。たとえば、コミュニケーションロボット（１０）が人間の視線と合わせてコミュニケーション行動を取ることにより、人間どうしが会話するときのように自然なコミュニケーションを取ることができる。

請求項２の発明は、行動決定手段は、視線検出手段の検出結果に基づいて視線を向けさせる行動を取る、請求項１記載のコミュニケーションロボットである。

請求項２の発明では、視線検出手段（５２、Ｓ５）の検出結果により行動決定手段（５２、Ｓ７）は、コミュニケーション相手の視線がコミュニケーションロボット（１０）の方を向いていない判断した場合、行動決定手段（５２、Ｓ７）はその相手の視線をコミュニケーションロボット（１０）に向けさせる行動を取る。これにより、コミュニケーションロボット（１０）はコミュニケーション相手と視線を合わせて自然なコミュニケーション行動を実行することができる。

この発明によれば、コミュニケーションロボットがコミュニケーション相手の視線に応じてコミュニケーション行動を実行することにより、コミュニケーションロボットはコミュニケーション行動における自然な働きかけを人間にすることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のコミュニケーションロボット（以下、単に「ロボット」という。）１０は人間のような身体を有し、たとえば人間のようなコミュニケーション相手とコミュニケーションすることを目的とした相互作用指向のものであり、身振り（手振り）および発話（音声）の少なくとも一方を用いたコミュニケーションの行動（以下、「コミュニケーション行動」ということがある。）を行う機能を備える。

ロボット１０は台車１４を含み、台車１４の下面にロボット１０を自律移動させる車輪１６が設けられる。この車輪１６は車輪モータ（ロボット１０の内部構成を示す図２において参照番号「７４」で示す。）によって駆動され、台車１４すなわちロボット１０を前後左右任意の方向に動かす。

なお、図１では示さないが、衝突センサ（図２において参照番号「８２」で示す。）が台車１４の前面に取り付けられ、衝突センサ８２は台車１４への人間や他の障害物の接触を検知する。そして、ロボット１０の移動中に障害物との接触を検知すると、直ちに車輪１６の駆動を停止してロボット１０の移動を急停止させる。

台車１４の上に多角形柱のセンサ取付パネル１８が設けられ、センサ取付パネル１８の各面に超音波距離センサ２０が取り付けられる。この超音波距離センサ２０は取付パネル１８すなわちロボット１０の周囲の主として人との間の距離を計測する。

センサ取付パネル１８の他にロボット１０の胴体２２、２４も台車１４の上に取り付けられる。胴体２２、２４は直立し、その下部はセンサ取付パネル１８で囲まれる。胴体は下部胴体２２と上部胴体２４とから構成され、これらは連結部２６によって連結される。連結部２６には昇降機構（図示せず）が内蔵され、昇降機構を用いることによって上部胴体２４の高さすなわちロボット１０の高さを変化させることができる。昇降機構は、後述のように腰モータ（図２において参照番号「７２」で示す。）によって駆動される。

上部胴体２４のほぼ中央に１つの全方位カメラ２８および１つのマイク３０が設けられる。全方位カメラ２８は、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラであり、ロボット１０の周囲を撮影する。マイク３０は周囲の音、とりわけ人の声を取り込む。

上部胴体２４の両肩にそれぞれ肩関節３２Ｒおよび３２Ｌが取り付けられ、各肩関節３２Ｒおよび３２Ｌに上腕３４Ｒおよび３４Ｌが接続される。肩関節３２Ｒは上腕３４Ｒの角度を互いに直交するＸ軸，Ｙ軸およびＺ軸の各軸廻りに制御し、肩関節３２Ｌは上腕３４Ｌの角度を互いに直交するＡ軸，Ｂ軸およびＣ軸の各軸廻りに制御する。

上腕３４Ｒおよび３４Ｌのそれぞれの先端に肘関節３６Ｒおよび３６Ｌを介して前腕３８Ｒおよび３８Ｌが取り付けられる。各肘関節３６Ｒおよび３６Ｌは前腕３８Ｒおよび３８Ｌの角度をＷ軸およびＤ軸の軸廻りに制御する。

なお、図１では示さないが、上部胴体２４の肩関節３２Ｒおよび３２Ｌ、上腕３４Ｒおよび３４Ｌ、ならびに前腕３８Ｒおよび３８Ｌにそれぞれタッチセンサ（図２において参照番号８０で包括的に示す。）が設けられる。タッチセンサ８０は人がロボット１０のこれらの部位に接触したかどうかを検知する。

前腕３８Ｒおよび３８Ｌの先端にそれぞれ手に相当する球体４０Ｒおよび４０Ｌが固定的に取り付けられる。ただし、指の機能（握る、掴む、摘むなど）が必要な場合には、球体４０Ｒおよび４０Ｌに代えて、人の手の形をした「手」を用いることも可能である。

上部胴体２４の中央上方に首関節４２を介して頭部４４が取り付けられる。首関節４２は互いに直交する３軸、Ｓ軸，Ｔ軸およびＵ軸の自由度を有し、各軸廻りに角度制御する。頭部４４の人の口に相当する位置にスピーカ４６が設けられる。スピーカ４６は、ロボット１０が周囲の人に音声または声によってコミュニケーションを図るために用いられる。ただし、スピーカ４６はロボット１０の他の部位たとえば胴体に設けられてもよい。

また、頭部４４の目に相当する位置に眼球部４８Ｒおよび４８Ｌが設けられ、眼球部４８Ｒおよび４８Ｌ内にそれぞれ眼カメラ５０Ｒおよび５０Ｌが固定される。眼球部４８Ｒおよび４８Ｌは眼球支持部（図示せず）を介して頭部４４内の所定位置に取り付けられ、眼球支持部は互いに直交する２軸、α軸およびβ軸の自由度を有し、各軸廻りに角度制御する。眼カメラ５０Ｒおよび５０Ｌは、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラである。

頭部４４の頭頂部などに赤外線ＬＥＤなどの赤外線照射装置１００および赤外線フォトトランジスタなどの赤外反射光計測用カメラ１０２が取り付けられる。これらの向きは眼カメラ５０Ｒおよび５０Ｌの向きと一致させる。このため、赤外線照射装置１００は眼カメラ５０Ｒおよび５０Ｌが向いている方向に赤外線を発光し、赤外反射光計測用カメラ１０２は照射された赤外線の反射光を受光する。

図２にロボット１０の内部構成を示すブロック図が示される。ロボット１０は全体の制御のためにマイクロコンピュータまたはＣＰＵ５２を含み、ＣＰＵ５２はバス５４を通して、メモリ５６，モータ制御ボード５８，センサ入力／出力ボード６０、音声入力／出力ボード６２および通信ＬＡＮボード６４と接続される。

メモリ５６は、図示しないがＲＯＭやＨＤＤ、ＲＡＭなどを含む。ＲＯＭまたはＨＤＤにロボット１０の身体動作を制御するためのプログラム（行動モジュールと呼ばれる。）やデータ、視線検出プログラムなどが予め格納されており、ＣＰＵ５２はこのプログラムに従って処理を実行する。なお、ＲＡＭは一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用され得る。

モータ制御ボード５８は、たとえばＤＳＰ(Digital Signal Processor)で構成され、腕や頭など身体部位を駆動するためのモータを制御する。すなわち、図１および図２に示すように、モータ制御ボード５８はＣＰＵ５２からの制御データを受け、右肩関節３２Ｒおよび右肘関節３６Ｒの角度を制御する右腕モータ６６を調節する。また、モータ制御ボード５８は左肩関節３２Ｌおよび左肘関節３６Ｌを制御する左腕モータ６８を調節する。さらに、モータ制御ボード５８は首関節４２の角度を制御する頭部モータ７０、昇降機構を駆動する腰モータ７２、車輪１６を駆動する車輪モータ７４、右眼球部４８Ｒの角度を制御する右眼球モータ７６、ならびに左眼球部４８Ｌの角度を制御する左眼球モータ７８を調節する。

なお、この実施例の上述のモータはそれぞれ、車輪モータ７４を除いて、制御を簡単化するためにステッピングモータまたはパルスモータであるが、車輪モータ７４と同様に直流モータであってよい。

センサ入力／出力ボード６０もＤＳＰで構成され、各センサやカメラからの信号を取り込んでＣＰＵ５２に与える。すなわち、各超音波距離センサ２０からの反射時間に関するデータ、全方位カメラ２８および眼カメラ５０Ｒ、５０Ｌからの映像信号、ならびにタッチセンサ８０および衝突センサ８２からの信号がセンサ入力／出力ボード６０を通して、ＣＰＵ５２に入力される。また、赤外線を照射するための照射信号はＣＰＵ５２からセンサ入力／出力ボード６０を介して赤外線照射装置１００に入力され、検出した反射光の強度の計測信号は赤外反射光計測用カメラ１０２からセンサ入力／出力ボード６０を介してＣＰＵ５２に出力される。

そして、合成音声データがＣＰＵ５２から音声入力／出力ボード６２を介してスピーカ４６に与えられ、そのデータに従った音声または声がスピーカ４６から出力される。また、マイク３０からの音声入力が音声入力／出力ボード６２を介してＣＰＵ５２に取り込まれる。

通信ＬＡＮボード６４もＤＳＰで構成される。通信ＬＡＮボード６４はＣＰＵ５２から与えられた送信データを無線通信装置８４に与え、無線通信装置８４から送信データを送信させる。また、通信ＬＡＮボード６４は無線通信装置８４を介してデータを受信し、受信データをＣＰＵ５２に与える。

このようなロボット１０がコミュニケーション行動を実行する場合、ロボット１０のＣＰＵ５２はロボット１０のコミュニケーション行動を図３に示すフロー図に従って処理する。ＣＰＵ５２がコミュニケーション行動の処理を開始すると、ステップＳ１でスピーカ３０によりたとえば「こっちを向いて」と発話して、コミュニケーション相手である、たとえば人間の視線をロボット１０の方に向かせる。

そして、その視線がロボット１０の方を見ているかを検出するため、赤外線照射装置１００から赤外線を発光して、ステップＳ３により赤外線による眼球運動を計測する。計測の結果、ステップＳ５で視線方向を検出したか否かを判断する。すなわち、発光された赤外線が人間の眼に照射されると、その一部が反射し、赤外反射光計測用カメラ１０２が反射光を受光する。このため、赤外反射光計測用カメラ１０２が反射光を受光しない場合、赤外線が人間の眼に照射されておらず、視線方向を検出できないため、“ＮＯ”と判断して、ステップＳ１に戻り、改めて人間の視線を向ける発話する。これに対して、赤外反射光計測用カメラ１０２が反射光を受光すると、視線方向を検出したと判断して、ステップＳ５で“ＹＥＳ”とし、次にステップＳ７においてその検出結果により人間がロボット１０の方を見ているか否かを判断する。

これは、黒目の反射率が白目の反射率より小さいため、反射光の強度は眼の照射部分により異なることに基づいて、反射光の強度から人間の視線がロボット１０に向いているか否かを判断する。

すなわち、人間の視線がロボット１０の方向を見ている場合、赤外線は主に反射率の低い黒目で反射するため、赤外反射光計測用カメラ１０２が受光する反射光の強度は少ない。これに対して、人間の視線がロボット１０以外の方向を見ている場合、赤外線は黒目以外に反射率の高い白目でも反射するため、赤外反射光計測用カメラ１０２が受光する反射光の強度は、人間の視線がロボット１０の方向を見ている場合に比べて大きくなる。このため、赤外線が黒目に照射された場合の反射光の強度を予め記録しておき、赤外反射光計測用カメラ１０２が検出した反射光の強度がこの強度（以下、黒目強度と言う。）に略一致すれば、人間の視線はロボット１０の方向を見ていると判断することができる。

よって、ステップＳ７の判断において、赤外反射光計測用カメラ１０２が検出した反射光の強度が黒目強度より大きければ、人間の視線はロボット１０の方向を見ておらず、“ＮＯ”と判断して、ステップＳ１に戻る。一方、赤外反射光計測用カメラ１０２が検出した反射光の強度が黒目強度と略一致すれば、人間の視線はロボット１０の方向を見ていると判断して、“ＹＥＳ”となる。

このとき、赤外線照射装置１００の向きと眼カメラ５０Ｒおよび５０Ｌの向きとが一致していることにより、眼カメラ５０Ｒおよび５０Ｌが人間の視線に合っているため、次に、ステップＳ９により、たとえば「右には京都の町の案内書があるよ」と発話して、案内行動を取る。人間はロボット１０の案内に従って右の方向を見るため、ステップＳ１１でその間、ロボット１０は一定時間、たとえば５秒間待機する。

そして、ステップＳ１３で終了要求があるか否かを判断して、終了要求がなければ、“ＮＯ”と判断して、ステップＳ１に戻る。再び、ステップＳ１で、「こっちを向いて」などの人間の視線をロボット１０に向けさせる発話をしたり、「案内書が見つかりましたか？」などの別の発話をしたりする。そして、上記と同様にステップＳ３で人間の眼球運動を計測し、ステップＳ５において視線方向を検出して、ステップＳ７でその検出結果に基づいて人間の視線がロボット１０の方向を見ているか否かを判断する。ここで、人間の視線がロボット１０の方向を見ていれば、ロボット１０は眼カメラ５０Ｒおよび５０Ｌを人間の視線に合わせながら、ステップＳ９で案内行動をする。この案内行動は先の案内行動の内容と異なってもよく、人間とインタラクションが続くとそれに応じて変化する。

最後に、ステップＳ１３で終了要求があり、“ＹＥＳ”と判断すると、ＣＰＵ５２は処理を終了する。

このように、ロボット１０は人間の視線を検出し、人間の視線がロボット１０の方を向いていれば、眼カメラ５０Ｒおよび５０Ｌを人間の視線に合わせながらコミュニケーションを取り、反対に、人間の視線がロボット１０の方を向いていなければ、人間の視線をロボット１０の方に向けさせる行動を取る。このため、ロボット１０は、人間どうしが会話するときのように、相手の視線に応じた自然なコミュニケーション行動を取ることができる。

なお、ステップＳ１およびステップＳ９においてロボット１０は発話により人間とコミュニケーション行動を取ったが、腕を振るなどの身振りにより人間とコミュニケーションすることもできる。

また、赤外線照射装置１００および赤外反射光計測用カメラ１０２を用いて、人間の視線を検出したが、他の方法により視線を検出することもできる。

図１はこの発明のコミュニケーションロボットの一例を示す図解図である。 図２は図１に示すロボットの電気的な構成を示す図解図である。 図３は図２に示すＣＰＵのコミュニケーション行動の処理を示すフロー図である。

符号の説明

１２…コミュニケーションロボット
１００…赤外線照射装置
１０２…赤外反射光計測用カメラ

Claims (2)

1. 人間との間でコミュニケーション行動を実行するコミュニケーションロボットであって、
   コミュニケーション相手の視線を検出する視線検出手段、および
   前記視線検出手段の検出結果に応じたコミュニケーション行動を決定する行動決定手段を含む、コミュニケーションロボット。
2. 前記行動決定手段は、前記視線検出手段の検出結果に基づいて前記視線を向けさせる行動を取る、請求項１記載のコミュニケーションロボット。

Images