JP2006289508A - ロボット装置及びその表情制御方法 - Google Patents

Abstract

【課題】
本発明は、簡易な構成で、ユーザとの間で適切なインタラクションを行い得るロボット装置及びその制御方法を実現するものである。
【解決手段】
表情生成部１０６が、ユーザ発話やロボット装置自身の発話に応じて表情表出を制御することにより、あたかもロボットが発話に応じた感情を抱いているかのような自然な印象をユーザに対して与えることができる。
【選択図】 図１６

Description

本発明はロボット装置及びその表情制御方法に関し、例えばヒューマノイド型のロボットに適用して好適なものである。

近年、２足歩行型のヒューマノイド型のロボットが多くの企業等において開発され、商品化されている。そしてこのようなロボットの中には、ＣＣＤ（Charge Coupled Device）カメラやマイクロホン等の各種外部センサが搭載され、これら外部センサの出力に基づいて外部状況を認識し、認識結果に基づいて自律的に行動し得るようになされたものなどもある。

また近年では、感情・本能モデルや音声認識機能及び対話制御機能を搭載し、人間との間で簡単な日常会話を行い得るようになされたロボットも提案されている（例えば、特許文献１参照）。
特開２００３−１９１１８７公報

このようなロボットが人間との間で音声を通じたインタラクションを行う場合、ロボットがユーザの音声入力を受けつける際に、ユーザの発話に反応しているとか、ユーザの発話を正しく聞いているという状態を明示的に表現する手段を持つことが必要である。人間は、相手が自分の発話を認識したのかを確認出来ないと不安になり、これがインタラクションを継続する上での障害となるからである。

従来、ロボットがユーザの発話に注意を向けていることを表現する方法として、ユーザの顔をカメラでトラッキングする手法が用いられている。しかしながら、この顔トラッキングのような連続的な表現手法では、ロボットがいつの時点で発話を認識したのかというタイミングを確認することができないという問題がある。

一方、ロボットがユーザに対して発話状態であることを明示的に示す表現する手段を持つことも重要である。なぜなら、複数のロボットとのコミュニケーションを実現しようと考えた場合、発話中のロボットをユーザが識別できないと、インタラクションを成立させる上での障害となるからである。

従来、自律的に音声発話を行うヒューマノイドロボットであっても、そもそも口の動きに相当する表現手段を機械的に搭載したものはなく、それに代わるものとして、音声と連動してＬＥＤ（Light Emitting Diode）のような発光手段を点滅することによって、発話状態であることをユーザに伝えるといった手法が用いられてきた。

しかし、発光手段の点滅はその表現の抽象性ゆえ発話以外の意味を示す手段としても利用されるために、発光手段が点滅したことが必ずしも発話と一致しないという状態を生じ、ユーザに対して混乱を生じさせる原因ともなっていた。

また、発話、音声認識など明示的なイベントを伴うインタラクションを行っていない場合においても、表情などを通したロボット側の能動的な動きがないと、ロボットは思考を継続している（起動している）のか、音声入力待ちの状態になっているのかといった動作状態が分からないため、ユーザはこのロボットに対して話しかけても大丈夫なのかという不安感を与える原因となっていた。

また、ロボット自身の感情をはじめとする内部状態の表現方法として、従来、表示手段の発光色を変化させる、ジェスチャを変化させるなどによる表現が用いられてきたが、表現しようとする感情と色表現、ジェスチャなどとの対応が、前提知識を持たないユーザには直感的に理解し難く、設計者の意図を正しくユーザに伝えることが困難であるという問題があった。
特に近年ではロボットの小型化が進んでおり、上述した複雑な構成の駆動機構を小型化された頭部に収納することは困難であるという問題があった。

本発明は以上の点を考慮してなされたもので、簡易な構成で、ユーザとの間で適切なインタラクションを行い得るロボット装置及びその表情制御方法を提案しようとするものである。

かかる課題を解決するため本発明においては、ユーザとの対話機能を有するロボット装置において、ユーザの発話を検出するユーザ発話検出手段と、ユーザ発話検出手段で検出したユーザの発話に基づいて、ロボット装置に設けられた表情表出手段を駆動する表情制御手段とをロボット装置に設けた。

そして表情制御手段は、ユーザ発話検出手段によってユーザの発話が検出されたとき、表情表出手段を駆動して当該発話を検出した旨を通知するようにした。

これにより、ユーザの発話を聴き取っていることを視覚を通じて直感的な形で通知することができる。

また、検出したユーザの発話の特徴量を抽出するユーザ発話特徴量検出手段をロボット装置に設け、表情制御手段は、抽出したユーザの発話の特徴量に基づいて表情表出手段を駆動するようにした。

これにより、あたかもロボット装置がユーザの発話に対応した感情を抱いているかのような直感的な印象をユーザに与えることができる。

また本発明においては、ユーザとの対話機能を有するロボット装置において、ロボット装置自身の発話を生成し音声出力する発話生成手段と、ロボット装置自身の発話に基づいて、ロボット装置に設けられた表情表出手段を駆動する表情制御手段とをロボット装置に設けた。

そして表情制御手段は、発話生成手段によって発話が出力されているとき、表情表出手段を駆動して発話を行っている旨を通知するようにした。

これにより、ロボット装置が発話していることを、視覚を通じて直感的な形で通知することができる。

また、ロボット装置自身の発話の特徴量を抽出するロボット発話特徴量検出手段をロボット装置に設け、表情制御手段は、抽出したロボット装置自身の発話の特徴量に基づいて表情表出手段を駆動するようにした。

これにより、あたかもロボット装置が自身の発話に対応した感情を抱いているかのような直感的な印象をユーザに与えることができる。

さらに本発明においては、ロボット装置自身の状態に基づいて、優先度が高いコマンドと、優先度が低いコマンドの少なくとも２種の表情生成コマンドを発行するコマンド発行手段と、表情生成コマンドに基づいて、ロボット装置に設けられた表情表出手段を駆動する表情制御手段とをロボット装置に設け、表情制御手段は、複数の表情生成コマンドを同時に受け付けたとき、優先度が高いコマンドを選択して実行するようにした。

これにより、複数の表情生成コマンドに基づく表情を、競合させることなく、同じ表情表出手段上で表出させることができる。

本発明によれば、ユーザとの間で適切なインタラクションを行い得るロボット装置及びその表情制御方法を実現できる。

以下図面について、本発明の一実施の形態を詳述する。

（１）ロボットの全体構成
図１及び図２において、１は全体として本実施の形態によるロボットを示し、胴体部ユニット２の上部に首部３を介して頭部ユニット４が連結されると共に、当該胴体部ユニット２の上部左右両側面にそれぞれ腕部ユニット５Ａ、５Ｂが連結され、かつ当該胴体部ユニット２の下部に一対の脚部ユニット６Ａ、６Ｂが連結されることにより構成されている。

この場合、首部３は、図３に示すように、首関節ピッチ軸１０回り、首関節ヨー軸１１回り及び首関節ピッチ軸１２回りの自由度を有する首関節機構部１３により保持されている。また頭部ユニット４は、この首部３の先端部に図３のように首部ロール軸１４回りの自由度をもって取り付けられている。これによりこのロボット１においては、頭部ユニット４を前後、左右及び斜めの所望方向に向かせることができるようになされている。

また各腕部ユニット５Ａは、図１及び図２において明らかなように、上腕部ブロック１５、前腕部ブロック１６及び手先部ブロック１７の３つのブロックから構成され、上腕部ブロック１５の上端部が図３のように肩ピッチ軸１８回り及び肩ロール軸１９回りの自由度を有する肩関節機構部２０を介して胴体部ユニット２に連結されている。

このとき前腕部ブロック１６は、図３のように上腕部ブロック１５に上腕ヨー軸２１回りの自由度をもって連結されている。また手先部ブロック１７は、図３のように前腕部ブロック１６に手首ヨー軸２２回りの自由度をもって連結されている。さらに前腕部ブロック１６には、肘ピッチ軸２３回りの自由度を有する肘関節機構部２４が設けられている。

これによりロボット１においては、これら腕部ユニット５Ａ、５Ｂを全体としてほぼ人間の腕部と同様の自由度をもって動かすことができ、かくして片手を上げた挨拶や腕部ユニット５Ａ、５Ｂを振り回すダンスなどの当該腕部ユニット５Ａ、５Ｂを用いた各種行動を行い得るようになされている。

さらに手先部ブロック１７の先端部には、５本の指部２５がそれぞれ屈曲及び伸長自在に取り付けられており、これによりこれら指部を使って物を摘んだり、把持することができるようになされている。

他方、各脚部ユニット６Ａ、６Ｂは、図１及び図２において明らかなように、大腿部ブロック３０、脛部ブロック３１及び足平部ブロック３２の３つのブロックから構成され、大腿部ブロック３０の上端部が図３のように股関節ヨー軸３３回り、股関節ロール軸３４回り及び股関節ピッチ軸３５回りの自由度を有する股関節機構部３６を介して胴体部ユニット２に連結されている。

このとき大腿部ブロック３０及び脛部ブロック３１は、図３のように脛ピッチ軸３７回りの自由度を有する膝関節機構部３８を介して連結されると共に、脛ブロック３１及び足平ブロック３２は、図３のように足首ピッチ軸３９回り及び足首ロール軸４０回りの自由度を有する足首関節機構部４１を介して連結されている。

これによりロボット１においては、これら脚部ユニット６Ａ、６Ｂを人間の脚部とほぼ同様の自由度をもって動かすことができ、かくして歩行やボールを蹴るなどの脚部ユニット６Ａ、６Ｂを用いた各種行動を行い得るようになされている。

さらに胴体部ユニット２の後側上部には、首部３を囲むようにグリップハンドル２Ａが設けられており、かくしてユーザがこのグリップハンドル２Ａを手掛かりとして、ロボット１全体を持ち上げることができるようになされている。

なおこのロボット１の場合、各股関節機構部３６は、図３のように体幹ロール軸４２回り及び体幹ピッチ軸４３回りの自由度を有する腰関節機構部４４により支持されており、これにより胴体部ユニット２を前後、左右方向に自在に傾かせることもできるようになされている。

ここでロボット１においては、上述のように頭部ユニット４、各腕部ユニット５Ａ、５Ｂ、各脚部ユニット６Ａ、６Ｂ及び胴体部ユニット２を動かすための動力源として、図４に示すように、首関節機構部１３及び肩関節機構部２０等の各関節機構部を含む各自由度を有する部位に、それぞれその自由度数分のアクチュエータＡ_１〜Ａ_１７が配設されている。

また頭部ユニット４には、後述する瞼の開閉や回転、及び口部を開閉するための動力源として、アクチュエータＡ_１８〜Ａ_２０が配設されている。

一方胴体部ユニット２には、当該ロボット１全体の動作制御を司るメイン制御部５０と、電源回路及び通信回路などの周辺回路５１と、バッテリ５２（図５）となどが収納されると共に、各構成ユニット（胴体部ユニット２、頭部ユニット４、各腕部ユニット５Ａ、５Ｂ及び各脚部ユニット６Ａ、６Ｂ）内には、それぞれメイン制御部５０と電気的に接続されたサブ制御部５３Ａ〜５３Ｄが収納されている。

さらに頭部ユニット４には、図５に示すように、このロボット１の「目」として機能する一対のＣＣＤ（Charge Coupled Device）カメラ６０Ａ、６０Ｂ及び「耳」として機能するマイクロホン６１などの各種外部センサと、発声装置として機能するスピーカ６２となどがそれぞれ所定位置に配設されている。

また各脚部ユニット６Ａ、６Ｂにおける足平部ブロック３２の裏面や、グリップハンドル２Ａの把持部分等の各所定部位には外部センサとしてのタッチセンサ６３が配設されている。なお、以下においては、各脚分ユニット６Ａ、６Ｂにおける足平部ブロック３２の裏面に設けられたタッチセンサ６３を足底力センサ６３Ｌ、６３Ｒと呼び、グリップハンドル２Ａの把持部分に設けられたタクトスイッチでなるタッチセンサ６３をグリップスイッチ６３Ｇと呼ぶものとする。

さらに胴体部ユニット２内には、バッテリセンサ６４及び加速度センサ６５などの各種内部センサが配設されると共に、各構成ユニット内には、それぞれ各アクチュエータＡ_１〜Ａ_２０にそれぞれ対応させて、対応するアクチュエータＡ_１〜Ａ_２０の出力軸の回転角度を検出する内部センサとしてのポテンショメータＰ_１〜Ｐ_２０が設けられている。

そして各ＣＣＤカメラ６０Ａ、６０Ｂは、周囲の状況を撮像し、得られた画像信号Ｓ１Ａをサブ制御部５３Ｂ（図５において図示せず）を介してメイン制御部５０に送出する一方、マイクロホン６１は、各種外部音を集音し、かくして得られた音声信号Ｓ１Ｂをサブ制御部５３Ｂを介してメイン制御部５０に送出する。また各タッチセンサ６３は、ユーザからの物理的な働きかけや、外部との物理的な接触を検出し、検出結果を圧力検出信号Ｓ１Ｃとして対応するサブ制御部５３Ａ〜５３Ｄ（図５において図示せず）を介してメイン制御部５０に送出する。

さらにバッテリセンサ６４は、バッテリ５２のエネルギ残量を所定周期で検出し、検出結果をバッテリ残量信号Ｓ２Ａとしてメイン制御部５０に送出する一方、加速度センサ６５は、３軸（ｘ軸、ｙ軸及びｚ軸）の加速度を所定周期で検出し、検出結果を加速度検出信号Ｓ２Ｂとしてメイン制御部５０に送出する。また各ポテンショメータＰ_１〜Ｐ_２０は、対応するアクチュエータＡ_１〜Ａ_２０の出力軸の回転角度を検出し、検出結果を所定周期で角度検出信号Ｓ２Ｃ_１〜Ｓ２Ｃ_２０として対応するサブ制御部５３Ａ〜５３Ｄを介してメイン制御部５０に送出する。

メイン制御部５０は、ＣＣＤカメラ６０Ａ、６０Ｂ、マイクロホン６１及び各タッチセンサ６３等の各種外部センサからそれぞれ供給される画像信号Ｓ１Ａ、音声信号Ｓ１Ｂ及び圧力検出信号Ｓ１Ｃ等の外部センサ信号Ｓ１と、バッテリセンサ６４、加速度センサ６５及び各ポテンショメータＰ_１〜Ｐ_２０等の各種内部センサからそれぞれ供給されるエネルギ残量信号Ｓ２Ａ、加速度検出信号Ｓ２Ｂ及び各角度検出信号Ｓ２Ｃ_１〜Ｓ２Ｃ_２０等の内部センサ信号Ｓ２とに基づいて、ロボット１の外部及び内部の状況や、ユーザの物理的な働きかけの有無等を判断する。

そしてメイン制御部５０は、この判断結果と、予め内部メモリ５０Ａに格納されている制御プログラムと、そのとき装填されている外部メモリ６６に格納されている各種制御パラメータとなどに基づいて続くロボット１の行動を決定し、当該決定結果に基づく制御コマンドを対応するサブ制御部５３Ａ〜５３Ｄ（図４）に送出する。

この結果、この制御コマンドに基づき、そのサブ制御部５３Ａ〜５３Ｄの制御のもとに、対応するアクチュエータＡ_１〜Ａ_１７が駆動され、かくして頭部ユニット４を上下左右に揺動させたり、腕部ユニット５Ａ、５Ｂを上に上げたり、歩行するなどの各種行動がロボット１により発現される。

このようにしてこのロボット１は、外部及び内部の状況等に基づいて自律的に行動することができるようになされている。

（２）頭部ユニットの構成
図６及び図７は頭部ユニット４の構成を示し、頭部外装４Ａの前面下方に略半月状の平板でなる口部６９が設けられているとともに、当該頭部外装４Ａの前面には左右の目部７０（左目部７０Ａ及び右目部７０Ｂ）が設けられている。

口部６９は、頭部外装４Ａの内部における２つの目部７０の中間上方に内蔵された口部駆動モータ６９Ａ（アクチュエータＡ_１８）によって、その一片を支点として開閉駆動される。

そしてメイン制御部５０（図５）は、スピーカ６２（図５）からの発声に同期して口部６９を開閉させることにより、あたかもロボット１が実際にこの口部６９から音声を発声しているかのような印象をユーザに与え得るとともに、複数のロボット１のうちの発声中の個体を視覚を介してユーザに認識させることができる。

またメイン制御部５０は、後述する上瞼８１及び下瞼８２の開閉や回転に同期して口部６９を開閉することもでき、これにより様々な表情を表出し得るようになされている。

一方目部７０は、図７に示すように、すりばち状に凹んだ眼窩７１の奥に眼球部７２が配設されている。眼窩７１は、図示しないＬＥＤ（Light Emitting Diode）によって照明される。また眼球部７２は、ＣＣＤカメラ６０を内蔵したカメラケース７２Ａと、その前方に設けられた瞳７２Ｂとで構成される。そしてＣＣＤカメラ６０は、カメラケース７２Ａ及び瞳７２Ｂの中央に開口された瞳孔を介して外部を撮像し得るようになされている。

カメラケース７２Ａは、連結部材７２Ｂを介して左右のカメラケース７２Ａが一体に連結され、さらに当該連結部材７２Ｂを介して頭部ユニット４のメインフレーム７５に固定されている。

（３）瞼開閉部の構成
さらに本発明のロボット１では、図７に示すように、上瞼８１及び下瞼８２を眼窩７１と眼球部７２との間の空間内で開閉駆動して、当該眼球部７２を被覆及び露出する瞼開閉部８０（左瞼開閉部８０Ａ及び右瞼開閉部８０Ｂ）を有している。このように本発明のロボット１では、瞼を上瞼８１及び下瞼８２の２つに分離したことにより、瞼一個当たりの開閉の移動量を、瞼が一体の場合に比べて格段に少なくすることができ、ロボット顔面の非常に限られたスペース内に開閉する瞼を組み込む事ができる。

図８及び図９に示すように、瞼開閉部８０においては、上瞼８１及び下瞼８２はそれぞれ上瞼ガイド軸８４Ａ及び下瞼ガイド軸８４Ｂに支持されて上下に摺動し、上下の瞼があたかも開閉するかのような直線運動を行う。さらに、上瞼８１の先端部８１Ａは上瞼抑え８５Ａと瞼開閉部シャーシ８３との間で保持され、これにより上瞼８１は瞼開閉部シャーシ８３に対して常に平行な状態で往復移動する。同様に、下瞼８２の先端部８２Ａは下瞼ガイドに挟み込まれるように保持され、これにより下瞼８２も瞼開閉部シャーシ８３に対して常に平行な状態で往復移動する。

そして、上瞼８１にはラック８１Ｂが形成されており、瞼開閉駆動機構８６の最終段ギア８６Ｅに対して歯合している。瞼開閉駆動機構８６は、瞼開閉モータ８６Ｍ（アクチュエータＡ_１９）の回転力をウォーム８６Ａ及びギア８６Ｂ〜８６Ｅを順次介して減速しながらラック８１Ｂに伝達し、これにより上瞼８１を開閉駆動する。

また、最終段ギア８６Ｅにはポテンショメータ８６Ｐ（Ｐ_１９）が接続されており、当該最終段ギア８６Ｅの回転角に基づいて上瞼８１の開き状態を検出し得るようになされている。

さらに、ギア８６Ｄには摩擦クラッチが内蔵されており、過大なトルクが発生した場合に当該摩擦クラッチが滑り、これにより上瞼８１が所定の移動範囲を超えてストッパーに突き当たった場合や異物が上瞼８１及び下瞼８２の間に挟まった場合等、瞼開閉駆動機構８６内に過大なトルクが発生した場合の機構破損を防止している。

これに加えて瞼開閉部８０は、上瞼８１の閉動作に連動して下瞼８２の閉動作させるための瞼連動リンク８７が、瞼開閉部シャーシ８３のおける開口部下側（下瞼側）に、軸部８７Ｃを介して回動自在に設けられている。また図１０に示すように、上瞼８１におけるラック８１Ｂの裏側（すなわちシャシー側）には上瞼８１の閉動作を瞼連動リンク８７に伝達するための上瞼連動ピン８１Cが突設され、下瞼８２には瞼連動リンク８７の回動動作を当該下瞼８２に伝達するための下瞼連動ピン８２Cが突設されている。さらに、下瞼８２は図示しない付勢ばねによって開方向に常時付勢され、当該下瞼８２の下瞼連動ピン８２Cと瞼連動リンク８７の下瞼側連動端８７Ｂとは常時接触している。

図１０に示す瞼全開状態においては、全開位置にある上瞼８１の上瞼連動ピン８１Cは瞼連動リンク８７のはるか上方にあり、上瞼連動ピン８１Cと瞼連動リンク８７とは接触していない。一方、下瞼８２は付勢ばねによって開方向に付勢されて自然位置（すなわち全開位置）にある。

この状態から、上瞼８１は最終段ギア８６Ｅの回転に連動して下方へと移動して閉じていき、図１１に示すように、当該上瞼８１が半分程度まで閉じた時点で上瞼連動ピン８１Cと上瞼側連動端８７Ａとが接触する。これ以降、瞼連動リンク８７は下瞼８２を上瞼８１に連動して閉動作させる。

すなわち図１２に示すように、瞼連動リンク８７は、上瞼連動ピン８１Cによる上瞼側連動端８７Ａの押し下げに応じて反対側の下瞼側連動端８７Ｂが持ち上がり、これにより下瞼側連動端８７Ｂが下瞼連動ピン８２Cを押し上げて下瞼８２を上昇（閉動作）させていく。そして図１３に示すように、上瞼８１と下瞼８２とが接触して瞼が完全に閉じた状態となる。

このように瞼開閉部８０は、上瞼８１の動きを瞼連動リンク８７を介して下瞼８２に伝達することにより、片目当たり１個の瞼開閉モータ８６Ｍで上瞼８１及び下瞼８２の双方を駆動することができる。

また瞼連動リンク８７は、入力端である上瞼側連動端８７Ａと支点である軸部８７Ｃとの間隔に比べて、出力端である下瞼側連動端８７Ｂと軸部８７Ｃとの間隔が大きく設定されており、これにより下瞼８２は上瞼８１に比べて速く移動する。また上述したように、下瞼８２は上瞼８１が半分ほど閉じた状態から閉じ始める。

このため瞼開閉部８０は、図１４（Ａ）に示す瞼全開状態から、先に上瞼８１が閉じ始め（図１４（Ｂ））、当該上瞼８１が半分ほど閉じた時点で下瞼８２が上瞼８１よりも速い速度で移動を開始し（図１４（Ｃ）、最終的に上下瞼が合致して図１４（D）に示す瞼全閉状態となる。

これにより瞼開閉部８０は、片目当たり１個の瞼開閉モータ８６Ｍで、上瞼８１及び下瞼８２をそれぞれ異なる移動開始タイミング及び移動速度で駆動することができる。

さらに本発明のロボット１では、左右の瞼をそれぞれ独立して開閉させることにより、例えば図１４（Ｄ）に示すウインク等の様々な表情を表出するようになされている。

（４）瞼回転部の構成
かかる構成に加えて本発明のロボット１では、瞼開閉部８０を回転させることにより瞼を傾斜させ、上述した瞼の開閉と併せて様々な表情を表出するための、瞼回転部９０（左瞼回転部９０Ａ及び右瞼回転部９０Ｂ）を有している（図７〜９）。

図９に示すように瞼回転部９０は、瞼回転モータ９１Mの回転力を減速して回転軸９２に伝達するための瞼回転駆動機構９１と、回転軸９２に接続され当該回転軸９２とともに矢印Ａ方向及びその反対方向に回転する瞼回転部シャーシ９３とを有している。そして瞼回転部９０は、回転軸９２の中心と眼球部７２の中心とが略一致した状態で、取付板９５を介して頭部ユニット４のメインフレーム７５に固定されている。これによりこのロボット１では、片目当たり１個の瞼回転モータ９１Mのみによって、瞼を様々な角度に傾斜させることができる。

このようにこのロボット１では、眼球部７２の前面側に瞼開閉部８０を設けるとともに、当該眼球部７２の背面側に瞼開閉部８０を回転駆動する瞼回転部９０を設けたことにより、眼球部７２のＣＣＤカメラによる撮像機能に何ら影響を及ぼすことなく、瞼を様々な角度に傾斜させて、喜怒哀楽等の様々な表情を表出することができる（図１５（Ａ）〜（Ｃ））。

さらに本発明のロボット１では、左右の瞼を同方向に向けて傾斜させることにより、あたかも横目で見るような表情を表出することができる（図１５（Ｄ））。

（５）インタラクションに関する制御部の処理内容
次に、ユーザとの間のインタラクションに関するメイン制御部５０の処理内容について説明する。

このロボット１のインタラクションに関するメイン制御部５０の処理内容を機能的に分類すると、図１６に示すように、外界の状況を知るためにロボット１に搭載されているCCDカメラ６０やマイクロホン６１等のセンサ１００と、マイクロホン６１を介して集音したユーザ音声の音声区間を検出して抽出する音声区間検出部１０１と、音声区間検出部１０１から送られた音声を文字列に認識する音声認識部１０２と、音声認識部１０２から受け取った文字列に基づいてロボットの返答を生成する応答生成部１０３と、音声認識部１０２が生成した文字列を音声に変換して出力する音声合成部１０４と、マイクロホン６１からの情報をもとに音源の方向や音の強度の情報を出力する音源方向検出部１０５と、音声区間検出部１０１や、応答生成部１０３からの情報に基づいてロボット１の表情を制御する表情生成部１０６とに分けることができる。

（５−１）ユーザ発話に対するまばたき生成
ユーザ発話検出手段としての音声区間検出部１０１は、ユーザ音声の音声区間の開始を検知すると、これに応じて音声区間開始を示すbegin信号を表情生成部１０６に送る。表情生成部１０６はbegin信号に基づいて瞼開閉部８０（図９）を制御し、両瞼を同時に開−閉−開と遷移させる「まばたき」をn回(n=1,2…)実行させることにより、ユーザに対して、その発話をロボット１が聴き取っていることを表現する。

このユーザ発話に対するまばたきは短期的な表情変化であり、後述する表情共存方法におけるバックグラウンドコマンドとして生成される。

（５−２）ユーザ以外の音源に対する注意表現
人間とロボットとのインタラクション場面においては、ロボットの注意がどこへ向けられているかをユーザに通知することが、よりスムーズなインタラクションを行う上で重要である。例えば、ロボットとユーザとのインタラクション中に周囲で大きな音が発生したとする。ユーザはこの音に対して注意を引かれるが、ロボットがこの音に対して反応せずにインタラクションを継続した場合、これがユーザに対して不自然な印象を与えることが考えられる。

一方、ロボットが音源へと注意を向けていることを表現する方法として、首を回転させて頭全体を音源方向に思考させたり、カメラ（すなわち目）を音源方向へ向けるなどの方法が用いられる。

しかしながらこれらの方法では、カメラのフォーカス（すなわち視線）も同時に移動してしまうため、対話中にはユーザを見ることを中断しなければならないとともに、ユーザにとっては、ロボットが対話を中断して全注意を音源に向けたかのような印象を与えてしまうという問題がある。

このため表情制御手段としての表情生成部１０６は、瞬間的な外音等の振り向くまでもないような重要度の低い音イベントに対する注意を表現する際には、図１７（Ａ）〜（Ｂ）に示すように、まず、音のする方向の瞼のみを開くことにより、ユーザに視線を合わせつつも横目でちらっと音源方向を見るような、音源に対する軽い注意を表現する。

さらに表情生成部１０６は、外音が連続したり当該外音の音量が極めて大きい等、音イベントの重要性が高いと判断した場合は、図１７（Ｃ）に示すように、両瞼の音源側を持ち上げるようにして傾けることにより、音源に対するやや強い注意を表現する。

このようにロボット１は、外音に対する軽い注意を瞼を用いて表現することにより、ユーザに対して視線を合致しながら、ユーザに対して周囲の状況を共有しているかのような安心感を与えるようになされている。

この外音に対する注意表現は短期的な表情変化であり、後述する表情共存方法におけるバックグラウンドコマンドとして生成される。

（５−３）発声に同期した口部の開閉
発話生成手段としての応答生成部１０３は、ユーザの発話に基づいてロボット自身の発話を生成するとともに、発話開始タイミング及び発話長情報を表情生成部１０６に供給する。表情制御手段としての表情生成部１０６は発話開始タイミング及び発話長情報に基づいて、ロボット１が発話している間、口部６９（図６）を開閉させることにより、あたかもロボット１が口部６９を用いて発声しているかのような印象をユーザに与えるとともに、複数のロボット１の中での発話中の個体を視覚によって認識させることができる。

この発声に同期した口開閉は短期的な表情変化であり、後述する表情共存方法におけるバックグラウンドコマンドとして生成される。

（５−４）音声の特徴量に応じた表情生成
発話生成手段としての応答生成部１０３は、ロボット自身の発話の音量情報及び発話長情報を表情生成部１０６に供給する。表情制御手段としての表情生成部１０６はこれらの特徴量に基づいて、図１８に示すように瞼の開度及び回転角を変化させることにより、あたかもロボット１が発話に対応した感情を抱いているかのような印象をユーザに与えることができる。

また表情生成部１０６は、マイクロホン６１を介して集音したユーザ音声の特徴量に基づいて、図１８に示すように瞼の開度及び回転角を変化させることにより、あたかもロボット１がユーザ音声に応じた感情を抱いているかのような印象をユーザに与えることができる。

この場合、音量情報として、音声区間検出部１０１から出力される音声区間の音声のPowerの最大値を使用する。また、発話長情報として、音声区間検出部１０１から出力される音声区間のframe数を用いる(音声区間の検出器によってサンプリングレートは決定される。例えば10msec=1frameなど。)。

このPowerとframe数を−１から１の値に正規化し、これら２つの特徴量の値から、瞼の開度及び回転角を決定する。それぞれは以下の式によって決定される。

瞼の開度（−１＜ｘ＜１）)
Frame > -Power のとき (Power² + frame²)/√2
-Power > Frame のとき -(Power² + frame²)/√2

瞼の回転角（−１＜ｘ＜１）)
Frame > Power のとき (Power² + frame²)/√2
Power > Frame のとき -(Power² + frame²)/√2

これらの値は瞼の開度及び回転角の最大値と最小値をそれぞれ１、−１とした範囲で正規化されているので、この値を実際の値に変化しなおして、瞼の開度及び回転角を決定する。すなわち図１９に示すように、瞼の開度は０°（瞼全閉）から３０°（瞼全開）の範囲であり、瞼の回転角は−３０°から＋３０°の範囲である。なお、瞼の回転角は「つり目」の状態を＋３０°とし、「たれ目」の状態を−３０°とする。

図２０は瞼の開度及び回転角の組み合わせによる表情表出の例を示す。例えば、両瞼の開度を０°（全閉）、角度を＋３０°とした表情を「怒り」（図２０（Ａ））、 両瞼の開度を０°、角度を−３０°とした表情を「悲しみ」（図２０（Ｂ））、両瞼の開度を３０°（全開）、角度を０°とした表情を「驚き」（図２０（Ｃ））、 両瞼の開度を０°、角度を０°とした表情を「眠り」（図２０（Ｄ））とする。

これらの音声に応じた表情生成は継続的な表情変化であり、後述する表情共存方法におけるフォアグラウンドコマンドとして生成される。

（５−５）複数の表情コマンドの共存制御
上述したように、コマンド発行手段としての表情生成部１０６は、音声認識や発話などの状態に応じて様々な表情コマンドを生成するが、これらのコマンドは状況に応じて随時発行されるため、瞼や口部等の表情表出デバイスに対する表出制御が競合する場合がある。

例えば、ロボットが自身の発話に応じた表情コマンドを生成して表情表出している状態において、ユーザの発話を聞き取ると、このことを示す「まばたき」コマンドを生成するが、このコマンドと発話に応じた表情コマンドとで瞼に対する制御が競合する。

このような場合、従来のロボットでは、実行中の発話に応じた表情コマンドに対し、音声認識したことを示すまばたきのコマンドを上書きする。しかしながら、まばたきのコマンドは短期的なものであり、このまばたきが終了すると、それ以前のコマンド（発話に応じた表情コマンド）を再発行して元の表情に明示的に戻す必要があるため、コマンドの終了タイミングを監視して再発行する等、調停制御が煩雑になるという問題がある。

このため本発明のロボット１では、表情コマンドをバックグラウンドコマンド及びフォアグラウンドコマンドの２種のコマンドタイプに分類し、表情制御手段としての表情生成部１０６は、複数の表情コマンドを受け付けたとき、フォアグラウンドコマンドを優先的に実行して表情表出制御を行うようにした。

バックグラウンドコマンドは、発話に応じた感情表現のような、定常的な状態変化を表出することを目的とした表情コマンドであり、その有効期限は定められておらず、表情生成部１０６は古いバックグラウンドコマンド（後発コマンド）を新たなバックグラウンドコマンド（先発コマンド）で順次上書きして実行していく。

一方フォアグラウンドコマンドは、音源に対する反応のような、イベント発生的で短期的な状態変化を表出することを目的とした表情コマンドであり、その有効期限が予め定められており、バックグラウンドコマンドと同様、表情生成部１０６は後発のフォアグラウンドコマンドを先発のフォアグラウンドコマンドで上書きして実行するとともに、有効期限が到達したバックグラウンドコマンドを無効化（すなわち終了）する。

これに加えて、フォアグラウンドコマンドはバックグラウンドコマンドに比べて優先度が高く設定されており、表情生成部１０６は、バックグラウンドコマンドを実行中にフォアグラウンドコマンドを受け付けた場合、バックグラウンドコマンドの実行を一時中断してフォアグラウンドコマンドを実行し（コマンドの一時上書き）、当該フォアグラウンドコマンドの有効期限が到達して実行終了すると、中断していたバックグラウンドコマンドを再開する。

すなわち図２１に示すように、表情生成部１０６はバックグラウンドコマンド及びバックグラウンドコマンドをそれぞれ後発のコマンドで上書きしつつ、フォアグラウンドコマンドを優先して（コマンドの一時上書き）表情表出を行う。そして表情生成部１０６は、フォアグラウンドコマンドが終了すると、上書きされていたバックグラウンドコマンドに戻る。

図２２は、表情生成部１０６による表情表出制御の例を示す。バックグラウンドコマンドとして「悲しみ顔」が発行されている状態において、ユーザ発話の認識に対する「まばたき」がフォアグラウンドコマンドとして発行されると、表情生成部１０６は、バックグラウンドコマンドの「悲しみ顔」をフォアグラウンドコマンドの「まばたき」で一時上書きし、これによりロボット１の表情を「悲しみ顔」から「まばたき」へと変化させる。

そして「まばたき」コマンドが終了すると、表情生成部１０６は、上書きされていたバックグラウンドコマンドの「悲しみ顔」に基づき、ロボット１の表情を「まばたき」から「悲しみ顔」へと戻す。

続いて、バックグラウンドコマンドとして「恐怖顔」が発行されると、表情生成部１０６は古いバックグラウンドコマンドの「悲しみ顔」を当該後発のバックグラウンドコマンド「恐怖顔」で上書きし、これによりロボット１の表情を悲しみ顔」から「恐怖顔」へと変化させる。

さらに、ロボット１自身の発声に同期した「口開閉」がフォアグラウンドコマンドとして発行されると、表情生成部１０６は、バックグラウンドコマンドの「恐怖顔」をフォアグラウンドコマンドの「口開閉」で一時上書きし、これによりロボット１の表情を「口開閉」へと変化させる。

そして「口開閉」コマンドが終了すると、表情生成部１０６は、上書きされていたバックグラウンドコマンドの「恐怖顔」に基づき、ロボット１の表情を「口開閉」から「恐怖顔」へと戻す。

（６）動作及び効果
以上の構成において、このロボット１は、ユーザ発話の検出に応じて、両瞼を同時に開閉する「まばたき」を実行する。このようにロボット１は、ユーザの発話を聴き取っている旨を視覚を通じて直感的な形で通知するため、安心したインタラクションをユーザとの間で確立することができる。

またロボット１は、ユーザとのインタラクション中に外音を検出すると、音源方向に向けて瞼の開度及び回転角を変化させることにより、音源に対する軽い注意を直感的な形で表現する。これによりロボット１は、ユーザに視線を合わせてインタラクションを継続しながら、周囲の状況を共有しているかのような安心感をユーザに与えることができる。

またロボット１は、ロボット自身が発話している間、口部６９を開閉させることにより、あたかもロボット１が口部６９を用いて発声しているかのような直感的な印象をユーザに与えるとともに、発話中の個体を視覚によって認識させることができる。

またロボット１は、ロボット１自身の発話やユーザ発話の特徴量に基づいて瞼の開度及び回転角を変化させることにより、あたかもロボット１が発話に対応した感情を発しているかのような直感的な印象をユーザに与えて、安心したインタラクションをユーザとの間で確立することができる。

さらにロボット１は、バックグラウンドコマンド及びフォアグラウンドコマンドの２つのコマンドタイプに基づいて、複数の表情コマンドに対する表情表出制御を行うようにしたことにより、長期的な反応に基づく表情と、突発的なイベントに対する表情とを同じ表情表出デバイス上で共存させることができる。

以上の構成によれば、ユーザ発話の検出や他の音源への注意発生といったイベントに応じた表情表出や、ロボット自身の発話やユーザ発話に応じた表情表出等、ロボット自身の状態を直感的に表示することができ、かくしてユーザとの間で適切なインタラクションを行い得るロボット装置を実現できる。

（７）他の実施の形態
なお、上述の実施の形態においては、フォアグラウンドコマンドに有効期限を設け、当該有効期限が到達した時点でバックグラウンドコマンドを再開するようにしたが、本発明はこれに限らず、フォアグラウンドコマンドの効力（言い換えれば有効性）が徐々に減衰していくようにし、後発のコマンドの効力がフォアグラウンドコマンドの現在の効力を上回った時点で、当該フォアグラウンドコマンドを終了させるようにしても良い。

すなわち表情生成部１０６は、フォアグラウンドコマンドを実行開始するとともに、その効力を初期値（例えば「１００」）から所定のレートあるいはコマンド固有のレートで減衰させていく。

そして、フォアグラウンドコマンドの実行中に新たなバックグラウンドコマンドが発行された場合、減衰していくフォアグラウンドコマンドの効力がバックグラウンドコマンド固有の効力を下回った時点で、当該フォアグラウンドコマンドを終了して新たなバックグラウンドコマンドを実行する。

また、フォアグラウンドコマンドの実行中に新たなバックグラウンドコマンドが発行されなかった場合は、フォアグラウンドコマンドの効力が所定値（例えば「０」）に低下した時点で、先発のバックグラウンドコマンドを再開する。

このため、時間が経過して効力の弱まったフォアグラウンドコマンドに対し、新たに発行されたバックグラウンドコマンドを優先して実行させることができ、これにより人間の感情変化に則したリアルな表情表出を行うことができる。

そして、フォアグラウンドコマンド及びバックグラウンドコマンドの効力やフォアグラウンドコマンドの効力減衰レートをコマンドそれぞれの性質に応じて変えることにより、感情や状況変化の重要度等に応じた表情変化を表出することができる。

例えば、「怒り」や「驚き」のような強い反応を表すコマンドについては効力を大きく設定し、外音に対する注意のような弱い反応を表すコマンドについては効力を小さく設定すれば、強い反応を表すバックグラウンドコマンドをより優先して実行させることができ、これにより人間の感情変化に則したリアルな表情表出を行うことができる。

ロボットの外観構成を示す斜視図である。 ロボットの外観構成を示す斜視図である。 ロボットの外観構成を示す概念図である。 ロボットの内部構成を示すブロック図である。 ロボットの内部構成を示すブロック図である。 頭部ユニットの構成を示す略線図である。 頭部ユニットの内部構成を示す略線図である。 瞼開閉部の構成を示す略線図である。 瞼開閉部及び瞼回転部の構成を示す斜視図である。 上下瞼の連動機構を示す略線図である。 上下瞼の連動機構を示す略線図である。 上下瞼の連動機構を示す略線図である。 上下瞼の連動機構を示す略線図である。 瞼の開閉状態を示す略線図である。 瞼の傾斜状態を示す略線図である。 インタラクションに関するメイン制御部の処理を示すブロック図である。 音源に対する注意表現の変化を示す略線図である。 発話の特徴量に応じた表情生成の説明に供するグラフである。 瞼の開度と回転角を示す略線図である。 瞼による表情の典型例とその開度及び回転角を示す略線図である。 コマンドの優先関係を示す表である。 コマンドに応じた表情変化の例を示す表である。

符号の説明

１……ロボット、２……胴体部ユニット、３……首部、４……頭部ユニット、５Ａ、５Ｂ……腕部ユニット、６Ａ、６Ｂ……脚部ユニット、１３……首関節機構部、２０……肩関節機構部、２４……肘関節機構部、３２……足平部ブロック、３６……股関節機構部、３８……膝関節機構部、４１……足首関節機構部、５０……メイン制御部、６０……ＣＣＤカメラ、７０……目部、７１……眼窩、７２……眼球部、８０……瞼開閉部、８１……上瞼、８２……下瞼、８６……瞼開閉駆動機構、９０……瞼回転部、９１……瞼回転駆動機構、９２……回転軸、９３……瞼回転部シャーシ、１００……センサ、１０１……音声区間検出部、１０２……音声認識部、１０３……応答生成部、１０４……音声合成部、１０５……音源方向検出部、１０６……表情生成部。

Claims (12)

1. ユーザとの対話機能を有するロボット装置において、
   上記ユーザの発話を検出するユーザ発話検出手段と、
   上記ユーザ発話検出手段で検出したユーザの発話に基づいて、上記ロボット装置に設けられた表情表出手段を駆動する表情制御手段と
   を具えることを特徴とするロボット装置。
2. 上記表情制御手段は、
   上記ユーザ発話検出手段によってユーザの発話が検出されたとき、上記表情表出手段を駆動して、当該発話を検出した旨を通知する
   ことを特徴とする請求項１に記載のロボット装置。
3. 上記検出したユーザの発話の特徴量を抽出するユーザ発話特徴量検出手段
   を具え、
   上記表情制御手段は、上記抽出したユーザの発話の特徴量に基づいて、上記表情表出手段を駆動する
   ことを特徴とする請求項１に記載のロボット装置。
4. ユーザとの対話機能を有するロボット装置において、
   上記ロボット装置自身の発話を生成し音声出力する発話生成手段と、
   上記ロボット装置自身の発話に基づいて、上記ロボット装置に設けられた表情表出手段を駆動する表情制御手段と
   を具えることを特徴とするロボット装置。
5. 上記表情制御手段は、
   上記発話生成手段によって上記発話が出力されているとき、上記表情表出手段を駆動して上記発話を行っている旨を通知する
   ことを特徴とする請求項４に記載のロボット装置。
6. 上記ロボット装置自身の発話の特徴量を抽出するロボット発話特徴量検出手段
   を具え、
   上記表情制御手段は、上記抽出したロボット装置自身の発話の特徴量に基づいて上記表情表出手段を駆動する
   ことを特徴とする請求項４に記載のロボット装置。
7. ロボット装置自身の状態に基づいて、優先度が高いコマンドと、優先度が低いコマンドの少なくとも２種の表情生成コマンドを発行するコマンド発行手段と、
   上記表情生成コマンドに基づいて、上記ロボット装置に設けられた表情表出手段を駆動する表情制御手段と
   を具え、
   上記表情制御手段は、複数の表情生成コマンドを同時に受け付けたとき、上記優先度が高いコマンドを選択して実行する
   ことを特徴とする記載のロボット装置。
8. 上記表情制御手段は、上記複数の表情生成コマンドのうちの優先度の高いコマンドを終了した後、優先度の低いコマンドを実行する
   ことを特徴とする請求項７に記載のロボット装置。
9. 上記優先度が高いコマンドには有効期間が設定されている
   ことを特徴とする請求項８に記載のロボット装置。
10. ユーザとの対話機能を有するロボット装置の表情制御方法において、
    上記ユーザの発話を検出するユーザ発話検出ステップと、
    上記ユーザ発話検出ステップで検出したユーザの発話に基づいて、上記ロボット装置頭部に設けられた表情表出手段を駆動する表情制御ステップと
    を具えることを特徴とするロボット装置の表情制御方法。
11. ユーザとの対話機能を有するロボット装置の表情制御方法において、
    上記ロボット装置自身の発話を生成し音声出力する発話生成ステップと、
    上記ロボット装置自身の発話に基づいて、上記ロボット装置頭部に設けられた表情表出手段を駆動する表情制御ステップと
    を具えることを特徴とするロボット装置の表情制御方法。
12. ロボット装置の表情制御方法において、
    上記ロボット装置自身の状態に基づいて、優先度が高いコマンドと、優先度が低いコマンドの少なくとも２種の表情生成コマンドを発行するコマンド発行ステップと、
    上記表情生成コマンドに基づいて、上記ロボット装置に設けられた表情表出手段を駆動する表情制御ステップと
    を具え、
    上記表情制御ステップは、複数の表情生成コマンドを同時に受け付けたとき、上記優先度が高いフォアグラウンドコマンドを選択して実行する
    ことを特徴とする記載のロボット装置の表情制御方法。
    

Images