JP2005059186A - ロボット装置及びその制御方法 - Google Patents

Abstract

【課題】絵や文字などをビジュアルに外部の状況に応じて適切にユーザに提示するロボット装置を提供する。
【解決手段】カメラ、マイク、タッチセンサなどにより外部の状況を検出し、外部の状況及び情報の内容に応じて、プロジェクタなどの投影手段により当該情報を投影する、壁又は手のひらのような投影先を決定するようにした。
【選択図】図５

Description

本発明は、ロボット装置及びその制御方法に関し、例えばエンターテインメントロボットに適用して好適なものである。

近年、一般家庭内において人間との共存を目的としたヒューマノイド型のエンターテインメントロボットが本願特許出願人により提案され、開発されている。

かかるエンターテインメントロボットは、ＣＣＤ（Charge Coupled Device）、マイクロホン及びタッチセンサ等の外部センサと、バッテリセンサ及び加速度センサ等の内部センサとが搭載され、これら外部センサ及び内部センサの出力に基づいて外部及び内部の状態を認識し、認識結果に基づいて自律的に行動し得るようになされたものである（例えば非特許文献１参照）。
特願２００３−２７０８３５

ところで、かかる従来のエンターテインメントロボットにおいては、自己の意思や感情を音声や頭部等に設けられたＬＥＤ（Light Emitting Diode）の点滅及び又は動作等によって表現するようになされているため、意思や感情を直接的に伝え難い場合があり、また絵や文字などをビジュアル（視覚的）にユーザに提示し得ない問題があった。

かかる問題点を解決するための手段として、上述のようなエンターテインメントロボットにＬＣＤ（Liquid Crystal Display）を搭載し、各種情報をこのＬＣＤに表示することにより絵や文字等をビジュアルにユーザに提示する方法が考えられる。しかしながら、この方法によると、あまり大きなＬＣＤを搭載することができず、情報伝達手段としては未だ不十分な問題があった。

本発明は以上の点を考慮してなされたもので、情報をよりビジュアルに提示することによってエンターテインメント性を向上させ得るロボット装置及びその制御方法を提案しよとするものである。

かかる課題を解決するため本発明においては、情報を投影するための投影手段と、情報の内容並びに状況検出手段により検出された内部及び又は外部の状況に応じて、投影手段により情報を投影する投影先を決定する投影先決定手段とを設けるようにした。

この結果このロボット装置では、情報をビジュアルに、かつ内部及び又は外部の状況に応じて適切に提示することができる。

また本発明においては、内部及び又は外部の状況を検出する第１のステップと、情報の内容並びに内部及び又は外部の状況に応じて、投影手段により当該情報を投影する投影先を決定する第２のステップとを設けるようにした。

この結果このロボット装置の制御方法によれば、情報をビジュアルに、かつ内部及び又は外部の状況に応じて適切に提示することができる。

以上のように本発明によれば、情報を投影するための投影手段と、状況検出手段により検出された外部の状況及び情報の内容に応じて、投影手段により情報を投影する投影先を決定する投影先決定手段とを設けるようにしたことにより、情報をビジュアルに、かつ外部の状況に応じて適切に提示することができ、かくしてエンターテインメント性を向上させ得るロボット装置を実現できる。

また本発明によれば、外部の状況を検出する第１のステップと、外部の状況及び情報の内容に応じて、投影手段により当該情報を投影する投影先を決定する第２のステップとを設けるようにしたことにより、情報をビジュアルに、かつ外部の状況に応じて適切に提示することができ、かくしてエンターテインメント性を向上させ得るロボット装置の制御方法を実現できる。

（１）本実施の形態によるロボット１の構成
（１−１）ロボット１のハードウェア構成
図１において、１は全体として本実施の形態によるロボットを示し、胴体部ユニット２の上部に首関節３を介して頭部ユニット４が取り付けられると共に、当該胴体部ユニット２の左右上部にそれぞれ肩関節４Ａ、４Ｂを介して腕部ユニット５Ａ、５Ｂが取り付けられ、かつ胴体部ユニット２の下部にそれぞれ股関節６Ａ、６Ｂを介して一対の脚部ユニット７Ａ、７Ｂが取り付けられることにより構成されている。

図２は、このロボット１の機能構成を模式的に示したものである。この図２に示すように、ロボット１は、全体の動作の統括的制御やその他のデータ処理を行う制御ユニット１０と、入出力部１１と、駆動部１２と、電源部１３とで構成される。

入出力部１１は、入力部としてロボット１の目に相当するＣＣＤ（Charge Coupled Device）カメラ２０や、耳に相当するマイクロホン２１、頭部や手及び足裏などの部位に配設されてユーザからの物理的な働きかけや、手と外部物体との接触、足裏面の接地等を感知するタッチセンサ２２、あるいは五感に相当するその他の各種のセンサを含む。

また入出力部１１は、出力部としてロボット１の口に相当するスピーカ２３、あるいは点滅の組み合わせや点灯のタイミングにより顔の表情を形成するＬＥＤインジケータ（目ランプ）２４などを装備している。これら出力部は、音声やランプの点滅など、脚などによる機械運動パターン以外の形式でもロボット１からのユーザ・フィードバックを表現することができる。

駆動部１２は、制御ユニット１０が指令する所定の運動パターンに従ってロボット１の機体動作を実現する機能ブロックであり、行動制御による制御対象物である。駆動部１２は、ロボット１の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど各軸毎に設けられた複数の駆動ユニット２５_１〜２５_ｎで構成される。各駆動ユニット２５_１〜２５_ｎは、所定軸回りの回転動作を行うモータ２６_１〜２６_ｎと、モータ２６_１〜２６_ｎの回転位置を検出するエンコーダ２７_１〜２７_ｎと、エンコーダ２７_１〜２７_ｎの出力に基づいてモータ２６_１〜２６_ｎの回転位置や回転速度を適応的に制御するドライバ２８_１〜２８_ｎの組み合わせで構成される。

電源部１３は、その字義通り、ロボット１内に各電気回路などに対して給電を行う機能モジュールである。本実施形態に係るロボット１は、バッテリを用いた自律駆動式であり、電源部１３は、充電バッテリ２９と、充電バッテリ３０の充放電状態を管理する充放電制御部３１とで構成される。

充電バッテリ２９は、例えば、複数本のリチウムイオン２次電池セルをカートリッジ式にパッケージ化した「バッテリ・パック」の形態で構成される。

また、充放電制御部３０は、バッテリ２９の端子電圧や充電／放電電流量、バッテリ２９の周囲温度などを測定することでバッテリ２９の残存容量を把握し、充電の開始時期や終了時期などを決定する。充放電制御部３０が決定する充電の開始及び終了時期は制御ユニット１０に通知され、ロボット１が充電オペレーションを開始及び終了するためのトリガとなる。

制御ユニット１０は、「頭脳」に相当し、例えば頭部ユニット４又は胴体部ユニット２内に搭載されている。この制御ユニット１０は、図３に示すように、メイン・コントローラとしてのＣＰＵ（Central Processing Unit）３１が、メモリやその他の各回路コンポーネントや周辺機器とバス接続された構成となっている。バス３７は、データ・バス、アドレス・バス、コントロール・バスなどを含む共通信号伝送路である。バス３７上の各装置にはそれぞれに固有のアドレス（メモリ・アドレス又はＩ／Ｏアドレス）が割り当てられている。ＣＰＵ３１は、アドレスを指定することによってバス３７上の特定の装置と通信することができる。

ＲＡＭ（Read Access Memory）３２は、ＤＲＡＭ（Dynamic RAM）などの揮発性メモリで構成された書き込み可能メモリであり、ＣＰＵ３１が実行するプログラム・コードをロードしたり、実行プログラムによる作業データの一時的な保存のために使用される。

ＲＯＭ（Read Only Memory）３３は、プログラムやデータを恒久的に格納する読み出し専用メモリである。ＲＯＭ３３に格納されるプログラム・コードには、ロボット１の電源投入時に実行する自己診断テスト・プログラムや、ロボット１の動作を規定する制御プログラムなどが挙げられる。

ロボット１の制御プログラムには、ＣＣＤカメラ２０やマイクロホン２１などのセンサ入力を処理してシンボルとして認識する「センサ入力・認識処理プログラム」、短期記憶や長期記憶などの記憶動作を司りながらセンサ入力と所定の行動制御モデルとに基づいてロボット１の行動を制御する「行動制御プログラム」、行動制御モデルに従って各関節モータの駆動やスピーカ２２の音声出力などを制御する「駆動制御プログラム」などが含まれる。

不揮発性メモリ３４は、例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）のように電気的に消去再書き込みが可能なメモリ素子で構成され、逐次更新すべきデータを不揮発的に保持するために使用される。逐次更新すべきデータには、暗記鍵やその他のセキュリティ情報、出荷後にインストールすべき装置制御プログラムなどが挙げられる。

インターフェース３５は、制御ユニット１０外の機器と相互接続し、データ交換を可能にするための装置である。インターフェース３５は、例えば、入出力部１１内のカメラ２０やマイクロホン２１、スピーカ２２との間でデータ入出力を行う。また、インターフェース３５は、駆動部１２内の各ドライバ２８_１〜２８_ｎとの間でデータやコマンドの入出力を行う。

また、インターフェース３５は、ＲＳ（Recommended Standard）−２３２Ｃなどのシリアル・インターフェース、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１２８４などのパラレル・インターフェース、ＵＳＢ（Universal Serial Bus）インターフェース、ｉ−Ｌｉｎｋ（ＩＥＥＥ１３９４）インターフェース、ＳＣＳＩ（Small Computer System Interface）インターフェース、ＰＣカードやメモリ・スティックを受容するメモリ・カードインターフェース（カードスロット）などのような、コンピュータの周辺機器接続用の汎用インターフェースを備え、ローカル接続された外部機器との間でプログラムやデータの移動を行い得るようにしてもよい。

また、インターフェース３５の他の例として、赤外線通信（ＩｒＤＡ）インターフェースを備え、外部機器と無線通信を行うようにしてもよい。

さらに、制御ユニット１０は、無線通信インターフェース３６やネットワーク・インターフェース・カード（ＮＩＣ）３８などを含み、Ｂｌｕｅｔｏｏｔｈのような近接無線データ通信や、ＩＥＥＥ８０２．１１ｂのような無線ネットワーク、あるいはインターネットなどの高域ネットワークを経由して、外部のさまざなホスト・コンピュータとデータ通信を行うことができる。

このようなロボット１とホスト・コンピュータ間におけるデータ通信により、遠隔のコンピュータ資源を用いて、ロボット１の複雑な動作制御を演算したり、リモート・コントロールすることができる。

（１−２）ロボット１のソフトウェア構成
図４は、ＲＯＭ３３に格納された制御プログラム群により構成されるロボット１の行動制御システム４０の機能構成を模式的に示したものである。ロボット１は、外部刺激の認識結果や内部状態の変化に応じて行動制御を行うことができる。さらには、長期記憶機能を備え、外部刺激から内部状態の変化を連想記憶することにより、外部刺激の認識結果や内部状態の変化に応じて行動制御を行うことができる。

この行動制御システム４０は、オブジェクト指向プログラミングを採り入れて実装されている。この場合、各ソフトウェアは、データとそのデータに対する処理手続きとを一体化させた「オブジェクト」というモジュール単位で扱われる。また、各オブジェクトは、メッセージ通信と共有メモリを使ったオブジェクト間通信方法によりデータの受け渡しとＩｎｖｏｋｅを行うことができる。

行動制御システム４０は、入出力部１１におけるＣＣＤカメラ２０、マイクロホン２１及びタッチセンサ２３などの各センサ出力に基づいて外部環境を認識するために、視覚認識機能部４１と、聴覚認識機能部４２と、接触認識機能部４３とを備えている。

視覚認識機能部４１は、ＣＣＤカメラ２０のセンサ出力でなる画像信号に基づいて顔認識や色認識などの画像認識処理や特徴抽出を実行する。そして視覚認識機能部４１は、かかる顔認識結果であるその人物に固有の顔ＩＤ（識別子）や、顔画像領域の位置及び大きさといった顔認識情報と、色認識結果である色領域の位置や大きさ及び特徴量といった色認識情報となどの各種視覚認識結果を出力する。

聴覚認識機能部４２は、マイクロホン２１のセンサ出力でなる音声信号に基づいて音声認識や話者認識、音源方向認識などの各種音に関する認識処理を実行する。そして聴覚認識機能部部４２は、かかる音声認識結果である認識した単語の文字列情報と、音響的特徴等に基づく話者認識処理結果であるその話者に固有の話者ＩＤ情報と、音源方向認識結果である音源方向情報となどの各種聴覚認識結果を出力する。

接触認識機能部３３は、頭部ユニット４の上部や腕部ユニット５Ａ、５Ｂの先端部である手、脚部ユニット７Ａ、７Ｂの底部である足底等に配設されたタッチセンサ２２のセンサ出力でなる圧力検出信号に基づいて「なでられた」、「叩かれた」、「物を把持した」、「足裏面が接地した」という外部との物理的な接触を認識し、得られたこれら各種接触認識結果を出力する。

内部状態管理部４４は、本能及び感情を数式モデル化して内部状態として管理しており、視覚認識機能部４１、聴覚認識機能部４２及び接触認識機能部４３の認識結果等に応じてその状態を変化させる。

具体的に内部状態管理部４４は、疲れ（fatigue）、熱或いは体内温度（temperature）、痛み（pain）、食欲或いは飢え（hunger）、乾き（thirst）、愛情（affection）、好奇心（curiosity）、排泄（elimination）及び性欲（sexual）等といった本能を構成する９個の本能的要素のそれぞれについてその強さを表すパラメータを保持し、幸せ（happiness）、悲しみ（sadness）、怒り（anger）、驚き（surprise）、嫌悪（disgust）、恐れ（fear）、苛立ち（frustration）、退屈（boredom）、睡眠（somnolence）、社交性（gregariousness）、根気（patience）、緊張（tense）、リラックス（relaxed）、警告（alertness）、罪（guilt）、悪意（spite）、誠実さ（loyalty）、服従性（submission）及び嫉妬（jealousy）等といった感情を構成する18個の情動的要素のそれぞれについてその強さを表すパラメータを保持している。

そして内部状態管理部４４は、これら各本能的要素及び各情動的要素のパラメータ値を視覚認識機能部４１、聴覚認識機能部４２及び接触認識機能部４３の認識結果と、経過時間となどに基づいて周期的に更新することにより、ロボット１の本能及び感情を時々刻々と変化させる。

一方、行動制御システム４０においては、外部刺激の認識結果や内部状態の変化に応じて行動制御を行うために、時間の経過とともに失われる短期的な記憶を行う短期記憶部４５と、情報を比較的長期間保持するための長期記憶部４６を備えている。短期記憶と長期記憶という記憶メカニズムの分類は神経心理学に依拠する。

短期記憶部４５は、ロボット１の外部環境に関する情報を比較的短い時間だけ保持するオブジェクトであり、視覚認識機能部４１から出力される各種視覚認識結果と、聴覚認識機能部４２から出力される各種聴覚認識結果と、接触認識機能部４３から出力される各種接触認識結果と、視覚認識機能部４１、聴覚認識機能部４２又は接触認識機能部４３を介して供給される各種センサ出力とを受け取り、これを短期間だけ記憶する。

また短期記憶部４５は、これら受け取った視覚認識結果、聴覚認識結果、接触認識結果及び各種センサ出力を統合的に用いて顔画像領域、人物ＩＤ、話者ＩＤ及び文字列情報等の対応付けを行うことにより、現在どこにどの人物がいて、発した言葉がどの人物のものであり、その人物とはこれまでにどのような対話を行ったかというターゲット情報及びイベント情報を生成し、これを保存する。

長期記憶部４６は、物の名前など学習により得られた情報を長期間保持するために使用されるものであり、制御ユニット１０（図３）内のＲＡＭ３２や不揮発性メモリ３４が利用される。この長期記憶部３６は、学習により得られた情報を例えば色、形、顔ＩＤ、音声、本能値及び感情値等の幾つかの要素の組み合わせとして記憶し、この後視覚認識機能部４１から出力される各種視覚認識結果や聴覚認識機能部４２から出力される聴覚認識結果に基づき得られたターゲットの色や形、顔ＩＤの組み合わせパターンに基づいてそのターゲットに関する残りの要素を連想するように想起し得るようになされている。

さらに行動制御システム４０により生成されるロボット１の行動は、反射行動部４９によって実現される「反射行動」と、状況依存行動階層４８によって実現される「状況依存行動」と、熟考行動階層４７によって実現される「熟考行動」に大別される。

反射的行動部４９は、視覚認識機能４１と、聴覚認識機能部４２と、積極認識機能部４３によって認識された外部刺激に応じて反射的な動作をロボット１の次の行動として決定する。反射行動とは、基本的にセンサ入力された外部情報の認識結果を直接受けて、これを分類して、出力行動を直接決定する行動のことである。例えば、人間の顔を追いかけたり、うなずくといった振る舞いは反射行動として実装される。

状況依存行動階層４８は、短期記憶部４５並びに長期記憶部４６の記憶内容や、内部状態管理部４４によって管理される内部状態に基づいて、予め複数用意されている行動の中からロボット１が現在置かれている状況や以前の行動に依存した行動を当該ロボット１の次の行動として決定する。

また、状況依存行動階層４８は、内部状態をある範囲に保つための行動（「ホメオスタシス行動」とも呼ぶ）も実現し、内部状態が指定した範囲内を超えた場合には、その内部状態を当該範囲内に戻すための行動が出現し易くなるようにその行動を活性化させる（実際には、内部状態と外部環境の両方を考慮した形で行動が選択される）。状況依存行動は、反射行動に比し、反応時間が遅い。

熟考行動階層４７は、短期記憶部４５並びに長期記憶部４６の記憶内容に基づいて、ロボット１の比較的長期にわたる行動計画などを行う。熟考行動とは、与えられた状況あるいは人間からの命令により、推論やそれを実現するための計画を立てて行われる行動のことである。例えば、ロボット１の位置と目標の位置から経路を検索することは熟考行動に相当する。このような推論や計画は、ロボット１がインタラクションを保つための反応時間よりも処理時間や計算負荷を要する（すなわち処理時間がかかる）可能性があるので、かかる反射行動や状況依存行動がリアルタイムで反応を返しながら、熟考行動は推論や計画を行う。

熟考行動階層４７や状況依存行動階層４８、反射行動部４９は、ロボット１のハードウェア構成に非依存の上位のアプリケーション・プログラムとして記述することができる。

これに対し、ハードウェア依存層制御部５０は、これら熟考行動階層４７や状況依存行動階層４８又は反射行動階層４９からの命令に応じて、入出力部１１のスピーカ２３を介して音声を出力させたり、ＬＥＤ２４を所定パターンで点滅駆動したり、駆動部１２の対応する駆動ユニット２５_１〜２５_ｎを駆動させる。これによりハードウェア依存層制御部５０は、熟考行動階層４７や状況依存行動階層４８又は反射行動階層４９が決定した行動をロボット１に発現させる。

（２）ロボット１における投影機能
（２−１）ロボット１における投影機能
次に、このロボット１に搭載された投影機能について説明する。

このロボット１には、図１に示すように、頭部ユニット４の前側上部にプロジェクタ２５が配設されており、必要時にこのプロジェクタ２５を用いて映像等を壁や専用のハンディスクリーン等に投影することができるようになされている。

ここで、このようなプロジェクタ２５を利用した行動（以下、これをプロジェクタ利用行動と呼ぶ）は、短期記憶部４５の記憶内容と内部状態管理部４４が管理している内部状態とに基づいて状況依存行動階層４８において決定されるロボット１の行動の１つとして用意されている。

そしてかかるプロジェクタ利用行動についての具体的内容、例えば投影すべき映像（情報）等の映像データ及び映像等と同期して出力すべき音声データや、その映像内容に応じた投影先（壁、ハンディスクリーン、床、机又は自己の手のひら等）を決定するための条件などがプロジェクタ利用行動ごとにそれぞれファイル化（以下、これをそのプロジェクタ利用行動の定義ファイルと呼ぶ）されてＲＯＭ３３（図２）に格納されている。

かくして状況依存行動階層４８は、ロボット１の次の行動としてプロジェクタ利用行動を決定した場合、対応する定義ファイルをＲＯＭ３３から読み出し、当該定義ファイルの内容と、短期記憶部４５から得られる現在の内部及び外部の状況と、内部状態管理部４４が管理している現在のロボット１の内部状態とに基づいて、まず映像やテキスト等の情報の投影先を決定する。

例えば、状況依存行動階層４８は、ユーザからの要求又は自己の内部状態に基づく欲求の高まりにより、ロボット１の次の行動として『自己紹介する』というプロジェクタ利用行動を決定した場合であって、その定義ファイルに情報の投影先を決定するための条件（以下、これを投影先決定条件と呼ぶ）として『ロボット１の周囲に１人しかいない場合にはハンディスクリーン』、『複数人いる場合には壁』という条件が記述され、かつ短期記憶部４５が記憶保持する視覚認識機能部４１の認識結果に基づきそのとき自己の周囲に人間が複数いることを認識したときには、投影先として『壁』を選択する。

また状況依存行動階層４８は、ロボット１の次の行動として『本を読んであげる』というプロジェクタ利用行動を決定した場合であって、その定義ファイルに投影先として『ロボット１の周囲に１人しかいない場合にはハンディスクリーン』、『複数人いる場合には壁』という投影先決定条件が記述され、かつ短期記憶部４５が記憶保持する視覚認識機能部４１の認識結果に基づきそのとき自己の周囲に人間が１人しかいないことを認識したときには、投影先を『ハンディスクリーン』に決定する。この『ハンディスクリーン』は、ロボット１が手で持ちながらその方向や角度の微調整が可能な程度の大きさ及び重さを有するもので、その表面は投影された映像を映し出すことができるように加工された可搬型のプロジェクタ用スクリーンである。

さらに状況依存行動階層４８は、ロボット１の次の行動として『秘密の言葉（例えば暗証番号）を教える』というプロジェクタ利用行動を決定した場合であって、その定義ファイルに投影先として『常に手のひら』という投影先決定条件が記述されているときには、投影先として『手のひら』を決定する。

そして状況依存行動階層４８は、次にその決定した投影先に対して適切な位置にロボット１を移動若しくは投影先を位置させ、又はロボット１の姿勢を遷移させるように、ハードウェア依存行動制御部５０に指令を与える。

例えば、投影先を『壁』に決定した場合、状況依存行動階層４８は、必要に応じてハードウェア依存行動制御部５０に指令を与えて『壁』を探す動作をロボット１に発現させ、視覚認識機能部４１の認識結果に基づき『壁』を検出できた場合にハードウェア依存行動制御部５０に指示を与えてロボット１をその『壁』に対して適切な位置に移動させる。

また状況依存行動階層４８は、投影先を『ハンディスクリーン』に決定した場合、必要に応じてハードウェア依存行動制御部５０に指令を与えて『ハンディスクリーン』を探すような動作をロボット１に発現させ、視覚認識機能部４１の認識結果に基づき『ハンディスクリーン』を検出できた場合にハードウェア依存行動制御部５０に指令を与えてロボット１にその『ハンディスクリーン』を所定状態に持たせ、かつロボット１の姿勢を『ハンドスクリーン』に映像を投影するための所定の姿勢に遷移させる。

さらに状況依存行動階層４８は、投影先を『手のひら』に決定した場合、ハードウェア依存行動制御部５０に指令を与えてロボット１の姿勢を自己の『手のひら』に映像を投影するための所定の姿勢に遷移させる。

なお、探索により『壁』や『ハンディスクリーン』を検出できなかった場合、状況依存行動階層４８は、ハードウェア依存行動制御部５０に指令を与えて、ロボット１を『壁』の近くにまで移動させ又は『ハンディスクリーン』を探してくれるようにユーザに助けを求める動作をロボット１に発現させる。

そして状況依存行動階層４８は、この後短期記憶部４５に記憶保持されている視覚認識機能部４１の認識結果や、対応するモータ２６_１〜２６_ｎ（図２）の回転位置を検出する各エンコーダ２７_１〜２７_ｎ（図２）からのセンサ出力に基づいて、かかる投影先に映像等を投影できる位置に移動し、又は姿勢となったことを認識すると、投影を開始するようにハードウェア依存行動制御部５０に指令を与える。

かくしてハードウェア依存行動制御部５０は、この指令を受けて、対応する映像データをＲＯＭ３３（図３）から読み出してプロジェクタ２５に送信することにより、当該映像データに基づく映像を投影先に投影させる一方、必要に応じて対応する音声データを映像データに同期させながらＲＯＭ３３から読み出し、これをディジタル／アナログ変換して音声信号としてスピーカ２３（図２）に与えることにより、当該音声信号に基づく音声を映像に同期させながら出力させる。

このようにしてこのロボット１は、映像を『壁』等に投影し、これに同期させて対応する音声を出力することができるようになされている。

なおこの実施の形態の場合、プロジェクタ利用行動ごとに、かつ同じプロジェクタ利用行動の中でも投影先決定条件ごとに、それぞれ複数の投影先の候補（以下、これを投影先候補と呼ぶ）が用意され、これらの投影先候補が優先順位が付けられてその定義ファイルにおいて規定されている。

例えば『自己紹介をする』というプロジェクタ利用行動では、『ロボット１の周囲に１人しかいない場合』及び『ロボット１の周囲に複数人いる場合』という各投影先決定条件に対してそれぞれ投影先が規定されているが、このうち『ロボット１の周囲に１人しかいない場合』という投影先決定条件に対しては、「『ハンディスクリーン』を検出等できなければ『壁』、『壁』を検出等できなければ『手のひら』」というように、投影先候補として『ハンディスクリーン』、『壁』及び『手のひら』がこの順番で規定され、『ロボットの周囲に複数人いる場合』という投影先決定条件に対しては、投影先候補として『壁』、『ハンディスクリーン』及び『手のひら』がこの順番で規定されている。

また『本を読んであげる』というプロジェクタ利用行動では、『ロボット１の周囲に１人しかいない場合』という投影先決定条件に対しては、投影先候補として『ハンディスクリーン』、『壁』及び『手のひら』がこの順番で規定され、『ロボット１の周囲に複数人いる場合』という投影先決定条件に対しては、投影先候補として『壁』、『ハンディスクリーン』及び『手のひら』がこの順番で規定されている。

ただし、『秘密の言葉を教える』というプロジェクタ利用行動については、内容の秘密性を重視して、投影先候補として『手のひら』のみが規定されている。

そして状況依存行動層４８は、ロボット１の次の行動としてプロジェクタ利用行動を決定後、映像の投影先を決定するに際しては、対応する定義ファイルにおいて規定された投影先決定条件に基づき、投影先候補の優先順位に従って１つの投影先候補を選択する一方、当該投影先候補を検出できなかった場合や、当該投影先候補に対して適切な位置にロボット１を移動若しくは投影先を位置させ得なかった場合などには、投影先として次の順次優先順位が付与された投影先候補を選択し、その投影先候補に映像を投影するように順次試みるようになされている。

このようにしてこのロボット１においては、状況を考慮しながら映像の投影先を選択するようになされ、これにより確実に映像を投影し得るようになされている。

またこの実施の形態の場合、状況依存行動階層４８は、投影先に映像等を投影中にユーザからの要求に応じて投影先に投影している映像等の投影状態を変更させるようになされている。

実際上、状況依存行動階層４８は、映像等の投影時、短期記憶部４５に供給される聴覚認識機能部４１の音声認識結果を順次監視し、例えば「もっと明るく写して」や、「もっと大きく写して」といった所定の音声認識結果が得られたことを認識すると、ハードウェア依存行動制御部５０に指令を与えて、当該ユーザの要求に応じてプロジェクタ２５の出力パワーを上げさせることにより投影映像等の輝度を上げさせたり、移動等により投影先に対してプロジェクタ２５の位置を近づけさせることにより投影映像の大きさを大きくさせるようになされている。

このようにこのロボット１においては、映像等の投影時に、当該投影に関するユーザの各種要求を受け入れることで、より効果的に映像等をユーザに提示することができるようになされている。

（２−２）プロジェクタ利用行動に関する状況依存行動階層４８の処理
ここで実際上、プロジェクタ利用行動に関する状況依存行動階層４８の処理は、図５に示すプロジェクタ利用行動処理手順ＲＴに従って行われる。

すなわち状況依存行動階層４８は、ロボット１の次の行動としてプロジェクタ利用行動を決定すると、このプロジェクタ利用行動処理手順ＲＴをステップＳＰ０において開始し、続くステップＳＰ１において、対応する定義ファイルに定義されたそのプロジェクタ利用行動の内容と、短期記憶部４５に記憶された周囲の状況とに基づいて、映像の投影先として、当該定義ファイルにおいて定義されている投影先候補の中から最も優先順位の高い投影先候補を選択する。

そして状況依存行動階層４８は、この後ステップＳＰ２に進んで、ステップＳＰ１において選択する投影先候補があったか否かを判断し、否定結果を得るとステップＳＰ１４に進んでこのプロジェクタ利用行動処理手順ＲＴを終了する。従って、この場合にはロボット１の次の行動として決定されたプロジェクタ利用行動が発現されない。

これに対して状況依存行動階層４８は、ステップＳＰ２において肯定結果を得ると、ステップＳＰ３に進んで、ステップＳＰ１において選択した投影先候補を必要に応じて探索し、かかる投影先候補を見つけられたか否かを判断する。具体的には、状況依存行動階層４８は、例えば投影先候補として『壁』や『ハンディスクリーン』を選択した場合には、ハードウェア依存行動制御部５０に指令を与えてロボット１の頭部ユニット４をヨー軸回りに回転させて周囲を見回させる一方、その間短期記憶部４５に与えられる視覚認識機構部４１の認識結果を監視するようにして、『壁』や『ハンディスクリーン』が周囲に存在するか否かを判断することとなる。

そして状況依存行動階層４８は、このステップＳＰ３において肯定結果を得ると、ステップＳＰ７に進み、これに対して否定結果を得るとステップＳＰ４に進んで、ユーザに助けを求めるための音声又は動作をロボット１に出力又は発現させるようにハードウェア依存行動制御部５０に指示を与える。この結果、例えばステップＳＰ１において選択した投影先候補が『壁』であった場合には、その近傍位置にまでロボット１を搬送し、当該投影先候補が『ハンディスクリーン』であった場合には、これを用意してもらうことを求める音声がロボット１から出力され、又は動作がロボット１により発現される。

また状況依存行動階層４８は、この後ステップＳＰ５に進んで、ユーザに助けを求めてから所定の待機時間（例えば15〔秒〕）が経過し、若しくは搬送されて床面上に置かれたことを足裏のタッチセンサ２２（図２）のセンサ出力により検出し、又は「いいよ」等の投影先候補の用意ができたことを意味するユーザの発話を聴覚認識機能部４２が音声認識するのを待ち受ける。

そして状況依存行動階層４８は、やがてかかる待機時間が経過等すると、ステップＳＰ６に進んで、投影先候補をユーザに用意してもらえたか否かを判断する。この判断は、例えば投影先候補が『壁』である場合には、視覚認識機能部４１により『壁』が認識されたか否かを判定することにより行われ、『ハンディスクリーン』である場合には、視覚認識機能部４１により『ハンディスクリーン』が認識され、かつ接触認識機能部４３の認識結果等に基づき検出されるロボット１が『ハンディスクリーン』を手に持っているか否かを判定することにより行われる。

そして状況依存行動階層４８は、このステップＳＰ６において肯定結果を得るとステップＳＰ７に進み、これに対して否定結果を得るとステップＳＰ１に戻って、投影先として次の投影先候補の中から１つを選択し、この後選択できる投影先候補がなくなることによりステップＳＰ２において否定結果を得、又はステップＳＰ１において選択した投影先候補を見つけることによりステップＳＰ３又はステップＳＰ６において肯定結果を得るまでステップＳＰ１〜ＳＰ６−ＳＰ１のループを繰り返す。

一方、状況依存行動階層４８は、ステップＳＰ３又はステップＳＰ６において肯定結果を得ることによりステップＳＰ７に進むと、投影先候補に対してプロジェクタ２５が適切な位置及び状態にあるか否かを判断する。この判断は、例えば投影先候補が『壁』である場合には、例えばステレオ測距法等により視覚認識機能部４１において検出された『壁』までの距離と、当該視覚認識機能部４１の認識結果等に基づき検出される『壁』に対するプロジェクタ２５の向きや傾き等が共に予め定められた許容範囲内にあるか否かを判定することにより行われ、投影先候補が『ハンディスクリーン』である場合には、各エンコーダ２７_１〜２７_ｎからのセンサ出力に基づき認識されるロボット１の姿勢と、視覚認識機能部４１の認識結果等に基づき検出される『壁』に対するプロジェクタ２５の向きや傾き等が共に予め定められた許容範囲内にあるか否かを判定することにより行われる。また投影先候補が自己の『手のひら』である場合には、各エンコーダ２７_１〜２７_ｎからのセンサ出力に基づき認識されるロボット１の姿勢を判定することにより行われる。

そして状況依存行動階層４８は、このステップＳＰ７において肯定結果を得ると、ステップＳＰ１３に進む。これに対して状況依存行動階層４８は、ステップＳＰ７において否定結果を得ると、ステップＳＰ８に進んで、投影先候補が適切な位置及び状態となるようにハードウェア依存行動制御部５０に指令を与える。具体的には、投影先候補が『壁』である場合には、視覚認識機能部４１による検出結果として得られる『壁』までの距離と、視覚認識機能部４２の認識結果等に基づき検出される『壁』に対するプロジェクタ２５の向きや傾き等が共に予め定められた許容範囲内となるまでロボット１を移動させ又は向きや傾き等を変えさせ、投影先候補が『ハンディスクリーン』や自己の『手のひら』である場合には、各エンコーダ２７_１〜２７_ｎからのセンサ出力に基づき認識されるロボット１の姿勢をその投影先候補に応じた所定の姿勢に遷移させる。

そして状況依存行動階層４８は、この後移動が終了し若しくは移動開始から所定時間が経過し又は姿勢遷移動作が終了するとステップＳＰ９に進んで、投影先候補に対してプロジェクタ２５が適切な位置及び状態となったか否かを判断し、肯定結果を得るとステップＳＰ１３に進む。

これに対して状況依存行動階層４８は、このステップＳＰ９において否定結果を得ると、ステップＳＰ１０に進んで、投影先候補に対してプロジェクタ２５が適切な位置及び状態となるようにユーザに依頼する音声をロボット１に出力させ、又は動作をロボット１に発現させるようにハードウェア依存行動制御部５０に指示を与える。この結果、例えばステップＳＰ１において選択した投影先候補が『壁』であった場合には、その近傍位置にまでロボット１を搬送し、当該投影先候補が『ハンディスクリーン』であった場合には、これを所定の状態に持たせてもらうことを依頼する音声が出力され、又は動作がロボット１により発現される。

また状況依存行動階層４８は、この後ステップＳＰ１１に進んで、ユーザに依頼してから所定の待機時間が経過し、若しくは搬送されて床面上に置かれたことを足裏面に配置されたタッチセンサ２２のセンサ出力により検出し、又は「いいよ」などといった投影先候補の用意ができたことを意味するユーザの発話を聴覚認識機能部４２が音声認識するのを待ち受ける。

そして状況依存行動階層４８は、やがてかかる待機時間が経過等すると、ステップＳＰ１２に進んで、投影先候補に対してプロジェクタ２５が適切な位置及び状態となったか否かをステップＳＰ７のときと同様に判断し、肯定結果を得るとステップＳＰに進む。

これに対して状況依存行動階層４８は、このステップＳＰ１２において否定結果を得ると、その投影先候補に対する投影は不可能であると判断してステップＳＰ１に戻り、投影先として次の優先順位を有する投影先候補を選択し、この後ステップＳＰ〜ステップＳＰを上述と同様に処理する。

一方、状況依存行動階層４８は、ステップＳＰ１３に進むと、ハードウェア依存行動制御部５０に指令を与えて対応する映像等の投影及び必要な音声の出力を開始させる。そしてこの後状況依存行動階層４８は、このステップＳＰ１３において、必要な映像等の投影が終了するのを待ち受け、やがてこの投影が終了すると、ステップＳＰ１４に進んでこのプロジェクタ利用行動処理手順ＲＴを終了する。

（３）本実施の形態の動作及び効果
以上の構成において、このロボット１では、プロジェクタ利用行動の発現時、対応する定義ファイルをＲＯＭ３３（図３）から読み出し、当該定義ファイルの内容と、短期記憶部４５から得られる現在の内部及び外部の状況と、内部状態管理部４４が管理している現在のロボット１の内部状態とに基づいて情報の投影先を決定し、当該決定した投影先に当該情報を投影する。

従って、このロボット１では、自己の意思や感情を音声やＬＥＤ２４（図２）の点滅及び又は動作のみによって表現する場合に比して当該意思及び感情等を直接的にユーザに伝えることができ、また絵や文字などの情報をビジュアルに、かつ内部及び又は外部の状況に応じて適切にユーザに提示することができる。

以上の構成によれば、プロジェクタ利用行動の発現時、対応する定義ファイルの内容と、短期記憶部４５から得られる現在の内部及び外部の状況と、内部状態管理部４４が管理している現在のロボット１の内部状態とに基づいて情報の投影先を決定し、当該決定した投影先に当該情報を投影するようにしたことにより、絵や文字などの情報をビジュアルに、かつ内部及び又は外部の状況に応じて適切にユーザに提示することができ、かくしてエンターテインメント性を向上させ得るロボット装置を実現できる。

（４）他の実施の形態
なお上述の実施の形態においては、本発明を図１のように構成された２足歩行型のロボット装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の形態のロボット装置に広く適用することができる。

また上述の実施の形態においては、情報を投影するための投影手段を、プロジェクタ２５と、ロボット１の行動制御を司る状況依存行動階層４８とで構成するようにした場合について述べたが、本発明はこれに限らず、状況依存行動階層４８に代えて専用のプログラムを設けるようにしても良い。

さらに上述の実施の形態においては、外部の状況を検出するための状況検出手段を、ＣＣＤカメラ２０、マイクロホン２１及びタッチセンサ２２等の外部センサと、これら外部センサのセンサ出力に応じて外部の状況を認識する視覚認識機能部４１、聴覚認識機能部４２及び接触認識機能部４３と、短期記憶部４５とによりを適用するようにした場合について述べたが、本発明はこれに限らず、外部センサとして距離センサを含めるなどこの他種々の構成を広く適用することができる。

さらに上述の実施の形態においては、ＣＣＤカメラ２０、マイクロホン２１及びタッチセンサ２２等の外部センサのセンサ出力に基づき、視覚認識機能部４１、聴覚認識機能部４２及び接触認識機能部４３において認識された外部の状況及び投影する情報の内容に応じて投影先を決定する投影先決定手段としてロボット１全体の行動に関する制御を司る状況依存行動階層４８を適用するようにした場合について述べたが、本発明はこれに限らず、状況依存行動階層４８以外にこれ専用のモジュールを設けるようにしても良い。

さらに上述の実施の形態においては、投影する情報の内容に応じて、その投影先を対応する定義ファイルにおいて予め規定しておく場合について述べたが、本発明はこれに限らず、情報の内容に拘わりなく情報の投影先として予め定められた幾つかの候補の中から任意に、又は外部の状況及び情報の内容に応じて適宜選択するようにして、状況依存行動階層４８が投影先を決定するようにしても良い。

さらに上述の実施の形態においては、投影先に対するプロジェクタ２５の位置及び向き等の状態を、当該投影先に応じた所定の位置及び状態とするための所定の制御処理を実行する制御手段としての機能をも状況依存行動階層４８にもたせるようにした場合について述べたが、本発明はこれに限らず、かかる機能を状況依存行動階層４８以外のモジュールにもたせるようにしても良い。

さらに上述の実施の形態においては、映像等の投影時に投影に関するユーザの各種要求を受け入れるようにした場合について述べたが、本発明はこれに限らず、投影と共に出力される音声に関する要求、例えば「もっと大きな声で」や「もっとゆっくり」といった要求をも受け入れるようにしても良い。なおこの場合も投影の場合と同様の状況依存行動階層４８による処理により行うことができる。

本発明は、ロボット装置及びその制御方法に関し、例えばエンターテインメントロボットの他、産業用ロボットに適用して、自己の取扱い方の説明をさせるような利用もできる。

本実施の形態によるロボットの概観構成を示す略線的な斜視図である。 ロボットのハードウェア構成を示すブロック図である。 制御ユニットの構成を示すブロック図である。 ロボットのソフトウェア構成を示すブロック図である。 プロジェクタ利用行動処理手順を示すフローチャートである。

符号の説明

１……ロボット、１０……制御ユニット、２０……カメラ、２１……マイクロホン、２２……タッチセンサ、２７_１〜２７_ｎ……エンコーダ、３１……ＣＰＵ、４１……視覚認識機能部、４２……聴覚認識機能部、４３……接触認識機能部、４４……内部状態管理部、４５……短期記憶部、４８……状況依存行動階層、５０……ハードウェア依存行動制御部、ＲＴ……プロジェクタ利用行動処理手順。

Claims (10)

1. 情報を投影するための投影手段と、
   外部の状況を検出する状況検出手段と、
   上記状況検出手段により検出された上記外部の状況及び上記情報の内容に応じて、上記投影手段により上記情報を投影する投影先を決定する投影先決定手段と
   を具えることを特徴とするロボット装置。
2. 上記投影先決定手段は、
   上記情報の内容に応じて予め定められた複数の上記投影先の候補の中から、上記状況検出手段により検出された上記外部の状況に応じた上記候補を選択するようにして、上記投影先を決定する
   ことを特徴とする請求項１に記載のロボット装置。
3. 上記投影先決定手段により決定された上記投影先に対する上記投影手段の位置及び状態を、当該投影先に応じた所定の上記位置及び上記状態とするための所定の制御処理を実行する制御手段を具える
   ことを特徴とする請求項１に記載のロボット装置。
4. 上記制御手段は、
   上記投影先決定手段により決定された上記投影先に対する上記投影手段の上記位置及び上記状態を、当該投影先に応じた所定の上記位置及び上記状態にできないときには、ユーザに助けを求めるための所定の制御処理を実行する
   ことを特徴とする請求項３に記載のロボット装置。
5. 上記投影手段は、
   ユーザからの要求に応じて、上記投影先に投影した上記情報の投影状態を変更する
   ことを特徴とする請求項１に記載のロボット装置。
6. 外部の状況を検出する第１のステップと、
   上記外部の状況及び情報の内容に応じて、投影手段により当該情報を投影する投影先を決定する第２のステップと
   を具えることを特徴とするロボット装置の制御方法。
7. 上記第２のステップでは、
   上記情報の内容に応じて予め定められた複数の上記投影先の候補の中から、検出した上記外部の状況に応じた上記候補を選択するようにして、上記投影先を決定する
   ことを特徴とする請求項６に記載のロボット装置の制御方法。
8. 決定した上記投影先に対する上記投影手段の位置及び状態を、当該投影先に応じた所定の上記位置及び上記状態とするための所定の制御処理を実行する第３のステップを具える
   ことを特徴とする請求項６に記載のロボット装置の制御方法。
9. 上記投影先決定手段により決定された上記投影先に対する上記投影手段の上記位置及び上記状態を、当該投影先に応じた所定の上記位置及び上記状態にできないときには、ユーザに助けを求めるための所定の制御処理を実行する第４のステップを具える
   ことを特徴とする請求項８に記載のロボット装置の制御方法。
10. 決定した上記投影先に上記情報を投影する第３のステップと、
    ユーザからの要求に応じて、上記投影先に投影した上記情報の投影状態を変更する第４のステップと
    を具えることを特徴とする請求項６に記載のロボット装置の制御方法。

Images