JP2002331481A - ロボット装置、動作作成装置及び動作作成方法、並びに、制御プログラム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 表現能力の全てを統合し自然で表現力豊かな
コミュニケーション動作を生成する。 【解決手段】 内的動機生成部１０１において生成され
た動機付けに基づいてモダリティを生成し、各モダリテ
ィ生成部１０４、１０６及び言語モダリティ配列部１０
９において生成されたモダリティが重複する場合、モダ
リティコンフリクト解消部において重複による動作のコ
ンフリクトを解消し、モダリティ統合部１１０において
各モダリティを統合してマルチモダル・タイムラインを
生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボット装置、並
びに、動作作成方法及び動作作成方法、並びに制御プロ
グラム及び記録媒体に関し、特に、表出可能な表現を全
て利用し自然で表現力豊かなコミュニケーション動作を
実行することができるロボット装置、並びに、表出可能
な表現を全て利用し自然で表現力豊かなコミュニケーシ
ョン動作を作成することができる動作作成装置及び動作
作成方法、並びに、表出可能な表現を全て利用し自然で
表現力豊かなコミュニケーション動作をロボット装置に
実行させる制御プログラム及びこのプログラムが記録さ
れた記録媒体に関する。

【０００２】

【従来の技術】電気的又は磁気的な作用を用いて人間
（生物）の動作に似た運動を行う機械装置を「ロボッ
ト」という。我が国においてロボットが普及し始めたの
は、１９６０年代末からであるが、その多くは、工場に
おける生産作業の自動化・無人化等を目的としたマニピ
ュレータや搬送ロボット等の産業用ロボット（Industri
al Robot）であった。

【０００３】最近では、人間のパートナーとして生活を
支援する、すなわち住環境その他の日常生活上の様々な
場面における人的活動を支援する実用ロボットの開発が
進められている。このような実用ロボットは、産業用ロ
ボットとは異なり、人間の生活環境の様々な局面におい
て、個々に個性の相違した人間、又は様々な環境への適
応方法を自ら学習する能力を備えている。例えば、犬、
猫のように４足歩行の動物の身体メカニズムやその動作
を模した「ペット型」ロボット、あるいは、２足直立歩
行を行う動物の身体メカニズムや動作をモデルにしてデ
ザインされた「人間型」又は「人間形」ロボット（Huma
noid Robot）等の脚式移動ロボットは、既に実用化され
つつある。

【０００４】このようなロボット装置は、産業用ロボッ
トと比較してエンターテインメント性を重視した様々な
動作を行うことができるため、エンターテインメントロ
ボットと呼称される場合もある。

【０００５】人間（ユーザ）からロボット装置に対する
入力（multimodal input）方式としては、主として、グ
ラフィック・ユーザ・インターフェイス（以下、ＧＵＩ
と記す。）、発話、手書き及び身振り等が利用されてい
る。また、ロボット装置から人間への出力（multimodal
output）方式としては、発話、ＧＵＩ等が利用されて
いる。

【０００６】このようなロボット装置としては、例え
ば、表情を動画として表示する顔部を備えたアバター
（avatar）（固有名詞）がある。アバター（固有名詞）
は、発話に同期して表情の動画を表示することができる
ロボット装置である。また、発声と、頭部及び視線の方
向と、顔の表情とを統合して出力する人間型ロボットも
知られている。

【０００７】

【発明が解決しようとする課題】ところが、従来のロボ
ット装置は、表出可能な動作が豊富であるのにも関わら
ず、外部からの働きかけに対する動作及び内部状態の表
現力に乏しいという欠点があった。

【０００８】そこで、本発明は、このような従来の実情
に鑑みて提案されたものであり、表現能力の全てを統合
し自然で表現力豊かなコミュニケーション動作を生成す
ることができるロボット装置、並びに、自然で表現力豊
かなコミュニケーション動作を作成することができる動
作作成方法及び動作作成方法、並びに、ロボット装置に
対してロボット装置のもてる表現能力の全てを統合し、
自然で表現力豊かなコミュニケーション動作を実行させ
る制御プログラム及びこの制御プログラムが記録された
記録媒体を提供することを目的とする。

【０００９】

【課題を解決するための手段】上述した目的を達成する
ために、本発明に係るロボット装置は、外部からの働き
かけに応じた動作及び／又は内部状態に基づく自律的動
作を実行するための動機付けを生成する内的動機生成手
段と、内的動機生成手段によって生成された動機付けに
基づいて、外部からの働きかけに応じた動作及び／又は
内部状態に基づく自律的動作を表出する際の様態として
のモダリティを生成するモダリティ生成手段と、モダリ
ティ生成手段において生成された動作表出の様態が重複
する場合、重複による動作の不調和を解消するモダリテ
ィ不調和解消手段と、動作表出の様態が表出時間に応じ
て時系列に配置されたモダリティ・タイムラインを生成
するモダリティ統合制御手段とを備える。

【００１０】このようなロボット装置は、内的動機生成
手段において生成された動機付けに基づいて動作表出の
様態としてのモダリティを生成し、モダリティ生成手段
において生成された動作表出の様態が重複する場合、モ
ダリティ不調和解消手段において重複による動作の不調
和を解消し、モダリティ統合制御手段において動作表出
の様態を時系列に配置したモダリティ・タイムラインを
生成し、外部からの働きかけに応じた動作及び／又は内
部状態に基づく自律的動作を統合して表出する。

【００１１】また、上述した目的を達成するために、本
発明に係る動作作成装置は、外部からの働きかけに応じ
た動作及び／又は内部状態に基づく動作を作成するため
の誘因を生成する誘因生成手段と、誘因生成手段によっ
て生成された誘因に基づいて、外部からの働きかけに応
じた動作及び／又は内部状態に基づく動作を表出する際
の様態としてのモダリティを生成するモダリティ生成手
段と、モダリティ生成手段において生成された動作表出
の様態が重複する場合、重複による動作の不調和を解消
するモダリティ不調和解消手段と、動作表出の様態が表
出時間に応じて時系列に配置されたモダリティ・タイム
ラインを生成するモダリティ統合制御手段とを備える。

【００１２】このような動作作成装置は、内的動機生成
手段において生成された動機付けに基づいて動作表出の
様態としてのモダリティを生成し、モダリティ生成手段
において生成された動作表出の様態が重複する場合、モ
ダリティ不調和解消手段において重複による動作の不調
和を解消し、モダリティ統合制御手段において動作表出
の様態を時系列に配置したモダリティ・タイムラインを
生成し、外部からの働きかけに応じた動作及び／又は内
部状態に基づく自律的動作を統合して表出する。

【００１３】また、上述した目的を達成するために、本
発明に係る動作作成方法は、外部からの働きかけに応じ
た動作及び／又は内部状態に基づく動作を作成するため
の誘因が生成される誘因生成工程と、誘因生成工程にお
いて生成された誘因に基づいて、外部からの働きかけに
応じた動作及び／又は内部状態に基づく動作を表出する
際の様態としてのモダリティが生成されるモダリティ生
成工程と、モダリティ生成工程において生成された動作
表出の様態が重複した場合の重複による動作の不調和が
解消されるモダリティ不調和解消工程と、動作表出の様
態が表出時間に応じて時系列に配置されたモダリティ・
タイムラインが生成されるモダリティ統合制御工程とを
備える。

【００１４】このような動作作成方法によれば、内的動
機生成工程において生成された動機付けに基づいて動作
表出の様態としてのモダリティが生成され、モダリティ
生成工程において生成された動作表出の様態が重複する
場合、モダリティ不調和解消工程において重複による動
作の不調和が解消され、モダリティ統合制御工程におい
て動作表出の様態を時系列に配置したモダリティ・タイ
ムラインが生成され、外部からの働きかけに応じた動作
及び／又は内部状態に基づく動作が統合される。

【００１５】また、上述した目的を達成するために、本
発明に係るロボット装置の制御プログラムは、外部から
の働きかけに応じた動作及び／又は内部状態に基づく自
律的動作を実行するための動機付けを生成する内的動機
生成処理と、内的動機生成処理によって生成された動機
付けに基づいて、外部からの働きかけに応じた動作及び
／又は内部状態に基づく自律的動作を表出する際の様態
としてのモダリティを生成するモダリティ生成処理と、
モダリティ生成処理によって生成された動作表出の様態
が重複する場合、重複による動作の不調和を解消するモ
ダリティ不調和解消処理と、動作表出の様態が表出時間
に応じて時系列に配置されたモダリティ・タイムライン
を生成するモダリティ統合制御処理とを実行させる。ま
た、本発明に係る制御プログラムを記録媒体に記録して
提供する。

【００１６】このような制御プログラムは、ロボット装
置に対して、内的動機生成処理によって生成された動機
付けに基づいて動作表出の様態としてのモダリティを生
成させ、モダリティ生成処理において生成された動作表
出の様態が重複する場合、モダリティ不調和解消処理に
おいて重複による動作の不調和を解消させ、モダリティ
統合制御処理において動作表出の様態を時系列に配置し
たモダリティ・タイムラインを生成させ、外部からの働
きかけに応じた動作及び／又は内部状態に基づく自律的
動作を統合して表出することを実行させる。

【００１７】

【発明の実施の形態】本発明の一構成例として示すロボ
ット装置は、内部状態に応じて自律的に動作するロボッ
ト装置である。このロボット装置は、少なくとも上肢と
体幹部と下肢とを備え、上肢及び下肢、又は下肢のみを
移動手段とする脚式移動ロボットである。脚式移動ロボ
ットには、４足歩行の動物の身体メカニズムやその動き
を模倣したペット型ロボットや、下肢のみを移動手段と
して使用する２足歩行の動物の身体メカニズムやその動
きを模倣したロボット装置があるが、本実施の形態とし
て示すロボット装置は、２足歩行タイプの人間型ロボッ
ト装置である。

【００１８】この人間型ロボット装置は、住環境その他
の日常生活上の様々な場面における人的活動を支援する
実用ロボットであり、内部状態（怒り、悲しみ、喜び、
楽しみ等）に応じて行動できるほか、人間が行う基本的
な動作を表出できるエンターテインメントロボットであ
る。

【００１９】また、本発明の一構成例として示す人間型
ロボット装置は、所定の内的動機（内的衝動）が効果的
に混在した動作表出の様態（以下、モダリティと記
す。）を有するコミュニケーション動作を実行するロボ
ット装置である。ここで内的動機とは、この人間型ロボ
ット装置の内部状態より引き出される動作に対する動
機、例えば、飢餓感、疲労感、感情等の内部状態に基づ
く自律的な動作のための動機付けを示している。また、
ここでの内的動機には、外部から与えられた働きかけに
応じた動作、例えば、人間（ユーザ）との間の対話に応
答するための動機付けも含まれる。

【００２０】つまり、この人間型ロボット装置は、内部
状態として、ある感情が生じた場合、その感情を動作と
して表出するための様態（モダリティ）が複数生成され
る。モダリティとは、例えば、四角形、円形等の形状を
示すための身振り（以下、ジェスチャと記す。）であっ
たり、「大きい」、「小さい」等の形容的ジェスチャで
あったり、驚嘆や不安を表す表情である。また、会話を
伴う場合は、適切な表現の言語であったりする。

【００２１】ただし、本発明の一構成例として示す人間
型ロボット装置では、言語モダリティは、他のモダリテ
ィとは異なる特別なモダリティとして示されている。言
語モダリティは、ここで生成される言葉（会話文）が、
言語生成過程の結果、単語の序列として生成されるもの
であればよく、例えば、種々のパターンと状況に基づい
て会話文を生成できる通常の会話生成手段を用いること
ができる。

【００２２】言語モダリティ以外の他のモダリティに関
しては、各々を統合して複数のモダリティを含むコミュ
ニケーション動作として表現するために、音声、身振
り、顔の表情、動き等のモダリティを識別できることが
前提となっている。

【００２３】ここで、音声、身振り、顔の表情、動き等
の各モダリティは、さらに、詳細に分類されている。例
えば、音声モダリティは、音量のモダリティ、音のピッ
チのモダリティ等に分類されており、各々のモダリティ
に関しても、基本的な事例と複雑な事例とが与えられて
いる。例えば、ジェスチャ・モダリティ（必要に応じ
て、ＧＭと記す。）における基本的な事例とは、指や足
を鳴らすこと、頭を傾けること等であり、複雑な事例と
は、指を指すこと、腕や手を用いて円形や四角形等の形
状を示すこと、また、高い、低い、大きい、小さい等の
形容表現を示すことである。

【００２４】さらに、各々のモダリティの事例には、表
現カレベル（Expressive Power Level）（必要に応じ
て、ＥＰＬと記す。）を付する。このほかに、例えば、
オブジェクト、アクション、属性等のセマンティック情
報及び実行時間（Execution time）（必要に応じて、Ｅ
Ｔと記す。）等の注釈を付ける。

【００２５】例えば、ジェスチャ・モダリティ及びセマ
ンティック情報の属性等を記述する場合、形状を身振り
で表現することは、オブジェクトを表現することとして
注釈付けすることができ、形容を身振りで表現すること
は属性として注釈付けすることができ、身振りで指差す
ことはアクションとして注釈付けすることができる。一
般的に、属性は、オブジェクトより高い表現力があると
規定する。モダリティの各々にＥＰＬ等の注釈を付する
ことによって、モダリティの事例が重複する場合、ＥＰ
Ｌに応じて動作として表出する際の順位を付ける、又
は、順位の高いモダリティを採用するなどして、モダリ
ティ間の不調和（以下、コンフリクトと記す。）を解消
し、表現力豊かなコミュニケーション動作を表出するこ
とができるようになる。

【００２６】以下、本発明の一構成例として示す人間型
ロボット装置２００について、図面を参照して詳細に説
明する。

【００２７】図１及び図２には、人間型ロボット装置２
００を前方及び後方の各々から眺望した様子を示してい
る。さらに、図３には、この人間型ロボット装置２００
が具備する関節自由度構成を模式的に示している。

【００２８】図１に示すように、人間型ロボット装置２
００は、２本の腕部と頭部２０１を含む上肢と、移動動
作を実現する２本の脚部からなる下肢と、上肢と下肢と
を連結する体幹部とで構成される。

【００２９】頭部２０１を支持する首関節は、首関節ヨ
ー軸２０２と、首関節ピッチ軸２０３と、首関節ロール
軸２０４という３自由度を有している。

【００３０】また、各腕節は、肩関節ピッチ軸２０８
と、肩関節ロール軸２０９と、上腕ヨー軸２１０と、肘
関節ピッチ軸２１１と、前腕ヨー軸２１２と、手首関節
ピッチ軸２１３と、手首関節ロール輪２１４と、手部２
１５とで構成される。手部２１５は、実際には、複数本
の指を含む多関節・多自由度構造体である。ただし、手
部２１５の動作は人間型ロボット装置２００の姿勢制御
や歩行制御に対する寄与や影響が少ないので、本明細書
ではゼロ自由度と仮定する。したがって、各腕部は７自
由度を有するとする。

【００３１】また、体幹部は、体幹ピッチ軸２０５と、
体幹ロール軸２０６と、体幹ヨー軸２０７という３自由
度を有する。

【００３２】また、下肢を構成する各々の脚部は、股関
節ヨー軸２１６と、股関節ピッチ軸２１７と、股関節ロ
ール軸２１８と、膝関節ピッチ軸２１９と、足首関節ピ
ッチ軸２２０と、足首関節ロール軸２２１と、足部２２
２とで構成される。本明細書中では、股関節ピッチ軸２
１７と股関節ロール軸２１８の交点は、人間型ロボット
装置２００の股関節位置を定義する。人体の足部２２２
は、実際には多関節・多自由度の足底を含んだ構造体で
あるが、人間型ロボット装置２００の足底は、ゼロ自由
度とする。したがって、各脚部は、６自由度で構成され
る。

【００３３】以上を総括すれば、人間型ロボット装置２
００全体としては、合計で３＋７×２＋３＋６×２＝３
２自由度を有することになる。ただし、エンターテイン
メント向けの人間型ロボット装置２００が必ずしも３２
自由度に限定されるわけではない。設計・制作上の制約
条件や要求仕様等に応じて、自由度すなわち関節数を適
宜増減することができることはいうまでもない。

【００３４】上述したような人間型ロボット装置２００
がもつ各自由度は、実際にはアクチュエータを用いて実
装される。外観上で余分な膨らみを排してヒトの自然体
形状に近似させること、２足歩行という不安定構造体に
対して姿勢制御を行うことなどの要請から、アクチュエ
ータは小型且つ軽量であることが好ましい。

【００３５】図４には、人間型ロボット装置２００の制
御システム構成を模式的に示している。同図に示すよう
に、人間型ロボット装置２００は、ヒトの四肢を表現し
た各機構ユニット２３０，２４０，２５０Ｒ／Ｌ，２６
０Ｒ／Ｌと、各機構ユニット間の協調動作を実現するた
めの適応制御を行う制御ユニット２８０とで構成される
（ただし、Ｒ及びＬの各々は、右及び左の各々を示す接
尾辞である。以下同様）。

【００３６】人間型ロボット装置２００全体の動作は、
制御ユニット２８０によって統括的に制御される。制御
ユニット２８０は、ＣＰＵ（Central Processing Uni
t）や、ＤＲＡＭ、フラッシュＲＯＭ等の主要回路コン
ポーネント（図示しない）で構成される主制御部２８１
と、電源回路や人間型ロボット装置２００の各構成要素
とのデータやコマンドの授受を行うインターフェイス
（何れも図示しない）などを含んだ周辺回路２８２とで
構成される。

【００３７】本発明を実現するうえで、この制御ユニッ
ト２８０の設置場所は、特に限定されない。図４では体
幹部ユニット２４０に搭載されているが、頭部ユニット
２３０に搭載してもよい。あるいは、人間型ロボット装
置２００外に制御ユニット２８０を配備して、人間型ロ
ボット装置２００の機体とは有線若しくは無線で交信す
るようにしてもよい。

【００３８】図３に示した人間型ロボット装置２００内
の各関節自由度は、それぞれに対応するアクチュエータ
によって実現される。すなわち、頭部ユニット２３０に
は、首関節ヨー軸２０２、首関節ピッチ２０３、首関節
ロール軸２０４の各々を表現する首関節ヨー軸アクチュ
エータＡ_２、首関節ピッチ軸アクチュエータＡ_３、首関
節ロール軸アクチュエータＡ_４が配設されている。

【００３９】また、頭部ユニット２３０には、外部の状
況を撮像するためのＣＣＤ（ChargeCoupled Device）カ
メラが設けられているほか、前方に位置する物体までの
距離を測定するための距離センサ、外部音を集音するた
めのマイク、音声を出力するためのスピーカ、使用者か
らの「撫でる」や「叩く」といった物理的な働きかけに
より受けた圧力を検出するためのタッチセンサ等が配設
されている。

【００４０】また、体幹部ユニット２４０には、体幹ピ
ッチ軸２０５、体幹ロール軸２０６、体幹ヨー軸２０７
の各々を表現する体幹ピッチ軸アクチュエータＡ_５、体
幹ロール軸アクチュエータＡ_６、体幹ヨー軸アクチュエ
ータＡ_７が配設されている。また、体幹部ユニット２４
０には、この人間型ロボット装置２００の起動電源とな
るバッテリを備えている。このバッテリは、充放電可能
な電池によって構成されている。

【００４１】また、腕部ユニット２５０Ｒ／Ｌは、上腕
ユニット２５１Ｒ／Ｌと、肘関節ユニット２５２Ｒ／Ｌ
と、前腕ユニット２５３Ｒ／Ｌに細分化されるが、肩関
節ピッチ軸８、肩関節ロール軸２０９、上腕ヨー軸２１
０、肘関節ピッチ軸２１１、前腕ヨー軸２１２、手首関
節ピッチ軸２１３、手首関節ロール軸２１４の各々表現
する肩関節ピッチ軸アクチュエータＡ_８、肩関節ロール
軸アクチュエータＡ_９、上腕ヨー軸アクチュエータＡ
_１０、肘関節ピッチ軸アクチュエータＡ_１１、肘関節ロ
ール軸アクチュエータＡ_１２、手首関節ピッチ軸アクチ
ュエータＡ_１３、手首関節ロール軸アクチュエータＡ
_１４が配備されている。

【００４２】また、脚部ユニット２６０Ｒ／Ｌは、大腿
部ユニット２６１Ｒ／Ｌと、膝ユニット２６２Ｒ／Ｌ
と、脛部ユニット２６３Ｒ／Ｌに細分化されるが、股関
節ヨー軸２１６、股関節ピッチ軸２１７、股関節ロール
軸２１８、膝関節ピッチ軸２１９、足首関節ピッチ軸２
２０、足首関節ロール軸２２１の各々を表現する股関節
ヨー軸アクチュエータＡ_１６、股関節ピッチ軸アクチュ
エータＡ_１７、股関節ロール軸アクチュエータＡ_１８、
膝関節ピッチ軸アクチュエータＡ_１９、足首関節ピッチ
軸アクチュエータＡ_２０、足首関節ロール軸アクチュエ
ータＡ_２１が配備されている。各関節に用いられるアク
チュエータＡ_２，Ａ_３・・・は、より好ましくは、ギア直
結型で旦つサーボ制御系をワンチップ化してモータ・ユ
ニット内に搭載したタイプの小型ＡＣサーボ・アクチュ
エータで構成することができる。

【００４３】頭部ユニット２３０、体幹部ユニット２４
０、腕部ユニット２５０、各脚部ユニット２６０などの
各機構ユニット毎に、アクチュエータ駆動制御部の副制
御部２３５，２４５，２５５Ｒ／Ｌ，２６５Ｒ／Ｌが配
備されている。さらに、各脚部２６０Ｒ，Ｌの足底が着
床したか否かを検出する接地確認センサ２９１及び２９
２を装着するとともに、体幹部ユニット２４０内には、
姿勢を計測する姿勢センサ２９３を装備している。

【００４４】接地確認センサ２９１及び２９２は、例え
ば足底に設置された近接センサ又はマイクロ・スイッチ
などで構成される。また、姿勢センサ２９３は、例え
ば、加速度センサとジャイロ・センサの組み合わせによ
って構成される。

【００４５】接地確認センサ２９１及び２９２の出力に
よって、歩行・走行などの動作期間中において、左右の
各脚部が現在立脚又は遊脚何れの状態であるかを判別す
ることができる。また、姿勢センサ２９３の出力によ
り、体幹部分の傾きや姿勢を検出することができる。

【００４６】主制御部２８１は、各センサ２９１〜２９
３の出力に応答して制御目標をダイナミックに補正する
ことができる。より具体的には、副制御部２３５，２４
５，２５５Ｒ／Ｌ，２６５Ｒ／Ｌの各々に対して適応的
な制御を行い、人間型ロボット装置２００の上肢、体
幹、及び下肢が協調して駆動する全身運動パターンを実
現できる。

【００４７】人間型ロボット装置２００の機体上での全
身運動は、足部運動、ＺＭＰ（ZeroMoment Point）軌
道、体幹運動、上肢運動、腰部高さなどを設定するとと
もに、これらの設定内容にしたがった動作を指示するコ
マンドを各副制御部２３５，２４５，２５５Ｒ／Ｌ，２
６５Ｒ／Ｌに転送する。そして、各々の副制御部２３
５，２４５，・・・等では、主制御部２８１からの受信
コマンドを解釈して、各アクチュエータＡ_２，Ａ_３・・
・等に対して駆動制御信号を出力する。ここでいう「Ｚ
ＭＰ」とは、歩行中の床反力によるモーメントがゼロと
なる床面上の点のことであり、また、「ＺＭＰ軌道」と
は、例えば人間型ロボット装置２００の歩行動作期間中
にＺＭＰが動く軌跡を意味する。

【００４８】歩行時には、重力と歩行運動に伴って生じ
る加速度によって、歩行系から路面には重力と慣性力、
並びにこれらのモーメントが作用する。いわゆる「ダラ
ンベールの原理」によると、それらは路面から歩行系へ
の反作用としての床反力、床反力モーメントとバランス
する。力学的推論の帰結として、足底接地点と路面の形
成する支持多角形の辺上或いはその内側にピッチ及びロ
ール軸モーメントがゼロとなる点、すなわち「ＺＭＰ
（Zero Moment Point）」が存在する。

【００４９】脚式移動ロボットの姿勢安定制御や歩行時
の転倒防止に関する提案の多くは、このＺＭＰを歩行の
安定度判別の規範として用いたものである。ＺＭＰ規範
に基づく２足歩行パターン生成は、足底着地点を予め設
定することができ、路面形状に応じた足先の運動学的拘
束条件を考慮しやすいなどの利点がある。また、ＺＭＰ
を安定度判別規範とすることは、力ではなく軌道を運動
制御上の目標値として扱うことを意味するので、技術的
に実現可能性が高まる。なお、ＺＭＰの概念並びにＺＭ
Ｐを歩行ロボットの安定度判別規範に適用する点につい
ては、Miomir Vukobratovic著“LEGGED LOCOMOTION ROB
OTS”（加藤一郎外著『歩行ロボットと人工の足』（日
刊工業新聞社））に記載されている。

【００５０】一般には、４足歩行よりもヒューマノイド
のような２足歩行のロボットの方が、重心位置が高く、
且つ、歩行時のＺＭＰ安定領域が狭い。したがって、こ
のような路面状態の変化に伴う姿勢変動の問題は、２足
歩行ロボットにおいてとりわけ重要となる。

【００５１】以上のように、人間型ロボット装置２００
は、各々の副制御部２３５，２４５，・・・等が、主制
御部２８１からの受信コマンドを解釈して、各アクチュ
エータＡ_２，Ａ_３・・・に対して駆動制御信号を出力
し、各ユニットの駆動を制御している。これにより、人
間型ロボット装置２００は、目標の姿勢に安定して遷移
し、安定した姿勢で歩行できる。

【００５２】また、人間型ロボット装置２００における
制御ユニット２８０では、上述したような姿勢制御のほ
かに、加速度センサ、タッチセンサ、接地確認センサ等
の各種センサ、及びＣＣＤカメラからの画像情報、マイ
クからの音声情報等を統括して処理している。制御ユニ
ット２８０では、図示しないが加速度センサ、ジャイロ
・センサ、タッチセンサ、距離センサ、マイク、スピー
カなどの各種センサ、各アクチュエータ、ＣＣＤカメラ
及びバッテリが各々対応するハブを介して主制御部２８
１と接続されている。

【００５３】主制御部２８１は、上述の各センサから供
給されるセンサデータや画像データ及び音声データを順
次取り込み、これらをそれぞれ内部インターフェイスを
介してＤＲＡＭ内の所定位置に順次格納する。また、主
制御部２８１は、バッテリから供給されるバッテリ残量
を表すバッテリ残量データを順次取り込み、これをＤＲ
ＡＭ内の所定位置に格納する。ＤＲＡＭに格納された各
センサデータ、画像データ、音声データ及びバッテリ残
量データは、主制御部２８１がこの人間型ロボット装置
２００の動作制御を行う際に利用される。

【００５４】主制御部２８１は、人間型ロボット装置２
００の電源が投入された初期時、制御プログラムを読み
出し、これをＤＲＡＭに格納する。また、主制御部２８
１は、上述のように主制御部２８１よりＤＲＡＭに順次
格納される各センサデータ、画像データ、音声データ及
びバッテリ残量データに基づいて自己及び周囲の状況
や、使用者からの指示及び働きかけの有無などを判断す
る。

【００５５】さらに、主制御部２８１は、この判断結果
及びＤＲＡＭに格納した制御プログラムに基づいて自己
の状況に応じて行動を決定するとともに、当該決定結果
に基づいて必要なアクチュエータを駆動させることによ
り人間型ロボット装置２００に、いわゆる「身振り」、
「手振り」といった行動をとらせる。

【００５６】したがって、人間型ロボット装置２００
は、制御プログラムに基づいて自己及び周囲の状況を判
断し、使用者からの指示及び働きかけに応じて自律的に
行動できる。

【００５７】また、制御ユニット２８０には、図５に示
すように、上述した構成のほかに外部からの働きかけに
応じた動作及び／又は飢餓感、疲労感、感情等の内部状
態に基づく自律的な動作のための動機付けを生成する内
的動機生成部１０１と、動機付けに基づくモダリティを
生成し統合して一連のコミュニケーション動作表現を構
成するためのモダリティ制御部１０２と、モダリティに
関する注釈情報（詳細は、後述する。）を格納するモダ
リティ付属情報格納部１０３とが備えられている。

【００５８】モダリティ制御部１０２は、外部からの働
きかけに応じたジェスチャ及び／又は内部状態に基づく
ジェスチャを実行するための動機付けに基づいて、形状
を表すジェスチャや、「大きい」、「小さい」等の形容
的ジェスチャのためのジェスチャ・モダリティを生成す
るジェスチャ・モダリティ生成部１０４と、ジェスチャ
・モダリティ生成部１０４において生成されたモダリテ
ィの重複を解消するジェスチャ・モダリティ・コンフリ
クト解消部１０５と、外部からの働きかけに応じた表情
及び／又は内部状態に基づく表情を表出するための動機
付けに基づいて、表情のモダリティであるフェイシャル
・エクスプレッション・モダリティを生成するフェイシ
ャル・エクスプレッション・モダリティ生成部１０６
と、フェイシャル・エクスプレッション・モダリティ生
成部１０６において生成されたモダリティの重複を解消
するフェイシャル・エクスプレッション・モダリティ・
コンフリクト解消部１０７と、外部からの働きかけに応
じた単語（言語モダリティ）及び／又は内部状態に基づ
く単語（言語モダリティ）を抽出する言語ジェネレータ
１０８と、種々のパターンと状況に基づいて、会話のた
めの文を単語の序列として生成する言語モダリティ配列
部１０９と、モダリティを時系列に配列してモダリティ
・タイムラインを生成するモダリティ統合部１１０とを
備えている。

【００５９】ジェスチャ・モダリティ生成部１０４及び
フェイシャル・エクスプレッション・モダリティ生成部
１０６では、さらに、ＥＰＬ、オブジェクト、アクショ
ン、属性等のセマンティック情報及び実行時間（ＥＴ）
等の注釈をモダリティ付属情報格納部１０３から抽出
し、各々のモダリティに対して付加する。

【００６０】ジェスチャ・モダリティ・コンフリクト解
消部１０５及びフェイシャル・エクスプレッション・モ
ダリティ・コンフリクト解消部１０７は、モダリティ・
タイムラインとしてモダリティを配置する際にモダリテ
ィ間の不調和（コンフリクト）が発生した場合に、所定
期間継続されるモダリティを中断し、表出時間のより短
いモダリティを優先させる。中断された継続モダリティ
は、他のモダリティの表出後に再開される。また、各モ
ダリティコンフリクト解消部は、重複する複数のモダリ
ティを１つに混合することによってコンフリクトを解消
する場合もある。重複する複数のモダリティの中から１
つのモダリティを選択することによってコンフリクトを
解消することもできる。

【００６１】モダリティ統合部１１０は、各モダリティ
生成部において生成され、各モダリティコンフリクト解
消部においてモダリティ・タイムラインの調整がなされ
た各モダリティ・タイムラインと、言語ジェネレータ１
０８及び言語モダリティ配列部１０９において生成さ
れ、単語の序列として表された言語モダリティとを統合
して１つのモダリティ・タイムラインを構成する。各モ
ダリティは、モダリティ統合部１１０において統合さ
れ、同一期間内に互いに同期されたコミュニケーション
動作のための信号として内部バス１１１を介してＣＰＵ
に送信される。

【００６２】続いて、この人間型ロボット装置２００
が、ジェスチャ、表情、及び言語の３つのモダリティを
に基づいてコミュニケーション動作を表出する場合につ
いて、以下に示す例を用いて具体的に説明する。

【００６３】人間型ロボット装置２００は、“big red
box”（「大きな赤い箱」）を見つけ、嬉しい（happy）
気分になり、その箱を見つけたことをユーザに伝えたが
っている。このとき人間型ロボット装置２００の内的動
機生成部１０１において、例えば、印象（形（四角
形）、色（赤）、大きさ（大））、感情（嬉しい）等の
内的動機が生成される。この内的動機によって、形、
色、大きさを含む全体の印象に基づくモダリティと、感
情に基づくモダリティとが生成される。

【００６４】図６に示すように、ジェスチャ・モダリテ
ィ生成部１０４では、内的動機に基づくジェスチャ・モ
ダリティが生成される。さらに、ジェスチャ・モダリテ
ィ生成部１０４は、時間軸に沿ってジェスチャに関わる
各モダリティを配置し、ジェスチャ・モダリティ・タイ
ムライン（Gesture Modality Timeline）（以下、必要
に応じて、ＧＭＴと記す。）を構成する。

【００６５】図６に示すジェスチャ・モダリティ・タイ
ムラインには、“box”（「箱」）に対するモダリティ
及びＥＰＬ等のモダリティ付属情報と、“big”（「大
きい」）に対するモダリティ及びモダリティ付属情報と
が時系列に沿って示されている。

【００６６】ここで、“big red box”を表現するため
の内的動機のうち、色を示す“red”（「赤」）につい
ては、ジェスチャ・モダリティは、発生しない。一般
に、ジェスチャ・モダリティ生成部１０４は、内的動機
生成部１０１において生成される動機付けの全てに関し
てモダリティを生成するわけではない。

【００６７】本発明の一構成例として示す人間型ロボッ
ト装置２００においては、「感情」は、顔の表情を通し
て表現されるものとする。したがって、人間型ロボット
装置２００内で生じた感情は、フェイシャル・エクスプ
レッション・モダリティ生成部１０６において、表情の
モダリティとして生成される。フェイシャル・エクスプ
レッション・モダリティ生成部１０６は、図７に示すよ
うに、時間軸に沿って表情に関わるモダリティ“happ
y”（「嬉しい」）を配置し、フェイシャル・エクスプ
レッション・モダリティ・タイムライン（Facial Expre
ssion Modality Timeline）（以下、ＦＥＭＴと記
す。）を構成する。

【００６８】顔の表情に関しては、例えば、「眼」に相
当するＬＥＤ等のライトを点滅させることによって、適
切な感情を表出する。ここでは、人間型ロボット装置２
００は、“happy”（「嬉しい」）感情を抱いたとす
る。図７に示すように、フェイシャル・エクスプレッシ
ョン・モダリティ生成部１０６において、「嬉しい」の
感情を表情として表出するためのＦＥＭＴが生成され
る。また、ＦＥＭＴの属性として示されるフェイシャル
・エクスプレッション動作の実行時間ＥＴは、「継続」
となっている。これは、コミュニケーション動作の間、
“happy”な状態が継続することを意味している。

【００６９】言語モダリティ配列部１０９は、言語ジェ
ネレータ１０８において生成された単語から、ここで
は、“Hey! I can see a big box!”（「ねえ、大きな
箱が見えるよ！」）という言葉のシーケンスを発生す
る。

【００７０】言語モダリティ配列部１０９は、図８に示
すように、“Hey! I can see a bigbox!”の単語の序列
を言葉の間に必要な空白期間を置きながらスペーシング
して、言語モダリティ・タイムライン（Language Modal
ity Timeline）（以下、必要に応じて、ＬＭＴと記
す。）を構成する。

【００７１】以上のように生成された各モダリティ・タ
イムラインは、モダリティ統合部１１０において、図９
に示すように、“Hey! I can see a big box!”として
表される言語モダリティ・タイムラインに対して、「嬉
しい」を示すフェイシャル・エクスプレッション・モダ
リティ・タイムラインが対応付けされ、さらに、ジェス
チャ・モダリティ・タイムラインが対応付けされて、マ
ルチモダル・タイムライン（Multimodal Timeline）
（以下、必要に応じて、ＭＭＴと記す。）として統合さ
れる。

【００７２】図９では、ジェスチャ・モダリティが重複
する期間があるが、ここでは、より高いＥＰＬを有する
「大きい」を表現するための形容的ジェスチャが選択さ
れ、図１０に示すようなマルチモダル・タイムラインと
して構成される。

【００７３】ただし、モダリティの統合の際のモダリテ
ィのコンフリクトの解決方法としては、例えば、“bi
g”と“box”についてのジェスチャ・モダリティを同期
して示すこともできる。ジェスチャ・モダリティを同期
することによって、図１１（ａ）に示すように、“bo
x”と“big”を表す元のジェスチャ自体が統合され、図
１１（ｂ）に示すように、“big box”を表現するジェ
スチャとして実行することもできる。

【００７４】したがって、人間型ロボット装置２００
は、モダリティ統合部１１０において生成されたマルチ
モダル・タイムラインに基づく動作信号によって、「嬉
しい」を示すサインとして眼を点滅し続けながら、“He
y! I can see a big box!”（「ねえ、大きな箱が見え
るよ！」）と言い、“big”（「大きい」）という言葉
が発せられるのとほぼ同時に“big”（「大きい」）を
表現するためのジェスチャを実行することによって表現
力豊かなコミュニケーション動作を行うことができる。

【００７５】このほかにも、異なるモダリティを統合す
るためのより有効な方法として、また、同一のモダリテ
ィ間のコンフリクトを解決するためのより有効な方法と
して、セマンティック情報、又は自学自習法に基づく方
法を適用することができる。

【００７６】モダリティを統合する際の、別の例につい
て以下に述べる。ここでは、人間型ロボット装置２００
が大きな音を聞いたことにより不安になり、大きな音が
聞こえたことをユーザに伝えたがっている場合を想定し
ている。

【００７７】「音の大きさ」から生成された「大きい」
という単語のように、発音の激しさや音量によって標識
付けられた単語についてのセマンティック情報に基づく
言語モダリティに対しても、他のモダリティ・タイムラ
インと統合することができる。

【００７８】このとき人間型ロボット装置２００におけ
る内的動機生成部１０１は、例えば、印象（音、音量
大）、感情（不安）等を表現するための内的動機を生成
する。すなわち、音量（ＶＯＬＵＭＥ）（ＥＰＬ：８，
属性：０．８，ＥＴ：０．８）を表すモダリティが音量
のモダリティ・タイムラインに配置される。

【００７９】言語モダリティ配列部１０９は、このと
き、図１２に示すように、例えば、“0h 0h l have hea
rd a loud sound!”（「わぁ、大きな音が聞こえたよ
！」）という単語列を言語モダリティ・タイムライン
（ＬＭＴ）として構成する。上述の音量のモダリティ
は、モダリティ統合部１１０において、言語モダリティ
・タイムラインにおける“big”（「大きい」）という言
葉に同期される。

【００８０】したがって、この場合、モダリティ統合部
１１０からのマルチモダル・タイムラインに基づく動作
信号によって、単語列を音声として生成する音声生成部
（図示しない）は、「大きい」という言葉を発するとき
のスピーチシンセサイザの音量を高めることによって、
発音を強めることができる。

【００８１】またここでは、感情のモダリティは、“0h
oh”に反映され、感覚的なモダリティは、“I have he
ard a loud sound”に反映される。ここで、セマンティ
ック情報は、言語モダリティ・タイムラインを分析する
ことで誘導されるようにしてもよい。

【００８２】このように、言語モダリティにおいては、
セマンティック情報及び自学自習法を使用することによ
ってにコンフリクトを解決することができ、同一の言語
モダリティ同士を適切に統合することができる。

【００８３】以上のように、人間型ロボット装置２００
は、モダリティの生成とその統合によって、表現能力の
全てを用いた自然で表現力豊かなコミュニケーション動
作を実行することができる。したがって、人間型ロボッ
ト装置２００は、豊富なユーザインタラクションが可能
となり、エンターテインメント性が向上される。

【００８４】ところで、本実施の形態として示す人間型
ロボット装置２００は、内部状態に応じて自律的に行動
できるロボット装置である。人間型ロボット装置２００
における制御プログラムのソフトウェア構成例につい
て、図１３乃至図１８に示す。この制御プログラムは、
上述したように、予めフラッシュＲＯＭ１２に格納され
ており、人間型ロボット装置２００の電源投入初期時に
おいて読み出される。

【００８５】図１３において、デバイス・ドライバ・レ
イヤ３０は、制御プログラムの最下位層に位置し、複数
のデバイス・ドライバからなるデバイス・ドライバ・セ
ット３１から構成されている。この場合、各デバイス・
ドライバは、ＣＣＤカメラやタイマ等の通常のコンピュ
ータで用いられるハードウェアに直接アクセスすること
を許されたオブジェクトであり、対応するハードウェア
からの割り込みを受けて処理を行う。

【００８６】また、ロボティック・サーバ・オブジェク
ト３２は、デバイス・ドライバ・レイヤ３０の最下位層
に位置し、例えば上述の各種センサやアクチュエータ２
５_１〜２５_ｎ等のハードウェアにアクセスするためのイ
ンターフェイスを提供するソフトウェア群でなるバーチ
ャル・ロボット３３と、電源の切換えなどを管理するソ
フトウェア群でなるパワーマネージャ３４と、他の種々
のデバイス・ドライバを管理するソフトウェア群でなる
デバイス・ドライバ・マネージャ３５と、人間型ロボッ
ト装置２００の機構を管理するソフトウェア群でなるデ
ザインド・ロボット３６とから構成されている。

【００８７】マネージャ・オブジェクト３７は、オブジ
ェクト・マネージャ３８及びサービス・マネージャ３９
から構成されている。オブジェクト・マネージャ３８
は、ロボティック・サーバ・オブジェクト３２、ミドル
・ウェア・レイヤ４０、及びアプリケーション・レイヤ
４１に含まれる各ソフトウェア群の起動や終了を管理す
るソフトウェア群であり、サービス・マネージャ３９
は、メモリカードに格納されたコネクションファイルに
記述されている各オブジェクト間の接続情報に基づいて
各オブジェクトの接続を管理するソフトウェア群であ
る。

【００８８】ミドル・ウェア・レイヤ４０は、ロボティ
ック・サーバ・オブジェクト３２の上位層に位置し、画
像処理や音声処理などのこの人間型ロボット装置２００
の基本的な機能を提供するソフトウェア群から構成され
ている。また、アプリケーション・レイヤ４１は、ミド
ル・ウェア・レイヤ４０の上位層に位置し、当該ミドル
・ウェア・レイヤ４０を構成する各ソフトウェア群によ
って処理された処理結果に基づいて人間型ロボット装置
２００の行動を決定するためのソフトウェア群から構成
されている。

【００８９】なお、ミドル・ウェア・レイヤ４０及びア
プリケーション・レイヤ４１の具体なソフトウェア構成
をそれぞれ図１４に示す。

【００９０】ミドル・ウェア・レイヤ４０は、図１４に
示すように、騒音検出用、温度検出用、明るさ検出用、
音階認識用、距離検出用、姿勢検出用、タッチセンサ
用、動き検出用及び色認識用の各信号処理モジュール５
０〜５８並びに入力セマンティクスコンバータモジュー
ル５９などを有する認識系６０と、出力セマンティクス
コンバータモジュール６８並びに姿勢管理用、トラッキ
ング用、モーション再生用、歩行用、転倒復帰用、ＬＥ
Ｄ点灯用及び音再生用の各信号処理モジュール６１〜６
７などを有する出力系６９とから構成されている。

【００９１】認識系６０の各信号処理モジュール５０〜
５８は、ロボティック・サーバ・オブジェクト３２のバ
ーチャル・ロボット３３によりＤＲＡＭから読み出され
る各センサデータや画像データ及び音声データのうちの
対応するデータを取り込み、当該データに基づいて所定
の処理を施して、処理結果を入力セマンティクスコンバ
ータモジュール５９に与える。ここで、例えば、バーチ
ャル・ロボット３３は、所定の通信規約によって、信号
の授受或いは変換をする部分として構成されている。

【００９２】入力セマンティクスコンバータモジュール
５９は、これら各信号処理モジュール５０〜５８から与
えられる処理結果に基づいて、「うるさい」、「暑
い」、「明るい」、「ボールを検出した」、「転倒を検
出した」、「撫でられた」、「叩かれた」、「ドミソの
音階が聞こえた」、「動く物体を検出した」又は「障害
物を検出した」などの自己及び周囲の状況や、使用者か
らの指令及び働きかけを認識し、認識結果をアプリケー
ション・レイヤ４１に出力する。

【００９３】アプリケーション・レイヤ４１は、図１５
に示すように、行動モデルライブラリ７０、行動切換え
モジュール７１、学習モジュール７２、感情モデル７３
及び本能モデル７４の５つのモジュールから構成されて
いる。

【００９４】行動モデルライブラリ７０には、図１６に
示すように、「バッテリ残量が少なくなった場合」、
「転倒復帰する」、「障害物を回避する場合」、「感情
を表現する場合」、「ボールを検出した場合」などの予
め選択されたいくつかの条件項目にそれぞれ対応させ
て、それぞれ独立した行動モデルが設けられている。

【００９５】そして、これら行動モデルは、それぞれ入
力セマンティクスコンバータモジュール５９から認識結
果が与えられたときや、最後の認識結果が与えられてか
ら一定時間が経過したときなどに、必要に応じて後述の
ように感情モデル７３に保持されている対応する情動の
パラメータ値や、本能モデル７４に保持されている対応
する欲求のパラメータ値を参照しながら続く行動をそれ
ぞれ決定し、決定結果を行動切換えモジュール７１に出
力する。

【００９６】なお、この実施の形態の場合、各行動モデ
ルは、次の行動を決定する手法として、図１７に示すよ
うな１つのノード（状態）ＮＯＤＥ_０〜ＮＯＤＥ_ｎから
他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移するかを
各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに間を接続するアーク
ＡＲＣ_１〜ＡＲＣ_ｎ１に対してそれぞれ設定された遷移
確率Ｐ_１〜Ｐ_ｎに基づいて確率的に決定する有限確率オ
ートマトンと呼ばれるアルゴリズムを用いる。

【００９７】具体的に、各行動モデルは、それぞれ自己
の行動モデルを形成するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ
にそれぞれ対応させて、これらノードＮＯＤＥ_０〜ＮＯ
ＤＥ _ｎ毎に図１８に示すような状態遷移表８０を有して
いる。

【００９８】この状態遷移表８０では、そのノードＮＯ
ＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベン
ト（認識結果）が「入力イベント名」の行に優先順に列
記され、その遷移条件についてのさらなる条件が「デー
タ名」及び「データ範囲」の行における対応する列に記
述されている。

【００９９】したがって、図１８の状態遷移表８０で表
されるノードＮＯＤＥ_１００では、「ボールを検出（Ｂ
ＡＬＬ）」という認識結果が与えられた場合に、当該認
識結果とともに与えられるそのボールの「大きさ（ＳＩ
ＺＥ）」が「0から1000」の範囲であることや、「障害
物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与え
られた場合に、当該認識結果とともに与えられるその障
害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「0から10
0」の範囲であることが他のノードに遷移するための条
件となっている。

【０１００】また、このノードＮＯＤＥ_１００では、認
識結果の入力がない場合においても、行動モデルが周期
的に参照する感情モデル７３及び本能モデル７４にそれ
ぞれ保持された各情動及び各欲求のパラメータ値のう
ち、感情モデル７３に保持された「喜び（Joy）」、
「驚き（Surprise）」若しくは「悲しみ（Sadness）」
の何れかのパラメータ値が「50から100」の範囲である
ときには他のノードに遷移することができるようになっ
ている。

【０１０１】また、状態遷移表８０では、「他のノード
ヘの遷移確率」の欄における「遷移先ノード」の列にそ
のノードＮＯＤＥ_０〜ＮＯＤＥ_ｎから遷移できるノード
名が列記されているとともに、「入力イベント名」、
「データ名」及び「データの範囲」の行に記述された全
ての条件が揃ったときに遷移できるほかの各ノードＮＯ
ＤＥ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードヘの遷
移確率」の欄内の対応する箇所にそれぞれ記述され、そ
のノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力す
べき行動が「他のノードヘの遷移確率」の欄における
「出力行動」の行に記述されている。なお、「他のノー
ドヘの遷移確率」の欄における各行の確率の和は１００
［％］となっている。

【０１０２】したがって、図１８の状態遷移表８０で表
されるノードＮＯＤＥ_１００では、例えば「ボールを検
出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大き
さ）」が「0から1000」の範囲であるという認識結果が
与えられた場合には、「30［％］」の確率で「ノードＮ
ＯＤＥ_１２０（node 120）」に遷移でき、そのとき「Ａ
ＣＴＩＯＮ１」の行動が出力されることとなる。

【０１０３】各行動モデルは、それぞれこのような状態
遷移表８０として記述されたノードＮＯＤＥ_０〜 ＮＯ
ＤＥ_ｎが幾つも繋がるようにして構成されており、入力
セマンティクスコンバータモジュール５９から認識結果
が与えられたときなどに、対応するノードＮＯＤＥ_０〜
ＮＯＤＥ_ｎの状態遷移表を利用して確率的に次の行動を
決定し、決定結果を行動切換えモジュール７１に出力す
るようになされている。

【０１０４】図１５に示す行動切換えモジュール７１
は、行動モデルライブラリ７０の各行動モデルからそれ
ぞれ出力される行動のうち、予め定められた優先順位の
高い行動モデルから出力された行動を選択し、当該行動
を実行すべき旨のコマンド（以下、これを行動コマンド
という。）をミドル・ウェア・レイヤ４０の出力セマン
ティクスコンバータモジュール６８に送出する。なお、
この実施の形態においては、図１６において下側に表記
された行動モデルほど優先順位が高く設定されている。

【０１０５】また、行動切換えモジュール７１は、行動
完了後に出力セマンティクスコンバータモジュール６８
から与えられる行動完了情報に基づいて、その行動が完
了したことを学習モジュール７２、感情モデル７３及び
本能モデル７４に通知する。

【０１０６】一方、学習モジュール７２は、入力セマン
ティクスコンバータモジュール５９から与えられる認識
結果のうち、「叩かれた」や「撫でられた」など、使用
者からの働きかけとして受けた教示の認識結果を入力す
る。

【０１０７】そして、学習モジュール７２は、この認識
結果及び行動切換えモジュール７１からの通知に基づい
て、「叩かれた（叱られた）」ときにはその行動の発現
確率を低下させ、「撫でられた（誉められた）」ときに
はその行動の発現確率を上昇させるように、行動モデル
ライブラリ７０における対応する行動モデルの対応する
遷移確率を変更する。

【０１０８】他方、感情モデル７３は、「喜び（Jo
y）」、「悲しみ（Sadness）」、「怒り（Anger）」、
「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐
れ（Fear）」の合計６つの情動について、各情動毎にそ
の情動の強さを表すパラメータを保持している。そし
て、感情モデル７３は、これら各情動のパラメータ値
を、それぞれ入力セマンティクスコンバータモジュール
５９から与えられる「叩かれた」及び「撫でられた」な
どの特定の認識結果と、経過時間及び行動切換えモジュ
ール７１からの通知となどに基づいて周期的に更新す
る。

【０１０９】具体的には、感情モデル７３は、入力セマ
ンティクスコンバータモジュール５９から与えられる認
識結果と、そのときの人間型ロボット装置２００の行動
と、前回更新してからの経過時間となどに基づいて所定
の演算式により算出されるそのときのその情動の変動量
を△Ｅ［ｔ］、現在のその情動のパラメータ値をＥ
［ｔ］、その情動の感度を表す係数をｋ_ｅとして、
（１）式によって次の周期におけるその情動のパラメー
タ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパ
ラメータ値Ｅ［ｔ］と置き換えるようにしてその情動の
パラメータ値を更新する。また、感情モデル７３は、こ
れと同様にして全ての情動のパラメータ値を更新する。

【０１１０】

【数１】

【０１１１】なお、各認識結果や出力セマンティクスコ
ンバータモジュール６８からの通知が各情動のパラメー
タ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは
予め決められており、例えば「叩かれた」といった認識
結果は「怒り」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与え、「撫でられた」といった認
識結果は「喜び」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与えるようになっている。

【０１１２】ここで、出力セマンティクスコンバータモ
ジュール６８からの通知とは、いわゆる行動のフィード
バック情報（行動完了情報）であり、行動の出現結果の
情報であり、感情モデル７３は、このような情報によっ
ても感情を変化させる。これは、例えば、「吠える」と
いった行動により怒りの感情レベルが下がるといったよ
うなことである。なお、出力セマンティクスコンバータ
モジュール６８からの通知は、上述した学習モジュール
７２にも入力されており、学習モジュール７２は、その
通知に基づいて行動モデルの対応する遷移確率を変更す
る。

【０１１３】なお、行動結果のフィードバックは、行動
切換えモジュレータ７１の出力（感情が付加された行
動）によりなされるものであってもよい。

【０１１４】一方、本能モデル７４は、「運動欲（exer
cise）」、「愛情欲（affection）」、「食欲（appetit
e）」及び「好奇心（curiosity）」の互いに独立した４
つの欲求について、これら欲求毎にその欲求の強さを表
すパラメータを保持している。そして、本能モデル７４
は、これらの欲求のパラメータ値を、それぞれ入力セマ
ンティクスコンバータモジュール５９から与えられる認
識結果や、経過時間及び行動切換えモジュール７１から
の通知などに基づいて周期的に更新する。

【０１１５】具体的には、本能モデル７４は、「運動
欲」、「愛情欲」及び「好奇心」については、認識結
果、経過時間及び出力セマンティクスコンバータモジュ
ール６８からの通知などに基づいて所定の演算式により
算出されるそのときのその欲求の変動量をΔＩ［ｋ］、
現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の
感度を表す係数ｋ_ｉとして、所定周期で（２）式を用い
て次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋
１］を算出し、この演算結果を現在のその欲求のパラメ
ータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラ
メータ値を更新する。また、本能モデル７４は、これと
同様にして「食欲」を除く各欲求のパラメータ値を更新
する。

【０１１６】

【数２】

【０１１７】なお、認識結果及び出力セマンティクスコ
ンバータモジュール６８からの通知などが各欲求のパラ
メータ値の変動量△Ｉ［ｋ］にどの程度の影響を与える
かは予め決められており、例えば出力セマンティクスコ
ンバータモジュール６８からの通知は、「疲れ」のパラ
メータ値の変動量△Ｉ［ｋ］に大きな影響を与えるよう
になっている。

【０１１８】なお、本実施の形態においては、各情動及
び各欲求（本能）のパラメータ値がそれぞれ0から100ま
での範囲で変動するように規制されており、また係数ｋ
_ｅ、ｋ_ｉの値も各情動及び各欲求毎に個別に設定されて
いる。

【０１１９】一方、ミドル・ウェア・レイヤ４０の出力
セマンティクスコンバータモジュール６８は、図１４に
示すように、上述のようにしてアプリケーション・レイ
ヤ４１の行動切換えモジュール７１から与えられる「前
進」、「喜ぶ」、「鳴く」又は「トラッキング（ボール
を追いかける）」といった抽象的な行動コマンドを出力
系６９の対応する信号処理モジュール６１〜６７に与え
る。

【０１２０】そしてこれら信号処理モジュール６１〜６
７は、行動コマンドが与えられると当該行動コマンドに
基づいて、その行動をするために対応するアクチュエー
タに与えるべきサーボ指令値や、スピーカから出力する
音の音声データ及び又は「眼」のＬＥＤに与える駆動デ
ータを生成し、これらのデータをロボティック・サーバ
・オブジェクト３２のバーチャル・ロボット３３及び信
号処理回路を順次介して対応するアクチュエータ又はス
ピーカ又はＬＥＤに順次送出する。

【０１２１】このようにして人間型ロボット装置２００
は、上述した制御プログラムに基づいて、自己（内部）
及び周囲（外部）の状況や、使用者からの指示及び働き
かけに応じた自律的な行動ができる。

【０１２２】したがって、内的動機からモダリティを生
成し、これらのモダリティを統合してコミュニケーショ
ン動作を実行するという制御プログラムが予め組み込ま
れていないロボット装置であっても、新たな制御プログ
ラムを読み込ませることによって、上述の処理を実行さ
せることができる。

【０１２３】このような制御プログラムは、ロボット装
置が読取可能な形式で記録された記録媒体を介して提供
される。制御プログラムを記録する記録媒体としては、
磁気読取方式の記録媒体（例えば、磁気テープ、フロッ
ピー（登録商標）ディスク、磁気カード）、光学読取方
式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−
Ｒ、ＤＶＤ）等が考えられる。記録媒体には、半導体メ
モリ（いわゆるメモリカード（矩形型、正方形型など形
状は問わない。）、ＩＣカード）等の記憶媒体も含まれ
る。また、制御プログラムは、いわゆるインターネット
等を介して提供されてもよい。

【０１２４】これらの制御プログラムは、専用の読込ド
ライバ装置、又はパーソナルコンピュータ等を介して再
生され、有線又は無線接続によって人間型ロボット装置
２００に伝送されて読み込まれる。また、ロボット装置
は、半導体メモリ、又はＩＣカード等の小型化された記
憶媒体のドライブ装置を備える場合、これら記憶媒体か
ら制御プログラムを直接読み込むこともできる。

【０１２５】なお、本発明は、上述した実施の形態のみ
に限定されるものではなく、本発明の要旨を逸脱しない
範囲において種々の変更が可能であることは勿論であ
る。本実施の形態では、４足歩行の脚式移動ロボットに
関して説明したが、ロボット装置は、内部状態に応じて
動作するものであれば適用可能であって、移動手段は、
４足歩行、さらには脚式移動方式に限定されない。

【０１２６】

【発明の効果】以上詳細に説明したように本発明に係る
ロボット装置は、外部からの働きかけに応じた動作及び
／又は内部状態に基づく自律的動作を実行するための動
機付けを生成する内的動機生成手段と、内的動機生成手
段によって生成された動機付けに基づいて、外部からの
働きかけに応じた動作及び／又は内部状態に基づく自律
的動作を表出する際の様態としてのモダリティを生成す
るモダリティ生成手段と、モダリティ生成手段において
生成された動作表出の様態が重複する場合、重複による
動作の不調和を解消するモダリティ不調和解消手段と、
動作表出の様態が表出時間に応じて時系列に配置された
モダリティ・タイムラインを生成するモダリティ統合制
御手段とを備える。

【０１２７】このようなロボット装置は、内的動機生成
手段において生成された動機付けに基づいて動作表出の
様態としてのモダリティを生成し、モダリティ生成手段
において生成された動作表出の様態が重複する場合、モ
ダリティ不調和解消手段において重複による動作の不調
和を解消し、モダリティ統合制御手段において動作表出
の様態を時系列に配置したモダリティ・タイムラインを
生成し、外部からの働きかけに応じた動作及び／又は内
部状態に基づく自律的動作を統合して表出する。

【０１２８】したがって、本発明に係るロボット装置に
よれば、表現能力の全てを統合し自然で表現力豊かなコ
ミュニケーション動作が実行される。また、本発明に係
るロボット装置によれば、豊富なユーザインタラクショ
ンが可能となるため、エンターテインメント性が向上さ
れる。さらに、ロボット装置と人間（ユーザ）との間の
社会的な相互作用を向上させることができる。

【０１２９】また、本発明に係る動作作成装置は、外部
からの働きかけに応じた動作及び／又は内部状態に基づ
く動作を作成するための誘因を生成する誘因生成手段
と、誘因生成手段によって生成された誘因に基づいて、
外部からの働きかけに応じた動作及び／又は内部状態に
基づく動作を表出する際の様態としてのモダリティを生
成するモダリティ生成手段と、モダリティ生成手段にお
いて生成された動作表出の様態が重複する場合、重複に
よる動作の不調和を解消するモダリティ不調和解消手段
と、動作表出の様態が表出時間に応じて時系列に配置さ
れたモダリティ・タイムラインを生成するモダリティ統
合制御手段とを備える。

【０１３０】このような動作作成装置は、内的動機生成
手段において生成された動機付けに基づいて動作表出の
様態としてのモダリティを生成し、モダリティ生成手段
において生成された動作表出の様態が重複する場合、モ
ダリティ不調和解消手段において重複による動作の不調
和を解消し、モダリティ統合制御手段において動作表出
の様態を時系列に配置したモダリティ・タイムラインを
生成し、外部からの働きかけに応じた動作及び／又は内
部状態に基づく自律的動作を統合して表出する。

【０１３１】したがって、本発明に係る動作生成装置に
よれば、表現能力の全てを統合し自然で表現力豊かなコ
ミュニケーション動作が生成される。また、本発明に係
る動作生成装置によれば、豊富なユーザインタラクショ
ンが可能となるため、エンターテインメント性が向上さ
れる。さらに、本発明に係る動作作成装置をロボット装
置に適用した場合、ロボット装置と人間（ユーザ）との
間の社会的な相互作用を向上させることができる。

【０１３２】また、本発明に係る動作作成方法は、外部
からの働きかけに応じた動作及び／又は内部状態に基づ
く動作を作成するための誘因が生成される誘因生成工程
と、誘因生成工程において生成された誘因に基づいて、
外部からの働きかけに応じた動作及び／又は内部状態に
基づく動作を表出する際の様態としてのモダリティが生
成されるモダリティ生成工程と、モダリティ生成工程に
おいて生成された動作表出の様態が重複した場合の重複
による動作の不調和が解消されるモダリティ不調和解消
工程と、動作表出の様態が表出時間に応じて時系列に配
置されたモダリティ・タイムラインが生成されるモダリ
ティ統合制御工程とを備える。

【０１３３】このような動作作成方法によれば、内的動
機生成工程において生成された動機付けに基づいて動作
表出の様態としてのモダリティが生成され、モダリティ
生成工程において生成された動作表出の様態が重複する
場合、モダリティ不調和解消工程において重複による動
作の不調和が解消され、モダリティ統合制御工程におい
て動作表出の様態を時系列に配置したモダリティ・タイ
ムラインが生成され、外部からの働きかけに応じた動作
及び／又は内部状態に基づく動作が統合される。

【０１３４】したがって、本発明に係る動作生成方法に
よれば、表現能力の全てを統合し自然で表現力豊かなコ
ミュニケーション動作が生成される。また、本発明に係
る動作生成方法によって生成される動作では、豊富なユ
ーザインタラクションが可能となるため、本発明に係る
動作生成方法をロボット装置の動作表出に適用した場
合、エンターテインメント性が向上され、ロボット装置
と人間（ユーザ）との間の社会的な相互作用を向上させ
ることができる。

【０１３５】また、本発明に係るロボット装置の制御プ
ログラムは、外部からの働きかけに応じた動作及び／又
は内部状態に基づく自律的動作を実行するための動機付
けを生成する内的動機生成処理と、内的動機生成処理に
よって生成された動機付けに基づいて、外部からの働き
かけに応じた動作及び／又は内部状態に基づく自律的動
作を表出する際の様態としてのモダリティを生成するモ
ダリティ生成処理と、モダリティ生成処理によって生成
された動作表出の様態が重複する場合、重複による動作
の不調和を解消するモダリティ不調和解消処理と、動作
表出の様態が表出時間に応じて時系列に配置されたモダ
リティ・タイムラインを生成するモダリティ統合制御処
理とを実行させる。また、本発明に係る制御プログラム
を記録媒体に記録して提供する。

【０１３６】このような制御プログラムは、ロボット装
置に対して、内的動機生成処理によって生成された動機
付けに基づいて動作表出の様態としてのモダリティを生
成させ、モダリティ生成処理において生成された動作表
出の様態が重複する場合、モダリティ不調和解消処理に
おいて重複による動作の不調和を解消させ、モダリティ
統合制御処理において動作表出の様態を時系列に配置し
たモダリティ・タイムラインを生成させ、外部からの働
きかけに応じた動作及び／又は内部状態に基づく自律的
動作を統合して表出することを実行させる。

【０１３７】したがって、本発明に係る制御プログラム
をロボット装置の制御に適用した場合、ロボット装置に
対して、表現能力の全てを統合し自然で表現力豊かなコ
ミュニケーション動作の表出を可能にする。また、本発
明に係る制御プログラムによって生成される動作では、
豊富なユーザインタラクションが可能となるため、本発
明に係る制御プログラムをロボット装置の動作制御に適
用した場合、エンターテインメント性が向上され、ロボ
ット装置と人間（ユーザ）との間の社会的な相互作用を
向上させることができる。

【０１３８】また、本発明に係る制御プログラムを記録
媒体に記録して提供すれば、このような制御プログラム
を予め備えていないロボット装置であっても、表現能力
の全てを統合し自然で表現力豊かなコミュニケーション
動作を表出できるようになる。また、本発明に係る制御
プログラムをロボット装置に読み込ませることによっ
て、豊富なユーザインタラクションが可能となり、ロボ
ット装置のエンターテインメント性が向上される。さら
に、ロボット装置と人間（ユーザ）との間の社会的な相
互作用を向上させることができる。

【図面の簡単な説明】

【図１】本発明の一構成例として示す人間型ロボット装
置の前方からみた外観を説明する外観図である。

【図２】本発明の一構成例として示す人間型ロボット装
置の後方からみた外観を説明する外観図である。

【図３】本発明の一構成例として示す人間型ロボット装
置の自由度構成モデルを模式的に示す図である。

【図４】本発明の一構成例として示す人間型ロボット装
置の制御システム構成を説明する図である。

【図５】本発明の一構成例として示す人間型ロボット装
置の制御ユニットの一部を詳細に説明する構成図であ
る。

【図６】本発明の一構成例として示す人間型ロボット装
置のジェスチャ・モダリティ生成部において構成される
ジェスチャ・モダリティ・タイムラインを説明する図で
ある。

【図７】本発明の一構成例として示す人間型ロボット装
置のフェイシャル・エクスプレッション・モダリティ生
成部において構成されるフェイシャル・エクスプレッシ
ョン・モダリティ・タイムラインを説明する図である。

【図８】本発明の一構成例として示す人間型ロボット装
置の言語モダリティ配列部において構成される言語モダ
リティを説明する図である。

【図９】本発明の一構成例として示す人間型ロボット装
置のモダリティ統合部において構成されるマルチモダル
・タイムラインを説明する図である。

【図１０】本発明の一構成例として示す人間型ロボット
装置のモダリティ統合部において構成されるマルチモダ
ル・タイムラインを説明する図である。

【図１１】図１１（ａ）は、本発明の一構成例として示
す人間型ロボット装置が行う“box”と“big”それぞれ
のジェスチャを説明する図であり、図１１（ｂ）は、
“box”と“big”のジェスチャを統合した“big box”
のジェスチャを説明する図である。

【図１２】本発明の一構成例として示す人間型ロボット
装置の言語モダリティ配列部において構成される言語モ
ダリティを説明する図である。

【図１３】本発明の一構成例として示すロボット装置の
制御プログラムのソフトウェア構成を示す構成図であ
る。

【図１４】本発明の一構成例として示すロボット装置の
制御プログラムのうち、ミドル・ウェア・レイヤの構成
を示す構成図である。

【図１５】本発明の一構成例として示すロボット装置の
制御プログラムのうち、アプリケーション・レイヤの構
成を示す構成図である。

【図１６】本発明の一構成例として示すロボット装置の
制御プログラムのうち、行動モデルライブラリの構成を
示す構成図である。

【図１７】本発明の一構成例として示すロボット装置の
行動を決定するためのアルゴリズムである有限確率オー
トマトンを説明する模式図である。

【図１８】本発明の一構成例として示すロボット装置の
行動を決定するための状態遷移条件を表す図である。

【符号の説明】

１０１ 内的動機生成部、１０２ モダリティ制御部、
１０３ モダリティ付属情報格納部、１０４ ジェスチ
ャ・モダリティ生成部、１０５ ジェスチャ・モダリテ
ィ・コンフリクト解消部、１０６ フェイシャル・エク
スプレッション・モダリティ生成部、１０７ フェイシ
ャル・エクスプレッション・モダリティ・コンフリクト
解消部、１０８ 言語ジェネレータ、１０９ 言語モダ
リティ配列部、１１０ モダリティ統合部、１１１ 内
部バス、２００ 人間型ロボット装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大久保 厚志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 ガブリエル コスタ 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 下村 秀樹 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 3C007 AS36 CS08 MT14 WA03 WB16 WB19 WB21 WB24 WB25 WB27 WC07 5D015 KK01 KK02 KK04

Claims (26)

【特許請求の範囲】
1. 【請求項１】 外部からの働きかけに応じた動作及び／
   又は内部状態に基づく自律的動作を実行するロボット装
   置において、 上記外部からの働きかけに応じた動作及び／又は内部状
   態に基づく自律的動作を実行するための動機付けを生成
   する内的動機生成手段と、 上記内的動機生成手段によって生成された動機付けに基
   づいて、上記外部からの働きかけに応じた動作及び／又
   は内部状態に基づく自律的動作を表出する際の様態とし
   てのモダリティを生成するモダリティ生成手段と、 上記モダリティ生成手段において生成された上記動作表
   出の様態が重複する場合、重複による動作の不調和を解
   消するモダリティ不調和解消手段と、 上記動作表出の様態が表出時間に応じて時系列に配置さ
   れたモダリティ・タイムラインを生成するモダリティ統
   合制御手段とを備えることを特徴とするロボット装置。
2. 【請求項２】 複数個のモダリティ生成手段と上記複数
   個のモダリティ生成手段に対応する数のモダリティ不調
   和解消手段とを備え、上記モダリティ統合制御手段は、
   上記複数個のモダリティ生成手段の各々において生成さ
   れ、上記モダリティ不調和解消手段において不調和が解
   消された動作表出の様態の各々を統合してモダリティ・
   タイムラインに配置することを特徴とする請求項１記載
   のロボット装置。
3. 【請求項３】 上記モダリティ不調和解消手段は、上記
   モダリティ生成手段において動作表出の様態が重複した
   場合、複数の様態を１つに混合することによって不調和
   を解消することを特徴とする請求項１記載のロボット装
   置。
4. 【請求項４】 上記モダリティ不調和解消手段は、上記
   モダリティ生成手段において動作表出の様態が重複した
   場合、複数の様態の中から１つのモダリティを選択する
   ことによって不調和を解消することを特徴とする請求項
   １記載のロボット装置。
5. 【請求項５】 外部からの問いかけに対する応答及び／
   又は内部状態に基づいた発話を生成する会話生成手段を
   備え、上記モダリティ統合制御手段は、上記会話生成手
   段において生成された単語の序列をモダリティ・タイム
   ラインに配置することを特徴とする請求項１記載のロボ
   ット装置。
6. 【請求項６】 上記モダリティ・タイムラインに配置さ
   れた複数の動作表出の様態は、同一期間内に互いに同期
   された動作として表出されることを特徴とする請求項２
   記載のロボット装置。
7. 【請求項７】 上記外部からの働きかけに応じた身振り
   及び／又は内部状態に基づく身振りを実行するための動
   機付けに基づいて、上記身振りの様態としてのジェスチ
   ャ・モダリティを生成するジェスチャ・モダリティ生成
   手段と、上記外部からの働きかけに応じた表情及び／又
   は内部状態に基づく表情を表出するための動機付けに基
   づいて、上記表情の様態としてのフェイシャル・エクス
   プレッション・モダリティを生成するフェイシャル・エ
   クスプレッション・モダリティ生成手段とを備えること
   を特徴とする請求項２記載のロボット装置。
8. 【請求項８】 上記ジェスチャ・モダリティ生成手段
   は、上記会話生成手段において生成された会話文脈中の
   形容詞を表現するための身振りを生成することを特徴と
   する請求項７記載のロボット装置。
9. 【請求項９】 外部からの働きかけに応じた動作及び／
   又は内部状態に基づく動作を作成する動作作成装置にお
   いて、 上記外部からの働きかけに応じた動作及び／又は内部状
   態に基づく動作を作成するための誘因を生成する誘因生
   成手段と、 上記誘因生成手段によって生成された誘因に基づいて、
   上記外部からの働きかけに応じた動作及び／又は内部状
   態に基づく動作を表出する際の様態としてのモダリティ
   を生成するモダリティ生成手段と、 上記モダリティ生成手段において生成された上記動作表
   出の様態が重複する場合、重複による動作の不調和を解
   消するモダリティ不調和解消手段と、 上記動作表出の様態が表出時間に応じて時系列に配置さ
   れたモダリティ・タイムラインを生成するモダリティ統
   合制御手段とを備えることを特徴とする動作作成装置。
10. 【請求項１０】 複数個のモダリティ生成手段と上記複
    数個のモダリティ生成手段に対応する数のモダリティ不
    調和解消手段とを備え、上記モダリティ統合制御手段
    は、上記複数個のモダリティ生成手段の各々において生
    成され、上記モダリティ不調和解消手段において不調和
    が解消された動作表出の様態の各々を統合してモダリテ
    ィ・タイムラインに配置することを特徴とする請求項９
    記載の動作作成装置。
11. 【請求項１１】 上記モダリティ不調和解消手段は、上
    記モダリティ生成手段において動作表出の様態が重複し
    た場合、複数の様態を１つに混合することによって不調
    和を解消することを特徴とする請求項９記載の動作作成
    装置。
12. 【請求項１２】 上記モダリティ不調和解消手段は、上
    記モダリティ生成手段において動作表出の様態が重複し
    た場合、複数の様態の中から１つのモダリティを選択す
    ることによって不調和を解消することを特徴とする請求
    項９記載の動作作成装置。
13. 【請求項１３】 外部からの問いかけに対する応答及び
    ／又は内部状態に基づいた発話を生成する会話生成手段
    を備え、上記モダリティ統合制御手段は、上記会話生成
    手段において生成された単語の序列をモダリティ・タイ
    ムラインに配置することを特徴とする請求項９記載の動
    作作成装置。
14. 【請求項１４】 上記モダリティ・タイムラインに配置
    された複数の動作表出の様態は、同一期間内に互いに同
    期された動作として表出されることを特徴とする請求項
    １０記載の動作作成装置。
15. 【請求項１５】 上記外部からの働きかけに応じた身振
    り及び／又は内部状態に基づく身振りを実行するための
    誘因に基づいて、上記身振りの様態としてのジェスチャ
    ・モダリティを生成するジェスチャ・モダリティ生成手
    段と、上記外部からの働きかけに応じた表情及び／又は
    内部状態に基づく表情を表出するための誘因に基づい
    て、上記表情の様態としてのフェイシャル・エクスプレ
    ッション・モダリティを生成するフェイシャル・エクス
    プレッション・モダリティ生成手段とを備えることを特
    徴とする請求項１０記載の動作作成装置。
16. 【請求項１６】 上記ジェスチャ・モダリティ生成手段
    は、上記会話生成手段において生成された会話文脈中の
    形容詞を表現するための身振りを生成することを特徴と
    する請求項１５記載の動作作成装置。
17. 【請求項１７】 外部からの働きかけに応じた動作及び
    ／又は内部状態に基づく動作を作成する動作作成方法に
    おいて、 上記外部からの働きかけに応じた動作及び／又は内部状
    態に基づく動作を作成するための誘因が生成される誘因
    生成工程と、 上記誘因生成工程において生成された誘因に基づいて、
    上記外部からの働きかけに応じた動作及び／又は内部状
    態に基づく動作を表出する際の様態としてのモダリティ
    が生成されるモダリティ生成工程と、 上記モダリティ生成工程において生成された上記動作表
    出の様態が重複した場合の重複による動作の不調和が解
    消されるモダリティ不調和解消工程と、 上記動作表出の様態が表出時間に応じて時系列に配置さ
    れたモダリティ・タイムラインが生成されるモダリティ
    統合制御工程とを備えることを特徴とする動作作成方
    法。
18. 【請求項１８】 複数の独立したモダリティ生成工程と
    上記複数の独立したモダリティ生成工程に対応するモダ
    リティ不調和解消工程とを備え、上記モダリティ統合制
    御工程では、上記複数の独立したモダリティ生成工程の
    各々において生成され、上記モダリティ不調和解消工程
    において不調和が解消された動作表出の様態の各々が統
    合されてモダリティ・タイムラインに配置されることを
    特徴とする請求項１７記載の動作作成方法。
19. 【請求項１９】 上記モダリティ不調和解消工程では、
    上記モダリティ生成工程において動作表出の様態が重複
    した場合、複数の様態が１つに混合されることによって
    不調和が解消されることを特徴とする請求項１７記載の
    動作作成方法。
20. 【請求項２０】 上記モダリティ不調和解消工程では、
    上記モダリティ生成工程において動作表出の様態が重複
    した場合、複数の様態の中から１つのモダリティが選択
    されることによって不調和が解消されることを特徴とす
    る請求項１７記載の動作作成方法。
21. 【請求項２１】 外部からの問いかけに対する応答及び
    ／又は内部状態に基づいた発話を生成する会話生成工程
    を備え、上記モダリティ統合制御工程では、上記会話生
    成工程において生成された単語の序列がモダリティ・タ
    イムラインに配置されることを特徴とする請求項１７記
    載の動作作成方法。
22. 【請求項２２】 上記モダリティ・タイムラインに配置
    された複数の動作表出の様態は、同一期間内に互いに同
    期された動作として表出されることを特徴とする請求項
    １８記載の動作作成方法。
23. 【請求項２３】 上記外部からの働きかけに応じた身振
    り及び／又は内部状態に基づく身振りを実行するための
    誘因に基づいて、上記身振りの様態としてのジェスチャ
    ・モダリティが生成されるジェスチャ・モダリティ生成
    工程と、上記外部からの働きかけに応じた表情及び／又
    は内部状態に基づく表情を表出するための誘因に基づい
    て、上記表情の様態としてのフェイシャル・エクスプレ
    ッション・モダリティが生成されるフェイシャル・エク
    スプレッション・モダリティ生成工程とを備えることを
    特徴とする請求項１８記載の動作作成方法。
24. 【請求項２４】 上記ジェスチャ・モダリティ生成工程
    では、上記会話生成工程において生成された会話文脈中
    の形容詞を表現するための身振りが生成されることを特
    徴とする請求項２３記載の動作作成方法。
25. 【請求項２５】 外部からの働きかけに応じた動作及び
    ／又は内部状態に基づく自律的動作を実行するロボット
    装置を制御する制御プログラムにおいて、 上記外部からの働きかけに応じた動作及び／又は内部状
    態に基づく自律的動作を実行するための動機付けを生成
    する内的動機生成処理と、 上記内的動機生成処理によって生成された動機付けに基
    づいて、上記外部からの働きかけに応じた動作及び／又
    は内部状態に基づく自律的動作を表出する際の様態とし
    てのモダリティを生成するモダリティ生成処理と、 上記モダリティ生成処理によって生成された上記動作表
    出の様態が重複する場合、重複による動作の不調和を解
    消するモダリティ不調和解消処理と、 上記動作表出の様態が表出時間に応じて時系列に配置さ
    れたモダリティ・タイムラインを生成するモダリティ統
    合制御処理とを実行させることを特徴とする制御プログ
    ラム。
26. 【請求項２６】 外部からの働きかけに応じた動作及び
    ／又は内部状態に基づく自律的動作を実行するための動
    機付けを生成する内的動機生成処理と、 上記内的動機生成処理によって生成された動機付けに基
    づいて、上記外部からの働きかけに応じた動作及び／又
    は内部状態に基づく自律的動作を表出する際の様態とし
    てのモダリティを生成するモダリティ生成処理と、 上記モダリティ生成処理によって生成された上記動作表
    出の様態が重複する場合、重複による動作の不調和を解
    消するモダリティ不調和解消処理と、 上記動作表出の様態が表出時間に応じて時系列に配置さ
    れたモダリティ・タイムラインを生成するモダリティ統
    合制御処理とをロボット装置に実行させる制御プログラ
    ムが記録された記録媒体。