JP2002049385A - 音声合成装置、疑似感情表現装置及び音声合成方法 - Google Patents

音声合成装置、疑似感情表現装置及び音声合成方法

Info

Publication number
JP2002049385A
JP2002049385A JP2000237853A JP2000237853A JP2002049385A JP 2002049385 A JP2002049385 A JP 2002049385A JP 2000237853 A JP2000237853 A JP 2000237853A JP 2000237853 A JP2000237853 A JP 2000237853A JP 2002049385 A JP2002049385 A JP 2002049385A
Authority
JP
Japan
Prior art keywords
pseudo
voice data
emotion
voice
emotions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000237853A
Other languages
English (en)
Inventor
Takashi Mizokawa
隆司 溝川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2000237853A priority Critical patent/JP2002049385A/ja
Priority to US09/922,760 priority patent/US20020019678A1/en
Priority to EP01119055A priority patent/EP1182645A1/en
Publication of JP2002049385A publication Critical patent/JP2002049385A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management

Abstract

(57)【要約】 【課題】 観察者に対して異なる複数の疑似感情をそれ
ぞれ明確に伝えるのに好適な疑似感情表現装置を提供す
る。 【解決手段】 ペット型ロボット1は、各疑似感情ごと
に音声データを記憶するための音声データ登録データベ
ース14と、音声データ登録データベース14の音声デ
ータを合成する音声データ合成装置15とを備えてい
る。そして、外部から与えられる刺激を認識し、その認
識結果に基づいて複数の疑似感情を生成し、音声データ
合成装置15により、生成した疑似感情に対応するそれ
ぞれの音声データを音声データ登録データベース14か
ら読み出して合成し、合成した音声データに基づいて音
声を出力する。これにより、ユーザに対して、異なる複
数の疑似感情のそれぞれを比較的明確に伝えることがで
きるので、実際のペットにはない面白味やかわいらしさ
を表現することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ペット型ロボット
の疑似感情を音声により表現する装置に係り、特に、観
察者に対して異なる複数の疑似感情をそれぞれ明確に伝
えるのに好適な音声合成装置、疑似感情表現装置および
音声合成方法に関する。
【0002】
【従来の技術】従来、ペット型ロボットの疑似感情を音
声により表現する装置としては、例えば、異なる複数の
疑似感情ごとに音声データを記憶した音声データ記憶部
と、外部からの刺激を検出する複数のセンサと、センサ
の検出結果に基づいて各疑似感情ごとにその強度を生成
する疑似感情生成部と、疑似感情生成部で生成した疑似
感情の強度のうち最も高いものの疑似感情に対応する音
声データを音声データ記憶部から読み出す音声データ読
出部と、音声データ読出部で読み出した音声データに基
づいて音声を出力する音声出力部とで構成されている。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
疑似感情表現装置にあっては、疑似感情生成部で生成し
た疑似感情の強度のうち最も高いものの疑似感情に対応
する音声データに基づいて音声を出力するようになって
いるため、ペット型ロボットが生成した疑似感情を同時
に一つしか表現することができない。
【0004】人間や動物の感情表現では、怒ったり喜ん
だりする異なる複数の感情が同時に交錯したときは、そ
れら感情の強度のうち最も高いものの感情を主体的に表
現しているものと観察される。この点で、従来の疑似感
情表現装置は、人間や動物の感情表現に比較的近い表現
を行っているといえる。しかし、ペット型ロボットは、
限りなく実際のペットに近いものを実現しようとする側
面をもつものの、あくまでロボットであり動物ではない
という点でそこには一定の限界がある。そこで、限りな
く実際のペットに近いものを実現しようとしつつも、実
際のペットとは違ったペット型ロボット特有の表現をも
たせることにより、実際のペットにはない面白味やかわ
いらしさを表現しようとすることが試みられている。例
えば、実際のペットは、異なる複数の感情が同時に交錯
したときに観察者に対してそれぞれを明確に伝えること
はできないが、ペット型ロボットが複数の疑似感情をそ
れぞれ明確に伝えられるようになれば、それはそれで実
際のペットにはない面白味やかわいらしさがある。
【0005】そこで、本発明は、このような従来の技術
の有する未解決の課題に着目してなされたものであっ
て、観察者に対して異なる複数の疑似感情をそれぞれ明
確に伝えるのに好適な音声合成装置、疑似感情表現装置
および音声合成方法を提供することを目的としている。
【0006】
【課題を解決するための手段】上記目的を達成するため
に、本発明に係る請求項1記載の音声合成装置は、異な
る複数の疑似感情を生成する疑似感情生成手段を利用し
て前記複数の疑似感情を音声により表現する疑似感情表
現装置に適用される装置であって、前記各疑似感情ごと
に音声データを記憶した音声データ記憶手段が与えられ
たときに、前記疑似感情生成手段よって生成された疑似
感情に対応するそれぞれの音声データを前記音声データ
記憶手段から読み出して合成するようになっている。
【0007】このような構成であれば、音声データ記憶
手段が与えられると、疑似感情生成手段よって生成され
た疑似感情に対応するそれぞれの音声データが音声デー
タ記憶手段から読み出されて合成される。ここで、音声
データには、例えば、人間や動物の発声を録音した発声
データ、音楽を録音した音楽データ、または効果音を録
音した効果音データが含まれる。以下、請求項2記載の
音声合成装置、請求項3および4記載の疑似感情表現装
置、並びに請求項9記載の音声合成方法において同じで
ある。
【0008】また、請求項1記載の発明は、ペット型ロ
ボットに適用することができるほか、例えば、コンピュ
ータ上でソフトウェアにより実現される仮想的なペット
型ロボットに適用することもできる。前者の場合には、
例えば、外部から与えられる刺激に基づいて複数の疑似
感情を生成する疑似感情生成手段を利用し、後者の場合
には、例えば、ユーザによるコンピュータへの入力内容
に基づいて複数の疑似感情を生成する疑似感情生成手段
を利用すればよい。以下、請求項2記載の音声合成装
置、および請求項9記載の音声合成方法において同じで
ある。
【0009】さらに、本発明に係る請求項2記載の音声
合成装置は、異なる複数の疑似感情を生成する疑似感情
生成手段を利用して前記複数の疑似感情を音声により表
現する疑似感情表現装置に適用される装置であって、前
記各疑似感情ごとに音声データを記憶するための音声デ
ータ記憶手段と、前記疑似感情生成手段によって生成さ
れた疑似感情に対応するそれぞれの音声データを前記音
声データ記憶手段から読み出して合成する音声データ合
成手段とを備える。
【0010】このような構成であれば、音声データ合成
手段により、疑似感情生成手段によって生成された疑似
感情に対応するそれぞれの音声データが音声データ記憶
手段から読み出されて合成される。ここで、音声データ
記憶手段は、音声データをあらゆる手段でかつあらゆる
時期に記憶するものであり、音声データをあらかじめ記
憶してあるものであってもよいし、音声データをあらか
じめ記憶することなく、本装置の動作時に外部からの入
力等によって音声データを記憶するようになっていても
よい。以下、請求項3および4記載の疑似感情表現装置
において同じである。
【0011】一方、上記目的を達成するために、本発明
に係る請求項3記載の疑似感情表現装置は、異なる複数
の疑似感情を音声により表現する装置であって、前記各
疑似感情ごとに音声データを記憶するための音声データ
記憶手段と、前記複数の疑似感情を生成する疑似感情生
成手段と、前記疑似感情生成手段で生成した疑似感情に
対応するそれぞれの音声データを前記音声データ記憶手
段から読み出して合成する音声データ合成手段と、前記
音声データ合成手段で合成した音声データに基づいて音
声を出力する音声出力手段とを備える。
【0012】このような構成であれば、疑似感情生成手
段により、複数の疑似感情が生成され、音声データ合成
手段により、生成された疑似感情に対応するそれぞれの
音声データが音声データ記憶手段から読み出されて合成
される。そして、音声出力手段により、合成された音声
データに基づいて音声が出力される。ここで、請求項3
記載の発明は、ペット型ロボットに適用することができ
るほか、例えば、コンピュータ上でソフトウェアにより
実現される仮想的なペット型ロボットに適用することも
できる。前者の場合、疑似感情生成手段は、例えば、外
部から与えられる刺激に基づいて複数の疑似感情を生成
するようにし、後者の場合、疑似感情生成手段は、例え
ば、ユーザによるコンピュータへの入力内容に基づいて
複数の疑似感情を生成するようにする。以下、請求項4
記載の疑似感情表現装置において同じである。
【0013】さらに、本発明に係る請求項4記載の疑似
感情表現装置は、異なる複数の疑似感情を音声により表
現する装置であって、前記各疑似感情ごとに音声データ
を記憶するための音声データ記憶手段と、外部から与え
られる刺激を認識する刺激認識手段と、前記刺激認識手
段の認識結果に基づいて前記複数の疑似感情を生成する
疑似感情生成手段と、前記疑似感情生成手段で生成した
疑似感情に対応するそれぞれの音声データを前記音声デ
ータ記憶手段から読み出して合成する音声データ合成手
段と、前記音声データ合成手段で合成した音声データに
基づいて音声を出力する音声出力手段とを備える。
【0014】このような構成であれば、外部から刺激が
与えられると、刺激認識手段により、与えられた刺激が
認識され、疑似感情生成手段により、その認識結果に基
づいて複数の疑似感情が生成され、音声データ合成手段
により、生成された疑似感情に対応するそれぞれの音声
データが音声データ記憶手段から読み出されて合成され
る。そして、音声出力手段により、合成された音声デー
タに基づいて音声が出力される。
【0015】ここで、刺激とは、人間や動物の五感によ
り知覚可能な刺激をいうほか、人間や動物の五感により
知覚不能な刺激であっても検出手段により検出可能な刺
激であればそのような刺激をもいう。刺激認識手段は、
例えば、人間や動物の視覚により知覚可能な刺激を認識
するには、カメラ等の画像取込手段を有していればよい
し、人間や動物の触覚により知覚可能な刺激を認識する
には、圧力センサや触覚センサ等の触覚検出手段を有し
ていればよい。
【0016】さらに、本発明に係る請求項5記載の疑似
感情表現装置は、請求項3および4のいずれかに記載の
疑似感情表現装置において、さらに、異なる複数の性格
のうちいずれかを形成する性格形成手段を備え、前記音
声データ記憶手段は、前記各疑似感情ごとに前記音声デ
ータを対応付けて登録した音声データ対応テーブルを、
前記各性格ごとに記憶可能となっており、前記音声デー
タ合成手段は、前記性格形成手段で形成した性格に対応
する音声データ対応テーブルを参照して、前記疑似感情
生成手段で生成した疑似感情に対応するそれぞれの音声
データを前記音声データ記憶手段から読み出して合成す
るようになっている。
【0017】このような構成であれば、性格形成手段に
より、異なる複数の性格のうちいずれかが形成され、音
声データ合成手段により、形成された性格に対応する音
声データ対応テーブルを参照して、疑似感情生成手段で
生成された疑似感情に対応するそれぞれの音声データが
音声データ記憶手段から読み出されて合成される。ここ
で、音声データ記憶手段は、音声データ対応テーブルを
あらゆる手段でかつあらゆる時期に記憶するものであ
り、音声データ対応テーブルをあらかじめ記憶してある
ものであってもよいし、音声データ対応テーブルをあら
かじめ記憶することなく、本装置の動作時に外部からの
入力等によって音声データ対応テーブルを記憶するよう
になっていてもよい。以下、請求項6または7記載の疑
似感情表現装置において同じである。
【0018】さらに、本発明に係る請求項6記載の疑似
感情表現装置は、請求項3ないし5のいずれかに記載の
疑似感情表現装置において、さらに、成長段階を規定す
る成長段階規定手段を備え、前記音声データ記憶手段
は、前記各疑似感情ごとに前記音声データを対応付けて
登録した音声データ対応テーブルを、前記各成長段階ご
とに記憶可能となっており、前記音声データ合成手段
は、前記成長段階規定手段で規定した成長段階に対応す
る音声データ対応テーブルを参照して、前記疑似感情生
成手段で生成した疑似感情に対応するそれぞれの音声デ
ータを前記音声データ記憶手段から読み出して合成する
ようになっている。
【0019】このような構成であれば、成長段階規定手
段により、成長段階が規定され、音声データ合成手段に
より、規定された成長段階に対応する音声データ対応テ
ーブルを参照して、疑似感情生成手段で生成された疑似
感情に対応するそれぞれの音声データが音声データ記憶
手段から読み出されて合成される。さらに、本発明に係
る請求項7記載の疑似感情表現装置は、請求項3ないし
6のいずれかに記載の疑似感情表現装置において、前記
音声データ記憶手段は、前記各疑似感情ごとに前記音声
データを対応付けて登録した音声データ対応テーブルを
複数記憶可能となっており、前記複数の音声データ対応
テーブルのうちいずれかを選択するテーブル選択手段を
備え、前記音声データ合成手段は、前記テーブル選択手
段で選択した音声データ対応テーブルを参照して、前記
疑似感情生成手段で生成した疑似感情に対応するそれぞ
れの音声データを前記音声データ記憶手段から読み出し
て合成するようになっている。
【0020】このような構成であれば、選択手段により
複数の音声データ対応テーブルのうちいずれかが選択さ
れると、音声データ合成手段により、選択された音声デ
ータ対応テーブルを参照して、疑似感情生成手段で生成
された疑似感情に対応するそれぞれの音声データが音声
データ記憶手段から読み出されて合成される。ここで、
選択手段は、人手により音声データ対応テーブルを選択
するようになっていてもよいし、乱数等や所定条件に基
づいて音声データ対応テーブルを選択するようになって
いてもよい。
【0021】さらに、本発明に係る請求項8記載の疑似
感情表現装置は、請求項3ないし7のいずれかに記載の
疑似感情表現装置において、前記疑似感情生成手段は、
前記各疑似感情ごとにその強度を生成するようになって
おり、前記音声データ合成手段は、前記読み出した各音
声データに対して前記疑似感情生成手段で生成した疑似
感情の強度に応じた量の音響効果を与え、それら音声デ
ータを合成するようになっている。
【0022】このような構成であれば、疑似感情生成手
段により、各疑似感情ごとにその強度が生成され、音声
データ合成手段により、読み出された各音声データに対
して、生成された疑似感情の強度に応じた量の音響効果
が与えられ、それら音声データが合成される。ここで、
音響効果とは、それを与える前後で音声データに基づい
て出力される音声が変化するように、音声データに変化
を与える効果をいい、これには、例えば、音声ボリュー
ムを変化する効果、音声周波数を変化する効果、または
音声ピッチを変化する効果が含まれる。
【0023】一方、上記目的を達成するために、本発明
に係る請求項9記載の音声合成方法は、異なる複数の疑
似感情を生成する疑似感情生成手段を利用して前記複数
の疑似感情を音声により表現する疑似感情表現装置に適
用される方法であって、前記各疑似感情ごとに音声デー
タを記憶した音声データ記憶手段が与えられたときに、
前記疑似感情生成手段よって生成された疑似感情に対応
するそれぞれの音声データを前記音声データ記憶手段か
ら読み出して合成する。
【0024】ここで、上記目的を達成するために、さら
に具体的な方法としては、次に掲げる音声合成方法およ
び疑似感情表現方法を提案することができる。第1の音
声合成方法は、異なる複数の疑似感情を生成する疑似感
情生成手段を利用して前記複数の疑似感情を音声により
表現する疑似感情表現装置に適用される方法であって、
前記各疑似感情ごとに音声データを音声データ記憶手段
に記憶する音声データ記憶ステップと、前記疑似感情生
成手段によって生成された疑似感情に対応するそれぞれ
の音声データを前記音声データ記憶手段から読み出して
合成する音声データ合成ステップとを含む。
【0025】このような方法によれば、請求項2記載の
音声合成装置と同等の効果が得られる。ここで、第1の
音声合成方法は、ペット型ロボットに適用することがで
きるほか、例えば、コンピュータ上でソフトウェアによ
り実現される仮想的なペット型ロボットに適用すること
もできる。前者の場合には、例えば、外部から与えられ
る刺激に基づいて複数の疑似感情を生成する疑似感情生
成手段を利用し、後者の場合には、例えば、ユーザによ
るコンピュータへの入力内容に基づいて複数の疑似感情
を生成する疑似感情生成手段を利用すればよい。
【0026】一方、第1の疑似感情表現方法は、異なる
複数の疑似感情を音声により表現する方法であって、前
記各疑似感情ごとに音声データを音声データ記憶手段に
記憶する音声データ記憶ステップと、前記複数の疑似感
情を生成する疑似感情生成ステップと、前記疑似感情生
成ステップで生成した疑似感情に対応するそれぞれの音
声データを前記音声データ記憶手段から読み出して合成
する音声データ合成ステップと、前記音声データ合成ス
テップで合成した音声データに基づいて音声を出力する
音声出力ステップとを含む。
【0027】このような方法によれば、請求項3記載の
疑似感情表現装置と同等の効果が得られる。ここで、第
1の疑似感情表現方法は、ペット型ロボットに適用する
ことができるほか、例えば、コンピュータ上でソフトウ
ェアにより実現される仮想的なペット型ロボットに適用
することもできる。前者の場合、疑似感情生成ステップ
は、例えば、外部から与えられる刺激に基づいて複数の
疑似感情を生成し、後者の場合、疑似感情生成ステップ
は、例えば、ユーザによるコンピュータへの入力内容に
基づいて複数の疑似感情を生成する。
【0028】さらに、第2の疑似感情表現方法は、異な
る複数の疑似感情を音声により表現する方法であって、
前記各疑似感情ごとに音声データを音声データ記憶手段
に記憶する音声データ記憶ステップと、外部から与えら
れる刺激を認識する刺激認識ステップと、前記刺激認識
ステップの認識結果に基づいて前記複数の疑似感情を生
成する疑似感情生成ステップと、前記疑似感情生成ステ
ップで生成した疑似感情に対応するそれぞれの音声デー
タを前記音声データ記憶手段から読み出して合成する音
声データ合成ステップと、前記音声データ合成ステップ
で合成した音声データに基づいて音声を出力する音声出
力ステップとを含む。
【0029】このような方法によれば、請求項4記載の
疑似感情表現装置と同等の効果が得られる。ここで、刺
激については、請求項4記載の疑似感情表現装置におけ
る定義と同義である。さらに、第3の疑似感情表現方法
は、第1および第2の疑似感情表現方法のいずれかにお
いて、さらに、異なる複数の性格のうちいずれかを形成
する性格形成ステップを含み、前記音声データ記憶ステ
ップは、前記各疑似感情ごとに前記音声データを対応付
けて登録した音声データ対応テーブルを、前記各性格ご
とに前記音声データ記憶手段に記憶し、前記音声データ
合成ステップは、前記性格形成ステップで形成した性格
に対応する音声データ対応テーブルを参照して、前記疑
似感情生成ステップで生成した疑似感情に対応するそれ
ぞれの音声データを前記音声データ記憶手段から読み出
して合成する。
【0030】このような方法によれば、請求項5記載の
疑似感情表現装置と同等の効果が得られる。さらに、第
4の疑似感情表現方法は、第1ないし第3の疑似感情表
現方法のいずれかにおいて、さらに、成長段階を規定す
る成長段階規定ステップを含み、前記音声データ記憶ス
テップは、前記各疑似感情ごとに前記音声データを対応
付けて登録した音声データ対応テーブルを、前記各成長
段階ごとに前記音声データ記憶手段に記憶し、前記音声
データ合成ステップは、前記成長段階規定ステップで規
定した成長段階に対応する音声データ対応テーブルを参
照して、前記疑似感情生成ステップで生成した疑似感情
に対応するそれぞれの音声データを前記音声データ記憶
手段から読み出して合成する。
【0031】このような方法によれば、請求項6記載の
疑似感情表現装置と同等の効果が得られる。さらに、第
5の疑似感情表現方法は、第1ないし第4の疑似感情表
現方法のいずれかにおいて、前記音声データ記憶ステッ
プは、前記各疑似感情ごとに前記音声データを対応付け
て登録した音声データ対応テーブルを複数前記音声デー
タ記憶手段に記憶し、前記複数の音声データ対応テーブ
ルのうちいずれかを選択するテーブル選択ステップを含
み、前記音声データ合成ステップは、前記テーブル選択
ステップで選択した音声データ対応テーブルを参照し
て、前記疑似感情生成ステップで生成した疑似感情に対
応するそれぞれの音声データを前記音声データ記憶手段
から読み出して合成する。
【0032】このような方法によれば、請求項7記載の
疑似感情表現装置と同等の効果が得られる。ここで、選
択ステップは、人手により音声データ対応テーブルを選
択してもよいし、乱数等や所定条件に基づいて音声デー
タ対応テーブルを選択してもよい。さらに、第6の疑似
感情表現方法は、第1ないし第5の疑似感情表現方法の
いずれかにおいて、前記疑似感情生成ステップは、前記
各疑似感情ごとにその強度を生成するようになってお
り、前記音声データ合成ステップは、前記読み出した各
音声データに対して前記疑似感情生成ステップで生成し
た疑似感情の強度に応じた量の音響効果を与え、それら
音声データを合成する。
【0033】このような方法によれば、請求項8記載の
疑似感情表現装置と同等の効果が得られる。ここで、音
響効果については、請求項8記載の疑似感情表現装置に
おける定義と同義である。以上では、上記目的を達成す
るための音声合成装置、疑似感情表現装置および音声合
成方法を提案したが、これに限らず、上記目的を達成す
るために、次に掲げる記憶媒体を提案することもでき
る。
【0034】この記憶媒体は、異なる複数の疑似感情を
音声により表現する疑似感情表現プログラムを記憶した
記憶媒体であって、前記各疑似感情ごとに音声データを
記憶するための音声データ記憶手段を備えたコンピュー
タに対して、前記複数の疑似感情を生成する疑似感情生
成手段と、前記疑似感情生成手段で生成した疑似感情に
対応するそれぞれの音声データを前記音声データ記憶手
段から読み出して合成する音声データ合成手段と、前記
音声データ合成手段で合成した音声データに基づいて音
声を出力する音声出力手段とで実現される処理を実行さ
せるためのプログラムを記憶したコンピュータ読み取り
可能な記憶媒体である。
【0035】このような構成であれば、記憶媒体に記憶
された疑似感情表現プログラムがコンピュータによって
読み取られ、読み取られたプログラムに従ってコンピュ
ータが実行したときは、請求項3記載の疑似感情表現装
置と同等の作用および効果が得られる。
【0036】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら説明する。図1ないし図5は、本発明に
係る音声合成装置、疑似感情表現装置および音声合成方
法の実施の形態を示す図である。本実施の形態は、本発
明に係る音声合成装置、疑似感情表現装置および音声合
成方法を、図1に示すように、ペット型ロボット1で生
成した異なる複数の疑似感情を音声により表現する場合
について適用したものである。
【0037】まず、ペット型ロボット1の構成を図1を
参照しながら説明する。図1は、ペット型ロボット1の
構成を示すブロック図である。ペット型ロボット1は、
図1に示すように、外部から与えられる刺激等の外部情
報を入力する外部情報入力部2と、ペット型ロボット1
内で得られる内部情報を入力する内部情報入力部3と、
ペット型ロボット1の疑似感情や行動を制御する制御部
4と、制御部4の制御結果に基づいてペット型ロボット
1の疑似感情や行動を表現する疑似感情表現部5とで構
成されている。
【0038】外部情報入力部2は、視覚的情報入力装置
として、ユーザ6の顔、ジェスチャ、位置等を検出する
カメラ2aと、周囲の障害物を検出するIR(赤外線)
センサ2bとを備え、さらに、聴覚的情報入力装置とし
て、ユーザ6による発声や周囲の音を検出するマイク2
cを備え、さらに、触覚的情報入力装置として、ユーザ
6による撫でや叩きを検出する感圧センサ2dと、ペッ
ト型ロボット1の脚や手の力・トルクを検出するトルク
センサ2eと、ペット型ロボット1の脚や手の関節位置
を検出するポテンショセンサ4fとを備えている。これ
らセンサ等2a〜2fからの情報は、制御部4に出力さ
れる。
【0039】内部情報入力部3は、ペット型ロボット1
の飢えの情報を検出するバッテリ残量計3aと、ペット
型ロボット1の疲れの情報を検出するモータ温度計3b
とを備えている。これらセンサ3a,3bからの情報
は、制御部4に出力される。制御部4は、カメラ2aか
らの信号によりユーザ6の顔情報を検出する顔情報検出
装置4aおよびジェスチャ情報検出装置4bと、マイク
2cからの信号によりユーザ6の音声情報を検出する音
声情報検出装置4cと、感圧センサ2dからの信号によ
りユーザ6との接触情報を検出する接触情報検出装置4
dと、カメラ2a、IRセンサ2b、マイク2cおよび
感圧センサ2dからの信号により周辺環境を検出する周
辺環境検出装置4eと、トルクセンサ2eおよびポテン
ショセンサ2fからの信号によりペット型ロボット1の
腕等の姿勢動作、抵抗力を検出する動作検出装置4fと
を備えている。さらに、内部情報入力部3からの情報に
基づいて内部情報を認識する内部情報認識処理装置4g
と、記憶情報処理装置4hと、ユーザ・環境情報認識装
置4iと、疑似感情生成装置4jと、行動決定装置4k
と、性格形成装置4nと、成長段階計算装置4pとを備
えている。
【0040】内部情報認識処理装置4gは、バッテリ残
量計3aおよびモータ温度計3bからの信号に基づいて
ペット型ロボット1の内部情報を認識し、その認識結果
を記憶情報処理装置4hおよび疑似感情生成装置4jに
出力するようになっている。次に、ユーザ・環境情報認
識装置4iの構成を図2を参照しながら詳細に説明す
る。図2は、ユーザ・環境情報認識装置4iの構成を示
すブロック図である。
【0041】ユーザ・環境情報認識装置4iは、図2に
示すように、ユーザ6を特定するユーザ特定装置7と、
ユーザの状態を識別するユーザ状態識別装置8と、ユー
ザ6からの情報を受け付ける受付装置9と、周囲の環境
を認識する環境認識装置10とを備えている。ユーザ特
定装置7は、顔情報検出装置4aおよび音声情報検出装
置4cから情報に基づいてユーザ6を特定し、その特定
結果をユーザ状態識別装置8および受付装置9に出力す
るようになっている。
【0042】ユーザ状態識別装置8は、顔情報検出装置
4a、動作検出装置4fおよびユーザ特定装置7からの
情報に基づいてユーザ6の状態を識別し、その識別結果
を疑似感情生成装置4jに出力するようになっている。
受付装置9は、ジェスチャ情報検出装置4b、音声情報
検出装置4c、接触情報検出装置4dおよびユーザ特定
装置7からそれぞれ情報を入力し、入力したそれら情報
を特徴行為記憶装置4mに出力するようになっている。
【0043】環境認識装置10は、周辺環境検出装置4
eからの情報に基づいて周辺の環境を認識し、その認識
結果を行動決定装置4kに出力するようになっている。
図1に戻り、疑似感情生成装置4jは、ユーザ状態識別
装置8からの情報および記憶情報処理装置4hの疑似感
情モデルに基づいて、ペット型ロボット1の異なる複数
の擬似感情を生成し、行動決定装置4kおよび特徴行為
記憶処理装置4mに出力するようになっている。ここ
で、疑似感情モデルは、ペット型ロボット1の疑似感情
を表す怒り、悲しみ、喜び、恐れ、嫌悪、疲れ、飢え、
眠気等のパラメータを求めるための計算式であり、音声
や画像として検出したユーザ情報(ユーザ6のご機嫌
度、命令など)および環境情報(部屋の明るさや音等)
に応じてペット型ロボット1の疑似感情を生成する。疑
似感情の生成は、各疑似感情ごとにその強度をその強度
を生成することにより行う。例えば、ユーザ6が目の前
に現れたときは、「喜び」の疑似感情の強度を「5」と
して、「怒り」の疑似感情の強度を「0」として生成す
ることにより「喜び」の疑似感情を強調し、逆に他人が
目の前に現れたときは、「喜び」の疑似感情の強度を
「0」として、「怒り」の疑似感情の強度を「5」とし
て生成することにより「怒り」の疑似感情を強調する。
【0044】性格形成装置4nは、ユーザ・環境情報認
識装置4iからの情報に基づいて、ペット型ロボット1
の性格を、「怒りっぽい性格」、「陽気な性格」、「陰
気な性格」等異なる複数の性格のうちいずれかに形成
し、形成したペット型ロボット1の性格を性格データと
して疑似感情生成装置4jおよび行動決定装置4kに出
力するようになっている。
【0045】成長段階計算装置4pは、ユーザ・環境情
報認識装置4jからの情報に基づいて、ユーザ6から誉
められたり叱られたりすることにより、ペット型ロボッ
ト1の疑似感情を変化させペット型ロボット1を成長さ
せていき、その成長結果を成長データとして行動決定装
置4kに出力するようになっている。また、ペット型ロ
ボット1が赤ん坊の頃は幼稚な動きをするように反応
し、成長するにつれて大人の動きをするように疑似感情
モデルを作成しておく。成長段階は、例えば、「幼年
期」、「青年期」、「老年期」の3段階に規定されてい
る。
【0046】特徴的行為記憶処理装置4mは、ユーザ・
環境情報検出装置4iおよび擬似感情生成装置4jから
の情報に基づいて、ペット型ロボット1がユーザ6に徐
々になついていく行動とか、ユーザ6のしぐさを学習す
るとかの特徴的行為を記憶、処理し、その処理結果を行
動決定装置4kに出力するようになっている。一方、疑
似感情表現部5は、視覚的に疑似感情を表現する視覚的
感情表現装置5aと、聴覚的に疑似感情を表現する聴覚
的感情表現装置5bと、触覚的に疑似感情を表現する触
覚的感情表現装置5cとを備えている。
【0047】視覚的感情表現装置5aは、後述する行動
セットパラメータ設定装置12からの行動セットパラメ
ータに基づいて、ペット型ロボット1の顔や腕、体等の
動作機構を駆動するようになっており、これにより、ペ
ット型ロボット1の疑似感情を、アテンション(注意)
やロコモーション(運動)情報(例えば顔の表情、首振
り、おどり)としてユーザ6に伝達する。動作機構とし
ては、例えば、モータ、電磁ソレノイド、エアまたは油
圧シリンダなどのアクチュエータを用いることができ
る。
【0048】聴覚的感情表現装置5bは、後述する音声
データ合成装置15で合成した音声データに基づいて、
スピーカを駆動して音声を出力するようになっており、
これにより、ペット型ロボット1の疑似感情を、音程、
リズム情報(例えば鳴き声)としてユーザ6に伝達す
る。触覚的感情表現装置5cは、後述する行動セットパ
ラメータ設定装置12からの行動セットパラメータに基
づいて、顔や腕、体等の動作機構を駆動するようになっ
ており、ペット型ロボット1の疑似感情を、抵抗力、リ
ズム情報(例えば「お手」をしたときのユーザ6が受け
る触覚)としてユーザ6に伝達する。動作機構として
は、例えば、モータ、電磁ソレノイド、エアまたは油圧
シリンダなどのアクチュエータを用いることができる。
【0049】次に、行動決定装置4kの構成を図3を参
照しながら説明する。図3は、行動決定装置4kの構成
を示すブロック図である。行動決定装置4kは、図3に
示すように、行動セット選択装置11と、行動セットパ
ラメータ設定装置12と、行動再現装置13と、各疑似
感情ごとに音声データを記憶した音声データ登録データ
ベース14と、音声データ登録データベース14の音声
データを合成する音声データ合成装置15とを備えてい
る。
【0050】行動セット選択装置11は、擬似感情生成
装置4jからの情報に基づいて、記憶情報処理装置4h
の行動セット(行動ライブラリ)を参照してペット型ロ
ボット1の基本行動を決定し、決定した基本行動を行動
セットパラメータ設定装置12に出力するようになって
いる。行動ライブラリには、ペット型ロボット1が特定
の表現をするための動作シーケンスが登録されており、
例えば、行動パターンが「前進」の場合には、「所定の
順序で各脚から動かす」というシーケンス、行動パター
ンが「おどり」の場合には、「後脚をたたんで座姿にな
り、前脚を交互に上げ下げする」というシーケンスが登
録されている。
【0051】行動再現装置13は、特徴行為記憶装置4
mの行動セットに基づいて、行動セット選択装置11の
行動セットを補正し、補正後の行動セットを行動セット
パラメータ設定装置12に出力するようになっている。
行動セットパラメータ設定装置12は、行動セット選択
装置11および行動再現装置13からの行動セットに基
づいて、例えば、ペット型ロボット1がユーザ6の方向
に近づく速度やユーザ6の手を掴む抵抗力等の行動セッ
トパラメータを設定し、設定した行動セットパラメータ
を視覚的感情表現装置5aおよび触覚的感情表現装置5
cに出力するようになっている。
【0052】音声データ登録データベース14には、図
4に示すように、複数の音声データを格納しているとと
もに、各疑似感情ごとに音声データを対応付けて登録し
た音声データ対応テーブル100〜104を、各成長段
階ごとに格納している。図4は、音声データ対応テーブ
ルのデータ構造を示す図である。音声データ対応テーブ
ル100は、図4に示すように、ペット型ロボット1の
成長段階が「幼年期」であるときに参照するテーブルで
あって、各疑似感情ごとに一つのレコードが登録されて
いる。各レコードは、ペット型ロボット1の性格が「怒
りっぽい性格」であるときに出力すべき音声データ1i
(iは、レコード番号を示す。)を登録するフィールド
110と、ペット型ロボット1の性格が「陽気な性格」
であるときに出力すべき音声データ2iを登録するフィ
ールド112と、ペット型ロボット1の性格が「陰気な
性格」であるときに出力すべき音声データ3iを登録す
るフィールド114とを含んで構成されている。
【0053】音声データ対応テーブル102は、ペット
型ロボット1の成長段階が「青年期」であるときに参照
するテーブルであって、各疑似感情ごとに一つのレコー
ドが登録されている。各レコードは、音声データ対応テ
ーブル100のレコードと同様に、フィールド110〜
114を含んで構成されている。音声データ対応テーブ
ル104は、ペット型ロボット1の成長段階が「老年
期」であるときに参照するテーブルであって、各疑似感
情ごとに一つのレコードが登録されている。各レコード
は、音声データ対応テーブル100のレコードと同様
に、フィールド110〜114を含んで構成されてい
る。
【0054】すなわち、音声データ対応テーブル100
〜104を参照することにより、ペット型ロボット1の
成長段階および性格に応じて、各疑似感情ごとに出力す
べき音声データを特定することができる。図4の例で
は、ペット型ロボット1の成長段階が「幼年期」であ
り、その性格が「陽気な性格」である場合は、「喜び」
の疑似感情については音楽データ11を読み出し、「悲
しみ」の疑似感情については音楽データ12を読み出
し、「怒り」の疑似感情については音楽データ13を読
み出せばよいことが分かる。
【0055】次に、音声データ合成装置15の構成を図
5を参照しながら説明する。音声データ合成装置15
は、CPU、ROM、RAMおよびI/F等をバス接続
して構成されており、さらに、複数のチャンネルを有し
かつ各チャンネルごとにプリセットされた音声データを
合成して出力する音声データ合成ICを備えている。
【0056】音声データ合成装置15のCPUは、マイ
クロプロセッシングユニットMPU等からなり、ROM
の所定領域に格納されている所定のプログラムを起動さ
せ、そのプログラムに従って、図5のフローチャートに
示す音声データ合成処理を所定周期(例えば、100
[ms])の割込処理により実行するようになっている。
図5は、音声データ合成処理を示すフローチャートであ
る。
【0057】音声データ合成処理は、ユーザ・環境情報
認識装置4i、疑似感情生成装置4j、性格形成装置4
nおよび成長段階計算装置4pからの情報に基づいて、
疑似感情生成装置4jで生成した疑似感情に対応するそ
れぞれの音声データを音声データ登録データベース14
から読み出して合成する処理であって、CPUにおいて
実行されると、まず、図5に示すように、ステップS1
00に移行するようになっている。
【0058】ステップS100では、制御装置4等から
音声停止命令を入力したか否かを判定することにより音
声の出力を停止するか否かを判定し、音声の出力を停止
しないと判定したとき(No)は、ステップS102に移行
して、音声データを更新するか否かを判定し、音声デー
タを更新すると判定したとき(Yes)は、ステップS10
4に移行する。
【0059】ステップS104では、成長段階計算装置
4pからの成長データに基づいて音声データ対応テーブ
ル100〜106のうちいずれかを特定し、ステップS
106に移行して、性格形成装置4nからの性格データ
に基づいて、ステップS104で特定した音声データ対
応テーブルのフィールドのうち音声データを読み出すフ
ィールドを特定し、ステップS108に移行する。
【0060】ステップS108では、音声の出力を開始
してから経過した時間を測定するための音声出力時間を
「0」に設定し、ステップS110に移行して、ステッ
プS104で特定した音声データ対応テーブルのフィー
ルドのうちステップS106で特定したフィールドを参
照して、疑似感情生成装置4jで生成した疑似感情に対
応するそれぞれの音声データを音声データ登録データベ
ース14から読み出し、ステップS112に移行する。
【0061】ステップS112では、読み出した各音声
データが、疑似感情生成装置4jで生成した疑似感情の
強度に応じた音声ボリュームとなるように音声ボリュー
ムの音声パラメータを決定し、ステップS114に移行
して、全体の音量、テンポその他の音響効果を規定する
その他の音声パラメータを決定し、ステップS116に
移行して、音声出力時間を加算し、ステップS118に
移行する。
【0062】ステップS118では、音声出力時間が所
定値(音声データごとに規定されている出力上限時間)
以上であるか否かを判定し、音声出力時間が所定値未満
であると判定したとき(No)は、ステップS120に移行
して、音声データ合成ICの各チャンネルごとに、決定
した音声パラメータおよび読み出した音声データをプリ
セットし、一連の処理を終了して元の処理に復帰させ
る。
【0063】一方、ステップS118で、音声出力時間
が所定値以上であると判定したとき(Yes)は、ステップ
S122に移行して、音声の出力を停止するか否かを示
す出力停止フラグをセットし、ステップS124に移行
して、音声の出力を停止する停止コマンドを音声データ
合成ICに出力することにより音声の出力を停止し、一
連の処理を終了して元の処理に復帰させる。
【0064】一方、ステップS102で、音声データを
更新しないと判定したとき(No)は、ステップS110に
移行する。一方、ステップS100で、音声の出力を停
止すると判定したとき(Yes)は、ステップS126に移
行して、音声の出力を停止する停止コマンドを音声デー
タ合成ICに出力することにより音声の出力を停止し、
一連の処理を終了して元の処理に復帰させる。
【0065】次に、上記実施の形態の動作を説明する。
ユーザにより、例えば、撫でたり声をかけたりするなど
して、ペット型ロボット1に対して刺激が与えられる
と、各センサ等2a〜2f、各検出装置4a〜4fおよ
びユーザ・環境情報認識装置4iにより、与えられた刺
激が認識され、疑似感情生成装置4jにより、その認識
結果に基づいて、各疑似感情ごとにその強度が生成され
る。例えば、疑似感情として、「喜び」、「悲しみ」、
「怒り」、「驚き」、「嫌悪」および「恐怖」があると
すると、それぞれの疑似感情の強度が「5」、「4」、
「3」、「2」および「1」として生成される。
【0066】一方、ユーザ6から誉められたり叱られた
りするなどして、ユーザ6から与えられた刺激量や刺激
パターンを学習していくと、性格形成装置4nにより、
ユーザ・環境情報認識装置4iからの情報に基づいて、
ペット型ロボット1の性格が、「怒りっぽい性格」、
「陽気な性格」、「陰気な性格」等異なる複数の性格の
うちいずれかに形成され、形成された性格が性格データ
として出力される。また、成長段階計算装置4pによ
り、ユーザ・環境情報認識装置4jからの情報に基づい
て、ペット型ロボット1の疑似感情が変化してペット型
ロボット1が成長していき、その成長結果が成長データ
として出力される。成長段階は、例えば、「幼年期」、
「青年期」、「老年期」の3段階のうちその順で変化し
ていく。
【0067】このように、各疑似感情の強度、成長デー
タおよび性格データが生成されると、音声データ合成装
置15により、ステップS104,S106を経て、成
長段階計算装置4pからの成長データに基づいて、音声
データ対応テーブル100〜106のうちいずれかが特
定され、性格形成装置4nからの性格データに基づい
て、特定された音声データ対応テーブルのフィールドの
うち音声データを読み出すフィールドが特定される。例
えば、成長段階が「幼年期」であり、性格が「怒りっぽ
い性格」であれば、音声データ対応テーブルとして音声
データ対応テーブル100が特定され、音声データを読
み出すフィールドとしてフィールド110が特定され
る。
【0068】次いで、ステップS108〜S112を経
て、特定された音声データ対応テーブルのフィールドの
うち特定されたフィールドを参照して、疑似感情生成装
置4jで生成された疑似感情に対応するそれぞれの音声
データが音声データ登録データベース14から読み出さ
れ、読み出された各音声データが、疑似感情生成装置4
jで生成された疑似感情の強度に応じた音声ボリューム
となるように音声ボリュームの音声パラメータが決定さ
れる。
【0069】次いで、ステップS108〜S120を経
て、音声データ合成ICの各チャンネルごとに、決定さ
れた音声パラメータおよび読み出された音声データがプ
リセットされ、音声データ合成ICにより、プリセット
された音声パラメータに基づいて音声データが合成さ
れ、聴覚的感情表現装置5cに出力される。そして、聴
覚的感情表現装置5cにより、音声データ合成装置15
で合成された音声データに基づいて音声が出力される。
【0070】すなわち、ペット型ロボット1では、疑似
感情を表現するときは、各疑似感情の強度に応じた音声
ボリュームで、各疑似感情に対応するそれぞれの音声デ
ータが合成されて音声が出力される。例えば、「喜び」
の疑似感情が強いときは、出力音声のうち「喜び」の疑
似感情に対応する音声が比較的大きなボリュームとな
り、「怒り」の疑似感情が強いときは、出力音声のうち
「怒り」の疑似感情に対応する音声が比較的大きなボリ
ュームとなる。
【0071】このようにして、本実施の形態では、外部
から与えられる刺激を認識し、その認識結果に基づいて
複数の疑似感情を生成し、生成した疑似感情に対応する
それぞれの音声データを音声データ登録データベース1
4から読み出して合成し、合成した音声データに基づい
て音声を出力するようになっている。これにより、各疑
似感情に対応するそれぞれの音声が合成されて出力され
るので、ユーザに対して、異なる複数の疑似感情のそれ
ぞれを比較的明確に伝えることができる。したがって、
実際のペットにはない面白味やかわいらしさを表現する
ことができる。
【0072】さらに、本実施の形態では、ペット型ロボ
ット1の性格を異なる複数の性格のうちいずれかに形成
し、音声データ対応テーブルのフィールドのうちその形
成した性格に対応するフィールドを参照して、生成した
疑似感情に対応するそれぞれの音声データを音声データ
登録データベース14から読み出して合成するようにな
っている。
【0073】これにより、各性格ごとに異なる合成音声
が出力されるので、ユーザに対して、異なる複数の性格
のそれぞれを比較的明確に伝えることができる。したが
って、実際のペットにはない面白味やかわいらしさをさ
らに表現することができる。さらに、本実施の形態で
は、ペット型ロボット1の成長段階を規定し、規定した
成長段階に対応する音声データ対応テーブルを参照し
て、生成した疑似感情に対応するそれぞれの音声データ
を音声データ登録データベース14から読み出して合成
するようになっている。
【0074】これにより、各成長段階ごとに異なる合成
音声が出力されるので、ユーザに対して、複数の成長段
階のそれぞれを比較的明確に伝えることができる。した
がって、実際のペットにはない面白味やかわいらしさを
さらに表現することができる。さらに、本実施の形態で
は、各疑似感情ごとにその強度を生成し、読み出した各
音声データが、生成した疑似感情の強度に応じた音声ボ
リュームとなるように合成するようになっている。
【0075】これにより、ユーザに対して、異なる複数
の疑似感情のそれぞれの強度を比較的明確に伝えること
ができる。したがって、実際のペットにはない面白味や
かわいらしさをさらに表現することができる。上記実施
の形態において、音声データ登録データベース14は、
請求項1ないし6、または9記載の音声データ記憶手段
に対応し、疑似感情生成装置4jは、請求項1ないし
6、8または9記載の疑似感情生成手段に対応し、音声
データ合成装置15は、請求項2ないし6、または8記
載の音声データ合成手段に対応し、聴覚的感情表現装置
5bは、請求項3または4記載の音声出力手段に対応し
ている。また、各センサ等2a〜2f、各検出装置4a
〜4fおよびユーザ・環境情報認識装置4iは、請求項
4記載の刺激認識手段に対応し、性格形成装置4nは、
請求項5記載の性格形成手段に対応し、成長段階計算装
置4pは、請求項6記載の成長段階規定手段に対応して
いる。
【0076】なお、上記実施の形態においては、各性格
ごとまたは各成長段階ごとに異なる合成音声を出力する
ように構成したが、これに限らず、音声データ対応テー
ブルを選択するためのスイッチをユーザ切り換え可能な
位置に設け、そのスイッチで選択した音声データ対応テ
ーブルを参照して、生成した疑似感情に対応するそれぞ
れの音声データを音声データ登録データベース14から
読み出して合成するように構成してもよい。
【0077】これにより、スイッチの各切換状態ごとに
異なる合成音声が出力されるので、実際のペットにはな
い面白味やかわいらしさをさらに表現することができ
る。また、上記実施の形態においては、音声データを音
声データ登録データベース14にあらかじめ格納して構
成したが、これに限らず、インターネット等からダウン
ロードした音声データや、持ち運び可能な記憶媒体等か
ら読み出した音声データを音声データ登録データベース
14に登録可能に構成してもよい。
【0078】また、上記実施の形態においては、音声デ
ータ対応テーブル100〜102の内容をあらかじめ登
録して構成したが、これに限らず、音声データ対応テー
ブル100〜102の内容をユーザが自由に登録・編集
することができるように構成してもよい。また、上記実
施の形態においては、読み出した各音声データが、生成
した疑似感情の強度に応じた音声ボリュームとなるよう
に合成するように構成したが、これに限らず、例えば、
生成した疑似感情の強度に応じて、音声周波数を変化す
る効果、または音声ピッチを変化する効果を与えるよう
に構成してもよい。
【0079】また、上記実施の形態においては、音声合
成についてユーザの感情を特に考慮しなかったが、これ
に限らず、ユーザ状態識別装置8からの情報に基づいて
音声データを合成するように構成してもよい。例えば、
ユーザの機嫌がよいと識別したときは、テンポを早くし
て軽快感を演出するとか、逆にユーザの機嫌がよくない
と識別したときは、全体の音声ボリュームを小さくして
静かにする。
【0080】また、上記実施の形態においては、音声合
成について周囲の環境を特に考慮しなかったが、これに
限らず、環境認識装置10からの情報に基づいて音声デ
ータを合成するように構成してもよい。例えば、周囲が
明るいと認識したときは、テンポを早くして軽快感を演
出するとか、周囲が静かであると認識したときは、全体
の音声ボリュームを小さくして静かにする。
【0081】また、上記実施の形態においては、音声出
力を停止する操作については特に説明しなかったが、例
えば、ペット型ロボット1に設けた音声停止スイッチに
より、また外部から与えられた刺激に応じて、音声出力
を停止したり再開したりするように構成してもよい。ま
た、上記実施の形態においては、成長段階を3段階に規
定したが、これに限らず、成長段階を2段階または4段
階以上に規定してもよい。成長段階が多数になったり連
続値をもつようになったりした場合は、音声データ対応
テーブルを多数用意しなければならず、メモリ占有率が
増大してしまうので、そのような場合には、成長段階に
基づいて所定の演算式により音声データを特定するよう
に構成してもよいし、成長段階に基づいて所定の演算式
により合成対象となる音声データに対して所定の音響効
果を与えるように構成してもよい。
【0082】また、上記実施の形態においては、ペット
型ロボット1の性格を3つに分類したが、これに限ら
ず、ペット型ロボット1の性格を2つまたは4つ以上に
分類してもよい。ペット型ロボット1の性格が多数にな
ったり連続値をもつようになったりした場合は、音声デ
ータ対応テーブルを多数用意しなければならず、メモリ
占有率が増大してしまうので、そのような場合には、ペ
ット型ロボット1の性格に基づいて所定の演算式により
音声データを特定するように構成してもよいし、ペット
型ロボット1の性格に基づいて所定の演算式により合成
対象となる音声データに対して所定の音響効果を与える
ように構成してもよい。
【0083】また、上記実施の形態においては、音声デ
ータ合成ICは、音声データ合成装置15に設けて構成
したが、これに限らず、聴覚的感情表現装置5bに設け
て構成してもよい。この場合、音声データ合成装置15
は、音声データ登録データベース14から読み出した音
声データを、音声データ合成ICの各チャンネルに対し
て出力するように構成する。
【0084】また、上記実施の形態においては、音声デ
ータ登録データベース14は、ペット型ロボット1の内
蔵型メモリとして構成したが、これに限らず、ペット型
ロボット1に対して着脱可能なメモリとして構成しても
よい。ユーザは、音声データ登録データベース14をペ
ット型ロボット1から取り外し、外部のパソコン等で新
たな音声データを書き込んで再びペット型ロボット1に
取り付けることにより、音声データ登録データベース1
4の内容を更新することができる。この場合、音声デー
タとしては、外部のパソコンで独自に編集した音声デー
タを採用することもできるし、外部のパソコンがインタ
ーネット等のネットワークを介して取得した音声データ
を採用することもできる。これにより、ユーザは、ペッ
ト型ロボット1の新しい疑似感情表現を楽しむことがで
きる。
【0085】その他、音声データの更新に関しては、例
えば、所定のインターフェースと、そのインターフェー
スを介して外部と通信を行う通信装置とをペット型ロボ
ットに設け、インターネット等のネットワークまたは音
声データを蓄積したパソコンとインターフェースとを無
線または有線により通信可能に接続し、通信装置によ
り、ネットワークまたはパソコンから音声データをダウ
ンロードすることによって音声データ登録データベース
14の音声データを更新するように構成してもよい。
【0086】また、上記実施の形態においては、音声デ
ータ登録データベース14、音声データ合成装置15お
よび聴覚的感情表現装置5bを設けて構成したが、これ
に限らず、音声データ登録データベース14、音声デー
タ合成装置15および聴覚的感情表現装置5bを一体に
モジュール化し、モジュール化したものを、図3の聴覚
的感情表現装置5bの部分に着脱可能に設けて構成して
もよい。すなわち、既存のペット型ロボットに対して、
本発明の音声合成による疑似感情表現を行わせたいとき
は、既存の聴覚的感情表現装置5bに代えて、上記のよ
うなモジュールを取り付ければよい。このような構成で
あれば、既存のペット型ロボットの構成をさほど変更す
ることなく、本発明の音声合成による感情表現を比較的
容易に行わせることができる。
【0087】また、上記実施の形態において、図5のフ
ローチャートに示す処理を実行するにあたっては、RO
Mにあらかじめ格納されている制御プログラムを実行す
る場合について説明したが、これに限らず、これらの手
順を示したプログラムが記憶された記憶媒体から、その
プログラムをRAMに読み込んで実行するようにしても
よい。
【0088】ここで、記憶媒体とは、RAM、ROM等
の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒
体、CD、CDV、LD、DVD等の光学的読取方式記
憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体
であって、電子的、磁気的、光学的等の読み取り方法の
いかんにかかわらず、コンピュータで読み取り可能な記
憶媒体であれば、あらゆる記憶媒体を含むものである。
【0089】また、上記実施の形態においては、本発明
に係る音声合成装置、疑似感情表現装置および音声合成
方法を、図1に示すように、ペット型ロボット1で生成
した異なる複数の疑似感情を音声により表現する場合に
ついて適用したが、これに限らず、本発明の主旨を逸脱
しない範囲で他の場合にも適用可能である。例えば、コ
ンピュータ上でソフトウェアにより実現される仮想的な
ペット型ロボットにおいて、異なる複数の疑似感情を音
声により表現する場合についても適用することができ
る。
【0090】
【発明の効果】以上説明したように、本発明に係る請求
項1または2記載の音声合成装置によれば、各疑似感情
に対応するそれぞれの音声が合成されるので、観察者に
対して、異なる複数の疑似感情のそれぞれを比較的明確
に伝えることができる。したがって、実際のペットには
ない面白味やかわいらしさを表現することができるとい
う効果が得られる。
【0091】一方、本発明に係る請求項3ないし8記載
の疑似感情表現装置によれば、各疑似感情に対応するそ
れぞれの音声が合成されて出力されるので、観察者に対
して、異なる複数の疑似感情のそれぞれを比較的明確に
伝えることができる。したがって、実際のペットにはな
い面白味やかわいらしさを表現することができるという
効果が得られる。
【0092】さらに、本発明に係る請求項5記載の疑似
感情表現装置によれば、各性格ごとに異なる合成音声を
出力することが可能となるので、観察者に対して、異な
る複数の性格のそれぞれを比較的明確に伝えることがで
きる。したがって、実際のペットにはない面白味やかわ
いらしさをさらに表現することができるという効果も得
られる。
【0093】さらに、本発明に係る請求項6記載の疑似
感情表現装置によれば、各成長段階ごとに異なる合成音
声を出力することが可能となるので、観察者に対して、
複数の成長段階のそれぞれを比較的明確に伝えることが
できる。したがって、実際のペットにはない面白味やか
わいらしさをさらに表現することができるという効果も
得られる。
【0094】さらに、本発明に係る請求項7記載の疑似
感情表現装置によれば、選択手段の各選択ごとに異なる
合成音声を出力することが可能となるので、実際のペッ
トにはない面白味やかわいらしさをさらに表現すること
ができるという効果も得られる。さらに、本発明に係る
請求項8記載の疑似感情表現装置によれば、観察者に対
して、異なる複数の疑似感情のそれぞれの強度を比較的
明確に伝えることができる。したがって、実際のペット
にはない面白味やかわいらしさをさらに表現することが
できるという効果も得られる。
【0095】一方、本発明に係る請求項9記載の音声合
成方法によれば、請求項1記載の音声合成装置と同等の
効果が得られる。
【図面の簡単な説明】
【図1】ペット型ロボット1の構成を示すブロック図で
ある。
【図2】ユーザ・環境情報認識装置4iの構成を示すブ
ロック図である。
【図3】行動決定装置4kの構成を示すブロック図であ
る。
【図4】音声データ合成処理を示すフローチャートであ
る。
【図5】音声データ合成処理を示すフローチャートであ
る。
【符号の説明】
1 ペット型ロボット 2 外部情報入力部 3 内部情報入力部 4 制御部 4h 記憶情報処理装置 4i ユーザ・環境情報認識装置 4j 疑似感情生成装置 4k 行動決定装置 11 行動セット選択装置 12 行動セットパラメータ設定装置 13 行動再現装置 14 音声データ登録データベース 15 音声データ合成装置 4m 特徴行為記憶処理装置 4n 性格形成装置 4p 成長段階計算装置 5 疑似感情表現部 5a 視覚的感情表現装置 5b 聴覚的感情表現装置 5c 触覚的感情表現装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 13/00 G10L 3/00 Q

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 異なる複数の疑似感情を生成する疑似感
    情生成手段を利用して前記複数の疑似感情を音声により
    表現する疑似感情表現装置に適用される装置であって、 前記各疑似感情ごとに音声データを記憶した音声データ
    記憶手段が与えられたときに、前記疑似感情生成手段よ
    って生成された疑似感情に対応するそれぞれの音声デー
    タを前記音声データ記憶手段から読み出して合成するよ
    うになっていることを特徴とする音声合成装置。
  2. 【請求項2】 異なる複数の疑似感情を生成する疑似感
    情生成手段を利用して前記複数の疑似感情を音声により
    表現する疑似感情表現装置に適用される装置であって、 前記各疑似感情ごとに音声データを記憶するための音声
    データ記憶手段と、前記疑似感情生成手段によって生成
    された疑似感情に対応するそれぞれの音声データを前記
    音声データ記憶手段から読み出して合成する音声データ
    合成手段とを備えることを特徴とする音声合成装置。
  3. 【請求項3】 異なる複数の疑似感情を音声により表現
    する装置であって、 前記各疑似感情ごとに音声データを記憶するための音声
    データ記憶手段と、前記複数の疑似感情を生成する疑似
    感情生成手段と、前記疑似感情生成手段で生成した疑似
    感情に対応するそれぞれの音声データを前記音声データ
    記憶手段から読み出して合成する音声データ合成手段
    と、前記音声データ合成手段で合成した音声データに基
    づいて音声を出力する音声出力手段とを備えることを特
    徴とする疑似感情表現装置。
  4. 【請求項4】 異なる複数の疑似感情を音声により表現
    する装置であって、 前記各疑似感情ごとに音声データを記憶するための音声
    データ記憶手段と、外部から与えられる刺激を認識する
    刺激認識手段と、前記刺激認識手段の認識結果に基づい
    て前記複数の疑似感情を生成する疑似感情生成手段と、
    前記疑似感情生成手段で生成した疑似感情に対応するそ
    れぞれの音声データを前記音声データ記憶手段から読み
    出して合成する音声データ合成手段と、前記音声データ
    合成手段で合成した音声データに基づいて音声を出力す
    る音声出力手段とを備えることを特徴とする疑似感情表
    現装置。
  5. 【請求項5】 請求項3及び4のいずれかにおいて、 さらに、異なる複数の性格のうちいずれかを形成する性
    格形成手段を備え、 前記音声データ記憶手段は、前記各疑似感情ごとに前記
    音声データを対応付けて登録した音声データ対応テーブ
    ルを、前記各性格ごとに記憶可能となっており、 前記音声データ合成手段は、前記性格形成手段で形成し
    た性格に対応する音声データ対応テーブルを参照して、
    前記疑似感情生成手段で生成した疑似感情に対応するそ
    れぞれの音声データを前記音声データ記憶手段から読み
    出して合成するようになっていることを特徴とする疑似
    感情表現装置。
  6. 【請求項6】 請求項3乃至5のいずれかにおいて、 さらに、成長段階を規定する成長段階規定手段を備え、 前記音声データ記憶手段は、前記各疑似感情ごとに前記
    音声データを対応付けて登録した音声データ対応テーブ
    ルを、前記各成長段階ごとに記憶可能となっており、 前記音声データ合成手段は、前記成長段階規定手段で規
    定した成長段階に対応する音声データ対応テーブルを参
    照して、前記疑似感情生成手段で生成した疑似感情に対
    応するそれぞれの音声データを前記音声データ記憶手段
    から読み出して合成するようになっていることを特徴と
    する疑似感情表現装置。
  7. 【請求項7】 請求項3乃至6のいずれかにおいて、 前記音声データ記憶手段は、前記各疑似感情ごとに前記
    音声データを対応付けて登録した音声データ対応テーブ
    ルを複数記憶可能となっており、 前記複数の音声データ対応テーブルのうちいずれかを選
    択するテーブル選択手段を備え、 前記音声データ合成手段は、前記テーブル選択手段で選
    択した音声データ対応テーブルを参照して、前記疑似感
    情生成手段で生成した疑似感情に対応するそれぞれの音
    声データを前記音声データ記憶手段から読み出して合成
    するようになっていることを特徴とする疑似感情表現装
    置。
  8. 【請求項8】 請求項3乃至7のいずれかにおいて、 前記疑似感情生成手段は、前記各疑似感情ごとにその強
    度を生成するようになっており、 前記音声データ合成手段は、前記読み出した各音声デー
    タに対して前記疑似感情生成手段で生成した疑似感情の
    強度に応じた量の音響効果を与え、それら音声データを
    合成するようになっていることを特徴とする疑似感情表
    現装置。
  9. 【請求項9】 異なる複数の疑似感情を生成する疑似感
    情生成手段を利用して前記複数の疑似感情を音声により
    表現する疑似感情表現装置に適用される方法であって、 前記各疑似感情ごとに音声データを記憶した音声データ
    記憶手段が与えられたときに、前記疑似感情生成手段よ
    って生成された疑似感情に対応するそれぞれの音声デー
    タを前記音声データ記憶手段から読み出して合成するこ
    とを特徴とする音声合成方法。
JP2000237853A 2000-08-07 2000-08-07 音声合成装置、疑似感情表現装置及び音声合成方法 Pending JP2002049385A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000237853A JP2002049385A (ja) 2000-08-07 2000-08-07 音声合成装置、疑似感情表現装置及び音声合成方法
US09/922,760 US20020019678A1 (en) 2000-08-07 2001-08-06 Pseudo-emotion sound expression system
EP01119055A EP1182645A1 (en) 2000-08-07 2001-08-07 Quasi-emotion expression device and method for expressing a plurality of quasi-emotions through voices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000237853A JP2002049385A (ja) 2000-08-07 2000-08-07 音声合成装置、疑似感情表現装置及び音声合成方法

Publications (1)

Publication Number Publication Date
JP2002049385A true JP2002049385A (ja) 2002-02-15

Family

ID=18729640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000237853A Pending JP2002049385A (ja) 2000-08-07 2000-08-07 音声合成装置、疑似感情表現装置及び音声合成方法

Country Status (3)

Country Link
US (1) US20020019678A1 (ja)
EP (1) EP1182645A1 (ja)
JP (1) JP2002049385A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268699A (ja) * 2001-03-09 2002-09-20 Sony Corp 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体
WO2002077970A1 (en) * 2001-03-22 2002-10-03 Sony Corporation Speech output apparatus
JP2005169567A (ja) * 2003-12-11 2005-06-30 Sony Corp コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置
JP2005300692A (ja) * 2004-04-07 2005-10-27 Sony Corp ロボットの行動制御システム及び行動制御方法、並びにロボット装置
JP2011115932A (ja) * 2009-12-02 2011-06-16 Phison Electronics Corp エモーションエンジン、エモーションエンジン・システムおよび電子デバイスの制御方法
JP2011115936A (ja) * 2009-11-04 2011-06-16 Advanced Telecommunication Research Institute International 触覚提示付ロボット
JP2016012342A (ja) * 2014-06-05 2016-01-21 ソフトバンク株式会社 行動制御システム及びプログラム
WO2017033529A1 (ja) * 2015-08-26 2017-03-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017063359A (ja) * 2015-09-25 2017-03-30 シャープ株式会社 ネットワークシステム、機器、およびサーバ
WO2018135276A1 (ja) * 2017-01-19 2018-07-26 シャープ株式会社 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法
WO2020045658A1 (ja) * 2018-08-30 2020-03-05 Groove X株式会社 ロボット及び音声生成プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457752B2 (en) * 2001-08-14 2008-11-25 Sony France S.A. Method and apparatus for controlling the operation of an emotion synthesizing device
JP3824920B2 (ja) * 2001-12-07 2006-09-20 ヤマハ発動機株式会社 マイクロホンユニット及び音源方向同定システム
KR100762653B1 (ko) * 2004-03-31 2007-10-01 삼성전자주식회사 캐릭터 육성 시뮬레이션을 제공하는 이동 통신 장치 및 방법
CN112019976A (zh) * 2009-11-24 2020-12-01 诺基亚技术有限公司 用于处理音频信号的设备和方法
US8731932B2 (en) 2010-08-06 2014-05-20 At&T Intellectual Property I, L.P. System and method for synthetic voice generation and modification
FR3004831B1 (fr) 2013-04-19 2022-05-06 La Gorce Baptiste De Controle numerique des effets sonores d'un instrument de musique.
EP3217349A4 (en) 2014-11-07 2018-03-28 Sony Corporation Information processing device, control method, and storage medium
CN109643541A (zh) * 2016-08-09 2019-04-16 索尼公司 信息处理装置和信息处理方法
JP6853878B2 (ja) * 2017-04-12 2021-03-31 川崎重工業株式会社 乗物の疑似感情生成システムおよび会話情報出力方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612401A (ja) * 1992-06-26 1994-01-21 Fuji Xerox Co Ltd 感情模擬装置
US5559927A (en) * 1992-08-19 1996-09-24 Clynes; Manfred Computer system producing emotionally-expressive speech messages
US5860064A (en) * 1993-05-13 1999-01-12 Apple Computer, Inc. Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system
JP3254994B2 (ja) * 1995-03-01 2002-02-12 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US5632189A (en) * 1995-03-14 1997-05-27 New Venture Manufactururing & Service, Inc. Saw shifting apparatus
WO1997041936A1 (en) * 1996-04-05 1997-11-13 Maa Shalong Computer-controlled talking figure toy with animated features
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US5966691A (en) * 1997-04-29 1999-10-12 Matsushita Electric Industrial Co., Ltd. Message assembler using pseudo randomly chosen words in finite state slots
US6185534B1 (en) * 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface
JP2001038053A (ja) * 1999-08-03 2001-02-13 Konami Co Ltd ゲーム展開の制御方法、ゲーム装置及び記録媒体
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
JP4465768B2 (ja) * 1999-12-28 2010-05-19 ソニー株式会社 音声合成装置および方法、並びに記録媒体

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268699A (ja) * 2001-03-09 2002-09-20 Sony Corp 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体
WO2002077970A1 (en) * 2001-03-22 2002-10-03 Sony Corporation Speech output apparatus
US7222076B2 (en) 2001-03-22 2007-05-22 Sony Corporation Speech output apparatus
JP2005169567A (ja) * 2003-12-11 2005-06-30 Sony Corp コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置
JP4556425B2 (ja) * 2003-12-11 2010-10-06 ソニー株式会社 コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置
US8145492B2 (en) 2004-04-07 2012-03-27 Sony Corporation Robot behavior control system and method, and robot apparatus
JP2005300692A (ja) * 2004-04-07 2005-10-27 Sony Corp ロボットの行動制御システム及び行動制御方法、並びにロボット装置
JP4661074B2 (ja) * 2004-04-07 2011-03-30 ソニー株式会社 情報処理システム、情報処理方法、並びにロボット装置
JP2011115936A (ja) * 2009-11-04 2011-06-16 Advanced Telecommunication Research Institute International 触覚提示付ロボット
US8306929B2 (en) 2009-12-02 2012-11-06 Phison Electronics Corp. Emotion engine, emotion engine system and electronic device control method
JP2011115932A (ja) * 2009-12-02 2011-06-16 Phison Electronics Corp エモーションエンジン、エモーションエンジン・システムおよび電子デバイスの制御方法
JP2016012342A (ja) * 2014-06-05 2016-01-21 ソフトバンク株式会社 行動制御システム及びプログラム
WO2017033529A1 (ja) * 2015-08-26 2017-03-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017063359A (ja) * 2015-09-25 2017-03-30 シャープ株式会社 ネットワークシステム、機器、およびサーバ
WO2018135276A1 (ja) * 2017-01-19 2018-07-26 シャープ株式会社 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法
JPWO2018135276A1 (ja) * 2017-01-19 2019-11-07 シャープ株式会社 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法
US11400601B2 (en) 2017-01-19 2022-08-02 Sharp Kabushiki Kaisha Speech and behavior control device, robot, storage medium storing control program, and control method for speech and behavior control device
WO2020045658A1 (ja) * 2018-08-30 2020-03-05 Groove X株式会社 ロボット及び音声生成プログラム
JPWO2020045658A1 (ja) * 2018-08-30 2021-09-24 Groove X株式会社 ロボット及び音声生成プログラム
JP7420385B2 (ja) 2018-08-30 2024-01-23 Groove X株式会社 ロボット及び音声生成プログラム

Also Published As

Publication number Publication date
US20020019678A1 (en) 2002-02-14
EP1182645A1 (en) 2002-02-27

Similar Documents

Publication Publication Date Title
JP2002049385A (ja) 音声合成装置、疑似感情表現装置及び音声合成方法
Breazeal Designing sociable robots
US7251606B2 (en) Robot device with changing dialogue and control method therefor and storage medium
TW581959B (en) Robotic (animal) device and motion control method for robotic (animal) device
EP1256931A1 (en) Method and apparatus for voice synthesis and robot apparatus
JP7400923B2 (ja) 情報処理装置および情報処理方法
WO2016068262A1 (ja) コミュニケーションロボット
US6889117B2 (en) Robot apparatus and method and system for controlling the action of the robot apparatus
US20180370039A1 (en) More endearing robot, method of controlling the same, and non-transitory recording medium
JPH10289006A (ja) 疑似感情を用いた制御対象の制御方法
KR20010101883A (ko) 로봇 장치와 그 제어 방법, 및 로봇 장치의 성격 판별 방법
KR20030074473A (ko) 스피치 합성 방법 및 장치, 프로그램, 기록 매체, 억제정보 생성 방법 및 장치, 및 로봇 장치
KR20010052699A (ko) 로봇 장치, 로봇 장치의 제어방법 및 프로그램 기록 매체
US20220347860A1 (en) Social Interaction Robot
JP2003200370A (ja) オブジェクトの成長制御システム及びオブジェクトの成長制御方法
KR20200065499A (ko) 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇
TWI402784B (zh) Music detection system based on motion detection, its control method, computer program products and computer readable recording media
JP2003345727A (ja) 感情伝達装置
JP2002307349A (ja) ロボット装置、情報学習方法、プログラム及び記録媒体
JP7156300B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2001105363A (ja) ロボットにおける自律的行動表現システム
WO2023037608A1 (ja) 自律移動体、情報処理方法、及び、プログラム
JP2001051970A (ja) ユーザ認識度成長システム
WO2023037609A1 (ja) 自律移動体、情報処理方法、及び、プログラム
JPWO2020116356A1 (ja) ロボット、音声合成プログラム、及び音声出力方法