JP2002268699A - 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 - Google Patents

音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体

Info

Publication number
JP2002268699A
JP2002268699A JP2001066376A JP2001066376A JP2002268699A JP 2002268699 A JP2002268699 A JP 2002268699A JP 2001066376 A JP2001066376 A JP 2001066376A JP 2001066376 A JP2001066376 A JP 2001066376A JP 2002268699 A JP2002268699 A JP 2002268699A
Authority
JP
Japan
Prior art keywords
information
sound
sound quality
unit
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001066376A
Other languages
English (en)
Other versions
JP2002268699A5 (ja
Inventor
Nobuhide Yamazaki
信英 山崎
Kenichiro Kobayashi
賢一郎 小林
Koji Asano
康治 浅野
Shinichi Kariya
真一 狩谷
Yaeko Fujita
八重子 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001066376A priority Critical patent/JP2002268699A/ja
Priority to PCT/JP2002/002176 priority patent/WO2002073594A1/ja
Priority to CN02801122A priority patent/CN1461463A/zh
Priority to EP02702830A priority patent/EP1367563A4/en
Priority to KR1020027014932A priority patent/KR20020094021A/ko
Priority to US10/275,325 priority patent/US20030163320A1/en
Publication of JP2002268699A publication Critical patent/JP2002268699A/ja
Publication of JP2002268699A5 publication Critical patent/JP2002268699A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation

Abstract

(57)【要約】 【課題】 感情の状態に応じて音質を変えた合成音を生
成することにより、感情豊かな合成音を得る。 【解決手段】 パラメータ生成部４３は、ペットロボッ
トの感情の状態を表す状態情報に基づいて、変換パラメ
ータと合成制御パラメータを生成する。データ変換部４
４は、音声情報としての音素片データの周波数特性を変
換する。波形生成部４２は、テキスト解析結果に含まれ
る音韻情報に基づいて、必要な音素片データを得て、そ
の音素片データを、韻律情報と合成制御パラメータに基
づいて加工しながら接続し、対応する韻律と音質の合成
音データを生成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、音声合成装置およ
び音声合成方法、並びにプログラムおよび記録媒体に関
し、特に、例えば、感情豊かな合成音を生成することが
できるようにする音声合成装置および音声合成方法、並
びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】従来の音声合成装置においては、テキス
トや発音記号を与えることによって、対応する合成音が
生成される。
【０００３】
【発明が解決しようとする課題】ところで、最近、例え
ば、ペット型のペットロボット等として、音声合成装置
を搭載し、ユーザに話しかけるものが提案されている。
【０００４】さらに、ペットロボットとしては、感情の
状態を表す感情モデルを取り入れ、その感情モデルが表
す感情の状態に応じて、ユーザの命令に従ったり、従わ
なかったりするものも提案されている。
【０００５】従って、感情モデルに応じて、例えば、合
成音の音質を変化させることができれば、感情に応じた
音質の合成音が出力され、ペットロボットのエンタテイ
メント性を向上させることができると考えられる。
【０００６】本発明は、このような状況に鑑みてなされ
たものであり、感情の状態に応じて音質を変えた合成音
を生成することにより、感情豊かな合成音を得ることが
できるようにするものである。
【０００７】
【課題を解決するための手段】本発明の音声合成装置
は、所定の情報のうち、合成音の音質に影響する音質影
響情報を、外部から供給される、感情の状態を表す状態
情報に基づいて生成する音質影響情報生成手段と、音質
影響情報を用いて、音質を制御した合成音を生成する音
声合成手段とを備えることを特徴とする。
【０００８】本発明の音声合成方法は、所定の情報のう
ち、合成音の音質に影響する音質影響情報を、外部から
供給される、感情の状態を表す状態情報に基づいて生成
する音質影響情報生成ステップと、音質影響情報を用い
て、音質を制御した合成音を生成する音声合成ステップ
とを備えることを特徴とする。
【０００９】本発明のプログラムは、所定の情報のう
ち、合成音の音質に影響する音質影響情報を、外部から
供給される、感情の状態を表す状態情報に基づいて生成
する音質影響情報生成ステップと、音質影響情報を用い
て、音質を制御した合成音を生成する音声合成ステップ
とを備えることを特徴とする。
【００１０】本発明の記録媒体は、所定の情報のうち、
合成音の音質に影響する音質影響情報を、外部から供給
される、感情の状態を表す状態情報に基づいて生成する
音質影響情報生成ステップと、音質影響情報を用いて、
音質を制御した合成音を生成する音声合成ステップとを
備えるプログラムが記録されていることを特徴とする。
【００１１】本発明の音声合成装置および音声合成方
法、並びにプログラムにおいては、所定の情報のうち、
合成音の音質に影響する音質影響情報が、外部から供給
される、感情の状態を表す状態情報に基づいて生成さ
れ、その音質影響情報を用いて、音質を制御した合成音
が生成される。
【００１２】
【発明の実施の形態】図１は、本発明を適用したロボッ
トの一実施の形態の外観構成例を示しており、図２は、
その電気的構成例を示している。
【００１３】本実施の形態では、ロボットは、例えば、
犬等の四つ足の動物の形状のものとなっており、胴体部
ユニット２の前後左右に、それぞれ脚部ユニット３Ａ，
３Ｂ，３Ｃ，３Ｄが連結されるとともに、胴体部ユニッ
ト２の前端部と後端部に、それぞれ頭部ユニット４と尻
尾部ユニット５が連結されることにより構成されてい
る。
【００１４】尻尾部ユニット５は、胴体部ユニット２の
上面に設けられたベース部５Ｂから、２自由度をもって
湾曲または揺動自在に引き出されている。
【００１５】胴体部ユニット２には、ロボット全体の制
御を行うコントローラ１０、ロボットの動力源となるバ
ッテリ１１、並びにバッテリセンサ１２および熱センサ
１３からなる内部センサ部１４などが収納されている。
【００１６】頭部ユニット４には、「耳」に相当するマ
イク（マイクロフォン）１５、「目」に相当するＣＣＤ
(Charge Coupled Device)カメラ１６、触覚に相当する
タッチセンサ１７、「口」に相当するスピーカ１８など
が、それぞれ所定位置に配設されている。また、頭部ユ
ニット４には、口の下顎に相当する下顎部４Ａが１自由
度をもって可動に取り付けられており、この下顎部４Ａ
が動くことにより、ロボットの口の開閉動作が実現され
るようになっている。
【００１７】脚部ユニット３Ａ乃至３Ｄそれぞれの関節
部分や、脚部ユニット３Ａ乃至３Ｄそれぞれと胴体部ユ
ニット２の連結部分、頭部ユニット４と胴体部ユニット
２の連結部分、頭部ユニット４と下顎部４Ａの連結部
分、並びに尻尾部ユニット５と胴体部ユニット２の連結
部分などには、図２に示すように、それぞれアクチュエ
ータ３ＡＡ1乃至３ＡＡK、３ＢＡ1乃至３ＢＡK、３ＣＡ
1乃至３ＣＡK、３ＤＡ1乃至３ＤＡK、４Ａ1乃至４ＡL、
５Ａ1および５Ａ2が配設されている。
【００１８】頭部ユニット４におけるマイク１５は、ユ
ーザからの発話を含む周囲の音声（音）を集音し、得ら
れた音声信号を、コントローラ１０に送出する。ＣＣＤ
カメラ１６は、周囲の状況を撮像し、得られた画像信号
を、コントローラ１０に送出する。
【００１９】タッチセンサ１７は、例えば、頭部ユニッ
ト４の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ１０に送出する。
【００２０】胴体部ユニット２におけるバッテリセンサ
１２は、バッテリ１１の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ１０に送
出する。熱センサ１３は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ１０に
送出する。
【００２１】コントローラ１０は、ＣＰＵ(Central Pro
cessing Unit)１０Ａやメモリ１０Ｂ等を内蔵してお
り、ＣＰＵ１０Ａにおいて、メモリ１０Ｂに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。
【００２２】即ち、コントローラ１０は、マイク１５
や、ＣＣＤカメラ１６、タッチセンサ１７、バッテリセ
ンサ１２、熱センサ１３から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。
【００２３】さらに、コントローラ１０は、この判断結
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ３ＡＡ1乃至３ＡＡK、３ＢＡ1
乃至３ＢＡK、３ＣＡ1乃至３ＣＡK、３ＤＡ1乃至３ＤＡ
K、４Ａ1乃至４ＡL、５Ａ1、５Ａ2のうちの必要なもの
を駆動させる。これにより、頭部ユニット４を上下左右
に振らせたり、下顎部４Ａを開閉させる。さらには、尻
尾部ユニット５を動かせたり、各脚部ユニット３Ａ乃至
３Ｄを駆動して、ロボットを歩行させるなどの行動を行
わせる。
【００２４】また、コントローラ１０は、必要に応じ
て、合成音を生成し、スピーカ１８に供給して出力させ
たり、ロボットの「目」の位置に設けられた図示しない
ＬＥＤ（Light Emitting Diode）を点灯、消灯または点
滅させる。
【００２５】以上のようにして、ロボットは、周囲の状
況等に基づいて自律的に行動をとるようになっている。
【００２６】次に、図３は、図２のコントローラ１０の
機能的構成例を示している。なお、図３に示す機能的構
成は、ＣＰＵ１０Ａが、メモリ１０Ｂに記憶された制御
プログラムを実行することで実現されるようになってい
る。
【００２７】コントローラ１０は、特定の外部状態を認
識するセンサ入力処理部５０、センサ入力処理部５０の
認識結果を累積して、感情や、本能、成長の状態を表現
するモデル記憶部５１、センサ入力処理部５０の認識結
果等に基づいて、続く行動を決定する行動決定機構部５
２、行動決定機構部５２の決定結果に基づいて、実際に
ロボットに行動を起こさせる姿勢遷移機構部５３、各ア
クチュエータ３ＡＡ1乃至５Ａ1および５Ａ2を駆動制御
する制御機構部５４、並びに合成音を生成する音声合成
部５５から構成されている。
【００２８】センサ入力処理部５０は、マイク１５や、
ＣＣＤカメラ１６、タッチセンサ１７等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、モデル記憶部５１および行動決定機構部５２に通知
する。
【００２９】即ち、センサ入力処理部５０は、音声認識
部５０Ａを有しており、音声認識部５０Ａは、マイク１
５から与えられる音声信号について音声認識を行う。そ
して、音声認識部５０Ａは、その音声認識結果として
の、例えば、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、状態認識情報として、モデル記
憶部５１および行動決定機構部５２に通知する。
【００３０】また、センサ入力処理部５０は、画像認識
部５０Ｂを有しており、画像認識部５０Ｂは、ＣＣＤカ
メラ１６から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部５０Ｂは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、モデル記憶部５１および行動
決定機構部５２に通知する。
【００３１】さらに、センサ入力処理部５０は、圧力処
理部５０Ｃを有しており、圧力処理部５０Ｃは、タッチ
センサ１７から与えられる圧力検出信号を処理する。そ
して、圧力処理部５０Ｃは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた（しかられた）」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た（ほめられた）」と認識して、その認識結果を、状態
認識情報として、モデル記憶部５１および行動決定機構
部５２に通知する。
【００３２】モデル記憶部５１は、ロボットの感情、本
能、成長の状態を表現する感情モデル、本能モデル、成
長モデルをそれぞれ記憶、管理している。
【００３３】ここで、感情モデルは、例えば、「うれし
さ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状
態（度合い）を、所定の範囲（例えば、−１．０乃至
１．０等）の値によってそれぞれ表し、センサ入力処理
部５０からの状態認識情報や時間経過等に基づいて、そ
の値を変化させる。本能モデルは、例えば、「食欲」、
「睡眠欲」、「運動欲」等の本能による欲求の状態（度
合い）を、所定の範囲の値によってそれぞれ表し、セン
サ入力処理部５０からの状態認識情報や時間経過等に基
づいて、その値を変化させる。成長モデルは、例えば、
「幼年期」、「青年期」、「熟年期」、「老年期」等の
成長の状態（度合い）を、所定の範囲の値によってそれ
ぞれ表し、センサ入力処理部５０からの状態認識情報や
時間経過等に基づいて、その値を変化させる。
【００３４】モデル記憶部５１は、上述のようにして感
情モデル、本能モデル、成長モデルの値で表される感
情、本能、成長の状態を、状態情報として、行動決定機
構部５２に送出する。
【００３５】なお、モデル記憶部５１には、センサ入力
処理部５０から状態認識情報が供給される他、行動決定
機構部５２から、ロボットの現在または過去の行動、具
体的には、例えば、「長時間歩いた」などの行動の内容
を示す行動情報が供給されるようになっており、モデル
記憶部５１は、同一の状態認識情報が与えられても、行
動情報が示すロボットの行動に応じて、異なる状態情報
を生成するようになっている。
【００３６】即ち、例えば、ロボットが、ユーザに挨拶
をし、ユーザに頭を撫でられた場合には、ユーザに挨拶
をしたという行動情報と、頭を撫でられたという状態認
識情報とが、モデル記憶部５１に与えられ、この場合、
モデル記憶部５１では、「うれしさ」を表す感情モデル
の値が増加される。
【００３７】一方、ロボットが、何らかの仕事を実行中
に頭を撫でられた場合には、仕事を実行中であるという
行動情報と、頭を撫でられたという状態認識情報とが、
モデル記憶部５１に与えられ、この場合、モデル記憶部
５１では、「うれしさ」を表す感情モデルの値は変化さ
れない。
【００３８】このように、モデル記憶部５１は、状態認
識情報だけでなく、現在または過去のロボットの行動を
示す行動情報も参照しながら、感情モデルの値を設定す
る。これにより、例えば、何らかのタスクを実行中に、
ユーザが、いたずらするつもりで頭を撫でたときに、
「うれしさ」を表す感情モデルの値を増加させるよう
な、不自然な感情の変化が生じることを回避することが
できる。
【００３９】なお、モデル記憶部５１は、本能モデルお
よび成長モデルについても、感情モデルにおける場合と
同様に、状態認識情報および行動情報の両方に基づい
て、その値を増減させるようになっている。また、モデ
ル記憶部５１は、感情モデル、本能モデル、成長モデル
それぞれの値を、他のモデルの値にも基づいて増減させ
るようになっている。
【００４０】行動決定機構部５２は、センサ入力処理部
５０からの状態認識情報や、モデル記憶部５１からの状
態情報、時間経過等に基づいて、次の行動を決定し、決
定された行動の内容を、行動指令情報として、姿勢遷移
機構部５３に送出する。
【００４１】即ち、行動決定機構部５２は、ロボットが
とり得る行動をステート（状態）(state)に対応させた
有限オートマトンを、ロボットの行動を規定する行動モ
デルとして管理しており、この行動モデルとしての有限
オートマトンにおけるステートを、センサ入力処理部５
０からの状態認識情報や、モデル記憶部５１における感
情モデル、本能モデル、または成長モデルの値、時間経
過等に基づいて遷移させ、遷移後のステートに対応する
行動を、次にとるべき行動として決定する。
【００４２】ここで、行動決定機構部５２は、所定のト
リガ(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部５２は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、モデル記憶部５１から供給される状態情報が示す感
情や、本能、成長の状態の値が所定の閾値以下または以
上になったとき等に、ステートを遷移させる。
【００４３】なお、行動決定機構部５２は、上述したよ
うに、センサ入力処理部５０からの状態認識情報だけで
なく、モデル記憶部５１における感情モデルや、本能モ
デル、成長モデルの値等にも基づいて、行動モデルにお
けるステートを遷移させることから、同一の状態認識情
報が入力されても、感情モデルや、本能モデル、成長モ
デルの値（状態情報）によっては、ステートの遷移先は
異なるものとなる。
【００４４】その結果、行動決定機構部５２は、例え
ば、状態情報が、「怒っていない」こと、および「お腹
がすいていない」ことを表している場合において、状態
認識情報が、「目の前に手のひらが差し出された」こと
を表しているときには、目の前に手のひらが差し出され
たことに応じて、「お手」という行動をとらせる行動指
令情報を生成し、これを、姿勢遷移機構部５３に送出す
る。
【００４５】また、行動決定機構部５２は、例えば、状
態情報が、「怒っていない」こと、および「お腹がすい
ている」ことを表している場合において、状態認識情報
が、「目の前に手のひらが差し出された」ことを表して
いるときには、目の前に手のひらが差し出されたことに
応じて、「手のひらをぺろぺろなめる」ような行動を行
わせるための行動指令情報を生成し、これを、姿勢遷移
機構部５３に送出する。
【００４６】また、行動決定機構部５２は、例えば、状
態情報が、「怒っている」ことを表している場合におい
て、状態認識情報が、「目の前に手のひらが差し出され
た」ことを表しているときには、状態情報が、「お腹が
すいている」ことを表していても、また、「お腹がすい
ていない」ことを表していても、「ぷいと横を向く」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部５３に送出する。
【００４７】なお、行動決定機構部５２には、モデル記
憶部５１から供給される状態情報が示す感情や、本能、
成長の状態に基づいて、遷移先のステートに対応する行
動のパラメータとしての、例えば、歩行の速度や、手足
を動かす際の動きの大きさおよび速度などを決定させる
ことができ、この場合、それらのパラメータを含む行動
指令情報が、姿勢遷移機構部５３に送出される。
【００４８】また、行動決定機構部５２では、上述した
ように、ロボットの頭部や手足等を動作させる行動指令
情報の他、ロボットに発話を行わせる行動指令情報も生
成される。ロボットに発話を行わせる行動指令情報は、
音声合成部５５に供給されるようになっている。この、
音声合成部５５に供給される行動指令情報には、音声合
成部５５に生成させる合成音に対応するテキスト等が含
まれる。そして、音声合成部５５は、行動決定部５２か
ら行動指令情報を受信すると、その行動指令情報に含ま
れるテキストに基づき、合成音を生成し、スピーカ１８
に供給して出力させる。これにより、スピーカ１８から
は、例えば、ロボットの鳴き声、さらには、「お腹がす
いた」等のユーザへの各種の要求、「何？」等のユーザ
の呼びかけに対する応答その他の音声出力が行われる。
ここで、音声合成部５５には、モデル記憶部５１から状
態情報も供給されるようになっており、音声合成部５５
は、この状態情報が示す感情の状態に基づいて音質を制
御した合成音を生成することが可能となっている。な
お、音声合成部５５では、感情の他、本能や成長の状態
に基づいて音質を制御した合成音を生成することも可能
である。
【００４９】姿勢遷移機構部５３は、行動決定機構部５
２から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部５４に送出す
る。
【００５０】ここで、現在の姿勢から次に遷移可能な姿
勢は、例えば、胴体や手や足の形状、重さ、各部の結合
状態のようなロボットの物理的形状と、関節が曲がる方
向や角度のようなアクチュエータ３ＡＡ1乃至５Ａ1およ
び５Ａ2の機構とによって決定される。
【００５１】また、次の姿勢としては、現在の姿勢から
直接遷移可能な姿勢と、直接には遷移できない姿勢とが
ある。例えば、４本足のロボットは、手足を大きく投げ
出して寝転んでいる状態から、伏せた状態へ直接遷移す
ることはできるが、立った状態へ直接遷移することはで
きず、一旦、手足を胴体近くに引き寄せて伏せた姿勢に
なり、それから立ち上がるという２段階の動作が必要で
ある。また、安全に実行できない姿勢も存在する。例え
ば、４本足のロボットは、その４本足で立っている姿勢
から、両前足を挙げてバンザイをしようとすると、簡単
に転倒してしまう。
【００５２】このため、姿勢遷移機構部５３は、直接遷
移可能な姿勢をあらかじめ登録しておき、行動決定機構
部５２から供給される行動指令情報が、直接遷移可能な
姿勢を示す場合には、その行動指令情報を、そのまま姿
勢遷移情報として、制御機構部５４に送出する。一方、
行動指令情報が、直接遷移不可能な姿勢を示す場合に
は、姿勢遷移機構部５３は、遷移可能な他の姿勢に一旦
遷移した後に、目的の姿勢まで遷移させるような姿勢遷
移情報を生成し、制御機構部５４に送出する。これによ
りロボットが、遷移不可能な姿勢を無理に実行しようと
する事態や、転倒するような事態を回避することができ
るようになっている。
【００５３】制御機構部５４は、姿勢遷移機構部５３か
らの姿勢遷移情報にしたがって、アクチュエータ３ＡＡ
1乃至５Ａ1および５Ａ2を駆動するための制御信号を生
成し、これを、アクチュエータ３ＡＡ1乃至５Ａ1および
５Ａ2に送出する。これにより、アクチュエータ３ＡＡ1
乃至５Ａ1および５Ａ2は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。
【００５４】次に、図４は、図３の音声認識部５０Ａの
構成例を示している。
【００５５】マイク１５からの音声信号は、ＡＤ(Analo
g Digital)変換部２１に供給される。ＡＤ変換部２１で
は、マイク１５からのアナログ信号である音声信号がサ
ンプリング、量子化され、ディジタル信号である音声デ
ータにＡ／Ｄ変換される。この音声データは、特徴抽出
部２２および音声区間検出部２７に供給される。
【００５６】特徴抽出部２２は、そこに入力される音声
データについて、適当なフレームごとに、例えば、ＭＦ
ＣＣ(Mel Frequency Cepstrum Coefficient)分析を行
い、その分析の結果得られるＭＦＣＣを、特徴パラメー
タ（特徴ベクトル）として、マッチング部２３に出力す
る。なお、特徴抽出部２２では、その他、例えば、線形
予測係数、ケプストラム係数、線スペクトル対、所定の
周波数帯域ごとのパワー（フィルタバンクの出力）等
を、特徴パラメータとして抽出することが可能である。
【００５７】マッチング部２３は、特徴抽出部２２から
の特徴パラメータを用いて、音響モデル記憶部２４、辞
書記憶部２５、および文法記憶部２６を必要に応じて参
照しながら、マイク１５に入力された音声（入力音声）
を、例えば、連続分布ＨＭＭ(Hidden Markov Model)法
に基づいて音声認識する。
【００５８】即ち、音響モデル記憶部２４は、音声認識
する音声の言語における個々の音素や音節などの音響的
な特徴を表す音響モデルを記憶している。ここでは、連
続分布ＨＭＭ法に基づいて音声認識を行うので、音響モ
デルとしては、ＨＭＭ(Hidden Markov Model)が用いら
れる。辞書記憶部２５は、認識対象の各単語について、
その発音に関する情報（音韻情報）が記述された単語辞
書を記憶している。文法記憶部２６は、辞書記憶部２５
の単語辞書に登録されている各単語が、どのように連鎖
する（つながる）かを記述した文法規則を記憶してい
る。ここで、文法規則としては、例えば、文脈自由文法
（ＣＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）
などに基づく規則を用いることができる。
【００５９】マッチング部２３は、辞書記憶部２５の単
語辞書を参照することにより、音響モデル記憶部２４に
記憶されている音響モデルを接続することで、単語の音
響モデル（単語モデル）を構成する。さらに、マッチン
グ部２３は、幾つかの単語モデルを、文法記憶部２６に
記憶された文法規則を参照することにより接続し、その
ようにして接続された単語モデルを用いて、特徴パラメ
ータに基づき、連続分布ＨＭＭ法によって、マイク１５
に入力された音声を認識する。即ち、マッチング部２３
は、特徴抽出部２２が出力する時系列の特徴パラメータ
が観測されるスコア（尤度）が最も高い単語モデルの系
列を検出し、その単語モデルの系列に対応する単語列の
音韻情報（読み）を、音声の認識結果として出力する。
【００６０】より具体的には、マッチング部２３は、接
続された単語モデルに対応する単語列について、各特徴
パラメータの出現（出力）確率を累積し、その累積値を
スコアとして、そのスコアを最も高くする単語列の音韻
情報を、音声認識結果として出力する。
【００６１】以上のようにして出力される、マイク１５
に入力された音声の認識結果は、状態認識情報として、
モデル記憶部５１および行動決定機構部５２に出力され
る。
【００６２】なお、音声区間検出部２７は、ＡＤ変換部
２１からの音声データについて、例えば、特徴抽出部２
２がＭＦＣＣ分析を行うのと同様のフレームごとに、パ
ワーを算出している。さらに、音声区間検出部２７は、
各フレームのパワーを、所定の閾値と比較し、その閾値
以上のパワーを有するフレームで構成される区間を、ユ
ーザの音声が入力されている音声区間として検出する。
そして、音声区間検出部２７は、検出した音声区間を、
特徴抽出部２２とマッチング部２３に供給しており、特
徴抽出部２２とマッチング部２３は、音声区間のみを対
象に処理を行う。
【００６３】次に、図５は、図３の音声合成部５５の構
成例を示している。
【００６４】テキスト解析部３１には、行動決定機構部
５２が出力する、音声合成の対象とするテキストを含む
行動指令情報が供給されるようになっており、テキスト
解析部３１は、辞書記憶部３４や生成用文法記憶部３５
を参照しながら、その行動指令情報に含まれるテキスト
を解析する。
【００６５】即ち、辞書記憶部３４には、各単語の品詞
情報や、読み、アクセント等の情報が記述された単語辞
書が記憶されており、また、生成用文法記憶部３５に
は、辞書記憶部３４の単語辞書に記述された単語につい
て、単語連鎖に関する制約等の生成用文法規則が記憶さ
れている。そして、テキスト解析部３１は、この単語辞
書および生成用文法規則に基づいて、そこに入力される
テキストの形態素解析や構文解析等のテキスト解析（言
語解析）を行い、後段の規則合成部３２で行われる規則
音声合成に必要な情報を抽出する。ここで、規則音声合
成に必要な情報としては、例えば、ポーズの位置や、ア
クセント、イントネーション、パワー等を制御するため
の韻律情報、各単語の発音を表す音韻情報などがある。
【００６６】テキスト解析部３１で得られた情報は、規
則合成部３２に供給され、規則合成部３２は、音声情報
記憶部３６を参照しながら、テキスト解析部３１に入力
されたテキストに対応する合成音の音声データ（ディジ
タルデータ）を生成する。
【００６７】即ち、音声情報記憶部３６には、例えば、
ＣＶ(Consonant, Vowel)や、ＶＣＶ、ＣＶＣ、１ピッチ
等の波形データの形で音素片データが、音声情報として
記憶されており、規則合成部３２は、テキスト解析部３
１からの情報に基づいて、必要な音素片データを接続
し、さらに、音素片データの波形を加工することによっ
て、ポーズ、アクセント、イントネーション等を適切に
付加し、これにより、テキスト解析部３１に入力された
テキストに対応する合成音の音声データ（合成音デー
タ）を生成する。あるいは、また、音声情報記憶部３６
には、例えば、線形予測係数（LPC(Liner Prediction C
oefficients)）や、ケプストラム(cepstrum)係数等とい
った波形データを音響分析することにより得られる音声
の特徴パラメータが、音声情報として記憶されており、
規則合成部３２は、テキスト解析部３１からの情報に基
づいて、必要な特徴パラメータを、音声合成用の合成フ
ィルタのタップ係数として用い、さらに、その合成フィ
ルタに与える駆動信号を出力する音源等を制御すること
によって、ポーズ、アクセント、イントネーション等を
適切に付加し、これにより、テキスト解析部３１に入力
されたテキストに対応する合成音の音声データ（合成音
データ）を生成する。
【００６８】さらに、規則合成部３２には、モデル記憶
部５１から状態情報が供給されるようになっており、規
則合成部３２は、その状態情報のうちの、例えば、感情
モデルの値に基づいて、音声情報記憶部３６に記憶され
た音声情報から、その音質を制御したものを生成し、あ
るいは、規則音声合成を制御する各種の合成制御パラメ
ータを生成することによって、音質を制御した合成音デ
ータを生成する。
【００６９】以上のようにして生成された合成音データ
は、スピーカ１８に供給され、これにより、スピーカ１
８からは、テキスト解析部３１に入力されたテキストに
対応する合成音が、感情に応じて音質を制御して出力さ
れる。
【００７０】なお、図３の行動決定機構部５２では、上
述したように、行動モデルに基づいて、次の行動が決定
されるが、合成音として出力するテキストの内容は、ロ
ボットの行動と対応付けておくことが可能である。
【００７１】即ち、例えば、ロボットが、座った状態か
ら、立った状態になる行動には、テキスト「よっこいし
ょ」などを対応付けておくことが可能である。この場
合、ロボットが、座っている姿勢から、立つ姿勢に移行
するときに、その姿勢の移行に同期して、合成音「よっ
こいしょ」を出力することが可能となる。
【００７２】次に、図６は、図５の規則合成部３２の構
成例を示している。
【００７３】韻律生成部４１には、テキスト解析部３１
（図５）によるテキスト解析結果が供給され、韻律生成
部４１は、そのテキスト解析結果に基づいて、合成音の
韻律を制御する韻律情報を生成する。韻律生成部４１で
生成された韻律情報は、波形生成部４２に供給される。
ここで、韻律制御部４１では、合成音を構成する各音韻
の継続時間長、合成音のピッチ周期の時間変化パターン
を表す周期パターン信号、合成音のパワーの時間変化パ
ターンを表すパワーパターン信号等が、韻律情報として
生成される。
【００７４】波形生成部４２には、上述したように、韻
律情報が供給される他、テキスト解析部３１（図５）に
よるテキスト解析結果が供給される。さらに、波形生成
部４２には、パラメータ生成部４３から合成制御パラメ
ータが供給される。波形生成部４２は、テキスト解析結
果に含まれる音韻情報にしたがって、必要な変換音声情
報を、変換音声情報記憶部４５から読み出し、その変換
音声情報を用いて規則音声合成を行うことにより、合成
音を生成する。さらに、波形生成部４２は、規則音声合
成を行う際、韻律生成部４１からの韻律情報と、パラメ
ータ生成部４３からの合成制御パラメータに基づいて、
合成音データの波形を調整することにより、合成音の韻
律と音質を制御する。そして、波形生成部４２は、最終
的に得られた合成音データを出力する。
【００７５】パラメータ生成部４３には、モデル記憶部
５１（図３）から状態情報が供給されるようになってい
る。パラメータ生成部４３は、その状態情報のうちの感
情モデルに基づいて、波形生成部４２における規則音声
合成を制御するための合成制御パラメータや、音声情報
記憶部３６（図５）に記憶された音声情報を変換する変
換パラメータを生成する。
【００７６】即ち、パラメータ生成部４３は、例えば、
感情モデルとしての「うれしさ」、「悲しさ」、「怒
り」、「楽しさ」、「興奮」、「眠い」、「心地よ
い」、「不快」等の感情の状態を表す値（以下、適宜、
感情モデル値という）に、合成制御パラメータと変換パ
ラメータを対応付けた変換テーブルを記憶しており、そ
の変換テーブルにおいて、モデル記憶部５１からの状態
情報における感情モデルの値に対応付けられている合成
制御パラメータと変換パラメータを出力する。
【００７７】なお、パラメータ生成部４３が記憶してい
る変換テーブルは、ペットロボットの感情の状態を表す
音質の合成音が得られるように、感情モデル値と、合成
制御パラメータおよび変換パラメータとを対応付けて構
成されている。感情モデル値と、合成制御パラメータお
よび変換パラメータとを、どのように対応付けるかは、
例えば、シミュレーションを行うことによって決定する
ことができる。
【００７８】さらに、ここでは、変換テーブルを用い
て、感情モデル値から、合成制御パラメータおよび変換
パラメータを得るようにしたが、その他、合成制御パラ
メータおよび変換パラメータは、例えば、次のようにし
て得ることも可能である。
【００７９】即ち、例えば、ある感情＃ｎの感情モデル
値をＰnと、ある合成制御パラメータまたは変換パラメ
ータをＱiと、所定の関数をｆi,n（）と、それぞれ表す
とき、合成制御パラメータまたは変換パラメータＱ
iは、式Ｑi＝Σｆi,n（Ｐn）を計算することによって求
めることが可能である。但し、Σは、変数ｎについての
サメーションを表す。
【００８０】また、上述の場合には、「うれしさ」、
「悲しさ」、「怒り」、「楽しさ」等のすべての感情モ
デル値を考慮した変換テーブルを用いるようにしたが、
その他、例えば、次のような簡略化した変換テーブルを
用いることも可能である。
【００８１】即ち、感情の状態を、例えば、「定常」、
「悲しさ」、「怒り」、「楽しさ」等のいずれかのみに
分類し、各感情に、ユニークな番号としての感情番号を
付しておく。即ち、例えば、「定常」、「悲しさ」、
「怒り」、「楽しさ」に、それぞれ０，１，２，３等の
感情番号を、それぞれ付しておく。そして、このような
感情番号と、合成制御パラメータおよび変換パラメータ
とを対応付けた変換テーブルを作成する。なお、このよ
うな変換テーブルを用いる場合には、感情モデル値か
ら、感情の状態を、「うれしさ」、「悲しさ」、「怒
り」、「楽しさ」のいずれかに分類する必要があるが、
これは、次のようにして行うことが可能である。即ち、
例えば、複数の感情モデル値のうち、最も大きい感情モ
デル値と、２番目に大きい感情モデル値との差が、所定
の閾値以上の場合は、最も大きい感情モデル値に対応す
る感情の状態に分類し、そうでない場合は、「定常」の
状態に分類すればよい。
【００８２】ここで、パラメータ生成部４３において生
成される合成制御パラメータには、例えば、有声音や無
声摩擦音、破裂音等の各音の音量バランスを調整するパ
ラメータ、波形生成部４２における音源としての、後述
する駆動信号生成部６０（図８）の出力信号の振幅ゆら
ぎの大きさを制御するパラメータ、音源の周波数を制御
するパラメータ等の合成音の音質に影響するパラメータ
が含まれる。
【００８３】また、パラメータ生成部４３において生成
される変換パラメータは、合成音を構成する波形データ
の特性を変更するように、音声情報記憶部３６（図５）
の音声情報を変換するためのものである。
【００８４】パラメータ生成部４３が生成する合成制御
パラメータは、波形生成部４２に供給され、変換パラメ
ータは、データ変換部４４に供給されるようになってい
る。データ変換部４４は、音声情報記憶部３６から音声
情報を読み出し、変換パラメータにしたがって、音声情
報を変換する。データ変換部４４は、これにより、合成
音を構成する波形データの特性を変更させる音声情報と
しての変換音声情報を得て、変換音声情報記憶部４５に
供給する。変換音声情報記憶部４５は、データ変換部４
４から供給される変換音声情報を記憶する。この変換音
声情報は、波形生成部４２によって、必要に応じて読み
出される。
【００８５】次に、図７のフローチャートを参照して、
図６の規則合成部３２の処理について説明する。
【００８６】図５のテキスト解析部３１が出力するテキ
スト解析結果は、韻律生成部４１と波形生成部４２に供
給される。また、図５のモデル記憶部５１が出力する状
態情報は、パラメータ生成部４３に供給される。
【００８７】韻律生成部４１は、テキスト解析結果を受
信すると、ステップＳ１において、テキスト解析結果に
含まれる音韻情報が表す各音韻の継続時間長、周期パタ
ーン信号、パワーパターン信号等の韻律情報を生成し、
波形生成部４２に供給して、ステップＳ２に進む。
【００８８】その後、ステップＳ２では、パラメータ生
成部４３は、感情反映モードかどうかを判定する。即
ち、本実施の形態では、感情を反映した音質の合成音を
出力する感情反映モードと、感情を反映しない音質の合
成音を出力する非感情反映モードのうちのいずれかを設
定することができるようになっており、ステップＳ２で
は、ロボットのモードが感情反映モードとなっているか
どうかが判定される。
【００８９】ここで、ロボットには、感情反映モードと
非感情反映モードを設けずに、常に、感情を反映した合
成音を出力させるようにすることも可能である。
【００９０】ステップＳ２において、感情反映モードで
ないと判定された場合、ステップＳ３およびＳ４をスキ
ップして、ステップＳ５に進み、波形生成部４２は、合
成音を生成し、処理を終了する。
【００９１】即ち、感情反映モードでない場合、パラメ
ータ生成部４３は、特に処理を行わず、従って、合成制
御パラメータおよび変換パラメータを生成しない。
【００９２】その結果、波形生成部４２は、音声情報記
憶部３６（図５）に記憶された音声情報を、データ変換
部４４および変換音声情報記憶部４５を介して読み出
し、その音声情報と、デフォルトの合成制御パラメータ
を用い、韻律生成部４１からの韻律情報に対応して韻律
を制御しながら音声合成処理を行う。従って、波形生成
部４２では、デフォルトの音質を有する合成音データが
生成される。
【００９３】一方、ステップＳ２において、感情反映モ
ードであると判定された場合、ステップＳ３に進み、パ
ラメータ生成部４３は、モデル記憶部５１からの状態情
報のうちの感情モデルに基づいて、合成制御パラメータ
および変換パラメータを生成する。そして、合成制御パ
ラメータは、波形生成部４２に供給され、変換パラメー
タは、データ変換部４４に供給される。
【００９４】その後、ステップＳ４に進み、データ変換
部４４が、パラメータ生成部４３からの変換パラメータ
にしたがい、音声情報記憶部３６（図５）に記憶された
音声情報を変換する。さらに、データ変換部４４は、そ
の変換の結果得られた変換音声情報を、変換音声情報記
憶部４５に供給して記憶させる。
【００９５】そして、ステップＳ５に進み、波形生成部
４２は、合成音を生成し、処理を終了する。
【００９６】即ち、この場合、波形生成部４２は、変換
音声情報記憶部４５に記憶された音声情報のうちの必要
なもの読み出し、その変換音声情報と、パラメータ生成
部４３から供給される合成制御パラメータを用い、韻律
生成部４１からの韻律情報に対応して韻律を制御しなが
ら音声合成処理を行う。従って、波形生成部４２では、
ロボットの感情の状態に対応する音質を有する合成音デ
ータが生成される。
【００９７】以上のように、感情モデル値に基づき、合
成制御パラメータや変換パラメータを生成し、その合成
制御パラメータや、変換パラメータによって音声情報を
変換した変換音声情報を用いて音声合成を行うようにし
たので、感情に応じて、例えば、周波数特性や音量バラ
ンス等といった音質が制御された、感情豊かな合成音を
得ることができる。
【００９８】次に、図８は、音声情報記憶部３６（図
５）に記憶されている音声情報が、音声の特徴パラメー
タとしての、例えば線形予測係数（ＬＰＣ）である場合
の、図６の波形生成部４２の構成例を示している。
【００９９】ここで、線形予測係数は、音声の波形デー
タから求められた自己相関係数を用いたYule-Walkerの
方程式を解く等の、いわゆる線形予測分析を行うことで
得られるが、この線形予測分析は、現在時刻ｎの音声信
号（のサンプル値）ｓn、およびこれに隣接する過去の
Ｐ個のサンプル値ｓn-1，ｓn-2，・・・，ｓn-Pに、式 ｓn＋α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P＝en ・・・（１） で示す線形１次結合が成立すると仮定し、現在時刻ｎの
サンプル値ｓnの予測値（線形予測値）ｓn’を、過去の
Ｐ個の標本値ｓn-1，ｓn-2，・・・，ｓn-Pを用いて、
式 ｓn’＝−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P） ・・・（２） によって線形予測したときに、実際のサンプル値ｓnと
線形予測値ｓn’との間の自乗誤差を最小にする線形予
測係数αpを求めるものである。
【０１００】ここで、式（１）において、｛en｝（・・
・，en-1，en，en+1，・・・）は、平均値が０で、分散
が所定値σ2の互いに無相関な確率変数である。
【０１０１】式（１）から、サンプル値ｓnは、式 ｓn＝en−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P） ・・・（３） で表すことができ、これを、Ｚ変換すると、次式が成立
する。
【０１０２】 Ｓ＝Ｅ／（１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P） ・・・（４） 但し、式（４）において、ＳとＥは、式（３）における
ｓnとｅnのＺ変換を、それぞれ表す。
【０１０３】ここで、式（１）および（２）から、ｅn
は、式 ｅn＝ｓn−ｓn’ ・・・（５） で表すことができ、実際のサンプル値ｓnと線形予測値
ｓn’との間の残差信号と呼ばれる。
【０１０４】従って、式（４）から、線形予測係数αp
をＩＩＲ（Infinife Impulse Response）フィルタのタ
ップ係数とするとともに、残差信号ｅnをＩＩＲフィル
タの駆動信号（入力信号）とすることにより、音声信号
ｓnを求めることができる。
【０１０５】図８の波形生成部４２は、式（４）にした
がって音声信号を生成する音声合成を行うようになって
いる。
【０１０６】即ち、駆動信号生成部６０は、駆動信号と
なる残差信号を生成して出力する。
【０１０７】ここで、駆動信号生成部６０には、韻律情
報、テキスト解析結果、および合成制御パラメータが供
給されるようになっている。そして、駆動信号生成部６
０は、これらの韻律情報、テキスト解析結果、および合
成制御パラメータにしたがい、周期（周波数）や振幅等
を制御した周期的なインパルスと、ホワイトノイズのよ
うな信号とを重畳することにより、合成音に対して、対
応する韻律、音韻、音質（声質）を与える駆動信号を生
成する。なお、周期的なインパルスは、主として有声音
の生成に寄与し、ホワイトノイズのような信号は、主と
して無声音の生成に寄与する。
【０１０８】図８において、１つの加算器６１、Ｐ個の
遅延回路（Ｄ）６２1乃至６２P、およびＰ個の乗算器６
３1乃至６３Pは、音声合成用の合成フィルタとしてのＩ
ＩＲフィルタを構成しており、駆動信号生成部６０から
の駆動信号を音源として、合成音データを生成する。
【０１０９】即ち、駆動信号生成部６０が出力する残差
信号（駆動信号）ｅは、加算器６１を介して、遅延回路
６２1に供給され、遅延回路６２pは、そこへの入力信号
を、残差信号の１サンプル分だけ遅延して、後段の遅延
回路６２p+1に出力するとともに、演算器６３pに出力す
る。乗算器６３pは、遅延回路６２pの出力と、そこにセ
ットされた線形予測係数αpとを乗算し、その乗算値
を、加算器６１に出力する。
【０１１０】加算器６１は、乗算器６３1乃至６３Pの出
力すべてと、残差信号ｅとを加算し、その加算結果を、
遅延回路６２1に供給する他、音声合成結果（合成音デ
ータ）として出力する。
【０１１１】なお、係数供給部６４は、変換音声情報記
憶部４５から、テキスト解析結果に含まれる音韻等に応
じて、必要な変換音声情報としての線形予測係数α1，
α2，・・・，αPを読み出し、それぞれを、乗算器６３
1乃至６３Pにセットするようになっている。
【０１１２】次に、図９は、音声情報記憶部３６（図
５）に記憶されている音声情報が、音声の特徴パラメー
タとしての、例えば、線形予測係数（ＬＰＣ）である場
合の、図６のデータ変換部４４の構成例を示している。
【０１１３】音声情報記憶部３６に記憶された音声情報
としての線形予測係数は、合成フィルタ７１に供給され
る。合成フィルタ７１は、図８における１つの加算器６
１、Ｐ個の遅延回路（Ｄ）６２1乃至６２P、およびＰ個
の乗算器６３1乃至６３Pでなる合成フィルタと同様のＩ
ＩＲフィルタであり、線形予測係数をタップ係数とする
とともに、インパルスを駆動信号としてフィルタリング
を行うことで、線形予測係数を音声データ（時領域の波
形データ）に変換する。この音声データは、フーリエ変
換部７２に供給される。
【０１１４】フーリエ変換部７２は、合成フィルタ７１
からの音声データをフーリエ変換することにより、周波
数領域の信号、即ち、スペクトルを求め、周波数特性変
換部７３に供給する。
【０１１５】従って、合成フィルタ７１およびフーリエ
変換部７２では、線形予測係数α1，α2，・・・，αP
がスペクトルＦ（θ）に変換されるが、この線形予測係
数α 1，α2，・・・，αPからスペクトルへＦ（θ）の
変換は、その他、例えば、次式にしたがい、θを０から
πまでに変化させることによっても行うことができる。
【０１１６】 Ｆ（θ）＝１／｜１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P｜2 ｚ＝ｅ-j θ ・・・（６）
【０１１７】周波数特性変換部７３には、パラメータ生
成部４３（図６）が出力する変換パラメータが供給され
るようになっている。そして、周波数特性変換部７３
は、フーリエ変換部７２からのスペクトルを、変換パラ
メータにしたがって変換することにより、線形予測係数
から得られる音声データ（波形データ）の周波数特性を
変更する。
【０１１８】ここで、図９の実施の形態では、周波数特
性変換部７３は、伸縮処理部７３Ａとイコライザ７３Ｂ
とから構成されている。
【０１１９】伸縮処理部７３は、フーリエ変換部７２か
ら供給されるスペクトルＦ（θ）を、周波数軸方向に伸
縮させる。即ち、伸縮処理部７３Ａは、伸縮パラメータ
を△と表すと、式（６）を、そのθを△θに替えて演算
し、周波数軸方向に伸縮を行ったスペクトルＦ（△θ）
を求める。
【０１２０】この場合、伸縮パラメータ△が、変換パラ
メータとなる。なお、伸縮パラメータ△は、例えば、
０．５乃至２．０の範囲内の値とすることができる。
【０１２１】イコライザ７３Ｂは、フーリエ変換部７２
から供給されるスペクトルＦ（θ）に、イコライジング
処理を施すことにより、その高域を強調または抑圧す
る。即ち、イコライザ７３Ｂは、スペクトルＦ（θ）に
対して、例えば、図１０（Ａ）に示すような特性の高域
強調フィルタ、または図１０（Ｂ）に示すような特性の
高域抑圧フィルタをかけ、その周波数特性を変更したス
ペクトルを求める。
【０１２２】ここで、図１０において、ｇはゲインを、
ｆcは遮断周波数を、ｆwは減衰幅を、ｆsは音声データ
（合成フィルタ７１が出力する音声データ）のサンプリ
ング周波数を、それぞれ表すが、このうちのゲインｇ、
遮断周波数ｆc、および減衰幅ｆwが、変換パラメータと
なる。
【０１２３】なお、一般に、図１０（Ａ）の高域強調フ
ィルタをかけた場合には、合成音の音質は、固い印象の
ものとなり、図１０（Ｂ）の高域抑圧フィルタをかけた
場合には、合成音の音質は、柔らかい印象のものとな
る。
【０１２４】また、周波数特性変換部７３では、その
他、例えば、ｎ次平均フィルタをかけたり、ケプストラ
ム係数を求めてリフタ(lifter)をかける等して、スペク
トルを平滑化することも可能である。
【０１２５】周波数特性変換部７３において周波数特性
の変換されたスペクトルは、逆フーリエ変換部７４に供
給される。逆フーリエ変換部７４は、周波数特性変換部
７３からのスペクトルを逆フーリエ変換することによ
り、時領域の信号、即ち、音声データ（波形データ）を
求め、ＬＰＣ分析部７５に供給する。
【０１２６】ＬＰＣ分析部７５は、逆フーリエ変換部７
４からの音声データを線形予測分析することにより、線
形予測係数を求め、この線形予測係数を、変換音声情報
として、変換音声情報記憶部４５（図６）に供給して記
憶させる。
【０１２７】なお、ここでは、音声の特徴パラメータと
して、線形予測係数を採用したが、その他、ケプストラ
ム係数や、線スペクトル対等を採用することも可能であ
る。
【０１２８】次に、図１１は、音声情報記憶部３６（図
５）に記憶されている音声情報が、音声データ（波形デ
ータ）としての、例えば音素片データである場合の、図
６の波形生成部４２の構成例を示している。
【０１２９】接続制御部８１には、韻律情報、合成制御
パラメータ、およびテキスト解析結果が供給されるよう
になっている。接続制御部８１は、これらの韻律情報、
合成制御パラメータ、およびテキスト解析結果にしたが
い、合成音を生成するのに接続すべき音素片データや、
その波形の調整方法を決定し、波形接続部８２を制御す
る。
【０１３０】波形接続部８２は、接続制御部８１の制御
にしたがい、変換音声情報記憶部４５から、変換音声情
報としての、必要な音素片データを読み出し、さらに、
同じく接続制御部８１の制御にしたがい、読み出した音
素片データの波形を調整して接続する。これにより、波
形接続部８２は、韻律情報、合成制御パラメータ、テキ
スト解析結果それぞれに対応する韻律、音質、音韻の合
成音データを生成して出力する。
【０１３１】次に、図１２は、音声情報記憶部３６（図
５）に記憶されている音声情報が、音声データ（波形デ
ータ）である場合の、図６のデータ変換部４４の構成例
を示している。なお、図中、図９における場合と対応す
る部分については、同一の符号を付してあり、以下で
は、その説明は、適宜省略する。即ち、図１２のデータ
変換部４４は、合成フィルタ７１およびＬＰＣ分析部７
５が設けられていない他は、図９における場合と同様に
構成されている。
【０１３２】従って、図１２のデータ変換部４４では、
フーリエ変換部７２において、音声情報記憶部３６（図
５）に記憶された音声情報としての音声データがフーリ
エ変換され、その結果得られるスペクトルが、周波数特
性変換部７３に供給される。周波数特性変換部７３は、
フーリエ変換部７２からのスペクトルに対して、変更パ
ラメータにしたがった周波数特性変換処理を施し、逆フ
ーリエ変換部７４に出力する。逆フーリエ変換部７４
は、周波数特性変換部７３からのスペクトルを逆フーリ
エ変換することにより、音声データとし、この音声デー
タを、変換音声情報として、変換音声情報記憶部４５
（図６）に供給して記憶させる。
【０１３３】以上、本発明を、エンターテイメント用の
ロボット（疑似ペットとしてのロボット）に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、音声合成装置を搭載した各種のシステムに広く適用
することが可能である。また、本発明は、現実世界のロ
ボットだけでなく、例えば、液晶ディスプレイ等の表示
装置に表示される仮想的なロボットにも適用可能であ
る。
【０１３４】なお、本実施の形態においては、上述した
一連の処理を、ＣＰＵ１０Ａにプログラムを実行させる
ことにより行うようにしたが、一連の処理は、それ専用
のハードウェアによって行うことも可能である。
【０１３５】ここで、プログラムは、あらかじめメモリ
１０Ｂ（図２）に記憶させておく他、フロッピー（登録
商標）ディスク、CD-ROM(Compact Disc Read Only Memo
ry)，MO(Magnetooptical)ディスク，DVD(Digital Versa
tile Disc)、磁気ディスク、半導体メモリなどのリムー
バブル記録媒体に、一時的あるいは永続的に格納（記
録）しておくことができる。そして、このようなリムー
バブル記録媒体を、いわゆるパッケージソフトウエアと
して提供し、ロボット（メモリ１０Ｂ）にインストール
するようにすることができる。
【０１３６】また、プログラムは、ダウンロードサイト
から、ディジタル衛星放送用の人工衛星を介して、無線
で転送したり、LAN(Local Area Network)、インターネ
ットといったネットワークを介して、有線で転送し、メ
モリ１０Ｂにインストールすることができる。
【０１３７】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ１０Ｂに、容易にインストールすることが
できる。
【０１３８】なお、本明細書において、ＣＰＵ１０Ａに
各種の処理を行わせるためのプログラムを記述する処理
ステップは、必ずしもフローチャートとして記載された
順序に沿って時系列に処理する必要はなく、並列的ある
いは個別に実行される処理（例えば、並列処理あるいは
オブジェクトによる処理）も含むものである。
【０１３９】また、プログラムは、１のＣＰＵにより処
理されるものであっても良いし、複数のＣＰＵによって
分散処理されるものであっても良い。
【０１４０】次に、図５の音声合成装置５５は、専用の
ハードウェアにより実現することもできるし、ソフトウ
ェアにより実現することもできる。音声合成装置５５を
ソフトウェアによって実現する場合には、そのソフトウ
ェアを構成するプログラムが、汎用のコンピュータ等に
インストールされる。
【０１４１】そこで、図１３は、音声合成装置５５を実
現するためのプログラムがインストールされるコンピュ
ータの一実施の形態の構成例を示している。
【０１４２】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。
【０１４３】あるいはまた、プログラムは、フロッピー
ディスク、CD-ROM，MOディスク，DVD、磁気ディスク、
半導体メモリなどのリムーバブル記録媒体１１１に、一
時的あるいは永続的に格納（記録）しておくことができ
る。このようなリムーバブル記録媒体１１１は、いわゆ
るパッケージソフトウエアとして提供することができ
る。
【０１４４】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。
【０１４５】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。
【０１４６】なお、本実施の形態では、感情の状態に基
づいて、合成音の音質を変えるようにしたが、その他、
例えば、感情の状態に基づいて、合成音の韻律も変える
ようにすることが可能である。合成音の韻律は、例え
ば、合成音のピッチ周期の時間変化パターン（周期パタ
ーン）や、合成音のパワーの時間変化パターン（パワー
パターン）等を、感情モデルに基づいて制御することで
変えることが可能である。
【０１４７】また、本実施の形態においては、テキスト
（漢字仮名交じりのテキストを含む）から合成音を生成
するようにしたが、その他、発音記号等から合成音を生
成するようにすることも可能である。
【０１４８】
【発明の効果】以上の如く、本発明の音声合成装置およ
び音声合成方法、並びにプログラムによれば、所定の情
報のうち、合成音の音質に影響する音質影響情報が、外
部から供給される、感情の状態を表す状態情報に基づい
て生成され、その音質影響情報を用いて、音質を制御し
た合成音が生成される。従って、感情の状態に応じて音
質を変えた合成音を生成することにより、感情豊かな合
成音を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したロボットの一実施の形態の外
観構成例を示す斜視図である。
【図２】ロボットの内部構成例を示すブロック図であ
る。
【図３】コントローラ１０の機能的構成例を示すブロッ
ク図である。
【図４】音声認識部５０Ａの構成例を示すブロック図で
ある。
【図５】音声合成部５５の構成例を示すブロック図であ
る。
【図６】規則合成部３２の構成例を示すブロック図であ
る。
【図７】規則合成部３２の処理を説明するフローチャー
トである。
【図８】波形生成部４２の第１の構成例を示すブロック
図である。
【図９】データ変換部４４の第１の構成例を示すブロッ
ク図である。
【図１０】イコライザ７３Ｂの処理を説明するための図
である。
【図１１】波形生成部４２の第２の構成例を示すブロッ
ク図である。
【図１２】データ変換部４４の第２の構成例を示すブロ
ック図である。
【図１３】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。
【符号の説明】
１ 頭部ユニット， ４Ａ 下顎部， １０ コントロ
ーラ， １０Ａ ＣＰＵ， １０Ｂ メモリ， １５
マイク， １６ ＣＣＤカメラ， １７ タッチセン
サ， １８ スピーカ， ２１ ＡＤ変換部， ２２
特徴抽出部， ２３ マッチング部， ２４ 音響モデ
ル記憶部， ２５ 辞書記憶部， ２６文法記憶部，
２７ 音声区間検出部， ３１ テキスト解析部， ３
２ 規則合成部， ３４ 辞書記憶部， ３５ 生成用
文法記憶部， ３６ 音声情報記憶部， ４１ 韻律生
成部， ４２ 波形生成部， ４３ パラメータ生成
部，４４ データ変換部， ４５ 変換音声情報記憶
部， ５０ センサ入力処理部， ５０Ａ 音声認識
部， ５０Ｂ 画像認識部， ５０Ｃ 圧力処理部，５
１ モデル記憶部， ５２ 行動決定機構部， ５３
姿勢遷移機構部， ５４ 制御機構部， ５５ 音声合
成部， ６０ 駆動信号生成部， ６１ 加算器， ６
２1乃至６２P 遅延回路， ６３1乃至６３P 乗算器，
６４ 係数供給部， ７１ 合成フィルタ， ７２
フーリエ変換部， ７３ 周波数特性変換部， ７３Ａ
伸縮処理部， ７３Ｂ イコライザ， ７４ 逆フー
リエ変換部， ７５ ＬＰＣ分析部， ８１ 接続制御
部， ８２ 波形接続部， １０１ バス， １０２
CPU， １０３ ROM， １０４ RAM， １０５ ハー
ドディスク， １０６ 出力部， １０７ 入力部，
１０８ 通信部， １０９ドライブ， １１０ 入出力
インタフェース， １１１ リムーバブル記録媒体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅野 康治 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 狩谷 真一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 藤田 八重子 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 2C150 CA01 CA02 CA04 DA05 DA24 DA25 DA26 DA27 DA28 DF03 DF04 DF33 ED42 ED52 EF03 EF07 EF09 EF13 EF16 EF23 EF29 EF34 EF36 5D045 AA08 AA09 AB11

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 所定の情報を用いて音声合成を行う音声
    合成装置であって、 前記所定の情報のうち、合成音の音質に影響する音質影
    響情報を、外部から供給される、感情の状態を表す状態
    情報に基づいて生成する音質影響情報生成手段と、 前記音質影響情報を用いて、音質を制御した前記合成音
    を生成する音声合成手段とを備えることを特徴とする音
    声合成装置。
  2. 【請求項２】 前記音質影響情報生成手段は、 前記感情の状態に基づいて、前記合成音を構成する波形
    データの特性を変更するように、前記音質影響情報を変
    換する変換パラメータを生成する変換パラメータ生成手
    段と、 前記変換パラメータに基づいて、前記音質影響情報を変
    換する音質影響情報変換手段とを有することを特徴とす
    る請求項１に記載の音声合成装置。
  3. 【請求項３】 前記音質影響情報は、前記合成音を生成
    するのに接続される所定単位の波形データであることを
    特徴とする請求項２に記載の音声合成装置。
  4. 【請求項４】 前記音質影響情報は、前記所定単位の波
    形データから抽出された特徴パラメータであることを特
    徴とする請求項２に記載の音声合成装置。
  5. 【請求項５】 前記音声合成手段は、規則音声合成を行
    い、 前記音質影響情報は、前記規則音声合成を制御するため
    の合成制御パラメータであることを特徴とする請求項１
    に記載の音声合成装置。
  6. 【請求項６】 前記合成制御パラメータは、音量バラン
    ス、音源の振幅ゆらぎの大きさ、または音源の周波数を
    制御するものであることを特徴とする請求項５に記載の
    音声合成装置。
  7. 【請求項７】 前記音声合成手段は、周波数特性または
    音量バランスを制御した前記合成音を生成することを特
    徴とする請求項１に記載の音声合成装置。
  8. 【請求項８】 所定の情報を用いて音声合成を行う音声
    合成方法であって、 前記所定の情報のうち、合成音の音質に影響する音質影
    響情報を、外部から供給される、感情の状態を表す状態
    情報に基づいて生成する音質影響情報生成ステップと、 前記音質影響情報を用いて、音質を制御した前記合成音
    を生成する音声合成ステップとを備えることを特徴とす
    る音声合成方法。
  9. 【請求項９】 所定の情報を用いて音声合成を行う音声
    合成処理を、コンピュータに行わせるプログラムであっ
    て、 前記所定の情報のうち、合成音の音質に影響する音質影
    響情報を、外部から供給される、感情の状態を表す状態
    情報に基づいて生成する音質影響情報生成ステップと、 前記音質影響情報を用いて、音質を制御した前記合成音
    を生成する音声合成ステップとを備えることを特徴とす
    るプログラム。
  10. 【請求項１０】 所定の情報を用いて音声合成を行う音
    声合成処理を、コンピュータに行わせるプログラムが記
    録されている記録媒体であって、 前記所定の情報のうち、合成音の音質に影響する音質影
    響情報を、外部から供給される、感情の状態を表す状態
    情報に基づいて生成する音質影響情報生成ステップと、 前記音質影響情報を用いて、音質を制御した前記合成音
    を生成する音声合成ステップとを備えるプログラムが記
    録されていることを特徴とする記録媒体。
JP2001066376A 2001-03-09 2001-03-09 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 Pending JP2002268699A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001066376A JP2002268699A (ja) 2001-03-09 2001-03-09 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体
PCT/JP2002/002176 WO2002073594A1 (fr) 2001-03-09 2002-03-08 Dispositif de synthese vocale
CN02801122A CN1461463A (zh) 2001-03-09 2002-03-08 语音合成设备
EP02702830A EP1367563A4 (en) 2001-03-09 2002-03-08 VOICE SYNTHESIS DEVICE
KR1020027014932A KR20020094021A (ko) 2001-03-09 2002-03-08 음성 합성 장치
US10/275,325 US20030163320A1 (en) 2001-03-09 2002-03-08 Voice synthesis device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001066376A JP2002268699A (ja) 2001-03-09 2001-03-09 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2002268699A true JP2002268699A (ja) 2002-09-20
JP2002268699A5 JP2002268699A5 (ja) 2008-04-24

Family

ID=18924875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001066376A Pending JP2002268699A (ja) 2001-03-09 2001-03-09 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US20030163320A1 (ja)
EP (1) EP1367563A4 (ja)
JP (1) JP2002268699A (ja)
KR (1) KR20020094021A (ja)
CN (1) CN1461463A (ja)
WO (1) WO2002073594A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006344203A (ja) * 2005-06-07 2006-12-21 Lg Electronics Inc 移動ロボットの状態報知装置及び状態報知方法
JP2007011136A (ja) * 2005-07-01 2007-01-18 Casio Comput Co Ltd 曲データ編集装置および曲データ編集プログラム
US7241947B2 (en) 2003-03-20 2007-07-10 Sony Corporation Singing voice synthesizing method and apparatus, program, recording medium and robot apparatus
WO2008102594A1 (ja) * 2007-02-19 2008-08-28 Panasonic Corporation 力み変換装置、音声変換装置、音声合成装置、音声変換方法、音声合成方法およびプログラム
US8073696B2 (en) 2005-05-18 2011-12-06 Panasonic Corporation Voice synthesis device
CN102376304A (zh) * 2010-08-10 2012-03-14 鸿富锦精密工业（深圳）有限公司 文本朗读系统及其文本朗读方法
US8311831B2 (en) 2007-10-01 2012-11-13 Panasonic Corporation Voice emphasizing device and voice emphasizing method
WO2023037609A1 (ja) * 2021-09-10 2023-03-16 ソニーグループ株式会社 自律移動体、情報処理方法、及び、プログラム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7401020B2 (en) * 2002-11-29 2008-07-15 International Business Machines Corporation Application of emotion-based intonation and prosody to speech in text-to-speech systems
JP2005234337A (ja) * 2004-02-20 2005-09-02 Yamaha Corp 音声合成装置、音声合成方法、及び音声合成プログラム
US20060168297A1 (en) * 2004-12-08 2006-07-27 Electronics And Telecommunications Research Institute Real-time multimedia transcoding apparatus and method using personal characteristic information
US8065157B2 (en) * 2005-05-30 2011-11-22 Kyocera Corporation Audio output apparatus, document reading method, and mobile terminal
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
US10157342B1 (en) * 2010-07-11 2018-12-18 Nam Kim Systems and methods for transforming sensory input into actions by a machine having self-awareness
US20120059781A1 (en) * 2010-07-11 2012-03-08 Nam Kim Systems and Methods for Creating or Simulating Self-Awareness in a Machine
JP5631915B2 (ja) * 2012-03-29 2014-11-26 株式会社東芝 音声合成装置、音声合成方法、音声合成プログラムならびに学習装置
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US9310800B1 (en) * 2013-07-30 2016-04-12 The Boeing Company Robotic platform evaluation system
WO2015092936A1 (ja) * 2013-12-20 2015-06-25 株式会社東芝 音声合成装置、音声合成方法およびプログラム
KR102222122B1 (ko) * 2014-01-21 2021-03-03 엘지전자 주식회사 감성음성 합성장치, 감성음성 합성장치의 동작방법, 및 이를 포함하는 이동 단말기
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
CN105895076B (zh) * 2015-01-26 2019-11-15 科大讯飞股份有限公司 一种语音合成方法及系统
US9558734B2 (en) * 2015-06-29 2017-01-31 Vocalid, Inc. Aging a text-to-speech voice
WO2018043112A1 (ja) * 2016-08-29 2018-03-08 ソニー株式会社 情報提示装置、および情報提示方法
CN107962571B (zh) * 2016-10-18 2021-11-02 江苏网智无人机研究院有限公司 目标对象的控制方法、装置、机器人和系统
CN106503275A (zh) * 2016-12-30 2017-03-15 首都师范大学 聊天机器人的音色配置方法及装置
CN107039033A (zh) * 2017-04-17 2017-08-11 海南职业技术学院 一种语音合成装置
EP3392884A1 (en) * 2017-04-21 2018-10-24 audEERING GmbH A method for automatic affective state inference and an automated affective state inference system
CN107240401B (zh) * 2017-06-13 2020-05-15 厦门美图之家科技有限公司 一种音色转换方法及计算设备
US10225621B1 (en) 2017-12-20 2019-03-05 Dish Network L.L.C. Eyes free entertainment
US10847162B2 (en) * 2018-05-07 2020-11-24 Microsoft Technology Licensing, Llc Multi-modal speech localization
CN110634466B (zh) * 2018-05-31 2024-03-15 微软技术许可有限责任公司 具有高感染力的tts处理技术
JP7334942B2 (ja) * 2019-08-19 2023-08-29 国立大学法人 東京大学 音声変換装置、音声変換方法及び音声変換プログラム
CN111128118B (zh) * 2019-12-30 2024-02-13 科大讯飞股份有限公司 语音合成方法、相关设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05307395A (ja) * 1992-04-30 1993-11-19 Sony Corp 音声合成装置
JPH0756590A (ja) * 1993-08-19 1995-03-03 Sony Corp 音声合成装置、音声合成方法及び記録媒体
JP2000187435A (ja) * 1998-12-24 2000-07-04 Sony Corp 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法
JP2002049385A (ja) * 2000-08-07 2002-02-15 Yamaha Motor Co Ltd 音声合成装置、疑似感情表現装置及び音声合成方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58168097A (ja) * 1982-03-29 1983-10-04 日本電気株式会社 音声合成装置
US5029214A (en) * 1986-08-11 1991-07-02 Hollander James F Electronic speech control apparatus and methods
JPH02106799A (ja) * 1988-10-14 1990-04-18 A T R Shichiyoukaku Kiko Kenkyusho:Kk 合成音声情緒付与回路
JPH02236600A (ja) * 1989-03-10 1990-09-19 A T R Shichiyoukaku Kiko Kenkyusho:Kk 合成音声情緒付与回路
JPH04199098A (ja) * 1990-11-29 1992-07-20 Meidensha Corp 規則音声合成装置
JPH05100692A (ja) * 1991-05-31 1993-04-23 Oki Electric Ind Co Ltd 音声合成装置
JPH0612401A (ja) * 1992-06-26 1994-01-21 Fuji Xerox Co Ltd 感情模擬装置
US5559927A (en) * 1992-08-19 1996-09-24 Clynes; Manfred Computer system producing emotionally-expressive speech messages
US5860064A (en) * 1993-05-13 1999-01-12 Apple Computer, Inc. Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system
JPH0772900A (ja) * 1993-09-02 1995-03-17 Nippon Hoso Kyokai <Nhk> 音声合成の感情付与方法
JP3018865B2 (ja) * 1993-10-07 2000-03-13 富士ゼロックス株式会社 感情表出装置
JPH07244496A (ja) * 1994-03-07 1995-09-19 N T T Data Tsushin Kk テキスト朗読装置
JP3254994B2 (ja) * 1995-03-01 2002-02-12 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JP3260275B2 (ja) * 1996-03-14 2002-02-25 シャープ株式会社 活字入力で通話が可能な通信通話装置
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US5966691A (en) * 1997-04-29 1999-10-12 Matsushita Electric Industrial Co., Ltd. Message assembler using pseudo randomly chosen words in finite state slots
US6226614B1 (en) * 1997-05-21 2001-05-01 Nippon Telegraph And Telephone Corporation Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon
JP3273550B2 (ja) * 1997-05-29 2002-04-08 オムロン株式会社 自動応答玩具
JP3884851B2 (ja) * 1998-01-28 2007-02-21 ユニデン株式会社 通信システムおよびこれに用いられる無線通信端末装置
US6185534B1 (en) * 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface
US6081780A (en) * 1998-04-28 2000-06-27 International Business Machines Corporation TTS and prosody based authoring system
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6249780B1 (en) * 1998-08-06 2001-06-19 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
CN1161700C (zh) * 1999-04-30 2004-08-11 索尼公司 网络系统
JP2001034280A (ja) * 1999-07-21 2001-02-09 Matsushita Electric Ind Co Ltd 電子メール受信装置および電子メールシステム
JP2001034282A (ja) * 1999-07-21 2001-02-09 Konami Co Ltd 音声合成方法、音声合成のための辞書構築方法、音声合成装置、並びに音声合成プログラムを記録したコンピュータ読み取り可能な媒体
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
WO2002067194A2 (en) * 2001-02-20 2002-08-29 I & A Research Inc. System for modeling and simulating emotion states

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05307395A (ja) * 1992-04-30 1993-11-19 Sony Corp 音声合成装置
JPH0756590A (ja) * 1993-08-19 1995-03-03 Sony Corp 音声合成装置、音声合成方法及び記録媒体
JP2000187435A (ja) * 1998-12-24 2000-07-04 Sony Corp 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法
JP2002049385A (ja) * 2000-08-07 2002-02-15 Yamaha Motor Co Ltd 音声合成装置、疑似感情表現装置及び音声合成方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7241947B2 (en) 2003-03-20 2007-07-10 Sony Corporation Singing voice synthesizing method and apparatus, program, recording medium and robot apparatus
US8073696B2 (en) 2005-05-18 2011-12-06 Panasonic Corporation Voice synthesis device
JP2006344203A (ja) * 2005-06-07 2006-12-21 Lg Electronics Inc 移動ロボットの状態報知装置及び状態報知方法
JP2007011136A (ja) * 2005-07-01 2007-01-18 Casio Comput Co Ltd 曲データ編集装置および曲データ編集プログラム
JP4626851B2 (ja) * 2005-07-01 2011-02-09 カシオ計算機株式会社 曲データ編集装置および曲データ編集プログラム
WO2008102594A1 (ja) * 2007-02-19 2008-08-28 Panasonic Corporation 力み変換装置、音声変換装置、音声合成装置、音声変換方法、音声合成方法およびプログラム
JPWO2008102594A1 (ja) * 2007-02-19 2010-05-27 パナソニック株式会社 力み変換装置、音声変換装置、音声合成装置、音声変換方法、音声合成方法およびプログラム
US8898062B2 (en) 2007-02-19 2014-11-25 Panasonic Intellectual Property Corporation Of America Strained-rough-voice conversion device, voice conversion device, voice synthesis device, voice conversion method, voice synthesis method, and program
US8311831B2 (en) 2007-10-01 2012-11-13 Panasonic Corporation Voice emphasizing device and voice emphasizing method
CN102376304A (zh) * 2010-08-10 2012-03-14 鸿富锦精密工业（深圳）有限公司 文本朗读系统及其文本朗读方法
WO2023037609A1 (ja) * 2021-09-10 2023-03-16 ソニーグループ株式会社 自律移動体、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
EP1367563A1 (en) 2003-12-03
US20030163320A1 (en) 2003-08-28
CN1461463A (zh) 2003-12-10
WO2002073594A1 (fr) 2002-09-19
KR20020094021A (ko) 2002-12-16
EP1367563A4 (en) 2006-08-30

Similar Documents

Publication Publication Date Title
JP2002268699A (ja) 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体
JP4296714B2 (ja) ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム
US7065490B1 (en) Voice processing method based on the emotion and instinct states of a robot
JP2001215993A (ja) 対話処理装置および対話処理方法、並びに記録媒体
JP4687936B2 (ja) 音声出力装置および音声出力方法、並びにプログラムおよび記録媒体
JP2001188779A (ja) 情報処理装置および方法、並びに記録媒体
JP2002304188A (ja) 単語列出力装置および単語列出力方法、並びにプログラムおよび記録媒体
JP2002318594A (ja) 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体
JP2002268663A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP4587009B2 (ja) ロボット制御装置およびロボット制御方法、並びに記録媒体
JP2002258886A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP4656354B2 (ja) 音声処理装置および音声処理方法、並びに記録媒体
JP2002311981A (ja) 自然言語処理装置および自然言語処理方法、並びにプログラムおよび記録媒体
JP2002304187A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP2004170756A (ja) ロボット制御装置および方法、記録媒体、並びにプログラム
JP2001188783A (ja) 情報処理装置および方法、並びに記録媒体
JP2002318590A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP4178777B2 (ja) ロボット装置、記録媒体、並びにプログラム
JP4742415B2 (ja) ロボット制御装置およびロボット制御方法、並びに記録媒体
JP2003071762A (ja) ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP2002189497A (ja) ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム
JP2002120177A (ja) ロボット制御装置およびロボット制御方法、並びに記録媒体
JP2002318593A (ja) 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体
JP2003271181A (ja) 情報処理装置および情報処理方法、並びに記録媒体およびプログラム
JP2001212779A (ja) 行動制御装置および行動制御方法、並びに記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100901

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100909

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309