JP2002318594A - 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 - Google Patents

言語処理装置および言語処理方法、並びにプログラムおよび記録媒体

Info

Publication number
JP2002318594A
JP2002318594A JP2001122040A JP2001122040A JP2002318594A JP 2002318594 A JP2002318594 A JP 2002318594A JP 2001122040 A JP2001122040 A JP 2001122040A JP 2001122040 A JP2001122040 A JP 2001122040A JP 2002318594 A JP2002318594 A JP 2002318594A
Authority
JP
Japan
Prior art keywords
word
onomatopoeia
sound
mimetic
language processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001122040A
Other languages
English (en)
Inventor
Erika Kobayashi
恵理香 小林
Makoto Akaha
誠 赤羽
Tomoaki Nitsuta
朋晃 新田
Hideki Kishi
秀樹 岸
Rika Hasegawa
里香 長谷川
Masatoshi Takeda
正資 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001122040A priority Critical patent/JP2002318594A/ja
Priority to KR1020027017209A priority patent/KR20030010736A/ko
Priority to PCT/JP2002/003899 priority patent/WO2002086861A1/ja
Priority to US10/311,843 priority patent/US20040054519A1/en
Priority to CN02801318A priority patent/CN1461464A/zh
Priority to EP02720509A priority patent/EP1381027A1/en
Publication of JP2002318594A publication Critical patent/JP2002318594A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10Prosody rules derived from text; Stress or intonation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/06Elementary speech units used in speech synthesisers; Concatenation rules

Abstract

(57)【要約】 【課題】 音声合成対象のテキストから、そのテキスト
に含まれる擬音語または擬態語の意味を表現するような
「音」を用いた、効果的な合成音を生成する。 【解決手段】 擬音語/擬態語解析部21は、テキスト
から擬音語または擬態語を抽出し、擬音語/擬態語処理
部27は、その擬音語または擬態語に対応する効果音の
音響データを生成する。そして、音声融合部26は、規
則合成部24で生成された、テキストに対応する合成音
データの一部または全部に、擬音語/擬態語処理部27
で生成された音響データを重畳する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、言語処理装置およ
び言語処理方法、並びにプログラムおよび記録媒体に関
し、特に、例えば、テキストに含まれる擬音語や擬態語
を用いて、テキストを言語処理することにより、効果的
な合成音等を得ることができるようにする言語処理装置
および言語処理方法、並びにプログラムおよび記録媒体
に関する。
【0002】
【従来の技術】例えば、音声合成装置では、入力された
テキストの形態素解析が行われ、その形態素解析結果に
基づいて、入力されたテキストに対応する合成音が生成
される。
【0003】
【発明が解決しようとする課題】ところで、言語学で
は、言葉の音と、その意味との結び付きは、恣意的であ
る、というのが通説である。
【0004】しかしながら、例えば、テキスト「ビール
をぐびぐび飲む」における「ぐびぐび」等の擬音語(擬
声語)や擬態語は、その言葉の音と意味との結び付き
が、必ずしも恣意的であるとは限らない。
【0005】即ち、擬音語は、主体の行動(動き)に伴
う「音」を、言葉で表すものであり、また、擬態語は、
外界の様子や行動の様を、「音」を表現する言葉で表す
ものであるから、擬音語や擬態語は、「音」として扱う
のに適した表現であるということができる。
【0006】しかしながら、従来の音声合成装置では、
入力されたテキストに、擬音語や擬態語が含まれていて
も、他の語と同様に処理されていたため、擬音語や擬態
語が表す「音」の表現力を十分に反映した合成音を得る
ことが困難であった。
【0007】本発明は、このような状況に鑑みてなされ
たものであり、例えば、テキストに含まれる擬音語や擬
態語を用いて、テキストを言語処理することにより、効
果的な合成音等を得ることができるようにするものであ
る。
【0008】
【課題を解決するための手段】本発明の言語処理装置
は、入力データから擬音語または擬態語を抽出する抽出
手段と、擬音語または擬態語を処理する擬音語/擬態語
処理手段と、擬音語または擬態語の処理結果を用いて、
入力データを言語処理する言語処理手段とを備えること
を特徴とする。
【0009】本発明の言語処理方法は、入力データから
擬音語または擬態語を抽出する抽出ステップと、擬音語
または擬態語を処理する擬音語/擬態語処理ステップ
と、擬音語または擬態語の処理結果を用いて、入力デー
タを言語処理する言語処理ステップとを備えることを特
徴とする。
【0010】本発明のプログラムは、入力データから擬
音語または擬態語を抽出する抽出ステップと、擬音語ま
たは擬態語を処理する擬音語/擬態語処理ステップと、
擬音語または擬態語の処理結果を用いて、入力データを
言語処理する言語処理ステップとを備えることを特徴と
する。
【0011】本発明の記録媒体は、入力データから擬音
語または擬態語を抽出する抽出ステップと、擬音語また
は擬態語を処理する擬音語/擬態語処理ステップと、擬
音語または擬態語の処理結果を用いて、入力データを言
語処理する言語処理ステップとを備えるプログラムが記
録されていることを特徴とする。
【0012】本発明の言語処理装置および言語処理方
法、並びにプログラムにおいては、入力データから擬音
語または擬態語が抽出され、その擬音語または擬態語が
処理される。そして、その擬音語または擬態語の処理結
果を用いて、入力データが言語処理される。
【0013】
【発明の実施の形態】図1は、本発明を適用したロボッ
トの一実施の形態の外観構成例を示しており、図2は、
その電気的構成例を示している。
【0014】本実施の形態では、ロボットは、例えば、
犬等の四つ足の動物の形状のものとなっており、胴体部
ユニット2の前後左右に、それぞれ脚部ユニット3A,
3B,3C,3Dが連結されるとともに、胴体部ユニッ
ト2の前端部と後端部に、それぞれ頭部ユニット4と尻
尾部ユニット5が連結されることにより構成されてい
る。
【0015】尻尾部ユニット5は、胴体部ユニット2の
上面に設けられたベース部5Bから、2自由度をもって
湾曲または揺動自在に引き出されている。
【0016】胴体部ユニット2には、ロボット全体の制
御を行うコントローラ10、ロボットの動力源となるバ
ッテリ11、並びにバッテリセンサ12および熱センサ
13からなる内部センサ部14などが収納されている。
【0017】頭部ユニット4には、「耳」に相当するマ
イク(マイクロフォン)15、「目」に相当するCCD
(Charge Coupled Device)カメラ16、触覚に相当する
タッチセンサ17、「口」に相当するスピーカ18など
が、それぞれ所定位置に配設されている。また、頭部ユ
ニット4には、口の下顎に相当する下顎部4Aが1自由
度をもって可動に取り付けられており、この下顎部4A
が動くことにより、ロボットの口の開閉動作が実現され
るようになっている。
【0018】脚部ユニット3A乃至3Dそれぞれの関節
部分や、脚部ユニット3A乃至3Dそれぞれと胴体部ユ
ニット2の連結部分、頭部ユニット4と胴体部ユニット
2の連結部分、頭部ユニット4と下顎部4Aの連結部
分、並びに尻尾部ユニット5と胴体部ユニット2の連結
部分などには、図2に示すように、それぞれアクチュエ
ータ3AA1乃至3AAK、3BA1乃至3BAK、3CA
1乃至3CAK、3DA1乃至3DAK、4A1乃至4AL
5A1および5A2が配設されている。
【0019】頭部ユニット4におけるマイク15は、ユ
ーザからの発話を含む周囲の音声(音)を集音し、得ら
れた音声信号を、コントローラ10に送出する。CCD
カメラ16は、周囲の状況を撮像し、得られた画像信号
を、コントローラ10に送出する。
【0020】タッチセンサ17は、例えば、頭部ユニッ
ト4の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ10に送出する。
【0021】胴体部ユニット2におけるバッテリセンサ
12は、バッテリ11の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ10に送
出する。熱センサ13は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ10に
送出する。
【0022】コントローラ10は、CPU(Central Pro
cessing Unit)10Aやメモリ10B等を内蔵してお
り、CPU10Aにおいて、メモリ10Bに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。
【0023】即ち、コントローラ10は、マイク15
や、CCDカメラ16、タッチセンサ17、バッテリセ
ンサ12、熱センサ13から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。
【0024】さらに、コントローラ10は、この判断結
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ3AA1乃至3AAK、3BA1
乃至3BAK、3CA1乃至3CAK、3DA1乃至3DA
K、4A1乃至4AL、5A1、5A2のうちの必要なもの
を駆動させる。これにより、頭部ユニット4を上下左右
に振らせたり、下顎部4Aを開閉させる。さらには、尻
尾部ユニット5を動かせたり、各脚部ユニット3A乃至
3Dを駆動して、ロボットを歩行させるなどの行動を行
わせる。
【0025】また、コントローラ10は、必要に応じ
て、合成音を生成し、スピーカ18に供給して出力させ
たり、ロボットの「目」の位置に設けられた図示しない
LED(Light Emitting Diode)を点灯、消灯または点
滅させる。
【0026】以上のようにして、ロボットは、周囲の状
況等に基づいて自律的に行動をとるようになっている。
【0027】次に、図3は、図2のコントローラ10の
機能的構成例を示している。なお、図3に示す機能的構
成は、CPU10Aが、メモリ10Bに記憶された制御
プログラムを実行することで実現されるようになってい
る。
【0028】コントローラ10は、特定の外部状態を認
識するセンサ入力処理部50、センサ入力処理部50の
認識結果を累積して、感情や、本能、成長の状態を表現
するモデル記憶部51、センサ入力処理部50の認識結
果等に基づいて、続く行動を決定する行動決定機構部5
2、行動決定機構部52の決定結果に基づいて、実際に
ロボットに行動を起こさせる姿勢遷移機構部53、各ア
クチュエータ3AA1乃至5A1および5A2を駆動制御
する制御機構部54、並びに合成音を生成する音声合成
部55から構成されている。
【0029】センサ入力処理部50は、マイク15や、
CCDカメラ16、タッチセンサ17等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、モデル記憶部51および行動決定機構部52に通知
する。
【0030】即ち、センサ入力処理部50は、音声認識
部50Aを有しており、音声認識部50Aは、マイク1
5から与えられる音声信号について音声認識を行う。そ
して、音声認識部50Aは、その音声認識結果として
の、例えば、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、状態認識情報として、モデル記
憶部51および行動決定機構部52に通知する。
【0031】また、センサ入力処理部50は、画像認識
部50Bを有しており、画像認識部50Bは、CCDカ
メラ16から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部50Bは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、モデル記憶部51および行動
決定機構部52に通知する。
【0032】さらに、センサ入力処理部50は、圧力処
理部50Cを有しており、圧力処理部50Cは、タッチ
センサ17から与えられる圧力検出信号を処理する。そ
して、圧力処理部50Cは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた(しかられた)」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た(ほめられた)」と認識して、その認識結果を、状態
認識情報として、モデル記憶部51および行動決定機構
部52に通知する。
【0033】モデル記憶部51は、ロボットの感情、本
能、成長の状態を表現する感情モデル、本能モデル、成
長モデルをそれぞれ記憶、管理している。
【0034】ここで、感情モデルは、例えば、「うれし
さ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状
態(度合い)を、所定の範囲(例えば、−1.0乃至
1.0等)の値によってそれぞれ表し、センサ入力処理
部50からの状態認識情報や時間経過等に基づいて、そ
の値を変化させる。本能モデルは、例えば、「食欲」、
「睡眠欲」、「運動欲」等の本能による欲求の状態(度
合い)を、所定の範囲の値によってそれぞれ表し、セン
サ入力処理部50からの状態認識情報や時間経過等に基
づいて、その値を変化させる。成長モデルは、例えば、
「幼年期」、「青年期」、「熟年期」、「老年期」等の
成長の状態(度合い)を、所定の範囲の値によってそれ
ぞれ表し、センサ入力処理部50からの状態認識情報や
時間経過等に基づいて、その値を変化させる。
【0035】モデル記憶部51は、上述のようにして感
情モデル、本能モデル、成長モデルの値で表される感
情、本能、成長の状態を、状態情報として、行動決定機
構部52に送出する。
【0036】なお、モデル記憶部51には、センサ入力
処理部50から状態認識情報が供給される他、行動決定
機構部52から、ロボットの現在または過去の行動、具
体的には、例えば、「長時間歩いた」などの行動の内容
を示す行動情報が供給されるようになっており、モデル
記憶部51は、同一の状態認識情報が与えられても、行
動情報が示すロボットの行動に応じて、異なる状態情報
を生成するようになっている。
【0037】即ち、例えば、ロボットが、ユーザに挨拶
をし、ユーザに頭を撫でられた場合には、ユーザに挨拶
をしたという行動情報と、頭を撫でられたという状態認
識情報とが、モデル記憶部51に与えられ、この場合、
モデル記憶部51では、「うれしさ」を表す感情モデル
の値が増加される。
【0038】一方、ロボットが、何らかの仕事を実行中
に頭を撫でられた場合には、仕事を実行中であるという
行動情報と、頭を撫でられたという状態認識情報とが、
モデル記憶部51に与えられ、この場合、モデル記憶部
51では、「うれしさ」を表す感情モデルの値は変化さ
れない。
【0039】このように、モデル記憶部51は、状態認
識情報だけでなく、現在または過去のロボットの行動を
示す行動情報も参照しながら、感情モデルの値を設定す
る。これにより、例えば、何らかのタスクを実行中に、
ユーザが、いたずらするつもりで頭を撫でたときに、
「うれしさ」を表す感情モデルの値を増加させるよう
な、不自然な感情の変化が生じることを回避することが
できる。
【0040】なお、モデル記憶部51は、本能モデルお
よび成長モデルについても、感情モデルにおける場合と
同様に、状態認識情報および行動情報の両方に基づい
て、その値を増減させるようになっている。また、モデ
ル記憶部51は、感情モデル、本能モデル、成長モデル
それぞれの値を、他のモデルの値にも基づいて増減させ
るようになっている。
【0041】行動決定機構部52は、センサ入力処理部
50からの状態認識情報や、モデル記憶部51からの状
態情報、時間経過等に基づいて、次の行動を決定し、決
定された行動の内容を、行動指令情報として、姿勢遷移
機構部53に送出する。
【0042】即ち、行動決定機構部52は、ロボットが
とり得る行動をステート(状態)(state)に対応させた
有限オートマトンを、ロボットの行動を規定する行動モ
デルとして管理しており、この行動モデルとしての有限
オートマトンにおけるステートを、センサ入力処理部5
0からの状態認識情報や、モデル記憶部51における感
情モデル、本能モデル、または成長モデルの値、時間経
過等に基づいて遷移させ、遷移後のステートに対応する
行動を、次にとるべき行動として決定する。
【0043】ここで、行動決定機構部52は、所定のト
リガ(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部52は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、モデル記憶部51から供給される状態情報が示す感
情や、本能、成長の状態の値が所定の閾値以下または以
上になったとき等に、ステートを遷移させる。
【0044】なお、行動決定機構部52は、上述したよ
うに、センサ入力処理部50からの状態認識情報だけで
なく、モデル記憶部51における感情モデルや、本能モ
デル、成長モデルの値等にも基づいて、行動モデルにお
けるステートを遷移させることから、同一の状態認識情
報が入力されても、感情モデルや、本能モデル、成長モ
デルの値(状態情報)によっては、ステートの遷移先は
異なるものとなる。
【0045】その結果、行動決定機構部52は、例え
ば、状態情報が、「怒っていない」こと、および「お腹
がすいていない」ことを表している場合において、状態
認識情報が、「目の前に手のひらが差し出された」こと
を表しているときには、目の前に手のひらが差し出され
たことに応じて、「お手」という行動をとらせる行動指
令情報を生成し、これを、姿勢遷移機構部53に送出す
る。
【0046】また、行動決定機構部52は、例えば、状
態情報が、「怒っていない」こと、および「お腹がすい
ている」ことを表している場合において、状態認識情報
が、「目の前に手のひらが差し出された」ことを表して
いるときには、目の前に手のひらが差し出されたことに
応じて、「手のひらをぺろぺろなめる」ような行動を行
わせるための行動指令情報を生成し、これを、姿勢遷移
機構部53に送出する。
【0047】また、行動決定機構部52は、例えば、状
態情報が、「怒っている」ことを表している場合におい
て、状態認識情報が、「目の前に手のひらが差し出され
た」ことを表しているときには、状態情報が、「お腹が
すいている」ことを表していても、また、「お腹がすい
ていない」ことを表していても、「ぷいと横を向く」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部53に送出する。
【0048】なお、行動決定機構部52では、上述した
ように、ロボットの頭部や手足等を動作させる行動指令
情報の他、ロボットに発話を行わせる行動指令情報も生
成される。ロボットに発話を行わせる行動指令情報は、
音声合成部55に供給されるようになっており、音声合
成部55に供給される行動指令情報には、音声合成部5
5に生成させる合成音に対応するテキスト(あるいは、
音韻情報を含む発音記号など)が含まれる。そして、音
声合成部55は、行動決定部52から行動指令情報を受
信すると、その行動指令情報に含まれるテキストに基づ
き、合成音を生成し、スピーカ18に供給して出力させ
る。これにより、スピーカ18からは、例えば、ロボッ
トの鳴き声、さらには、「お腹がすいた」等のユーザへ
の各種の要求、「何?」等のユーザの呼びかけに対する
応答その他の音声出力が行われる。なお、行動決定機構
部52は、音声合成部55から合成音を出力させる場合
には、下顎部4Aを開閉させる行動指令情報を、必要に
応じて生成し、姿勢遷移機構部53に出力する。この場
合、合成音の出力に同期して、下顎部4Aが開閉し、ユ
ーザに、ロボットがしゃべっているかのような印象を与
えることができる。
【0049】姿勢遷移機構部53は、行動決定機構部5
2から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部54に送出す
る。
【0050】制御機構部54は、姿勢遷移機構部53か
らの姿勢遷移情報にしたがって、アクチュエータ3AA
1乃至5A1および5A2を駆動するための制御信号を生
成し、これを、アクチュエータ3AA1乃至5A1および
5A2に送出する。これにより、アクチュエータ3AA1
乃至5A1および5A2は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。
【0051】次に、図4は、図3の音声合成部55の構
成例を示している。
【0052】擬音語/擬態語解析部21には、行動決定
機構部52が出力する、音声合成の対象とするテキスト
を含む行動指令情報が供給されるようになっており、擬
音語/擬態語解析部21は、行動指令情報の中のテキス
トを解析することにより、そのテキストに、擬音語また
は擬態語が含まれているかどうかを認識し、含まれてい
る場合には、テキストから、その擬音語または擬態語を
抽出する。即ち、擬音語/擬態語解析部21は、行動指
令情報に含まれるテキストを、形態素解析部22に供給
し、そのテキストの形態素解析を行わせる。そして、擬
音語/擬態語解析部21は、その形態素解析結果に基づ
いて、テキストに含まれる擬音語または擬態語を抽出す
る。
【0053】さらに、擬音語/擬態語解析部21は、テ
キストに対して、そこに含まれる擬音語または擬態語を
識別するためのタグ(以下、適宜、識別タグという)を
付加(挿入)し、規則合成部24に供給するとともに、
テキストから抽出した擬音語または擬態語に対しても、
テキストに付加したのと同様の識別タグを付加して、擬
音語/擬態語処理部27に供給する。
【0054】形態素解析部22は、擬音語/擬態語解析
部21からテキストを受信し、そのテキストの形態素解
析を、辞書解析文法データベース23を参照しながら行
う。
【0055】即ち、辞書解析文法データベース23に
は、各単語の品詞情報や、読み、アクセント等の情報が
記述された単語辞書と、その単語辞書に記述された単語
について、単語連鎖に関する制約等の文法規則が記憶さ
れている。形態素解析部22は、この単語辞書および文
法規則に基づいて、擬音語/擬態語解析部21からのテ
キストについて、形態素解析(さらには、必要に応じて
や構文解析等)を行い、その形態素解析結果を、擬音語
/擬態語解析部21に供給する。
【0056】なお、形態素解析部22によるテキストの
形態素解析結果は、擬音語/擬態語解析部21に限ら
ず、その他のブロックでも、必要に応じて参照すること
ができるようになっている。
【0057】規則合成部24は、自然言語処理として
の、例えば規則音声合成を行う。即ち、規則合成部24
は、まず、擬音語/擬態語解析部21から供給されるテ
キストについて規則音声合成を行うのに必要な情報を、
形態素解析部22による形態素解析結果等に基づいて抽
出する。ここで、規則音声合成に必要な情報としては、
例えば、ポーズの位置や、アクセントおよびイントネー
ションを制御するための情報その他の韻律情報や、各単
語の発音等の音韻情報などがある。
【0058】さらに、規則合成部24は、音素片データ
ベース25を参照して、擬音語/擬態語解析部21から
のテキストに対応する合成音の音声データ(ディジタル
データ)を生成する。
【0059】即ち、音素片データベース25には、例え
ば、CV(Consonant, Vowel)や、VCV、CVC等の形
で音素片データが記憶されており、規則合成部24は、
先に得た韻律情報や音韻情報に基づいて、必要な音素片
データを接続し、さらに、ポーズ、アクセント、イント
ネーション等を適切に付加するように、ピッチ周波数の
時間変化のパターン(ピッチパターン)や、パワーの時
間変化のパターン(パワーパターン)を設定すること
で、擬音語/擬態語解析部21からのテキストに対応す
る合成音データを生成する。
【0060】また、規則合成部24は、後述する擬音語
/擬態語処理部27から特に指示がない限りは、デフォ
ルトの音声タイプを設定し、その音声タイプに対応する
音質や韻律の合成音データを生成するが、擬音語/擬態
語処理部27から音声タイプの指示があった場合には、
その指示のあった音声タイプを設定し、その音声タイプ
にしたがって、規則音声合成に用いる合成パラメータ
(韻律や音質を制御するパラメータ)を設定して、合成
音データを生成する。
【0061】即ち、規則合成部24は、設定した音声タ
イプにしたがい、例えば、合成音データの生成に用いる
音素片データの周波数特性等を、例えば、高域強調や低
域強調、イコライジング等を行うことによって変更し、
その周波数特性を変更した音素片データを接続すること
で、合成音データを生成する。これにより、規則合成部
24では、男性または女性らしい合成音データや、子供
っぽい合成音データ、楽しげなまたは悲しげな感じの合
成音データ等の各種の音声タイプの合成音データが生成
される。また、規則合成部24は、設定した音声タイプ
にしたがい、ピッチパターンやパワーパターンを決定
し、そのピッチパターンやパワーパターンを有する合成
音データを生成する。
【0062】規則合成部24で生成された合成音データ
は、音声融合部26に供給される。なお、規則合成部2
4では、擬音語/擬態語解析部21から供給される識別
タグ付きのテキストに対応する合成音データが生成され
るが、この合成音データには、テキストに付加されてい
る識別タグが、そのまま含められる。従って、規則合成
部24が音声融合部26に供給する合成音データには、
識別タグが付加されている。この識別タグは、上述した
ように、擬音語または擬態語を識別するためのものであ
り、従って、合成音データに付加される識別タグによれ
ば、合成音データとしての波形データのうちの、擬音語
または擬態語に対応する部分を認識することができる。
【0063】音声融合部26には、規則合成部24から
合成音データが供給される他、擬音語/擬態語処理部2
7から効果音の音響データが、必要に応じて供給される
ようになっている。音声融合部26は、合成音データと
音響データとを融合し、最終的な合成音データを得て出
力する。
【0064】即ち、擬音語/擬態語処理部27から音声
融合部26に供給される効果音の音響データは、規則合
成部24が出力する合成音データに対応するテキストか
ら抽出された擬音語または擬態語に対応するものであ
り、音声融合部26は、その音響データを、合成音デー
タの全体または一部に重畳する。あるいは、音声融合部
26は、合成音データの、擬音語または擬態語に対応す
る部分を、音響データに置換する。
【0065】擬音語/擬態語処理部27は、擬音語/擬
態語解析部21から供給される擬音語または擬態語を処
理する。
【0066】即ち、擬音語/擬態語処理部27は、例え
ば、擬音語または擬態語に対応する効果音に対応する音
響データを生成し、音声融合部26に供給する。
【0067】具体的には、擬音語/擬態語処理部27
は、例えば、効果音データベース28を参照し、その効
果音データベース28から、擬音語/擬態語解析部21
から供給される擬音語または擬態語に対応する効果音の
音響データを読み出す。
【0068】即ち、効果音データベース28は、擬音語
または擬態語と、その擬音語または擬態語を表現する効
果音の音響データとを対応付けて記憶しており、擬音語
/擬態語処理部27は、効果音データベース28から、
擬音語/擬態語解析部21から供給される擬音語または
擬態語に対応付けられている効果音の音響データを読み
出す。
【0069】あるいは、また、擬音語/擬態語処理部2
7は、効果音生成部30を制御することにより、擬音語
/擬態語解析部21から供給される擬音語または擬態語
を表現する擬似的な効果音の音響データを生成させる。
【0070】なお、擬音語/擬態語処理部27は、上述
のようにして生成した音響データを、その音響データ
に、擬音語/擬態語解析部21からの擬音語または擬態
語に付加されている識別タグとともに、音声融合部26
に供給する。
【0071】また、擬音語/擬態語処理部27は、上述
のように、擬音語または擬態語に対応する音響データを
生成する他、規則合成部24が生成する合成音の音声タ
イプを、音声タイプデータベース29を参照することで
決定し、その音声タイプによる合成音を生成するよう
に、規則合成部24に対して指示する。
【0072】即ち、音声タイプデータベース29は、例
えば、擬音語または擬態語と、その擬音語または擬態語
が表す意味を反映する感じの合成音の音声タイプとを対
応付けて記憶しており、擬音語/擬態語処理部27は、
音声タイプデータベース29から、擬音語/擬態語解析
部21から供給される擬音語または擬態語に対応付けら
れている音声タイプを読み出し、規則合成部24に供給
する。
【0073】ここで、例えば、テキスト「わくわくす
る」における擬態語「わくわく」については、この擬態
語「わくわく」は、楽しさやうれしさを表現するもので
あり、従って、音声タイプデータベース29では、擬態
語「わくわく」には、合成音が、はずんだ感じとなるよ
うな音声タイプ(例えば、合成音の高域が強調され、抑
揚が大きくなるようなもの)が対応付けられる。
【0074】効果音生成部30は、擬音語/擬態語処理
部27の制御にしたがい、擬似音データベース31を参
照することで、擬音語または擬態語を表現する擬似的な
効果音の音響データを生成する。
【0075】即ち、擬似音データベース31は、擬音語
もしくは擬態語、またはその一部の文字列と、効果音を
生成するための効果音情報とを対応付けて記憶してお
り、効果音生成部30は、擬音語/擬態語解析部21が
出力する擬音語もしくは擬態語の全体、またはその一部
の文字列と対応付けられている効果音情報を、擬似音デ
ータベース31から読み出す。さらに、効果音生成部3
0は、その効果音情報に基づいて、擬音語/擬態語解析
部21が出力する擬音語または擬態語を表現する擬似的
な効果音の音響データを生成し、擬音語/擬態語処理部
27に供給する。
【0076】以上のように構成される音声合成部55で
は、行動決定機構部52(図3)から供給される行動指
令情報に含まれるテキストから、擬音語または擬態語を
抽出する前処理、テキストから抽出された擬音語または
擬態語を処理する擬音語/擬態語処理、およびその擬音
語/擬態語処理の処理結果を用いて、行動指令情報に含
まれるテキストに対応する合成音を生成する音声合成処
理が行われる。
【0077】そこで、まず、図5のフローチャートを参
照して、前処理について説明する。
【0078】擬音語/擬態語解析部21に対し、行動決
定機構部52(図3)から、音声合成の対象とするテキ
ストを含む行動指令情報が供給されると、擬音語/擬態
語解析部21は、行動決定機構部52からの行動指令情
報を受信し、その行動指令情報に含まれるテキストを、
形態素解析部22に供給して、形態素解析を要求する。
【0079】これにより、形態素解析部22は、ステッ
プS1において、擬音語/擬態語解析部21からのテキ
ストの形態素解析を行い、その形態素解析結果を、擬音
語/擬態語解析部21に供給する。擬音語/擬態語解析
部21は、形態素解析部22からの形態素解析結果を受
信し、ステップS2において、その形態素解析結果に基
づき、テキストに、擬音語または擬態語が含まれている
かどうかを判定する。ステップS2において、テキスト
に、擬音語または擬態語が含まれていないと判定された
場合、ステップS3をスキップして、ステップS4に進
み、擬音語/擬態語解析部21は、行動指令情報に含ま
れていたテキストを、そのまま規則合成部24に出力
し、前処理を終了する。なお、この場合は、後述する音
声合成処理(図8)において、従来の場合と同様の、テ
キストに対応する合成音が生成される。
【0080】また、ステップS2において、テキスト
に、擬音語または擬態語が含まれていると判定された場
合、ステップS3に進み、擬音語/擬態語解析部21
は、テキストから、擬音語または擬態語を抽出し、識別
タグを付加して、擬音語/擬態語処理部27に出力す
る。
【0081】そして、ステップS4に進み、擬音語/擬
態語解析部21は、テキストに対して、そこに含まれる
擬音語または擬態語を認識することができるように、識
別タグを付加し、規則合成部24に供給して、前処理を
終了する。
【0082】以上のような前処理によれば、行動指令情
報に含まれるテキストが、例えば、「ビールをなみなみ
と注いで下さい。」である場合には、擬音語/擬態語解
析部21では、擬態語「なみなみ」が抽出され、識別タ
グが付加された擬態語「<Pmix1>なみなみ」が、擬音語
/擬態語処理部27に供給される。さらに、擬音語/擬
態語解析部21では、識別タグが付加されたテキスト
「ビールを<Pmix1>なみなみ</Pmix1>と注いで下さ
い。」が、規則合成部24に供給される。
【0083】ここで、<>で挟まれた部分が識別タグであ
り、上述の識別タグ<Pmix1>における先頭のPは、擬音語
または擬態語の影響を、テキストに対応する合成音デー
タにおける擬音語または擬態語の部分だけに及ぼすこと
を意味する。従って、識別タグの先頭がPである場合に
は、音声融合部26において、例えば、テキストに対応
する合成音データの擬音語または擬態語の部分だけに、
その擬音語または擬態語に対応する効果音の音響データ
が反映される。
【0084】一方、擬音語または擬態語の影響を、テキ
ストに対応する合成音データの全体に及ぼす場合には、
識別タグの先頭は、例えば、Sとされる。従って、例え
ば、識別タグが、例えば、<Smix1>である場合には、音
声融合部26において、例えば、テキストに対応する合
成音データの全体に、そのテキストに含まれる擬音語ま
たは擬態語に対応する効果音の音響データが重畳され
る。
【0085】識別タグ<Pmix1>のPの後のmixは、音声融
合部26において、テキストに対応する合成音データ
に、そのテキストに含まれる擬音語または擬態語に対応
する効果音の音響データを重畳することを意味する。な
お、音声融合部26では、テキストに対応する合成音デ
ータの擬音語または擬態語の部分を、その擬音語または
擬態語に対応する効果音の音響データに置換することも
可能であり、この場合、識別タグとしては、上述のmix
に替えてrepが使用される。即ち、識別タグが、例え
ば、<Prep1>である場合には、音声融合部26では、テ
キストに対応する合成音データの擬音語または擬態語の
部分が、その擬音語または擬態語に対応する効果音の音
響データに置換される。
【0086】識別タグ<Pmix1>の最後に付されている数
字の1は、識別タグが付加された擬音語または擬態語に
付されるユニークな番号であり、テキストに含まれる擬
音語または擬態語に対して、例えば、1からのシーケン
シャルな数字が使用されるようになっている。従って、
テキストの複数の擬音語または擬態語が含まれる場合に
は、その先頭からの擬音語または擬態語に対して、<Pmi
x1>,<Pmix2>,・・・のように、数字がシーケンシャルに
増加していく識別タグが用いられる。
【0087】また、擬音語/擬態語解析部21におい
て、テキストに付される識別タグ<Pmix1>は、擬音語ま
たは擬態語の開始位置を表すのに対して、識別タグ</Pm
ix1>は、その擬音語または擬態語の終了位置を表す。
【0088】以上から、行動指令情報に含まれるテキス
トが、例えば、「うれしくてワクワクする。」である場
合には、擬音語/擬態語解析部21では、擬態語「ワク
ワク」が抽出される。さらに、この場合、音声融合部2
6において、例えば、テキストに対応する合成音データ
の擬音語または擬態語の部分だけに、その擬音語または
擬態語に対応する効果音の音響データが重畳させるとき
には、擬音語/擬態語解析部21では、合成音データの
擬音語または擬態語の部分だけに、その擬音語または擬
態語に対応する効果音の音響データを反映させることを
表すP、およびその音響データを合成音データに重畳す
ることを表すmixを用いた識別タグ<Pmix1>が付加された
擬態語「<Pmix1>ワクワク」が生成され、擬音語/擬態
語処理部27に供給される。さらに、擬音語/擬態語解
析部21では、テキスト「うれしくてワクワクする。」
中の擬態語「ワクワク」の開始位置と終了位置に、それ
ぞれ識別タグ<Pmix1>と</Pmix1>が付加されたテキスト
「うれしくて<Pmix1>ワクワク</Pmix1>する。」が生成
され、規則合成部24に供給される。
【0089】また、行動指令情報に含まれるテキスト
が、例えば、「彼は手をパンパンたたいた。」である場
合には、擬音語/擬態語解析部21では、擬音語「パン
パン」が抽出される。さらに、この場合、音声融合部2
6において、例えば、テキストに対応する合成音データ
の擬音語または擬態語の部分だけを、その擬音語または
擬態語に対応する効果音の音響データに置換させるとき
には、擬音語/擬態語解析部21では、合成音データの
擬音語または擬態語の部分だけに、その擬音語または擬
態語に対応する効果音の音響データを反映させることを
表すP、および合成音データの擬音語「パンパン」の部
分を、その擬音語「パンパン」に対応する効果音の音響
データに置換することを表すrepを用いた識別タグ<Prep
1>が付加された擬音語「<Prep1>パンパン」が生成さ
れ、擬音語/擬態語処理部27に供給される。さらに、
擬音語/擬態語解析部21では、テキスト「彼は手をパ
ンパンたたいた。」中の擬音語「パンパン」の開始位置
と終了位置に、それぞれ識別タグ<Prep1>と</Prep1>が
付加されたテキスト「彼は手を<Prep1>パンパン</Prep1
>たたいた。」が生成され、規則合成部24に供給され
る。
【0090】なお、擬音語等に対応する効果音の音響デ
ータを、合成音データの擬音語等の部分だけに反映させ
るのか、または合成音データの全体に反映させるのかに
関する情報は、例えば、あらかじめ設定しておいたり、
あるいは、行動決定機構部52から供給される行動指令
情報に含めておくようにすることが可能である。さら
に、擬音語等に対応する効果音の音響データを、合成音
データの擬音語等の部分だけに反映させるのか、または
合成音データの全体に反映させるのかは、ユーザに設定
させたり、また、擬音語等の前後の単語に基づいて設定
することも可能である。音響データを、合成音データに
重畳するのか、または合成音データの一部と置換するの
かについても同様である。
【0091】次に、図6のフローチャートを参照して、
擬音語/擬態語処理について説明する。
【0092】擬音語/擬態語処理は、擬音語/擬態語解
析部21から擬音語/擬態語処理部27に対して、識別
タブ付きの擬音語または擬態語が送信されることによっ
て開始され、まず最初に、ステップS11において、擬
音語/擬態語処理部27が、擬音語/擬態語解析部21
から送信されてくる、識別タグ付きの擬音語または擬態
語を受信し、ステップS12に進む。
【0093】ステップS12では、擬音語/擬態語処理
部27が、効果音データベース28を検索し、ステップ
S13に進む。ステップS13では、擬音語/擬態語処
理部27が、ステップS12における効果音データベー
ス28の検索の結果、ステップS11で受信した、擬音
語/擬態語解析部21からの擬音語または擬態語を検出
することができたか、即ち、効果音データベース28
に、擬音語/擬態語解析部21からの擬音語または擬態
語が登録されているかどうかを判定する。
【0094】ステップS13において、効果音データベ
ース28に、擬音語/擬態語解析部21からの擬音語ま
たは擬態語が登録されていると判定された場合、ステッ
プS14に進み、擬音語/擬態語処理部27は、擬音語
/擬態語解析部21からの擬音語または擬態語に対応付
けられている効果音の音響データを、効果音データベー
ス28から読み出し、その音響データに、擬音語/擬態
語解析部21からの擬音語または擬態語に付加されてい
た識別タグを付加する。さらに、擬音語/擬態語処理部
27は、その識別タグ付きの音響データを、音声融合部
26に出力し、擬音語/擬態語処理を終了する。
【0095】従って、例えば、効果音データベース28
に、擬態語「なみなみ」と、効果音「ゴボゴボッ」の音
響データとが対応付けられて登録されている場合におい
て、擬音語/擬態語解析部21から擬音語/擬態語処理
部27に対して、識別タグ付きの擬態語「なみなみ」が
供給されたときには、擬音語/擬態語処理部27は、効
果音データベース28から、擬態語「なみなみ」に対応
付けられている効果音「ゴボゴボッ」の音響データを読
み出し、擬態語「なみなみ」に付加されていた識別タグ
とともに、音声融合部26に供給する。
【0096】一方、ステップS13において、効果音デ
ータベース28に、擬音語/擬態語解析部21からの擬
音語または擬態語(以下、適宜、注目擬音語等という)
が登録されていないと判定された場合、ステップS15
に進み、擬音語/擬態語処理部27は、合成音データの
音声タイプを指示するかどうかを判定する。
【0097】ここで、合成音データの音声タイプを指示
するかどうかに関する情報は、例えば、ユーザがあらか
じめ設定することができ、あるいは、行動指令情報に含
めておくことができ、ステップS13における判定処理
は、その情報に基づいて行われる。
【0098】ステップS15において、合成音データの
音声タイプを指示すると判定された場合、ステップS1
6に進み、擬音語/擬態語処理部27は、音声タイプデ
ータベース29を参照することにより、注目擬音語等に
対応付けられている音声タイプを、音声タイプデータベ
ース29から読み出す。さらに、擬音語/擬態語処理部
27は、その音声タイプをよる合成音データの生成を指
示する指示信号を、その音声タイプとともに、規則合成
部24に供給し、擬音語/擬態語処理を終了する。
【0099】従って、例えば、音声タイプデータベース
29に、擬態語「ワクワク」と、抑揚の大きい音声タイ
プとが対応付けられて登録されている場合において、擬
音語/擬態語解析部21から擬音語/擬態語処理部27
に対して、識別タグ付きの擬態語「ワクワク」が供給さ
れたときには、擬音語/擬態語処理部27は、音声タイ
プデータベース29から、擬態語「ワクワク」に対応付
けられている、抑揚の大きい音声タイプを読み出し、そ
の音声タイプを指示する指示信号を、規則合成部24に
供給する。
【0100】なお、音声タイプデータベース29に、注
目擬音語等が登録されていない場合には、擬音語/擬態
語処理部27は、規則合成部24に対して、例えば、デ
フォルトの音声タイプを指示する指示信号を供給する。
【0101】一方、ステップS15において、合成音デ
ータの音声タイプを指示しないと判定された場合、ステ
ップS17に進み、擬音語/擬態語処理部27は、注目
擬音語等の効果音として、擬似的に生成した効果音(以
下、適宜、擬似効果音という)を使用するかどうかを判
定する。
【0102】ここで、注目擬音語等の効果音として、擬
似効果音を使用するかどうかに関する情報も、例えば、
合成音データの音声タイプを指示するかどうかに関する
情報と同様に、ユーザがあらかじめ設定することがで
き、あるいは、行動指令情報に含めておくことができ、
ステップS17における判定処理は、その情報に基づい
て行われる。
【0103】ステップS17において、注目擬音語等の
効果音として、擬似効果音を使用すると判定された場
合、ステップS18に進み、擬音語/擬態語処理部27
は、効果音生成部30を制御することにより、注目擬音
語等の擬似効果音の音響データを生成させる。
【0104】即ち、この場合、効果音生成部30は、擬
似音データベース31を参照することにより、注目擬音
語等の擬似効果音の音響データを生成する。
【0105】ここで、擬似音データベース31は、例え
ば、図7に示すように、擬音語もしくは擬態語の全体、
またはその一部の文字列と、擬似効果音を生成するため
の効果音情報とを対応付けて記憶している。図7の実施
の形態においては、擬似効果音を生成するための効果音
情報として、その擬似効果音の中心周波数、残響時間、
周波数揺らぎ、発生回数、発生間隔が記憶されている。
【0106】従って、例えば、擬音語/擬態語解析部2
1から擬音語/擬態語処理部27に対して、識別タグ付
きの擬音語「パンパン」が供給されたときには、効果音
生成部30は、擬似音データベース30において、擬音
語「パンパン」の一部の文字列「パン」に対応付けられ
ている効果音情報としての中心周波数「1500Hz」、残響
時間「200ms」、周波数揺らぎ「中」、発生回数「1」、
発生間隔「500ms」を認識する。そして、効果音生成部
30は、そのような効果音情報にしたがい、擬音語「パ
ンパン」の擬似効果音となる衝突減衰音の音響データを
生成し、擬音語/擬態語処理部27に供給する。なお、
擬似効果音の音響データの生成にあたっては、例えば、
正弦波等を用いることができる。
【0107】擬音語/擬態語処理部27は、効果音生成
部30から擬似効果音の音響データを受信すると、その
音響データに、注目擬似音等に付加されていた識別タグ
を付加し、その識別タグ付きの音響データを、音声融合
部26に出力して、擬音語/擬態語処理を終了する。
【0108】次に、図8のフローチャートを参照して、
音声合成処理について説明する。
【0109】音声合成処理は、擬音語/擬態語解析部2
1から規則合成部24に対して、テキストが送信される
ことによって開始され、まず最初に、ステップS21に
おいて、規則合成部24が、擬音語/擬態語解析部21
から送信されてくるテキストを受信し、ステップS22
に進む。
【0110】ステップS22では、規則合成部24が、
擬音語/擬態語処理部27から音声タイプを指示する指
示信号が送信されてきたかどうか、即ち、音声タイプの
指示があったかどうかを判定する。
【0111】ステップS22において、音声タイプの指
示がないと判定された場合、ステップS23に進み、規
則合成部24は、デフォルトの音声タイプを設定し、ス
テップS25に進む。
【0112】また、ステップS22において、音声タイ
プの指示があったと判定された場合、ステップS24に
進み、規則合成部24は、その指示された音声タイプを
設定し、ステップS25に進む。
【0113】ステップS25では、規則合成部24は、
規則音声合成を行うことにより、ステップS23または
S24で設定した音声タイプの音質や韻律による、擬音
語/擬態語解析部21からのテキストに対応する合成音
データを生成する。
【0114】ここで、音韻情報を、ローマ字で表すこと
とすると、擬音語/擬態語解析部21から規則合成部2
4に供給されるテキストが、例えば、「ビールを<Pmix1
>なみなみ</Pmix1>と注いで下さい。」である場合に
は、規則合成部24では、音韻情報「bi:ruwo<Pmix1>na
minami</Pmix1>to tu'idekudasai」に対応する合成音デ
ータが生成される。なお、音韻情報において、:は、長
音を表し、'はアクセントの位置を表す。また、規則合
成部24は、識別タグが表す擬音語または擬態語の区間
を認識することができるように、合成音データを生成す
る。
【0115】さらに、擬音語/擬態語解析部21から規
則合成部24に供給されるテキストが、例えば、「うれ
しくて<Pmix1>ワクワク</Pmix1>する。」である場合に
おいて、擬音語/擬態語処理部27から規則合成部24
に対して、抑揚の大きい音声タイプが指示されたときに
は、規則合成部24は、「うれしくて<Pmix1>ワクワク<
/Pmix1>する。」のうちの、注目擬音語等「ワクワク」
については、抑揚の大きい韻律となり、注目擬音語等
「ワクワク」を除く「うれしくて」と「する。」につい
ては、デフォルトの韻律となる合成音データを生成す
る。なお、注目擬音語等「ワクワク」の識別タグが、<
Smix1>である場合には、「うれしくてワクワクす
る。」全体について、抑揚の大きい韻律の合成音データ
が生成される。
【0116】規則合成部24がステップS25において
生成した合成音データは、音声融合部26に供給され、
その後、ステップS25からS26に進み、音声融合部
26は、擬音語/擬態語処理部27から、注目擬音語等
に対応する効果音の音響データが送信されてきたかどう
かを判定する。
【0117】ステップS26において、音響データが送
信されてきていないと判定された場合、ステップS27
をスキップして、ステップS28に進み、音声融合部2
6は、規則合成部24からの合成音データを、そのま
ま、スピーカ18に供給して、音声合成処理を終了す
る。
【0118】従って、この場合、スピーカ18からは、
規則合成部24で生成された合成音データ(に対応する
合成音)がそのまま出力される。
【0119】但し、この場合、擬音語/擬態語処理部2
7において、音声タイプが指示されているときには、ス
ピーカ18から出力される合成音は、その音声タイプ、
即ち、注目擬音語等に対応する音声タイプによる音質や
韻律を有するものとなる。従って、その合成音の音質や
韻律は、注目擬音語等の意味を表現するようなものとな
る。
【0120】一方、ステップS26において、音響デー
タが送信されてきたと判定された場合、ステップS27
に進み、音声融合部26は、その音響データと、規則合
成部24からの合成音データとを融合し、ステップS2
8に進む。
【0121】ステップS28では、音声融合部26は、
ステップS27において音響データと合成音データとを
融合して得られる合成音データを、スピーカ18に供給
し、音声合成処理を終了する。
【0122】従って、例えば、規則合成部24におい
て、テキスト「ビールを<Pmix1>なみなみ</Pmix1>と注
いで下さい。」に対応する合成音データが生成されると
ともに、擬音語/擬態語処理部27において、そのテキ
スト中の擬態語「<Pmix1>なみなみ」に対応する効果音
「ゴボゴボッ」の音響データが生成された場合には、音
声融合部26は、識別タグ<Pmix1>における先頭のPとそ
れに続くmixにしたがい、テキスト「ビールをなみなみ
と注いで下さい。」に対応する合成音データの「なみな
み」の部分に、効果音「ゴボゴボッ」の音響データを重
畳する。その結果、スピーカ18からは、「ビールをな
みなみと注いで下さい。」という合成音であって、その
「なみなみ」の部分で、「ゴボゴボッ」という効果音が
重畳されたものが出力される。
【0123】また、例えば、規則合成部24において、
「彼は手を<Prep1>パンパン</Prep1>たたいた。」に対
応する合成音データが生成されるとともに、効果音生成
部30において、そのテキスト中の擬音語「<Prep1>パ
ンパン」に対応する擬似効果音「パンパン」の音響デー
タが生成された場合には、音声融合部26は、識別タグ
<Prep1>における先頭のPとそれに続くrepにしたがい、
テキスト「彼は手をパンパンたたいた。」に対応する合
成音データの「パンパン」の部分を、擬似効果音「パン
パン」の音響データに置換する。その結果、スピーカ1
8からは、「彼は手をパンパンたたいた。」という合成
音であって、その「パンパン」の部分が擬似効果音に置
換されたものが出力される。
【0124】なお、音声融合部26において、合成音デ
ータにおける、どの部分が、擬音語または擬態語に対応
するかは、合成音データ中の識別タグに基づいて認識さ
れる。
【0125】また、テキストに複数の擬音語または擬態
語が含まれる場合には、音声融合部26では、擬音語/
擬態語処理部27が出力する音響データが、規則合成部
24が出力する合成音データにおける複数の擬音語また
は擬態語のうちのいずれに対応するかは、音響データと
合成音データに付加されている識別タグを構成する数字
に基づいて認識される。
【0126】以上のように、テキストから擬音語または
擬態語を抽出して処理し、その擬音語または擬態語の処
理結果を用いて、音声合成を行うようにしたので、その
擬音語または擬態語の意味を表現するような「音」を用
いた、効果的な合成音を得ることができる。
【0127】以上、本発明を、エンターテイメント用の
ロボット(疑似ペットとしてのロボット)に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、音声合成装置を搭載した対話システムその他に広く
適用することが可能である。また、本発明は、現実世界
のロボットだけでなく、例えば、液晶ディスプレイ等の
表示装置に表示される仮想的なロボットにも適用可能で
ある。
【0128】なお、本実施の形態においては、上述した
一連の処理を、CPU10Aにプログラムを実行させる
ことにより行うようにしたが、一連の処理は、それ専用
のハードウェアによって行うことも可能である。
【0129】ここで、プログラムは、あらかじめメモリ
10B(図2)に記憶させておく他、フレキシブルディ
スク、CD-ROM(Compact Disc Read Only Memory),MO(Ma
gneto optical)ディスク,DVD(Digital Versatile Dis
c)、磁気ディスク、半導体メモリなどのリムーバブル記
録媒体に、一時的あるいは永続的に格納(記録)してお
くことができる。そして、このようなリムーバブル記録
媒体を、いわゆるパッケージソフトウエアとして提供
し、ロボット(メモリ10B)にインストールするよう
にすることができる。
【0130】また、プログラムは、ダウンロードサイト
から、ディジタル衛星放送用の人工衛星を介して、無線
で転送したり、LAN(Local Area Network)、インターネ
ットといったネットワークを介して、有線で転送し、メ
モリ10Bにインストールすることができる。
【0131】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ10Bに、容易にインストールすることが
できる。
【0132】なお、本明細書において、CPU10Aに
各種の処理を行わせるためのプログラムを記述する処理
ステップは、必ずしもフローチャートとして記載された
順序に沿って時系列に処理する必要はなく、並列的ある
いは個別に実行される処理(例えば、並列処理あるいは
オブジェクトによる処理)も含むものである。
【0133】また、プログラムは、1のCPUにより処
理されるものであっても良いし、複数のCPUによって
分散処理されるものであっても良い。
【0134】次に、図4の音声合成部55は、専用のハ
ードウェアにより実現することもできるし、ソフトウェ
アにより実現することもできる。音声合成装置55をソ
フトウェアによって実現する場合には、そのソフトウェ
アを構成するプログラムが、汎用のコンピュータ等にイ
ンストールされる。
【0135】そこで、図9は、音声合成部55を実現す
るためのプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
【0136】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク105やROM1
03に予め記録しておくことができる。
【0137】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM,MOディスク,DVD、磁気ディス
ク、半導体メモリなどのリムーバブル記録媒体111
に、一時的あるいは永続的に格納(記録)しておくこと
ができる。このようなリムーバブル記録媒体111は、
いわゆるパッケージソフトウエアとして提供することが
できる。
【0138】なお、プログラムは、上述したようなリム
ーバブル記録媒体111からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN、インターネットといったネットワークを介
して、コンピュータに有線で転送し、コンピュータで
は、そのようにして転送されてくるプログラムを、通信
部108で受信し、内蔵するハードディスク105にイ
ンストールすることができる。
【0139】コンピュータは、CPU(Central Processing
Unit)102を内蔵している。CPU102には、バス1
01を介して、入出力インタフェース110が接続され
ており、CPU102は、入出力インタフェース110を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部107が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)103に格納されているプログラムを実行
する。あるいは、また、CPU102は、ハードディスク
105に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部108で受信されてハー
ドディスク105にインストールされたプログラム、ま
たはドライブ109に装着されたリムーバブル記録媒体
111から読み出されてハードディスク105にインス
トールされたプログラムを、RAM(Random Access Memor
y)104にロードして実行する。これにより、CPU10
2は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU102は、その処理結果を、必要に応
じて、例えば、入出力インタフェース110を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部106から出力、あるいは、通信部108から
送信、さらには、ハードディスク105に記録等させ
る。
【0140】なお、本実施の形態では、行動決定機構部
52が生成するテキストから合成音を生成するようにし
たが、本発明は、あからじめ用意されたテキストから合
成音を生成する場合にも適用可能である。さらに、本発
明は、あらかじめ録音してある音声データを編集して、
目的とする合成音を生成する場合にも適用可能である。
【0141】また、本実施の形態においては、テキスト
に対応する合成音データに、そのテキストに含まれる擬
態語または擬音語に対応する効果音の音響データを反映
させるようにしたが、その他、音響データは、例えば、
テキストの表示に同期して出力するようにすること等が
可能である。
【0142】さらに、擬音語または擬態語に基づく音響
データの使用と、音声タイプの指示については、そのい
ずれかの一方だけを選択して行うこともできるし、その
両方を行うようにすることも可能である。
【0143】
【発明の効果】以上の如く、本発明の言語処理装置およ
び言語処理方法、並びにプログラムによれば、入力デー
タから擬音語または擬態語が抽出され、その擬音語また
は擬態語が処理される。そして、その擬音語または擬態
語の処理結果を用いて、入力データが言語処理される。
従って、例えば、その擬音語または擬態語の意味を表す
ような、効果的な合成音を生成することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したロボットの一実施の形態の外
観構成例を示す斜視図である。
【図2】ロボットの内部構成例を示すブロック図であ
る。
【図3】コントローラ10の機能的構成例を示すブロッ
ク図である。
【図4】音声合成部55の構成例を示すブロック図であ
る。
【図5】音声合成部55による前処理を説明するフロー
チャートである。
【図6】音声合成部55による擬音語/擬態語処理を説
明するフローチャートである。
【図7】擬似音データベース31の記憶内容を示す図で
ある。
【図8】音声合成部55による音声合成処理を説明する
フローチャートである。
【図9】本発明を適用したコンピュータの一実施の形態
の構成例を示すブロック図である。
【符号の説明】
1 頭部ユニット, 4A 下顎部, 10 コントロ
ーラ, 10A CPU, 10B メモリ, 15
マイク, 16 CCDカメラ, 17 タッチセン
サ, 18 スピーカ, 21 擬音語/擬態語解析
部, 22 形態素解析部, 23 辞書解析文法デー
タベース, 24 規則合成部, 25 音素片データ
ベース, 26 音声融合部, 27 擬音語/擬態語
処理部, 28 効果音データベース, 29 音声タ
イプデータベース, 30 効果音生成部, 31 擬
似音データベース, 50 センサ入力処理部, 50
A 音声認識部, 50B 画像認識部, 50C 圧
力処理部, 51 モデル記憶部, 52 行動決定機
構部, 53 姿勢遷移機構部, 54 制御機構部,
55 音声合成部, 101 バス, 102 CPU,
103 ROM, 104 RAM, 105 ハードディ
スク, 106 出力部, 107 入力部,108
通信部, 109 ドライブ, 110 入出力インタ
フェース,111 リムーバブル記録媒体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 新田 朋晃 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 岸 秀樹 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 長谷川 里香 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 武田 正資 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5B091 AB00 BA02 BA12 CB32 CC02 5D045 AA07 AB11

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 入力データを言語処理する言語処理装置
    であって、 前記入力データから擬音語または擬態語を抽出する抽出
    手段と、 前記擬音語または擬態語を処理する擬音語/擬態語処理
    手段と、 前記擬音語または擬態語の処理結果を用いて、前記入力
    データを言語処理する言語処理手段とを備えることを特
    徴とする言語処理装置。
  2. 【請求項2】 前記入力データを形態素解析する形態素
    解析手段をさらに備え、 前記抽出手段は、前記入力データの形態素解析に基づい
    て、前記入力データから擬音語または擬態語を抽出する
    ことを特徴とする請求項1に記載の言語処理装置。
  3. 【請求項3】 前記言語処理手段は、 前記入力データに対応する合成音を生成し、 前記前記擬音語または擬態語の処理結果を用いて、前記
    合成音を処理することを特徴とする請求項1に記載の言
    語処理装置。
  4. 【請求項4】 前記擬音語/擬態語処理手段は、前記擬
    音語または擬態語に対応する効果音を生成し、 前記言語処理手段は、前記合成音と効果音とを融合する
    ことを特徴とする請求項3に記載の言語処理装置。
  5. 【請求項5】 擬音語または擬態語と、所定の効果音と
    を対応付けて記憶している効果音記憶手段をさらに備
    え、 前記擬音語/擬態語処理手段は、前記効果音記憶手段か
    ら、前記抽出手段において抽出された擬音語または擬態
    語と対応付けられている効果音を読み出すことを特徴と
    する請求項4に記載の言語処理装置。
  6. 【請求項6】 擬音語もしくは擬態語、またはその一部
    の文字列と、効果音を生成するための効果音情報とを対
    応付けて記憶している効果音情報記憶手段をさらに備
    え、 前記擬音語/擬態語処理手段は、前記効果音情報に基づ
    いて、前記擬音語または擬態語に対応する効果音を生成
    することを特徴とする請求項4に記載の言語処理装置。
  7. 【請求項7】 前記言語処理手段は、前記合成音に前記
    効果音を重畳し、または前記効果音の一部を前記効果音
    に置換することにより、前記合成音と効果音とを融合す
    ることを特徴とする請求項4に記載の言語処理装置。
  8. 【請求項8】 前記言語処理手段が、前記入力データに
    対応する合成音を生成する場合において、 前記擬音語/擬態語処理手段は、前記擬音語または擬態
    語に基づいて、前記合成音の音声タイプを設定し、 前記言語処理手段は、前記擬音語または擬態語に基づい
    て設定された音声タイプの合成音を生成することを特徴
    とする請求項1に記載の言語処理装置。
  9. 【請求項9】 入力データを言語処理する言語処理方法
    であって、 前記入力データから擬音語または擬態語を抽出する抽出
    ステップと、 前記擬音語または擬態語を処理する擬音語/擬態語処理
    ステップと、 前記擬音語または擬態語の処理結果を用いて、前記入力
    データを言語処理する言語処理ステップとを備えること
    を特徴とする言語処理方法。
  10. 【請求項10】 入力データの言語処理を、コンピュー
    タに行わせるプログラムであって、 前記入力データから擬音語または擬態語を抽出する抽出
    ステップと、 前記擬音語または擬態語を処理する擬音語/擬態語処理
    ステップと、 前記擬音語または擬態語の処理結果を用いて、前記入力
    データを言語処理する言語処理ステップとを備えること
    を特徴とするプログラム。
  11. 【請求項11】 入力データの言語処理を、コンピュー
    タに行わせるプログラムが記録されている記録媒体であ
    って、 前記入力データから擬音語または擬態語を抽出する抽出
    ステップと、 前記擬音語または擬態語を処理する擬音語/擬態語処理
    ステップと、 前記擬音語または擬態語の処理結果を用いて、前記入力
    データを言語処理する言語処理ステップとを備えるプロ
    グラムが記録されていることを特徴とする記録媒体。
JP2001122040A 2001-04-20 2001-04-20 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 Withdrawn JP2002318594A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001122040A JP2002318594A (ja) 2001-04-20 2001-04-20 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体
KR1020027017209A KR20030010736A (ko) 2001-04-20 2002-04-19 언어 처리 장치
PCT/JP2002/003899 WO2002086861A1 (fr) 2001-04-20 2002-04-19 Processeur de langage
US10/311,843 US20040054519A1 (en) 2001-04-20 2002-04-19 Language processing apparatus
CN02801318A CN1461464A (zh) 2001-04-20 2002-04-19 语言处理装置
EP02720509A EP1381027A1 (en) 2001-04-20 2002-04-19 Language processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001122040A JP2002318594A (ja) 2001-04-20 2001-04-20 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
JP2002318594A true JP2002318594A (ja) 2002-10-31

Family

ID=18971816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001122040A Withdrawn JP2002318594A (ja) 2001-04-20 2001-04-20 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US20040054519A1 (ja)
EP (1) EP1381027A1 (ja)
JP (1) JP2002318594A (ja)
KR (1) KR20030010736A (ja)
CN (1) CN1461464A (ja)
WO (1) WO2002086861A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2002423A1 (fr) * 2006-03-29 2008-12-17 France Télécom Systeme de mise en coherence de prononciations
WO2008001500A1 (fr) * 2006-06-30 2008-01-03 Nec Corporation Système de génération de contenus audio, système d'échange d'informations, programme, procédé de génération de contenus audio et procédé d'échange d'informations
CN101808047A (zh) * 2010-02-10 2010-08-18 深圳先进技术研究院 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法
US9286913B2 (en) * 2010-03-30 2016-03-15 Nec Corporation Atmosphere expression word selection system, atmosphere expression word selection method, and program
KR101135198B1 (ko) * 2010-06-23 2012-04-16 세종대학교산학협력단 음성을 이용하여 콘텐츠를 제작하는 방법 및 장치
MY178306A (en) 2013-01-29 2020-10-07 Fraunhofer Ges Forschung Low-frequency emphasis for lpc-based coding in frequency domain
JP6013951B2 (ja) * 2013-03-14 2016-10-25 本田技研工業株式会社 環境音検索装置、環境音検索方法
CN103761963A (zh) * 2014-02-18 2014-04-30 大陆汽车投资(上海)有限公司 包含情感类信息的文本的处理方法
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
WO2018043112A1 (ja) * 2016-08-29 2018-03-08 ソニー株式会社 情報提示装置、および情報提示方法
KR102522867B1 (ko) * 2017-12-18 2023-04-17 주식회사 엘지유플러스 커뮤니케이션 방법 및 장치
US11289067B2 (en) * 2019-06-25 2022-03-29 International Business Machines Corporation Voice generation based on characteristics of an avatar
KR102318101B1 (ko) * 2019-12-31 2021-10-26 국민대학교 산학협력단 특정 상황에 대한 정보를 알리는 알림음 디자인 방법 및 그 방법에 의해 디자인된 알림음

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0679228B2 (ja) * 1987-04-20 1994-10-05 シャープ株式会社 日本語文・音声変換装置
JPH03150599A (ja) * 1989-11-07 1991-06-26 Canon Inc 日本語音節の符号化方式
JP2849504B2 (ja) * 1992-05-29 1999-01-20 シャープ株式会社 自動読書装置
JP3425996B2 (ja) * 1992-07-30 2003-07-14 株式会社リコー ピッチパターン生成装置
JPH0883270A (ja) * 1994-09-14 1996-03-26 Canon Inc 音声合成装置及びその方法
JP2897701B2 (ja) * 1995-11-20 1999-05-31 日本電気株式会社 効果音検索装置
JP3094896B2 (ja) * 1996-03-11 2000-10-03 日本電気株式会社 文章読み上げ方式
JPH10312389A (ja) * 1997-05-13 1998-11-24 Dainippon Screen Mfg Co Ltd 音声データベースシステムおよび記録媒体
JP2000163418A (ja) * 1997-12-26 2000-06-16 Canon Inc 自然言語処理装置及びその方法、及びそのプログラムを格納した記憶媒体
JP2000081892A (ja) * 1998-09-04 2000-03-21 Nec Corp 効果音付加装置および効果音付加方法
JP2001209820A (ja) * 2000-01-25 2001-08-03 Nec Corp 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体

Also Published As

Publication number Publication date
KR20030010736A (ko) 2003-02-05
EP1381027A1 (en) 2004-01-14
CN1461464A (zh) 2003-12-10
WO2002086861A1 (fr) 2002-10-31
US20040054519A1 (en) 2004-03-18

Similar Documents

Publication Publication Date Title
KR100814569B1 (ko) 로봇 제어 장치
JP4150198B2 (ja) 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
US7065490B1 (en) Voice processing method based on the emotion and instinct states of a robot
KR100879417B1 (ko) 음성 출력 장치
JP2003271174A (ja) 音声合成方法、音声合成装置、プログラム及び記録媒体、制約情報生成方法及び装置、並びにロボット装置
JP2002268699A (ja) 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体
JP2002318594A (ja) 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体
US7233900B2 (en) Word sequence output device
JP2002268663A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP2002311981A (ja) 自然言語処理装置および自然言語処理方法、並びにプログラムおよび記録媒体
JP2001212780A (ja) 行動制御装置および行動制御方法、並びに記録媒体
JP2003271172A (ja) 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
JP2002258886A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP2002304187A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP2002318590A (ja) 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
JP4016316B2 (ja) ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP4656354B2 (ja) 音声処理装置および音声処理方法、並びに記録媒体
JP2002318593A (ja) 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体
JP2002189497A (ja) ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム
JP2001212779A (ja) 行動制御装置および行動制御方法、並びに記録媒体
JP2002175091A (ja) 音声合成方法及び装置、並びにロボット装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080701