JP2002318593A - 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 テキストの意味するところを、効果的に表現
する合成音を得る。 【解決手段】 非言語音生成モジュール２１は、テキス
トから、非言語的な音の情報である非言語音情報を抽出
し、非言語音変換モジュール２７は、その非言語音情報
に対応する効果音の音響データを取得する。一方、規則
音声合成モジュール２５は、テキストに対応する合成音
データを生成し、テキスト非言語音融合モジュール２９
は、合成音データの全部または一部に、非言語音情報か
ら得られた音響データを重畳する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、言語処理装置およ
び言語処理方法、並びにプログラムおよび記録媒体に関
し、特に、例えば、テキストから非言語音情報を抽出
し、その非言語音情報を用いて、テキストに対応する合
成音を生成することで、テキストの意味するところを、
効果的に表現する合成音を得ること等ができるようにす
る言語処理装置および言語処理方法、並びにプログラム
および記録媒体に関する。

【０００２】

【従来の技術】例えば、音声合成装置では、入力された
テキストの形態素解析が行われ、その形態素解析結果に
基づいて、入力されたテキストに対応する合成音が生成
される。従って、音声合成装置が出力する合成音は、そ
のテキストの音韻をそのまま表現したものとなる。

【０００３】

【発明が解決しようとする課題】ところで、人どうしの
会話等においては、いわゆる以心伝心や、行間を読むと
いったような形で、実際に言葉として表現されていない
非言語的な音の情報（非言語音情報）がやりとりされ
る。ここで、このような非言語音情報は、言葉にならな
い声や、身ぶり、表情等を媒介として、相手に伝えられ
る。

【０００４】従来の音声合成装置では、このような非言
語音情報を考慮せずに処理が行われていたため、テキス
トによって伝えようとする意図や感情等が現れた合成音
を生成することが困難であった。

【０００５】また、テキストにおいて、例えば、ＢＧＭ
(Back Ground Music)が流れている場面は、そのＢＧＭ
の感じを表す形容詞や、「ＢＧＭが流れている」といっ
た文章で表現されることとなるが、音声合成装置におい
て、そのようなテキストの読み上げを行う場合には、テ
キストに対応する合成音を出力するだけでなく、そのテ
キストで表現されているＢＧＭを実感できるような効果
音等を出力することができれば、合成音に、より臨場感
を持たせることができると考えられる。

【０００６】本発明は、このような状況に鑑みてなされ
たものであり、テキストの意味するところを、効果的に
表現する合成音を得ること等ができるようにするもので
ある。

【０００７】

【課題を解決するための手段】本発明の言語処理装置
は、入力データから、非言語的な音の情報である非言語
音情報を抽出する抽出手段と、非言語音情報を用いて、
入力データを言語処理する言語処理手段とを備えること
を特徴とする。

【０００８】本発明の言語処理方法は、入力データか
ら、非言語的な音の情報である非言語音情報を抽出する
抽出ステップと、非言語音情報を用いて、入力データを
言語処理する言語処理ステップとを備えることを特徴と
する。

【０００９】本発明のプログラムは、入力データから、
非言語的な音の情報である非言語音情報を抽出する抽出
ステップと、非言語音情報を用いて、入力データを言語
処理する言語処理ステップとを備えることを特徴とす
る。

【００１０】本発明の記録媒体は、入力データから、非
言語的な音の情報である非言語音情報を抽出する抽出ス
テップと、非言語音情報を用いて、入力データを言語処
理する言語処理ステップとを備えるプログラムが記録さ
れていることを特徴とする。

【００１１】本発明の言語処理装置および言語処理方
法、並びにプログラムにおいては、入力データから、非
言語的な音の情報である非言語音情報が抽出され、その
非言語音情報を用いて、入力データが言語処理される。

【００１２】

【発明の実施の形態】図１は、本発明を適用したロボッ
トの一実施の形態の外観構成例を示しており、図２は、
その電気的構成例を示している。

【００１３】本実施の形態では、ロボットは、例えば、
犬等の四つ足の動物の形状のものとなっており、胴体部
ユニット２の前後左右に、それぞれ脚部ユニット３Ａ，
３Ｂ，３Ｃ，３Ｄが連結されるとともに、胴体部ユニッ
ト２の前端部と後端部に、それぞれ頭部ユニット４と尻
尾部ユニット５が連結されることにより構成されてい
る。

【００１４】尻尾部ユニット５は、胴体部ユニット２の
上面に設けられたベース部５Ｂから、２自由度をもって
湾曲または揺動自在に引き出されている。

【００１５】胴体部ユニット２には、ロボット全体の制
御を行うコントローラ１０、ロボットの動力源となるバ
ッテリ１１、並びにバッテリセンサ１２および熱センサ
１３からなる内部センサ部１４などが収納されている。

【００１６】頭部ユニット４には、「耳」に相当するマ
イク（マイクロフォン）１５、「目」に相当するＣＣＤ
(Charge Coupled Device)カメラ１６、触覚に相当する
タッチセンサ１７、「口」に相当するスピーカ１８など
が、それぞれ所定位置に配設されている。また、頭部ユ
ニット４には、口の下顎に相当する下顎部４Ａが１自由
度をもって可動に取り付けられており、この下顎部４Ａ
が動くことにより、ロボットの口の開閉動作が実現され
るようになっている。

【００１７】脚部ユニット３Ａ乃至３Ｄそれぞれの関節
部分や、脚部ユニット３Ａ乃至３Ｄそれぞれと胴体部ユ
ニット２の連結部分、頭部ユニット４と胴体部ユニット
２の連結部分、頭部ユニット４と下顎部４Ａの連結部
分、並びに尻尾部ユニット５と胴体部ユニット２の連結
部分などには、図２に示すように、それぞれアクチュエ
ータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁乃至３ＢＡ_K、３ＣＡ
₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ_K、４Ａ₁乃至４Ａ_L、
５Ａ₁および５Ａ₂が配設されている。

【００１８】頭部ユニット４におけるマイク１５は、ユ
ーザからの発話を含む周囲の音声（音）を集音し、得ら
れた音声信号を、コントローラ１０に送出する。ＣＣＤ
カメラ１６は、周囲の状況を撮像し、得られた画像信号
を、コントローラ１０に送出する。

【００１９】タッチセンサ１７は、例えば、頭部ユニッ
ト４の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ１０に送出する。

【００２０】胴体部ユニット２におけるバッテリセンサ
１２は、バッテリ１１の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ１０に送
出する。熱センサ１３は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ１０に
送出する。

【００２１】コントローラ１０は、ＣＰＵ(Central Pro
cessing Unit)１０Ａやメモリ１０Ｂ等を内蔵してお
り、ＣＰＵ１０Ａにおいて、メモリ１０Ｂに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。

【００２２】即ち、コントローラ１０は、マイク１５
や、ＣＣＤカメラ１６、タッチセンサ１７、バッテリセ
ンサ１２、熱センサ１３から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。

【００２３】さらに、コントローラ１０は、この判断結
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁
乃至３ＢＡ_K、３ＣＡ₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ
_K、４Ａ₁乃至４Ａ_L、５Ａ₁、５Ａ₂のうちの必要なもの
を駆動させる。これにより、頭部ユニット４を上下左右
に振らせたり、下顎部４Ａを開閉させる。さらには、尻
尾部ユニット５を動かせたり、各脚部ユニット３Ａ乃至
３Ｄを駆動して、ロボットを歩行させるなどの行動を行
わせる。

【００２４】また、コントローラ１０は、必要に応じ
て、合成音を生成し、スピーカ１８に供給して出力させ
たり、ロボットの「目」の位置に設けられた図示しない
ＬＥＤ（Light Emitting Diode）を点灯、消灯または点
滅させる。

【００２５】以上のようにして、ロボットは、周囲の状
況等に基づいて自律的に行動をとるようになっている。

【００２６】次に、図３は、図２のコントローラ１０の
機能的構成例を示している。なお、図３に示す機能的構
成は、ＣＰＵ１０Ａが、メモリ１０Ｂに記憶された制御
プログラムを実行することで実現されるようになってい
る。

【００２７】コントローラ１０は、特定の外部状態を認
識するセンサ入力処理部５０、センサ入力処理部５０の
認識結果を累積して、感情や、本能、成長の状態を表現
するモデル記憶部５１、センサ入力処理部５０の認識結
果等に基づいて、続く行動を決定する行動決定機構部５
２、行動決定機構部５２の決定結果に基づいて、実際に
ロボットに行動を起こさせる姿勢遷移機構部５３、各ア
クチュエータ３ＡＡ₁乃至５Ａ₁および５Ａ₂を駆動制御
する制御機構部５４、並びに合成音を生成する音声合成
部５５から構成されている。

【００２８】センサ入力処理部５０は、マイク１５や、
ＣＣＤカメラ１６、タッチセンサ１７等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、モデル記憶部５１および行動決定機構部５２に通知
する。

【００２９】即ち、センサ入力処理部５０は、音声認識
部５０Ａを有しており、音声認識部５０Ａは、マイク１
５から与えられる音声信号について音声認識を行う。そ
して、音声認識部５０Ａは、その音声認識結果として
の、例えば、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、状態認識情報として、モデル記
憶部５１および行動決定機構部５２に通知する。

【００３０】また、センサ入力処理部５０は、画像認識
部５０Ｂを有しており、画像認識部５０Ｂは、ＣＣＤカ
メラ１６から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部５０Ｂは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、モデル記憶部５１および行動
決定機構部５２に通知する。

【００３１】さらに、センサ入力処理部５０は、圧力処
理部５０Ｃを有しており、圧力処理部５０Ｃは、タッチ
センサ１７から与えられる圧力検出信号を処理する。そ
して、圧力処理部５０Ｃは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた（しかられた）」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た（ほめられた）」と認識して、その認識結果を、状態
認識情報として、モデル記憶部５１および行動決定機構
部５２に通知する。

【００３２】モデル記憶部５１は、ロボットの感情、本
能、成長の状態を表現する感情モデル、本能モデル、成
長モデルをそれぞれ記憶、管理している。

【００３３】ここで、感情モデルは、例えば、「うれし
さ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状
態（度合い）を、所定の範囲（例えば、−１．０乃至
１．０等）の値によってそれぞれ表し、センサ入力処理
部５０からの状態認識情報や時間経過等に基づいて、そ
の値を変化させる。本能モデルは、例えば、「食欲」、
「睡眠欲」、「運動欲」等の本能による欲求の状態（度
合い）を、所定の範囲の値によってそれぞれ表し、セン
サ入力処理部５０からの状態認識情報や時間経過等に基
づいて、その値を変化させる。成長モデルは、例えば、
「幼年期」、「青年期」、「熟年期」、「老年期」等の
成長の状態（度合い）を、所定の範囲の値によってそれ
ぞれ表し、センサ入力処理部５０からの状態認識情報や
時間経過等に基づいて、その値を変化させる。

【００３４】モデル記憶部５１は、上述のようにして感
情モデル、本能モデル、成長モデルの値で表される感
情、本能、成長の状態を、状態情報として、行動決定機
構部５２に送出する。

【００３５】なお、モデル記憶部５１には、センサ入力
処理部５０から状態認識情報が供給される他、行動決定
機構部５２から、ロボットの現在または過去の行動、具
体的には、例えば、「長時間歩いた」などの行動の内容
を示す行動情報が供給されるようになっており、モデル
記憶部５１は、同一の状態認識情報が与えられても、行
動情報が示すロボットの行動に応じて、異なる状態情報
を生成するようになっている。

【００３６】即ち、例えば、ロボットが、ユーザに挨拶
をし、ユーザに頭を撫でられた場合には、ユーザに挨拶
をしたという行動情報と、頭を撫でられたという状態認
識情報とが、モデル記憶部５１に与えられ、この場合、
モデル記憶部５１では、「うれしさ」を表す感情モデル
の値が増加される。

【００３７】一方、ロボットが、何らかの仕事を実行中
に頭を撫でられた場合には、仕事を実行中であるという
行動情報と、頭を撫でられたという状態認識情報とが、
モデル記憶部５１に与えられ、この場合、モデル記憶部
５１では、「うれしさ」を表す感情モデルの値は変化さ
れない。

【００３８】このように、モデル記憶部５１は、状態認
識情報だけでなく、現在または過去のロボットの行動を
示す行動情報も参照しながら、感情モデルの値を設定す
る。これにより、例えば、何らかのタスクを実行中に、
ユーザが、いたずらするつもりで頭を撫でたときに、
「うれしさ」を表す感情モデルの値を増加させるよう
な、不自然な感情の変化が生じることを回避することが
できる。

【００３９】なお、モデル記憶部５１は、本能モデルお
よび成長モデルについても、感情モデルにおける場合と
同様に、状態認識情報および行動情報の両方に基づい
て、その値を増減させるようになっている。また、モデ
ル記憶部５１は、感情モデル、本能モデル、成長モデル
それぞれの値を、他のモデルの値にも基づいて増減させ
るようになっている。

【００４０】行動決定機構部５２は、センサ入力処理部
５０からの状態認識情報や、モデル記憶部５１からの状
態情報、時間経過等に基づいて、次の行動を決定し、決
定された行動の内容を、行動指令情報として、姿勢遷移
機構部５３に送出する。

【００４１】即ち、行動決定機構部５２は、ロボットが
とり得る行動をステート（状態）(state)に対応させた
有限オートマトンを、ロボットの行動を規定する行動モ
デルとして管理しており、この行動モデルとしての有限
オートマトンにおけるステートを、センサ入力処理部５
０からの状態認識情報や、モデル記憶部５１における感
情モデル、本能モデル、または成長モデルの値、時間経
過等に基づいて遷移させ、遷移後のステートに対応する
行動を、次にとるべき行動として決定する。

【００４２】ここで、行動決定機構部５２は、所定のト
リガ(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部５２は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、モデル記憶部５１から供給される状態情報が示す感
情や、本能、成長の状態の値が所定の閾値以下または以
上になったとき等に、ステートを遷移させる。

【００４３】なお、行動決定機構部５２は、上述したよ
うに、センサ入力処理部５０からの状態認識情報だけで
なく、モデル記憶部５１における感情モデルや、本能モ
デル、成長モデルの値等にも基づいて、行動モデルにお
けるステートを遷移させることから、同一の状態認識情
報が入力されても、感情モデルや、本能モデル、成長モ
デルの値（状態情報）によっては、ステートの遷移先は
異なるものとなる。

【００４４】その結果、行動決定機構部５２は、例え
ば、状態情報が、「怒っていない」こと、および「お腹
がすいていない」ことを表している場合において、状態
認識情報が、「目の前に手のひらが差し出された」こと
を表しているときには、目の前に手のひらが差し出され
たことに応じて、「お手」という行動をとらせる行動指
令情報を生成し、これを、姿勢遷移機構部５３に送出す
る。

【００４５】また、行動決定機構部５２は、例えば、状
態情報が、「怒っていない」こと、および「お腹がすい
ている」ことを表している場合において、状態認識情報
が、「目の前に手のひらが差し出された」ことを表して
いるときには、目の前に手のひらが差し出されたことに
応じて、「手のひらをぺろぺろなめる」ような行動を行
わせるための行動指令情報を生成し、これを、姿勢遷移
機構部５３に送出する。

【００４６】また、行動決定機構部５２は、例えば、状
態情報が、「怒っている」ことを表している場合におい
て、状態認識情報が、「目の前に手のひらが差し出され
た」ことを表しているときには、状態情報が、「お腹が
すいている」ことを表していても、また、「お腹がすい
ていない」ことを表していても、「ぷいと横を向く」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部５３に送出する。

【００４７】なお、行動決定機構部５２では、上述した
ように、ロボットの頭部や手足等を動作させる行動指令
情報の他、ロボットに発話を行わせる行動指令情報も生
成される。ロボットに発話を行わせる行動指令情報は、
音声合成部５５に供給されるようになっており、音声合
成部５５に供給される行動指令情報には、音声合成部５
５に生成させる合成音に対応するテキスト等が含まれ
る。そして、音声合成部５５は、行動決定部５２から行
動指令情報を受信すると、その行動指令情報に含まれる
テキストに基づき、合成音を生成し、スピーカ１８に供
給して出力させる。これにより、スピーカ１８からは、
例えば、ロボットの鳴き声、さらには、「お腹がすい
た」等のユーザへの各種の要求、「何？」等のユーザの
呼びかけに対する応答その他の音声出力が行われる。な
お、行動決定機構部５２は、音声合成部５５から合成音
を出力させる場合には、下顎部４Ａを開閉させる行動指
令情報を、必要に応じて生成し、姿勢遷移機構部５３に
出力する。この場合、合成音の出力に同期して、下顎部
４Ａが開閉し、ユーザに、ロボットがしゃべっているか
のような印象を与えることができる。

【００４８】姿勢遷移機構部５３は、行動決定機構部５
２から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部５４に送出す
る。

【００４９】制御機構部５４は、姿勢遷移機構部５３か
らの姿勢遷移情報にしたがって、アクチュエータ３ＡＡ
₁乃至５Ａ₁および５Ａ₂を駆動するための制御信号を生
成し、これを、アクチュエータ３ＡＡ₁乃至５Ａ₁および
５Ａ₂に送出する。これにより、アクチュエータ３ＡＡ₁
乃至５Ａ₁および５Ａ₂は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。

【００５０】次に、図４は、図３の音声合成部５５の構
成例を示している。

【００５１】非言語音生成モジュール２１には、行動決
定機構部５２が出力する、音声合成の対象とするテキス
トを含む行動指令情報が供給されるようになっており、
非言語音生成モジュール２１は、行動指令情報からテキ
ストを抽出し、さらに、そのテキストから非言語音情報
を抽出する。

【００５２】即ち、図５は、図４の非言語音生成モジュ
ール２１の構成例を示している。

【００５３】行動指令情報は、テキスト処理部４１に供
給されるようになっており、テキスト処理部４１は、行
動指令情報に含まれるテキストを抽出し、抽出部４２と
出力部４５に供給する。

【００５４】抽出部４２は、テキスト処理部４１からの
テキストを受信し、言語解析部４３を制御することによ
り、そのテキストの言語解析を行わせる。

【００５５】即ち、言語解析部４３は、抽出部４２の制
御にしたがい、テキストの形態素解析、構文解析、およ
び意味解析を行い、これらの言語解析結果を、抽出部４
２に供給する。

【００５６】抽出部４２は、さらに、言語解析部４３か
らの言語解析結果に基づき、非言語音情報データベース
４４を参照することで、テキストにおける非言語音情報
を抽出する。

【００５７】即ち、非言語音情報データベース４４は、
例えば、図６に示すように、見出しとタイプに対応付け
て、その見出しに対応する非言語音情報を記憶してい
る。

【００５８】ここで、図６の実施の形態においては、見
出し「せみの声」に対して、非言語音情報「せみの声」
が、見出し「ビール」に対して、非言語音情報「ビール
を飲む音」が、見出し「ドア」と「たたく」の組に対し
て、非言語音情報「ドアをたたく音」が、見出し「楽し
い」に対して、非言語音情報「楽しそうな音」が、それ
ぞれ対応付けられている。

【００５９】また、図６の実施の形態においては、見出
しのタイプとして、「単語」、「係り受け」、および
「意味」があり、「単語」は、見出しが単語（単語列を
含む）であることを表す。また、「係り受け」は、見出
しの複数の単語が係り受け関係にあること（修飾語と被
修飾語の関係にあること）を表し、「意味」は、見出し
が単語の意味であることを表す。

【００６０】抽出部４２は、非言語音情報データベース
４４を参照することで、テキストから、「見出し」と
「タイプ」に合致する単語（以下、適宜、非言語音情報
対応単語という）を検出し、その非言語音情報対応単語
が合致する「見出し」と「タイプ」に対応付けられてい
る非言語音情報を、非言語音情報データベース４４から
読み出す。

【００６１】従って、抽出部４２では、例えば、テキス
ト「せみの声がうるさい」については、見出し「せみの
声」に合致し、かつ「単語」（ここでは、単語列も含む
ものとする）であるタイプの単語（列）「せみの声」
が、非言語音情報対応単語として検出される。そして、
抽出部４２では、その非言語音情報対応単語「せみの
声」が合致する見出しとタイプに対応付けられている非
言語音情報「せみの声」が、非言語音情報データベース
４４から読み出される。

【００６２】また、例えば、テキスト「彼はドアを大き
な音でたたいた」については、抽出部４２では、見出し
「ドア」と「たたく」の組に合致し、かつ「係り受け」
であるタイプの単語「ドア」と「たたいた」の組が、非
言語音情報対応単語として検出される。そして、抽出部
４２では、その非言語音情報対応単語「ドア」と「たた
いた」が合致する見出し「ドア」と「たたく」の組に対
応付けられている非言語音情報「ドアをたたく音」が、
非言語音情報データベース４４から読み出される。

【００６３】さらに、例えば、テキスト「彼女はほがら
かに笑いながら答えた」については単語「ほがらか」や
「笑い」が、楽しいという意味を表すことから、タイプ
が「意味」で、見出しが「楽しい」に合致する。従っ
て、抽出部４２では、「ほがらか」や「笑い」が、非言
語音情報対応単語として検出され、さらに、その非言語
音情報対応単語「ほがらか」や「笑い」の意味を表す見
出し「楽しい」に対応付けられている非言語音情報「楽
しそうな音」が、非言語音情報データベース４４から読
み出される。

【００６４】なお、テキストにおける単語の各タイプの
見出しは、言語解析部４３による言語解析結果に基づい
て認識することができる。

【００６５】即ち、テキストにおける単語については、
タイプ「単語」の見出しは、言語解析部４３における形
態素解析結果に基づいて認識することができる。また、
タイプ「係り受け」の見出しは、言語解析部４３におけ
る構文解析結果に基づいて認識することができ、さら
に、タイプ「意味」の見出しは、言語解析部４３におけ
る意味解析結果に基づいて認識することができる。

【００６６】ここで、非言語音情報データベース４４に
おける「見出し」としては、例えば、効果音を付与可能
な表現や、効果音を伴う行動もしくは状態を表す表現、
修飾表現などを採用することができる。

【００６７】図６の実施の形態において、見出し「せみ
の声」については、例えば、「ミーンミーン」といった
効果音の付与が可能であり、また、見出し「ビール」に
ついては、「ゴクゴク」といった効果音の付与が可能で
あることから、これらの見出し「せみの声」や「ビー
ル」は、効果音を付与することが可能な表現であるとい
うことができる。さらに、見出し「ドア」と「たたく」
の組は、例えば、「ドンドン」といった効果音を伴っ
て、ドアをたたく行動を表すことから、効果音を伴う行
動もしくは状態を表す表現であるということができる。
また、見出し「楽しい」は、そのような意味の単語（例
えば、上述の「ほがらか」など）が名詞等を修飾するこ
とから、修飾表現であるということができる。

【００６８】図５に戻り、抽出部４２は、上述のように
して、テキストから、非言語音情報を抽出すると、その
非言語音情報を、出力部４５に供給する。

【００６９】出力部４５は、テキスト処理部４１から供
給されるテキストを、抽出部４２から供給される非言語
音情報とともに、非言語音情報解釈モジュール２２（図
４）に供給する。

【００７０】ここで、出力部４５は、テキストおよび非
言語音情報を、例えば、テキストに、非言語音情報を付
加した形で、非言語音情報解釈モジュール２２に供給す
る。あるいは、また、非言語音生成モジュール２１は、
例えば、テキストと、非言語音情報とを、構造体の形に
して、非言語音情報解釈モジュール２２に供給する。

【００７１】非言語音情報解釈モジュール２２は、非言
語音生成モジュール２１から供給されるテキストと非言
語音情報のセットについて、後述するテキスト非言語音
融合モジュール２９において、テキストに対応する合成
音データに対し、非言語音情報に対応する音響データを
融合させるタイミングを表すタイミングデータを生成
し、テキストと非言語音情報のセットに付加する。

【００７２】ここで、テキストおよび非言語音情報のセ
ットに対するタイミングデータの付加は、例えば、タグ
を用いて行うことができる。

【００７３】即ち、例えば、テキストが、「今日はとっ
ても眠い」であり、そのテキスト「今日はとっても眠
い」における単語「眠い」に基づき、あくびの音を表す
非言語音情報「あくび」が抽出された場合において、タ
イミングデータとして、テキスト「今日はとっても眠
い」の先頭から３文字目の直後の位置を表すものが生成
されたときには、非言語音情報解釈モジュール２２は、
タイミングデータが付加されたテキストおよび非言語音
情報のセット（以下、適宜、タイミング付きテキストセ
ットという）として、例えば、「今日は<あくび>とって
も眠い」を生成する。このタイミング付きテキストセッ
ト「今日は<あくび>とっても眠い」においては、タイミ
ングデータにしたがい、先頭から３文字目の直後に、非
言語情報「あくび」を表すタグ＜あくび＞が配置されて
おり、従って、先頭から３文字「今日は」の直後のタイ
ミングにおいて、非言語音情報「あくび」に対応する音
響データを融合することを表す。

【００７４】また、この場合、非言語音情報解釈モジュ
ール２２には、タイミング付きテキストセットとして、
例えば、「今日はとっても眠い,<あくび>,3」を生成さ
せることもできる。このタイミング付きテキストセット
「今日はとっても眠い,<あくび>,3」は、テキスト「今
日はとっても眠い」、非言語音情報「あくび」、および
先頭から３文字目の直後を表すタイミングデータ「3」
をセットにしたものであるが、このようなタイミング付
きテキストセットも、「今日は」の直後のタイミングに
おいて、非言語音情報「あくび」に対応する音響データ
を融合することを表す。

【００７５】その他、タイミング付きテキストセットと
しては、テキストの構造を表すテキスト構造体、非言語
音情報、およびタイミングデータのセット等を採用する
ことも可能である。

【００７６】なお、非言語音情報解釈モジュール２２に
おいて、非言語音情報に対応する音響データを、テキス
トに対応する合成音データに融合させるタイミングとし
ては、例えば、合成音データにおいて、単語どうしの境
目や、ポーズがおかれる位置などの、何らかの区切りに
なっている部分を採用することができる。また、非言語
音情報に対応する音響データを、テキストに対応する合
成音データに融合させるタイミングは、音声合成部５５
の外部から指定するようにすることも可能である。ここ
で、外部からタイミングを指定する方法としては、例え
ば、ユーザに指定してもらう方法や、行動指令情報に、
そのタイミングを含めて、音声合成部５５に供給する方
法等がある。さらに、非言語音情報に対応する音響デー
タを、テキストに対応する合成音データに融合させるタ
イミングとしては、テキスト中の、非言語音情報に対応
する単語の開始位置等を採用することも可能である。

【００７７】非言語音情報解釈モジュール２２は、タイ
ミング付きテキストセットを生成すると、そのタイミン
グ付きテキストセットから、テキストと非言語音情報を
分離し、非言語音情報を、タイミング付きテキストセッ
トに含まれるタイミングデータとともに、非言語音変換
モジュール２７に供給する。

【００７８】即ち、タイミング付きテキストセットが、
例えば、上述の「今日は<あくび>とっても眠い」である
場合には、非言語音情報解釈モジュール２２は、そのタ
イミング付きテキストセット「今日は<あくび>とっても
眠い」から、テキスト「今日はとっても眠い」と、非言
語音情報「あくび」とを分離する。さらに、非言語音情
報解釈モジュール２２は、タイミング付きテキストセッ
ト「今日は<あくび>とっても眠い」における非言語音情
報<あくび>の位置から、タイミングデータが、先頭から
３文字目を表すことを認識し、その文字数である３を、
タイミングデータとして、非言語音情報「あくび」とと
もに、非言語音変換モジュール２７に供給する。

【００７９】また、非言語音情報解釈モジュール２２
は、形態素解析モジュール２３および音声記号列生成モ
ジュール２４を制御することで、タイミング付きテキス
トセットから分離したテキストを、その音韻情報等を表
す音声記号に変換する。

【００８０】即ち、非言語音情報解釈モジュール２２
は、テキストを、形態素解析モジュール２３に供給し、
形態素解析モジュール２３は、そのテキストの形態素解
析を行い、音声記号列生成モジュール２４に供給する。
音声記号列生成モジュール２４は、形態素解析モジュー
ル２３による形態素解析結果に基づいて、テキストの音
韻情報等を含む音声記号を生成し、非言語音情報解釈モ
ジュール２２に供給する。

【００８１】なお、形態素解析モジュール２３は、特に
設ける必要はなく、テキストの形態素解析結果として
は、図５の言語解析部４３で得られるものを用いること
が可能である。

【００８２】非言語音情報解釈モジュール２２は、音声
記号列生成モジュール２４から、テキストに対応する音
声記号（列）を受信すると、タイミングデータを、その
音声記号に対応したものに変換し、音声記号とともに、
規則合成モジュール２５に供給する。

【００８３】即ち、音声記号列生成モジュール２４にお
いて、例えば、テキスト「今日はとっても眠い」につい
て、"(kyo'-wa/to'ttemo/nemui)"という音声記号が得ら
れたとする。

【００８４】ここで、音声記号"(kyo'-wa/to'ttemo/nem
ui)"においては、音韻情報が、ローマ字で表されてい
る。また、-は、長音を表し、()は、フレームの区切り
を表す。さらに、'は、アクセントを表し、/は、アクセ
ント句の区切りを表す。

【００８５】テキスト「今日はとっても眠い」のタイミ
ングデータは、上述したように、その先頭から３文字目
の直後を表すが、音声記号"(kyo'-wa/to'ttemo/nemui)"
において、テキスト「今日はとっても眠い」の先頭から
３文字目の直後に相当するのは、音韻情報"kyo-wa"の直
後である。従って、この場合、非言語音情報解釈モジュ
ール２２では、先頭から３文字目というタイミングデー
タは、先頭から６文字目に変換される。なお、音声記号
における文字数は、音韻情報のみを対象にカウントする
ものとし、さらに、長音は音韻情報に含まれるものとす
る。

【００８６】規則合成モジュール２５は、非言語音情報
解釈モジュール２２からの音声記号を用いて、規則音声
合成を行う。即ち、規則合成モジュール２５は、まず、
非言語音情報解釈モジュール２２から供給される音声記
号から、テキストに対応する合成音を生成する規則音声
合成を行うのに必要な情報を抽出する。ここで、規則音
声合成に必要な情報としては、例えば、ポーズの位置
や、アクセントおよびイントネーションを制御するため
の情報その他の韻律情報や、各単語の発音等の音韻情報
などがある。

【００８７】さらに、規則合成モジュール２５は、音素
片データベース２６を参照して、非言語音生成モジュー
ル２１からのテキストに対応する合成音の音声データ
（ディジタルデータ）を生成する。

【００８８】即ち、音素片データベース２６には、例え
ば、ＣＶ(Consonant, Vowel)や、ＶＣＶ、ＣＶＣ等の形
で音素片データが記憶されており、規則合成モジュール
２５は、先に得た韻律情報や音韻情報に基づいて、必要
な音素片データを接続し、さらに、ポーズ、アクセン
ト、イントネーション等を適切に付加するように、ピッ
チ周波数の時間変化のパターン（ピッチパターン）や、
パワーの時間変化のパターン（パワーパターン）を設定
することで、非言語音生成モジュール２１からのテキス
トに対応する合成音データを生成する。

【００８９】また、規則合成モジュール２５は、非言語
音情報解釈モジュール２２から音声記号とともに供給さ
れるタイミングデータを、生成した合成音データに対応
したものに変換する。

【００９０】即ち、非言語音情報解釈モジュール２２か
ら規則合成モジュール２５に対して、例えば、上述した
ような音声記号"(kyo'-wa/to'ttemo/nemui)"と、その先
頭から６文字目の直後を表すタイミングデータが供給さ
れた場合において、音声記号の先頭から６文字目の直後
のタイミングが、例えば、合成音データの先頭から２０
ｍｓであるときには、規則合成モジュール２５では、６
文字目の直後を表すタイミングデータが、２０ｍｓを表
すタイミングデータに変換される。

【００９１】そして、規則合成モジュール２５は、テキ
ストに対応する合成音データと、変換後のタイミングデ
ータを、テキスト非言語音融合モジュール２９に供給す
る。

【００９２】非言語音変換モジュール２７は、非言語音
情報解釈モジュール２２からの非言語音情報とタイミン
グデータを受信し、その非言語音情報を用い、非言語音
変換テーブル記憶部２８を参照することで、音響データ
を生成する。

【００９３】即ち、非言語音変換テーブル記憶部２８
は、非言語音情報が表す効果音の音響データを、その非
言語音情報と対応付けた非言語音変換テーブルを記憶し
ており、非言語音変換モジュール２７は、非言語音変換
テーブルにおいて、非言語音解釈モジュール２２からの
非言語音情報と対応付けられている音響データを読み出
す。

【００９４】ここで、非言語音変換テーブルにおいて
は、例えば、非言語音情報「あくび」に対して、あくび
の音である、例えば、「あーあ」などが記憶されてい
る。また、非言語音変換テーブルにおいては、図６に示
した非言語音情報「せみの声」に対しては、せみの鳴き
声である、例えば、「ミーンミーン」などが、非言語音
情報「ビールを飲む音」に対しては、ビールを飲むとき
の、喉が鳴ると言われている音に対応する、例えば、
「ゴクゴク」などが、非言語音情報「ドアをたたく音」
に対しては、ドアをたたいたときに生じる音である、例
えば、「ドンドン」などが、非言語音情報「楽しそうな
音」に対しては、楽しげな感情を表現する音である、例
えば、アップテンポで、明るい感じの曲（例えば、ハ長
調の曲）などが、それぞれ記憶されている。

【００９５】非言語音変換モジュール２７は、非言語音
情報に対応する音響データを得ると、その音響データ
と、非言語音情報解釈モジュール２２から非言語音情報
とともに供給されたタイミングデータとを、テキスト非
言語音融合モジュール２９に供給する。

【００９６】テキスト非言語音融合モジュール２９は、
規則合成モジュール２５からの合成音データと、非言語
音変換モジュール２７からの音響データとを融合し、最
終的な合成音データを得て、発声モジュール３０に供給
する。

【００９７】即ち、テキスト非言語音融合モジュール２
９は、規則合成モジュール２５から供給される合成音デ
ータの、同じく規則合成モジュール２５から供給される
タイミングデータが表す位置から、非言語音変換モジュ
ール２７から供給される音響データを挿入する。あるい
は、また、テキスト非言語音融合モジュール２９は、規
則合成モジュール２５から供給される合成音データに対
し、同じく規則合成モジュール２５から供給されるタイ
ミングデータが表す位置から、非言語音変換モジュール
２７から供給される音響データを重畳する。

【００９８】なお、テキスト非言語音融合モジュール２
９では、規則合成モジュール２５から供給される合成音
データに対し、非言語音変換モジュール２７から供給さ
れる音響データを、その音響データの長さ分だけ重畳す
る他、合成音データの全体にわたって、音響データを繰
り返し重畳することも可能である。即ち、音響データ
は、合成音データの一部または全部に重畳することが可
能である。

【００９９】また、テキスト非言語音融合モジュール２
９において、合成音データに、音響データを挿入する場
合には、音響データを複数回繰り返して挿入することが
可能である。

【０１００】発声モジュール３０は、テキスト非言語音
融合モジュール３０が出力する合成音データを、必要に
応じて増幅し、さらに、Ｄ／Ａ(Digital/Analog)変換を
行って、スピーカ１８（図３）に供給する。

【０１０１】以上のように構成される音声合成部５５で
は、行動決定機構部５２（図３）から供給される行動指
令情報に含まれるテキストから、非言語音情報を抽出
し、さらに、そのテキストに対応する音声記号を生成す
る前処理、テキストから抽出された非言語音情報に対応
する音響データを生成する非言語音情報処理、およびテ
キストに対応する合成音データを生成し、その合成音デ
ータと、非言語音情報に対応する音響データとを融合し
て、最終的な合成音データを得る音声合成処理が行われ
る。

【０１０２】そこで、まず、図７のフローチャートを参
照して、前処理について説明する。

【０１０３】非言語音生成モジュール２１に対し、行動
決定機構部５２（図３）から、音声合成の対象とするテ
キストを含む行動指令情報が供給されると、非言語音生
成モジュール２１は、行動決定機構部５２からの行動指
令情報を受信する。

【０１０４】そして、非言語音生成モジュール２１（図
５）のテキスト処理部４１は、ステップＳ１において、
その行動指令情報から、そこに含まれるテキストを抽出
し、抽出部４２と出力部４５に供給して、ステップＳ２
に進む。

【０１０５】ステップＳ２では、抽出部４２は、言語解
析部４３を制御することにより、テキスト処理部４１か
らのテキストについて、言語解析を行わせ、その言語解
析結果を受信する。さらに、抽出部４２は、ステップＳ
３に進み、言語解析部４３にからの言語解析結果に基づ
き、非言語音情報データベース４４を参照することで、
テキストに、非言語音情報が存在するかどうかを判定す
る。

【０１０６】ステップＳ３において、非言語音情報が存
在しないと判定された場合、ステップＳ４に進み、出力
部４５は、テキスト処理部４１からのテキストだけを、
後段の非言語音情報解釈モジュール２２（図４）に出力
し、ステップＳ７に進む。

【０１０７】ステップＳ７では、非言語音情報解釈モジ
ュール２２が、非言語音生成モジュール２１（の出力部
４５）からのテキストを、形態素解析モジュール２３に
供給する。これにより、ステップＳ７では、形態素解析
モジュール２３において、そのテキストの形態素解析が
行われ、音声記号列生成モジュール２４に供給される。
音声記号列生成モジュール２４は、形態素解析モジュー
ル２３による形態素解析結果に基づいて、テキストの音
韻情報等を含む音声記号を生成し、非言語音情報解釈モ
ジュール２２に供給する。

【０１０８】その後、ステップＳ８に進み、非言語音情
報解釈モジュール２２は、音声記号列生成モジュール２
４からの音声記号を、規則合成モジュール２５に出力
し、前処理を終了する。

【０１０９】このように、非言語音情報解釈モジュール
２２から音声記号列生成モジュール２４に対して、音声
記号だけが供給される場合には、規則合成モジュール２
５およびテキスト非言語音融合モジュール２９では、後
述する音声合成処理（図９）において、従来の場合と同
様の合成音データが生成される。

【０１１０】一方、ステップＳ３において、非言語音情
報が存在すると判定された場合、即ち、テキストの中
に、非言語音情報データベース４４に記憶された見出し
およびタイプに合致する単語（非言語音情報対応単語）
が存在する場合、抽出部４２は、非言語音情報データベ
ース４４から、その非言語音情報対文字列に対応付けら
れている非言語音情報を読み出し、出力部４５に供給し
て、ステップＳ５に進む。

【０１１１】ステップＳ５では、出力部４５が、テキス
ト処理部４１からのテキストと、抽出部４２からの非言
語音情報とを、後段の非言語音情報解釈モジュール２２
（図４）に出力する。

【０１１２】非言語音情報解釈モジュール２２は、非言
語音生成モジュール２１（の出力部４５）からテキスト
と、非言語音情報を受信すると、ステップＳ５からステ
ップＳ６に進み、そのテキストおよび非言語音情報につ
いて、タイミングデータを生成して、ステップＳ７に進
む。

【０１１３】ステップＳ７では、非言語音情報解釈モジ
ュール２２が、上述したように、非言語音生成モジュー
ル２１（の出力部４５）からのテキストを、形態素解析
モジュール２３に供給し、これにより、形態素解析モジ
ュール２３において、そのテキストの形態素解析が行わ
れ、さらに、音声記号列生成モジュール２４において、
形態素解析モジュール２３による形態素解析結果に基づ
いて、テキストの音韻情報等を含む音声記号が生成さ
れ、非言語音情報解釈モジュール２２に供給される。

【０１１４】その後、ステップＳ８に進み、非言語音情
報解釈モジュール２２は、音声記号列生成モジュール２
４からの音声記号を、ステップＳ６で生成したタイミン
グデータとともに、規則合成モジュール２５に出力す
る。さらに、この場合、ステップＳ８では、非言語音情
報解釈モジュール２２は、ステップＳ５で得た非言語音
情報を、タイミングデータとともに、非言語音変換モジ
ュール２７に出力し、前処理を終了する。

【０１１５】次に、図８のフローチャートを参照して、
非言語音情報処理について説明する。

【０１１６】非言語音情報処理は、非言語音変換モジュ
ール２７が、非言語音情報解釈モジュール２２から供給
される、非言語音情報とタイミングデータを受信するこ
とにより開始される。

【０１１７】即ち、非言語音変換モジュール２７は、非
言語音情報解釈モジュール２２から、非言語音情報とタ
イミングデータを受信すると、ステップＳ１１におい
て、その非言語音情報を、非言語音変換テーブル記憶部
２８から検索し、ステップＳ１２に進む。

【０１１８】ステップＳ１２では、非言語音変換モジュ
ール２７は、ステップＳ１１の検索処理結果に基づい
て、非言語音情報解釈モジュール２２からの非言語音情
報が、非言語音変換テーブル記憶部２８に登録されてい
るかどうかを判定する。

【０１１９】ステップＳ１２において、非言語音情報
が、非言語音変換テーブル記憶部２８に登録されていな
いと判定された場合、ステップＳ１３をスキップして、
非言語音情報処理を終了する。

【０１２０】この場合、非言語音変換モジュール２７か
らテキスト非言語音融合モジュール２９に対しては、音
響データが供給されず、従って、後述する音声合成処理
において、規則合成モジュール２５が出力する合成音デ
ータは、テキスト非言語音融合モジュール２９で特に処
理されずに出力される。このため、音声合成部５５から
は、従来の場合と同様の合成音データが出力される。

【０１２１】一方、ステップＳ１２において、非言語音
情報が、非言語音変換テーブル記憶部２８に登録されて
いると判定された場合、ステップＳ１３に進み、非言語
音変換モジュール２７は、その非言語音情報に対応付け
られている音響データを、非言語音変換テーブル記憶部
２８から読み出し、非言語音情報解釈モジュール２２か
ら供給されたタイミングデータとともに、テキスト非言
語音融合モジュール２９に供給して、非言語音情報処理
を終了する。

【０１２２】次に、図９のフローチャートを参照して、
音声合成処理について説明する。

【０１２３】音声合成処理は、規則合成モジュール２５
が、非言語音情報解釈モジュール２２から供給される、
音声記号（さらには、タイミングデータ）を受信するこ
とにより開始される。

【０１２４】即ち、規則合成モジュール２５は、非言語
音情報解釈モジュール２２から、音声記号（さらには、
タイミングデータ）を受信すると、ステップＳ２１にお
いて、その音声記号を用いて規則音声合成を行うことに
より、行動指令情報に含まれているテキストに対応する
合成音データを生成し、テキスト非言語音融合モジュー
ル２９に供給する。

【０１２５】テキスト非言語音融合モジュール２９は、
規則合成モジュール２５から合成音データを受信する
と、ステップＳ２２に進み、非言語音変換モジュール２
７から、非言語音情報に対応する音響データが送信され
てきたかどうかを判定する。

【０１２６】ステップＳ２２において、音響データが送
信されてきていないと判定された場合、ステップＳ２３
をスキップして、ステップＳ２４に進み、テキスト非言
語音融合モジュール２９は、規則合成モジュール２５か
らの合成音データを、そのまま、発声モジュール３０に
供給して、音声合成処理を終了する。

【０１２７】従って、この場合、スピーカ１８からは、
規則合成モジュール２５で生成された合成音データ（に
対応する合成音）がそのまま出力される。

【０１２８】一方、ステップＳ２２において、音響デー
タが送信されてきたと判定された場合、ステップＳ２３
に進み、テキスト非言語音融合モジュール２９は、その
音響データと、規則合成モジュール２５からの合成音デ
ータとを融合し、発声モジュール３０に供給して、音声
合成処理を終了する。

【０１２９】従って、この場合、スピーカ１８からは、
規則合成モジュール２５が出力する合成音データに、非
言語音変換モジュール２７が出力する音響データが重
畳、または挿入されたものが出力される。即ち、例え
ば、規則合成モジュール２５において、テキスト「今日
はとっても眠い」に対応する合成音データが生成される
とともに、非言語音変換モジュール２７において、非言
語情報「あくび」に対応するあくびをする音（効果音）
「あーあ」の音響データが生成されたときには、テキス
ト非言語音融合モジュール２９では、例えば、その合成
音データと音響データとが重畳されて出力される。その
結果、スピーカ１８においては、「今日はとっても眠
い」という合成音が出力されるとともに、「あーあ」と
いうあくびをする効果音が出力される。

【０１３０】以上のように、テキストから、非言語音情
報を抽出し、その非言語音情報に対応する音響データを
生成して、テキストに対応する合成音データと融合する
ようにしたので、テキストの意味するところを、効果的
に表現する合成音を得ることが可能となり、その結果、
例えば、ロボットのエンタテイメント性を向上させるこ
と等が可能となる。

【０１３１】以上、本発明を、エンターテイメント用の
ロボット（疑似ペットとしてのロボット）に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、音声合成装置を搭載した対話システムその他に広く
適用することが可能である。また、本発明は、現実世界
のロボットだけでなく、例えば、液晶ディスプレイ等の
表示装置に表示される仮想的なロボットにも適用可能で
ある。

【０１３２】なお、本実施の形態においては、上述した
一連の処理を、ＣＰＵ１０Ａにプログラムを実行させる
ことにより行うようにしたが、一連の処理は、それ専用
のハードウェアによって行うことも可能である。

【０１３３】ここで、プログラムは、あらかじめメモリ
１０Ｂ（図２）に記憶させておく他、フレキシブルディ
スク、CD-ROM(Compact Disc Read Only Memory)，MO(Ma
gneto optical)ディスク，DVD(Digital Versatile Dis
c)、磁気ディスク、半導体メモリなどのリムーバブル記
録媒体に、一時的あるいは永続的に格納（記録）してお
くことができる。そして、このようなリムーバブル記録
媒体を、いわゆるパッケージソフトウエアとして提供
し、ロボット（メモリ１０Ｂ）にインストールするよう
にすることができる。

【０１３４】また、プログラムは、ダウンロードサイト
から、ディジタル衛星放送用の人工衛星を介して、無線
で転送したり、LAN(Local Area Network)、インターネ
ットといったネットワークを介して、有線で転送し、メ
モリ１０Ｂにインストールすることができる。

【０１３５】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ１０Ｂに、容易にインストールすることが
できる。

【０１３６】なお、本明細書において、ＣＰＵ１０Ａに
各種の処理を行わせるためのプログラムを記述する処理
ステップは、必ずしもフローチャートとして記載された
順序に沿って時系列に処理する必要はなく、並列的ある
いは個別に実行される処理（例えば、並列処理あるいは
オブジェクトによる処理）も含むものである。

【０１３７】また、プログラムは、１のＣＰＵにより処
理されるものであっても良いし、複数のＣＰＵによって
分散処理されるものであっても良い。

【０１３８】次に、図４の音声合成部５５は、専用のハ
ードウェアにより実現することもできるし、ソフトウェ
アにより実現することもできる。音声合成部５５をソフ
トウェアによって実現する場合には、そのソフトウェア
を構成するプログラムが、汎用のコンピュータ等にイン
ストールされる。

【０１３９】そこで、図１０は、音声合成部５５を実現
するためのプログラムがインストールされるコンピュー
タの一実施の形態の構成例を示している。

【０１４０】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０１４１】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM，MOディスク，DVD、磁気ディス
ク、半導体メモリなどのリムーバブル記録媒体１１１
に、一時的あるいは永続的に格納（記録）しておくこと
ができる。このようなリムーバブル記録媒体１１１は、
いわゆるパッケージソフトウエアとして提供することが
できる。

【０１４２】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN、インターネットといったネットワークを介
して、コンピュータに有線で転送し、コンピュータで
は、そのようにして転送されてくるプログラムを、通信
部１０８で受信し、内蔵するハードディスク１０５にイ
ンストールすることができる。

【０１４３】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。

【０１４４】なお、本実施の形態では、行動決定機構部
５２が生成するテキストから合成音を生成するようにし
たが、本発明は、あからじめ用意されたテキストから合
成音を生成する場合にも適用可能である。さらに、本発
明は、あらかじめ録音してある音声データを編集して、
目的とする合成音を生成する場合にも適用可能である。

【０１４５】また、本実施の形態においては、テキスト
に対応する合成音データに、そのテキストから抽出した
非言語音情報に対応する効果音の音響データを融合（重
畳または挿入）するようにしたが、その他、音響データ
は、例えば、テキストの表示に同期して出力するように
すること等が可能である。

【０１４６】さらに、本発明は、ユーザが、テキスト
を、キーボード等によって入力し、そのテキストを、合
成音によって読み上げるような読み上げ装置にも適用す
ることができる。この場合、テキストを入力したユーザ
の意図や感情等を反映した、豊かな表現の合成音を生成
することが可能となる。

【０１４７】また、テキストだけでなく、非言語音情報
も、ユーザが、キーボード等によって入力するようにす
ることができる。この場合、テキストには現れない感情
等を表現する合成音を得ることが可能となる。

【０１４８】さらに、本実施の形態では、非言語音情報
に対応する音響データを、合成音データに融合するよう
にしたが、その他、例えば、非言語音情報に基づいて、
音質や韻律等といった音声タイプを制御した合成音デー
タを生成するようにすることも可能である。即ち、規則
合成モジュール２５においては、非言語音情報に基づい
て音声タイプを設定し、その音声タイプにしたがって、
規則音声合成に用いる合成パラメータを設定して、合成
音データを生成するようにすることが可能である。

【０１４９】具体的には、規則合成モジュール２５にお
いて、設定した音声タイプにしたがい、例えば、合成音
データの生成に用いる音素片データの周波数特性等を、
高域強調や低域強調、イコライジング等を行うことによ
って変更し、その周波数特性を変更した音素片データを
接続することで、合成音データを生成する。これによ
り、規則合成モジュール２５では、男性または女性らし
い合成音データや、子供っぽい合成音データ、楽しげな
または悲しげな感じの合成音データ等の各種の音声タイ
プの合成音データを生成することができる。また、規則
合成モジュール２５では、設定した音声タイプにしたが
い、ピッチパターンやパワーパターンを決定し、その決
定したピッチパターンやパワーパターンを有する合成音
データを生成するようにすることも可能である。

【０１５０】以上のように、合成音の音声タイプを制御
する場合には、自然な合成音を得ること等が可能とな
る。

【０１５１】また、本実施の形態においては、規則音声
合成によって、テキストから合成音を生成するようにし
たが、合成音は、規則音声合成以外の方法によって生成
することも可能である。

【０１５２】

【発明の効果】以上の如く、本発明の言語処理装置およ
び言語処理方法、並びにプログラムによれば、入力デー
タから、非言語的な音の情報である非言語音情報が抽出
され、その非言語音情報を用いて、入力データが言語処
理される。従って、例えば、入力データとしてのテキス
トの意味するところを、効果的に表現する合成音を得る
こと等が可能となる。

【図面の簡単な説明】

【図１】本発明を適用したロボットの一実施の形態の外
観構成例を示す斜視図である。

【図２】ロボットの内部構成例を示すブロック図であ
る。

【図３】コントローラ１０の機能的構成例を示すブロッ
ク図である。

【図４】音声合成部５５の構成例を示すブロック図であ
る。

【図５】非言語音生成モジュール２１の構成例を示すブ
ロック図である。

【図６】非言語音情報データベース４４の記憶内容を示
す図である。

【図７】前処理を説明するフローチャートである。

【図８】非言語音情報処理を説明するフローチャートで
ある。

【図９】音声合成処理を説明するフローチャートであ
る。

【図１０】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

１ 頭部ユニット， ４Ａ 下顎部， １０ コントロ
ーラ， １０Ａ ＣＰＵ， １０Ｂ メモリ， １５
マイク， １６ ＣＣＤカメラ， １７ タッチセン
サ， １８ スピーカ， ２１ 非言語音生成モジュー
ル， ２２ 非言語音情報解釈モジュール， ２３ 形
態素解析モジュール， ２４ 音声記号列生成モジュー
ル， ２５ 規則合成モジュール， ２６ 音素片デー
タベース，２７ 非言語音変換モジュール， ２８ 非
言語音変換テーブル記憶部， ２９ テキスト非言語音
融合モジュール， ３０ 発声モジュール， ４１ テ
キスト処理部， ４２ 抽出部， ４３ 言語解析部，
４４ 非言語音情報データベース， ４５ 出力部，
５０ センサ入力処理部， ５０Ａ 音声認識部，
５０Ｂ 画像認識部， ５０Ｃ 圧力処理部， ５１
モデル記憶部， ５２ 行動決定機構部， ５３ 姿勢
遷移機構部， ５４ 制御機構部， ５５音声合成部，
１０１ バス， １０２ CPU， １０３ ROM， １
０４ RAM， １０５ ハードディスク， １０６ 出
力部， １０７ 入力部， １０８通信部， １０９
ドライブ， １１０ 入出力インタフェース， １１１
リムーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小林 恵理香 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 岸 秀樹 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 長谷川 里香 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B091 BA19 CA02 CA12 CA26 CB12 CB32 CC04 5D045 AA07 AA20

Claims (12)

【特許請求の範囲】
1. 【請求項１】 入力データを言語処理する言語処理装置
   であって、 前記入力データから、非言語的な音の情報である非言語
   音情報を抽出する抽出手段と、 前記非言語音情報を用いて、前記入力データを言語処理
   する言語処理手段とを備えることを特徴とする言語処理
   装置。
2. 【請求項２】 前記抽出手段は、前記入力データ中の、
   効果音を付与可能な表現、効果音を伴う行動もしくは状
   態を表す表現、または修飾表現に基づいて、前記非言語
   音情報を抽出することを特徴とする請求項１に記載の言
   語処理装置。
3. 【請求項３】 所定の語彙と、前記非言語音情報とを対
   応付けて記憶している記憶手段をさらに備え、 前記抽出手段は、前記入力データ中の語彙と対応付けら
   れている前記非言語音情報を抽出することを特徴とする
   請求項１に記載の言語処理装置。
4. 【請求項４】 前記入力データについて、形態素解析を
   行う形態素解析手段をさらに備え、 前記抽出手段は、前記入力データの形態素解析結果に基
   づいて、前記非言語音情報を抽出することを特徴とする
   請求項１に記載の言語処理装置。
5. 【請求項５】 前記入力データについて、構文解析を行
   う構文解析手段をさらに備え、 前記抽出手段は、前記入力データの構文解析結果に基づ
   いて、前記非言語音情報を抽出することを特徴とする請
   求項１に記載の言語処理装置。
6. 【請求項６】 前記入力データについて、意味解析を行
   う意味解析手段をさらに備え、 前記抽出手段は、前記入力データの意味解析結果に基づ
   いて、前記非言語音情報を抽出することを特徴とする請
   求項１に記載の言語処理装置。
7. 【請求項７】 前記言語処理手段は、前記入力データに
   対応する合成音を、前記非言語音情報を用いて生成する
   ことを特徴とする請求項１に記載の言語処理装置。
8. 【請求項８】 前記言語処理手段は、前記非言語音情報
   に対応する音響データを融合した前記合成音を生成する
   ことを特徴とする請求項７に記載の言語処理装置。
9. 【請求項９】 前記言語処理手段は、前記非言語音情報
   に基づいて音声タイプを制御した前記合成音を生成する
   ことを特徴とする請求項７に記載の言語処理装置。
10. 【請求項１０】 入力データを言語処理する言語処理方
    法であって、 前記入力データから、非言語的な音の情報である非言語
    音情報を抽出する抽出ステップと、 前記非言語音情報を用いて、前記入力データを言語処理
    する言語処理ステップとを備えることを特徴とする言語
    処理方法。
11. 【請求項１１】 入力データの言語処理を、コンピュー
    タに行わせるプログラムであって、 前記入力データから、非言語的な音の情報である非言語
    音情報を抽出する抽出ステップと、 前記非言語音情報を用いて、前記入力データを言語処理
    する言語処理ステップとを備えることを特徴とするプロ
    グラム。
12. 【請求項１２】 入力データの言語処理を、コンピュー
    タに行わせるプログラムが記録されている記録媒体であ
    って、 前記入力データから、非言語的な音の情報である非言語
    音情報を抽出する抽出ステップと、 前記非言語音情報を用いて、前記入力データを言語処理
    する言語処理ステップとを備えるプログラムが記録され
    ていることを特徴とする記録媒体。