JP2002304188A

JP2002304188A - 単語列出力装置および単語列出力方法、並びにプログラムおよび記録媒体

Info

Publication number: JP2002304188A
Application number: JP2001107476A
Authority: JP
Inventors: Shinichi Kariya; 真一狩谷
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-04-05
Filing date: 2001-04-05
Publication date: 2002-10-18
Also published as: CN1463420A; KR20030007866A; US7233900B2; CN1221936C; EP1376535A4; US20040024602A1; EP1376535A1; WO2002082423A1

Abstract

(57)【要約】【課題】感情豊かな合成音等の出力を行う。【解決手段】テキスト生成部３１は、行動指令情報に
したがい、そこに含まれる単語列としてのテキストか
ら、合成音にする発話テキストを生成する。一方、感情
チェック部３９は、ペットロボットの感情モデル値をチ
ェックし、その感情モデル値に基づいて、ペットロボッ
トの感情が高ぶっているかどうかを判断する。さらに、
感情チェック部３９は、ペットロボットの感情が高ぶっ
ている場合には、語順の入れ替えを、テキスト生成部３
１に指示する。テキスト生成部３１は、感情チェック部
３９の指示にしたがい、発話テキストの語順を入れ替え
る。即ち、これにより、例えば、発話テキストが、「君
はきれいだ。」であった場合には、「きれいだ、君
は。」に、語順が入れ替えられる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単語列出力装置お
よび単語列出力方法、並びにプログラムおよび記録媒体
に関し、特に、例えば、エンタテイメント用のロボット
の感情等の状態に基づいて、音声合成装置により合成音
で出力される文等を構成する単語列の語順を入れ替える
ようにすることで、感情豊かな発話を行うロボットを実
現すること等ができるようにする音声合成装置および音
声合成方法、並びにプログラムおよび記録媒体に関す
る。

【０００２】

【従来の技術】例えば、従来の音声合成装置において
は、テキスト、またはそのテキストを解析して得られる
発音記号に基づいて、合成音が生成される。

【０００３】

【発明が解決しようとする課題】ところで、最近、例え
ば、ペット型のペットロボット等として、音声合成装置
を搭載し、ユーザに話しかけたり、ユーザと会話（対
話）を行うものが提案されている。

【０００４】さらに、ペットロボットとしては、感情の
状態を表す感情モデルを取り入れ、その感情モデルが表
す感情の状態に応じて、ユーザの命令に従ったり、従わ
なかったりするものも提案されている。

【０００５】従って、感情モデルに応じて、合成音を変
化させることができれば、感情に応じた合成音が出力さ
れることから、ペットロボットのエンタテイメント性を
向上させることができると考えられる。

【０００６】本発明は、このような状況に鑑みてなされ
たものであり、感情豊かな合成音等を出力することがで
きるようにするものである。

【０００７】

【課題を解決するための手段】本発明の単語列出力装置
は、情報処理装置の制御にしたがって、単語列を出力す
る出力手段と、情報処理装置の内部状態に基づいて、出
力手段において出力される単語列の語順を入れ替える入
れ替え手段とを備えることを特徴とする。

【０００８】本発明の単語列出力方法は、情報処理装置
の制御にしたがって、単語列を出力する出力ステップ
と、情報処理装置の内部状態に基づいて、出力ステップ
において出力される単語列の語順を入れ替える入れ替え
ステップとを備えることを特徴とする。

【０００９】本発明のプログラムは、情報処理装置の制
御にしたがって、単語列を出力する出力ステップと、情
報処理装置の内部状態に基づいて、出力ステップにおい
て出力される単語列の語順を入れ替える入れ替えステッ
プとを備えることを特徴とする。

【００１０】本発明の記録媒体は、情報処理装置の制御
にしたがって、単語列を出力する出力ステップと、情報
処理装置の内部状態に基づいて、出力ステップにおいて
出力される単語列の語順を入れ替える入れ替えステップ
とを備えるプログラムが記録されていることを特徴とす
る。

【００１１】本発明の単語列出力装置および単語列出力
方法、並びにプログラムにおいては、情報処理装置の制
御にしたがって、単語列が出力される一方、情報処理装
置の内部状態に基づいて、出力される単語列の語順が入
れ替えられる。

【００１２】

【発明の実施の形態】図１は、本発明を適用したロボッ
トの一実施の形態の外観構成例を示しており、図２は、
その電気的構成例を示している。

【００１３】本実施の形態では、ロボットは、例えば、
犬等の四つ足の動物の形状のものとなっており、胴体部
ユニット２の前後左右に、それぞれ脚部ユニット３Ａ，
３Ｂ，３Ｃ，３Ｄが連結されるとともに、胴体部ユニッ
ト２の前端部と後端部に、それぞれ頭部ユニット４と尻
尾部ユニット５が連結されることにより構成されてい
る。

【００１４】尻尾部ユニット５は、胴体部ユニット２の
上面に設けられたベース部５Ｂから、２自由度をもって
湾曲または揺動自在に引き出されている。

【００１５】胴体部ユニット２には、ロボット全体の制
御を行うコントローラ１０、ロボットの動力源となるバ
ッテリ１１、並びにバッテリセンサ１２および熱センサ
１３からなる内部センサ部１４などが収納されている。

【００１６】頭部ユニット４には、「耳」に相当するマ
イク（マイクロフォン）１５、「目」に相当するＣＣＤ
(Charge Coupled Device)カメラ１６、触覚に相当する
タッチセンサ１７、「口」に相当するスピーカ１８など
が、それぞれ所定位置に配設されている。また、頭部ユ
ニット４には、口の下顎に相当する下顎部４Ａが１自由
度をもって可動に取り付けられており、この下顎部４Ａ
が動くことにより、ロボットの口の開閉動作が実現され
るようになっている。

【００１７】脚部ユニット３Ａ乃至３Ｄそれぞれの関節
部分や、脚部ユニット３Ａ乃至３Ｄそれぞれと胴体部ユ
ニット２の連結部分、頭部ユニット４と胴体部ユニット
２の連結部分、頭部ユニット４と下顎部４Ａの連結部
分、並びに尻尾部ユニット５と胴体部ユニット２の連結
部分などには、図２に示すように、それぞれアクチュエ
ータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁乃至３ＢＡ_K、３ＣＡ
₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ_K、４Ａ₁乃至４Ａ_L、
５Ａ₁および５Ａ₂が配設されている。

【００１８】頭部ユニット４におけるマイク１５は、ユ
ーザからの発話を含む周囲の音声（音）を集音し、得ら
れた音声信号を、コントローラ１０に送出する。ＣＣＤ
カメラ１６は、周囲の状況を撮像し、得られた画像信号
を、コントローラ１０に送出する。

【００１９】タッチセンサ１７は、例えば、頭部ユニッ
ト４の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ１０に送出する。

【００２０】胴体部ユニット２におけるバッテリセンサ
１２は、バッテリ１１の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ１０に送
出する。熱センサ１３は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ１０に
送出する。

【００２１】コントローラ１０は、ＣＰＵ(Central Pro
cessing Unit)１０Ａやメモリ１０Ｂ等を内蔵してお
り、ＣＰＵ１０Ａにおいて、メモリ１０Ｂに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。

【００２２】即ち、コントローラ１０は、マイク１５
や、ＣＣＤカメラ１６、タッチセンサ１７、バッテリセ
ンサ１２、熱センサ１３から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。

【００２３】さらに、コントローラ１０は、この判断結
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁
乃至３ＢＡ_K、３ＣＡ₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ
_K、４Ａ₁乃至４Ａ_L、５Ａ₁、５Ａ₂のうちの必要なもの
を駆動させる。これにより、頭部ユニット４を上下左右
に振らせたり、下顎部４Ａを開閉させる。さらには、尻
尾部ユニット５を動かせたり、各脚部ユニット３Ａ乃至
３Ｄを駆動して、ロボットを歩行させるなどの行動を行
わせる。

【００２４】また、コントローラ１０は、必要に応じ
て、合成音を生成し、スピーカ１８に供給して出力させ
たり、ロボットの「目」の位置に設けられた図示しない
ＬＥＤ（Light Emitting Diode）を点灯、消灯または点
滅させる。

【００２５】以上のようにして、ロボットは、周囲の状
況等に基づいて自律的に行動をとるようになっている。

【００２６】なお、メモリ１０Ｂは、例えば、メモリス
ティック（商標）等の、容易に着脱が可能なメモリカー
ドで構成することが可能である。

【００２７】次に、図３は、図２のコントローラ１０の
機能的構成例を示している。なお、図３に示す機能的構
成は、ＣＰＵ１０Ａが、メモリ１０Ｂに記憶された制御
プログラムを実行することで実現されるようになってい
る。

【００２８】コントローラ１０は、特定の外部状態を認
識するセンサ入力処理部５０、センサ入力処理部５０の
認識結果を累積して、感情や、本能、成長の状態を表現
するモデル記憶部５１、センサ入力処理部５０の認識結
果等に基づいて、続く行動を決定する行動決定機構部５
２、行動決定機構部５２の決定結果に基づいて、実際に
ロボットに行動を起こさせる姿勢遷移機構部５３、各ア
クチュエータ３ＡＡ₁乃至５Ａ₁および５Ａ₂を駆動制御
する制御機構部５４、並びに合成音を生成する音声合成
部５５から構成されている。

【００２９】センサ入力処理部５０は、マイク１５や、
ＣＣＤカメラ１６、タッチセンサ１７等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、モデル記憶部５１および行動決定機構部５２に通知
する。

【００３０】即ち、センサ入力処理部５０は、音声認識
部５０Ａを有しており、音声認識部５０Ａは、マイク１
５から与えられる音声信号について音声認識を行う。そ
して、音声認識部５０Ａは、その音声認識結果として
の、例えば、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、状態認識情報として、モデル記
憶部５１および行動決定機構部５２に通知する。

【００３１】また、センサ入力処理部５０は、画像認識
部５０Ｂを有しており、画像認識部５０Ｂは、ＣＣＤカ
メラ１６から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部５０Ｂは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、モデル記憶部５１および行動
決定機構部５２に通知する。

【００３２】さらに、センサ入力処理部５０は、圧力処
理部５０Ｃを有しており、圧力処理部５０Ｃは、タッチ
センサ１７から与えられる圧力検出信号を処理する。そ
して、圧力処理部５０Ｃは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた（しかられた）」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た（ほめられた）」と認識して、その認識結果を、状態
認識情報として、モデル記憶部５１および行動決定機構
部５２に通知する。

【００３３】モデル記憶部５１は、ロボットの感情、本
能、成長の状態を表現する感情モデル、本能モデル、成
長モデルをそれぞれ記憶、管理している。

【００３４】ここで、感情モデルは、例えば、「うれし
さ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状
態（度合い）を、所定の範囲（例えば、−１．０乃至
１．０等）の値によってそれぞれ表し、センサ入力処理
部５０からの状態認識情報や時間経過等に基づいて、そ
の値を変化させる。本能モデルは、例えば、「食欲」、
「睡眠欲」、「運動欲」等の本能による欲求の状態（度
合い）を、所定の範囲の値によってそれぞれ表し、セン
サ入力処理部５０からの状態認識情報や時間経過等に基
づいて、その値を変化させる。成長モデルは、例えば、
「幼年期」、「青年期」、「熟年期」、「老年期」等の
成長の状態（度合い）を、所定の範囲の値によってそれ
ぞれ表し、センサ入力処理部５０からの状態認識情報や
時間経過等に基づいて、その値を変化させる。

【００３５】モデル記憶部５１は、上述のようにして感
情モデル、本能モデル、成長モデルの値で表される感
情、本能、成長の状態を、状態情報として、行動決定機
構部５２に送出する。

【００３６】なお、モデル記憶部５１には、センサ入力
処理部５０から状態認識情報が供給される他、行動決定
機構部５２から、ロボットの現在または過去の行動、具
体的には、例えば、「長時間歩いた」などの行動の内容
を示す行動情報が供給されるようになっており、モデル
記憶部５１は、同一の状態認識情報が与えられても、行
動情報が示すロボットの行動に応じて、異なる状態情報
を生成するようになっている。

【００３７】即ち、例えば、ロボットが、ユーザに挨拶
をし、ユーザに頭を撫でられた場合には、ユーザに挨拶
をしたという行動情報と、頭を撫でられたという状態認
識情報とが、モデル記憶部５１に与えられ、この場合、
モデル記憶部５１では、「うれしさ」を表す感情モデル
の値が増加される。

【００３８】一方、ロボットが、何らかの仕事を実行中
に頭を撫でられた場合には、仕事を実行中であるという
行動情報と、頭を撫でられたという状態認識情報とが、
モデル記憶部５１に与えられ、この場合、モデル記憶部
５１では、「うれしさ」を表す感情モデルの値は変化さ
れない。

【００３９】このように、モデル記憶部５１は、状態認
識情報だけでなく、現在または過去のロボットの行動を
示す行動情報も参照しながら、感情モデルの値を設定す
る。これにより、例えば、何らかのタスクを実行中に、
ユーザが、いたずらするつもりで頭を撫でたときに、
「うれしさ」を表す感情モデルの値を増加させるよう
な、不自然な感情の変化が生じることを回避することが
できる。

【００４０】なお、モデル記憶部５１は、本能モデルお
よび成長モデルについても、感情モデルにおける場合と
同様に、状態認識情報および行動情報の両方に基づい
て、その値を増減させるようになっている。また、モデ
ル記憶部５１は、感情モデル、本能モデル、成長モデル
それぞれの値を、他のモデルの値にも基づいて増減させ
るようになっている。

【００４１】行動決定機構部５２は、センサ入力処理部
５０からの状態認識情報や、モデル記憶部５１からの状
態情報、時間経過等に基づいて、次の行動を決定し、決
定された行動の内容を、行動指令情報として、姿勢遷移
機構部５３に送出する。

【００４２】即ち、行動決定機構部５２は、ロボットが
とり得る行動をステート（状態）(state)に対応させた
有限オートマトンを、ロボットの行動を規定する行動モ
デルとして管理しており、この行動モデルとしての有限
オートマトンにおけるステートを、センサ入力処理部５
０からの状態認識情報や、モデル記憶部５１における感
情モデル、本能モデル、または成長モデルの値、時間経
過等に基づいて遷移させ、遷移後のステートに対応する
行動を、次にとるべき行動として決定する。

【００４３】ここで、行動決定機構部５２は、所定のト
リガ(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部５２は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、モデル記憶部５１から供給される状態情報が示す感
情や、本能、成長の状態の値が所定の閾値以下または以
上になったとき等に、ステートを遷移させる。

【００４４】なお、行動決定機構部５２は、上述したよ
うに、センサ入力処理部５０からの状態認識情報だけで
なく、モデル記憶部５１における感情モデルや、本能モ
デル、成長モデルの値等にも基づいて、行動モデルにお
けるステートを遷移させることから、同一の状態認識情
報が入力されても、感情モデルや、本能モデル、成長モ
デルの値（状態情報）によっては、ステートの遷移先は
異なるものとなる。

【００４５】その結果、行動決定機構部５２は、例え
ば、状態情報が、「怒っていない」こと、および「お腹
がすいていない」ことを表している場合において、状態
認識情報が、「目の前に手のひらが差し出された」こと
を表しているときには、目の前に手のひらが差し出され
たことに応じて、「お手」という行動をとらせる行動指
令情報を生成し、これを、姿勢遷移機構部５３に送出す
る。

【００４６】また、行動決定機構部５２は、例えば、状
態情報が、「怒っていない」こと、および「お腹がすい
ている」ことを表している場合において、状態認識情報
が、「目の前に手のひらが差し出された」ことを表して
いるときには、目の前に手のひらが差し出されたことに
応じて、「手のひらをぺろぺろなめる」ような行動を行
わせるための行動指令情報を生成し、これを、姿勢遷移
機構部５３に送出する。

【００４７】また、行動決定機構部５２は、例えば、状
態情報が、「怒っている」ことを表している場合におい
て、状態認識情報が、「目の前に手のひらが差し出され
た」ことを表しているときには、状態情報が、「お腹が
すいている」ことを表していても、また、「お腹がすい
ていない」ことを表していても、「ぷいと横を向く」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部５３に送出する。

【００４８】なお、行動決定機構部５２には、モデル記
憶部５１から供給される状態情報が示す感情や、本能、
成長の状態に基づいて、遷移先のステートに対応する行
動のパラメータとしての、例えば、歩行の速度や、手足
を動かす際の動きの大きさおよび速度などを決定させる
ことができ、この場合、それらのパラメータを含む行動
指令情報が、姿勢遷移機構部５３に送出される。

【００４９】また、行動決定機構部５２では、上述した
ように、ロボットの頭部や手足等を動作させる行動指令
情報の他、ロボットに発話を行わせる行動指令情報も生
成される。ロボットに発話を行わせる行動指令情報は、
音声合成部５５に供給されるようになっており、音声合
成部５５に供給される行動指令情報には、音声合成部５
５に生成させる合成音に対応するテキスト等が含まれ
る。そして、音声合成部５５は、行動決定部５２から行
動指令情報を受信すると、その行動指令情報に含まれる
テキストに基づき、合成音を生成し、スピーカ１８に供
給して出力させる。これにより、スピーカ１８からは、
例えば、ロボットの鳴き声、さらには、「お腹がすい
た」等のユーザへの各種の要求、「何？」等のユーザの
呼びかけに対する応答その他の音声出力が行われる。こ
こで、音声合成部５５には、モデル記憶部５１から状態
情報も供給されるようになっており、音声合成部５５
は、この状態情報が示す感情の状態に基づいて各種の制
御を行った合成音を生成することが可能となっている。

【００５０】なお、音声合成部５５では、感情の他、本
能や本能の状態に基づいて各種の制御した合成音を生成
することも可能である。また、行動決定機構部５２は、
合成音を出力する場合には、下顎部４Ａを開閉させる行
動指令情報を、必要に応じて生成し、姿勢遷移機構部５
３に出力する。この場合、合成音の出力に同期して、下
顎部４Ａが開閉し、ユーザに、ロボットがしゃべってい
るかのような印象を与えることができる。

【００５１】姿勢遷移機構部５３は、行動決定機構部５
２から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部５４に送出す
る。

【００５２】ここで、現在の姿勢から次に遷移可能な姿
勢は、例えば、胴体や手や足の形状、重さ、各部の結合
状態のようなロボットの物理的形状と、関節が曲がる方
向や角度のようなアクチュエータ３ＡＡ₁乃至５Ａ₁およ
び５Ａ₂の機構とによって決定される。

【００５３】また、次の姿勢としては、現在の姿勢から
直接遷移可能な姿勢と、直接には遷移できない姿勢とが
ある。例えば、４本足のロボットは、手足を大きく投げ
出して寝転んでいる状態から、伏せた状態へ直接遷移す
ることはできるが、立った状態へ直接遷移することはで
きず、一旦、手足を胴体近くに引き寄せて伏せた姿勢に
なり、それから立ち上がるという２段階の動作が必要で
ある。また、安全に実行できない姿勢も存在する。例え
ば、４本足のロボットは、その４本足で立っている姿勢
から、両前足を挙げてバンザイをしようとすると、簡単
に転倒してしまう。

【００５４】このため、姿勢遷移機構部５３は、直接遷
移可能な姿勢をあらかじめ登録しておき、行動決定機構
部５２から供給される行動指令情報が、直接遷移可能な
姿勢を示す場合には、その行動指令情報を、そのまま姿
勢遷移情報として、制御機構部５４に送出する。一方、
行動指令情報が、直接遷移不可能な姿勢を示す場合に
は、姿勢遷移機構部５３は、遷移可能な他の姿勢に一旦
遷移した後に、目的の姿勢まで遷移させるような姿勢遷
移情報を生成し、制御機構部５４に送出する。これによ
りロボットが、遷移不可能な姿勢を無理に実行しようと
する事態や、転倒するような事態を回避することができ
るようになっている。

【００５５】制御機構部５４は、姿勢遷移機構部５３か
らの姿勢遷移情報にしたがって、アクチュエータ３ＡＡ
₁乃至５Ａ₁および５Ａ₂を駆動するための制御信号を生
成し、これを、アクチュエータ３ＡＡ₁乃至５Ａ₁および
５Ａ₂に送出する。これにより、アクチュエータ３ＡＡ₁
乃至５Ａ₁および５Ａ₂は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。

【００５６】次に、図４は、図３の音声合成部５５の構
成例を示している。

【００５７】テキスト生成部３１には、行動決定機構部
５２が出力する、音声合成の対象とするテキストを含む
行動指令情報が供給されるようになっており、テキスト
生成部３１は、辞書記憶部３６や生成用文法記憶部３７
を参照しながら、その行動指令情報に含まれるテキスト
を解析する。

【００５８】即ち、辞書記憶部３６には、各単語の品詞
情報や、読み、アクセント等の情報が記述された単語辞
書が記憶されており、また、生成用文法記憶部３７に
は、辞書記憶部３６の単語辞書に記述された単語につい
て、単語連鎖に関する制約等の文法規則が記憶されてい
る。そして、テキスト生成部３１は、この単語辞書およ
び文法規則に基づいて、そこに入力されるテキストの形
態素解析や構文解析等の解析を行い、後段の規則合成部
３２で行われる規則音声合成に必要な情報を抽出する。
ここで、規則音声合成に必要な情報としては、例えば、
ポーズの位置や、アクセントおよびイントネーションを
制御するための情報その他の韻律情報や、各単語の発音
等の音韻情報などがある。

【００５９】テキスト生成部３１で得られた情報は、規
則合成部３２に供給され、規則合成部３２は、音素片記
憶部３８を用いて、テキスト生成部３１に入力されたテ
キストに対応する合成音の音声データ（ディジタルデー
タ）を生成する。

【００６０】即ち、音素片記憶部３８には、例えば、Ｃ
Ｖ(Consonant, Vowel)や、ＶＣＶ、ＣＶＣ等の形で音素
片データが記憶されており、規則合成部３２は、テキス
ト生成部３１からの情報に基づいて、必要な音素片デー
タを接続し、さらに、ポーズ、アクセント、イントネー
ション等を適切に付加することで、テキスト生成部３１
に入力されたテキストに対応する合成音データを生成す
る。

【００６１】この音声データは、データバッファ３３に
供給される。データバッファ３３は、規則合成部３２か
ら供給される合成音データを記憶する。

【００６２】出力制御部３４は、データバッファ３３に
記憶された合成音データの読み出しを制御する。

【００６３】即ち、出力制御部３４は、後段のＤＡ（Di
gital Analogue）変換部３５に同期して、データバッフ
ァ３３から合成音データを読み出し、ＤＡ変換部３５に
供給する。ＤＡ変換部３５は、ディジタル信号としての
合成音データを、アナログ信号としての音声信号にＤ／
Ａ変換し、スピーカ１８に供給する。これにより、テキ
スト生成部３１に入力されたテキストに対応する合成音
が出力される。

【００６４】感情チェック部３９は、モデル記憶部５１
に記憶された感情モデルの値（感情モデル値）を、定期
的に、または不定期にチェックし、テキスト生成部３１
および規則合成部３２に供給する。そして、テキスト生
成部３１および規則合成部３２は、感情チェック部３９
から供給される感情モデル値を考慮して処理を行う。

【００６５】次に、図５のフローチャートを参照して、
図４の音声合成部５５による音声合成処理について説明
する。

【００６６】行動決定機構部５２が、音声合成の対象と
するテキストを含む行動指令情報を、音声合成部５５に
出力すると、テキスト生成部３１は、ステップＳ１にお
いて、その行動指令情報を受信し、ステップＳ２に進
む。ステップＳ２では、感情チェック部３９において、
モデル記憶部５１を参照することで、感情モデル値が認
識（チェック）される。この感情モデル値は、感情チェ
ック部３９から、テキスト生成部３１および規則合成部
３２に供給され、ステップＳ３に進む。

【００６７】ステップＳ３では、テキスト生成部３１に
おいて、行動決定機構部５２からの行動指令情報に含ま
れるテキストから、実際に合成音として出力するテキス
ト（以下、適宜、発話テキストという）を生成する際に
用いる語彙（発話語彙）が、感情モデル値に基づいて設
定され、ステップＳ４に進む。ステップＳ４では、テキ
スト生成部３１において、ステップＳ３で設定された発
話語彙を用いて、行動指令情報に含まれるテキストに対
応する発話テキストが生成される。

【００６８】即ち、行動決定機構部５２からの行動指令
情報に含まれるテキストは、例えば、標準的な感情の状
態における発話を前提としたものとなっており、ステッ
プＳ４では、そのテキストが、ロボットの感情の状態を
考慮して修正され、これにより、発話テキストが生成さ
れる。

【００６９】具体的には、例えば、行動指令情報に含ま
れるテキストが、「何ですか」である場合において、ロ
ボットの感情の状態が「怒っている」ことを表している
ときには、その怒りを表現する「何だよ！」が、発話テ
キストとして生成される。あるいは、また、例えば、行
動指令情報に含まれるテキストが、「やめて下さい」で
ある場合において、ロボットの感情の状態が「怒ってい
る」ことを表しているときには、その怒りを表現する
「やめろ！」が、発話テキストとして生成される。

【００７０】そして、ステップＳ５に進み、感情チェッ
ク部３９は、ステップＳ２で認識した感情モデル値に基
づいて、ロボットの感情が高ぶっているかどうかを判定
する。

【００７１】即ち、感情モデル値は、上述したように、
「うれしさ」や、「悲しさ」、「怒り」、「楽しさ」等
の感情の状態（度合い）を、所定の範囲の数値で表すも
のであるから、例えば、そのうちのいずれかが大きい場
合には、感情が高ぶっていると考えることができる。そ
こで、ステップＳ５では、各感情の感情モデル値を所定
の閾値と比較することで、ロボットの感情が高ぶってい
るかどうかが判定される。

【００７２】ステップＳ５において、感情が高ぶってい
ると判定された場合、ステップＳ６に進み、感情チェッ
ク部３９は、発話テキストを構成する単語の語順の入れ
替えを指示する入れ替え指示信号を、テキスト生成部３
１に出力する。

【００７３】この場合、テキスト生成部３１は、感情チ
ェック部３９からの入れ替え信号にしたがい、例えば、
発話テキストにおける述語の部分が、先頭に配置される
ように、その発話テキストを構成する単語列の語順を入
れ替える。

【００７４】即ち、発話テキストが、例えば、否定を表
す「私はやっていません。」であった場合には、テキス
ト生成部３１は、その語順を入れ替え、「やってませ
ん、私は。」に変換する。また、発話テキストが、例え
ば、怒りを表す「あなたはなんということをするのです
か。」であった場合には、テキスト生成部３１は、その
語順を入れ替え、「なんということをするのですか、あ
なたは。」に変換する。さらに、発話テキストが、例え
ば、同意を表す「私もそれに賛成です。」であった場合
には、テキスト生成部３１は、その語順を入れ替え、
「賛成です、私もそれに。」に変換する。また、発話テ
キストが、例えば、賛美を表す「君はきれいだ。」であ
った場合には、テキスト生成部３１は、その語順を入れ
替え、「きれいだ、君は。」に変換する。

【００７５】以上のように、発話テキストにおいて、述
語の部分を、文頭に配置するように、その語順を入れ替
える場合には、その述語部分が強調され、入れ替え前の
発話テキストに比較して、強い感情がこめられているか
のような印象を与える発話テキストを得ることができ
る。

【００７６】なお、語順の入れ替え方法は、上述したも
のに限定されるものではない。

【００７７】ステップＳ６において、以上のように、発
話テキストの語順が入れ替えられた後は、ステップＳ７
に進む。

【００７８】一方、ステップＳ５において、感情が高ぶ
っていないと判定された場合は、ステップＳ６をスキッ
プして、ステップＳ７に進む。従って、この場合は、発
話テキストの語順が入れ替えられず、そのままとされ
る。

【００７９】ステップＳ７では、テキスト生成部３１
は、（語順が入れ替えられた、または語順が入れ替えら
れていない）発話テキストを対象に、形態素解析や構文
解析等のテキスト解析を行い、その発話テキストについ
て規則音声合成を行うのに必要な情報としての、ピッチ
周波数や、パワー、継続時間長等の韻律情報を生成す
る。さらに、テキスト生成部３１は、発話テキストを構
成する各単語の発音等の音韻情報も生成する。ここで、
ステップＳ７では、発話テキストの韻律情報として、標
準的な韻律情報が生成される。

【００８０】その後、テキスト生成部３１は、ステップ
Ｓ８に進み、ステップＳ７で生成した発話テキストの韻
律情報を、感情チェック部３９から供給された感情モデ
ル値に基づいて修正し、これにより、発話テキストが合
成音で出力されるときの感情表現が高められる。

【００８１】テキスト生成部３１で得られた発話テキス
トの音韻情報および韻律情報は、規則合成部３２に供給
され、規則合成部３２では、ステップＳ９において、そ
の音韻情報および韻律情報にしたがい、規則音声合成が
行われることにより、発話テキストの合成音のディジタ
ルデータ（合成音データ）が生成される。ここで、規則
合成部３２でも、規則音声合成の際、感情チェック部３
９から供給される感情モデル値に基づいて、ロボットの
感情の状態を適切に表現するように、合成音のポーズの
位置や、アクセントの位置、イントネーション等の韻律
を変更するようにすることができる。

【００８２】規則合成部３２で得られた合成音データ
は、ステップＳ１０において、データバッファ３３に供
給され、データバッファ３３は、規則合成部３２からの
合成音データを記憶する。そして、出力制御部３４は、
ステップＳ１１において、データバッファ３３からの合
成音データを読み出し、ＤＡ変換部３５に供給して、処
理を終了する。これにより、発話テキストに対応する合
成音が、スピーカ１８から出力される。

【００８３】以上のように、ペットロボットの感情の状
態に基づいて、発話テキストの語順を入れ替えるように
したので、感情豊かな合成音を出力することが可能とな
り、その結果、例えば、感情が高ぶっていることをユー
ザに印象づけること等が可能となる。

【００８４】以上、本発明を、エンターテイメント用の
ロボット（疑似ペットとしてのロボット）に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、システムに感情等の内部状態が導入された対話シス
テムその他に広く適用することが可能である。

【００８５】また、本発明は、現実世界のロボットだけ
でなく、例えば、液晶ディスプレイ等の表示装置に表示
される仮想的なロボットにも適用可能である。そして、
本発明を、仮想的なロボットに適用する場合（その他、
例えば、表示装置を有する実際のロボットに適用する場
合）においては、語順の入れ替えた発話テキストは、合
成音で出力するのではなく、または合成音で出力すると
ともに、表示装置で表示することが可能である。

【００８６】なお、本実施の形態においては、上述した
一連の処理を、ＣＰＵ１０Ａにプログラムを実行させる
ことにより行うようにしたが、一連の処理は、それ専用
のハードウェアによって行うことも可能である。

【００８７】ここで、プログラムは、あらかじめメモリ
１０Ｂ（図２）に記憶させておく他、フロッピー（登録
商標）ディスク、CD-ROM(Compact Disc Read Only Memo
ry)，MO(Magnetooptical)ディスク，DVD(Digital Versa
tile Disc)、磁気ディスク、半導体メモリなどのリムー
バブル記録媒体に、一時的あるいは永続的に格納（記
録）しておくことができる。そして、このようなリムー
バブル記録媒体を、いわゆるパッケージソフトウエアと
して提供し、ロボット（メモリ１０Ｂ）にインストール
するようにすることができる。

【００８８】また、プログラムは、ダウンロードサイト
から、ディジタル衛星放送用の人工衛星を介して、無線
で転送したり、LAN(Local Area Network)、インターネ
ットといったネットワークを介して、有線で転送し、メ
モリ１０Ｂにインストールすることができる。

【００８９】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ１０Ｂに、容易にインストールすることが
できる。

【００９０】なお、本明細書において、ＣＰＵ１０Ａに
各種の処理を行わせるためのプログラムを記述する処理
ステップは、必ずしもフローチャートとして記載された
順序に沿って時系列に処理する必要はなく、並列的ある
いは個別に実行される処理（例えば、並列処理あるいは
オブジェクトによる処理）も含むものである。

【００９１】また、プログラムは、１のＣＰＵにより処
理されるものであっても良いし、複数のＣＰＵによって
分散処理されるものであっても良い。

【００９２】次に、図４の音声合成部５５は、専用のハ
ードウェアにより実現することもできるし、ソフトウェ
アにより実現することもできる。音声合成部５５をソフ
トウェアによって実現する場合には、そのソフトウェア
を構成するプログラムが、汎用のコンピュータ等にイン
ストールされる。

【００９３】そこで、図６は、音声合成部５５を実現す
るためのプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【００９４】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【００９５】あるいはまた、プログラムは、フロッピー
ディスク、CD-ROM，MOディスク，DVD、磁気ディスク、
半導体メモリなどのリムーバブル記録媒体１１１に、一
時的あるいは永続的に格納（記録）しておくことができ
る。このようなリムーバブル記録媒体１１１は、いわゆ
るパッケージソフトウエアとして提供することができ
る。

【００９６】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN、インターネットといったネットワークを介
して、コンピュータに有線で転送し、コンピュータで
は、そのようにして転送されてくるプログラムを、通信
部１０８で受信し、内蔵するハードディスク１０５にイ
ンストールすることができる。

【００９７】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。

【００９８】なお、本実施の形態では、行動決定機構部
５２が生成するテキストから合成音を生成するようにし
たが、本発明は、あからじめ用意されたテキストから合
成音を生成する場合にも適用可能である。さらに、本発
明は、あらかじめ録音してある音声データを編集して、
目的とする合成音を生成する場合にも適用可能である。

【００９９】また、本実施の形態では、発話テキストを
対象に、語順を入れ替え、その語順を入れ替えた後に、
合成音データを生成するようにしたが、語順を入れ替え
る前の発話テキストから合成音データを生成し、合成音
データを操作することにより、語順を入れ替えるように
することも可能である。なお、合成音データの操作は、
図４の規則合成部３２に行わせても良いし、また、図４
において点線で示すように、感情チェック部３９から出
力制御部３４に、感情モデル値を供給し、出力制御部３
４に行わせるようにすることも可能である。

【０１００】さらに、語順の入れ替えは、感情モデル値
の他、本能や成長その他のペットロボットの内部状態に
基づいて行うことが可能である。

【０１０１】

【発明の効果】以上の如く、本発明の単語列出力装置お
よび単語列出力方法、並びにプログラムによれば、情報
処理装置の制御にしたがって、単語列が出力される一
方、情報処理装置の内部状態に基づいて、出力される単
語列の語順が入れ替えられる。従って、感情豊かな合成
音等の出力が可能となる。

【図面の簡単な説明】

【図１】本発明を適用したロボットの一実施の形態の外
観構成例を示す斜視図である。

【図２】ロボットの内部構成例を示すブロック図であ
る。

【図３】コントローラ１０の機能的構成例を示すブロッ
ク図である。

【図４】音声合成部５５の構成例を示すブロック図であ
る。

【図５】音声合成部５５による音声合成処理を説明する
フローチャートである。

【図６】本発明を適用したコンピュータの一実施の形態
の構成例を示すブロック図である。

【符号の説明】

１頭部ユニット，４Ａ下顎部，１０コントロ
ーラ，１０ＡＣＰＵ，１０Ｂメモリ，１５
マイク，１６ＣＣＤカメラ，１７タッチセン
サ，１８スピーカ，３１テキスト生成部，３
２規則合成部，３３データバッファ，３４出力
制御部，３５ＤＡ変換部，３６辞書記憶部，３
７生成用文法記憶部，３８音素片記憶部，３９
感情チェック部，５０センサ入力処理部，５０
Ａ音声認識部，５０Ｂ画像認識部，５０Ｃ圧
力処理部，５１モデル記憶部，５２行動決定機
構部，５３姿勢遷移機構部，５４制御機構部，
５５音声合成部，１０１バス，１０２ CPU，
１０３ ROM，１０４ RAM，１０５ハードディ
スク，１０６出力部，１０７入力部，１０８
通信部，１０９ドライブ，１１０入出力イン
タフェース，１１１リムーバブル記録媒体

フロントページの続きＦターム(参考） 2C150 CA02 DA05 DF33 DG02 DG13 EC37 EC38 ED39 ED43 ED56 EF13 EF16 EF23 EF27 EF28 EF29 EF33 FA04 5D015 KK01 5D045 AA07 AB11

Claims

【特許請求の範囲】

【請求項１】情報処理装置の制御にしたがって、単語
列を出力する単語列出力装置であって、前記情報処理装置の制御にしたがって、前記単語列を出
力する出力手段と、前記情報処理装置の内部状態に基づいて、前記出力手段
において出力される単語列の語順を入れ替える入れ替え
手段とを備えることを特徴とする単語列出力装置。
【請求項２】前記情報処理装置は、実際の、または仮
想的なロボットであることを特徴とする請求項１に記載
の単語列出力装置。
【請求項３】前記情報処理装置は、その内部状態とし
て、感情の状態を有しており、前記入れ替え手段は、前記感情の状態に基づいて、前記
単語列の語順を入れ替えることを特徴とする請求項２に
記載の単語列出力装置。
【請求項４】前記出力手段は、前記単語列を、音声ま
たはテキストで出力することを特徴とする請求項１に記
載の単語列出力装置。
【請求項５】前記入れ替え手段は、前記単語列によっ
て構成される文の述語の部分が先頭に配置されるよう
に、前記単語列の語順を入れ替えることを特徴とする請
求項１に記載の単語列出力装置。
【請求項６】情報処理装置の制御にしたがって、単語
列を出力する単語列出力方法であって、前記情報処理装置の制御にしたがって、前記単語列を出
力する出力ステップと、前記情報処理装置の内部状態に基づいて、前記出力ステ
ップにおいて出力される単語列の語順を入れ替える入れ
替えステップとを備えることを特徴とする単語列出力方
法。
【請求項７】情報処理装置の制御にしたがって、単語
列を出力する単語列出力処理を、コンピュータに行わせ
るプログラムであって、前記情報処理装置の制御にしたがって、前記単語列を出
力する出力ステップと、前記情報処理装置の内部状態に基づいて、前記出力ステ
ップにおいて出力される単語列の語順を入れ替える入れ
替えステップとを備えることを特徴とするプログラム。
【請求項８】情報処理装置の制御にしたがって、単語
列を出力する単語列出力処理を、コンピュータに行わせ
るプログラムが記録されている記録媒体であって、前記情報処理装置の制御にしたがって、前記単語列を出
力する出力ステップと、前記情報処理装置の内部状態に基づいて、前記出力ステ
ップにおいて出力される単語列の語順を入れ替える入れ
替えステップとを備えるプログラムが記録されているこ
とを特徴とする記録媒体。