JP2002268663A

JP2002268663A - 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体

Info

Publication number: JP2002268663A
Application number: JP2001065072A
Authority: JP
Inventors: Koji Asano; 康治浅野; Kenichiro Kobayashi; 賢一郎小林; Nobuhide Yamazaki; 信英山崎; Shinichi Kariya; 真一狩谷; Yaeko Fujita; 八重子藤田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-03-08
Filing date: 2001-03-08
Publication date: 2002-09-20

Abstract

(57)【要約】【課題】インタラクティブ性の高いペットロボット等
を実現する。【解決手段】テキスト生成部３１および規則合成部３
２では、行動指令情報にしたがい、その行動指令情報に
含まれるテキストに対応する合成音データが生成され、
データバッファ３３に記憶される。一方、出力制御部３
４は、ペットロボットの感情の状態に基づき、データバ
ッファ３３に記憶された合成音データの出力を制御す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声合成装置およ
び音声合成方法、並びにプログラムおよび記録媒体に関
し、特に、例えば、エンタテイメント用のロボットの感
情等の状態に基づいて、合成音出力を制御するようにす
ることで、インタラクティブ性の高いロボットを実現す
ること等ができるようにする音声合成装置および音声合
成方法、並びにプログラムおよび記録媒体に関する。

【０００２】

【従来の技術】従来の音声合成装置においては、テキス
ト、またはそのテキストを解析して得られる発音記号に
基づいて、合成音が生成される。また、音声合成装置で
は、例えば、合成音の発話速度や、高さ、強さ、ポーズ
の長さ等が、音声合成装置に入力されるテキストや発音
記号に挿入されたタグに基づいて制御される。

【０００３】ここで、タグが挿入された発音記号として
は、例えば、次のようなものがある。

【０００４】 {(コレマ'テ゛ススメラレタ/ケンキュウワ)P3(オ'オキナ/セ'イカヲ)・・・) ・・・（１）

【０００５】（１）においては、発音記号をカタカナで
表している。また、タグ'は、アクセントを表し、タ
グ{}および()は、フレーズの区切りを表す。さらに、タ
グP3のうちのPは、ポーズを表し、続く数字の3は、ポー
ズの長さを表す。また、タグ/は、アクセント句の区切
りを表す。

【０００６】（１）の発音記号によれば、音声合成装置
では、音韻が「これまで進められた研究は、大きな成果
を・・・」という合成音が生成される。

【０００７】

【発明が解決しようとする課題】ところで、最近、例え
ば、ペット型のペットロボット等として、音声合成装置
を搭載し、ユーザに話しかけたり、ユーザと会話（対
話）を行うものが提案されている。

【０００８】さらに、ペットロボットとしては、感情の
状態を表す感情モデルを取り入れ、その感情モデルが表
す感情の状態に応じて、合成音の発話速度や、高さ、強
さ、ポーズの長さ等を制御し、感情を表現した合成音を
出力するものも提案されている。

【０００９】なお、音声に含まれる発話意図や感情と、
発話速度や基本周波数等との関係については、例えば、
前川、「音声によるパラ言語情報の伝達：言語学の立場
から」、日本音響学会平成９年度秋季研究発表会講演論
文集、pp.381-384（以下、文献１という）等に記載され
ている。

【００１０】ところで、例えば、上述のような音声合成
装置を搭載したペットロボットにおいて、ユーザとのイ
ンタラクティブ性を向上させるためには、合成音を出力
している最中に、感情の状態の変化に応じて、合成音の
出力を停止したり、合成音の発話速度や高さ等を変更す
ることができるようにするのが望ましい。

【００１１】しかしながら、従来の音声合成装置では、
上述したようなタグが挿入された発音記号列にしたがっ
て、合成音が生成されるため、合成音が出力されている
最中に、感情の状態が変化した場合に、リアルタイム
で、合成音の出力を停止したりすること等が困難であっ
た。

【００１２】本発明は、このような状況に鑑みてなされ
たものであり、ロボットの感情等の状態に応じて、合成
音の出力を制御することにより、インタラクティブ性の
高いロボット等を実現することができるようにするもの
である。

【００１３】

【課題を解決するための手段】本発明の音声合成装置
は、情報処理装置の制御にしたがって、合成音を生成す
る音声合成手段と、情報処理装置の内部状態に基づい
て、合成音の出力を制御する出力制御手段とを備えるこ
とを特徴とする。

【００１４】本発明の音声合成方法は、情報処理装置の
制御にしたがって、合成音を生成する音声合成ステップ
と、情報処理装置の内部状態に基づいて、合成音の出力
を制御する出力制御ステップとを備えることを特徴とす
る。

【００１５】本発明のプログラムは、情報処理装置の制
御にしたがって、合成音を生成する音声合成ステップ
と、情報処理装置の内部状態に基づいて、合成音の出力
を制御する出力制御ステップとを備えることを特徴とす
る。

【００１６】本発明の記録媒体は、情報処理装置の制御
にしたがって、合成音を生成する音声合成ステップと、
情報処理装置の内部状態に基づいて、合成音の出力を制
御する出力制御ステップとを備えるプログラムが記録さ
れていることを特徴とする。

【００１７】本発明の音声合成装置および音声合成方
法、並びにプログラムにおいては、情報処理装置の制御
にしたがって、合成音が生成される一方、情報処理装置
の内部状態に基づいて、合成音の出力が制御される。

【００１８】

【発明の実施の形態】図１は、本発明を適用したロボッ
トの一実施の形態の外観構成例を示しており、図２は、
その電気的構成例を示している。

【００１９】本実施の形態では、ロボットは、例えば、
犬等の四つ足の動物の形状のものとなっており、胴体部
ユニット２の前後左右に、それぞれ脚部ユニット３Ａ，
３Ｂ，３Ｃ，３Ｄが連結されるとともに、胴体部ユニッ
ト２の前端部と後端部に、それぞれ頭部ユニット４と尻
尾部ユニット５が連結されることにより構成されてい
る。

【００２０】尻尾部ユニット５は、胴体部ユニット２の
上面に設けられたベース部５Ｂから、２自由度をもって
湾曲または揺動自在に引き出されている。

【００２１】胴体部ユニット２には、ロボット全体の制
御を行うコントローラ１０、ロボットの動力源となるバ
ッテリ１１、並びにバッテリセンサ１２および熱センサ
１３からなる内部センサ部１４などが収納されている。

【００２２】頭部ユニット４には、「耳」に相当するマ
イク（マイクロフォン）１５、「目」に相当するＣＣＤ
(Charge Coupled Device)カメラ１６、触覚に相当する
タッチセンサ１７、「口」に相当するスピーカ１８など
が、それぞれ所定位置に配設されている。また、頭部ユ
ニット４には、口の下顎に相当する下顎部４Ａが１自由
度をもって可動に取り付けられており、この下顎部４Ａ
が動くことにより、ロボットの口の開閉動作が実現され
るようになっている。

【００２３】脚部ユニット３Ａ乃至３Ｄそれぞれの関節
部分や、脚部ユニット３Ａ乃至３Ｄそれぞれと胴体部ユ
ニット２の連結部分、頭部ユニット４と胴体部ユニット
２の連結部分、頭部ユニット４と下顎部４Ａの連結部
分、並びに尻尾部ユニット５と胴体部ユニット２の連結
部分などには、図２に示すように、それぞれアクチュエ
ータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁乃至３ＢＡ_K、３ＣＡ
₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ_K、４Ａ₁乃至４Ａ_L、
５Ａ₁および５Ａ₂が配設されている。

【００２４】頭部ユニット４におけるマイク１５は、ユ
ーザからの発話を含む周囲の音声（音）を集音し、得ら
れた音声信号を、コントローラ１０に送出する。ＣＣＤ
カメラ１６は、周囲の状況を撮像し、得られた画像信号
を、コントローラ１０に送出する。

【００２５】タッチセンサ１７は、例えば、頭部ユニッ
ト４の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ１０に送出する。

【００２６】胴体部ユニット２におけるバッテリセンサ
１２は、バッテリ１１の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ１０に送
出する。熱センサ１３は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ１０に
送出する。

【００２７】コントローラ１０は、ＣＰＵ(Central Pro
cessing Unit)１０Ａやメモリ１０Ｂ等を内蔵してお
り、ＣＰＵ１０Ａにおいて、メモリ１０Ｂに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。

【００２８】即ち、コントローラ１０は、マイク１５
や、ＣＣＤカメラ１６、タッチセンサ１７、バッテリセ
ンサ１２、熱センサ１３から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。

【００２９】さらに、コントローラ１０は、この判断結
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁
乃至３ＢＡ_K、３ＣＡ₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ
_K、４Ａ₁乃至４Ａ_L、５Ａ₁、５Ａ₂のうちの必要なもの
を駆動させる。これにより、頭部ユニット４を上下左右
に振らせたり、下顎部４Ａを開閉させる。さらには、尻
尾部ユニット５を動かせたり、各脚部ユニット３Ａ乃至
３Ｄを駆動して、ロボットを歩行させるなどの行動を行
わせる。

【００３０】また、コントローラ１０は、必要に応じ
て、合成音を生成し、スピーカ１８に供給して出力させ
たり、ロボットの「目」の位置に設けられた図示しない
ＬＥＤ（Light Emitting Diode）を点灯、消灯または点
滅させる。

【００３１】以上のようにして、ロボットは、周囲の状
況等に基づいて自律的に行動をとるようになっている。

【００３２】次に、図３は、図２のコントローラ１０の
機能的構成例を示している。なお、図３に示す機能的構
成は、ＣＰＵ１０Ａが、メモリ１０Ｂに記憶された制御
プログラムを実行することで実現されるようになってい
る。

【００３３】コントローラ１０は、特定の外部状態を認
識するセンサ入力処理部５０、センサ入力処理部５０の
認識結果を累積して、感情や、本能、成長の状態を表現
するモデル記憶部５１、センサ入力処理部５０の認識結
果等に基づいて、続く行動を決定する行動決定機構部５
２、行動決定機構部５２の決定結果に基づいて、実際に
ロボットに行動を起こさせる姿勢遷移機構部５３、各ア
クチュエータ３ＡＡ₁乃至５Ａ₁および５Ａ₂を駆動制御
する制御機構部５４、並びに合成音を生成する音声合成
部５５から構成されている。

【００３４】センサ入力処理部５０は、マイク１５や、
ＣＣＤカメラ１６、タッチセンサ１７等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、モデル記憶部５１および行動決定機構部５２に通知
する。

【００３５】即ち、センサ入力処理部５０は、音声認識
部５０Ａを有しており、音声認識部５０Ａは、マイク１
５から与えられる音声信号について音声認識を行う。そ
して、音声認識部５０Ａは、その音声認識結果として
の、例えば、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、状態認識情報として、モデル記
憶部５１および行動決定機構部５２に通知する。

【００３６】また、センサ入力処理部５０は、画像認識
部５０Ｂを有しており、画像認識部５０Ｂは、ＣＣＤカ
メラ１６から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部５０Ｂは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、モデル記憶部５１および行動
決定機構部５２に通知する。

【００３７】さらに、センサ入力処理部５０は、圧力処
理部５０Ｃを有しており、圧力処理部５０Ｃは、タッチ
センサ１７から与えられる圧力検出信号を処理する。そ
して、圧力処理部５０Ｃは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた（しかられた）」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た（ほめられた）」と認識して、その認識結果を、状態
認識情報として、モデル記憶部５１および行動決定機構
部５２に通知する。

【００３８】モデル記憶部５１は、ロボットの感情、本
能、成長の状態を表現する感情モデル、本能モデル、成
長モデルをそれぞれ記憶、管理している。

【００３９】ここで、感情モデルは、例えば、「うれし
さ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状
態（度合い）を、所定の範囲（例えば、−１．０乃至
１．０等）の値によってそれぞれ表し、センサ入力処理
部５０からの状態認識情報や時間経過等に基づいて、そ
の値を変化させる。本能モデルは、例えば、「食欲」、
「睡眠欲」、「運動欲」等の本能による欲求の状態（度
合い）を、所定の範囲の値によってそれぞれ表し、セン
サ入力処理部５０からの状態認識情報や時間経過等に基
づいて、その値を変化させる。成長モデルは、例えば、
「幼年期」、「青年期」、「熟年期」、「老年期」等の
成長の状態（度合い）を、所定の範囲の値によってそれ
ぞれ表し、センサ入力処理部５０からの状態認識情報や
時間経過等に基づいて、その値を変化させる。

【００４０】モデル記憶部５１は、上述のようにして感
情モデル、本能モデル、成長モデルの値で表される感
情、本能、成長の状態を、状態情報として、行動決定機
構部５２に送出する。

【００４１】なお、モデル記憶部５１には、センサ入力
処理部５０から状態認識情報が供給される他、行動決定
機構部５２から、ロボットの現在または過去の行動、具
体的には、例えば、「長時間歩いた」などの行動の内容
を示す行動情報が供給されるようになっており、モデル
記憶部５１は、同一の状態認識情報が与えられても、行
動情報が示すロボットの行動に応じて、異なる状態情報
を生成するようになっている。

【００４２】即ち、例えば、ロボットが、ユーザに挨拶
をし、ユーザに頭を撫でられた場合には、ユーザに挨拶
をしたという行動情報と、頭を撫でられたという状態認
識情報とが、モデル記憶部５１に与えられ、この場合、
モデル記憶部５１では、「うれしさ」を表す感情モデル
の値が増加される。

【００４３】一方、ロボットが、何らかの仕事を実行中
に頭を撫でられた場合には、仕事を実行中であるという
行動情報と、頭を撫でられたという状態認識情報とが、
モデル記憶部５１に与えられ、この場合、モデル記憶部
５１では、「うれしさ」を表す感情モデルの値は変化さ
れない。

【００４４】このように、モデル記憶部５１は、状態認
識情報だけでなく、現在または過去のロボットの行動を
示す行動情報も参照しながら、感情モデルの値を設定す
る。これにより、例えば、何らかのタスクを実行中に、
ユーザが、いたずらするつもりで頭を撫でたときに、
「うれしさ」を表す感情モデルの値を増加させるよう
な、不自然な感情の変化が生じることを回避することが
できる。

【００４５】なお、モデル記憶部５１は、本能モデルお
よび成長モデルについても、感情モデルにおける場合と
同様に、状態認識情報および行動情報の両方に基づい
て、その値を増減させるようになっている。また、モデ
ル記憶部５１は、感情モデル、本能モデル、成長モデル
それぞれの値を、他のモデルの値にも基づいて増減させ
るようになっている。

【００４６】行動決定機構部５２は、センサ入力処理部
５０からの状態認識情報や、モデル記憶部５１からの状
態情報、時間経過等に基づいて、次の行動を決定し、決
定された行動の内容を、行動指令情報として、姿勢遷移
機構部５３に送出する。

【００４７】即ち、行動決定機構部５２は、ロボットが
とり得る行動をステート（状態）(state)に対応させた
有限オートマンを、ロボットの行動を規定する行動モデ
ルとして管理しており、この行動モデルとしての有限オ
ートマンにおけるステートを、センサ入力処理部５０か
らの状態認識情報や、モデル記憶部５１における感情モ
デル、本能モデル、または成長モデルの値、時間経過等
に基づいて遷移させ、遷移後のステートに対応する行動
を、次にとるべき行動として決定する。

【００４８】ここで、行動決定機構部５２は、所定の取
りが(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部５２は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、モデル記憶部５１から供給される状態情報が示す感
情や、本能、成長の状態の値が所定の閾値以下または以
上になったとき等に、ステートを遷移させる。

【００４９】なお、行動決定機構部５２は、上述したよ
うに、センサ入力処理部５０からの状態認識情報だけで
なく、モデル記憶部５１における感情モデルや、本能モ
デル、成長モデルの値等に基づいて、行動モデルにおけ
るステートを遷移させることから、同一の状態認識情報
が入力されても、感情モデルや、本能モデル、成長モデ
ルの値（状態情報）によっては、ステートの遷移先は異
なるものとなる。

【００５０】その結果、行動決定機構部５２は、例え
ば、状態情報が、「怒っていない」こと、および「お腹
がすいていない」ことを表している場合において、状態
認識情報が、「目の前に手のひらが差し出された」こと
を表しているときには、目の前に手のひらが差し出され
たことに応じて、「お手」という行動をとらせる行動指
令情報を生成し、これを、姿勢遷移機構部５３に送出す
る。

【００５１】また、行動決定機構部５２は、例えば、状
態情報が、「怒っていない」こと、および「お腹がすい
ている」ことを表している場合において、状態認識情報
が、「目の前に手のひらが差し出された」ことを表して
いるときには、目の前に手のひらが差し出されたことに
応じて、「手のひらをぺろぺろなめる」ような行動を行
わせるための行動指令情報を生成し、これを、姿勢遷移
機構部５３に送出する。

【００５２】また、行動決定機構部５２は、例えば、状
態情報が、「怒っている」ことを表している場合におい
て、状態認識情報が、「目の前に手のひらが差し出され
た」ことを表しているときには、状態情報が、「お腹が
すいている」ことを表していても、また、「お腹がすい
ていない」ことを表していても、「ぷいと横を向く」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部５３に送出する。

【００５３】なお、行動決定機構部５２には、モデル記
憶部５１から供給される状態情報が示す感情や、本能、
成長の状態に基づいて、遷移先のステートに対応する行
動のパラメータとしての、例えば、歩行の速度や、手足
を動かす際の動きの大きさおよび速度などを決定させる
ことができ、この場合、それらのパラメータを含む行動
指令情報が、姿勢遷移機構部５３に送出される。

【００５４】また、行動決定機構部５２では、上述した
ように、ロボットの頭部や手足等を動作させる行動指令
情報の他、ロボットに発話を行わせる行動指令情報も生
成される。ロボットに発話を行わせる行動指令情報は、
音声合成部５５に供給されるようになっており、音声合
成部５５に供給される行動指令情報には、音声合成部５
５に生成させる合成音に対応するテキスト等が含まれ
る。そして、音声合成部５５は、行動決定部５２から行
動指令情報を受信すると、その行動指令情報に含まれる
テキストに基づき、合成音を生成し、スピーカ１８に供
給して出力させる。これにより、スピーカ１８からは、
例えば、ロボットの鳴き声、さらには、「お腹がすい
た」等のユーザへの各種の要求、「何？」等のユーザの
呼びかけに対する応答その他の音声出力が行われる。こ
こで、音声合成部５５には、モデル記憶部５１から状態
情報も供給されるようになっており、音声合成部５５
は、この状態情報が示す感情の状態に基づいて韻律等を
制御した合成音を生成することが可能となっている。な
お、音声合成部５５では、感情の他、本能や本能の状態
に基づいて韻律等を制御した合成音を生成することも可
能である。また、行動決定機構部５２は、合成音を出力
する場合には、下顎部４Ａを開閉させる行動指令情報
を、必要に応じて生成し、姿勢遷移機構部５３に出力す
る。この場合、合成音の出力に同期して、下顎部４Ａが
開閉し、ユーザに、ロボットがしゃべっているかのよう
な印象を与えることができる。

【００５５】姿勢遷移機構部５３は、行動決定機構部５
２から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部５４に送出す
る。

【００５６】ここで、現在の姿勢から次に遷移可能な姿
勢は、例えば、胴体や手や足の形状、重さ、各部の結合
状態のようなロボットの物理的形状と、関節が曲がる方
向や角度のようなアクチュエータ３ＡＡ₁乃至５Ａ₁およ
び５Ａ₂の機構とによって決定される。

【００５７】また、次の姿勢としては、現在の姿勢から
直接遷移可能な姿勢と、直接には遷移できない姿勢とが
ある。例えば、４本足のロボットは、手足を大きく投げ
出して寝転んでいる状態から、伏せた状態へ直接遷移す
ることはできるが、立った状態へ直接遷移することはで
きず、一旦、手足を胴体近くに引き寄せて伏せた姿勢に
なり、それから立ち上がるという２段階の動作が必要で
ある。また、安全に実行できない姿勢も存在する。例え
ば、４本足のロボットは、その４本足で立っている姿勢
から、両前足を挙げてバンザイをしようとすると、簡単
に転倒してしまう。

【００５８】このため、姿勢遷移機構部５３は、直接遷
移可能な姿勢をあらかじめ登録しておき、行動決定機構
部５２から供給される行動指令情報が、直接遷移可能な
姿勢を示す場合には、その行動指令情報を、そのまま姿
勢遷移情報として、制御機構部５４に送出する。一方、
行動指令情報が、直接遷移不可能な姿勢を示す場合に
は、姿勢遷移機構部５３は、遷移可能な他の姿勢に一旦
遷移した後に、目的の姿勢まで遷移させるような姿勢遷
移情報を生成し、制御機構部５４に送出する。これによ
りロボットが、遷移不可能な姿勢を無理に実行しようと
する事態や、転倒するような事態を回避することができ
るようになっている。

【００５９】制御機構部５４は、姿勢遷移機構部５３か
らの姿勢遷移情報にしたがって、アクチュエータ３ＡＡ
₁乃至５Ａ₁および５Ａ₂を駆動するための制御信号を生
成し、これを、アクチュエータ３ＡＡ₁乃至５Ａ₁および
５Ａ₂に送出する。これにより、アクチュエータ３ＡＡ₁
乃至５Ａ₁および５Ａ₂は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。

【００６０】次に、図４は、図３の音声認識部５０Ａの
構成例を示している。

【００６１】マイク１５からの音声信号は、ＡＤ(Analo
g Digital)変換部２１に供給される。ＡＤ変換部２１で
は、マイク１５からのアナログ信号である音声信号がサ
ンプリング、量子化され、ディジタル信号である音声デ
ータにＡ／Ｄ変換される。この音声データは、特徴抽出
部２２および音声区間検出部２７に供給される。

【００６２】特徴抽出部２２は、そこに入力される音声
データについて、適当なフレームごとに、例えば、ＭＦ
ＣＣ(Mel Frequency Cepstrum Coefficient)分析を行
い、その分析の結果得られるＭＦＣＣを、特徴パラメー
タ（特徴ベクトル）として、マッチング部２３に出力す
る。なお、特徴抽出部２２では、その他、例えば、線形
予測係数、ケプストラム係数、線スペクトル対、所定の
周波数帯域ごとのパワー（フィルタバンクの出力）等
を、特徴パラメータとして抽出することが可能である。

【００６３】マッチング部２３は、特徴抽出部２２から
の特徴パラメータを用いて、音響モデル記憶部２４、辞
書記憶部２５、および文法記憶部２６を必要に応じて参
照しながら、マイク１５に入力された音声（入力音声）
を、例えば、連続分布ＨＭＭ(Hidden Markov Model)法
に基づいて音声認識する。

【００６４】即ち、音響モデル記憶部２４は、音声認識
する音声の言語における個々の音素や音節などの音響的
な特徴を表す音響モデルを記憶している。ここでは、連
続分布ＨＭＭ法に基づいて音声認識を行うので、音響モ
デルとしては、ＨＭＭ(Hidden Markov Model)が用いら
れる。辞書記憶部２５は、認識対象の各単語について、
その発音に関する情報（音韻情報）が記述された単語辞
書を記憶している。文法記憶部２６は、辞書記憶部２５
の単語辞書に登録されている各単語が、どのように連鎖
する（つながる）かを記述した文法規則を記憶してい
る。ここで、文法規則としては、例えば、文脈自由文法
（ＣＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）
などに基づく規則を用いることができる。

【００６５】マッチング部２３は、辞書記憶部２５の単
語辞書を参照することにより、音響モデル記憶部２４に
記憶されている音響モデルを接続することで、単語の音
響モデル（単語モデル）を構成する。さらに、マッチン
グ部２３は、幾つかの単語モデルを、文法記憶部２６に
記憶された文法規則を参照することにより接続し、その
ようにして接続された単語モデルを用いて、特徴パラメ
ータに基づき、連続分布ＨＭＭ法によって、マイク１５
に入力された音声を認識する。即ち、マッチング部２３
は、特徴抽出部２２が出力する時系列の特徴パラメータ
が観測されるスコア（尤度）が最も高い単語モデルの系
列を検出し、その単語モデルの系列に対応する単語列の
音韻情報（読み）を、音声の認識結果として出力する。

【００６６】より具体的には、マッチング部２３は、接
続された単語モデルに対応する単語列について、各特徴
パラメータの出現確率（出力確率）を累積し、その累積
値をスコアとして、そのスコアを最も高くする単語列の
音韻情報を、音声認識結果として出力する。

【００６７】以上のようにして出力される、マイク１５
に入力された音声の認識結果は、状態認識情報として、
モデル記憶部５１および行動決定機構部５２に出力され
る。

【００６８】なお、音声区間検出部２７は、ＡＤ変換部
２１からの音声データについて、特徴抽出部２２がＭＦ
ＣＣ分析を行うのと同様のフレームごとに、例えば、パ
ワーを算出している。さらに、音声区間検出部２７は、
各フレームのパワーを、所定の閾値と比較し、その閾値
以上のパワーを有するフレームで構成される区間を、ユ
ーザの音声が入力されている音声区間として検出する。
そして、音声区間検出部２７は、検出した音声区間を、
特徴抽出部２２とマッチング部２３に供給しており、特
徴抽出部２２とマッチング部２３は、音声区間のみを対
象に処理を行う。

【００６９】次に、図５は、図３の音声合成部５５の構
成例を示している。

【００７０】テキスト生成部３１には、行動決定機構部
５２が出力する、音声合成の対象とするテキストを含む
行動指令情報が供給されるようになっており、テキスト
生成部３１は、辞書記憶部３６や生成用文法記憶部３７
を参照しながら、その行動指令情報に含まれるテキスト
を解析する。

【００７１】即ち、辞書記憶部３６には、各単語の品詞
情報や、読み、アクセント等の情報が記述された単語辞
書が記憶されており、また、生成用文法記憶部３７に
は、辞書記憶部３６の単語辞書に記述された単語につい
て、単語連鎖に関する制約等の文法規則が記憶されてい
る。そして、テキスト生成部３１は、この単語辞書およ
び文法規則に基づいて、そこに入力されるテキストの形
態素解析や構文解析等の解析を行い、後段の規則合成部
３２で行われる規則音声合成に必要な情報を抽出する。
ここで、規則音声合成に必要な情報としては、例えば、
ポーズの位置や、アクセントおよびイントネーションを
制御するための情報その他の韻律情報や、各単語の発音
等の音韻情報などがある。

【００７２】テキスト生成部３１で得られた情報は、規
則合成部３２に供給され、規則合成部３２は、音素片記
憶部３８を用いて、テキスト生成部３１に入力されたテ
キストに対応する合成音の音声データ（ディジタルデー
タ）を生成する。

【００７３】即ち、音素片記憶部３８には、例えば、Ｃ
Ｖ(Consonant, Vowel)や、ＶＣＶ、ＣＶＣ等の形で音素
片データが記憶されており、規則合成部３２は、テキス
ト生成部３１からの情報に基づいて、必要な音素片デー
タを接続し、さらに、ポーズ、アクセント、イントネー
ション等を適切に付加することで、テキスト生成部３１
に入力されたテキストに対応する合成音データを生成す
る。

【００７４】この音声データは、データバッファ３３に
供給される。データバッファ３３は、規則合成部３２か
ら供給される合成音データを記憶する。

【００７５】出力制御部３４は、定期的または不定期
に、モデル記憶部５１（図３）に記憶された感情モデル
等をチェックし、その感情モデル等に基づいて、データ
バッファ３３に記憶された合成音データの出力を制御す
る。

【００７６】即ち、出力制御部３４は、感情モデルの値
（感情モデル値）が、ある条件を満たすとき、データバ
ッファ３３に記憶された合成音データを読み出し、ＤＡ
（Digital Analogue）変換部３５に供給する。この場
合、ＤＡ変換部３５は、ディジタル信号としての合成音
データを、アナログ信号としての音声信号にＤ／Ａ変換
する。この音声信号は、スピーカ１８に供給され、これ
により、テキスト生成部３１に入力されたテキストに対
応する合成音が出力される。

【００７７】また、出力制御部３４は、感情モデル値
が、他の条件を満たすとき、データバッファ３３に記憶
された合成音データの読み出しを停止する。この場合、
スピーカ１８からの合成音の出力は停止する。

【００７８】また、出力制御部３４は、感情モデル値
が、さらに他の条件を満たすとき、データバッファ３３
に記憶された合成音データの読み出しを停止し、その
後、データバッファ３３に記憶された合成音データの読
み出しを再開する。この場合、スピーカ１８からの合成
音の出力は、一旦停止され、その後、再開される。

【００７９】なお、テキスト生成部３１および規則合成
部３２も、出力制御部３４と同様に、モデル記憶部５１
（図３）に記憶された感情モデルの値（感情モデル値）
や本能モデルの値（本能モデル値）をチェックするよう
になっており、この感情モデル値や本能モデル値を考慮
して処理を行うようになっている。

【００８０】次に、図６のフローチャートを参照して、
図５の音声合成部５５による音声合成処理について説明
する。

【００８１】行動決定機構部５２が、音声合成の対象と
するテキストを含む行動指令情報を、音声合成部５５に
出力すると、テキスト生成部３１は、ステップＳ１にお
いて、その行動指令情報を受信し、ステップＳ２に進
む。ステップＳ２では、テキスト生成部３１および規則
合成部３２において、モデル記憶部５１を参照すること
で、感情モデル値や本能モデル値が認識（チェック）さ
れ、ステップＳ３に進む。

【００８２】ステップＳ３では、テキスト生成部３１に
おいて、行動決定機構部５２からの行動指令情報に含ま
れるテキストから、実際に合成音として出力するテキス
ト（以下、適宜、発話テキストという）を生成する際に
用いる語彙（発話語彙）が、感情モデル値や本能モデル
値に基づいて設定され、ステップＳ４に進む。ステップ
Ｓ４では、テキスト生成部３１において、ステップＳ３
で設定された発話語彙を用いて、行動指令情報に含まれ
るテキストに対応する発話テキストが生成される。

【００８３】即ち、行動決定機構部５２からの行動指令
情報に含まれるテキストは、例えば、標準的な感情およ
び本能の状態における発話を前提としたものとなってお
り、ステップＳ４では、そのテキストが、ロボットの感
情や本能の状態を考慮して修正され、これにより、発話
テキストが生成される。

【００８４】具体的には、例えば、行動指令情報に含ま
れるテキストが、「何ですか」である場合において、ロ
ボットの感情の状態が「怒っている」ことを表している
ときには、その怒りを表現する「何だよ！」が、発話テ
キストとして生成される。あるいは、また、例えば、行
動指令情報に含まれるテキストが、「やめて下さい」で
ある場合において、ロボットの感情の状態が「怒ってい
る」ことを表しているときには、その怒りを表現する
「やめろ！」が、発話テキストとして生成される。

【００８５】そして、ステップＳ５に進み、テキスト生
成部３１は、発話テキストを対象に、形態素解析や構文
解析等のテキスト解析を行い、その発話テキストについ
て規則音声合成を行うのに必要な情報としての、ピッチ
周波数や、パワー、継続時間長等の韻律情報を生成す
る。さらに、テキスト生成部３１は、発話テキストを構
成する各単語の発音等の音韻情報も生成する。ここで、
ステップＳ５では、発話テキストの韻律情報として、標
準的な韻律情報が生成される。

【００８６】その後、テキスト生成部３１は、ステップ
Ｓ６において、ステップＳ５で設定した発話テキストの
韻律情報を、ロボットの感情や本能の状態に基づいて修
正し、これにより、発話テキストが合成音で出力される
ときの感情表現が高められる。

【００８７】テキスト生成部３１で得られた発話テキス
トの音韻情報および韻律情報は、規則合成部３２に供給
され、規則合成部３２では、ステップＳ７において、そ
の音韻情報および韻律情報にしたがい、規則音声合成が
行われることにより、発話テキストの合成音のディジタ
ルデータ（合成音データ）が生成される。ここで、規則
合成部３２でも、規則音声合成の際、感情モデル値や本
能モデル値に基づいて、ロボットの感情や本能の状態を
適切に表現するように、合成音のポーズの位置や、アク
セントの位置、イントネーション等の韻律が変更され
る。

【００８８】規則合成部３２で得られた合成音データ
は、ステップＳ８において、データバッファ３３に供給
され、データバッファ３３は、規則合成部３２からの合
成音データを記憶する。

【００８９】そして、ステップＳ９に進み、出力制御部
３４は、モデル記憶部５１に記憶された感情モデル値や
本能モデル値をチェックし、ステップＳ１０に進む。ス
テップＳ１０では、出力制御部３４は、直前のステップ
Ｓ９においてチェックした感情モデル値や本能モデル値
に基づき、合成音の出力を中断（停止）するかどうかを
判定する。

【００９０】ステップＳ１０において、合成音の出力を
中断しないと判定された場合、ステップＳ１１に進み、
出力制御部３４は、データバッファ３３から所定量（例
えば、１秒分）の合成音データを読み出し、ＤＡ変換部
３５に供給する。ＤＡ変換部３５では、ステップＳ１２
において、出力制御部３４からの合成音データがＤ／Ａ
変換され、スピーカ１８に供給されて出力される。

【００９１】その後、ステップＳ１３に進み、出力制御
部３４は、データバッファ３３に合成音データが記憶さ
れていないかどうか、即ち、データバッファ３３が空か
どうかを判定する。ステップＳ１３において、データバ
ッファ３３が空でなく、まだ、合成音データが記憶され
ていると判定された場合、ステップＳ９に戻り、以下、
同様の処理が繰り返される。

【００９２】従って、この場合は、規則合成部３２で生
成された合成音が出力され続ける。

【００９３】また、ステップＳ１３において、データバ
ッファ３３が空であると判定された場合、即ち、データ
バッファ３３に記憶された合成音データの出力が完了し
た場合、処理を終了する。

【００９４】一方、ステップＳ１０において、合成音の
出力を中断すると判定された場合、ステップＳ１４に進
み、出力制御部３４は、データバッファ３３をクリア
し、ステップＳ１５に進む。ステップＳ１５では、出力
制御部３４は、必要に応じて、行動決定機構部５２に対
して、音声合成の対象とするテキストを含む行動指令情
報の再出力を要求し、処理を終了する。

【００９５】従って、この場合は、合成音の出力が途中
で停止される。そして、行動指令情報の再出力の要求が
行われた場合には、行動決定機構部５２からの行動指令
情報の再出力を待って、ステップＳ１からの処理が行わ
れることにより、合成音の出力が、最初から再開され
る。

【００９６】以上のような音声合成処理において、ステ
ップＳ１０における、合成音の出力を中断するかどうか
の判定は、感情モデル値のうちの、例えば、「怒り」を
表すものに基づいて行うことができる。即ち、「怒り」
の度合いが高い場合に、合成音の出力を停止するように
することができる。

【００９７】この場合、合成音が出力されている最中
に、ユーザが、ペットロボットを叩く等して、「怒り」
の度合いが高くなると、ペットロボットは、即座に合成
音の出力を停止する。従って、この場合、ペットロボッ
トが突然黙った状態となることによって、ユーザに対し
て、ペットロボットが怒った状態にあることを印象づけ
ることができる。

【００９８】さらに、「怒り」の度合いが高いが、それ
ほどでもない場合には、出力制御部３４において、デー
タバッファ３３をクリアした後、行動決定機構部５２に
対して、行動指令情報の再出力を要求するようにするこ
とができる。

【００９９】この場合、「怒り」の度合いが高くなって
いることから、上述したように、テキスト生成部３１で
は、「怒り」を表現する発話テキストが生成され、さら
に、規則合成部３２では、「怒り」を表現する韻律が付
された合成音データが生成される。従って、この場合、
スピーカ１８からは、「怒り」を表す合成音が出力さ
れ、その結果、ユーザには、ペットロボットが、いわば
怒った口調で言い直しを行ったかのような印象を与える
ことができる。

【０１００】以上のように、ペットロボットの感情の状
態に基づいて、合成音の出力を制御するようにしたの
で、インタラクティブ性の高いペットロボットを実現す
ることができる。

【０１０１】なお、例えば、ユーザがシステムからの音
声出力中に発話を行った場合に、いわゆるバージインに
対処する必要から、システムの音声出力を中断する音声
対話システムが研究されているが、これは、ユーザによ
る音声入力を遮らないようにするためであり、感情等の
システムの内部状態に基づいて、システムの音声出力を
中断するものではない。従って、このような音声対話シ
ステムによれば、ユーザによる音声入力を妨げることを
防止することはできるが、本実施の形態におけるペット
ロボットのように、ユーザとの間のインタラクティブ性
を向上させることはできない。

【０１０２】以上、本発明を、エンターテイメント用の
ロボット（疑似ペットとしてのロボット）に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、音声合成装置を搭載した対話システムその他に広く
適用することが可能である。また、本発明は、現実世界
のロボットだけでなく、例えば、液晶ディスプレイ等の
表示装置に表示される仮想的なロボットにも適用可能で
ある。

【０１０３】なお、本実施の形態においては、上述した
一連の処理を、ＣＰＵ１０Ａにプログラムを実行させる
ことにより行うようにしたが、一連の処理は、それ専用
のハードウェアによって行うことも可能である。

【０１０４】ここで、プログラムは、あらかじめメモリ
１０Ｂ（図２）に記憶させておく他、フロッピーディス
ク、CD-ROM(Compact Disc Read Only Memory)，MO(Magn
etooptical)ディスク，DVD(Digital Versatile Disc)、
磁気ディスク、半導体メモリなどのリムーバブル記録媒
体に、一時的あるいは永続的に格納（記録）しておくこ
とができる。そして、このようなリムーバブル記録媒体
を、いわゆるパッケージソフトウエアとして提供し、ロ
ボット（メモリ１０Ｂ）にインストールするようにする
ことができる。

【０１０５】また、プログラムは、ダウンロードサイト
から、ディジタル衛星放送用の人工衛星を介して、無線
で転送したり、LAN(Local Area Network)、インターネ
ットといったネットワークを介して、有線で転送し、メ
モリ１０Ｂにインストールすることができる。

【０１０６】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ１０Ｂに、容易にインストールすることが
できる。

【０１０７】なお、本明細書において、ＣＰＵ１０Ａに
各種の処理を行わせるためのプログラムを記述する処理
ステップは、必ずしもフローチャートとして記載された
順序に沿って時系列に処理する必要はなく、並列的ある
いは個別に実行される処理（例えば、並列処理あるいは
オブジェクトによる処理）も含むものである。

【０１０８】また、プログラムは、１のＣＰＵにより処
理されるものであっても良いし、複数のＣＰＵによって
分散処理されるものであっても良い。

【０１０９】次に、図５の音声合成装置５５は、専用の
ハードウェアにより実現することもできるし、ソフトウ
ェアにより実現することもできる。音声合成装置５５を
ソフトウェアによって実現する場合には、そのソフトウ
ェアを構成するプログラムが、汎用のコンピュータ等に
インストールされる。

【０１１０】そこで、図７は、音声合成装置５５を実現
するためのプログラムがインストールされるコンピュー
タの一実施の形態の構成例を示している。

【０１１１】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０１１２】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM，MOディスク，DVD、磁
気ディスク、半導体メモリなどのリムーバブル記録媒体
１１１に、一時的あるいは永続的に格納（記録）してお
くことができる。このようなリムーバブル記録媒体１１
１は、いわゆるパッケージソフトウエアとして提供する
ことができる。

【０１１３】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN、インターネットといったネットワークを介
して、コンピュータに有線で転送し、コンピュータで
は、そのようにして転送されてくるプログラムを、通信
部１０８で受信し、内蔵するハードディスク１０５にイ
ンストールすることができる。

【０１１４】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。

【０１１５】なお、本実施の形態では、行動決定機構部
５２が生成するテキストから合成音を生成するようにし
たが、本発明は、あからじめ用意されたテキストから合
成音を生成する場合にも適用可能である。さらに、本発
明は、あらかじめ録音してある音声データを編集して、
目的とする合成音を生成する場合にも適用可能である。

【０１１６】また、本実施の形態では、ペットロボット
の感情の状態に基づいて、合成音の出力を制御するよう
にしたが、合成音の出力は、その他、例えば、本能や成
長その他のペットロボットの内部状態に基づいて制御す
ることが可能である。

【０１１７】

【発明の効果】以上の如く、本発明の音声合成装置およ
び音声合成方法、並びにプログラムによれば、情報処理
装置の制御にしたがって、合成音が生成される一方、情
報処理装置の内部状態に基づいて、合成音の出力が制御
される。従って、インタラクティブ性の高い合成音の出
力を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明を適用したロボットの一実施の形態の外
観構成例を示す斜視図である。

【図２】ロボットの内部構成例を示すブロック図であ
る。

【図３】コントローラ１０の機能的構成例を示すブロッ
ク図である。

【図４】音声認識部５０Ａの構成例を示すブロック図で
ある。

【図５】音声合成部５５の構成例を示すブロック図であ
る。

【図６】音声合成部５５による音声合成処理を説明する
フローチャートである。

【図７】本発明を適用したコンピュータの一実施の形態
の構成例を示すブロック図である。

【符号の説明】

１頭部ユニット，４Ａ下顎部，１０コントロ
ーラ，１０ＡＣＰＵ，１０Ｂメモリ，１５
マイク，１６ＣＣＤカメラ，１７タッチセン
サ，１８スピーカ，２１ＡＤ変換部，２２
特徴抽出部，２３マッチング部，２４音響モデ
ル記憶部，２５辞書記憶部，２６文法記憶部，
２７音声区間検出部，３１テキスト生成部，３
２規則合成部，３３データバッファ，３４出
力制御部，３５ＤＡ変換部，３６辞書記憶部，
３７生成用文法記憶部，３８音素片記憶部，５
０センサ入力処理部，５０Ａ音声認識部，５０
Ｂ画像認識部，５０Ｃ圧力処理部，５１モデ
ル記憶部，５２行動決定機構部，５３姿勢遷移
機構部，５４制御機構部，５５音声合成部，
１０１バス，１０２ CPU，１０３ ROM，１０４
RAM，１０５ハードディスク，１０６出力部，
１０７入力部，１０８通信部，１０９ドラ
イブ，１１０入出力インタフェース，１１１リム
ーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者山崎信英東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者狩谷真一東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者藤田八重子東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 2C150 CA01 CA02 CA04 DA05 DA24 DA25 DA26 DA27 DA28 DF03 DF04 DF33 ED42 ED52 EF03 EF07 EF09 EF13 EF16 EF23 EF29 EF34 EF36 3C007 AS36 CS08 KS10 MT14 WA04 WA14 WB16 WB28 WC30 5D045 AA08 AA09 AB11

Claims

【特許請求の範囲】

【請求項１】情報処理装置の制御にしたがって、合成
音を生成する音声合成装置であって、前記情報処理装置の制御にしたがって、合成音を生成す
る音声合成手段と、前記情報処理装置の内部状態に基づいて、前記合成音の
出力を制御する出力制御手段とを備えることを特徴とす
る音声合成装置。
【請求項２】前記出力制御手段は、前記情報処理装置
の内部状態に基づいて、前記合成音の出力を停止するこ
とを特徴とする音声合成装置。
【請求項３】前記音声合成手段は、前記出力制御手段
が前記合成音の出力を停止した後、前記情報処理装置の
内部状態に基づいて、前記合成音を再生成し、前記出力制御手段は、前記音声合成手段において再生成
された前記合成音を出力することを特徴とする請求項２
に記載の音声合成装置。
【請求項４】前記情報処理装置は、実際の、または仮
想的なロボットであることを特徴とする請求項１に記載
の音声合成装置。
【請求項５】前記出力制御手段は、前記ロボットの感
情または本能の状態に基づいて、前記合成音の出力を制
御することを特徴とする請求項４に記載の音声合成装
置。
【請求項６】情報処理装置の制御にしたがって、合成
音を生成する音声合成方法であって、前記情報処理装置の制御にしたがって、合成音を生成す
る音声合成ステップと、前記情報処理装置の内部状態に基づいて、前記合成音の
出力を制御する出力制御ステップとを備えることを特徴
とする音声合成方法。
【請求項７】情報処理装置の制御にしたがって、合成
音を生成する音声合成処理を、コンピュータに行わせる
プログラムであって、前記情報処理装置の制御にしたがって、合成音を生成す
る音声合成ステップと、前記情報処理装置の内部状態に基づいて、前記合成音の
出力を制御する出力制御ステップとを備えることを特徴
とするプログラム。
【請求項８】情報処理装置の制御にしたがって、合成
音を生成する音声合成処理を、コンピュータに行わせる
プログラムが記録されている記録媒体であって、前記情報処理装置の制御にしたがって、合成音を生成す
る音声合成ステップと、前記情報処理装置の内部状態に基づいて、前記合成音の
出力を制御する出力制御ステップとを備えるプログラム
が記録されていることを特徴とする記録媒体。