JP2003233386A

JP2003233386A - 音声合成方法、音声合成装置および音声合成プログラム

Info

Publication number: JP2003233386A
Application number: JP2002033118A
Authority: JP
Inventors: Hideyuki Mizuno; 秀之水野; Masanobu Abe; 匡伸阿部
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-02-08
Filing date: 2002-02-08
Publication date: 2003-08-22
Anticipated expiration: 2022-02-08
Also published as: JP3748064B2

Abstract

(57)【要約】【課題】搭載容量の限られた携帯電子機器等におい
て、大規模の音声データベースを利用する場合と同様の
高品質な音声合成を可能にする。【解決手段】端末側に小規模のローカル音声データベ
ース１２０を用意し、テキスト情報で示される音韻列と
音律情報に従って音声素片データを選択する。そして、
このローカル音声データベース１２０から選択された音
声素片データが予め定めた適合度を満足するかどうか判
定し、満足する場合には、該音声素片データをそのまま
選択する。一方、満足しない場合には、ネットワーク２
を介して遠隔地の大規模・大容量音声データベース５か
ら、適切な音声素片データをダウンロードする。このよ
うにして、ローカル音声データベース１２０から選択さ
れた音声素片データあるいは遠隔地の音声データベース
５からダウンロードされた音声素片データを用いて音声
を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力テキストで示
される音韻列と韻律情報に対応して、音声データベース
から適切な音声片データを選択して順に接続することに
より音声を合成する音声合成方法および装置、並びにそ
のプログラムに関するものである。

【０００２】

【従来の技術】この種の音声合成技術においては、近
年、大容量な記憶装置の使用コストの低下に伴って、数
十分から数時間に及ぶ音声データをそのまま大容量の記
憶装置に蓄積して、入力されたテキストで示される音韻
列及び韻律情報に応じて最適の音声素片を選択し、それ
を適切に変形し接続することで、高品質な音声を合成す
る音声合成装置も提案されている（例えば、特許２７６
１５５２号）。

【０００３】このような音声合成装置では、入力テキス
トに対して高品質な合成音声を出力することが可能であ
るが、大容量の音声データとそれを格納する記憶装置が
必要なため、搭載容量の限られた小型の携帯用電子機器
（例えば、携帯情報端末（ＰＤＡ）や携帯電話等）に搭
載するのは困難である。

【０００４】また、クライアント・サーバ方式により、
クライアントからサーバへテキストデータを送信し、サ
ーバ側に装備した大容量のデータベースを利用して音声
合成して、音声信号をクライアント側が受信する方式も
あるが、その場合は送受信のために時間が掛かり、特に
現状のインタネット等では合成音声の送信には問題があ
る。

【０００５】

【発明が解決しようとする課題】本発明の第１の目的
は、搭載容量の限られた携帯電子機器等においても大容
量の音声データベースを利用するのと同様な高品質な音
声合成の実現を可能とすることにある。また、本発明の
第２の目的は、携帯電子機器等でクライアント・サーバ
方式によりサーバ側で音声合成し、音声信号を送受信す
る場合よりも、格段に応答時間を短縮することにある。

【０００６】

【課題を解決するための手段】本発明は、端末側に小規
模・小容量のローカル音声データベースを用意し、テキ
スト情報で示される音韻列と音律情報に従って該ローカ
ル音声データベースから音声素片データを選択する。そ
して、このローカル音声データベースから選択された音
声素片データが予め定めた適合度を満足するかどうか判
定し、満足する場合には、該音声素片データをそのまま
選択する。一方、ローカル音声データベースから音声素
片データが選択されないか、選択されても適合度を満足
しない場合には、ネットワークを介して遠隔地の大規模
・大容量の音声データベースから、前記音韻列と韻律情
報に従って適切な音声素片データをダウンロードする。
このようにして、前記ローカル音声データベースから選
択された音声素片データあるいは前記遠隔地の音声デー
タベースからダウンロードされた音声素片データを用い
て音声を合成する。これにより、端末側に大規模・大容
量の音声データベースを搭載しなくても、高品質な音声
合成が可能になる。

【０００７】また、本発明では、遠隔地の音声データベ
ースからダウンロードした音声素片データを、ローカル
音声データベースに追記して保持するか、該ローカル音
声データベースとは別の音声素片データ用キャッシュメ
モリに保持し、以後、このダウンロードした音声素片デ
ータを端末側で選択できるようにする。これにより、音
声合成の応答時間の短縮も可能になる。

【０００８】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面を参照して説明する。まず、図１に本発明の音
声合成装置を利用したシステム全体の概念図を示す。図
１において、ユーザ端末１はＰＤＡ、携帯電子、ＰＨＳ
などの総称である。該ユーザ端末１には、小規模・小容
量のローカル音声データベース１２０を内蔵した音声合
成装置（例えば音声合成モジュール）１００が搭載され
ている。一方、センタ３側には大規模・大容量の音声デ
ータベース５が設置されている。ユーザは、受信メー
ル、その他、テキスト情報を音声で聴く場合、音声合成
装置１００を利用する。音声合成装置１００は、テキス
ト情報を入力し、その音韻列と韻律情報に従ってローカ
ル音声データベース１２０から音声素片データを選択し
て音声を合成する。この音声合成の実行中に、センタ３
から、音声素片データのダウンロードが必要になった場
合、ネットワーク２を介して、ユーザ端末１をセンタ３
に接続する。ユーザ端末１とセンタ３の間をネットワー
ク２を介して接続する方法として、例えばネットワーク
２としてインターネットを利用するのであれば、携帯電
話やＰＨＳのパケット通信網を利用した接続方法があ
り、ネットワーク２としてＬＡＮを利用するのであれば
無線ＬＡＮを利用した接続方法などがある。ユーザ端末
１は、必要な音声素片データのリクエストをセンタ３側
の受付けサーバ４に送信する。受付けサーバ４は、ＬＡ
Ｎで接続された大容量データベース５を利用して音声素
片データの検索を行い、検索した最適な音声素片データ
をリクエスト元であるユーザ端末１に送信する。ユーザ
端末１の音声合成装置１００は、受信した音声素片デー
タを利用して音声合成を実行する。

【０００９】なお、図１では、受付けサーバ４と大容量
データベース５は別となっているが、同一の機器で構成
してもよい。その場合、ＬＡＮは特に必要はない。

【００１０】次に、本発明にかかる音声合成装置および
音声合成方法の二、三の実施例について詳しく説明す
る。

【００１１】〔実施例１〕図２は本発明の音声合成装置
の第１の実施例を示す構成図である。図２において、音
声合成装置１００は、テキスト解析部１０１、韻律生成
部１０２、音声素片選択部１０３、適合度判定部１０
４、合成部１０５、データ送受信制御部１０６、音声素
片記憶制御部１０７、テキスト解析辞書１１０及びロー
カル音声データベース１２０から構成される。なお、図
２では、入力されたテキスト情報、それに対応する音韻
列および韻律情報、音声素片データ等を一時的に記憶す
るメモリ（作業用メモリ）は省略してある。また、音声
合成装置１００が、ＰＤＡや携帯電話等に搭載して利用
される場合、ＰＤＡや携帯電話等の本来の通信機能がデ
ータ送受信制御部１０６を兼ねることになる。

【００１２】図３に、センタ３側の大容量音声デーベー
ス５と音声合成装置１００内のローカル音声データベー
ス１２０の構成例を示す。図１のセンタ３側の大容量音
声データベース５とローカル音声データベース１２０の
相違は、蓄積するデータ量だけである。例えば、センタ
３側の大容量音声データベース５に蓄積されている音声
素片データ中の基本的なもののみを音声合成装置１００
内のローカル音声データベース１２０が保持するように
する。あるいは、例えば国語辞書内の見出語中の音韻連
接の統計をとり、出現頻度が高いもの（例えば上位１０
００程度）をローカル音声データベース１２０が保持す
るようにする。なお、音韻連接の出現頻度に関しては、
例えば特開平１−４４４９８号公報に詳しく記載されて
いる。

【００１３】図４は、図２の実施例１に対応する本発明
の音声合成方法のフローチャートの一例である。以下、
図４に従って図２の実施例１の動作を説明する。

【００１４】テキスト情報が入力されると（ステップ１
００１）、テキスト解析部１０１でテキスト解析を行
い、音韻列とアクセントを決定する（ステップ１００
２）。具体的には、テキスト解析部１０２では、テキス
ト解析辞書１１０を参照して、テキスト情報について係
り受けや品詞解析などの形態素解析、漢字かな変換、ア
クセント処理を行い、音韻列（音韻記号列）とアクセン
トを決定する。

【００１５】次に、音韻列とアクセントに基づいて、韻
律生成部１０２により、韻律情報を決定する。音韻情報
にはピッチパタン（平均Ｆ０、Ｆ０の傾斜等）、各音素
毎の時間長パタン、振幅パタン等が含まれる。韻律生成
部１０２では、良く知られているように、所定の生成規
則やテーブル等を参照して必要な韻律情報を生成する。

【００１６】次に、音声素片選択部１０３において、音
韻列と韻律情報に従って、ローカル音声データベース１
２０から最適な音声素片データを選択し（ステップ１０
０３）、適合度判定部１０４にて、この選択された音声
素片データの適合度を求め、予め定めた閾値を満足する
かどうかを判定する（ステップ１００４）。

【００１７】音声素片データの適合度は、例えば、次の
ようにして求める。ローカル音声データベース１２０は
図３に示す構成として、韻律情報（目標）の前音韻環境
をＰ _ｔ、後音韻環境をＳ_ｔ、平均Ｆ０をＦＡ_ｔ、Ｆ０傾
斜をＦＳ_ｔ、時間長をＤ_ｔとし、選択された音声素片デ
ータの前音韻環境をＰ_ｃ、後音韻環境をＳ_ｃ、平均Ｆ０
をＦＡ_ｃ、Ｆ０傾斜をＦＳ_ｃ、時間長をＤ_ｃ、音韻ａ、
ｂの異なり度合いを求める関数をＤＰ（ａ、ｂ）とする
と、適合度は、適合度＝α_ｐ×ＤＰ（Ｐ_ｔ，Ｐ_ｃ）＋α_ｓ×ＤＰ（Ｓ_ｔ，Ｓ_ｃ）＋α_ｆａ×｜ＦＡ_ｔ−ＦＡ_ｃ｜ＤＰ（Ｓ_ｔ，Ｓ_ｃ）＋α_ｆｓ×｜ＦＳ_ｔ−ＦＳ_ｃ｜＋α_ｄ×｜Ｄ_ｔ−Ｄ_ｃ｜ …（１）と表わすことができる。ここで、α_ｐ，α_ｓ，α_ｆｓ，
α_ｆｓ，α_ｄは適当な重み関数である。また、ＤＰ
（ａ，ｂ）の１例は、音韻ａ，ｂの平均的なスペクトル
（ベクトル）をＳＰ_ａ，ＳＰ_ｂとしたときＤＰ(ａ，ｂ)
＝｜ＳＰ_ａ−ＳＰ_ｂ｜のような関数である。

【００１８】適合度判定部１０４では、例えば、上記
（１）式により適合度を計算し、該適合度が、予め定め
た閾値より小さい場合、ローカル音声データベース１２
０から選択された音声素片データを適合と判断して、該
音声素片データを最終的に選択する。一方、ローカル音
声データベース１２０から音声素片データが選択されな
いか、あるいは、選択されても適合度が閾値以上の場合
には、不適合と判断する、この不適合と判断された場
合、適合度判定部１０４はデータ送受信制御部１０６を
起動し、音韻列と韻律情報を渡す。

【００１９】データ送受信制御部１０６は、まず、ネッ
トワーク２を介してセンタ３に接続し（ステップ１００
８）、次に、音韻列と韻律情報をセンタ３に送信して、
音声素片データの選択を依頼し（ステップ１００９）、
センタ３にて大容量音声データベース５を用いて選択さ
れた音声素片データ及びその付属情報をネットワーク２
を介して受信する（ステップ１０１０）。データ送受信
制御部１０６では、このセンタ２から受信（ダウンロー
ド）した音声素片データを適合度判定部１０４に送り、
適合度判定部１０４では、この音声素片データを最終的
に選択する。

【００２０】さらに、データ送受信制御部１０６は、セ
ンタ２から受信（ダウンロード）した音声素片データ及
びその付属情報を音声素片記憶制御部１０７に送る。音
声素片記憶制御部１０７では、この音声素片データ及び
その付属情報をローカル音声データベース１２０に追加
して記憶する（ステップ１０１１）。

【００２１】次に、音韻列に対応した全ての音声素片デ
ータが選択されたかを判定し（ステップ１００５）、全
ての音声素片が選択されない場合は、ステップ１００３
から処理を繰り返す。この時、音声素片選択部１０３で
は、ローカル音声データベース１２０に新たに追記され
た音声素片データがあれば、それを含めて最適な音声素
片データを選択することが可能になる。

【００２２】ステップ１００５で全ての音声素片データ
が選択されたと判定された場合、合成部１０５におい
て、全ての音声素片データを韻律情報に応じて韻律変形
し、韻律変形された音声素片データをそれぞれ接続する
ことにより音声を合成する（ステップ１００７）。これ
は従来と同様であるので（例えば、特許第２７６１５５
２号）、具体的な説明は省略する。

【００２３】〔実施例２〕図５に本発明の音声合成装置
の第２の実施例を示す。図５において、図２の構成と異
なる点は、音声素片キヤッシュメモリ１３０を追加し、
音声素片記憶制御部１０７にて、センタ３から受信（ダ
ウンロード）された音声素片データとその付属情報を該
音声素片キヤッシュメモリ１２０に蓄積するようにした
ことである。したがって、音声素片選択部１０３では、
以後、ローカル音声データベース１２０及び音声素片キ
ヤッシュメモリ１３０の両方を使用して最適な音声素片
データを選択することができる。

【００２４】本実施例２は、例えばローカル音声データ
ベース１２０がＲＯＭで実装されて、新たな音声素片デ
ータを追加できない場合に有効である。なお、音声素片
キヤッシュメモリ１３０のデータは、装置の主電源をオ
フする毎に消去するか（使用のたびに消去する）、ある
いは、補助電源等の使用で、主電源をオフしても消去し
ないようにするか、いずれでもよい。

【００２５】図５の実施例２に対応する本発明の音声合
成方法のフローチャートは、基本的に図４と同様である
ので省略する。相違点は、図４のステップ１０１１にお
いて、実施例１ではセンタ２から受信した音声素片デー
タの記憶先がローカル音声データベース１２０であった
のが、実施例２では音声素片キヤッシュメモリ１３０に
なるだけである。

【００２６】図６は、本発明の音声合成装置をコンピュ
ータ上に構築する場合の概念的な構成を示すブロック図
である。図６において、音声合成装置１００は、プログ
ラムに基づき処理を実行するとともに各構成要素を制御
するＣＰＵ２１０、プログラム及び途中の処理結果等を
格納するメモリ２２０、音声素片データ及び辞書、その
他のファイル等を格納するデータ蓄積装置２３０、ネッ
トワークを介してホストとデータを送受信するためのデ
ータ送受信制御手段２４０（図２、図５のデータ送受信
側制御部１００）などを具備する。また、必要に応じ
て、音声素片キャッシュメモリ２５０を付加してもよ
い。特に小型の携帯機器においては、データ蓄積装置２
３０は書き換え可能な磁気ディスク等ではなくＲＯＭで
実装されることがあり、その場合は、音声素片キャッシ
ュメモリ２５０が必須となる。

【００２７】なお、図２や図５で示した装置における各
部の一部もしくは全部の処理機能をコンピュータのプロ
グラムで構成し、そのプログラムをコンピュータを用い
て実行して本発明を実現することができること（図
６）、あるいは、図４で示したような処理手順をコンピ
ュータのプログラムで構成し、そのプログラムをコンピ
ュータに実行させることができることは言うまでもな
い。また、コンピュータでその処理機能を実現するため
のプログラム、あるいは、コンピュータにその処理手順
を実行させるためのプログラムを、そのコンピュータが
読み取り可能な記録媒体、例えば、ＦＤや、ＭＯ、ＲＯ
Ｍ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディス
クなどに記録して、保存したり、提供したりすることが
できるとともに、インターネット等のネットワークを通
してそのプログラムを配布したりすることが可能であ
る。

【００２８】

【発明の効果】以上、本発明によれば、必要に応じてネ
ットワークを介してホスト側の大容量の音声データベー
スにアクセスすることで、搭載容量の限定された端末側
に小容量のローカル音声データベースを搭載しても高品
質な音声合成が可能になる。また、端末側に、ネットワ
ークを介してホストからダウンロードした音声素片デー
タを保存するためのメモリ領域を用意することで、応答
時間の短縮も可能になる。

【図面の簡単な説明】

【図１】本発明の音声合成装置を使用したシステム全体
の概念図である。

【図２】本発明による音声合成装置の第１の実施例の構
成図である。

【図３】音声データベースの構成例を示す図である。

【図４】本発明による音声合成方法のフローチャート例
である。

【図５】本発明による音声合成装置の第２の実施例の構
成図である。

【図６】本発明による音声合成装置をコンピュータで実
現する場合の構成図である。

【符号の説明】

１ユーザ端末２ネットワーク３センタ４受付けサーバ５大容量音声データベース１００音声合成装置１０１テキスト解析部１０２韻律生成部１０３音声素片選択部１０４適合度判定部１０５合成部１０６データ送受信制御部１０７音声素片記憶制御部１１０テキスト解析辞書１２０ローカル音声データベース１３０音声素片キヤッシュメモリ

Claims

【特許請求の範囲】

【請求項１】テキスト情報で示される音韻列と韻律情
報に対応して、音声データベースから音声素片データを
選択して音声を合成する音声合成方法において、前記音韻列と韻律情報に従って小規模のローカル音声デ
ータベースから音声素片データを選択し、前記ローカル音声データベースから選択された音声素片
データが予め定めた適合度を満足するかどうか判定し、前記適合度を満足する場合には、前記ローカル音声デー
タベースから選択された音声素片データをそのまま選択
し、前記適合度を満足しない場合には、ネットワークを介し
て遠隔地の音声データベースから、前記音韻列と韻律情
報に従って適切な音声素片データをダウンロードし、前記ローカル音声データベースから選択された音声素片
データあるいは前記遠隔地の音声データベースからダウ
ンロードされた音声素片データを用いて音声を合成す
る、ことを特徴とする音声合成方法。
【請求項２】請求項１記載の音声合成方法において、
前記遠隔地の音声データベースからダウンロードされた
音声素片データを、前記ローカル音声データベースに保
存し、以後、前記保存された音声素片データを選択でき
るようにしたことを特徴とする音声合成方法。
【請求項３】請求項１記載の音声合成方法において、
前記遠隔地の音声データベースからダウンロードされた
音声素片データを、前記ローカル音声データベースとは
別の音声素片データ用キャッシュメモリに保存し、以
後、前記ローカル音声データベースと前記音声素片デー
タ用キャッシュメモリを用いて音声素片データを選択す
ることを特徴とする音声合成方法。
【請求項４】テキスト情報で示される音韻列と韻律情
報に対応して、音声データベースから音声素片データを
選択して音声を合成する音声合成装置において、小規模の音声素片データを記憶するローカル音声データ
ベースと、前記音韻列と韻律情報に従って前記ローカル音声データ
ベースから音声素片データを選択する手段と、前記ローカル音声データベースから選択された音声素片
データが予め定めた適合度を満足するかどうか判定する
手段と、前記適合度を満足する場合には、前記ローカル音声デー
タベースから選択された音声素片データをそのまま選択
する手段と、前記適合度を満足しない場合には、ネットワークを介し
て遠隔地の音声データベースから、前記音韻列と韻律情
報に従って適切な音声素片データをダウンロードする手
段と、前記ローカル音声データベースから選択された音声素片
データあるいは前記遠隔地の音声データベースからダウ
ンロードされた音声素片データを用いて音声を合成する
手段と、を有することを特徴とする音声合成装置。
【請求項５】請求項１乃至３に記載の音声合成方法を
コンピュータで実行するための音声合成プログラム。