JP2002014687A - 音声合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 テキストに対する合成音声の品質を向上させ
ることが可能な音声合成装置を提供する。 【解決手段】 入力音声は音声認識手段２によって音声
認識され、更に、韻律情報取出手段６によって入力音声
の単語毎に韻律情報１２が生成される。音声認識結果１
３及び韻律情報１２に基づいて韻律情報データベースが
生成され、韻律情報データベース部６に格納される。認
識結果が既に韻律情報データベース部６に登録済みであ
ることが認識結果チエック部１４により判定された場
合、韻律情報データベース部６への認識結果１３及び韻
律情報１２の登録は行われない。韻律情報データベース
部６に発声文章が有るか否かにより、韻律情報データベ
ース部６と韻律規則記憶部７の一方を用いて音声合成が
行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声合成装置に関
し、特に、入力音声を音声認識した認識結果および韻律
情報を用いて高品位の音声合成を行う音声合成装置に関
する。

【０００２】

【従来の技術】図５は、従来の第１の音声合成装置を示
す。図５の音声合成装置は、テキストとしての発声文章
が記憶された発声文章記憶部５１、韻律（ prosody）規
則を記憶する韻律規則記憶部５２、発声文章記憶部５１
からの発声文章及び韻律規則記憶部５２からの韻律規則
を用いて音声合成を行う音声合成部５３、この音声合成
部５３による音声合成出力を電気−機械変換して出力す
るスピーカ５４を備えて構成される。韻律規則記憶部５
２は、予めルール化された韻律情報を「韻律規則」とし
て記憶しており、発声文章記憶部５１から音声合成部５
３に読み込んだ発声文章（入力文章）に前記韻律規則を
機械的に付与することにより合成音声が行われる。

【０００３】図６は、従来の他の音声合成装置を示す。
この音声合成装置は、図５の構成のほか、入力音声を収
音するマイクロホン６１、入力音声から韻律情報を生成
する韻律情報取出部６２、韻律情報６５を記憶する韻律
情報記憶部６３、及び韻律規則を記憶する韻律規則記憶
部５２の出力又は韻律情報記憶部６３の出力の一方を選
択して音声合成手段５３に印加するスイッチ６４を追加
した構成になっている。韻律情報記憶部６３には、予め
規定された文章に対して適切に作成された韻律情報６５
が格納されている。図６の構成において、まず、利用者
は、予め規定された文章をマイクロホン６１に向かって
朗読する。マイクロホン６１で収音された音声はアナロ
グ電気信号として韻律情報取出部６２に入力され、この
韻律情報取出部６２でデジタル化される。韻律情報取出
部６２では、入力音声に対して構文解析や形態素解析を
行って韻律情報６５を生成する。この韻律情報の作成
は、規定の文章に対して行われるため、利用者に変更が
ない場合、１度だけでよい。

【０００４】次に、音声合成を行う場合、発声文章記憶
部５１から読み出された発声文章が韻律情報記憶部６３
存在する場合（つまり、読み出された発声文章が韻律情
報取出部６２で規定された文章である場合）には、韻律
情報記憶部６３に格納されている韻律情報を用いて音声
合成が行われる。一方、規定された文章以外が韻律情報
取出部６２から入力された場合には、図５の音声合成装
置と同様に、韻律規則記憶部５２の韻律規則を用いて音
声合成が行われる。図６の音声合成装置によれば、韻律
情報記憶部６３の韻律情報を用いて音声合成を行った文
章については、人の声に近い自然な感じの音声出力にな
る。

【０００５】このほか、音声合成に関しては、特開平１
０−２５４４７１号公報及び特開平１１−１７５０８２
号公報がある。特開平１０−２５４４７１号公報では、
テキストデータを解析し、その音韻、音律に関する情報
を求め、これに対応する韻律規則を選択し、この韻律規
則に基づいて韻律パラメータの時系列をパラメータ生成
部により生成する。一方、入力音声データに対しては、
韻律パラメータ時系列が求められ、これとテキストデー
タに対する韻律パラメータの時系列とを評価関数によっ
て比較評価し、この結果に基づいてパラメータ生成部の
前記韻律規則で適用する最適韻律パラメータ値を決定す
る。これにより、韻律パラメータの最適化、韻律規則の
最適化が図られる。

【０００６】特開平１１−１４３４８３号公報では、音
声入力を音声認識して音素候補と韻律情報を作成し、音
素候補及び単語辞書に基づいて単語候補を検出し、これ
と重要語辞書に基づいて発生音声文の音韻記号列を生成
し、さらに音韻記号列と重要語辞書に基づいて音声素片
を接続補完した音韻系列を作成し、この音韻系列に韻律
情報を必要に応じて付加し、これを基に音声合成を実施
する。これにより、入力音声とは異なる音声に音声合成
をして音声出力することが可能になる。さらに、特開平
１１−１７５０８２号公報は、利用者の音声の認識結果
から音韻データの作成及びアクセント型の推定を行い、
この音韻データを基に音声認識結果に対応する出力文に
対する作成音声合成を実行する。これにより、通常発声
するアクセント型と異なるアクセント型で発声した場合
でも、通常使用するアクセント型による音声合成が得ら
れる。例えば、方言で発声した場合には、この方言を反
映した応答文章に音声合成される。

【０００７】

【発明が解決しようとする課題】しかし、従来の音声合
成装置によると、図５の構成の場合、韻律規則を用いて
音声合成を行うため、機械的な韻律を持った合成音声に
なり易く、実際の人間の発声に比べて不自然さが多く残
される。このため、人の音声に近い自然感が得られな
い。また、図６の構成の場合、予め韻律情報記憶部６３
に登録された発声文章に対しては高品質の合成音声が得
られるが、登録されていない発声文章に対しては韻律規
則を用いるため、機械的な合成音声になる。更に、予め
登録された文章の合成品質は韻律情報の作成時に決定付
けられ、後から変更などを行うことは困難である。さら
に、登録された発声文章と登録されていない発声文章が
混在した文章から音声合成を行うと、発声文章内の音声
品質に差が出てしまう。

【０００８】さらに、特開平１０−２５４４７１号公報
の構成の場合、学習はテキストデータから得た韻律パラ
メータのみが対象であり、後から追加したり変更するこ
とは行えないため、評価が行われるのはテキストにある
もののみであり、音声合成の品質向上には限界がある。
また、特開平１１−１４３４８３号公報の構成の場合、
テキストの読み上げが行えないほか、韻律情報の蓄積は
行っていないので、音声合成の品質向上は期待できな
い。さらに、特開平１１−１７５０８２号公報の構成の
場合、認識結果変換部で選択できた応答文章の音声合成
しか行えず、予め用意していないテキストに対する音声
合成は行えない。さらに、音声入力者のクセ（方言）に
対応して応答文章の音声合成を行うことを目的としてお
り、音声合成の品質向上を図るものではない。

【０００９】したがって、本発明の目的は、韻律情報が
適用される音声単位の数を増やし、テキストの合成音声
の品質を向上させることが可能な音声合成装置を提供す
ることにある。

【００１０】

【課題を解決するための手段】本発明は、上記の目的を
達成するため、入力音声を音声単位に音声認識する音声
認識手段と、前記音声単位に前記入力音声から韻律情報
を生成する韻律情報取出手段と、前記音声認識手段によ
る認識結果及び前記韻律情報取出手段からの韻律情報に
基づいて韻律情報データベースを作成する韻律情報デー
タベース部と、前記音声合成手段による認識結果と同一
の認識結果が前記韻律情報データベース部に存在すると
き、その認識結果及びこの認識結果に対応する前記韻律
情報取出手段による韻律情報を前記韻律情報データベー
ス部に登録させない認識結果チエック手段と、ルール化
された韻律情報を韻律規則として記憶する韻律規則記憶
部と、入力された前記発声テキストが前記韻律情報デー
タベース部に存在するときには前記韻律情報を用いて音
声合成を行い、前記発声テキストが前記韻律情報データ
ベース部に存在しない時には前記韻律規則記憶部の前記
韻律規則を用いて音声合成を行う音声合成手段を備えた
音声合成装置を提供する。

【００１１】この構成によれば、音声認識手段により入
力音声を音声認識すると同時に、韻律情報取出手段によ
って入力音声から韻律情報を生成し、この韻律情報と認
識結果から韻律情報データベースを作成し、韻律情報デ
ータベース部に登録する。音声合成手段は、発声テキス
トが韻律情報データベース部に存在するときには韻律情
報データベース部から読み出した韻律情報を用いて音声
合成を行い、韻律情報データベース部に存在しないとき
には韻律規則記憶部から読み出した韻律規則を用いて音
声合成を行う。そして、音声認識手段による認識結果が
すでに登録済みであれば、韻律情報データベース部への
再登録は行われない。これにより、入力音声に新しい音
声単位（単語）が入る毎にその韻律情報が生成され、こ
れがデータベースに蓄積されていくため、音声単位（単
語）の入力数に伴って韻律情報の蓄積数が増え、合成音
声の品質を向上させることができる。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。 〔第１の実施の形態〕図１は、本発明の音声合成装置の
第１の実施の形態を示す。本発明の音声合成装置は、大
別して音声認識処理ブロックと音声合成ブロックから成
る。音声認識処理ブロックは、音声を収音するマイクロ
ホン（マイク）１、このマイクロホン１による入力音声
を音声認識する音声認識手段２、マイクロホン１による
入力音声を記憶する入力音声記憶部３、音声認識手段２
による認識結果を記憶する認識結果記憶部４、入力音声
記憶部３の記憶データから韻律情報を生成する韻律情報
取出手段５、及び音声認識手段２による認識結果が重複
していないか否かをチエックする認識結果チエック部１
４を備えて構成される。入力音声記憶部３及び認識結果
記憶部４を設けて音声データ及び認識結果を記憶するこ
とにより、両者の処理タイミング等を考えることなく、
音声認識と韻律情報の生成が可能になる。また、音声合
成ブロックは、認識結果記憶部４の認識結果データと韻
律情報取出手段５の韻律情報に基づいて韻律情報データ
ベースを生成する韻律情報データベース部６、韻律規則
を記憶する韻律規則記憶部７、音声合成を実行する音声
合成手段８、韻律情報データベース部６又は韻律規則記
憶部７の出力の一方を音声合成手段８に入力するスイッ
チ９、発声文章（発声テキスト）を記憶する発声文章記
憶部１０を備えて構成される。

【００１３】図２は図１の音声合成装置の処理を示す。
図中、Ｓはステップを示す。図１及び図２を参照して図
１の音声合成装置の動作を説明する。まず、音声がマイ
クロホン１によって電気信号に変換され、音声認識装置
２に入力されてデジタル化された音声データとなる。こ
の場合の音声は、従来技術で用いられたような規定され
た文章に限らず、任意の文章、単語であってよい。音声
認識装置２に入力され、音声認識の対象となった音声デ
ータは、入力音声記憶部３に記憶されるとともに、音声
認識手段２により音声認識が行われ（Ｓ１０１）、その
認識結果は認識結果記憶部４に記憶される。入力音声記
憶部３から読み出された入力音声データは、韻律情報取
得手段５によって逐次分析（構文解析、形態素解析等）
が行われ、入力音声データから韻律情報１２が生成され
（Ｓ１０２）、この韻律情報１２は韻律情報データベー
ス部６に入力される。一方、認識結果チエック部１４で
は、音声認識装置２による認識結果が既に韻律情報デー
タベース部６に登録済みのものと同一か否かを判定する
（Ｓ１０３）。末登録であれば、認識結果記憶部４から
読み出された認識結果（認識単語）１３は、韻律情報取
出手段５から読み出された韻律情報１２とペアにして韻
律情報データベース部６に入力される（Ｓ１０４）。韻
律情報データベース部６では、ペアにされた韻律情報１
２と認識結果１３に基づいてデータベースが構築され、
韻律情報データベース部６内に記憶される。この様に、
韻律情報１２と認識結果１３をペアにしたテーブル構成
の韻律情報データベースとすることにより、音声合成の
際、認識結果１３毎に特定された韻律情報１２が得られ
るため、音声合成の精度が高められる。Ｓ１０３におい
て、同一の音声単位（同一の単語）に対し複数回の発声
がなされた場合、２回目以降の入力に対しては韻律情報
データベース部６への登録を行わない（Ｓ１０３のＹＥ
Ｓの処理）。この一連の音声認識処理を繰り返し行うこ
とにより、韻律情報データベース部６には、音声単位
（単語）とそれに対応する韻律情報が、認識した音声単
位（単語）の数だけ格納されることになる。

【００１４】音声合成ブロックにおいては、まず、発声
文章記憶部１０から入力された発声文章（発声テキス
ト）に対応する認識結果が、韻律情報データベース部６
に存在するか否かを判定する（Ｓ１１１）。韻律情報デ
ータベース部６に格納（登録）されている場合には、韻
律情報データベース部６の韻律情報を用いて、音声合成
手段８により読み出された発声文章（発声テキスト）の
音声合成処理を実行する（Ｓ１１２、Ｓ１１４）。発声
文章記憶部１０からの発声文章が韻律情報データベース
部６に登録（記録）されていなかった場合、スイッチ９
を韻律情報データベース部６から韻律規則記憶部７に切
り換え、韻律規則を用いて音声合成の処理を実施する
（Ｓ１１３、Ｓ１１４）。このように、スイッチ９で切
り換え、韻律情報による音声合成と韻律規則による音声
合成とを使い分けることにより、登録されていない発声
文章に対しても音声合成が可能になる。したがって、あ
らゆる発声文章に対して音声合成を行うことができる。

【００１５】また、韻律情報データベース部６への登録
は、同一の単語に対して韻律情報の生成が再度行われた
ことが認識結果チエック部１４で判定されたときには、
重複登録が行われないため、不要な処理が行われない分
だけ、処理負荷の軽減、処理時間の短縮、動作速度の向
上等が可能になる。そして、過去に音声認識が行われた
単語については、次回以降の音声合成の際、実際に人が
発声した韻律を用いて音声合成が行われるため、合成音
声の品質を大幅に向上させることが可能となる。更に、
韻律情報が音声認識された単語数に伴って蓄積数が増え
るため、合成音声の品質が向上する。しかも、音声入力
者の実際の音声に近似した音声の音声合成が得られる。

【００１６】〔第２の実施の形態〕図３は本発明の他の
実施の形態を示す。図３においては、図１と同一である
ものには同一引用数字を用いたので、重複する説明を省
略する。本実施の形態は、図１の音声合成装置に韻律情
報の学習機能を付加したところに特徴がある。図２に示
すように、韻律情報取出手段５と韻律情報データベース
部６の間には韻律情報学習手段２０が設けられ、この韻
律情報学習手段２０から韻律情報２１が韻律情報データ
ベース部６に入力される。そして、韻律情報学習手段２
０には、韻律情報データベース部６から学習のための韻
律情報２２がフィードバックされている。

【００１７】図４は図２の実施の形態の処理を示す。図
３及び図４を用いて第２の実施の形態について説明す
る。まず、音声認識処理について説明する。マイクロホ
ン１により収音された入力音声は音声認識手段２に入力
され、音声認識が行われると共に入力音声記憶部３に格
納される（Ｓ２０１）。入力音声記憶部３に格納された
入力音声データは、韻律情報取出手段５によって読み出
され、この韻律情報取出手段５によって逐次分析が行わ
れ、韻律情報１２が生成される（Ｓ２０２）。生成され
た韻律情報１２は、これに対応する認識結果とのペアに
よるテーブル構成で韻律情報データベース部６に入力さ
れる。このとき、認識結果が韻律情報データベース部６
に既に登録されているか否かが、認識結果チエック部１
４によりチエックされる（Ｓ２０３）。末登録の場合に
は認識結果１３と韻律情報１２のペアを韻律情報データ
ベース部６に入力させ、これに基づいて韻律情報データ
ベースが作成され、韻律情報データベース部６内に記憶
（登録）される（Ｓ２０４）。

【００１８】一方、既に認識結果１３が登録済みの場
合、すなわち、同一単語に対して再度発声されたことが
認識結果チエック部１４により判定された場合、認識結
果チエック部１４は韻律情報データベース部６から前記
同一単語に対する韻律情報２２を読み出し、韻律情報学
習手段２０に入力する（Ｓ２０５）。韻律情報学習手段
２０は、韻律情報データベース部からの前回（過去）の
韻律情報２２を今回作成した韻律情報１２に合成する
（Ｓ２０６）。この合成は、例えば、それぞれの情報の
平均値を取る方法により行われる。このように、合成さ
れた韻律情報２１は、韻律情報データベース部６に再登
録される。以上の一連の音声認識処理を繰り返すことに
より、韻律情報データベース部６には、単語とそれに対
応する韻律情報２１が認識した単語の数だけ格納され
る。また、同一単語を複数回発声した場合は、韻律情報
学習手段２０による学習によって、過去複数回の韻律情
報が平均化して登録されることになるので、発声のばら
つきを低減することができ、音声合成時の音声品質を向
上させることができる。

【００１９】次に、図３の構成における音声合成処理に
ついて説明する。まず、音声合成手段８によって、発声
文章記憶部１０から入力された発声文章（発声テキス
ト）に対応する認識結果が韻律情報データベース部６に
記録されているか否かが判定される（Ｓ１１１）。格納
されている場合、合成音の韻律として記録されている韻
律情報データベース部６の韻律情報を用いて音声合成処
理が行われる（Ｓ１１２）。また、発声テキストが韻律
情報データベース部６に記録されていなかった場合、音
声合成手段８はスイッチ９を韻律規則記憶部７に切り換
え、韻律規則記憶部７の韻律規則を取り出し（Ｓ１１
３）、通常の音声合成処理を行う（Ｓ１１４）。この実
施の形態の音声合成においても、スイッチ９で韻律情報
データベース部６と韻律規則記憶部７を切り換え、韻律
情報による音声合成と韻律規則による音声合成とを使い
分けることにより、登録されていない発声文章に対して
も音声合成が可能になる。したがって、あらゆる発声文
章に対して音声合成を行うことができる。

【００２０】上記実施の形態においては、発声文章（発
声テキスト）を発声文章記憶部１０に記憶されているも
のを読み出すものとしたが、外部から逐次入力される構
成であってもよい。

【００２１】

【発明の効果】以上説明した通り、本発明の音声合成装
置によれば、音声認識手段により入力音声を音声認識す
るとともに、韻律情報取出手段によって入力音声の音声
単位（単語）毎に韻律情報を生成し、この韻律情報と認
識結果から韻律情報データベースを作成し、韻律情報デ
ータベース部に登録し、発声テキストが韻律情報データ
ベース部に有るときには韻律情報データベース部からの
韻律情報を用いて音声合成手段により音声合成を行い、
韻律情報データベース部に発声テキストが存在しないと
きには韻律規則記憶部からの韻律規則を用いて音声合成
を行うようにしたので、入力音声に新しい音声単位（単
語）が入る毎にその韻律情報が生成され、これがデータ
ベースとして蓄積されていくため、音声単位の数に伴っ
て韻律情報の蓄積数が増え、合成音声の品質を向上させ
ることができる。また、韻律情報学習手段を設けたこと
により、同一音声単位（同一単語）が再度発声された場
合は、それぞれの韻律情報が平均化されて登録されるの
で、発声のばらつきを低減することができる。

【図面の簡単な説明】

【図１】本発明の音声合成装置の第１の実施の形態を示
すブロック図である。

【図２】図１の音声合成装置の処理を示すフローチャー
トである。

【図３】本発明の他の実施の形態を示すブロック図であ
る。

【図４】図２の実施の形態の処理を示すフローチャート
である。

【図５】従来の第１の音声合成装置を示すブロック図で
ある。

【図６】従来の他の音声合成装置を示すブロック図であ
る。

【符号の説明】

１ マイクロホン ２ 音声認識手段 ３ 入力音声記憶部 ４ 認識結果記憶部 ５ 韻律情報取出手段 ６ 韻律情報データベース部 ７ 韻律規則記憶部 ８ 音声合成手段 ９ スイッチ １０ 発声文章記憶部 １２，２１，２２ 韻律情報 １４ 認識結果チエック部 ２０ 韻律情報学習手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力音声を音声単位に音声認識する音声
   認識手段と、 前記音声単位に前記入力音声から韻律情報を生成する韻
   律情報取出手段と、 前記音声認識手段による認識結果及び前記韻律情報取出
   手段からの韻律情報に基づいて韻律情報データベースを
   作成する韻律情報データベース部と、 前記音声合成手段による認識結果と同一の認識結果が前
   記韻律情報データベース部に存在するとき、その認識結
   果及びこの認識結果に対応する前記韻律情報取出手段に
   よる韻律情報を前記韻律情報データベース部に登録させ
   ない認識結果チエック手段と、 ルール化された韻律情報を韻律規則として記憶する韻律
   規則記憶部と、 入力された前記発声テキストが前記韻律情報データベー
   ス部に存在するときには前記韻律情報を用いて音声合成
   を行い、前記発声テキストが前記韻律情報データベース
   部に存在しない時には前記韻律規則記憶部の前記韻律規
   則を用いて音声合成を行う音声合成手段を備えることを
   特徴とする音声合成装置。
2. 【請求項２】 前記音声認識手段及び前記韻律情報取出
   手段は、前記音声単位として単語を用いることを特徴と
   する請求項１記載の音声合成装置。
3. 【請求項３】 前記韻律情報取出手段は、前記入力音声
   の前記音声単位と同一の音声単位に対する前記韻律情報
   の生成が再度行われたとき、前記韻律情報データベース
   部から前回の韻律情報を読み出し、今回の韻律情報に合
   成し、この合成した韻律情報を前記韻律情報データベー
   スに登録する韻律情報学習手段が接続されていることを
   特徴とする請求項１または２記載の音声合成装置。
4. 【請求項４】 前記音声認識手段は、その音声認識の対
   象となった前記音声単位を記憶し、前記韻律情報データ
   ベース部に入力音声データとして供与する入力音声記憶
   部が接続され、 前記音声合成手段は、前記発声テキストを記憶する発声
   文章記憶部が接続されていることを特徴とする請求項１
   記載の音声合成装置。