JP2000056788A - 音声合成装置の韻律制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 規則によるモデル化の限界や、個々の韻律パ
ラメータを統一的に扱えるモデルが存在しなく、自然性
の高い音声を合成することが困難であったので、これを
可能とする韻律パラメータ生成手段を供する。 【解決手段】 充分な容量の文発声音声を音声コーパス
メモリに記憶しておき、入力テキストから得られる文節
をキーとして音声コーパス部を検索し、文節の属性情報
がある基準値以上の類似度を持つデータを選択し、その
韻律パラメータを利用することで、入力テキストに対す
る韻律パラメータを計算し、これにより音声を合成す
る。 【効果】 抑揚やリズムが自然で肉声に近い合成音を生
成できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テキストから音声
を合成するテキスト音声合成技術に関し、特に、文の抑
揚や時間長を制御する韻律制御方法に関する。

【０００２】

【従来の技術】テキスト音声合成は、入力されたテキス
トに対して読み及びアクセント情報をもつ形態素辞書と
の照合を行い、中間的な発音記号列を生成した後、発音
記号から基本周波数パタンや音素継続時間長などの韻律
パラメータと、同時に発音記号から各音素の声道パラメ
ータを求め、該パラメータから音声を合成する方式が一
般的である。例えば、文献「音声合成技術：広瀬啓吉
（音声処理技術とその応用、情報処理、ｐｐ．９８４−
９９１、１９９７年１１月）」にはこの方式を利用した
音声合成装置が記載されている。

【０００３】上記の方式を利用した場合、韻律パラメー
タは音声の抑揚やリズム、なめらかさといった全体にか
かわる自然性としての特徴を決め、声道パラメータは単
語や文を構成する個々の音節の明瞭性としての特徴を決
定する。

【０００４】

【発明が解決しようとする課題】韻律パラメータのう
ち、基本周波数パタンのパラメータ生成方式の代表的な
ものとして、「重畳型モデル」が挙げられる。この基本
周波数パラメータの生成モデルは、句などに対応して基
本周波数が緩やかに下降するフレーズ成分に、文節単位
のアクセント型に対応する基本周波数の上昇・下降であ
るアクセント成分が重畳されたものである。重畳型モデ
ルは、人間の発声機構を模擬したモデルであるため、直
感的に理解しやすく、現実の音声現象とも良く合致して
いるが、モデルの性能を発揮するためには高度な言語処
理が必要であるという問題があった。

【０００５】韻律パラメータのうち、音節（音素）継続
時間長は、音節（音素）が置かれるコンテキストをはじ
めとする種々の要因によって変化する。継続時間長に影
響を与える要因としては、当該音節の種類のような調音
上の制約、タイミング、単語の重要度、発話区分境界の
明示、発話区分内のテンポ、全体のテンポ、構文意味内
容等の言語的制約などがある。継続時間長制御において
は、実際に観測される継続時間長データに対して、上に
挙げた要因に関する影響度などを統計的に分析し、その
結果得られる規則を利用する方式が一般的である。その
ため、多様なコンテキストにおける継続時間長モデルを
構築しようとすると大規模なデータベースが必要となる
という問題がある。

【０００６】このような韻律パラメータの他、パワーに
関するパラメータなど各種制御モデルが考案されている
が、いずれのモデルも、他の韻律パラメータとの関連性
を持ったモデルではなく、各韻律パラメータ独立のモデ
ルであり、これら単独の制御モデルの性能向上だけで
は、自然性向上に限界がある。また、文発声音声には、
規則によるモデル化が困難な韻律現象があることも指摘
されている。

【０００７】そのため、肉声から抽出した韻律パラメー
タをデータベースとして記憶し、データベースを利用し
て韻律パラメータを生成する韻律パラメータ計算モデル
が提案されている。例えば、片江らの方式「文型−韻律
データベースを用いた定型文音声合成システム、音講
論、ｐｐ．２７５−２７６、平成８年３月」や、斎藤ら
の方式「付属語連鎖単位を音声合成単位とする規則合成
音声、音講論、ｐｐ．３１７−３１８、平成６年１０
月」である。しかしながら、これらは基本周波数パター
ンのみを韻律パラメータとするものであり、なお文発声
音声の自然性を高めるには不十分なものであった。

【０００８】本発明の目的は、従来の方式と比較して自
然性の高い音声を合成するテキスト音声合成方法及び装
置を提供することにある。

【０００９】

【課題を解決するための手段】上記課題を達成するため
に、肉声の各種の韻律パラメータ（基本周波数パター
ン、音声継続時間長等）を相互に保存したまま編集・加
工し、この韻律パラメータを用いて、音声を合成するよ
うにする。

【００１０】また、文音声、その韻律パラメータ、形態
素・文節解析データなどからなる音声コーパス部を備
え、音声コーパス部を検索して入力テキストを構成する
文節との類似度がある基準値より大きいデータを抽出
し、抽出されたデータに対して韻律パラメータの加工・
修正を行なうことにより韻律パラメータを生成し、この
生成した韻律パラメータにより音声を合成するようにす
る。

【００１１】また、テキストデータに対応する韻律パラ
メータを計算し、計算された韻律パラメータより合成波
形を生成する音声合成装置において、音声合成装置に、
複数のテキストデータに対応して各テキストデータの人
間の発話音声を記憶する音声コーパス部と、上記入力テ
キストデータを文節の系列として出力する文節解析手段
とを備え、上記文節解析手段から出力された文節と上記
音声コーパス部に記憶されたテキストデータとを順次比
較し、上記文節の属性情報と比較して基準値以上の類似
度を持つと判定される文節を含む文データを、上記音声
コーパス部から選択し、上記選択された文データより、
基準値以上の類似度を持つと判定された文節に関する複
数種の韻律パラメータを求め、上記入力テキストデータ
を分割した文節の各々に対する韻律パラメータを計算
し、この計算した韻律パラメータにより音声を合成する
ようにする

【００１２】

【発明の実施の形態】図１は、本発明の音声合成装置の
一実施態様の構成を示すブロック図である。６は汎用メ
モリ、５は波形合成部、１は音声コーパスメモリ、２は
音声コーパス検索部、３は文節解析部、４は韻律パラメ
ータ計算部である。ここで、音声コーパス検索部、文節
解析部、韻律パラメータ計算部、波形合成部の各機能
は、図示しないＣＰＵが前記各機能を実現する各プログ
ラムを実行することで実現される。図１では、説明上こ
れらの機能を分けて記載している。このプログラムは汎
用メモリの中に格納されている。プログラムは、実行の
際、必要に応じて汎用メモリの中にあるデータや、音声
コーパスメモリの中にあるデータを読み出しながら波形
合成を実行する。なお、これらのプログラムは、この音
声合成方法を採用する音声合成装置に、当該プログラム
を記憶したＲＯＭや、当該プログラムを記憶した読み出
し可能な記憶媒体の形で供給される。または、音声合成
方法を用いる製品、例えば、車用のナビゲーションシス
テムの音声案内や、自動販売機の音声案内や、テキスト
読み上げ装置等の記憶装置に組み込まれた形で供給され
る。

【００１３】図２は、汎用メモリ６の内容を示す。汎用
メモリ６には、本音声合成を行うのに必要なデータとし
て、テキストデータ１０、基本周波数パターンや音声継
続時間長等の韻律パラメータ１１、合成波形データ１
２、音声コーパス検索部検索結果１３、文節解析結果１
４、及び計算処理途中のデータ１５が記憶される。ま
た、図示しないが、音声コーパス検索部、文節解析部、
韻律パラメータ計算部、波形合成部の各機能を実現する
プログラムが格納される。

【００１４】以下、「あらゆる現実をすべて自分の方へ
ねじまげたのだ。」という入力テキストデータを例とし
て、本発明によるテキストデータから合成波形への変換
方式を図を用いて説明する。

【００１５】図３は、テキストデータから合成波形への
変換処理のフローチャート及び例である。

【００１６】まず、文節解析部３において、汎用メモリ
６のテキストデータ領域１０よりテキストデータ１０１
を読み出し、文節に分解し、汎用メモリ６の文節解析結
果領域１４に格納する（ステップＳ１０１）。文節解析
結果１０２は、図３（ｂ）に示すように、表記１０３、
読み１０４及びアクセント型１０５から構成される構造
化データと、文節間の係り受け情報１０６から構成され
る。単語毎の読み及びアクセント情報は、辞書に登録さ
れているデータを設定する。

【００１７】次に、音声コーパス検索部２では、汎用メ
モリ６の文節解析結果領域１４より文節解析結果１０２
と、音声コーパス部１より順次テキストデータとを読み
出し、上記文節解析手段を利用してテキストデータを文
節に分割した後に、文節間の属性情報（文節のモーラ
数、文節のアクセント型、文節を構成する単語の品詞、
文節の係り受け情報、１つ以上先行する文節に関する上
記属性情報、１つ以上後続する文節に関する上記属性情
報、等）に基づく類似度判定を行ない、基準値以上の類
似度を持つ文節を含む文を、汎用メモリ６の計算処理途
中データ領域１５に一時格納する（ステップＳ１０
２）。

【００１８】図５及び図６は、音声コーパス部１を実現
した図である。音声コーパス部は、上記テキストデータ
及びテキストデータを解析したテキスト解析結果、上記
音声波形データ及び音声波形データの韻律パラメータを
それぞれ符号化して、更に各々のデータの関連を示す情
報を符号化して記憶する。これらは、図５及び図６の構
造に従って記憶されている。図５の３０１は、音声コー
パス部の全体を示す図である。３０２は、音声コーパス
部の第一のデータであり、テキストデータ及びテキスト
解析結果、音声波形データ及び音声波形データの韻律パ
ラメータから構成される。上記データは、図６のフォー
マットに従って記憶されている。図６の４０１、４０
２、４０３、４０４は、それぞれ、テキストデータ記憶
領域４０５の先頭番地を記憶する領域、テキスト解析結
果記憶領域４０６の先頭番地を記憶する領域、音声波形
データ記憶領域４０７の先頭番地を記憶する領域、音声
波形データの韻律パラメータ（基本周波数パターン、音
声継続時間長等）記憶領域４０８の先頭番地を記憶する
領域である。このように、文音声に関する各々のデータ
はインデックス情報によって接続されており検索が容易
な構造である。

【００１９】図４は、計算処理途中データ領域１５に一
時格納されたデータ例である。ここでは、文節のモーラ
数及びアクセント型が一致した文節を持つ文を検索し
た。例えば、文節「あらゆる」は４モーラ・３型である
ので、音声コーパス部１より４モーラ・３型の文節を持
つテキストデータを検索する。図４（ａ）は、文節「あ
らゆる」で検索された文例である。ここでは、「それで
は、プロ野球と」２０１、「長年、力を保ち続けること
の」２０３、「独特の個性があります。」２０５等の文
が検索される。尚、下線部２０２、２０４、２０６の文
節が、４モーラ・３型の属性情報を持つ文節である。

【００２０】同様に、図４（ｂ）は、文節「現実に」で
検索された文例である。ここで、文節「現実を」に対し
ては、文２０７及び２０８等の文が検索され、下線部２
０９、２１０の文節は、５モーラ・０型の文節である。

【００２１】続いて、音声コーパス検索部２において、
計算処理途中データ領域に格納されている文データに対
して、属性情報を利用して１つの文を選択する。文を選
択する際には、文節を構成する品詞や構成音節の近さ、
文節の係り受け情報などを利用する。ここでは、文節
「あらゆる」に対して、文１０８「それより、堅実に走
者を」を選択する。同様に、「現実を」に関しては、文
１１０「それより、堅実に走者を」を選択する。この例
のように、文１０８と文１１０は同一の文であっても構
わない。上記のようにして、各文節に関する文を検索
し、検索結果１０７を汎用メモリ６の音声コーパス検索
部検索結果１３に格納する。

【００２２】図７は、基本周波数パタン計算のための文
候補を選ぶ文検索アルゴリズムの実施例である。音声コ
ーパス検索部２では、図７のアルゴリズムを用いて音声
コーパスの検索を行なう。ステップ２０１からステップ
２０３までのアルゴリズムを適用していく際、あるステ
ップにおいて、文候補が１つも残らない場合、その直前
のステップで文検索を中止し、残された文候補を選ぶ。
尚、ステップ２０２におけるアクセント型は、平板型、
頭高型、中高型とした時の一致とする。ステップ２０３
での文検索を終えた後、得られた文候補を、汎用メモリ
６の音声コーパス検索部検索結果１３に格納する。

【００２３】図８は、継続時間長計算のための文候補を
選ぶための文検索アルゴリズムの実施例である。音声コ
ーパス検索部２では、図８のアルゴリズムを用いて音声
コーパスの検索を行なう。ステップ３０６までのアルゴ
リズムにより検索された文候補を、汎用メモリ６の音声
コーパス検索部検索結果１３に格納する。

【００２４】次に、韻律パラメータ加工部４では、汎用
メモリ６の音声コーパス検索部検索結果領域１３より、
音声コーパス検索結果である文集合１０７の各文に対応
する音声データの韻律パラメータを音声コーパス部１よ
り読み出し、必要に応じて韻律パラメータの計算を行な
って、得られた韻律パラメータ１１１を汎用メモリ６の
韻律パラメータ領域１１に格納する（ステップＳ１０
３）。

【００２５】図３では、文節「あらゆる」に対する基本
周波数パターン１１２と、音節「あ」に対する継続時間
長１１３が示されている。基本周波数パターン１１２
は、検索結果１０８に対応する音声データの文節「それ
より」１０９の部分の基本周波数パタンの時系列データ
をそのまま利用する。また、基本周波数パタンとして
は、検索結果１０８に対応する時系列データを、音節の
始終端を結ぶ折れ線で近似する方法でも構わない。ま
た、求める基本周波数パタンは、複数ある検索候補の基
本周波数パタンの平均値で計算しても構わない。一方、
音節「あ」の継続長は、得られた文候補の音節継続時間
長をそのまま利用する。また、得られた文候補が空集合
である音節については、予め求られている標準音節継続
時間長テーブルなどから継続時間長を求める。

【００２６】最後に、上記の手順で計算された基本周波
数パターン及び継続時間長を汎用メモリ６の韻律パラメ
ータ１１より読み出し、波形合成部５において、出力音
声波形を合成する。合成された波形データは、汎用メモ
リ６の合成波形データ１２に格納される。この合成波形
データを基に音声が合成され出力される。

【００２７】

【発明の効果】本発明により、抑揚やリズムが自然で肉
声に近い合成音を生成することができる。

【図面の簡単な説明】

【図１】本発明の音声合成装置のブロック図である。

【図２】音声合成装置の汎用メモリに記憶される内容の
図である。

【図３】本発明の音声合成装置における処理の流れ図及
び例である。

【図４】音声コーパス検索部で検索された文の例であ
る。

【図５】音声コーパス部の文音声格納方式に関する図で
ある。

【図６】音声コーパス部の文音声に関するデータの格納
方式に関する図である。

【図７】基本周波数パタン計算のための文検索アルゴリ
ズム。

【図８】継続時間長計算のための文検索アルゴリズム。

【符号の説明】

１：音声コーパスメモリ、２：音声コーパス検索部、
３：文節解析部、４：韻律パラメータ計算部、５：波形
合成部、６：汎用メモリ、１０１：入力テキスト例、１
０２：文節解析結果例、１０７：音声コーパス検索例、
１１１：韻律パラメータ計算例、１１２：基本周波数パ
タン計算例、１１３：音節継続時間長計算例、４０１：
テキストデータ記憶領域の先頭番地を記憶する領域、４
０２：テキスト解析結果記憶領域の先頭番地を記憶する
領域、４０３：音声波形データ記憶領域の先頭番地を記
憶する領域、４０４：音声波形データの韻律パラメータ
記憶領域の先頭番地を記憶する領域、Ｓ２０１〜Ｓ２０
３：基本周波数パタン計算のための文検索アルゴリズム
ステップ、Ｓ３０１〜Ｓ３０６：継続時間長計算のため
の文検索アルゴリズムステップ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤田 啓子 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 永松 健司 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 Ｆターム(参考） 5B091 CA02 CB32 CC01 CC02 CC15 5D045 AA07

Claims (9)

【特許請求の範囲】
1. 【請求項１】テキストデータに対応する韻律パラメータ
   を計算し、上記計算された韻律パラメータより合成波形
   を生成する音声合成装置における韻律制御方法におい
   て、 上記音声合成装置は、複数のテキストデータに対応して
   各テキストデータの人間の発話音声を記憶する音声コー
   パス部と、 上記入力テキストデータを文節の系列として出力する文
   節解析手段とを備え、 上記文節解析手段から出力された文節と上記音声コーパ
   ス部に記憶されたテキストデータとを順次比較し、上記
   文節の属性情報と比較して基準値以上の類似度を持つと
   判定される文節を含む文データを、上記音声コーパス部
   から選択し、 上記選択された文データより、基準値以上の類似度を持
   つと判定された文節に関する複数種の韻律パラメータを
   求め、 上記入力テキストデータを分割した文節の各々に対する
   韻律パラメータを計算することを特徴とする韻律制御方
   法。
2. 【請求項２】上記複数の韻律パラメータが、基本周波数
   の時系列と音韻継続長の系列とを含むことを特徴とする
   請求項１記載の韻律制御方法。
3. 【請求項３】上記入力テキストデータについて文節分割
   を行い、全文節の各々について、上記音声コーパス部に
   記憶されたテキストデータから、上記全文節の各々との
   属性情報の類似度が基準値以上の文節を含む文の集合を
   求め、 該文の集合中の全ての文節の韻律パラメータを整合させ
   ることにより上記入力テキストデータの韻律パラメータ
   を計算することを特徴とする請求項１記載の韻律制御方
   法。
4. 【請求項４】上記音声コーパス部が、テキストデータを
   分割した文節及び文節の属性を含むことを特徴とする請
   求項１、請求項３，及び、請求項４の何れかに記載の韻
   律制御方法。
5. 【請求項５】上記音声コーパス部が、個々の音声より抽
   出した韻律パラメータを複数含むことを特徴とする請求
   項１、請求項３，及び、請求項４の何れかに記載の韻律
   制御方法。
6. 【請求項６】上記文節の属性情報として、文節のモーラ
   数、文節のアクセント型、文節を構成する単語の品詞、
   文節の係り受け情報、１つ以上先行する文節に関する上
   記属性情報、１つ以上後続する文節に関する上記属性情
   報を含むことを特徴とする請求項１、請求項３，及び、
   請求項４の何れかに記載の韻律制御方法。
7. 【請求項７】入力テキストデータの各音韻に対する属性
   情報と、音声コーパス部のテキストデータにおける各音
   韻に対する属性情報との類似度が、ある基準値以上であ
   る音声コーパス部のテキストデータの各音韻長を使用す
   る請求項１あるいは請求項３記載の韻律制御方法。
8. 【請求項８】上記属性情報との比較において、全ての文
   節と上記類似度が、基準値よりも小である場合、規則に
   より入力テキストデータの複数種の韻律パラメータを計
   算することを特徴とする請求項１あるいは請求項３記載
   の韻律制御方法。
9. 【請求項９】上記テキストデータ及びテキストデータを
   解析したテキスト解析結果、上記音声波形データ及び音
   声波形データの韻律パラメータをそれぞれ符号化して上
   記音声コーパス部に記憶し、更に各々のデータの関連を
   示す情報を符号化して上記音声コーパス部に記憶するこ
   とにより、データ相互の検索を容易にすることを特徴と
   した請求項４あるいは請求項５記載の韻律制御方法。