JP2005539267A - 音声波形の連結を用いる音声合成 - Google Patents

Abstract

本発明は、少なくとも第１音声ユニット及び第２音声ユニットを有する音声信号の合成方法に関する。この方法は、エンドインターバルを有する第１音声ユニット信号を用意するステップと、フロントインターバルを有する第２音声ユニット信号を用意するステップと、第１音声ユニット信号の終わりにエンドインターバルの周期の少なくとも数個を逆順で付加してフェイドアウトインターバルを用意するステップと、第２音声ユニット信号の始まりにフロントインターバルの周期の少なくとも数個を逆順で付加してフェイドインインターバルを用意するステップと、エンド及びフェイドインインターバルとフェイドアウト及びフロントインターバルとを重畳するステップと、を備える。

Description

本発明は、音声又は音楽の合成の分野、より詳細には、それに限定されるものではないが、テキストを音声に変換し合成する分野に関する。

テキストを音声に変換し合成する、すなわちテキスト・ツー・スピーチ（ＴＴＳ）合成を行うシステムの機能は、与えられた言語の一般的なテキストから音声を合成することである。現在では、ＴＴＳシステムは、電話回線を介してデータベースにアクセスしたり障害者を手助けしたりするような多くの用途にとって実用期に入ってきている。音声を合成する一つの方法は、半音節（デミシラブル）又は多音節（ポリフォン）のような音声のサブユニットの記録セットのエレメントを連結することによるものである。成功している商業システムの大部分は多音節の連結を用いている。

多音節は、２つのグループ（２音節）、３つのグループ（３音節）、又はそれを超える音節を含み、無意味な言葉（ナンセンスワード）から安定スペクトル領域において音声の所望のグループ分けをセグメント化することによって決定されうる。連結に基づく合成においては、隣接する２音間の移行部の会話は合成された音声の品質を保証するのに非常に重要なものである。多音節を基本的なサブユニットとして選択することによって、隣接する２音間の移行部が記録用サブユニット内に保存され、その連結は類似音間で実行される。

しかしながら、そのような音節を含む新しい単語の韻律論上の連結を実行するために、合成の前に、音節はその時間幅及びピッチが調整されなければならない。この処理は合成音声の一本調子の響きの生成を避けるために必要なものである。ＴＴＳシステムでは、この機能は韻律モジュールによって実行される。記録用サブユニットにおける時間及びピッチの調整を可能とするために、連結に基づく多くのＴＴＳシステムが合成のタイムドメイン・ピッチ同期・重畳加え合わせ法（ＴＤ−ＰＳＯＬＡ）のモデルを用いる（E.Moulines and F.Charpentier“Pitch synchronous waveform processing techniques for text-to-speech synthesis using diphones,”Speech Commun., vol.9, pp.453-467, 1990）。

このＴＤ−ＰＳＯＬＡモデルでは、音声信号はまずピッチマーキングアルゴリズムに通される。このアルゴリズムは発声セグメント内の信号のピーク点にマークを割り当て、非発声セグメント内に１０ｍｓ離してマークを割り当てる。合成は、ピッチマークに中心を合わされたハニング（Hanning）ウインドウセグメントと、次のものへと先のピッチマークから延びるセグメントとの重畳によって作られる。時間幅の調整はウインドウセグメントの数個を削除または複写することによって行われる。他方、ピッチ周期の調整はウインドウセグメント間の重畳を増加又は減少することによって行われる。

しかしながら多くの商業的ＴＴＳシステムにおいて達成された成功にもかかわらず、合成のＴＤ−ＰＳＯＬＡモデルを用いることによって生成された合成音声には数個の欠点が存在する。それは主として大きな韻律論的な変化の問題である。

そのようなＰＳＯＬＡ法の例が、欧州特許第０３６３２３３号明細書、米国特許第５４７９５６４号明細書、及び欧州特許第０７０６１７０号明細書に開示されている。具体例は、T.Dutoit and H.Leich, “Speech Communications”, Elsevier Publisher, November 1993に開示されているＭＢＲ−ＰＳＯＬＡ法である。米国特許第５４７９５６４号明細書に開示されている方法は、基底周波数を、その信号から抽出された短期信号を重畳／加え合わせによって調整する手段を示唆している。短期信号を得るのに用いられる重み付けウインドウの長さは音響信号の周期の２倍にほぼ等しく、周期内のそれらの位置は任意の値にセットされうる（連続するウインドウ間の時間シフトが音響信号の周期に等しいとすれば）。米国特許第５４７９５６４号明細書は又、不連続性を平滑化するように、連結するセグメント間に波形補間を施す手段についても記載している。従来のテキスト／音声変換システムにおいては、予め記録された音声フラグメントのセットが特定の順序で連結され、ある一定のテキストを自然に響く音声に変換される。小さな音声フラグメントを用いるテキスト／音声変換システムは、そのような多くの連結点を持っている。特に複数の音声フラグメントがスペクトル的に異なる時は、それらの結合が人工音を生成し、それが明瞭性を低下させる。特に異なる記録時の２つの音声セグメントが連結される場合、結果として得られる音声は２つのセグメントの結合点に不連続性を生じることがある。例えば、母音が合成される場合、左部分は大抵右部分よりも異なる記録部から到来する。これは母音の正確な特色の再生を不可能にする。

フォルマント軌跡におけるわずかな相違が結合部における突然のジャンプを作り出す。この作用を減少させるために従来技術で主として行われているのは、音声フラグメントが残りの部分にマッチし、または差異を最少化するために異なるバージョン（余分なフラグメント）を加え合わせするまで、音声フラグメントを再記録することである。

したがって本発明の目的は、少なくとも第１二音節及び第２二音節を含む音声信号の改善された合成方法を提供することである。本発明のさらなる目的は、対応するコンピュータプログラムプロダクト及びコンピュータシステム、特にテキスト／音声変換システムを提供することである。

本発明は、結合点で重畳される第１二音節及び第２二音節信号に基づく音声信号の合成方法を提供するものである。本発明は、いかなる聴取可能な人工音をも伴うことなく二音節信号の円滑な連結を可能にするものである。これは、第１二音節信号の終わりに第１二音節信号のエンドインターバルの周期を逆順で付加し、さらに第２二音節信号の始まりに第２二音節信号のフロントインターバルの周期を付加することによって達成される。エンド及びフロントインターバルは円滑な移行部を生成するために重畳される。

本発明の一実施態様によれば、第１及び第２二音節信号のエンド及びフロントインターバルはマーカによって識別される。好ましくは、エンド及びフロントインターバルはほぼ一様な周期を含む。すなわち、ほぼ同じ情報内容及び信号形態を持つ周期を含む。このようなエンド及びフロントインターバルは専門家によって識別され、又は対応するコンピュータプログラム手段によって識別される。好ましくは、第１分析がコンピュータプログラム手段によって行われ、もしその結果が専門家によって再吟味されるならば、精度が一層向上する。

本発明のさらなる実施態様によれば、エンドインターバルの最後の周期及びフロントインターバルの最初の周期は付加されない。これは、周期性が隣接する２つの同一周期の繰り返しによる信号に導入されないという利点を持っている。

本発明のさらなる実施態様によれば、ウインドウイング動作がエンド及びフロントインターバル上と同様にそれぞれフェイドアウト及びフェイドインウインドウ手段によって、各付加周期上でも行われる。好ましくは、発声エンドインターバル及び付加周期のために持ち上げられたコサイン関数が用いられる。それに対して、非発声エンドインターバル及び付加周期のためにフェイドアウトウインドウとしてサインウインドウが用いられる。同様に、第２二音節の発声セグメントの始まりを円滑にするためのウインドウ関数として持ち上げられたコサイン関数が用いられ、又は非発声セグメントのためのウインドウ関数としてサイン関数が用いられる。

本発明の一実施態様によれば、時間幅調整は重畳されるべきインターバルに対して行われる。特にインターバルが異なる時間幅を持っている場合、これは突然の信号移行部の導入を避けるために利点となる。

本発明の他の実施態様によれば、テキスト／音声変換処理は本発明の原理により二音節どうしを連結することによって行われる。このようして自然に響く音声出力を生成することができる。

本発明は二音節どうしの連結に限定されることなく、三音節、それ以上の多音節、又は単語（ワード）のような他の音声ユニットの連結のためにも良好に用いることができる。

次に本発明の実施例について図面を参照して詳細に説明する。

図１は本発明の方法の好ましい実施例を示すフローチャートである。ステップ１００において、第１二音節信号Ａが用意される。この二音節信号Ａはその二音節信号Ａのエンドインターバルを識別する少なくとも１つのマーカを持っている。

ステップ１０２において、二音節信号Ａのエンドインターバル内の周期がそのエンドインターバルにおいて付加されるフェイドアウトインターバルを用意するために逆順で繰り返される。ステップ１０４において、付加されたフェイドアウトインターバルを有するエンドインターバルが、そのエンドにおける二音節信号を円滑にフェイドアウトするためにフェイドアウトウインドウ関数手段によってウインドウされる。同様に、二音節信号Ｂがステップ１０６において用意される。二音節信号Ｂはその二音節信号Ｂのフロントセグメントを識別するために少なくとも１つの関連するマーカを持っている。ステップ１０８において、少なくとも数個のフロントインターバル周期が二音節信号Ｂのフロントインターバルの始まりで逆順で付加される。このようにしてフェイドインインターバルが用意される。ステップ１１０において、フロントインターバル及び付加されたフェイドインインターバルがフェイドインウインドウ手段によってウインドウされる。このようにして二音節信号Ｂの円滑な始まりが用意される。ステップ１１２において、時間幅適応が行われる。これは、エンド及びフェイドインインターバルが同じ時間幅を持つように二音節信号Ａ及びＢのエンド及びフロントインターバルの時間幅が調整されることを意味する。同様に、フェイドアウト及びフロントインターバルが適応される。ステップ１１４において、二音節信号Ａ及びＢに対する、処理されたエンド及びフェイドインインターバルとフェイドアウト及びフロントインターバルとの重畳及び加え合わせ操作が行われる。このようにして、二音節信号Ａ及びＢの円滑な連結が達成される。発声セグメントに対しては、次の持ち上げコサインウインドウ関数の使用が好ましい。すなわち、
w[n]＝0.5−0.5・cos{(π・(n＋0.5))/m} ， ０≦ｎ＜ｍ
がそれである。ここで、ｍは平滑範囲内の周期の全数である。

非発声セグメントに対しては、サインウインドウ、
w[n]＝sin{(0.5・π・(n＋0.5))/m} ， ０≦ｎ＜ｍ
が用いられる。

サインウインドウを用いることの利点は、パワー域内の信号全体のエンベロープを一定に維持することを保証することにある。周期信号とは異なり、２つのノイズサンプルが加えられる時は、総合計を２つのサンプルのいずれの絶対値よりも小さいものとすることができる。これは、信号位相が（大抵）ずれているからである。サインウインドウはこの効果に対する調整を行い、エンベロープ変調を除去する。

図２は逆順で加え合わせするインターバル周期のプロセスを示すものである（図１のステップ１０２及び１０８参照）。時間軸２００は二音節信号Ａの時間ドメインを示すものである。二音節信号Ａは周期ｐ_１，ｐ_２，・・・，ｐ_ｉ，・・・，ｐ_Ｎ−１，ｐ_Ｎを含むエンドインターバル２０２を持っている。フェイドアウトインターバル２０４を用意するために、エンドインターバル２０２の周期ｐ_ｉがエンドインターバル２０２の終わりに逆順で付加される。意図しない周期性を導きかねない２つの同一周期の繰り返しを避けるために、エンドインターバル２０２の最後の周期ｐ_Ｎは付加されない。この周期性はある一定の状況下で聴取可能である。したがってエンドインターバル２０２の最後の周期ｐ_Ｎは繰り返さないのが好ましい。フェイドアウトインターバル２０４の最初の周期ｐ’_１が周期ｐ_Ｎ−１の信号をコピーすることによって用意される。一般に、フェイドアウトインターバル２０４の周期ｐ’_ｊはエンドインターバル２０２からの周期ｐ_Ｎ−ｊを付加することによって得られる。すなわちｐ’_ｊ＝ｐ_Ｎ−ｊである。時間軸２０６は二音節信号Ｂの時間推移を示すものである。二音節信号Ｂは周期Ｐ_１，Ｐ_２，・・・，Ｐ_ｉ，・・・，Ｐ_Ｎ−１，Ｐ_Ｎを含むフロントインターバル２０８を持っている。フロントインターバル２０８の始まりにフロントインターバル２０８からの周期を逆順で付加することによってフェイドインインターバル２１０が用意される。ここでも、意図しない周期性の導入を避けるために、フロントインターバル２０８の最初の周期ｐ_１は付加しないのが好ましい。一般的なケースでは、信号周期Ｐ’_ｊはフロントインターバル２０８の周期Ｐ_{Ｎ−Ｊ＋１}から得られる。すなわち、Ｐ’_ｊ＝Ｐ_{Ｎ−Ｊ＋１}である。二音節信号Ａ及び二音節信号Ｂを連結するために、インターバル２０２及びフェイドインインターバル２１０がそれぞれフェイドアウトインターバル２０４及びフロントインターバル２０８と重畳され、かつ加え合わされる。ここで考えられている例では、それは各インターバルの時間幅を適応させることなく行うことができる。その場合、エンドインターバル２０２及びフェイドインインターバル２１０の時間幅はそれぞれフェイドアウトインターバル２０４及びフロントインターバル２０８の時間幅と同一である。

図３は単語“young”に対する種々の合成ステップの例を示すものである。この単語は音素/j/，/V/，/N/及び沈黙/_/で作られている。図３の（ａ）及び（ｂ）は、/ｊ/ないし/Ｖ/及び/Ｖ/ないし/Ｎ/からの移行部を含む記録された無意味な単語である。各無意味な単語の中に５つのマーカが配置されている。外側のマーカは二音節境界（ラベルｊ−，−Ｖ，Ｖ−及び−Ｎ）である。中央のマーカは新たな音素がスタートする場所である（ラベルＶ、及びＮ）。他のラベルは重畳／加え合わせのために用いられるであろうセグメントをマークするために用いられる。図３の（ｃ）に示されているようにエンドインターバル３００の周期が逆順で繰り返されてフェイドアウトインターバル３０２が用意される。エンドインターバル３００内の周期が全てエンドインターバル３００の最後の周期である周期３０４の後に付加される。周期３０４自体は、意図しない周期性を導入する同じ周期の繰り返しを避けるために加え合わせされない。同様に図３の（ｂ）の二音節信号に対しては、フロントインターバル３０６内の周期がフロントインターバル３０６の始まりで逆順で付加される。これは、フロントインターバル３０６の始まりの最初の周期３１０を除く、フロントインターバル３０６内の周期の全てに対して適用される。この周期３１０が意図しない周期性を導入するであろう２つの連続する２つの同一周期を避けるためにここでも付加されることはない。同じ種類の処理が図（ａ）の二音節信号のフロントインターバル３１２、及び図（ｂ）の二音節信号のエンドインターバルに対して行われさらに同じアプローチが単語“young”の合成のために連結される必要のある、さらなる二音節に適用される。次にフロント、エンド、フェイドイン、及びフェイドアウトインターバルに対して平滑ウインドウが適用される。発声セグメントに対して、好ましくはウインドウ関数として持ち上げられたコサイン関数が用いられる。フェイドイン及びフロントインターバルに対して次のウインドウ関数、
w[n]＝0.5−0.5・cos{(π・(n＋0.5))/m} ， ０≦ｎ＜ｍ
が適用される。ここで、ｍは平滑範囲内の周期の全数である。対応する持ち上げられたコサイン関数が図（ｄ）に、持ち上げられたコサイン関数３１６として示されている。エンド及びフェイドアウトインターバル３００及び３０２に対しては、持ち上げられたコサイン関数３１８を提供するために、対応するウインドウ関数が用いられる。図（ｅ）に示されているように重畳され、加え合わせされるインターバル、すなわちインターバル３００／３０８及びインターバル３０２／３０６の時間幅は両者を同じ長さにするためにスケールが見直されている。要求される二音節の次の重畳が単語“young”の合成を提供する。

図４はコンピュータシステム４００のブロック図を示すものであり、それはテキスト／音声変換システムである。このコンピュータシステム４００は、二音節、並びにフロント及びエンドインターバルを示す二音節のためのマーカを保存するのに用いられるモジュール４０２を備えている。フェイドイン及びフェイドアウトインターバルを提供するためにエンド及びフロントインターバルに含まれる周期を逆順で繰り返すためにモジュール４０４が用いられる。平滑化の目的でエンド／フェイドアウト及びフェイドイン／フロントインターバルをウインドウイングするウインドウ関数を提供するためにモジュール４０６が用いられる。重畳されるインターバルの時間幅調整のためにモジュール４０８が用いられる。この時間幅の調整は、重畳されるインターバルが同じ長さでない場合に必要になるものである。必要とされる二音節を連結するために、エンド／フェイドイン及びフェイドアウト／フロントインターバルを重畳するためにモジュール４１０が用いられる。テキストがコンピュータ４００に入力される時、連結されるべき必要な二音節がモジュール４０２から選択される。これらの二音節はモジュール４０４，４０６及び４０８の手段によって処理され、その後、モジュール４１０の手段によって重畳され、加え合わされる。このようにして必要とする合成された音声信号が得られる。

本発明の方法の好ましい実施例のフローチャートである。 オリジナル二音節信号のエンド及びフロントにおける周期の挿入繰り返しの説明図である。 信号合成の一例を示す説明図である。 テキスト／音声変換システムの一実施例を示すブロック図である。

Claims (14)

1. 少なくとも第１音声ユニット及び第２音声ユニットを有する音声信号の合成方法であって、
   エンドインターバルを有する第１音声ユニット信号を用意するステップと、
   フロントインターバルを有する第２音声ユニット信号を用意するステップと、
   前記第１音声ユニット信号の終わりに前記エンドインターバルの周期の少なくとも数個を逆順で付加してフェイドアウトインターバルを用意するステップと、
   前記第２音声ユニット信号の始まりに前記フロントインターバルの周期の少なくとも数個を逆順で付加してフェイドインインターバルを用意するステップと、
   前記エンド及びフェイドインインターバルと前記フェイドアウト及びフロントインターバルとを重畳するステップと、
   を備える、音声信号の合成方法。
2. 前記エンド及びフロントインターバルがほぼ一定の周期を持っている、請求項１に記載の方法。
3. 前記エンド及びフロントインターバルがマーカによって識別される、請求項１又は２に記載の方法。
4. 前記エンドインターバルの最後の周期及び前記フロントインターバルの最初の周期は付加されない、請求項１ないし３のいずれか１項に記載の方法。
5. 前記エンド及びフェイドアウトインターバルの少なくとも一方をフェイドアウトウインドウでウインドウイングするステップをさらに備える、請求項１ないし４のいずれか１項に記載の方法。
6. 前記フェイドアウトウインドウとして持ち上げられたコサイン関数が用いられる、請求項５に記載の方法。
7. 発声インターバルに対し、ｍを平滑範囲内の周期の全数として、ウインドウ関数、
   w[n]＝0.5−0.5・cos{(π・(n＋0.5))/m} ， ０≦ｎ＜ｍ
   が用いられる、請求項６に記載の方法。
8. 非発声インターバルに対するフェイドアウトウインドウとしてサインウインドウが用いられる、請求項５に記載の方法。
9. ｍを平滑範囲内の周期の全数として、ウインドウ関数、
   w[n]＝sin{(0.5・π・(n＋0.5))/m} ， ０≦ｎ＜ｍ
   が用いられる、請求項８に記載の方法。
10. 前記第１及び第２音声が二音節、三音節、及びそれ以上の多音節の少なくとも１つ、特に単語である、請求項１ないし９のいずれか１項に記載の方法。
11. 前記エンド及びフェイドインインターバルと前記フェイドアウト及びフロントインターバルとを適応させるステップをさらに備える、請求項１ないし１０のいずれか１項に記載の方法。
12. 音声信号が重畳及び加え合わせ操作によって合成される、請求項１ないし１１のいずれか１項に記載の方法。
13. 少なくとも第１音声ユニット及び第２音声ユニットを有する音声信号を合成するためのプログラム手段を備えたコンピュータプログラムプロダクト、特にディジタル記憶メディアであって、
    エンドインターバルを有する第１音声ユニット信号を用意するステップと、
    フロントインターバルを有する第２音声ユニット信号を用意するステップと、
    前記第１音声ユニット信号の終わりに前記エンドインターバルの周期の少なくとも数個を逆順で付加してフェイドアウトインターバルを用意するステップと、
    前記第２音声ユニット信号の始まりに前記フロントインターバルの周期の少なくとも数個を逆順で付加してフェイドインインターバルを用意するステップと、
    前記エンド及びフェイドインインターバルと前記フェイドアウト及びフロントインターバルとを重畳するステップと、
    を実行するように構成されている、コンピュータプログラムプロダクト。
14. 少なくとも第１音声ユニット及び第２音声ユニットを有する音声信号を合成するためのコンピュータシステム、特にテキスト／音声変換システムであって、
    エンドインターバルを有する第１音声ユニット信号を保存する手段と、
    フロントインターバルを有する第２音声ユニット信号を保存する手段と、
    前記第１音声ユニット信号の終わりに前記エンドインターバルの周期の少なくとも数個を逆順で付加してフェイドアウトインターバルを用意する手段と、
    前記第２音声ユニット信号の始まりに前記フロントインターバルの周期の少なくとも数個を逆順で付加してフェイドインインターバルを用意する手段と、
    前記エンド及びフェイドインインターバルと前記フェイドアウト及びフロントインターバルとを重畳する手段と、
    を備えた、コンピュータシステム。

Images