JP2004117663A - 音声合成システム - Google Patents
音声合成システム Download PDFInfo
- Publication number
- JP2004117663A JP2004117663A JP2002279090A JP2002279090A JP2004117663A JP 2004117663 A JP2004117663 A JP 2004117663A JP 2002279090 A JP2002279090 A JP 2002279090A JP 2002279090 A JP2002279090 A JP 2002279090A JP 2004117663 A JP2004117663 A JP 2004117663A
- Authority
- JP
- Japan
- Prior art keywords
- representative
- attribute vector
- fundamental frequency
- generating
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】高品質の音声を合成することができる音声合成システムを提供すること。
【解決手段】複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを各素片に付与する属性ベクトル付与手段１１１と、複数の素片を用いて音声合成のための複数の代表素片を生成する代表素片生成手段１１３と、代表素片の生成に用いた素片に付与された複数の属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段と、代表素片を用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、代表属性ベクトルの中から目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段１２４と、取得された代表属性ベクトルに対応する素片を用いて音声を合成する合成手段１２６とを備えるよう構成した。
【選択図】 図１
【解決手段】複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを各素片に付与する属性ベクトル付与手段１１１と、複数の素片を用いて音声合成のための複数の代表素片を生成する代表素片生成手段１１３と、代表素片の生成に用いた素片に付与された複数の属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段と、代表素片を用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、代表属性ベクトルの中から目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段１２４と、取得された代表属性ベクトルに対応する素片を用いて音声を合成する合成手段１２６とを備えるよう構成した。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、音声を合成するための音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラムおよび音声合成プログラムに関する。
【０００２】
【従来の技術】
従来の音声合成システムは、一般に、アクセント句における声の高さの推移を示す複数の基本周波数パタンが音声コーパスと呼ばれるデータベースに母集合として予め登録され、音声合成する際には、入力されたテキストからアクセント句毎に韻律の目標属性を特定し、目標属性と比較して予め決められた基準値以上の近さの属性を持つ基本周波数パタンを音声コーパスから取得し、取得した基本周波数パタンを用いて音声を合成するようになっていた（例えば、特許文献１を参照）。
【０００３】
【特許文献１】
特開２０００−５６７８８号公報（第１−５頁、図１−８）
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の音声合成システムでは、韻律の目標属性と同じ属性または予め決められた基準値以上の近さの属性を持つ基本周波数パタンが音声コーパスに含まれていない場合があり、適切な基本周波数パタンを取得することができず、聴覚上ばらついた印象の音声が合成されてしまうという課題があった。
【０００５】
本発明はこのような課題を解決するためになされたもので、高品質の音声を合成することができる音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラムおよび音声合成プログラムを提供するものである。
【０００６】
【課題を解決するための手段】
本発明の音声合成システムは、複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを前記素片に付与する属性ベクトル付与手段と、複数の前記素片を用いて音声合成のための複数の代表素片を生成する代表素片生成手段と、前記代表素片の生成に用いた前記素片に付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段と、前記代表素片を用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段と、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段と、取得された前記代表属性ベクトルに対応する前記素片を用いて音声を合成する合成手段とを備える構成を有している。
【０００７】
この構成により、複数の属性の中で素片に影響を与えているものとそうでないものとの差が統計的に与えられた代表属性ベクトルに基づいて、目標属性に適合した適切な代表素片が音声合成に用いられることになり、高品質の音声を合成することができる。
【０００８】
本発明の音声合成システムは、前記属性ベクトル付与手段が、アクセント句における声の高さの推移を示す複数の基本周波数パタンのそれぞれに各基本周波数パタンの素性を示す複数の属性を有した属性ベクトルを付与し、前記代表素片生成手段が、複数の前記基本周波数パタンを用いて音声合成のための複数の代表基本周波数パタンを生成し、前記代表属性ベクトル生成手段が、前記代表基本周波数パタンの生成に用いた前記基本周波数パタンに付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成し、前記目標属性ベクトル生成手段が、前記代表基本周波数パタンを用いて音声を合成する際に目標となる複数の属性を有した目標属性ベクトルを生成し、前記代表属性ベクトル取得手段が、前記代表基本周波数パタンに関連する前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得し、前記合成手段が、取得された前記代表属性ベクトルに対応する前記代表基本周波数パタンを用いて音声を合成するようにした構成を有している。
【０００９】
この構成により、複数の属性の中で基本周波数パタンに影響を与えているものとそうでないものとの差が統計的に与えられた代表属性ベクトルに基づいて、目標属性に適合した適切な代表基本周波数パタンが音声合成に用いられることになり、高品質の音声を合成することができる。
【００１０】
本発明の音声合成システムは、前記代表素片生成手段が、特定の基本周波数パタンとの近さが一定値以内にある前記基本周波数パタンを用いて平均することにより前記代表基本周波数パタンを生成するようにした構成を有している。
【００１１】
この構成により、音声合成する際に暴れ成分が除去された安定した代表基本周波数パタンが音声合成に用いられることになり、ふらつきや暴れの少ない高品質の音声を合成することができる。
【００１２】
本発明の音声合成システムは、前記代表素片生成手段が、特定の基本周波数パタンから近い順で一定数までの前記基本周波数パタンを用いて平均することにより前記代表基本周波数パタンを生成するようにした構成を有している。
【００１３】
この構成により、似ている基本周波数パタンが少ない場合でも、一定数の基本周波数パタンを用いて平均化することで、基本周波数パタン形状の暴れを取り除くことができ、抑揚の安定した高品質の音声を合成することができる。
【００１４】
本発明の音声合成システムは、前記代表基本周波数パタンが、モーラ数およびアクセント型によって予め分類された構成を有している。
【００１５】
この構成により、モーラ数およびアクセント型の分類毎に適切な代表基本周波数パタンを用いることができることになり、高品質の音声を合成することができる。
【００１６】
本発明の音声合成システムは、前記代表属性ベクトル生成手段が、前記特定の基本周波数パタンとの近さに対応して各属性が重み付けされた前記属性ベクトルを用いて前記代表属性ベクトルを生成するようにした構成を有している。
【００１７】
この構成により、重要な属性が強く反映されるとともに、それほど重要でない属性が差し引かれ、音声合成する際に適切な代表基本周波数パタンが音声合成に用いられることになり、高品質の音声を合成することができる。
【００１８】
本発明の音声合成システムは、前記代表素片生成手段が生成した前記代表基本周波数パタンの中から一定数以上の前記基本周波数パタンを用いて生成されたものを選別する代表素片選別手段を備え、前記代表属性ベクトル取得手段が、選別された前記代表基本周波数パタンを取得するようにした構成を有している。
【００１９】
この構成により、出現頻度の少ない基本周波数パタンから生成された代表基本周波数パタンが削除されることになり、ふらつきや暴れの少ない高品質の音声を合成することができる。
【００２０】
本発明の音声合成システムは、前記代表属性ベクトル取得手段が、前記目標属性ベクトルと前記各代表属性ベクトルとの内積を算出して前記目標属性ベクトルと前記各代表属性ベクトルとの近さを判定するようにした構成を有している。
【００２１】
この構成により、複雑な距離計算より少ない演算量で代表基本周波数パタンを選択して高品質の音声を合成することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
図１は、本発明の一実施の形態の音声合成システムを示すブロック図である。
【００２３】
図１において、音声合成システムは、母集合を構成する複数の韻律素片および複数の音声波形素片（以下、「原素片」という）が記憶された音声コーパス１０１と、音声合成に用いる複数の韻律素片および複数の音声波形素片（以下、「代表素片」という）が記憶された音声合成辞書１０２と、音声コーパス１０１内の原素片から音声合成に用いる代表素片を生成して音声合成辞書１０２を構築する音声合成辞書構築装置１１０と、入力されたテキストに対応する音声を音声合成辞書１０２内の代表素片を用いて合成する音声合成装置１２０とを備える。
【００２４】
音声コーパス１０１には、アクセント句における声の高さの推移を示す基本周波数パタン（以下、単に「基本周波数パタン」という）、アクセント句の基本周波数の最大値、音素の継続時間長、音素毎の振幅パタン、その他の複数の韻律素片が原素片として記憶されている。また、音声コーパス１０１には、音声を構成する単位毎の波形を示す複数の音声波形素片が原素片として記憶されている。これらの韻律素片および音声波形素片は、一般に、大量の音声データを解析して得られる。
【００２５】
音声合成辞書構築装置１１０は、音声コーパス１０１内の各原素片の素性を示す複数の属性を有した属性ベクトルを音声コーパス１０１内の各原素片に付与する属性ベクトル付与手段１１１と、特定の原素片と予め決められた一定の近さ以内にある原素片を検索する素片検索手段１１２と、音声コーパス１０１内の原素片から代表素片を生成する代表素片生成手段１１３と、代表素片の素性を示す複数の属性を有した代表属性ベクトルを生成する代表属性ベクトル生成手段１１４と、代表素片生成手段１１３によって生成された代表素片の中から音声合成辞書１０２に登録する代表素片を選別する代表素片選別手段１１５と、代表素片選別手段１１５によって選別された代表素片と代表属性ベクトルとを関連付けて音声合成辞書１０２に登録する登録手段１１６とを備える。
【００２６】
音声合成装置１２０は、音声合成されるテキストが入力されるテキスト入力手段１２１と、テキスト入力手段１２１に入力されたテキストについて言語解析および意味解析を行う解析手段１２２と、解析手段１２２における解析結果に基づいて音声合成に用いる素片毎に目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、目標属性ベクトルと音声合成辞書１０２に登録された代表属性ベクトルとの近さを算出して代表属性ベクトルの中から目標属性ベクトルに最も近いものを音声合成辞書１０２から取得する代表属性ベクトル取得手段１２４と、取得された代表属性ベクトルに対応する代表素片を音声合成辞書１０２から取得する代表素片取得手段１２５と、代表素片取得手段１２５によって取得された代表素片を用いて音声を合成する合成手段１２６と、合成手段１２６によって合成された音声を出力する音声出力手段１２７とを備える。
【００２７】
ここで、「近さ」は、素片と素片、または、属性ベクトルと属性ベクトルについて、類似の度合いを示す評価値である。
【００２８】
以下、基本周波数パタンに関する各構成要素の機能を具体的に説明する。
【００２９】
音声合成辞書構築装置１１０の属性ベクトル付与手段１１１は、音声コーパス１０１内の各基本周波数パタンに、当該アクセント句のモーラ数、当該アクセント句のアクセント型、先行するポーズからの距離、後続するポーズからの距離、当該アクセント句に関わる文節の係り先または係り受けの種類、当該アクセント句に関わる文節の係り先または係り受けの距離、先行アクセント句のモーラ数、先行アクセント句のアクセント型、後続アクセント句のモーラ数、後続アクセント句のアクセント型、といった各基本周波数パタンの素性を表す複数の属性を有した属性ベクトルを付与するようになっている。なお、属性ベクトルの各要素には、注目する属性を有することを示す「１」、および、注目する属性を有しないことを示す「０」の何れかが与えられる。
【００３０】
音声合成辞書構築装置１１０の素片検索手段１１２は、音声コーパス１０１内の注目する特定の基本周波数パタン（以下、「注目基本周波数パタン」という）について、まず、モーラ数とアクセント型とが同一の他の基本周波数パタンを音声コーパス１０１内で検索し、次に、モーラ数とアクセント型とが同一の他の基本周波数パタンとの自乗誤差平均を計算して、自乗誤差平均が予め決められた閾値より小さい他の基本周波数パタンを選出する。
【００３１】
音声合成辞書構築装置１１０の代表素片生成手段１１３は、音声コーパス１０１内の複数の基本周波数パタンを平均することにより、代表基本周波数パタンを生成するようになっている。具体的には、注目する基本周波数パタン（以下、「注目基本周波数パタン」という）との近さが一定値以内にある複数の基本周波数パタン（注目基本周波数パタンを含む）を平均することにより代表基本周波数パタンを生成するようになっている。詳細には、モーラ毎にクラスタ内の基本周波数の総和をクラスタ内の基本周波数パタンの総数で割り、モーラ毎に平均された基本周波数を有する代表基本周波数パタンを得る。
【００３２】
なお、注目基本周波数パタンから近い順で一定数までの複数の基本周波数パタン（注目基本周波数パタンを含む）を平均することにより代表基本周波数パタンを生成するようにしてもよい。
【００３３】
音声合成辞書構築装置１１０の代表属性ベクトル生成手段１１４は、音声コーパス１０１内の複数の属性ベクトルを平均することにより、各代表基本周波数パタンに対応する代表属性ベクトルを生成するようになっている。具体的には、代表基本周波数パタンの生成に用いた基本周波数パタンに付与された複数の属性ベクトルについて、属性ベクトルの要素である属性毎にクラスタ内の属性値の総和をクラスタ内の属性ベクトルの総数で割り、要素毎に平均された属性値を有する代表属性ベクトルを得る。
【００３４】
なお、注目基本周波数パタンとの近さに対応して各属性が重み付けされた属性ベクトルを用いて代表属性ベクトルを生成するようにしてもよい。
【００３５】
なお、元となる複数の属性ベクトルは、前述したように注目する属性を有することを示す「１」および注目する属性を有しないことを示す「０」の何れかが予め各要素に与えられているので、これらの属性ベクトルを平均して得られた代表属性ベクトルの各要素は、クラスタ内における各属性の生起確率を示す。代表属性ベクトルは、クラスタがどのような属性の性質を強く持つかを示すため「特徴ベクトル」あるいは「説明ベクトル」ともいう。
【００３６】
音声合成辞書構築装置１１０の代表素片選別手段１１５は、代表素片生成手段１１３によって生成された代表基本周波数パタンの中から統計的に安定した代表基本周波数パタンを選択するようになっている。具体的には、代表属性ベクトル生成手段１１４が生成した代表基本周波数パタンの中から一定数以上の基本周波数パタンを用いて生成されたものを選別して、選別された代表基本周波数パタンを音声合成辞書１０２に登録する。
【００３７】
音声合成装置１２０の目標属性ベクトル生成手段１２３は、音声合成装置１２０の解析手段１２２における言語解析および意味解析の結果、アクセント句毎に、目標となる基本周波数パタンに関する複数の属性を有した目標属性ベクトルを生成するようになっている。
【００３８】
音声合成装置１２０の代表属性ベクトル取得手段１２４は、目標属性ベクトルと音声合成辞書１０２に登録された代表属性ベクトルとの内積を算出して代表属性ベクトルの中から内積が最も大きいものを取得する。ここで、内積は、目標属性ベクトルと同一のモーラ数および同一のアクセント型を示す属性を有した代表属性ベクトルを対象に算出するようになっている。
【００３９】
音声合成装置１２０の代表素片取得手段１２５は、代表属性ベクトルに対応する代表基本周波数パタンを音声合成辞書１０２から取得するようになっている。
【００４０】
音声合成装置１２０の合成手段１２６は、音声合成辞書１０２から取得された代表基本周波数パタンを用いて音声を合成するようになっている。
【００４１】
以下、本実施の形態の音声合成システムの動作について説明する。
【００４２】
まず、図２のフローチャートを用いて、音声合成辞書構築装置１１０の動作について説明する。
【００４３】
音声コーパス１０１には、単語辞書、構文情報、意味情報、文脈情報、韻律情報、話題に関する一般的知識、韻律素片および音声波形素片といった、音声データを解析するための情報と、大量の音声データを解析して得られた情報とが予め記憶されている。
【００４４】
なお、韻律素片の一種である複数の基本周波数パタンは、アクセント句単位に音声コーパス１０１に記憶されている。
【００４５】
このような音声コーパス１０１内の各基本周波数パタンに、属性ベクトル付与手段１１１によって、前述した音声コーパス１０１内の各種情報に基づいて、属性ベクトルが付与される（Ｓ２０１）。
【００４６】
属性ベクトルａｋは、数式１で定義される。
【数式１】
ただし、
ｋ＝１，…，Ｎ
ここで、識別番号ｋは、分類の対象となる基本周波数パタンを識別する番号である。また、要素δｋｉ は、識別番号ｋの基本周波数パタンが注目する属性を有することを示す「１」、および、注目する属性を有しないことを示す「０」の何れかの値が与えられる。なお、要素δｋｉは、通常、言語解析や意味解析の結果により値が与えられる。
【００４７】
次に、素片検索手段１１２によって、注目する基本周波数パタン（以下、「注目基本周波数パタン」という）毎に、注目基本周波数パタンとの類似の度合いを示す評価値（以下、「近さ」という）が一定値以内にある基本周波数パタンが音声コーパス１０１内で検索され、代表素片生成手段１１３によって、複数の基本周波数パタンが平均されることにより代表基本周波数パタンが生成される（Ｓ２０２）。ここでは「近さ」として自乗誤差平均を用いる。具体的には、音声コーパス１０１に記憶されている複数の基本周波数パタンについて、まず、当該アクセント句のモーラ数と当該アクセント句のアクセント型とが同一の基本周波数パタン同士を同じクラスタに分類し、次に、注目基本周波数パタン毎に同一クラスタ内の注目基本周波数パタンと他の基本周波数パタンとの自乗誤差平均を計算し、次に、注目基本周波数パタンとの自乗誤差平均が予め決められた閾値より小さい基本周波数パタン、すなわち注目基本周波数パタンに同一または類似と判定された基本周波数パタン（注目基本周波数パタンを含む）を平均して代表基本周波数パタンを生成する。
【００４８】
図４は、音声コーパス１０１に予め記憶された複数の基本周波数パタン４０１、４０２、４０３、４０４、４０５、４０６、４０７、４０８と、互いに類似すると判定された基本周波数パタン４０１、４０２、４０３と、代表基本周波数パタン４２０とを示す。図４において、第２の基本周波数パタン４０２を注目基本周波数パタンとしたとき、第２の基本周波数パタン４０２から予め決められた距離α以内にある第１の基本周波数パタン４０１と第３の基本周波数パタン４０３とが検索される。第１の基本周波数パタン４０１と第２の基本周波数パタン４０２と第３の基本周波数パタン４０３とについて、モーラ毎に基本周波数の総和を基本周波数パタンの総数「３」で割ることにより、代表基本周波数パタン４２０が得られる。このようにして得られた代表基本周波数パタン４２０は、例えば第２の基本周波数パタン４０２の代わりに、音声合成時に使用される。
【００４９】
なお、距離αを大きくすれば、より多くの基本周波数パタンを平均した代表基本周波数パタンが得られるが、距離αをあまり大きくすると、特徴がない代表基本周波数パタンとなってしまう。また、逆に距離αをあまり小さくすると、ほとんど平均化は行なわれず、ノイズを含んだままの代表基本周波数パタンが生成されてしまうことがある。したがって、距離αは、適正な値とする必要がある。また、アクセント型によって異なる距離にするとよい。一般に、距離αは、自乗平均誤差で０．１から０．２ｏｃｔａｖｅが適当である。
【００５０】
なお、注目基本周波数パタンから一定距離α以内にある基本周波数パタンを用いて平均する例について説明したが、注目基本周波数パタンから近い順で一定数までの複数の基本周波数パタン（注目基本周波数パタンを含む）を平均して代表基本周波数パタンを生成するようにしてもよい。
【００５１】
次に、代表属性ベクトル生成手段１１４によって、クラスタ毎にクラスタ内の属性ベクトルが平均されることにより代表属性ベクトルが生成される（Ｓ２０３）。
【００５２】
ここで、代表属性ベクトルｆｌは、数式２に示すように、クラスタＣｌ内の複数の属性ベクトルを平均化するとともに正規化して得られる。
【数式２】
ただし、
【数式３】
ｌ＝１，２，…，Ｌ
ここで、識別番号ｌは、クラスタを識別する番号である。また、要素ｓｉは、クラスタＣｌ内の各基本周波数パタンに付与された各属性ベクトルａｋの要素δｋｉ毎の総和である。また、正規化係数ｒｉは、代表属性ベクトルｆｌの要素を正規化するための係数であって、例えばクラスタＣｌ内の基本周波数パタンの総数である。このように正規化された代表属性ベクトルｆｌにおいて、正規化された要素（ｓｉ／ｒｉ）は、属性の生起確率を示す。
【００５３】
図５は、複数の基本周波数パタンにそれぞれ付与された複数の属性ベクトル５１１、５１２、５１３、５１４等と代表属性ベクトル５２０とを示す。なお、第１の属性５０１、第２の属性５０２、第３の属性５０３および第４の属性５０４は、先行するポーズからの距離を示す属性であって、それぞれ、１つ目であるか否か、２つ目であるか否か、３つ目であるか否か、４つ目以上であるか否かを示す。また、第５の属性５０５、第６の属性５０６、第７の属性５０７および第８の属性５０８は、係り先のアクセント句との距離を示す属性であって、それぞれ、１つ先であるか否か、２つ先であるか否か、３つ先であるか否か、４つ以上先であるか否かを示す。第１の属性ベクトル５１１、第２の属性ベクトル５１２、第３の属性ベクトル５１３、第４の属性ベクトル５１４、および、その他属性ベクトルを平均して正規化し代表属性ベクトル５２０が生成される。なお、代表属性ベクトル５２０において、第１の属性５０１の生起確率は「０」、第２の属性５０２の生起確率は「０．２」、第３の属性５０３の生起確率は「０．７」、第４の属性５０４の生起確率は「０．１」、第５の属性５０５の生起確率は「０．５」、第６の属性５０６の生起確率は「０．２」、第７の属性５０７の生起確率は「０．３」、第８の属性５０８の生起確率は「０」である。
【００５４】
なお、属性ベクトルの要素を単純に平均する例について説明したが、注目基本周波数パタンとの近さに応じて各属性が重み付けされた属性ベクトルを平均するようにしてもよい。
【００５５】
次に、代表素片選別手段１１５によって、生成された代表基本周波数パタンの中から音声合成辞書１０２に登録する代表基本周波数パタンが選別される（Ｓ２０４）。
【００５６】
図６は各代表基本周波数パタンが代表する領域６０１、６０２、６０３、６０４を示す。第１の領域６０１は、第１の領域６０１の中心の注目基本周波数パタン以外に基本周波数パタンがない。また、第２の領域６０２は、第２の領域６０２の中心の注目基本周波数パタンを含めて２つの基本周波数パタンがある。また、第３の領域６０３は、３つの基本周波数パタンがある。また、第４の領域６０４は、４つの基本周波数パタンがある。このような分布であったとき、基本周波数パタンが少ない領域、例えば第１の領域６０１については、代表基本周波数パタンは排除すると判定し、音声合成辞書１０２に登録しない。各領域内の基本周波数パタンの数Ｎｋが、全体の基本周波数パタンの数Ｎ×係数β以上であるとき、該当する領域の代表基本周波数パタンを音声合成辞書１０２に登録すると判定する。
【００５７】
次に、登録手段１１６によって、代表基本周波数パタンと代表属性ベクトルとが関連付けられて音声合成辞書１０２に登録される（Ｓ２０５）。なお、代表基本周波数パタンおよび代表属性ベクトルは、アクセント句のモーラ数とアクセント型とによって分類して登録される。
【００５８】
以下、図３のフローチャートを用いて、音声合成装置１２０の動作について説明する。
【００５９】
まず、テキスト入力手段１２１によって、音声合成するための日本語テキストが入力される（Ｓ３０１）。
【００６０】
次に、解析手段１２２によって、入力されたテキストについて言語解析および意味解析が行なわれる（Ｓ３０２）。具体的には、入力された日本語テキストを意味的な最小単位である形態素に分割する形態素分析、形態素の組み合せの文節単位を推定する文節解析、各文節間の係り受け関係を推定する係り受け解析、入力テキストの読みを推定する読み解析などが行われる。言語解析および意味解析の解析結果として、アクセント型、ポーズ情報、アクセント句位置情報、文節係り受け情報、その他の日本語テキストを音声として出力する際の素性を示す情報が出力される。
【００６１】
次に、目標属性ベクトル生成手段１２３によって、言語解析および意味解析の解析結果に基づいて、音声合成の素片について目標属性ベクトルが生成される（Ｓ３０３）。ここで、各アクセント句について目標属性ベクトルが生成される。
【００６２】
次に、代表属性ベクトル取得手段１２４によって、生成された目標属性ベクトルと音声合成辞書１０２に記憶された複数の代表属性ベクトルとについて近さが計算され、代表属性ベクトルの中から目標属性ベクトルに最も近いものが取得される（Ｓ３０４）。
【００６３】
なお、代表基本周波数パタンは、アクセント句のモーラ数とアクセント型とによって予め分類して登録されており、目標属性ベクトルと同じモーラ数およびアクセント型を有した代表属性ベクトルとについて近さが計算される。具体的には、数式４に示すように、目標属性ベクトルｇｊと各代表属性ベクトルｆｌとの内積ｐｌを計算し、数式５に示すように、内積ｐｌの総和で各内積ｐｌを正規化し、正規化して得られた内積ｗｌで、目標属性ベクトルｇｊと代表属性ベクトルｆｌとの近さが評価され、内積が大きい代表属性ベクトルが取得される。
【数式４】
ただし、
【数式５】
【００６４】
なお、代表属性ベクトルの検索には、内積を求める代わりに、ユークリッド距離、マハラノビス距離、その他の距離を計算してもよい。内積は、一般には、計算対象となる二つの属性ベクトルの中で「０」以外の要素を対象とした距離評価となるが、音声の場合、「０」であることも重要な情報を担う場合があるので、ユークリッド距離やマハラノビス距離により、「０」となる要素も距離に反映させるとよい。
【００６５】
次に、代表素片取得手段１２５によって、目標属性ベクトルに最も近い代表属性ベクトルに対応する代表素片が音声合成辞書１０２から取り出される（Ｓ３０５）。ここで、代表基本周波数パタンが音声合成辞書１０２から取り出される。また、代表基本周波数パタンとともに音声合成辞書１０２に記憶されていた、音素の継続時間長、音素の振幅パタン、その他の韻律素片、および、音声波形素片が、音声合成辞書１０２から取り出される。
【００６６】
次に、合成手段１２６によって、代表基本周波数パタンを用いて音声が合成され（Ｓ３０６）、音声出力手段１２７によって、合成音声が出力される（Ｓ３０７）。具体的には、必要な音声波形素片が、韻律素片に基づいて変形され、変形された音声波形素片が接続され、生成された合成音声が出力される。
【００６７】
なお、図２および図３に示した処理は、それぞれプログラムによってコンピュータに実行させるようにしてもよい。
【００６８】
以上説明したように、本実施の形態の音声合成システムは、アクセント句における声の高さの推移を示す複数の基本周波数パタンのそれぞれに各基本周波数パタンの素性を示す複数の属性を有した属性ベクトルを付与する属性ベクトル付与手段１１１と、複数の基本周波数パタンを用いて音声合成のための複数の代表基本周波数パタンを生成する代表素片生成手段１１３と、代表基本周波数パタンの生成に用いた基本周波数パタンに付与された複数の属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段１１４と、代表基本周波数パタンを用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、代表属性ベクトルの中から目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段１２４と、取得された代表属性ベクトルに対応する代表基本周波数パタンを用いて音声を合成する合成手段１２６とを備えるので、複数の属性の中で素片に影響を与えているものとそうでないものとの差が統計的に与えられた代表属性ベクトルに基づいて、目標属性に適合した適切な代表素片が音声合成に用いられることになり、高品質の音声を合成することができる。
【００６９】
なお、上記説明では、基本周波数パタンを例に述べたが、平均化した属性ベクトルを用いる手法は、音素の時間長、振幅パタン等の韻律素片をはじめ、音声波形素片、その他の素片に適用してもよい。
【００７０】
【発明の効果】
本発明によれば、高品質の音声を合成することができるという優れた効果を有する音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラムおよび音声合成プログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の音声合成システムを示すブロック図
【図２】本発明の一実施の形態の音声合成システムにおける音声合成辞書構築処理を示すフローチャート
【図３】本発明の一実施の形態の音声合成システムにおける音声合成処理を示すフローチャート
【図４】本発明の一実施の形態の音声合成システムにおける代表基本周波数パタンの生成を説明するための説明図
【図５】本発明の一実施の形態の音声合成システムにおける代表属性ベクトルの生成を説明するための説明図
【図６】本発明の一実施の形態の音声合成システムにおける基本周波数パタンの選別を説明するための説明図
【符号の説明】
１０１ 音声コーパス
１０２ 音声合成辞書
１１０ 音声合成辞書構築装置
１１１ 属性ベクトル付与手段
１１２ 素片検索手段
１１３ 代表素片生成手段
１１４ 代表属性ベクトル生成手段
１１５ 代表素片選別手段
１１６ 登録手段
１２０ 音声合成装置
１２１ テキスト入力手段
１２２ 解析手段
１２３ 目標属性ベクトル生成手段
１２４ 代表属性ベクトル取得手段
１２５ 代表素片取得手段
１２６ 合成手段
１２７ 音声出力手段
【発明の属する技術分野】
本発明は、音声を合成するための音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラムおよび音声合成プログラムに関する。
【０００２】
【従来の技術】
従来の音声合成システムは、一般に、アクセント句における声の高さの推移を示す複数の基本周波数パタンが音声コーパスと呼ばれるデータベースに母集合として予め登録され、音声合成する際には、入力されたテキストからアクセント句毎に韻律の目標属性を特定し、目標属性と比較して予め決められた基準値以上の近さの属性を持つ基本周波数パタンを音声コーパスから取得し、取得した基本周波数パタンを用いて音声を合成するようになっていた（例えば、特許文献１を参照）。
【０００３】
【特許文献１】
特開２０００−５６７８８号公報（第１−５頁、図１−８）
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の音声合成システムでは、韻律の目標属性と同じ属性または予め決められた基準値以上の近さの属性を持つ基本周波数パタンが音声コーパスに含まれていない場合があり、適切な基本周波数パタンを取得することができず、聴覚上ばらついた印象の音声が合成されてしまうという課題があった。
【０００５】
本発明はこのような課題を解決するためになされたもので、高品質の音声を合成することができる音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラムおよび音声合成プログラムを提供するものである。
【０００６】
【課題を解決するための手段】
本発明の音声合成システムは、複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを前記素片に付与する属性ベクトル付与手段と、複数の前記素片を用いて音声合成のための複数の代表素片を生成する代表素片生成手段と、前記代表素片の生成に用いた前記素片に付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段と、前記代表素片を用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段と、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段と、取得された前記代表属性ベクトルに対応する前記素片を用いて音声を合成する合成手段とを備える構成を有している。
【０００７】
この構成により、複数の属性の中で素片に影響を与えているものとそうでないものとの差が統計的に与えられた代表属性ベクトルに基づいて、目標属性に適合した適切な代表素片が音声合成に用いられることになり、高品質の音声を合成することができる。
【０００８】
本発明の音声合成システムは、前記属性ベクトル付与手段が、アクセント句における声の高さの推移を示す複数の基本周波数パタンのそれぞれに各基本周波数パタンの素性を示す複数の属性を有した属性ベクトルを付与し、前記代表素片生成手段が、複数の前記基本周波数パタンを用いて音声合成のための複数の代表基本周波数パタンを生成し、前記代表属性ベクトル生成手段が、前記代表基本周波数パタンの生成に用いた前記基本周波数パタンに付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成し、前記目標属性ベクトル生成手段が、前記代表基本周波数パタンを用いて音声を合成する際に目標となる複数の属性を有した目標属性ベクトルを生成し、前記代表属性ベクトル取得手段が、前記代表基本周波数パタンに関連する前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得し、前記合成手段が、取得された前記代表属性ベクトルに対応する前記代表基本周波数パタンを用いて音声を合成するようにした構成を有している。
【０００９】
この構成により、複数の属性の中で基本周波数パタンに影響を与えているものとそうでないものとの差が統計的に与えられた代表属性ベクトルに基づいて、目標属性に適合した適切な代表基本周波数パタンが音声合成に用いられることになり、高品質の音声を合成することができる。
【００１０】
本発明の音声合成システムは、前記代表素片生成手段が、特定の基本周波数パタンとの近さが一定値以内にある前記基本周波数パタンを用いて平均することにより前記代表基本周波数パタンを生成するようにした構成を有している。
【００１１】
この構成により、音声合成する際に暴れ成分が除去された安定した代表基本周波数パタンが音声合成に用いられることになり、ふらつきや暴れの少ない高品質の音声を合成することができる。
【００１２】
本発明の音声合成システムは、前記代表素片生成手段が、特定の基本周波数パタンから近い順で一定数までの前記基本周波数パタンを用いて平均することにより前記代表基本周波数パタンを生成するようにした構成を有している。
【００１３】
この構成により、似ている基本周波数パタンが少ない場合でも、一定数の基本周波数パタンを用いて平均化することで、基本周波数パタン形状の暴れを取り除くことができ、抑揚の安定した高品質の音声を合成することができる。
【００１４】
本発明の音声合成システムは、前記代表基本周波数パタンが、モーラ数およびアクセント型によって予め分類された構成を有している。
【００１５】
この構成により、モーラ数およびアクセント型の分類毎に適切な代表基本周波数パタンを用いることができることになり、高品質の音声を合成することができる。
【００１６】
本発明の音声合成システムは、前記代表属性ベクトル生成手段が、前記特定の基本周波数パタンとの近さに対応して各属性が重み付けされた前記属性ベクトルを用いて前記代表属性ベクトルを生成するようにした構成を有している。
【００１７】
この構成により、重要な属性が強く反映されるとともに、それほど重要でない属性が差し引かれ、音声合成する際に適切な代表基本周波数パタンが音声合成に用いられることになり、高品質の音声を合成することができる。
【００１８】
本発明の音声合成システムは、前記代表素片生成手段が生成した前記代表基本周波数パタンの中から一定数以上の前記基本周波数パタンを用いて生成されたものを選別する代表素片選別手段を備え、前記代表属性ベクトル取得手段が、選別された前記代表基本周波数パタンを取得するようにした構成を有している。
【００１９】
この構成により、出現頻度の少ない基本周波数パタンから生成された代表基本周波数パタンが削除されることになり、ふらつきや暴れの少ない高品質の音声を合成することができる。
【００２０】
本発明の音声合成システムは、前記代表属性ベクトル取得手段が、前記目標属性ベクトルと前記各代表属性ベクトルとの内積を算出して前記目標属性ベクトルと前記各代表属性ベクトルとの近さを判定するようにした構成を有している。
【００２１】
この構成により、複雑な距離計算より少ない演算量で代表基本周波数パタンを選択して高品質の音声を合成することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
図１は、本発明の一実施の形態の音声合成システムを示すブロック図である。
【００２３】
図１において、音声合成システムは、母集合を構成する複数の韻律素片および複数の音声波形素片（以下、「原素片」という）が記憶された音声コーパス１０１と、音声合成に用いる複数の韻律素片および複数の音声波形素片（以下、「代表素片」という）が記憶された音声合成辞書１０２と、音声コーパス１０１内の原素片から音声合成に用いる代表素片を生成して音声合成辞書１０２を構築する音声合成辞書構築装置１１０と、入力されたテキストに対応する音声を音声合成辞書１０２内の代表素片を用いて合成する音声合成装置１２０とを備える。
【００２４】
音声コーパス１０１には、アクセント句における声の高さの推移を示す基本周波数パタン（以下、単に「基本周波数パタン」という）、アクセント句の基本周波数の最大値、音素の継続時間長、音素毎の振幅パタン、その他の複数の韻律素片が原素片として記憶されている。また、音声コーパス１０１には、音声を構成する単位毎の波形を示す複数の音声波形素片が原素片として記憶されている。これらの韻律素片および音声波形素片は、一般に、大量の音声データを解析して得られる。
【００２５】
音声合成辞書構築装置１１０は、音声コーパス１０１内の各原素片の素性を示す複数の属性を有した属性ベクトルを音声コーパス１０１内の各原素片に付与する属性ベクトル付与手段１１１と、特定の原素片と予め決められた一定の近さ以内にある原素片を検索する素片検索手段１１２と、音声コーパス１０１内の原素片から代表素片を生成する代表素片生成手段１１３と、代表素片の素性を示す複数の属性を有した代表属性ベクトルを生成する代表属性ベクトル生成手段１１４と、代表素片生成手段１１３によって生成された代表素片の中から音声合成辞書１０２に登録する代表素片を選別する代表素片選別手段１１５と、代表素片選別手段１１５によって選別された代表素片と代表属性ベクトルとを関連付けて音声合成辞書１０２に登録する登録手段１１６とを備える。
【００２６】
音声合成装置１２０は、音声合成されるテキストが入力されるテキスト入力手段１２１と、テキスト入力手段１２１に入力されたテキストについて言語解析および意味解析を行う解析手段１２２と、解析手段１２２における解析結果に基づいて音声合成に用いる素片毎に目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、目標属性ベクトルと音声合成辞書１０２に登録された代表属性ベクトルとの近さを算出して代表属性ベクトルの中から目標属性ベクトルに最も近いものを音声合成辞書１０２から取得する代表属性ベクトル取得手段１２４と、取得された代表属性ベクトルに対応する代表素片を音声合成辞書１０２から取得する代表素片取得手段１２５と、代表素片取得手段１２５によって取得された代表素片を用いて音声を合成する合成手段１２６と、合成手段１２６によって合成された音声を出力する音声出力手段１２７とを備える。
【００２７】
ここで、「近さ」は、素片と素片、または、属性ベクトルと属性ベクトルについて、類似の度合いを示す評価値である。
【００２８】
以下、基本周波数パタンに関する各構成要素の機能を具体的に説明する。
【００２９】
音声合成辞書構築装置１１０の属性ベクトル付与手段１１１は、音声コーパス１０１内の各基本周波数パタンに、当該アクセント句のモーラ数、当該アクセント句のアクセント型、先行するポーズからの距離、後続するポーズからの距離、当該アクセント句に関わる文節の係り先または係り受けの種類、当該アクセント句に関わる文節の係り先または係り受けの距離、先行アクセント句のモーラ数、先行アクセント句のアクセント型、後続アクセント句のモーラ数、後続アクセント句のアクセント型、といった各基本周波数パタンの素性を表す複数の属性を有した属性ベクトルを付与するようになっている。なお、属性ベクトルの各要素には、注目する属性を有することを示す「１」、および、注目する属性を有しないことを示す「０」の何れかが与えられる。
【００３０】
音声合成辞書構築装置１１０の素片検索手段１１２は、音声コーパス１０１内の注目する特定の基本周波数パタン（以下、「注目基本周波数パタン」という）について、まず、モーラ数とアクセント型とが同一の他の基本周波数パタンを音声コーパス１０１内で検索し、次に、モーラ数とアクセント型とが同一の他の基本周波数パタンとの自乗誤差平均を計算して、自乗誤差平均が予め決められた閾値より小さい他の基本周波数パタンを選出する。
【００３１】
音声合成辞書構築装置１１０の代表素片生成手段１１３は、音声コーパス１０１内の複数の基本周波数パタンを平均することにより、代表基本周波数パタンを生成するようになっている。具体的には、注目する基本周波数パタン（以下、「注目基本周波数パタン」という）との近さが一定値以内にある複数の基本周波数パタン（注目基本周波数パタンを含む）を平均することにより代表基本周波数パタンを生成するようになっている。詳細には、モーラ毎にクラスタ内の基本周波数の総和をクラスタ内の基本周波数パタンの総数で割り、モーラ毎に平均された基本周波数を有する代表基本周波数パタンを得る。
【００３２】
なお、注目基本周波数パタンから近い順で一定数までの複数の基本周波数パタン（注目基本周波数パタンを含む）を平均することにより代表基本周波数パタンを生成するようにしてもよい。
【００３３】
音声合成辞書構築装置１１０の代表属性ベクトル生成手段１１４は、音声コーパス１０１内の複数の属性ベクトルを平均することにより、各代表基本周波数パタンに対応する代表属性ベクトルを生成するようになっている。具体的には、代表基本周波数パタンの生成に用いた基本周波数パタンに付与された複数の属性ベクトルについて、属性ベクトルの要素である属性毎にクラスタ内の属性値の総和をクラスタ内の属性ベクトルの総数で割り、要素毎に平均された属性値を有する代表属性ベクトルを得る。
【００３４】
なお、注目基本周波数パタンとの近さに対応して各属性が重み付けされた属性ベクトルを用いて代表属性ベクトルを生成するようにしてもよい。
【００３５】
なお、元となる複数の属性ベクトルは、前述したように注目する属性を有することを示す「１」および注目する属性を有しないことを示す「０」の何れかが予め各要素に与えられているので、これらの属性ベクトルを平均して得られた代表属性ベクトルの各要素は、クラスタ内における各属性の生起確率を示す。代表属性ベクトルは、クラスタがどのような属性の性質を強く持つかを示すため「特徴ベクトル」あるいは「説明ベクトル」ともいう。
【００３６】
音声合成辞書構築装置１１０の代表素片選別手段１１５は、代表素片生成手段１１３によって生成された代表基本周波数パタンの中から統計的に安定した代表基本周波数パタンを選択するようになっている。具体的には、代表属性ベクトル生成手段１１４が生成した代表基本周波数パタンの中から一定数以上の基本周波数パタンを用いて生成されたものを選別して、選別された代表基本周波数パタンを音声合成辞書１０２に登録する。
【００３７】
音声合成装置１２０の目標属性ベクトル生成手段１２３は、音声合成装置１２０の解析手段１２２における言語解析および意味解析の結果、アクセント句毎に、目標となる基本周波数パタンに関する複数の属性を有した目標属性ベクトルを生成するようになっている。
【００３８】
音声合成装置１２０の代表属性ベクトル取得手段１２４は、目標属性ベクトルと音声合成辞書１０２に登録された代表属性ベクトルとの内積を算出して代表属性ベクトルの中から内積が最も大きいものを取得する。ここで、内積は、目標属性ベクトルと同一のモーラ数および同一のアクセント型を示す属性を有した代表属性ベクトルを対象に算出するようになっている。
【００３９】
音声合成装置１２０の代表素片取得手段１２５は、代表属性ベクトルに対応する代表基本周波数パタンを音声合成辞書１０２から取得するようになっている。
【００４０】
音声合成装置１２０の合成手段１２６は、音声合成辞書１０２から取得された代表基本周波数パタンを用いて音声を合成するようになっている。
【００４１】
以下、本実施の形態の音声合成システムの動作について説明する。
【００４２】
まず、図２のフローチャートを用いて、音声合成辞書構築装置１１０の動作について説明する。
【００４３】
音声コーパス１０１には、単語辞書、構文情報、意味情報、文脈情報、韻律情報、話題に関する一般的知識、韻律素片および音声波形素片といった、音声データを解析するための情報と、大量の音声データを解析して得られた情報とが予め記憶されている。
【００４４】
なお、韻律素片の一種である複数の基本周波数パタンは、アクセント句単位に音声コーパス１０１に記憶されている。
【００４５】
このような音声コーパス１０１内の各基本周波数パタンに、属性ベクトル付与手段１１１によって、前述した音声コーパス１０１内の各種情報に基づいて、属性ベクトルが付与される（Ｓ２０１）。
【００４６】
属性ベクトルａｋは、数式１で定義される。
【数式１】
ｋ＝１，…，Ｎ
ここで、識別番号ｋは、分類の対象となる基本周波数パタンを識別する番号である。また、要素δｋｉ は、識別番号ｋの基本周波数パタンが注目する属性を有することを示す「１」、および、注目する属性を有しないことを示す「０」の何れかの値が与えられる。なお、要素δｋｉは、通常、言語解析や意味解析の結果により値が与えられる。
【００４７】
次に、素片検索手段１１２によって、注目する基本周波数パタン（以下、「注目基本周波数パタン」という）毎に、注目基本周波数パタンとの類似の度合いを示す評価値（以下、「近さ」という）が一定値以内にある基本周波数パタンが音声コーパス１０１内で検索され、代表素片生成手段１１３によって、複数の基本周波数パタンが平均されることにより代表基本周波数パタンが生成される（Ｓ２０２）。ここでは「近さ」として自乗誤差平均を用いる。具体的には、音声コーパス１０１に記憶されている複数の基本周波数パタンについて、まず、当該アクセント句のモーラ数と当該アクセント句のアクセント型とが同一の基本周波数パタン同士を同じクラスタに分類し、次に、注目基本周波数パタン毎に同一クラスタ内の注目基本周波数パタンと他の基本周波数パタンとの自乗誤差平均を計算し、次に、注目基本周波数パタンとの自乗誤差平均が予め決められた閾値より小さい基本周波数パタン、すなわち注目基本周波数パタンに同一または類似と判定された基本周波数パタン（注目基本周波数パタンを含む）を平均して代表基本周波数パタンを生成する。
【００４８】
図４は、音声コーパス１０１に予め記憶された複数の基本周波数パタン４０１、４０２、４０３、４０４、４０５、４０６、４０７、４０８と、互いに類似すると判定された基本周波数パタン４０１、４０２、４０３と、代表基本周波数パタン４２０とを示す。図４において、第２の基本周波数パタン４０２を注目基本周波数パタンとしたとき、第２の基本周波数パタン４０２から予め決められた距離α以内にある第１の基本周波数パタン４０１と第３の基本周波数パタン４０３とが検索される。第１の基本周波数パタン４０１と第２の基本周波数パタン４０２と第３の基本周波数パタン４０３とについて、モーラ毎に基本周波数の総和を基本周波数パタンの総数「３」で割ることにより、代表基本周波数パタン４２０が得られる。このようにして得られた代表基本周波数パタン４２０は、例えば第２の基本周波数パタン４０２の代わりに、音声合成時に使用される。
【００４９】
なお、距離αを大きくすれば、より多くの基本周波数パタンを平均した代表基本周波数パタンが得られるが、距離αをあまり大きくすると、特徴がない代表基本周波数パタンとなってしまう。また、逆に距離αをあまり小さくすると、ほとんど平均化は行なわれず、ノイズを含んだままの代表基本周波数パタンが生成されてしまうことがある。したがって、距離αは、適正な値とする必要がある。また、アクセント型によって異なる距離にするとよい。一般に、距離αは、自乗平均誤差で０．１から０．２ｏｃｔａｖｅが適当である。
【００５０】
なお、注目基本周波数パタンから一定距離α以内にある基本周波数パタンを用いて平均する例について説明したが、注目基本周波数パタンから近い順で一定数までの複数の基本周波数パタン（注目基本周波数パタンを含む）を平均して代表基本周波数パタンを生成するようにしてもよい。
【００５１】
次に、代表属性ベクトル生成手段１１４によって、クラスタ毎にクラスタ内の属性ベクトルが平均されることにより代表属性ベクトルが生成される（Ｓ２０３）。
【００５２】
ここで、代表属性ベクトルｆｌは、数式２に示すように、クラスタＣｌ内の複数の属性ベクトルを平均化するとともに正規化して得られる。
【数式２】
【数式３】
ここで、識別番号ｌは、クラスタを識別する番号である。また、要素ｓｉは、クラスタＣｌ内の各基本周波数パタンに付与された各属性ベクトルａｋの要素δｋｉ毎の総和である。また、正規化係数ｒｉは、代表属性ベクトルｆｌの要素を正規化するための係数であって、例えばクラスタＣｌ内の基本周波数パタンの総数である。このように正規化された代表属性ベクトルｆｌにおいて、正規化された要素（ｓｉ／ｒｉ）は、属性の生起確率を示す。
【００５３】
図５は、複数の基本周波数パタンにそれぞれ付与された複数の属性ベクトル５１１、５１２、５１３、５１４等と代表属性ベクトル５２０とを示す。なお、第１の属性５０１、第２の属性５０２、第３の属性５０３および第４の属性５０４は、先行するポーズからの距離を示す属性であって、それぞれ、１つ目であるか否か、２つ目であるか否か、３つ目であるか否か、４つ目以上であるか否かを示す。また、第５の属性５０５、第６の属性５０６、第７の属性５０７および第８の属性５０８は、係り先のアクセント句との距離を示す属性であって、それぞれ、１つ先であるか否か、２つ先であるか否か、３つ先であるか否か、４つ以上先であるか否かを示す。第１の属性ベクトル５１１、第２の属性ベクトル５１２、第３の属性ベクトル５１３、第４の属性ベクトル５１４、および、その他属性ベクトルを平均して正規化し代表属性ベクトル５２０が生成される。なお、代表属性ベクトル５２０において、第１の属性５０１の生起確率は「０」、第２の属性５０２の生起確率は「０．２」、第３の属性５０３の生起確率は「０．７」、第４の属性５０４の生起確率は「０．１」、第５の属性５０５の生起確率は「０．５」、第６の属性５０６の生起確率は「０．２」、第７の属性５０７の生起確率は「０．３」、第８の属性５０８の生起確率は「０」である。
【００５４】
なお、属性ベクトルの要素を単純に平均する例について説明したが、注目基本周波数パタンとの近さに応じて各属性が重み付けされた属性ベクトルを平均するようにしてもよい。
【００５５】
次に、代表素片選別手段１１５によって、生成された代表基本周波数パタンの中から音声合成辞書１０２に登録する代表基本周波数パタンが選別される（Ｓ２０４）。
【００５６】
図６は各代表基本周波数パタンが代表する領域６０１、６０２、６０３、６０４を示す。第１の領域６０１は、第１の領域６０１の中心の注目基本周波数パタン以外に基本周波数パタンがない。また、第２の領域６０２は、第２の領域６０２の中心の注目基本周波数パタンを含めて２つの基本周波数パタンがある。また、第３の領域６０３は、３つの基本周波数パタンがある。また、第４の領域６０４は、４つの基本周波数パタンがある。このような分布であったとき、基本周波数パタンが少ない領域、例えば第１の領域６０１については、代表基本周波数パタンは排除すると判定し、音声合成辞書１０２に登録しない。各領域内の基本周波数パタンの数Ｎｋが、全体の基本周波数パタンの数Ｎ×係数β以上であるとき、該当する領域の代表基本周波数パタンを音声合成辞書１０２に登録すると判定する。
【００５７】
次に、登録手段１１６によって、代表基本周波数パタンと代表属性ベクトルとが関連付けられて音声合成辞書１０２に登録される（Ｓ２０５）。なお、代表基本周波数パタンおよび代表属性ベクトルは、アクセント句のモーラ数とアクセント型とによって分類して登録される。
【００５８】
以下、図３のフローチャートを用いて、音声合成装置１２０の動作について説明する。
【００５９】
まず、テキスト入力手段１２１によって、音声合成するための日本語テキストが入力される（Ｓ３０１）。
【００６０】
次に、解析手段１２２によって、入力されたテキストについて言語解析および意味解析が行なわれる（Ｓ３０２）。具体的には、入力された日本語テキストを意味的な最小単位である形態素に分割する形態素分析、形態素の組み合せの文節単位を推定する文節解析、各文節間の係り受け関係を推定する係り受け解析、入力テキストの読みを推定する読み解析などが行われる。言語解析および意味解析の解析結果として、アクセント型、ポーズ情報、アクセント句位置情報、文節係り受け情報、その他の日本語テキストを音声として出力する際の素性を示す情報が出力される。
【００６１】
次に、目標属性ベクトル生成手段１２３によって、言語解析および意味解析の解析結果に基づいて、音声合成の素片について目標属性ベクトルが生成される（Ｓ３０３）。ここで、各アクセント句について目標属性ベクトルが生成される。
【００６２】
次に、代表属性ベクトル取得手段１２４によって、生成された目標属性ベクトルと音声合成辞書１０２に記憶された複数の代表属性ベクトルとについて近さが計算され、代表属性ベクトルの中から目標属性ベクトルに最も近いものが取得される（Ｓ３０４）。
【００６３】
なお、代表基本周波数パタンは、アクセント句のモーラ数とアクセント型とによって予め分類して登録されており、目標属性ベクトルと同じモーラ数およびアクセント型を有した代表属性ベクトルとについて近さが計算される。具体的には、数式４に示すように、目標属性ベクトルｇｊと各代表属性ベクトルｆｌとの内積ｐｌを計算し、数式５に示すように、内積ｐｌの総和で各内積ｐｌを正規化し、正規化して得られた内積ｗｌで、目標属性ベクトルｇｊと代表属性ベクトルｆｌとの近さが評価され、内積が大きい代表属性ベクトルが取得される。
【数式４】
【数式５】
なお、代表属性ベクトルの検索には、内積を求める代わりに、ユークリッド距離、マハラノビス距離、その他の距離を計算してもよい。内積は、一般には、計算対象となる二つの属性ベクトルの中で「０」以外の要素を対象とした距離評価となるが、音声の場合、「０」であることも重要な情報を担う場合があるので、ユークリッド距離やマハラノビス距離により、「０」となる要素も距離に反映させるとよい。
【００６５】
次に、代表素片取得手段１２５によって、目標属性ベクトルに最も近い代表属性ベクトルに対応する代表素片が音声合成辞書１０２から取り出される（Ｓ３０５）。ここで、代表基本周波数パタンが音声合成辞書１０２から取り出される。また、代表基本周波数パタンとともに音声合成辞書１０２に記憶されていた、音素の継続時間長、音素の振幅パタン、その他の韻律素片、および、音声波形素片が、音声合成辞書１０２から取り出される。
【００６６】
次に、合成手段１２６によって、代表基本周波数パタンを用いて音声が合成され（Ｓ３０６）、音声出力手段１２７によって、合成音声が出力される（Ｓ３０７）。具体的には、必要な音声波形素片が、韻律素片に基づいて変形され、変形された音声波形素片が接続され、生成された合成音声が出力される。
【００６７】
なお、図２および図３に示した処理は、それぞれプログラムによってコンピュータに実行させるようにしてもよい。
【００６８】
以上説明したように、本実施の形態の音声合成システムは、アクセント句における声の高さの推移を示す複数の基本周波数パタンのそれぞれに各基本周波数パタンの素性を示す複数の属性を有した属性ベクトルを付与する属性ベクトル付与手段１１１と、複数の基本周波数パタンを用いて音声合成のための複数の代表基本周波数パタンを生成する代表素片生成手段１１３と、代表基本周波数パタンの生成に用いた基本周波数パタンに付与された複数の属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段１１４と、代表基本周波数パタンを用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、代表属性ベクトルの中から目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段１２４と、取得された代表属性ベクトルに対応する代表基本周波数パタンを用いて音声を合成する合成手段１２６とを備えるので、複数の属性の中で素片に影響を与えているものとそうでないものとの差が統計的に与えられた代表属性ベクトルに基づいて、目標属性に適合した適切な代表素片が音声合成に用いられることになり、高品質の音声を合成することができる。
【００６９】
なお、上記説明では、基本周波数パタンを例に述べたが、平均化した属性ベクトルを用いる手法は、音素の時間長、振幅パタン等の韻律素片をはじめ、音声波形素片、その他の素片に適用してもよい。
【００７０】
【発明の効果】
本発明によれば、高品質の音声を合成することができるという優れた効果を有する音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラムおよび音声合成プログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の音声合成システムを示すブロック図
【図２】本発明の一実施の形態の音声合成システムにおける音声合成辞書構築処理を示すフローチャート
【図３】本発明の一実施の形態の音声合成システムにおける音声合成処理を示すフローチャート
【図４】本発明の一実施の形態の音声合成システムにおける代表基本周波数パタンの生成を説明するための説明図
【図５】本発明の一実施の形態の音声合成システムにおける代表属性ベクトルの生成を説明するための説明図
【図６】本発明の一実施の形態の音声合成システムにおける基本周波数パタンの選別を説明するための説明図
【符号の説明】
１０１ 音声コーパス
１０２ 音声合成辞書
１１０ 音声合成辞書構築装置
１１１ 属性ベクトル付与手段
１１２ 素片検索手段
１１３ 代表素片生成手段
１１４ 代表属性ベクトル生成手段
１１５ 代表素片選別手段
１１６ 登録手段
１２０ 音声合成装置
１２１ テキスト入力手段
１２２ 解析手段
１２３ 目標属性ベクトル生成手段
１２４ 代表属性ベクトル取得手段
１２５ 代表素片取得手段
１２６ 合成手段
１２７ 音声出力手段
Claims (14)
- 複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを前記素片に付与する属性ベクトル付与手段と、複数の前記素片を用いて音声合成のための複数の代表素片を生成する代表素片生成手段と、前記代表素片の生成に用いた前記素片に付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段と、前記代表素片を用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段と、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段と、取得された前記代表属性ベクトルに対応する前記素片を用いて音声を合成する合成手段とを備えることを特徴とする音声合成システム。
- 前記属性ベクトル付与手段が、アクセント句における声の高さの推移を示す複数の基本周波数パタンのそれぞれに各基本周波数パタンの素性を示す複数の属性を有した属性ベクトルを付与し、前記代表素片生成手段が、複数の前記基本周波数パタンを用いて音声合成のための複数の代表基本周波数パタンを生成し、前記代表属性ベクトル生成手段が、前記代表基本周波数パタンの生成に用いた前記基本周波数パタンに付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成し、前記目標属性ベクトル生成手段が、前記代表基本周波数パタンを用いて音声を合成する際に目標となる複数の属性を有した目標属性ベクトルを生成し、前記代表属性ベクトル取得手段が、前記代表基本周波数パタンに関連する前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得し、前記合成手段が、取得された前記代表属性ベクトルに対応する前記代表基本周波数パタンを用いて音声を合成するようにしたことを特徴とする請求項１に記載の音声合成システム。
- 前記代表素片生成手段が、特定の基本周波数パタンとの近さが一定値以内にある前記基本周波数パタンを用いて平均することにより前記代表基本周波数パタンを生成するようにしたことを特徴とする請求項２に記載の音声合成システム。
- 前記代表素片生成手段が、特定の基本周波数パタンから近い順で一定数までの前記基本周波数パタンを用いて平均することにより前記代表基本周波数パタンを生成するようにしたことを特徴とする請求項２または請求項３に記載の音声合成システム。
- 前記代表基本周波数パタンが、モーラ数およびアクセント型によって予め分類されたことを特徴とする請求項２ないし請求項４の何れかに記載の音声合成システム。
- 前記代表属性ベクトル生成手段が、前記特定の基本周波数パタンとの近さに対応して各属性が重み付けされた前記属性ベクトルを用いて前記代表属性ベクトルを生成するようにしたことを特徴とする請求項２ないし請求項５の何れかに記載の音声合成システム。
- 前記代表素片生成手段が生成した前記代表基本周波数パタンの中から一定数以上の前記基本周波数パタンを用いて生成されたものを選別する代表素片選別手段を備え、前記代表属性ベクトル取得手段が、選別された前記代表基本周波数パタンを取得するようにしたことを特徴とする請求項２ないし請求項６の何れかに記載の音声合成システム。
- 前記代表属性ベクトル取得手段が、前記目標属性ベクトルと前記各代表属性ベクトルとの内積を算出して前記目標属性ベクトルと前記各代表属性ベクトルとの近さを判定するようにしたことを特徴とする請求項２ないし請求項７の何れかに記載の音声合成システム。
- 複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを前記素片に付与する属性ベクトル付与手段と、複数の前記素片を用いて音声合成のための複数の代表素片を生成する代表素片生成手段と、前記代表素片の生成に用いた前記素片に付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成する代表属性ベクトル生成手段とを備え、音声合成に用いる前記代表素片と前記代表属性ベクトルとを含む音声合成辞書を構築するようにしたことを特徴とする音声合成辞書構築装置。
- 請求項９に記載の音声合成辞書構築装置によって構築された前記音声合成辞書が含む前記代表素片を用いて音声を合成する音声合成装置であって、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段と、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得する代表属性ベクトル取得手段と、取得された前記代表属性ベクトルに対応する前記素片を用いて音声を合成する合成手段とを備えることを特徴とする音声合成装置。
- 複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを前記素片に付与するステップと、複数の前記素片を用いて音声合成のための複数の代表素片を生成するステップと、前記代表素片の生成に用いた前記素片に付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成するステップと、前記代表素片を用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成するステップと、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得するステップと、取得された前記代表属性ベクトルに対応する前記素片を用いて音声を合成するステップとを含むことを特徴とする音声合成方法。
- アクセント句における声の高さの推移を示す複数の基本周波数パタンのそれぞれに各基本周波数パタンの素性を示す複数の属性を有した属性ベクトルを付与するステップと、複数の前記基本周波数パタンを用いて音声合成のための複数の代表基本周波数パタンを生成するステップと、前記代表基本周波数パタンの生成に用いた前記基本周波数パタンに付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成するステップと、前記代表基本周波数パタンを用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成するステップと、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得するステップと、取得された前記代表属性ベクトルに対応する前記代表基本周波数パタンを用いて音声を合成するステップとを含むことを特徴とする音声合成方法。
- 複数の韻律素片および複数の音声波形素片を含む母集合における各々の素片に関する複数の属性を有した属性ベクトルを前記素片に付与するステップと、複数の前記素片を用いて音声合成のための複数の代表素片を生成するステップと、前記代表素片の生成に用いた前記素片に付与された複数の前記属性ベクトルを平均して代表属性ベクトルを生成するステップと、前記代表素片と前記代表属性ベクトルとを音声合成辞書に登録するステップとをコンピュータに実行させることを特徴とする音声合成辞書構築プログラム。
- 請求項１３に記載の音声合成辞書構築プログラムによって構築された前記音声合成辞書が含む前記代表素片を用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成するステップと、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを取得するステップと、取得された前記代表属性ベクトルに対応する前記素片を用いて音声を合成するステップとをコンピュータに実行させることを特徴とする音声合成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002279090A JP2004117663A (ja) | 2002-09-25 | 2002-09-25 | 音声合成システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002279090A JP2004117663A (ja) | 2002-09-25 | 2002-09-25 | 音声合成システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004117663A true JP2004117663A (ja) | 2004-04-15 |
Family
ID=32274196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002279090A Pending JP2004117663A (ja) | 2002-09-25 | 2002-09-25 | 音声合成システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004117663A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006120131A (ja) * | 2004-09-27 | 2006-05-11 | Jfe Steel Kk | 操業結果予測方法及びそのシステム |
| JP2006330200A (ja) * | 2005-05-24 | 2006-12-07 | Toshiba Corp | ピッチパターン生成方法及びその装置 |
| US11423875B2 (en) * | 2018-05-31 | 2022-08-23 | Microsoft Technology Licensing, Llc | Highly empathetic ITS processing |
-
2002
- 2002-09-25 JP JP2002279090A patent/JP2004117663A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006120131A (ja) * | 2004-09-27 | 2006-05-11 | Jfe Steel Kk | 操業結果予測方法及びそのシステム |
| JP2006330200A (ja) * | 2005-05-24 | 2006-12-07 | Toshiba Corp | ピッチパターン生成方法及びその装置 |
| US11423875B2 (en) * | 2018-05-31 | 2022-08-23 | Microsoft Technology Licensing, Llc | Highly empathetic ITS processing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7761301B2 (en) | Prosodic control rule generation method and apparatus, and speech synthesis method and apparatus | |
| EP1213705B1 (en) | Method and apparatus for speech synthesis | |
| US7778819B2 (en) | Method and apparatus for predicting word prominence in speech synthesis | |
| JPH10116089A (ja) | 音声合成用の基本周波数テンプレートを収容する韻律データベース | |
| JP2010230699A (ja) | 音声合成装置、プログラム、及び方法 | |
| US9330662B2 (en) | Pattern classifier device, pattern classifying method, computer program product, learning device, and learning method | |
| JP4403996B2 (ja) | 韻律パターン生成装置および韻律パターン生成方法ならびに韻律パターン生成プログラム | |
| Vekkot et al. | Prosodic transformation in vocal emotion conversion for multi-lingual scenarios: A pilot study | |
| JP2018180459A (ja) | 音声合成システム、音声合成方法、及び音声合成プログラム | |
| JP2004117662A (ja) | 音声合成システム | |
| US20200013409A1 (en) | Speaker retrieval device, speaker retrieval method, and computer program product | |
| JP2015084047A (ja) | 文集合作成装置、文集合作成方法および文集合作成プログラム | |
| JP4532862B2 (ja) | 音声合成方法、音声合成装置および音声合成プログラム | |
| JP2004117663A (ja) | 音声合成システム | |
| JP4829605B2 (ja) | 音声合成装置および音声合成プログラム | |
| JP5874639B2 (ja) | 音声合成装置、音声合成方法及び音声合成プログラム | |
| KR100759172B1 (ko) | 음성 합성 장치, 음성 합성 방법, 및 음성 합성 프로그램을기억한 기억 매체 | |
| JP7363107B2 (ja) | 発想支援装置、発想支援システム及びプログラム | |
| CN108288464B (zh) | 一种修正合成音中错误声调的方法 | |
| JP5393546B2 (ja) | 韻律作成装置及び韻律作成方法 | |
| Blaszke et al. | Real and Virtual Instruments in Machine Learning–Training and Comparison of Classification Results | |
| EP1777697B1 (en) | Method for speech synthesis without prosody modification | |
| JP2020106643A (ja) | 言語処理装置、言語処理プログラムおよび言語処理方法 | |
| JP5795985B2 (ja) | 形態素解析装置、形態素解析方法および形態素解析プログラム | |
| JPH0962286A (ja) | 音声合成装置および音声合成方法 |