JP2004233774A - 音声合成方法及び装置、並びに音声合成プログラム - Google Patents
音声合成方法及び装置、並びに音声合成プログラム Download PDFInfo
- Publication number
- JP2004233774A JP2004233774A JP2003023725A JP2003023725A JP2004233774A JP 2004233774 A JP2004233774 A JP 2004233774A JP 2003023725 A JP2003023725 A JP 2003023725A JP 2003023725 A JP2003023725 A JP 2003023725A JP 2004233774 A JP2004233774 A JP 2004233774A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- prosody
- acoustic
- phoneme
- cost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】ＨＭＭに基づく合成方式の確率尺度に基づく合理性と音声品質の均一性の長所と、大容量音声データベースに基づく音声合成方式の高品質という長所を併せもつ、高品質かつ均質な合成音声を実現する音声合成方法を提供する。
【解決手段】音韻別に状態遷移ごとの音響パラメータ系列の出力確率と、音韻別に状態遷移ごとの韻律パラメータ系列の出力確率と、音声波形とその音響パラメータ系列、韻律パラメータ系列とを対応付けてそれぞれ記憶する記憶手段を備え、入力テキストに対する音韻系列を構成する各音韻に対応する状態遷移ごとの音響音響パラメータ系列の確率に基づいて音響コストを計算し、入力テキストに対する韻律系列を構成する各韻律に対応する状態遷移ごとの韻律パラメータ系列の確率に基づいて韻律コストを計算し、音響コストと韻律コストとから計算される音声素片コストを最小とする音声素片を決定し、順次接続し音声を合成する。
【選択図】図２
【解決手段】音韻別に状態遷移ごとの音響パラメータ系列の出力確率と、音韻別に状態遷移ごとの韻律パラメータ系列の出力確率と、音声波形とその音響パラメータ系列、韻律パラメータ系列とを対応付けてそれぞれ記憶する記憶手段を備え、入力テキストに対する音韻系列を構成する各音韻に対応する状態遷移ごとの音響音響パラメータ系列の確率に基づいて音響コストを計算し、入力テキストに対する韻律系列を構成する各韻律に対応する状態遷移ごとの韻律パラメータ系列の確率に基づいて韻律コストを計算し、音響コストと韻律コストとから計算される音声素片コストを最小とする音声素片を決定し、順次接続し音声を合成する。
【選択図】図２
Description
【０００１】
【発明の属する技術分野】
本発明は、音韻と対応付けられて記憶された音声（波形）素片を入力テキストが示す音韻や韻律情報に基づいて接続し合成音声を生成する音声合成方法、装置、及び音声合成プログラムに関する。
【０００２】
【従来の技術】
従来の音声合成技術において、近年では大容量の記憶装置の使用コストの低下に伴って、数十分から数時間に及ぶ大容量の音声データをそのまま大容量の記憶装置に蓄積し、入力されたテキスト及び韻律情報に応じて音声素片を適切に選択し、接続・変形することで高品質な音声を合成する音声合成方法が提案されている。（特許文献１、非特許文献１）
特許文献１に記載の音声合成方法を図６を参照して説明する。
入力端子１１から音声に変換すべきテキストが入力されると、テキスト解析部１２は、係り受けや品詞解析などの形態素解析、および漢字かな変換、アクセント処理が行われ、音韻系列バッファ１７に対しては音韻の区別を示す記号列、韻律情報生成部１３に対しては呼気段落内モーラ数、アクセント形、発声スピードなどの情報が送出される。韻律情報生成部１３はこれらの情報を基にピッチパタン、各音素毎の時間長パタン、および振幅パタンを規則により生成し、それぞれのバッファ１４，１５，１６に書き込む。
波形選択部１８は音韻系列バッファ１７、ピッチパタンバッファ１４、時間長バッファ１５、振幅バッファ１６を参照して、波形辞書１９より最適な波形を選択する。
波形辞書１９には発声時の種々の情報（音韻種別、前後７程度の音韻環境、音素内の平均ピッチ、ピッチの形状を示すための１次直線で近似した場合の傾き、音素の継続時間長、波形中心部での数ピッチの始点・終点を示す時間長調整用情報、正規化した音素波形のＲＭＳ値（振幅）および実際の波形データが格納されている。波形辞書１９の作成は、大量の発声データをもとにオフライン処理で予め作成しておく。
波形選択部１８の最適な波形の選択は、まず該当する音韻を中心に置き、辞書中にある環境音韻の数での窓掛けを行って入力音韻系列から切り出して検索音韻系列を設定する。波形辞書１９を検索して波形候補が見つからない場合には順次検索音韻系列を両側から削除していきながら検索を行う。検索音韻系列が該当する音韻のみとなっても、波形候補が見つからない場合、波形生成部２１において所望のピッチ波形の生成を行う。
波形変形処理部２０においては時間長調整処理と振幅調整処理を施す。
こうして音韻環境や韻律条件により波形選択部１８で選択された波形、波形生成部２１で作られた波形、および波形変形処理部２０で調整された波形は波形接続部２２に送出され、順次結合されて音声波形として出力端子２３より出力される。
このような方法により原理的には肉声同等の高品質な合成音声を生成することが可能になってきているが、合成音声の品質を決定づける音声データベースから適切な音声素片を選択するための最適な方法がなかったため、単独又は複数の物理的なパラメータを組み合わせた物理的な尺度と、ピッチやパワー等の韻律的な尺度を組み合わせた評価尺度を設定し、その尺度に基づいて選択を行っていた。
（非特許文献２）
【０００３】
しかしながら、これまでの物理的な尺度は先見的な知識に基づいて適当な物理的なパラメータを組み合わせたりしたものであって実際の合成音声品質との相関性は低いことは学術的に実証されていながらも、他に適当な尺度が見つからないために便宜的に用いられることが多く尺度としての信頼性に欠けるものであった。
従って、生成される音声における品質も不均質なものとなりある部分は良いがある部分では悪いという音声の品質となっていた。
また、一方最近ではこれまで音声認識で用いられてきたＨＭＭ（Ｈｉｄｄｅｎ ＭａｒｋｏｖＭｏｄｅｌ）を音声合成においても利用し音声合成を行う試みが行われている（非特許文献３）。
上記の試みはある程度の音声品質を実現するところまで至っており、従来のヒュ−リスティック（ｈｅｕｒｉｓｔｉｃ）な音節や連鎖音韻等の単位を基準とする音声合成方法とほぼ同等な品質を実現している。
しかしながら、前記大容量の音声データに基づく音声合成方式と比較して自然性の面ではかなり劣っている。
【０００４】
【特許文献１】
特許第２７６１５５２号明細書
【非特許文献１】
Ｍ．Ｂｅｕｔｎａｇｅｌ，Ａ．Ｃｏｎｋｉｅ，Ｊ．Ｓｃｈｏｒｏｅｔｅｒ，Ｙ．Ｓｔｙｌｉａｎｏｕ，ａｎｄ Ａ．Ｓｙｄｒａｌ，「Ｃｈｏｓｅ ｔｈｅｂｅｓｔ ｔｏ ｍｏｄｉｆｙ ｔｈｅ ｌｅａｓｔ：Ａ ｎｅｗ ｇｅｎｅｒａｔｉｏｎ ｃｏｎｃａｔｅｎａｔｉｖｅ ｓｙｎｔｈｅｓｉｓ ｓｙｓｔｅｍ」， ｉｎ Ｐｒｏｃ．Ｅｕｒｏｓｐｅｅｃｈ’９９，１９９９，ｐｐ．２２９１−２２９４
【非特許文献２】
「波形編集型規則合成法における波形選択法」、広川他、電子情報通信学会音声研究会資料、ＳＰ８９−１１４，ｐｐ．３３−４０（１９９０）
【非特許文献３】
吉村貴克、徳田恵一、益子貴史、小林隆夫、北村正、「ＨＭＭに基づく音声合成におけるスペクトル・ピッチ・継続長の同時モデル化」、電子情報通信学会論文誌（Ｄ−ＩＩ），ｖｏｌ．Ｊ８３−Ｄ−ＩＩ，ｎｏ．１１，ｐｐ．２０９９−２１０７，Ｎｏｖ．２０００．
【０００５】
【発明が解決しようとする課題】
本発明は、従来大容量音声データベースに基づく音声合成方式において、先見的な知識に基づいて決定されてきた物理的パラメータを組み合わせた尺度の代わりに、音声認識等で用いられているＨＭＭに基づく統計的な尤度を尺度として用いることで、ＨＭＭに基づく合成方式の確率尺度に基づく合理性と音声品質の均一性の長所と、大容量音声データベースに基づく音声合成方式の高品質という長所を併せもつ、高品質かつ均質な合成音声を実現することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、音韻別に状態遷移ごとの音響パラメータ系列を出力する確率を示す音響モデルと、韻律別に状態遷移ごとの韻律パラメータ系列を出力する確率を示す韻律モデルを用いて入力テキストに対するコストを計算し、コストを最小とする音響パラメータ系列・韻律パラメータ系列の組に従い、この音響パラメータ系列・韻律パラメータ系列の組に対応付けられた波形素片を接続して合成音声を生成する。
【０００７】
【発明の実施の形態】
以下、この発明の一実施形態を説明する。
まず、図１に音声合成装置の概念的な構成図を示す。
音声合成装置は、テキスト解析部１、韻律生成部２、音声素変選択部３、合成部４、音声素片データベース５から構成される。
入力されたテキスト情報は、テキスト解析部１で、読み、アクセントが求められ、韻律生成部２で韻律（基本周波数、パワー、継続時間長）が求められ、音声素片選択部３において、韻律及び音韻系列が適合した音声素片が音声素片データベース５から選択され、合成部４で、音声素片を接続し合成音声とする。また、合成部４では目的の韻律に適合するように変形した後、音声素片を接続し合成音声としてもよい。
【０００８】
図２は図１に示した音声合成装置の処理を示すフローチャートである。
（テキスト解析部１）
まず、形態素解析・読み／アクセント決定ステップＳ１では、入力されたテキスト情報に対して、テキスト解析用辞書を用いて単語境界の決定と単語の品詞の付与、さらに単語の読みとアクセント型との対応関係を記憶する記憶手段を用いて単語の読み／アクセント型の決定を行う。
アクセント型は音韻情報として各音韻ごとのパワー、音韻長、基本周波数からなる情報を含んでおり、音韻系列を構成する音韻ごとの音韻情報としてパワー、音韻長、基本周波数を設定する。
次に、音韻系列変換ステップＳ２により読みと音韻系列との対応関係を記憶する記憶手段を用いて単語単位の読みに対応する音韻系列を求める。また読みと音韻系列は一意に対応するため音韻系列と単語を対応づけておく。
（韻律生成部２）
さらに、韻律生成ステップＳ３では、各音韻のパワー、音韻長、基本周波数の計算を行う。
【０００９】
（音声素片選択部３）
次に、ステップＳ４で音声素片データベース５から、前記音韻系列と少なくとも一音韻が一致する音声素片候補を検索する。
図３に例えば入力テキストとして“明日の天気は”が与えられた時の音声素片候補とその組み合わせの例を示す。図２に示すとおり、“明日の天気は”（音韻表記“ＡＳＵＮＯＴＥＮＫＩＷＡ”）という入力テキストの音韻系列に対して部分的に一致する音韻系列“ＡＳＵ”、“ＮＯ”、“ＴＥＮ”、“ＫＩ”、“ＷＡ”、“ＮＯＴＥＮ”、“ＴＥＮＫＩ”、“ＡＳＵＮＯ”、“ＴＥＮＫＩＷＡ”、を含む音声素片があったとする。その場合、組み合わせとしては、図３において各素片間を線で結んで示しているような組み合わせが可能である。例えば、“ＡＳＵ”＋“ＮＯ”＋“ＴＥＮ”＋“ＫＩ”＋“ＷＡ”が組み合わされる。
図４に音声素片候補の別の例を示す。図３との違いは図３では各音声素片を音韻境界部で接続することを前提とした例であるが、図４では音韻内で接続することが前提となる。この例では「斜線」で示した音韻で各音韻の各音声素片を接続することになる。例えば図５に示すように、“ＡＳＵ”の“Ｕ”と前半部と“ＵＮＯ”の“Ｕ”の後半部を組み合わせるようにして、「斜線」の部分のみを使用して音声素片を接続する。
さらに、また図３で示したような音韻境界接続と、図４で示した音韻内接続を混合した接続をすることは容易に可能である。
次に、音声素片コストの計算ステップＳ５において、前記音声素片候補とそれらの組み合わせに対する音声素片コストを求める。
ここで、例えば、下式のように音声素片コストを求めることができる。
音声素片コスト＝Ｗａ・Ｃａ＋Ｗｐ・Ｃｐ
（Ｗａ，Ｗｐ：Ｗａ＋Ｗｐ＝１となる適当な重み係数）
Ｃａ：音響コスト、Ｃｐ：韻律コスト
ここで、定量的に音声素片候補の音声としての尤もらしさ（尤度）を測るため、音響的なパラメータの時系列モデルとして一般的に用いられているＨＭＭを導入する。この際において、音声素片に対応してその音響パラメータ系列と韻律パラメータ系列とを記憶する記憶手段を用いる。
音響モデルとして音韻別に状態遷移ごとの音響パラメータ系列を出力する音響モデル記憶手段を用い、音響パラメータとして線形予測係数（ＬＰＣ）やケプストラムなどが用いられる。
【００１０】
一般的に、音響モデルＭにおいて時刻Ｔまでの状態系列ｑ、音響パラメータ系列ｏの出力確率は
【数１】
ｑｉｔは時刻ｔにおける状態、ｏｔは時刻ｔにおける音響パラメータ
と記述でき、音響モデルＭにおいて、音響パラメータ系列ｏを出力する確率は、
【数２】
ｏＴ＝（ｏ１，ｏ２，・・・，ｏｔ）， ｉ＝１，２，・・・，Ｎ
のように時刻Ｔまで音響パラメータ系列ｏＴと時刻Ｔでの状態ｑｉＴで記述できる。また、上式はフォワードバックバードアルゴリズム又はビダビアルゴリズムにより効率よく求めることができる。
ここで、例えば予め音声素片データベース５を音響分析することで得られた音響パラメータと音韻系列の対応付けから求めた音響モデルＭａを求めてあるとして、
音声素片系列ｕ＝（ｕ１，ｕ２，・・・，ｕＬ）、音声素片ｕｋの音響パラメータ系列をｏｕｋ、状態系列ｑｋとすると音響モデルＭａにおいて音響パラメータ系列ｏｕ１，ｏｕ２，・・・，ｏｕＬが得られる確率Ｐ（ｏｕ１，ｏｕ２，・・・，ｏｕＬ｜Ｍａ）は
【数３】
となり、上記同様に求めることができる。
つまり、音響的な音声素片の尤度として上記Ｐ（ｏｕ｜Ｍａ）を考えれば、音声素片の音響コストＣａは尤度に反比例するものであるので、
Ｃａ＝α／Ｐ（ｏｕ｜Ｍａ）（αは定数）
のように求めることができる。
【００１１】
韻律モデルとして韻律別に状態遷移ごとの韻律パラメータ系列を出力する確率を記憶する韻律モデル記憶手段を用いることができる。また、韻律として基本周波数を含む。
上記と全く同様にして、音韻別に状態遷移ごとの韻律パラメータ系列の確率を記憶する韻律モデル記憶手段を用いて韻律的な音声素片のコストＣｐも求めることができ、韻律的な音声素片の尤度として確率Ｐ（Ｆｕ｜Ｍｐ）（Ｆｕ：音声素片ｕの韻律パラメータ系列、Ｍｐ：音声素片データベース５を韻律分析することで得られた韻律パラメータとアクセント型、モーラ数、基本周波数等の韻律情報の対応付けから求めた韻律モデル）を求めることができ、上記同様に音声素片の韻律コストＣｐは
Ｃｐ＝β／Ｐ（Ｆｕ｜Ｍｐ）（βは定数）
と求めることができる。
結局、上記音響コストと韻律コストを用いて下記のように音声素片コストを求めることができる。
音声素片コスト＝Ｗａ・α／Ｐ（ｏｕ｜Ｍａ）＋Ｗｐ・β／Ｐ（Ｆｕ｜Ｍｐ）
次に、音声素片の探索ステップＳ６において、全ての音声素片の組み合わせに対する前記音声素片コストの中で最小となる音声素片の組み合わせを探索し、それらを音声素片として選択する。
【００１２】
例えば図３に示すような音声素片の組み合わせにおいて、表１で示すように音声素片コストが計算されたとすれば、その中で最小となる音声素片候補である“ＡＳＵＮＯ”と“ＴＥＮＫＩＷＡ”の２つの素片が選択される。
【表１】
【００１３】
（合成部４）
最後に、合成ステップＳ７において、前記選択された音声素片を接続し合成音声とする。またここで前記選択された音声素片を前記韻律生成部２において求められた各音韻のパワー、音韻長、基本周波数に適合するように例えば波形重畳法のような信号処理技術を用いて適切に変形した後に接続することで音声を合成してもよい。
【００１４】
本発明の音声合成装置は、ＣＰＵやメモリ等を有するコンピュータと、利用者端末と、記録媒体とから構成することができる。記録媒体はＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録された音声合成プログラム、あるいは通信回線を介して送信された音声合成プログラムはコンピュータにインストールされ、コンピュータの動作を制御し、コンピュータ上に前述した各構成要素を実現する。
【００１５】
【発明の効果】
本発明は、音韻別に状態遷移ごとの音響パラメータ系列に対する出力確率からなる音響モデルと、音韻別に状態遷移ごとの韻律パラメータ系列の出力確率からなる韻律モデルを用いて前後の音韻も鑑みたコスト（尤度）を最大とするように音声素片を接続して音声を合成する。そのために高品質かつ統計確率に裏付けられた均質な合成音声が得られる。
【図面の簡単な説明】
【図１】本発明の音声合成装置の概念図。
【図２】本発明の音声合成処理フローを示す図。
【図３】音声素片の組み合わせ例を説明する図。
【図４】音声素片の組み合わせの別の例を示す図。
【図５】音声素片接続の概念図。
【図６】従来の音声合成装置のブロック図。
【符号の説明】
１・・・テキスト解析部
２・・・韻律生成部
３・・・音声素片選択部
４・・・合成部
５・・・音声素片データベース部
【発明の属する技術分野】
本発明は、音韻と対応付けられて記憶された音声（波形）素片を入力テキストが示す音韻や韻律情報に基づいて接続し合成音声を生成する音声合成方法、装置、及び音声合成プログラムに関する。
【０００２】
【従来の技術】
従来の音声合成技術において、近年では大容量の記憶装置の使用コストの低下に伴って、数十分から数時間に及ぶ大容量の音声データをそのまま大容量の記憶装置に蓄積し、入力されたテキスト及び韻律情報に応じて音声素片を適切に選択し、接続・変形することで高品質な音声を合成する音声合成方法が提案されている。（特許文献１、非特許文献１）
特許文献１に記載の音声合成方法を図６を参照して説明する。
入力端子１１から音声に変換すべきテキストが入力されると、テキスト解析部１２は、係り受けや品詞解析などの形態素解析、および漢字かな変換、アクセント処理が行われ、音韻系列バッファ１７に対しては音韻の区別を示す記号列、韻律情報生成部１３に対しては呼気段落内モーラ数、アクセント形、発声スピードなどの情報が送出される。韻律情報生成部１３はこれらの情報を基にピッチパタン、各音素毎の時間長パタン、および振幅パタンを規則により生成し、それぞれのバッファ１４，１５，１６に書き込む。
波形選択部１８は音韻系列バッファ１７、ピッチパタンバッファ１４、時間長バッファ１５、振幅バッファ１６を参照して、波形辞書１９より最適な波形を選択する。
波形辞書１９には発声時の種々の情報（音韻種別、前後７程度の音韻環境、音素内の平均ピッチ、ピッチの形状を示すための１次直線で近似した場合の傾き、音素の継続時間長、波形中心部での数ピッチの始点・終点を示す時間長調整用情報、正規化した音素波形のＲＭＳ値（振幅）および実際の波形データが格納されている。波形辞書１９の作成は、大量の発声データをもとにオフライン処理で予め作成しておく。
波形選択部１８の最適な波形の選択は、まず該当する音韻を中心に置き、辞書中にある環境音韻の数での窓掛けを行って入力音韻系列から切り出して検索音韻系列を設定する。波形辞書１９を検索して波形候補が見つからない場合には順次検索音韻系列を両側から削除していきながら検索を行う。検索音韻系列が該当する音韻のみとなっても、波形候補が見つからない場合、波形生成部２１において所望のピッチ波形の生成を行う。
波形変形処理部２０においては時間長調整処理と振幅調整処理を施す。
こうして音韻環境や韻律条件により波形選択部１８で選択された波形、波形生成部２１で作られた波形、および波形変形処理部２０で調整された波形は波形接続部２２に送出され、順次結合されて音声波形として出力端子２３より出力される。
このような方法により原理的には肉声同等の高品質な合成音声を生成することが可能になってきているが、合成音声の品質を決定づける音声データベースから適切な音声素片を選択するための最適な方法がなかったため、単独又は複数の物理的なパラメータを組み合わせた物理的な尺度と、ピッチやパワー等の韻律的な尺度を組み合わせた評価尺度を設定し、その尺度に基づいて選択を行っていた。
（非特許文献２）
【０００３】
しかしながら、これまでの物理的な尺度は先見的な知識に基づいて適当な物理的なパラメータを組み合わせたりしたものであって実際の合成音声品質との相関性は低いことは学術的に実証されていながらも、他に適当な尺度が見つからないために便宜的に用いられることが多く尺度としての信頼性に欠けるものであった。
従って、生成される音声における品質も不均質なものとなりある部分は良いがある部分では悪いという音声の品質となっていた。
また、一方最近ではこれまで音声認識で用いられてきたＨＭＭ（Ｈｉｄｄｅｎ ＭａｒｋｏｖＭｏｄｅｌ）を音声合成においても利用し音声合成を行う試みが行われている（非特許文献３）。
上記の試みはある程度の音声品質を実現するところまで至っており、従来のヒュ−リスティック（ｈｅｕｒｉｓｔｉｃ）な音節や連鎖音韻等の単位を基準とする音声合成方法とほぼ同等な品質を実現している。
しかしながら、前記大容量の音声データに基づく音声合成方式と比較して自然性の面ではかなり劣っている。
【０００４】
【特許文献１】
特許第２７６１５５２号明細書
【非特許文献１】
Ｍ．Ｂｅｕｔｎａｇｅｌ，Ａ．Ｃｏｎｋｉｅ，Ｊ．Ｓｃｈｏｒｏｅｔｅｒ，Ｙ．Ｓｔｙｌｉａｎｏｕ，ａｎｄ Ａ．Ｓｙｄｒａｌ，「Ｃｈｏｓｅ ｔｈｅｂｅｓｔ ｔｏ ｍｏｄｉｆｙ ｔｈｅ ｌｅａｓｔ：Ａ ｎｅｗ ｇｅｎｅｒａｔｉｏｎ ｃｏｎｃａｔｅｎａｔｉｖｅ ｓｙｎｔｈｅｓｉｓ ｓｙｓｔｅｍ」， ｉｎ Ｐｒｏｃ．Ｅｕｒｏｓｐｅｅｃｈ’９９，１９９９，ｐｐ．２２９１−２２９４
【非特許文献２】
「波形編集型規則合成法における波形選択法」、広川他、電子情報通信学会音声研究会資料、ＳＰ８９−１１４，ｐｐ．３３−４０（１９９０）
【非特許文献３】
吉村貴克、徳田恵一、益子貴史、小林隆夫、北村正、「ＨＭＭに基づく音声合成におけるスペクトル・ピッチ・継続長の同時モデル化」、電子情報通信学会論文誌（Ｄ−ＩＩ），ｖｏｌ．Ｊ８３−Ｄ−ＩＩ，ｎｏ．１１，ｐｐ．２０９９−２１０７，Ｎｏｖ．２０００．
【０００５】
【発明が解決しようとする課題】
本発明は、従来大容量音声データベースに基づく音声合成方式において、先見的な知識に基づいて決定されてきた物理的パラメータを組み合わせた尺度の代わりに、音声認識等で用いられているＨＭＭに基づく統計的な尤度を尺度として用いることで、ＨＭＭに基づく合成方式の確率尺度に基づく合理性と音声品質の均一性の長所と、大容量音声データベースに基づく音声合成方式の高品質という長所を併せもつ、高品質かつ均質な合成音声を実現することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、音韻別に状態遷移ごとの音響パラメータ系列を出力する確率を示す音響モデルと、韻律別に状態遷移ごとの韻律パラメータ系列を出力する確率を示す韻律モデルを用いて入力テキストに対するコストを計算し、コストを最小とする音響パラメータ系列・韻律パラメータ系列の組に従い、この音響パラメータ系列・韻律パラメータ系列の組に対応付けられた波形素片を接続して合成音声を生成する。
【０００７】
【発明の実施の形態】
以下、この発明の一実施形態を説明する。
まず、図１に音声合成装置の概念的な構成図を示す。
音声合成装置は、テキスト解析部１、韻律生成部２、音声素変選択部３、合成部４、音声素片データベース５から構成される。
入力されたテキスト情報は、テキスト解析部１で、読み、アクセントが求められ、韻律生成部２で韻律（基本周波数、パワー、継続時間長）が求められ、音声素片選択部３において、韻律及び音韻系列が適合した音声素片が音声素片データベース５から選択され、合成部４で、音声素片を接続し合成音声とする。また、合成部４では目的の韻律に適合するように変形した後、音声素片を接続し合成音声としてもよい。
【０００８】
図２は図１に示した音声合成装置の処理を示すフローチャートである。
（テキスト解析部１）
まず、形態素解析・読み／アクセント決定ステップＳ１では、入力されたテキスト情報に対して、テキスト解析用辞書を用いて単語境界の決定と単語の品詞の付与、さらに単語の読みとアクセント型との対応関係を記憶する記憶手段を用いて単語の読み／アクセント型の決定を行う。
アクセント型は音韻情報として各音韻ごとのパワー、音韻長、基本周波数からなる情報を含んでおり、音韻系列を構成する音韻ごとの音韻情報としてパワー、音韻長、基本周波数を設定する。
次に、音韻系列変換ステップＳ２により読みと音韻系列との対応関係を記憶する記憶手段を用いて単語単位の読みに対応する音韻系列を求める。また読みと音韻系列は一意に対応するため音韻系列と単語を対応づけておく。
（韻律生成部２）
さらに、韻律生成ステップＳ３では、各音韻のパワー、音韻長、基本周波数の計算を行う。
【０００９】
（音声素片選択部３）
次に、ステップＳ４で音声素片データベース５から、前記音韻系列と少なくとも一音韻が一致する音声素片候補を検索する。
図３に例えば入力テキストとして“明日の天気は”が与えられた時の音声素片候補とその組み合わせの例を示す。図２に示すとおり、“明日の天気は”（音韻表記“ＡＳＵＮＯＴＥＮＫＩＷＡ”）という入力テキストの音韻系列に対して部分的に一致する音韻系列“ＡＳＵ”、“ＮＯ”、“ＴＥＮ”、“ＫＩ”、“ＷＡ”、“ＮＯＴＥＮ”、“ＴＥＮＫＩ”、“ＡＳＵＮＯ”、“ＴＥＮＫＩＷＡ”、を含む音声素片があったとする。その場合、組み合わせとしては、図３において各素片間を線で結んで示しているような組み合わせが可能である。例えば、“ＡＳＵ”＋“ＮＯ”＋“ＴＥＮ”＋“ＫＩ”＋“ＷＡ”が組み合わされる。
図４に音声素片候補の別の例を示す。図３との違いは図３では各音声素片を音韻境界部で接続することを前提とした例であるが、図４では音韻内で接続することが前提となる。この例では「斜線」で示した音韻で各音韻の各音声素片を接続することになる。例えば図５に示すように、“ＡＳＵ”の“Ｕ”と前半部と“ＵＮＯ”の“Ｕ”の後半部を組み合わせるようにして、「斜線」の部分のみを使用して音声素片を接続する。
さらに、また図３で示したような音韻境界接続と、図４で示した音韻内接続を混合した接続をすることは容易に可能である。
次に、音声素片コストの計算ステップＳ５において、前記音声素片候補とそれらの組み合わせに対する音声素片コストを求める。
ここで、例えば、下式のように音声素片コストを求めることができる。
音声素片コスト＝Ｗａ・Ｃａ＋Ｗｐ・Ｃｐ
（Ｗａ，Ｗｐ：Ｗａ＋Ｗｐ＝１となる適当な重み係数）
Ｃａ：音響コスト、Ｃｐ：韻律コスト
ここで、定量的に音声素片候補の音声としての尤もらしさ（尤度）を測るため、音響的なパラメータの時系列モデルとして一般的に用いられているＨＭＭを導入する。この際において、音声素片に対応してその音響パラメータ系列と韻律パラメータ系列とを記憶する記憶手段を用いる。
音響モデルとして音韻別に状態遷移ごとの音響パラメータ系列を出力する音響モデル記憶手段を用い、音響パラメータとして線形予測係数（ＬＰＣ）やケプストラムなどが用いられる。
【００１０】
一般的に、音響モデルＭにおいて時刻Ｔまでの状態系列ｑ、音響パラメータ系列ｏの出力確率は
【数１】
と記述でき、音響モデルＭにおいて、音響パラメータ系列ｏを出力する確率は、
【数２】
のように時刻Ｔまで音響パラメータ系列ｏＴと時刻Ｔでの状態ｑｉＴで記述できる。また、上式はフォワードバックバードアルゴリズム又はビダビアルゴリズムにより効率よく求めることができる。
ここで、例えば予め音声素片データベース５を音響分析することで得られた音響パラメータと音韻系列の対応付けから求めた音響モデルＭａを求めてあるとして、
音声素片系列ｕ＝（ｕ１，ｕ２，・・・，ｕＬ）、音声素片ｕｋの音響パラメータ系列をｏｕｋ、状態系列ｑｋとすると音響モデルＭａにおいて音響パラメータ系列ｏｕ１，ｏｕ２，・・・，ｏｕＬが得られる確率Ｐ（ｏｕ１，ｏｕ２，・・・，ｏｕＬ｜Ｍａ）は
【数３】
つまり、音響的な音声素片の尤度として上記Ｐ（ｏｕ｜Ｍａ）を考えれば、音声素片の音響コストＣａは尤度に反比例するものであるので、
Ｃａ＝α／Ｐ（ｏｕ｜Ｍａ）（αは定数）
のように求めることができる。
【００１１】
韻律モデルとして韻律別に状態遷移ごとの韻律パラメータ系列を出力する確率を記憶する韻律モデル記憶手段を用いることができる。また、韻律として基本周波数を含む。
上記と全く同様にして、音韻別に状態遷移ごとの韻律パラメータ系列の確率を記憶する韻律モデル記憶手段を用いて韻律的な音声素片のコストＣｐも求めることができ、韻律的な音声素片の尤度として確率Ｐ（Ｆｕ｜Ｍｐ）（Ｆｕ：音声素片ｕの韻律パラメータ系列、Ｍｐ：音声素片データベース５を韻律分析することで得られた韻律パラメータとアクセント型、モーラ数、基本周波数等の韻律情報の対応付けから求めた韻律モデル）を求めることができ、上記同様に音声素片の韻律コストＣｐは
Ｃｐ＝β／Ｐ（Ｆｕ｜Ｍｐ）（βは定数）
と求めることができる。
結局、上記音響コストと韻律コストを用いて下記のように音声素片コストを求めることができる。
音声素片コスト＝Ｗａ・α／Ｐ（ｏｕ｜Ｍａ）＋Ｗｐ・β／Ｐ（Ｆｕ｜Ｍｐ）
次に、音声素片の探索ステップＳ６において、全ての音声素片の組み合わせに対する前記音声素片コストの中で最小となる音声素片の組み合わせを探索し、それらを音声素片として選択する。
【００１２】
例えば図３に示すような音声素片の組み合わせにおいて、表１で示すように音声素片コストが計算されたとすれば、その中で最小となる音声素片候補である“ＡＳＵＮＯ”と“ＴＥＮＫＩＷＡ”の２つの素片が選択される。
【表１】
（合成部４）
最後に、合成ステップＳ７において、前記選択された音声素片を接続し合成音声とする。またここで前記選択された音声素片を前記韻律生成部２において求められた各音韻のパワー、音韻長、基本周波数に適合するように例えば波形重畳法のような信号処理技術を用いて適切に変形した後に接続することで音声を合成してもよい。
【００１４】
本発明の音声合成装置は、ＣＰＵやメモリ等を有するコンピュータと、利用者端末と、記録媒体とから構成することができる。記録媒体はＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録された音声合成プログラム、あるいは通信回線を介して送信された音声合成プログラムはコンピュータにインストールされ、コンピュータの動作を制御し、コンピュータ上に前述した各構成要素を実現する。
【００１５】
【発明の効果】
本発明は、音韻別に状態遷移ごとの音響パラメータ系列に対する出力確率からなる音響モデルと、音韻別に状態遷移ごとの韻律パラメータ系列の出力確率からなる韻律モデルを用いて前後の音韻も鑑みたコスト（尤度）を最大とするように音声素片を接続して音声を合成する。そのために高品質かつ統計確率に裏付けられた均質な合成音声が得られる。
【図面の簡単な説明】
【図１】本発明の音声合成装置の概念図。
【図２】本発明の音声合成処理フローを示す図。
【図３】音声素片の組み合わせ例を説明する図。
【図４】音声素片の組み合わせの別の例を示す図。
【図５】音声素片接続の概念図。
【図６】従来の音声合成装置のブロック図。
【符号の説明】
１・・・テキスト解析部
２・・・韻律生成部
３・・・音声素片選択部
４・・・合成部
５・・・音声素片データベース部
Claims (3)
- 音韻別に状態遷移ごとの音響パラメータ系列の出力確率を記憶する音響モデル記憶手段と、音韻別に状態遷移ごとの韻律パラメータ系列の出力確率を記憶する韻律モデル記憶手段と、音声波形とその音響パラメータ系列、韻律パラメータ系列とを対応付けて記憶する音声素片データベースを備え、
音響モデル記憶手段を用いて入力テキストに対する音韻系列を構成する各音韻に対応する状態遷移ごとの音響パラメータ系列の確率に基づいて音響コストを計算し、
韻律モデル記憶手段を用いて入力テキストに対する韻律系列を構成する各韻律に対応する状態遷移ごとの韻律パラメータ系列の確率に基づいて韻律コストを計算し、
音響コストと韻律コストとから計算される音声素片コストを最小とする音声素片を決定し、
音声素片データベースを用いて決定された音声素片を順次接続し音声を合成する、
ことを特徴とする音声合成方法。 - 音韻別に状態遷移ごとの音響パラメータ系列の出力確率を記憶する音響モデル記憶手段と、音韻別に状態遷移ごとの韻律パラメータ系列の出力確率を記憶する韻律モデル記憶手段と、音声波形とその音響パラメータ系列、韻律パラメータ系列とを対応付けて記憶する音声素片データベースを備え、
音響モデル記憶手段を用いて入力テキストに対する音韻系列を構成する各音韻に対応する状態遷移ごとの音響パラメータ系列の確率に基づいて音響コストを計算する手段と、
韻律モデル記憶手段を用いて入力テキストに対する韻律系列を構成する各韻律に対応する状態遷移ごとの韻律パラメータ系列の確率に基づいて韻律コストを計算する手段と、
音響コストと韻律コストとから計算される音声素片コストを最小とする音声素片を決定する手段と、
音声素片データベースを用いて決定された音声素片を順次接続し音声を合成する合成手段と、
から構成することを特徴とする音声合成装置。 - 音韻別に状態遷移ごとの音響パラメータ系列の出力確率を記憶する音響モデル記憶手段と、音韻別に状態遷移ごとの韻律パラメータ系列の出力確率を記憶する韻律モデル記憶手段と、音声波形とその音響パラメータ系列、韻律パラメータ系列とを対応付けて記憶する音声素片データベースを備え、
音響モデル記憶手段を用いて入力テキストに対する音韻系列を構成する各音韻に対応する状態遷移ごとの音響パラメータ系列の確率に基づいて音響コストを計算する処理と、
韻律モデル記憶手段を用いて入力テキストに対する韻律系列を構成する各韻律に対応する状態遷移ごとの韻律パラメータ系列の確率に基づいて韻律コストを計算する処理と、
音響コストと韻律コストとから計算される音声素片コストを最小とする音声素片を決定する処理と、
音声素片データベースを用いて決定された音声素片を順次接続し音声を合成する処理と、
をコンピュータに実行させる音声合成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023725A JP4167084B2 (ja) | 2003-01-31 | 2003-01-31 | 音声合成方法及び装置、並びに音声合成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023725A JP4167084B2 (ja) | 2003-01-31 | 2003-01-31 | 音声合成方法及び装置、並びに音声合成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004233774A true JP2004233774A (ja) | 2004-08-19 |
| JP4167084B2 JP4167084B2 (ja) | 2008-10-15 |
Family
ID=32952451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003023725A Expired - Fee Related JP4167084B2 (ja) | 2003-01-31 | 2003-01-31 | 音声合成方法及び装置、並びに音声合成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4167084B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007011203A (ja) * | 2005-07-04 | 2007-01-18 | Sony Corp | データ出力装置、データ出力方法、およびプログラム |
| JP2009020264A (ja) * | 2007-07-11 | 2009-01-29 | Hitachi Ltd | 音声合成装置及び音声合成方法並びにプログラム |
| US9230536B2 (en) | 2013-09-25 | 2016-01-05 | Mitsubishi Electric Corporation | Voice synthesizer |
| WO2016042659A1 (ja) * | 2014-09-19 | 2016-03-24 | 株式会社東芝 | 音声合成装置、音声合成方法およびプログラム |
| CN112767957A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 获得预测模型的方法、语音波形的预测方法及相关装置 |
-
2003
- 2003-01-31 JP JP2003023725A patent/JP4167084B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007011203A (ja) * | 2005-07-04 | 2007-01-18 | Sony Corp | データ出力装置、データ出力方法、およびプログラム |
| JP4662139B2 (ja) * | 2005-07-04 | 2011-03-30 | ソニー株式会社 | データ出力装置、データ出力方法、およびプログラム |
| JP2009020264A (ja) * | 2007-07-11 | 2009-01-29 | Hitachi Ltd | 音声合成装置及び音声合成方法並びにプログラム |
| US9230536B2 (en) | 2013-09-25 | 2016-01-05 | Mitsubishi Electric Corporation | Voice synthesizer |
| WO2016042659A1 (ja) * | 2014-09-19 | 2016-03-24 | 株式会社東芝 | 音声合成装置、音声合成方法およびプログラム |
| JPWO2016042659A1 (ja) * | 2014-09-19 | 2017-04-27 | 株式会社東芝 | 音声合成装置、音声合成方法およびプログラム |
| US10529314B2 (en) | 2014-09-19 | 2020-01-07 | Kabushiki Kaisha Toshiba | Speech synthesizer, and speech synthesis method and computer program product utilizing multiple-acoustic feature parameters selection |
| CN112767957A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 获得预测模型的方法、语音波形的预测方法及相关装置 |
| CN112767957B (zh) * | 2020-12-31 | 2024-05-31 | 中国科学技术大学 | 获得预测模型的方法、语音波形的预测方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4167084B2 (ja) | 2008-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8338687B2 (en) | Apparatus and method for creating singing synthesizing database, and pitch curve generation apparatus and method | |
| EP1170724B1 (en) | Synthesis-based pre-selection of suitable units for concatenative speech | |
| US8423367B2 (en) | Apparatus and method for creating singing synthesizing database, and pitch curve generation apparatus and method | |
| JP4241762B2 (ja) | 音声合成装置、その方法、及びプログラム | |
| US7454343B2 (en) | Speech synthesizer, speech synthesizing method, and program | |
| US20040030555A1 (en) | System and method for concatenating acoustic contours for speech synthesis | |
| WO2004097792A1 (ja) | 音声合成システム | |
| JP4406440B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP4533255B2 (ja) | 音声合成装置、音声合成方法、音声合成プログラムおよびその記録媒体 | |
| JP3728173B2 (ja) | 音声合成方法、装置および記憶媒体 | |
| JP2006313176A (ja) | 音声合成装置 | |
| JP4167084B2 (ja) | 音声合成方法及び装置、並びに音声合成プログラム | |
| JP3346671B2 (ja) | 音声素片選択方法および音声合成装置 | |
| JP4247289B1 (ja) | 音声合成装置、音声合成方法およびそのプログラム | |
| JP2013164609A (ja) | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 | |
| JP4648878B2 (ja) | 様式指定型音声合成方法、及び様式指定型音声合成装置とそのプログラムと、その記憶媒体 | |
| JP5874639B2 (ja) | 音声合成装置、音声合成方法及び音声合成プログラム | |
| JP5320341B2 (ja) | 発声用テキストセット作成方法、発声用テキストセット作成装置及び発声用テキストセット作成プログラム | |
| JP2004354644A (ja) | 音声合成方法及びその装置並びにそのコンピュータプログラム及びそれを記憶した情報記憶媒体 | |
| JP2006084854A (ja) | 音声合成装置、音声合成方法および音声合成プログラム | |
| JP2013117638A (ja) | 音声合成装置および音声合成プログラム | |
| JP3576792B2 (ja) | 音声情報処理方法 | |
| JPH1185193A (ja) | 音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置 | |
| JP2001282273A (ja) | 音声情報処理装置とその方法と記憶媒体 | |
| JPH1097268A (ja) | 音声合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080731 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |