JP2018084604A - クロスリンガル音声合成用モデル学習装置、クロスリンガル音声合成装置、クロスリンガル音声合成用モデル学習方法、プログラム - Google Patents

Abstract

【課題】目標話者の音声データではない合成対象言語での音声データが１名分しかない場合であっても、その目標話者による合成対象言語での音声を合成することが可能となるクロスリンガル音声合成技術を提供する。
【解決手段】目標話者音声データと学習対象言語音声データ_nから時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nを生成する時間情報調整部１０１と、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nの組から不特定話者声質変換器を学習する声質変換器学習部１０３と、不特定話者声質変換器を用いて、合成対象言語音声データから目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部１１１と、声質変換後合成対象言語音声データと合成対象言語発話情報集合からクロスリンガル音声合成用モデルを学習する合成用モデル学習部１１３とを含む。
【選択図】図２

Description

本発明は、音声合成技術に関し、特にクロスリンガル音声合成技術に関する。

近年、主流となっている音声合成方式として、統計的パラメトリック音声合成がある。例えば、HMM（Hidden Markov Model）音声合成（非特許文献１）、DNN（Deep Neural Networks）音声合成（非特許文献２）がある。これらの手法では、音声の特徴量であるスペクトルパラメータ（ケプストラム、メルケプストラム等）、音高パラメータ（F0）等の音声パラメータを統計的にモデル化する。これにより、比較的少量の学習用音声データから任意の話者の安定した品質の合成音声を生成することが可能となる。

この統計的パラメトリック音声合成を用いて、任意の話者の声質で、日本語や英語などの任意の言語で音声合成を実現する場合、一般には当該話者が当該言語で発話した音声データが必要となる。しかし、当該話者が当該言語を発声できない等の理由でそのような音声データを必ずしも入手できるとは限らない。このような問題を解決するために、クロスリンガル音声合成手法が提案されている（非特許文献３、非特許文献４）。

このクロスリンガル音声合成手法では、合成音声の生成対象となる目標話者の合成対象言語とは異なる学習対象言語の音声データを用いることで、目標話者の声質を持つ合成対象言語での合成音声を生成することが可能となる。

益子貴史，徳田恵一，小林隆夫，今井聖，"動的特徴を用いたHMMに基づく音声合成"，電子情報通信学会論文誌 D-II， vol.J79-D-II， No.12, pp.2184-2190, 1996. Heiga Zen, Andrew Senior, Mike Schuster, "Statistical parametric speech synthesis using deep neural networks", IEEE International Conference on Acoustics, Speech and Signal Processing ICASSP 2013, pp.7962-7966, 2013. Masanobu Abe, Kiyohiro Shikano, Hisao Kuwabara, "Cross-language voice conversion", IEEE International Conference on Acoustics, Speech and Signal Processing ICASSP-90, pp.345-348, 1990. Yi-Jian Wu, Yoshihiko Nankaku, Keiichi Tokuda, "State mapping based method for cross-lingual speaker adaptation in HMM-based speech synthesis", INTERSPEECH 2009, 10th Annual Conference of the International Speech Communication Association, pp.528-531, 2009.

しかし、非特許文献３の手法では、合成対象言語と学習対象言語のバイリンガル話者が発声した両言語の音声データが必要となる。また、非特許文献４の手法では、合成対象言語と学習対象言語の各言語で多くの話者による音声データが必要となる。

そのため、バイリンガル話者による音声データを集めること、各言語の多数話者による音声データを集めることが難しい場合、いずれの手法も適用することができない。特に、合成対象言語の数が多くなると、このような問題が顕著になる。

そこで本発明は、目標話者の音声データではない合成対象言語での音声データが１名分しかない場合であっても、その目標話者による合成対象言語での音声を合成することが可能となるクロスリンガル音声合成技術を提供することを目的とする。

本発明の一態様は、Nを1以上の整数、nを1≦n≦Nなる整数とし、目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者_nによる学習対象言語での音声データである学習対象言語音声データ_n(1≦n≦N)は、同一の文章を発話した音声データであり、前記目標話者音声データと前記学習対象言語音声データ_n(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、前記目標話者音声データと前記学習対象言語音声データ_nとの時間情報を調整し、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nを生成する時間情報調整部と、前記時間情報調整後目標話者音声データ_nと前記時間情報調整後学習対象言語音声データ_nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、前記不特定話者声質変換器を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データから、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、前記声質変換後合成対象言語音声データと前記合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部とを含む。

本発明の一態様は、Nを1以上の整数、nを1≦n≦Nなる整数とし、目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者_nによる学習対象言語での音声データである学習対象言語音声データ_n(1≦n≦N) は、同一の文章を発話した音声データであり、前記目標話者音声データと前記学習対象言語音声データ_n(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、学習対象言語の音素と合成対象言語の音素の対応関係を示す発音ベクトル作成規則を記録した記録部と、前記目標話者音声データと前記学習対象言語音声データ_nとの時間情報を調整し、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nを生成する時間情報調整部と、前記発音ベクトル作成規則を用いて、前記学習対象言語音声データ_nに含まれる発話の発話情報の集合である学習対象言語発話情報集合_nから、前記発話情報から算出される発音ベクトルの集合である学習対象言語発音ベクトル集合_nを生成する第１発音ベクトル生成部と、前記時間情報調整後目標話者音声データ_nと前記時間情報調整後学習対象言語音声データ_nと前記学習対象言語発音ベクトル集合_nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、前記発音ベクトル作成規則を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記発話情報から算出される発音ベクトルの集合である合成対象言語発音ベクトル集合を生成する第２発音ベクトル生成部と、前記不特定話者声質変換器を用いて、前記合成対象言語音声データと前記合成対象言語発音ベクトル集合から、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、前記声質変換後合成対象言語音声データと前記合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部とを含む。

本発明によれば、任意の音声データを目標話者の声質を有する音声データに変換する声質変換器を学習することにより、目標話者の音声データではない合成対象言語での音声データが１名分しかない場合であっても、その目標話者による合成対象言語での音声を合成するためのモデルを生成することが可能となる。

音素セグメンテーション情報の一例を示す図。 クロスリンガル音声合成用モデル学習装置１００の構成の一例を示す図。 クロスリンガル音声合成用モデル学習装置１００の動作の一例を示す図。 不特定話者声質変換器学習装置１１０の構成の一例を示す図。 不特定話者声質変換器学習装置１１０の動作の一例を示す図。 音声合成用モデル学習装置１２０の構成の一例を示す図。 音声合成用モデル学習装置１２０の動作の一例を示す図。 クロスリンガル音声合成装置２００の構成の一例を示す図。 クロスリンガル音声合成装置２００の動作の一例を示す図。 発音ベクトル作成規則の一例を示す図。 クロスリンガル音声合成用モデル学習装置３００の構成の一例を示す図。 不特定話者声質変換器学習装置３１０の構成の一例を示す図。 不特定話者声質変換器学習装置３１０の動作の一例を示す図。 音声合成用モデル学習装置３２０の構成の一例を示す図。 音声合成用モデル学習装置３２０の動作の一例を示す図。 発音ベクトル作成規則生成装置４００の構成の一例を示す図。 発音ベクトル作成規則生成装置４００の動作の一例を示す図。 第１発音統計情報生成部４１０の動作の一例を示す図。 発音類似性判定部４２０の動作の一例を示す図。 音声合成用モデル学習装置５２０の構成の一例を示す図。 音声合成用モデル学習装置５２０の動作の一例を示す図。 音声合成用モデル学習装置６２０の構成の一例を示す図。 音声合成用モデル学習装置６２０の動作の一例を示す図。 話者類似性判定部６１２の動作の一例を示す図。 音声合成用モデル学習装置７２０の構成の一例を示す図。 音声合成用モデル学習装置７２０の動作の一例を示す図。 音声合成用モデル学習装置８２０の構成の一例を示す図。 音声合成用モデル学習装置８２０の動作の一例を示す図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

＜表記方法＞
_（アンダースコア）は下付き添字を表す。例えば、x^y_zはy_zがxに対する上付き添字であり、x_{y_z}はy_zがxに対する下付き添字であることを表す。

＜定義＞
以下、各実施形態で用いる用語について説明する。

［音声合成用モデル］
音声合成用モデルとは、音声合成に必要となる音声特徴量・音響特徴量（以下、音声パラメータという）を統計的にモデル化したものである。音声パラメータの例として、ケプストラム、メルケプストラム等のスペクトルパラメータや基本周波数（F0）等の音高パラメータがある。音声合成用モデルは、後述する音声データと発話情報を用いて学習する。音声合成用モデルの学習手法はいくつか提案されており、例えばHMM音声合成（非特許文献１）、DNN音声合成（非特許文献２）がある。

［音声データ］
音声データとは、各学習（具体的には、不特定話者声質変換器の学習、クロスリンガル音声合成用モデルの学習）に用いるため、あらかじめ収録しておく音声データのことである。音声データは、話者が発話した文章の音声であり、音声データに対して信号処理を行った結果、得られる音声パラメータ（スペクトルパラメータ、音高パラメータ）として記録するのでもよい。

不特定話者声質変換器の学習には、目標話者による学習対象言語での音声データ（以下、目標話者音声データという）、N名の話者による学習対象言語での音声データ（以下、学習対象言語音声データ_n(1≦n≦N)という）が必要である。ここで、目標話者とは合成対象言語での合成音声の生成の対象となる主体である。目標話者音声データと学習対象言語音声データ_n(1≦n≦N)は、同一の文章を発話した音声データである必要がある。

また、クロスリンガル音声合成用モデルの学習には、M名の話者による合成対象言語での音声データ（以下、合成対象言語音声データ_m(1≦m≦M)という）が必要である。ただし、M=1であってもよい。つまり最低1名分の合成対象言語音声データがあればよい。このとき、合成対象言語音声データ₁の代わりに単に合成対象言語音声データということにする。

なお、学習対象言語音声データ_nを発話した話者のことを学習対象言語入力話者_nという。また、合成対象言語音声データ_mを発話した話者のことを合成対象言語入力話者_mという。一般に、学習対象言語入力話者_n(1≦n≦N)、合成対象言語入力話者_m(1≦m≦M)は、目標話者と異なる。

［発話情報］
発話情報とは、音声データ中の各発話（話者が発話した文章の音声）に対して付与される発音情報等の情報のことである。音声データ中の各発話に一つの発話情報が付与されている。

発話情報には、少なくとも各発話に対応する発音情報（読み、音素）が含まれる。また、各音素の開始時間と終了時間の情報である音素セグメンテーション情報が含まれていてもよい。ここでいう開始時間・終了時間は、各発話の始点を0[秒]としたときの経過時間のことである。音素セグメンテーション情報の一例を図１に示す。

また、発話情報には、音素や音素セグメンテーション情報以外の情報、例えば、アクセント情報（アクセント型、アクセント句長）、品詞情報を含んでいてもよい。

＜第一実施形態＞
以下、図２〜図９を参照してクロスリンガル音声合成用モデル学習装置１００、クロスリンガル音声合成装置２００について説明する。

［クロスリンガル音声合成用モデル学習装置１００］
図２に示すようにクロスリンガル音声合成用モデル学習装置１００は、不特定話者声質変換器学習装置１１０、音声合成用モデル学習装置１２０、記録部１９０を含む。記録部１９０は、クロスリンガル音声合成用モデル学習装置１００の処理に必要な情報を適宜記録する構成部である。クロスリンガル音声合成用モデル学習装置１００は、目標話者音声データ、学習対象言語音声データ_n(1≦n≦N)、合成対象言語音声データとその合成対象言語音声データに含まれる発話の発話情報の集合（以下、合成対象言語発話情報集合という）を入力として、目標話者による合成対象言語での音声を合成するクロスリンガル音声合成モデルを学習し、出力する。

図３に従いクロスリンガル音声合成用モデル学習装置１００の動作について説明する。不特定話者声質変換器学習装置１１０は、目標話者音声データ、学習対象言語音声データ_n(1≦n≦N)を入力として、任意の音声データを目標話者の声質を有する音声データへ変換する不特定話者声質変換器を学習し、出力する（Ｓ１１０）。音声合成用モデル学習装置１２０は、合成対象言語音声データと合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ１２０）。その際、不特定話者声質変換器を用いて、合成対象言語音声データを目標話者の声質を持つ音声データ（以下、声質変換後合成対象言語音声データという）へ変換する。

以下、不特定話者声質変換器学習装置１１０、音声合成用モデル学習装置１２０の構成、動作について詳細に説明していく。

まず、図４〜図５を参照して不特定話者声質変換器学習装置１１０について説明する。図４に示すように不特定話者声質変換器学習装置１１０は、時間情報調整部１０１、声質変換器学習部１０３を含む。図５に従い不特定話者声質変換器学習装置１１０の動作について説明する。

時間情報調整部１０１は、目標話者音声データ、学習対象言語音声データ_n(1≦n≦N)を入力として、目標話者音声データと学習対象言語音声データ_nに含まれる各文章の音声（つまり、発話）の時間情報をそろえた音声データ（以下、時間情報調整後目標話者音声データ_n、時間情報調整後学習対象言語音声データ_nという）を生成し、出力する（Ｓ１０１）。目標話者音声データについては、学習対象言語音声データ_n(1≦n≦N)それぞれと時間情報を調整するため、N名の学習対象言語入力話者それぞれに対する時間調整後の音声データである時間情報調整後目標話者音声データ_n(1≦n≦N)が生成される。時間情報の調整には、目標話者音声データと学習対象言語音声データ_nのフレーム間の対応付けを行う方法を用いればよい。例えば、多くの声質変換手法と同様、動的時間伸縮（Dynamic Time Warping, DTW）、DP（Dynamic Programming）マッチングを用いることができる。

声質変換器学習部１０３は、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nの組(1≦n≦N)を入力として、不特定話者声質変換器を学習し、出力する（Ｓ１０３）。例えば、時間情報調整後目標話者音声データ_n、時間情報調整後学習対象言語音声データ_nがスペクトルパラメータとして表現される場合、次のようにして不特定話者声質変換器を学習する。

時間情報調整後目標話者音声データ_nのスペクトルパラメータをC_n,target(t)、時間情報調整後学習対象言語音声データ_nのスペクトルパラメータをC_n,train(t)とする（tはフレーム番号を表す）。時間情報調整後学習対象言語音声データ_nのスペクトルパラメータC_n,train(t)と時間情報調整後目標話者音声データ_nのスペクトルパラメータC_n,target(t)の組を学習データとして、入力話者スペクトルパラメータc_train(t)から目標話者の声質に対応する目標話者スペクトルパラメータc^_target(t)へ変換する不特定話者声質変換器f_{train→target}を学習する。

ここで、不特定話者声質変換器f_{train→target}は、あるフレームtの任意の入力話者スペクトルパラメータから目標話者スペクトルパラメータへ変換する声質変換器となる。

一般的な声質変換器の学習方法では、話者Bの声質を有する音声データへ変換する声質変換器を学習するために話者Aの音声データを用いると、声質変換器の学習に使用した話者Aの音声データを入力しない限り、話者Bの声質を有する音声データへ変換することができない。そこで、ここでは、声質変換器の学習方法として、（参考非特許文献１）のニューラルネットワークに基づく方法を用いる。
（参考非特許文献１）能勢隆，篠崎隆宏，伊藤洋二郎，伊藤彰則，“ニューラルネットワークに基づくユーザ音声を必要としない多対一声質変換の検討”, 日本音響学会論文集２０１５年３月, 3-2-1, pp.271-274, 2015
（参考非特許文献１）では、声質変換器を学習する際、声質変換器の入力となる多数の学習対象言語入力話者の音声データと、声質変換器の出力となる1名の目標話者の音声データを学習データとして用いる。これにより、どのような話者の音声データを入力しても目標話者の声質を有する音声データに変換することが可能となる。

次に、図６〜図７を参照して音声合成用モデル学習装置１２０について説明する。図６に示すように音声合成用モデル学習装置１２０は、声質変換部１１１、合成用モデル学習部１１３を含む。図７に従い音声合成用モデル学習装置１２０の動作について説明する。

声質変換部１１１は、合成対象言語音声データを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データを生成し、出力する（Ｓ１１１）。例えば、不特定話者声質変換器が式(1)で表される場合、合成対象言語音声データのスペクトルパラメータC_synth,org(t)から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータC^_synth,target(t)へ変換する（tはフレーム番号）。

声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(1)に従い計算された目標話者スペクトルパラメータC^_synth,target(t)が声質変換後合成対象言語音声データである。

合成用モデル学習部１１３は、Ｓ１１１で生成した声質変換後合成対象言語音声データと、合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ１１３）。クロスリンガル音声合成用モデルの学習には、（非特許文献１）、（非特許文献２）などを用いることができる。

以下、クロスリンガル音声合成装置２００について説明していくが、クロスリンガル音声合成用モデルは（非特許文献１）にあるようなHMM音声合成用モデルであるとする。

［クロスリンガル音声合成装置２００］
図８に示すようにクロスリンガル音声合成装置２００は、テキスト解析部２１０、音声パラメータ生成部２２０、音声波形生成部２３０、記録部２９０を含む。記録部２９０は、クロスリンガル音声合成装置２００の処理に必要な情報を適宜記録する構成部である。クロスリンガル音声合成装置２００は、音声合成の対象となる合成対象言語でのテキストである合成テキストを入力として、クロスリンガル音声合成用モデルを用いて、合成テキストを読み上げた合成音声を生成し、出力する。

図９に従いクロスリンガル音声合成装置２００の動作について説明する。テキスト解析部２１０は、合成テキストを入力として、テキスト解析により、合成テキストの読み、アクセント等のコンテキスト情報を生成し、出力する（Ｓ２１０）。音声パラメータ生成部２２０は、Ｓ２１０で生成したコンテキスト情報を入力として、クロスリンガル音声合成用モデルを用いて音声パラメータ（スペクトルパラメータや音高パラメータ）を生成し、出力する（Ｓ２２０）。音声波形生成部２３０は、Ｓ２２０で生成した音声パラメータを入力として、音声合成フィルタを用いて合成音声を生成し、出力する（Ｓ２３０）。音声合成フィルタは、例えば、（参考非特許文献２）に記載のものを用いればよい。
（参考非特許文献２）今井聖，住田一男，古市千枝子，“音声合成のためのメル対数スペクトル近似（MLSA）フィルタ”，電子情報通信学会論文誌 A, Vol.J66-A, No.2, pp.122-129, 1983.

なお、目標話者音声データ、学習対象言語音声データ_n(1≦n≦N)の代わりに、あらかじめ時間情報を調整した時間情報調整後目標話者音声データ_n(1≦n≦N)、時間情報調整後学習対象言語音声データ_n(1≦n≦N)をクロスリンガル音声合成用モデル学習装置に入力するように構成することもできる。

本実施形態の発明によれば、あらかじめ用意した目標話者音声データとN名分の学習対象言語音声データを入力として学習した不特定話者声質変換器を用いて、目標話者とは異なる1名分の合成対象言語音声データを目標話者の声質を有する声質変換後合成対象言語音声データに変換する。次に、声質変換後合成対象言語音声データと、合成対象言語音声データの発話情報の集合から統計的パラメトリック音声合成であるクロスリンガル音声合成用モデル、つまり目標話者による合成対象言語での音声を合成するためのモデルを学習する。

これにより、N名分の学習対象言語音声データと1名分の合成対象言語音声データからのクロスリンガル音声合成のためのモデルを生成することが可能となり、当該モデルを用いることでクロスリンガル音声合成が可能となる。このため、学習対象言語と合成対象言語のバイリンガル話者による音声データや、学習対象言語と合成対象言語のそれぞれについて多数の話者による音声データを事前に用意する必要がなくなる。したがって、従来に比して低コストでクロスリンガル音声合成を実現することができる。

＜第二実施形態＞
第一実施形態では、不特定話者声質変換器の学習、不特定話者声質変換器による声質変換に際して、音声データ（スペクトルパラメータ）のみを使用している。つまり、音声データに付随する発話情報を使用せずに学習した不特定話者声質変換器を用いて声質変換をしている。このため、声質変換の精度が劣化し、最終的な合成音声の品質が劣化してしまう可能性がある。

そこで、本実施形態では、不特定話者声質変換器の学習、不特定話者声質変換器による声質変換に際して、発話情報も使用することを考える。しかし、一般に言語が異なると、例えば、音素体系のような発音情報が異なってしまうため、このままでは不特定話者声質変換器の学習、不特定話者声質変換器による声質変換に際して、発話情報を使用することはできない。発話情報を使用することができるようするため、学習対象言語と合成対象言語における発音情報の違いを吸収する目的で、両言語の類似した発音情報（音素）の対応関係を作成する。これにより、両言語間の発音情報の違いを考慮した不特定話者声質変換器の学習、不特定話者声質変換器による声質変換を実現する。

以下、学習対象言語と合成対象言語の類似した発音情報（音素）の対応関係のことを発音ベクトル作成規則という。その一例を図１０に示す。図１０の表の各行は類似する学習対象言語の音素と合成対象言語の音素を組にしてインデックスを付したもの、行数は学習対象言語の音素の数Lとなっている。この例では、学習対象言語は日本語、合成対象言語は英語であり、例えば、３行目（インデックスが３である行）をみると、日本語の音素”s”と英語の音素”s”,”th”が類似関係にあり、対応することがわかる。

なお、発音ベクトル作成規則の表現は、図１０のような、学習対象言語の音素の数Lを行数とする、学習対象言語の各音素に類似する合成対象言語の音素を示した表に限られるものではないが、以下の説明では発音ベクトル作成規則が図１０のような行数Lの表で表現されているものとする。

以下、図１１〜図１５を参照してクロスリンガル音声合成用モデル学習装置３００について説明する。なお、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。

［クロスリンガル音声合成用モデル学習装置３００］
図１１に示すようにクロスリンガル音声合成用モデル学習装置３００は、不特定話者声質変換器学習装置３１０、音声合成用モデル学習装置３２０、記録部１９０を含む。記録部１９０には、事前に発音ベクトル作成規則が記録されているものとする。クロスリンガル音声合成用モデル学習装置３００は、目標話者音声データ、学習対象言語音声データ_n(1≦n≦N)、学習対象言語音声データ_nに含まれる発話の発話情報の集合（以下、学習対象言語発話情報集合_n(1≦n≦N)という）、合成対象言語音声データ、合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する。

以下、不特定話者声質変換器学習装置３１０、音声合成用モデル学習装置３２０の構成、動作について詳細に説明していく。

まず、図１２〜図１３を参照して不特定話者声質変換器学習装置３１０について説明する。図１２に示すように不特定話者声質変換器学習装置３１０は、時間情報調整部１０１、第１発音ベクトル生成部３０２、声質変換器学習部３０３を含む。図１３に従い不特定話者声質変換器学習装置３１０の動作について説明する。

時間情報調整部１０１は、目標話者音声データ、学習対象言語音声データ_n(1≦n≦N)を入力として、目標話者音声データと学習対象言語音声データ_nに含まれる各文章の音声（発話）の時間情報をそろえた音声データである時間情報調整後目標話者音声データ_n、時間情報調整後学習対象言語音声データ_nを生成し、出力する（Ｓ１０１）。

第１発音ベクトル生成部３０２は、学習対象言語発話情報集合_nを入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、学習対象言語発音ベクトル集合_nを生成し、出力する（Ｓ３０２）。ここで、発音ベクトルとは、音声データ中の発話の各フレームに対して算出されるベクトルであり、そのフレームがどのような発音情報（音素）であるかを示すベクトルである。発音ベクトル作成規則が図１０のような行数Lの表で表現されている場合、発音ベクトルの次元はLとなる。学習対象言語発話情報集合_nの発話情報から発音ベクトル（以下、学習対象言語発音ベクトルという）を算出していき、その集合を学習対象言語発音ベクトル集合_nとして生成する。

以下、具体的に、ある発話情報に含まれる発音情報（音素）から発音ベクトルを算出する方法について説明していく。まず、発音情報（音素）に対して、発音ベクトル作成規則を用いて対応するインデックスidxを求める（ただし、1≦idx≦L）。図１０の例でいえば、真ん中の列の中から学習対象言語音素（ここでは日本語の音素）がある行を見出し、インデックスidxを得る。次に、得られたインデックスidxを数値ベクトル化し、発音ベクトルを算出する。数値ベクトル化の方法として、例えば、以下のような意図情報の1-of-K表現を使用し、インデックスidxから発音ベクトルV=(v₁, v₂, …, v_L)（Lは学習対象言語の音素数）を算出する。

ただし、j=1,…,Lである。

発音ベクトルに1-of-K表現を使用するのは、一般に、L個の値を取る情報（ここでは、インデックスidx）をニューラルネットの入力とする場合、1次元の数値として取り扱うよりも1-of-K表現として取り扱う方がより高性能の学習結果（つまり、不特定話者声質変換器）が得られるからである。

声質変換器学習部３０３は、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nと学習対象言語発音ベクトル集合_nの組(1≦n≦N)を入力として、不特定話者声質変換器を学習し、出力する（Ｓ３０３）。例えば、時間情報調整後目標話者音声データ_n、時間情報調整後学習対象言語音声データ_nがスペクトルパラメータとして表現される場合、次のようにして不特定話者声質変換器を学習する。

時間情報調整後目標話者音声データ_nのスペクトルパラメータをC_n,target(t)、時間情報調整後学習対象言語音声データ_nのスペクトルパラメータをC_n,train(t)、学習対象言語発音ベクトル集合_nの要素である学習対象言語発音ベクトルをV_n,train(t)とする（tはフレーム番号を表す）。時間情報調整後学習対象言語音声データ_nのスペクトルパラメータC_n,train(t)と対応する学習対象言語発音ベクトルV_n,train(t)の組(C_n,train(t), V_n,train(t))と時間情報調整後目標話者音声データ_nのスペクトルパラメータC_n,target(t)の組を学習データとして、拡張入力話者スペクトルパラメータ(c_train(t), v_train(t))から目標話者の声質に対応する目標話者スペクトルパラメータc^_target(t)へ変換する不特定話者声質変換器f_{train→target}を学習する。

ここで、不特定話者声質変換器f_{train→target}は、あるフレームtの任意の拡張入力話者スペクトルパラメータから目標話者スペクトルパラメータへ変換する声質変換器となる。

不特定話者声質変換器f_{train→target}の学習アルゴリズムは、第一実施形態と同じ（参考非特許文献１）記載の方法を用いればよい。ただし、学習データとして、時間情報調整後学習対象言語音声データ_nのスペクトルパラメータと対応する学習対象言語発音ベクトルの組と時間情報調整後目標話者音声データ_nのスペクトルパラメータの組を用いる点が異なる。

次に、図１４〜図１５を参照して音声合成用モデル学習装置３２０について説明する。図１４に示すように音声合成用モデル学習装置３２０は、声質変換部３１１、第２発音ベクトル生成部３１２、合成用モデル学習部３１３を含む。図１５に従い音声合成用モデル学習装置３２０の動作について説明する。

第２発音ベクトル生成部３１２は、合成対象言語発話情報集合を入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、合成対象言語発音ベクトル集合を生成し、出力する（Ｓ３１２）。合成対象言語発音ベクトル集合の生成方法は、第１発音ベクトル生成部３０２における学習対象言語発音ベクトル集合_nの生成方法と同様であり、合成対象言語発話情報集合の発話情報から算出される発音ベクトル（以下、合成対象言語発音ベクトルという）の集合が合成対象言語発音ベクトル集合である。

声質変換部３１１は、合成対象言語音声データと、Ｓ３１２で生成した合成対象言語発音ベクトル集合を入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データを生成し、出力する（Ｓ３１１）。例えば、不特定話者声質変換器が式(2)で表される場合、合成対象言語音声データのスペクトルパラメータC_synth,org(t)と対応する合成対象言語発音ベクトルV_synth,org(t)の組(C_synth,org(t), V_synth,org(t))から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータC^_synth,target(t)へ変換する。

声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(2)に従い計算された目標話者スペクトルパラメータC^_synth,target(t)が声質変換後合成対象言語音声データである。

合成用モデル学習部３１３は、Ｓ３１１で生成した声質変換後合成対象言語音声データと、合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ３１３）。

以下、図１６〜図１７を参照して発音ベクトル作成規則生成装置４００について説明する。ここで、発音ベクトル作成規則が学習対象言語の音声データと合成対象言語の音声データから生成できるためには、各音声データの発話情報に音素セグメンテーション情報が含まれている必要がある。

なお、国際音声記号（IPA；International Phonetic Alphabet）を用いることができる場合、発音ベクトル作成規則を簡易に生成することができる。ここで、国際音声記号とは、国際音声学会が定めた音声記号であり、あらゆる言語の発音情報（音素）を表記可能な記号である（参考ＵＲＬ）。
（参考ＵＲＬ：https://www.internationalphoneticassociation.org/content/full-ipa-chart）

学習対象言語の発話情報からIPAへ変換するための規則、合成対象言語の発話情報からIPAへ変換するための規則がそれぞれ用意されている場合、各言語からIPAへの変換規則を介して対応関係、つまり発音ベクトル作成規則を作成することができる。

［発音ベクトル作成規則生成装置４００］
図１６に示すように発音ベクトル作成規則生成装置４００は、第１発音統計情報生成部４１０、第２発音統計情報生成部４１５、発音類似性判定部４２０、記録部４９０を含む。記録部４９０は、発音ベクトル作成規則生成装置４００の処理に必要な情報を適宜記録する構成部である。発音ベクトル作成規則生成装置４００は、目標話者音声データと目標話者音声データに含まれる発話の発話情報の集合（以下、目標話者発話情報集合という）、合成対象言語音声データと合成対象言語発話情報集合を入力として、発音ベクトル作成規則を生成し、出力する。

以下、図１７に従い発音ベクトル作成規則生成装置４００の動作について説明する。

第１発音統計情報生成部４１０は、目標話者音声データと目標話者発話情報集合を入力として、学習対象言語発音統計情報を生成し、出力する（Ｓ４１０）。第１発音統計情報生成部４１０の動作は、具体的には、以下のようになる（図１８参照）。目標話者音声データから学習対象言語音素_j（j=1,…,L、ただし、Lは学習対象言語の音素数）の音声区間を特定し、学習対象言語音素_jの音声データ（例えば、スペクトルパラメータ）を抽出する（Ｓ４１０−１）。抽出された学習対象言語音素_jの音声データを用いて、学習対象言語音素_jの発音統計情報を算出する（Ｓ４１０−２）。学習対象言語音素₁の発音統計情報、…、学習対象言語音素_Lの発音統計情報の集合として学習対象言語発音統計情報を生成する（Ｓ４１０−３）。ここで、統計情報として、学習対象言語音素_jの音声データ全体の平均値、分散、四分位数や、例えば、正規混合分布（Gaussian Mixture Model, GMM）のような統計モデルを使用することができる。なお、目標話者音声データと目標話者発話情報集合の代わりに、学習対象言語音声データ_nと学習対象言語発話情報集合_nを用いてもよい（ただし、nは1以上N以下の整数）。

第２発音統計情報生成部４１５は、合成対象言語音声データと合成対象言語発話情報集合を入力として、合成対象言語発音統計情報を生成し、出力する（Ｓ４１５）。第２発音情報統計取得部４１５の動作は、第１発音統計情報生成部４１０の動作と同様であり、合成対象言語音素₁の発音統計情報、…、合成対象言語音素_Kの発音統計情報の集合として合成対象言語発音統計情報を生成する（ただし、Kは合成対象言語の音素数）。

発音類似性判定部４２０は、Ｓ４１０で生成した学習対象言語発音統計情報と、Ｓ４１５で生成した合成対象言語発音統計情報を入力として、発音ベクトル作成規則を生成し、出力する（Ｓ４２０）。発音類似性判定部４２０の動作は、具体的には、以下のようになる（図１９参照）。まず、合成対象言語音素_iの発音統計情報（i=1,…,K）と学習対象言語音素_jの発音統計情報（j=1,…,L）の距離d_ijを算出する（Ｓ４２０−１）。発音統計情報間の距離の算出方法は、用いる発音統計情報によって異なる。例えば、発音統計情報としてGMMを用いた場合、確率分布間の差異を測る尺度であるKLダイバージェンスを用いることができる。また、平均値、分散を用いた場合は、マハラノビス距離、四分位数を用いた場合は、四分位数のユークリッド距離を用いて距離d_ijを算出すればよい。次に、合成対象言語音素_iについて、学習対象言語音素₁との距離d_i1、…、学習対象言語音素_Lとの距離d_iLの中から最小となる学習対象言語音素_{j_min}（1≦j_min≦L）を特定する（Ｓ４２０−２）。合成対象言語音素_iと学習対象言語音素_{j_min}を対応するものとして、インデックス、学習対象言語音素_{j_min}、合成対象言語音素_iの組を表に追加していき、最終的に発音ベクトル作成規則を生成する（Ｓ４２０−３）。

本実施形態の発明によれば、学習対象言語の発話情報も用いて不特定話者声質変換器を生成することにより、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。

＜第三実施形態＞
第一実施形態では、合成対象言語音声データとして1名の話者の音声データを使用している。

本実施形態では、合成対象言語音声データとして複数の話者の音声データを使用する。これにより、合成音声の品質を向上させることができる。

以下、図２０〜図２１を参照して音声合成用モデル学習装置５２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置１１０を用いることができる。つまり、不特定話者声質変換器学習装置１１０と、音声合成用モデル学習装置５２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。

［音声合成用モデル学習装置５２０］
図２０に示すように音声合成用モデル学習装置５２０は、声質変換部５１１、合成用モデル学習部５１３を含む。図２１に従い音声合成用モデル学習装置５２０の動作について説明する。ここでは、合成対象言語音声データ_m(1≦m≦M)が必要である。

声質変換部５１１は、合成対象言語音声データ_mを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データ_mを生成し、出力する（Ｓ５１１）。例えば、不特定話者声質変換器が式(1)で表される場合、合成対象言語音声データ_mのスペクトルパラメータC_synth,org,m(t)から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータ_m C^_{synth,target,m}(t)へ変換する。

声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(1)に従い計算された目標話者スペクトルパラメータ_m C^_{synth,target,m}(t)が声質変換後合成対象言語音声データ_mである。

合成用モデル学習部５１３は、Ｓ５１１で生成した声質変換後合成対象言語音声データ_mと、合成対象言語発話情報集合_mを入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ５１３）。クロスリンガル音声合成用モデルの学習には、（非特許文献１）、（非特許文献２）を用いることができる。また、（参考非特許文献３）のように複数の話者の音声データを用いて学習する平均声モデルを音声合成用モデルとして用いることもできる。
（参考非特許文献３）田村正統，益子貴史，徳田恵一，小林隆夫，“HMMに基づく音声合成におけるピッチ・スペクトルの話者適応”，電子情報通信学会論文誌 D, Vol.J85-D2, No.4, pp.545-553, 2002.

一般に、音声合成用モデルを学習する際、学習に使用できる音声データ、発話情報の量が多いほど高品質な合成音声を生成することが可能である。本実施形態では、M名の合成対象言語音声データを用いている。M名の合成対象言語音声データを用いた場合、目標話者の声質を有する、M名の声質変換後合成対象言語音声データを音声合成用モデルの学習データとして使用することができる。これにより、1名分の合成対象言語音声データを使用する場合に比して、音声合成用モデル学習に使用可能な音声データの量が増加するため、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。

＜第四実施形態＞
第三実施形態では、M名の話者による合成対象言語音声データから生成した声質変換後合成対象言語音声データをすべて音声合成用モデル学習に使用している。

しかし、合成対象言語入力話者_mと目標話者の話者性が大きく異なる場合、声質変換部５１１が生成する声質変換後合成対象言語音声データ_mの変換精度が劣化する場合がある。したがって、必ずしもM名すべての声質変換後合成用対象言語音声データを音声合成用モデル学習に使用することが適切であるとは限らない。

そこで、本実施形態では、この問題を回避するために、M名の声質変換後合成用対象言語音声データのうち、変換精度が高いもののみを音声合成用モデルの学習に使用する。
これにより、合成音声の品質を向上させることができる。

以下、図２２〜図２３を参照して音声合成用モデル学習装置６２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置１１０を用いることができる。つまり、不特定話者声質変換器学習装置１１０と、音声合成用モデル学習装置６２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。

［音声合成用モデル学習装置６２０］
図２２に示すように音声合成用モデル学習装置６２０は、声質変換部５１１、話者類似性判定部６１２、合成用モデル学習部５１３を含む。図２３に従い音声合成用モデル学習装置６２０の動作について説明する。

声質変換部５１１は、合成対象言語音声データ_mを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データ_mを生成し、出力する（Ｓ５１１）。

話者類似性判定部６１２は、Ｓ５１１で生成した声質変換後合成対象言語音声データ_m (1≦m≦M)と目標話者音声データを入力として、声質変換後合成対象言語音声データ_mと目標話者音声データの類似の程度を示す類似度_mを算出し、類似度_mに基づいて声質変換後合成対象言語音声データ_mが目標話者音声データに類似していると判定される場合、声質変換後合成対象言語音声データ_mを目標話者音声データに類似している声質変換後合成対象言語音声データの集合である目標話者類似合成対象言語音声データ集合に追加していくことにより、目標話者類似合成対象言語音声データ集合を生成する（Ｓ６１２）。類似度の算出には、声質変換後合成対象言語音声データ_mと目標話者音声データとの差、例えばスペクトルパラメータの差を利用する。そのような方法として、正規混合分布（GMM）を使用する（参考非特許文献４）の方法がある。
（参考非特許文献４）D. A. Reynolds, “Speaker identification and verification using Gaussian mixture speaker models”, Speech Communication, vol.17, Issues 1-2, pp.91-108, 1995.

話者類似性判定部６１２の動作は、具体的には、以下のようになる（図２４参照）。まず、目標話者音声データを使用して、目標話者のGMMを学習する（Ｓ６１２−１）。次に、学習した目標話者のGMMに対して、声質変換後合成対象言語音声データ_mを入力し、合成対象言語入力話者_mの尤度を類似度_mとして算出する（Ｓ６１２−２）。最後に、類似度_mが所定の閾値以上である（または、所定の閾値より大きい）場合、声質変換後合成対象言語音声データ_mと目標話者音声データは類似していると判定（つまり、合成対象言語入力話者_mを目標話者と類似性が高い話者と判定）し、声質変換後合成対象言語音声データ_mを目標話者類似合成対象言語音声データ集合の要素として決定する（Ｓ６１２−３）。

合成用モデル学習部５１３は、Ｓ６１２で生成した目標話者類似合成対象言語音声データ集合と、合成対象言語発話情報集合_m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ５１３）。ここでは、目標話者類似合成対象言語音声データ集合の要素である声質変換後合成対象言語音声データ_mに対応する合成対象言語発話情報集合_mのみが使用されることになる。

なお、Ｓ６１２で目標話者類似合成対象言語音声データ集合を生成する代わりに、最も類似度が大きい声質変換後合成対象言語音声データを目標話者類似合成対象言語音声データとして生成するのでもよい。この場合、合成用モデル学習部５１３は、Ｓ６１２で生成した目標話者類似合成対象言語音声データと、合成対象言語発話情報集合_m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する。

本実施形態では、類似度が大きい声質変換後合成対象言語音声データのみを音声合成用モデルの学習データとして用いている。これにより、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。

特に、最も類似度が大きい声質変換後合成対象言語音声データのみを学習データとして用いる場合は、目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近いクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近い合成音声を生成することができる。

＜第五実施形態＞
第二実施形態では、合成対象言語音声データとして1名の話者の音声データを使用している。

本実施形態では、合成対象言語音声データとして複数の話者の音声データを使用する。これにより、合成音声の品質を向上させることができる。

以下、図２５〜図２６を参照して音声合成用モデル学習装置７２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置３１０を用いることができる。つまり、不特定話者声質変換器学習装置３１０と、音声合成用モデル学習装置７２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。ここで、記録部１９０には、事前に発音ベクトル作成規則が記録されているものとする。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。

［音声合成用モデル学習装置７２０］
図２５に示すように音声合成用モデル学習装置７２０は、声質変換部７１１、第２発音ベクトル生成部７１２、合成用モデル学習部７１３を含む。図２６に従い音声合成用モデル学習装置７２０の動作について説明する。ここでは、合成対象言語音声データ_m(1≦m≦M)が必要である。

第２発音ベクトル生成部７１２は、合成対象言語発話情報集合_mを入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、合成対象言語発音ベクトル集合_mを生成し、出力する（Ｓ７１２）。合成対象言語発音ベクトル集合_mの生成方法は、第２発音ベクトル生成部３１２における合成対象言語発音ベクトル集合の生成方法と同様であり、合成対象言語発話情報集合_mの発話情報から算出される発音ベクトル（以下、合成対象言語発音ベクトルという）の集合が合成対象言語発音ベクトル集合_mである。

声質変換部７１１は、合成対象言語音声データ_mと、Ｓ７１２で生成した合成対象言語発音ベクトル集合_mを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データ_mを生成し、出力する（Ｓ７１１）。例えば、不特定話者声質変換器が式(2)で表される場合、合成対象言語音声データ_mのスペクトルパラメータC_synth,org,m(t)と対応する合成対象言語発音ベクトルV_synth,org,m(t)の組(C_synth,org,m(t), V_synth,org,m(t))から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータ_m C^_{synth,target,m}(t)へ変換する。

声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(2)に従い計算された目標話者スペクトルパラメータ_m C^_{synth,target,m}(t)が声質変換後合成対象言語音声データ_mである。

合成用モデル学習部７１３は、Ｓ７１１で生成した声質変換後合成対象言語音声データ_mと、合成対象言語発話情報集合_mを入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ７１３）。クロスリンガル音声合成用モデルの学習には、（非特許文献１）、（非特許文献２）、（参考非特許文献３）を用いることができる。

本実施形態では、M名の合成対象言語音声データを用いている。M名の合成対象言語音声データを用いた場合、目標話者の声質を有する、M名の声質変換後合成対象言語音声データを音声合成用モデルの学習データとして使用することができる。これにより、1名分の合成対象言語音声データを使用する場合に比して、音声合成用モデル学習に使用可能な音声データの量が増加するため、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。その上、第二実施形態同様、学習対象言語の発話情報も用いて学習した不特定話者声質変換器を用いているため、合成音声の品質をより向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。

＜第六実施形態＞
第五実施形態では、M名の話者による合成対象言語音声データから生成した声質変換後合成対象言語音声データをすべて音声合成用モデル学習に使用している。

しかし、合成対象言語入力話者_mと目標話者の話者性が大きく異なる場合、声質変換部７１１が生成する声質変換後合成対象言語音声データ_mの変換精度が劣化する場合がある。したがって、必ずしもM名すべての声質変換後合成用対象言語音声データを音声合成用モデル学習に使用することが適切であるとは限らない。

そこで、本実施形態では、この問題を回避するために、M名の声質変換後合成用対象言語音声データのうち、変換精度が高いもののみを音声合成用モデルの学習に使用する。
これにより、合成音声の品質を向上させることができる。

以下、図２７〜図２８を参照して音声合成用モデル学習装置８２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置３１０を用いることができる。つまり、不特定話者声質変換器学習装置３１０と、音声合成用モデル学習装置８２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。ここで、記録部１９０には、事前に発音ベクトル作成規則が記録されているものとする。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。

［音声合成用モデル学習装置８２０］
図２７に示すように音声合成用モデル学習装置８２０は、声質変換部７１１、第２発音ベクトル生成部７１２、話者類似性判定部８１２、合成用モデル学習部７１３を含む。図２８に従い音声合成用モデル学習装置８２０の動作について説明する。

第２発音ベクトル生成部７１２は、合成対象言語発話情報集合_mを入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、合成対象言語発音ベクトル集合_mを生成し、出力する（Ｓ７１２）。

声質変換部７１１は、合成対象言語音声データ_mと、Ｓ７１２で生成した合成対象言語発音ベクトル集合_mを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データ_mを生成し、出力する（Ｓ７１１）。

話者類似性判定部８１２は、Ｓ７１１で生成した声質変換後合成対象言語音声データ_m (1≦m≦M)と目標話者音声データを入力として、声質変換後合成対象言語音声データ_mと目標話者音声データの類似の程度を示す類似度_mを算出し、類似度_mに基づいて声質変換後合成対象言語音声データ_mが目標話者音声データに類似していると判定される場合、声質変換後合成対象言語音声データ_mを目標話者音声データに類似している声質変換後合成対象言語音声データの集合である目標話者類似合成対象言語音声データ集合に追加していくことにより、目標話者類似合成対象言語音声データ集合を生成する（Ｓ８１２）。話者類似性判定部８１２の動作は、話者類似性判定部６１２の動作と同様でよい。

合成用モデル学習部７１３は、Ｓ８１２で生成した目標話者類似合成対象言語音声データ集合と、合成対象言語発話情報集合_m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ７１３）。ここでは、目標話者類似合成対象言語音声データ集合の要素である声質変換後合成対象言語音声データ_mに対応する合成対象言語発話情報集合_mのみが使用されることになる。

なお、Ｓ８１２で目標話者類似合成対象言語音声データ集合を生成する代わりに、最も類似度が大きい声質変換後合成対象言語音声データを目標話者類似合成対象言語音声データとして生成するのでもよい。この場合、合成用モデル学習部７１３は、Ｓ８１２で生成した目標話者類似合成対象言語音声データと、合成対象言語発話情報集合_m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する。

本実施形態では、類似度が大きい声質変換後合成対象言語音声データのみを音声合成用モデルの学習データとして用いている。これにより、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。その上、第二実施形態同様、学習対象言語の発話情報も用いて学習した不特定話者声質変換器を用いているため、合成音声の品質をより向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。

特に、最も類似度が大きい声質変換後合成対象言語音声データのみを学習データとして用いる場合は、目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近いクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近い合成音声を生成することができる。

＜変形例＞
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

1. Nを1以上の整数、nを1≦n≦Nなる整数とし、
   目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者_nによる学習対象言語での音声データである学習対象言語音声データ_n(1≦n≦N)は、同一の文章を発話した音声データであり、
   前記目標話者音声データと前記学習対象言語音声データ_n(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、
   前記目標話者音声データと前記学習対象言語音声データ_nとの時間情報を調整し、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nを生成する時間情報調整部と、
   前記時間情報調整後目標話者音声データ_nと前記時間情報調整後学習対象言語音声データ_nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、
   前記不特定話者声質変換器を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データから、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、
   前記声質変換後合成対象言語音声データと前記合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部と
   を含むクロスリンガル音声合成用モデル学習装置。
2. Nを1以上の整数、nを1≦n≦Nなる整数とし、
   目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者_nによる学習対象言語での音声データである学習対象言語音声データ_n(1≦n≦N) は、同一の文章を発話した音声データであり、
   前記目標話者音声データと前記学習対象言語音声データ_n(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、
   学習対象言語の音素と合成対象言語の音素の対応関係を示す発音ベクトル作成規則を記録した記録部と、
   前記目標話者音声データと前記学習対象言語音声データ_nとの時間情報を調整し、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nを生成する時間情報調整部と、
   前記発音ベクトル作成規則を用いて、前記学習対象言語音声データ_nに含まれる発話の発話情報の集合である学習対象言語発話情報集合_nから、前記発話情報から算出される発音ベクトルの集合である学習対象言語発音ベクトル集合_nを生成する第１発音ベクトル生成部と、
   前記時間情報調整後目標話者音声データ_nと前記時間情報調整後学習対象言語音声データ_nと前記学習対象言語発音ベクトル集合_nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、
   前記発音ベクトル作成規則を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記発話情報から算出される発音ベクトルの集合である合成対象言語発音ベクトル集合を生成する第２発音ベクトル生成部と、
   前記不特定話者声質変換器を用いて、前記合成対象言語音声データと前記合成対象言語発音ベクトル集合から、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、
   前記声質変換後合成対象言語音声データと前記合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部と
   を含むクロスリンガル音声合成用モデル学習装置。
3. 請求項１に記載のクロスリンガル音声合成用モデル学習装置であって、
   Mを1以上の整数、mを1≦m≦Mなる整数とし、
   前記声質変換部は、合成対象言語入力話者_mによる合成対象言語での音声データである合成対象言語音声データ_mから、前記目標話者の声質を有する声質変換後合成対象言語音声データ_mを生成し、
   前記合成用モデル学習部は、前記声質変換後合成対象言語音声データ_mと前記合成対象言語音声データ_mに含まれる発話の発話情報の集合である合成対象言語発話情報集合_m(1≦m≦M)から、前記クロスリンガル音声合成用モデルを学習する
   ことを特徴とするクロスリンガル音声合成用モデル学習装置。
4. 請求項３に記載のクロスリンガル音声合成用モデル学習装置であって、
   さらに、
   前記声質変換後合成対象言語音声データ_mと前記目標話者音声データの類似の程度を示す類似度_mを算出し、前記類似度_mに基づいて前記声質変換後合成対象言語音声データ_mが前記目標話者音声データに類似していると判定される場合、前記声質変換後合成対象言語音声データ_mを前記目標話者音声データに類似している声質変換後合成対象言語音声データの集合である目標話者類似合成対象言語音声データ集合に追加していくことにより、前記目標話者類似合成対象言語音声データ集合を生成する話者類似性判定部を含み、
   前記合成用モデル学習部は、前記目標話者類似合成対象言語音声データ集合と前記合成対象言語発話情報_m(1≦m≦M)から、前記クロスリンガル音声合成用モデルを学習する
   ことを特徴とするクロスリンガル音声合成用モデル学習装置。
5. 請求項１ないし４のいずれか１項に記載のクロスリンガル音声合成用モデル学習装置で学習したクロスリンガル音声合成用モデルを用いて、音声合成の対象となる合成対象言語でのテキストである合成テキストから当該合成テキストの合成音声を生成するクロスリンガル音声合成装置であって、
   前記合成テキストから、当該合成テキストのコンテキスト情報を生成するテキスト解析部と、
   前記クロスリンガル音声合成用モデルを用いて、前記コンテキスト情報から音声パラメータを生成する音声パラメータ生成部と、
   前記音声パラメータから、前記合成音声を生成する音声波形生成部と
   を含むクロスリンガル音声合成装置。
6. Nを1以上の整数、nを1≦n≦Nなる整数とし、
   目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者_nによる学習対象言語での音声データである学習対象言語音声データ_n(1≦n≦N) は、同一の文章を発話した音声データであり、
   クロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データ_n(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習方法であって、
   前記クロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データ_nとの時間情報を調整し、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nを生成する時間情報調整ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記時間情報調整後目標話者音声データ_nと前記時間情報調整後学習対象言語音声データ_nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記不特定話者声質変換器を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データから、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記声質変換後合成対象言語音声データと前記合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習ステップと
   を含むクロスリンガル音声合成用モデル学習方法。
7. Nを1以上の整数、nを1≦n≦Nなる整数とし、
   目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者_nによる学習対象言語での音声データである学習対象言語音声データ_n(1≦n≦N) は、同一の文章を発話した音声データであり、
   学習対象言語の音素と合成対象言語の音素の対応関係を示す発音ベクトル作成規則を記録した記録部を有するクロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データ_n(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習方法であって、
   前記クロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データ_nとの時間情報を調整し、時間情報調整後目標話者音声データ_nと時間情報調整後学習対象言語音声データ_nを生成する時間情報調整ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記発音ベクトル作成規則を用いて、前記学習対象言語音声データ_nに含まれる発話の発話情報の集合である学習対象言語発話情報集合_nから、前記発話情報から算出される発音ベクトルの集合である学習対象言語発音ベクトル集合_nを生成する第１発音ベクトル生成ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記時間情報調整後目標話者音声データ_nと前記時間情報調整後学習対象言語音声データ_nと前記学習対象言語発音ベクトル集合_nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記発音ベクトル作成規則を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記発話情報から算出される発音ベクトルの集合である合成対象言語発音ベクトル集合を生成する第２発音ベクトル生成ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記不特定話者声質変換器を用いて、前記合成対象言語音声データと前記合成対象言語発音ベクトル集合から、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換ステップと、
   前記クロスリンガル音声合成用モデル学習装置が、前記声質変換後合成対象言語音声データと前記合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習ステップと
   を含むクロスリンガル音声合成用モデル学習方法。
8. 請求項１ないし４のいずれか１項に記載のクロスリンガル音声合成用モデル学習装置、または請求項５に記載のクロスリンガル音声合成装置としてコンピュータを機能させるためのプログラム。

Images