JP2019179257A - 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム - Google Patents

Abstract

【課題】小さなサイズかつ複数話者の合成音声を生成できるＤＮＮ音響モデルを低コストで学習できる音響モデル学習装置を提供する。【解決手段】複数の話者の音声データと、少なくとも音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、話者を特定するデータあるいは話者の特徴を表すデータとを用いて、音声波形合成に必要な、音高パラメータ、及び、スペクトルパラメータを含む音声パラメータを生成するためのディープニューラルネットワーク音響モデルを学習する音響モデル学習部を有し、ニューラルネットワークの入力層に、少なくとも音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、話者を特定するデータあるいは話者の特徴を表すデータを入力することを特徴とする。【選択図】図３

Description

本発明は、音声データからディープニューラルネットワーク音響モデルを学習する音響モデル学習装置、学習されたディープニューラルネットワーク音響モデルを用いて合成音声を生成する音声合成装置、音響モデル学習方法、音声合成方法、プログラムに関する。

目標話者の音声データから、その話者の合成音声を生成する手法として、ＤＮＮ（ディープニューラルネットワーク）に基づく技術がある（非特許文献１）。以下、図１、図２を参照して非特許文献１の音響モデル学習装置、音声合成装置の構成、および動作について説明する。図１は、同文献の音響モデル学習装置９１の構成を示すブロック図である。図２は、同文献の音声合成装置９２の構成を示すブロック図である。

図１に示すように、非特許文献１の音響モデル学習装置９１は、話者音声データベース９１１と、音響モデル学習部９１３と、音響モデル記憶部９１４を含む。話者音声データベース９１１は、音声データ記憶部９１１１と、コンテキストデータ記憶部９１１２を含む。音声データ記憶部９１１１は、目標話者の音声データ（音声パラメータ）を予め記憶している。コンテキストデータ記憶部９１１２は、目標話者の音声データに対応するコンテキストデータを予め記憶している。詳細は後述するが、コンテキストデータには、少なくとも音声データの音素情報とアクセント情報が含まれるものとする。

音響モデル学習部９１３は、目標話者の音声データ、コンテキストデータを用いて、ＤＮＮ（ディープニューラルネットワーク）による、目標話者の音響モデルを学習し、学習された音響モデル（以下、ＤＮＮ音響モデル、またはディープニューラルネットワーク音響モデルと呼称する）を音響モデル記憶部９１４に記憶する。

図２に示すように、非特許文献１の音声合成装置９２は、テキスト解析部９２１と、音声パラメータ生成部９２２と、音声波形生成部９２３を含む。

テキスト解析部９２１は、入力テキスト（音声合成目的のテキストデータ）を解析して、前述のコンテキストデータを取得する。音声パラメータ生成部９２２は、音響モデル記憶部９１４に記憶されたディープニューラルネットワーク音響モデルを用いて、コンテキストデータから音声パラメータを生成する。音声波形生成部９２３は、生成された音声パラメータを用いて音声波形を生成する。

Zen et al., "Statistical parametric speech synthesis using deep neural networks." Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013 pp. 7962-7966.

ＤＮＮ音響モデルにより高品質な音声合成を達成するためには、音響モデル学習部９１３において、目標話者の大量の音声データおよびコンテキストデータが必要となる。また、一つのＤＮＮ音響モデルからは、単一話者の音声のみが合成可能であった。

このため、複数の話者の音声をＤＮＮに基づく音声合成により達成するためには、複数の話者について、それぞれ大量の音声データおよびコンテキストデータが必要であり、学習にかかるコストが大きい。

また、複数の話者の合成音声を得るためには、その人数に応じた数のＤＮＮ音響モデルを保持する必要があり、話者数の増大に伴い使用メモリ数が増大する。

そこで本発明では、小さなサイズかつ複数話者の合成音声を生成できるＤＮＮ音響モデルを低コストで学習できる音響モデル学習装置を提供することを目的とする。

本発明の音響モデル学習装置は、複数の話者の音声データと、少なくとも音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、話者を特定するデータあるいは話者の特徴を表すデータとを用いて、音声波形合成に必要な、音高パラメータ、及び、スペクトルパラメータを含む音声パラメータを生成するためのディープニューラルネットワーク音響モデルを学習する音響モデル学習部を有し、ニューラルネットワークの入力層に、少なくとも音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、話者を特定するデータあるいは話者の特徴を表すデータを入力することを特徴とする。

本発明の音響モデル学習装置によれば、小さなサイズかつ複数話者の合成音声を生成できるＤＮＮ音響モデルを低コストで学習できる。

非特許文献１の音響モデル学習装置の構成を示すブロック図。 非特許文献１の音声合成装置の構成を示すブロック図。 実施例１の音響モデル学習装置の構成を示すブロック図。 実施例１の音響モデル学習装置の動作を示すフローチャート。 実施例１の音声合成装置の構成を示すブロック図。 実施例１の音声合成装置の動作を示すフローチャート。 実施例２の音響モデル学習装置の構成を示すブロック図。 実施例２の音響モデル学習装置の動作を示すフローチャート。 実施例２の音声合成装置の構成を示すブロック図。 実施例２の音声合成装置の動作を示すフローチャート。 実施例３の音響モデル学習装置の構成を示すブロック図。 実施例３の音響モデル学習装置の動作を示すフローチャート。 実施例３の音声合成装置の構成を示すブロック図。 実施例３の音声合成装置の動作を示すフローチャート。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

以下、図３、図４を参照して実施例１の音響モデル学習装置の構成、および動作について説明する。図３は、本実施例の音響モデル学習装置１１の構成を示すブロック図である。図４は、本実施例の音響モデル学習装置１１の動作を示すフローチャートである。非特許文献１の音響モデル学習装置９１と異なる点は、本実施例の音響モデル学習装置１１が話者を特定するデータを活用する点である。

図３に示すように、本実施例の音響モデル学習装置１１は、複数話者音声データベース１１１と、音響モデル学習部１１３と、音響モデル記憶部９１４を含む。複数話者音声データベース１１１は、複数の話者（Ｎを２以上の整数とし、Ｎ人の話者）それぞれに対し、各話者の音声データを記憶した音声データ記憶部１１１１−１、…、１１１１−Ｎと、各話者の音声データに対応するコンテキストデータを記憶したコンテキストデータ記憶部１１１２−１、…、１１１２−Ｎを含む。音声データは、音声合成用のＤＮＮ音響モデルを学習する対象とされたＮ人の話者が複数の文章を発話した音声のデータである。コンテキストデータは、音声データ中の各発話につき一つずつ付与された発音等の情報である。コンテキストデータは音声データの発話情報を保持するものであって、少なくとも音素情報（発音情報）とアクセント情報（アクセント型、アクセント句長）が含まれている。コンテキストデータには、これ以外にも品詞情報等が含まれてもよい。なお、音響モデル記憶部９１４は、前述した非特許文献１の音響モデル学習装置９１における同名の構成要素と同じである。

音響モデル学習部１１３は、複数の話者の音声データと、対応するコンテキストデータに加え、話者を特定するデータを用いて、音声波形合成に必要な音声パラメータを生成するためのＤＮＮ音響モデルを学習し、学習されたＤＮＮ音響モデルを音響モデル記憶部９１４に記憶する（Ｓ１１３）。話者を特定するデータとは、ある音声データを読み上げた話者を特定するための情報（データ）である。話者を特定するデータを数値ベクトルとして表現した、例えば話者コードを用いることができる。話者コードは、Ｎ名の話者のうち、どの話者の発話かを識別する情報を、１−ｏｆ−Ｋ表現で表現したベクトルとすることができる。１−ｏｆ−Ｋ表現とはベクトルのある要素だけが１、他の全ての要素が０となる表現のことである。

すなわち音響モデル学習部１１３は、コンテキストデータを数値ベクトルで表現した言語特徴量ベクトルと、話者コードを連結したものを入力とし、話者、コンテキストデータに対応する音声パラメータを出力とするＤＮＮ音響モデルを学習する（Ｓ１１３）。

以下、図５、図６を参照して、本実施例の音声合成装置１２の構成、および動作について説明する。図５は、本実施例の音声合成装置１２の構成を示すブロック図である。図６は、本実施例の音声合成装置１２の動作を示すフローチャートである。非特許文献１の音声合成装置９２と異なる点は、本実施例の音声合成装置１２が話者を特定するデータを活用する点である。

図５に示すように、本実施例の音声合成装置１２は、テキスト解析部９２１と、音声パラメータ生成部１２２と、音声波形生成部９２３を含む。テキスト解析部９２１と、音声波形生成部９２３は、前述した非特許文献１の音声合成装置９２における同名の構成要素と同じ動作をする。音声パラメータ生成部１２２は、音響モデル記憶部９１４に記憶されたＤＮＮ音響モデルを用いて、入力テキストを解析して取得されたコンテキストデータと、入力テキストとともに入力される話者を特定するデータ（話者コード）から音声パラメータを生成する（Ｓ１２２）。音声パラメータは、音高パラメータ（基本周波数Ｆ０等）、スペクトルパラメータ（ケプストラム、メルケプストラム等）を含むものとする。具体的には、音声パラメータ生成部１２２は、コンテキストデータと話者コードを連結し、ＤＮＮ音響モデルへの入力ベクトルを得る。音声パラメータ生成部１２２は、入力ベクトルをＤＮＮ音響モデルへ入力し、順伝播により音声パラメータを生成する（Ｓ１２２）。音声波形生成部９２３は、非特許文献１と同様に、音声パラメータから、音声波形生成により合成音声を得る（Ｓ９２３）。音声波形生成部９２３は、音声波形生成の前に、例えば、maximum likelihood generation（ＭＬＰＧ）アルゴリズム（参考非特許文献１）を用いて時間方向に平滑化された音声パラメータ系列を得てもよい。音声波形生成には、例えば（参考非特許文献２）を用いてもよい。
（参考非特許文献１：益子他、“動的特徴を用いたHMMに基づく音声合成”、信学論、vol.J79-D-II，no.12，pp.2184-2190，Dec. 1996.）
（参考非特許文献２：今井他、“音声合成のためのメル対数スペクトル近似（MLSA）フィルタ”、電子情報通信学会論文誌 A Vol.J66-A No.2 pp.122-129, Feb. 1983.）

本実施例の音響モデル学習装置１１によれば、コンテキストデータに加え、話者を特定するデータ（話者コード）を活用したため、対応するコンテキストデータと話者性を反映した音声パラメータを出力するＤＮＮ音響モデルを学習することができる。

本実施例では、音声パラメータに話者を特徴づける成分と日本語音声として話者間で共通する成分とが含まれることを仮定している。具体的には、話者を特徴づける成分に対応する入力として各話者の１−ｏｆ−Ｋ表現である話者コードが用いられ、日本語音声として話者間で共通する成分に対応する入力としてコンテキストデータが用いられる。話者を特徴づける成分と話者間で共通する成分とで構成される音声パラメータを教師信号として与えることで、ＤＮＮ内部でそれぞれの成分に対応したパラメータ推定器が学習される。これにより、単一のＤＮＮ音響モデルで学習に用いられた話者それぞれに対応する音声合成が可能となる。

日本語の音声は多様なコンテキストに対して多様な音声パラメータ表現となるため、多様なコンテキストに対して音声パラメータを精度よく推定するためには大量の音声データが必要となるのが通常であった。しかし本実施例では、音声パラメータに話者を特徴づける成分と日本語音声として話者間で共通する成分とが含まれることを仮定したため、複数話者にまたがって十分な量の音声データが存在すればよく、単一の話者について大量の音声データを準備する必要がない。すなわち、複数の話者の音声データを効率的に活用し、一つのＤＮＮ音響モデルを学習するため、学習に必要な音声データを減らすことができる。また、一つの音響モデルで複数の話者性を反映した音声合成を実現するため、より少ないメモリ使用量で、多数の話者を扱う音声合成システムを実現できる。

実施例１のように、話者コード（１−ｏｆ−Ｋ表現）を用いる場合、複数話者音声データベース１１１に含まれる話者以外の話者の音声合成を行うことができない。そこで実施例２では、目標話者の参照発話のスペクトル情報の特徴を抽出し、モデル学習・音声合成に使用することにより、参照発話が得られる任意の目標話者についての音声合成を可能とした。以下、図７、図８を参照して実施例２の音響モデル学習装置２１の構成、および動作について説明する。図７は、本実施例の音響モデル学習装置２１の構成を示すブロック図である。図８は、本実施例の音響モデル学習装置２１の動作を示すフローチャートである。実施例１の音響モデル学習装置１１と異なる点は、本実施例の音響モデル学習装置２１が話者の特徴を表すデータ（話者スペクトル特徴ベクトル）を活用する点である。

図７に示すように、本実施例の音響モデル学習装置２１は、複数話者音声データベース１１１と、スペクトル特徴抽出部２１２と、音響モデル学習部２１３と、音響モデル記憶部９１４を含み、複数話者音声データベース１１１、音響モデル記憶部９１４については実施例１の同名の構成要件と同じである。

スペクトル特徴抽出部２１２は、各話者の音声データ記憶部１１１１−１〜１１１１−Ｎから各話者の参照発話を抽出し、各話者の参照発話から各話者の話者スペクトル特徴ベクトルを生成する（Ｓ２１２）。ここで参照発話とは、学習時に使用する話者、または音声合成時の目標話者による発話であって、書き起こしが不要、短文の発話でよいという特徴がある。話者スペクトル特徴ベクトルとは、その話者の発話する音声に見られるスペクトル情報の特徴を、数値ベクトルで表現したものである。話者スペクトル特徴ベクトルの生成には、例えばｉ−ｖｅｃｔｏｒを使用してもよい。スペクトル特徴抽出部２１２については、例えば参考非特許文献３の知見などを利用し、ｉ−ｖｅｃｔｏｒ抽出器を使用してもよい。
（参考非特許文献３：Dehak, Najim, et al. "Front-end factor analysis for speaker verification." Audio, Speech, and Language Processing, IEEE Transactions on 19.4
(2011): 788-798.）

次に、音響モデル学習部２１３は、複数の話者の音声データと、複数の話者のコンテキストデータと、話者の特徴を表すデータである話者スペクトル特徴ベクトルとを用いて、ＤＮＮ音響モデルを学習し、学習されたＤＮＮ音響モデルを音響モデル記憶部９１４に記憶する（Ｓ２１３）。

以下、図９、図１０を参照して、本実施例の音声合成装置２２の構成、および動作について説明する。図９は、本実施例の音声合成装置２２の構成を示すブロック図である。図１０は、本実施例の音声合成装置２２の動作を示すフローチャートである。実施例１の音声合成装置１２と異なる点は、本実施例の音声合成装置２２が話者の特徴を表すデータ（話者スペクトル特徴ベクトル）を活用する点である。

図９に示すように、本実施例の音声合成装置２２は、テキスト解析部９２１と、スペクトル特徴抽出部２２１と、音声パラメータ生成部２２２と、音声波形生成部９２３を含む。テキスト解析部９２１と、音声波形生成部９２３は、実施例１と同様である。スペクトル特徴抽出部２２１は、音声合成用のテキストと共に入力された参照発話から前述の話者スペクトル特徴ベクトルを抽出する（Ｓ２２１）。前述したように、参照発話は目標話者による発話である。

音声パラメータ生成部２２２は、音響モデル記憶部９１４に記憶されたＤＮＮ音響モデルを用いて、入力テキストを解析して取得されたコンテキストデータと、参照発話から抽出された話者スペクトル特徴ベクトルから音声パラメータを生成する（Ｓ２２２）。

実施例１の音声合成装置１２では、話者コードを使用しているため、音響モデル学習時に使用する複数話者音声データベース１１１に含まれない目標話者については、音響モデル学習時に未知であるため、音声を合成することができない。この課題を解決するため、本実施例では、音声認識や話者識別の分野で使用されているｉ−ｖｅｃｔｏｒ等、当該話者の発話する音声のスペクトル情報の特徴を表現するベクトル（話者スペクトル特徴ベクトル）を使用する。これにより、複数話者音声データベース１１１に含まれない目標話者であっても、目標話者の音声と音響的に類似した話者の音声が音響モデル内でモデル化されているため、目標話者の参照発話が獲得できれば、目標話者に近いスペクトル特徴を持った音声を合成することができる。したがって、複数話者音声データベース１１１に含まれない目標話者であっても、その合成音声を生成することが可能となる。なお前述したように、話者スペクトル特徴ベクトルの生成には、例えばｉ−ｖｅｃｔｏｒを使用することができるが、ステップＳ２１２の実現方法はこれに限られない。

実施例２の方法において、発話から話者情報ベクトルを抽出するための代表的な手法であるｉ−ｖｅｃｔｏｒは、話者識別分野や、音声認識分野においてモデルの話者適応を行う目的で提案されてきたものである。これらの分野では、音声に現れる個人性のうち、スペクトル情報の個人性がベクトルで表現されることが重要であった。一方で、音声合成分野において、目標話者の音声合成を実現するために話者情報ベクトルを抽出する場合、音声に現れる個人性のうち、スペクトル情報の個人性だけではなく、韻律情報の個人性も表現されていることが重要であり、この点が音声認識問題とは異なると考えられる。そこで実施例３の音響モデル学習装置３１では、話者の特徴を表すデータに、Ｆ０の情報をも含むようにした。以下、図１１、図１２を参照して実施例３の音響モデル学習装置３１の構成、および動作について説明する。図１１は、本実施例の音響モデル学習装置３１の構成を示すブロック図である。図１２は、本実施例の音響モデル学習装置３１の動作を示すフローチャートである。実施例２の音響モデル学習装置２１と異なる点は、本実施例の音響モデル学習装置３１が話者の特徴を表すデータとして話者スペクトル特徴ベクトルだけでなく、話者韻律特徴ベクトルを活用する点である。

図１１に示すように、本実施例の音響モデル学習装置３１は、複数話者音声データベース１１１と、スペクトル特徴抽出部２１２と、韻律特徴抽出部３１２と、音響モデル学習部３１３と、音響モデル記憶部９１４を含み、複数話者音声データベース１１１、スペクトル特徴抽出部２１２、音響モデル記憶部９１４については実施例２の同名の構成要件と同じである。

韻律特徴抽出部３１２は、各話者の音声データ記憶部１１１１−１〜１１１１−Ｎから各話者の参照発話を抽出し、各話者の参照発話から各話者の話者韻律特徴ベクトルを生成する（Ｓ３１２）。話者韻律特徴ベクトルとは、音声に現れる個人性のうち、韻律情報の個人性を表現したベクトルである。より詳細には話者韻律特徴ベクトルは、その話者の発話する音声にみられる音響的特徴のうち、韻律情報の特徴を、数値ベクトルで表現したものである。

韻律特徴抽出部３１２は、例えば、参照発話から分析されるＦ０系列の平均と分散を算出し、Ｆ０特徴情報を話者韻律特徴ベクトルとして抽出してもよい。韻律特徴抽出部３１２は、参考非特許文献４の手法を用いて、より詳細な韻律特徴のモデル化を行ってもよい。（参考非特許文献４：Dehak, Najim, Pierre Dumouchel, and Patrick Kenny. "Modeling prosodic features with joint factor analysis for speaker verification." Audio, Speech, and Language Processing, IEEE Transactions on 15.7 (2007): 2095-2103.）

次に、音響モデル学習部３１３は、複数の話者の音声データと、複数の話者のコンテキストデータと、話者スペクトル特徴ベクトルと、話者韻律特徴ベクトルとを用いて、ＤＮＮ音響モデルを学習し、学習されたＤＮＮ音響モデルを音響モデル記憶部９１４に記憶する（Ｓ３１３）。

以下、図１３、図１４を参照して、本実施例の音声合成装置３２の構成、および動作について説明する。図１３は、本実施例の音声合成装置３２の構成を示すブロック図である。図１４は、本実施例の音声合成装置３２の動作を示すフローチャートである。実施例２の音声合成装置２２と異なる点は、本実施例の音声合成装置３２が話者の特徴を表すデータとして話者スペクトル特徴ベクトルだけでなく、話者韻律特徴ベクトルを活用する点である。

図１３に示すように、本実施例の音声合成装置３２は、テキスト解析部９２１と、スペクトル特徴抽出部２２１と、韻律特徴抽出部３２１と、音声パラメータ生成部３２２と、音声波形生成部９２３を含む。テキスト解析部９２１と、スペクトル特徴抽出部２２１と、音声波形生成部９２３は、実施例１と同様である。韻律特徴抽出部３２１は、音声合成用のテキストと共に入力された参照発話から前述の話者韻律特徴ベクトルを抽出する（Ｓ３２１）。前述したように、参照発話は目標話者による発話である。

音声パラメータ生成部３２２は、音響モデル記憶部９１４に記憶されたＤＮＮ音響モデルを用いて、入力テキストを解析して取得されたコンテキストデータと、話者スペクトル特徴ベクトルと、話者韻律特徴ベクトルから音声パラメータを生成する（Ｓ３２２）。

ある話者の音響的特徴は、スペクトルの特徴、韻律の特徴に分類することができる。実施例２のように、話者スペクトル特徴ベクトルを使用した場合、その話者の特徴のうち、スペクトルの特徴が合成音声にも反映され、目標話者の韻律の特徴が反映されない。本実施例では、目標話者の韻律の情報も表現したベクトルを使用することにより、複数話者音声データベース１１１に含まれない話者の、韻律の特徴をも反映した音声を合成することが可能となる。

なお、上述の実施例において説明した音響モデル学習装置、音声合成装置をそれぞれ音響モデル学習部、音声合成部として、これらを構成要件として備える単独のハードウェアとして本発明を実現してもよい。

また、上述の実施例において説明した話者コード、話者スペクトル特徴ベクトル、話者韻律特徴ベクトルなどは、話者の情報について表現したベクトルであるという共通項をもつため、これらを話者情報ベクトルと総称してもよい。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−
Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (10)

1. 複数の話者の音声データと、少なくとも前記音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータとを用いて、音声波形合成に必要な、音高パラメータ、及び、スペクトルパラメータを含む音声パラメータを生成するためのディープニューラルネットワーク音響モデルを学習する音響モデル学習部を有し、
   ニューラルネットワークの入力層に、少なくとも前記音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータを入力することを特徴とする音響モデル学習装置。
2. 請求項１に記載の音響モデル学習装置であって、
   前記音響モデル学習部は、
   複数の話者の音声データと、複数の話者のコンテキストデータと、１−ｏｆ−Ｋ表現ベクトルで表現される前記話者を特定するデータとを用いて、前記ディープニューラルネットワーク音響モデルを学習し、
   前記ニューラルネットワークの入力層に、複数の話者のコンテキストデータと、１−ｏｆ−Ｋ表現ベクトルで表現される前記話者を特定するデータを入力することを特徴とする
   音響モデル学習装置。
3. 請求項１に記載の音響モデル学習装置であって、
   前記音響モデル学習部は、
   複数の話者の音声データと、複数の話者のコンテキストデータと、前記話者の特徴を表すデータとしてｉ−ｖｅｃｔｏｒで表現される話者スペクトル特徴ベクトルおよびＦ０特徴情報を表す話者韻律特徴ベクトルと、を用いて前記ディープニューラルネットワーク音響モデルを学習し、
   前記ニューラルネットワークの入力層に、複数の話者のコンテキストデータと、前記話者の特徴を表すデータとしてｉ−ｖｅｃｔｏｒで表現される話者スペクトル特徴ベクトルおよびＦ０特徴情報を表す話者韻律特徴ベクトルと、を入力することを特徴とする
   音響モデル学習装置。
4. 入力テキストを解析して、少なくとも音素情報とアクセント情報を含むコンテキストデータを取得するテキスト解析部と、
   複数の話者の音声データと、前記複数の話者の音声データのコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータとを用いて学習されたディープニューラルネットワーク音響モデルを用いて、前記入力テキストを解析して取得されたコンテキストデータと、前記入力テキストとともに入力される前記話者を特定するデータまたは前記話者の特徴を表すデータから、音高パラメータ、及び、スペクトルパラメータを含む音声パラメータを生成する音声パラメータ生成部と、
   前記生成された音声パラメータを用いて音声波形を生成する音声波形生成部を有し、
   ニューラルネットワークの入力層に、少なくとも前記音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータを入力することを特徴とする音声合成装置。
5. 請求項４に記載の音声合成装置であって、
   前記ディープニューラルネットワーク音響モデルは、
   複数の話者の音声データと、複数の話者のコンテキストデータと、１−ｏｆ−Ｋ表現ベクトルで表現される前記話者を特定するデータとを用いて学習され、
   前記ニューラルネットワークの入力層に、複数の話者のコンテキストデータと、１−ｏｆ−Ｋ表現ベクトルで表現される前記話者を特定するデータを入力することを特徴とする
   音声合成装置。
6. 請求項４に記載の音声合成装置であって、
   前記ディープニューラルネットワーク音響モデルは、
   複数の話者の音声データと、複数の話者のコンテキストデータと、前記話者の特徴を表すデータとしてｉ−ｖｅｃｔｏｒで表現される話者スペクトル特徴ベクトルおよびＦ０特徴情報を表す話者韻律特徴ベクトルと、を用いて学習され、
   前記ニューラルネットワークの入力層に、複数の話者のコンテキストデータと、前記話者の特徴を表すデータとしてｉ−ｖｅｃｔｏｒで表現される話者スペクトル特徴ベクトルおよびＦ０特徴情報を表す話者韻律特徴ベクトルと、を入力することを特徴とする
   音声合成装置。
7. 音響モデル学習装置が実行する音響モデル学習方法であって、
   複数の話者の音声データと、少なくとも前記音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータとを用いて、音声波形合成に必要な、音高パラメータ、及び、スペクトルパラメータを含む音声パラメータを生成するためのディープニューラルネットワーク音響モデルを学習するステップを有し、
   ニューラルネットワークの入力層に、少なくとも前記音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータを入力することを特徴とする音響モデル学習方法。
8. 音声合成装置が実行する音声合成方法であって、
   入力テキストを解析して、少なくとも音素情報とアクセント情報を含むコンテキストデータを取得するステップと、
   複数の話者の音声データと、前記複数の話者の音声データのコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータとを用いて学習されたディープニューラルネットワーク音響モデルを用いて、前記入力テキストを解析して取得されたコンテキストデータと、前記入力テキストとともに入力される前記話者を特定するデータまたは前記話者の特徴を表すデータから、音高パラメータ、及び、スペクトルパラメータを含む音声パラメータを生成するステップと、
   前記生成された音声パラメータを用いて音声波形を生成するステップを有し、
   ニューラルネットワークの入力層に、少なくとも前記音声データの音素情報とアクセント情報を含む複数の話者のコンテキストデータと、前記話者を特定するデータあるいは前記話者の特徴を表すデータを入力することを特徴とする音声合成方法。
9. コンピュータを請求項１から３の何れかに記載の音響モデル学習装置として機能させるプログラム。
10. コンピュータを請求項４から６の何れかに記載の音声合成装置として機能させるプログラム。

Images