JP2011237795A - 音声処理方法及び装置 - Google Patents

Abstract

【課題】音声波形の尤度を最大化するように、複数の音響モデルパラメータが複数の励振モデルパラメータと一緒に推定される音声合成方法を提供する。
【解決手段】テキスト入力を受けており、前記テキスト入力に対応する音声を確率論的モデルを使用して出力し、前記確率論的モデルは音響モデル及び励振モデルを具備し、前記音響モデルは単語または単語の部分を特徴に関連づける複数の確率分布を記述する複数のモデルパラメータを有し、前記励振モデルは、前記特徴を使用して前記音声を出力するために、声帯及び肺をモデル化するために使用される励振モデルパラメータを具備し、ここで音響パラメータ及び励振パラメータは一緒に推定され、前記音声を出力することを具備する。
【選択図】図３

Description

ここに記述された本発明の実施形態は一般に、音声合成の分野に関係がある。

音響モデルは音声合成のバックボーンとして使用される。音響モデルは、複数の単語の順序または複数の単語の部分を、複数の特徴ベクトルの配列に関連づけるために使用される。統計のパラメータの音声合成では、励振モデルは音響モデルと組み合わせて使用される。励振モデルは、より自然な音声を出力するために、肺と声帯の作用をモデル化するために使用される。

既知の統計音声合成では、ケプストラム係数のような特徴は、音声波形及びそれらのトラジェクトリから抽出され、隠れマルコフモデル（ＨＭＭ）のような統計モデルによってモデル化される。統計モデルの複数のパラメータは、トレーニングデータへのその尤度を最大化するか、あるいはトレーニングデータと生成された複数の特徴との間のエラーを最小化するように推定される。合成段階では、センテンスレベルモデルは、入力テキストにしたがって、推定された統計モデルから構成され、次に、複数の特徴は、そのようなセンテンスモデルから生成され、その結果それらの出力確率を最大化するか、または目的関数を最小化する。

本発明は、下記の限定されない実施形態を参照して記述されるだろう。
非常に基本的な音声合成システムの概略図である。 テキスト音声合成のために形成されたプロセッサのアーキテクチャの概略図である。 音声合成システムのブロック図であり、その複数のパラメータは本発明の実施形態に従って推定される。 特別の単語あるいはその部分を観測に関連づけるガウス分布のプロットである。 本発明の実施形態に従って音声合成モデルをトレーニングする方法での初期化ステップを示すフローダイアグラムである。 本発明の実施形態に従って音声合成モデルをトレーニングする方法での反復ステップを示すフローダイアグラムである。 本発明の実施形態に従う音声合成の方法を示すフローダイアグラムである。

現在の音声合成システムは、しばしばソースフィルタモデルを使用する。このモデルでは、励振信号は生成されフィルタリングされる。スペクトル特徴シーケンスは、音声から抽出され、別々に音響モデルと励振モデルのパラメータを評価するために利用される。したがって、複数のスペクトル特徴は、励振モデルを考慮に入れることによって、最適化されない。また逆の場合も同じである。

本発明の発明者は、音響及び励振モデルのパラメータを推定する問題への完全に異なるアプローチをとっており、ある実施形態では、音声波形の尤度を最大化するように、複数の音響モデルパラメータが複数の励振モデルパラメータと一緒に推定される方法を提供する。

実施形態によれば、複数のスペクトル包絡線特徴から導かれるゆっくり変化する声道インパルス応答フィルタと、励振源との畳み込みによって音声が表現されることが推定される。提案されたアプローチでは、複数のスペクトル特徴の抽出は、音響及び励振のモデルの組み合わせられたトレーニングに融合する。最大尤度（ＭＬ：maximum likelihood）基準に基づく問題となっている複数のモデルの複数のパラメータの推定は、自然及び合成された音声波形との間での距離の暗黙の最小化で、本格的な波形レベル閉ループトレーニングとして見られ得る。

実施形態では、統計的なパラメータ音声合成に関する、音響及び励振のモデルの共同の推定は、最大尤度に基づいている。

生じるシステムは、トラジェクトリＨＭＭで解析された要因として解釈されるうるものになる。共同の音響及び励振のモデルの複数のパラメータの推定に関してなされた複数の近似は、１つの最良のスペクトル係数ベクトルのトレーニング及び導出に沿って固定される状態シーケンスを固定することを具備する。

実施形態では、音響モデルの複数のパラメータは、励振モデルを考慮に入れることにより更新される。また、後者の複数のパラメータは音響モデルから生成されたスペクトルを仮定して計算される。生じるシステムは、トラジェクトリＨＭＭで分析された要因に類似する手法で、スペクトル包絡線パラメータ抽出と、励振信号モデルとを結びつける。提案されたアプローチは、自然及び合成された音声との間での距離を最小化するための波形レベル閉ループトレーニングとして解釈されうる。

実施形態では、音響及び励振のモデルは、統計の枠組みで直接、音声波形から一緒に最適化される。

したがって、複数のパラメータは、次のように一緒に推定される。

ここでλは最適化される励振モデル及び音響モデルのパラメータを表わし、ｓは自然な音声波形であり、

は音声波形の表記である。

実施形態では、上記のトレーニング方法は、統計パラメトリック原理にしたがって構築された、テキストから音声への（ＴＴＳ：text-to-speech）合成器に適用することができる。従って、それはまた、音声翻訳及び会話のシステムのような、上記ＴＴＳシステムが埋め込まれている任意のタスクに適用されうる。

１つの実施形態では、ソースフィルタモデルが使用され、ここでは、前記テキスト入力が前記音響モデルによって処理され、Ｆ０（基本周波数）及びスペクトルの特徴を出力する。方法は、パルス列を形成するために複数の前記Ｆ０特徴を処理し、励振信号を生成するために前記励振モデルから導かれる複数の励振パラメータを使用して前記パルス列をフィルタリングし、複数の前記スペクトル特徴から導かれる複数のフィルタパラメータを使用して前記励振信号をフィルタリングすることをさらに具備する。

複数の音響モデルパラメータは、複数の前記確率分布の複数の平均及び複数の分散を具備してもよい。前記音響モデルによって出力される複数の特徴の例は、複数のＦ０特徴及び複数のスペクトル特徴である。

複数の励振モデルパラメータは、複数のＦ０特徴及び白色雑音から導かれるパルス信号をフィルタリングする複数のフィルタ係数を具備してもよい。

実施形態では、前記共同推定処理は、再帰的な処理を具備する。この処理では、あるステップで複数の励振パラメータが複数の音響パラメータの最新の推定を使用して更新され、別のステップで複数の音響モデルパラメータが複数の励振パラメータの最新の推定を使用して更新される。好ましくは、前記共同推定処理は最大尤推定法技術を使用する。

さらなる実施形態では、前記確率論的モデルはマッピングモデルをさらに具備し、前記マッピングモデルは複数のマッピングモデルパラメータを具備し、前記マッピングモデルは、人間の声道を表す複数の係数をフィルタリングするために、複数のスペクトル特徴をマップするように構成される。好ましくは、複数のスペクトル特徴と複数のフィルタ係数との関係は、ガウスプロセスとしてモデル化される。

本発明の実施形態は、ハードウェアでも汎用コンピュータでのソフトウェアでも実行されうる。さらに、本発明は、ハードウェアとソフトウェアとの組み合わせで実行されうる。本発明はまた、単一処理装置あるいは複数の処理装置の分散型ネットワークによって実行されうる。

本発明はソフトウェアによって実行されうるので、本発明は、任意の適切なキャリア媒体で汎用コンピュータに提供されるコンピュータコードを包含する。キャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ ＲＯＭ、磁気デバイスあるいはプログラム可能メモリ装置のような任意の記憶媒体、あるいは任意の信号（例えば電気的、光学的、またはマイクロ波信号）のような任意の一時的な媒体（transient medium）を具備することができる。

図１は非常に基本的な音声処理システムの概略図であり、図１のシステムは音声合成のために形成された。テキストはユニット１を介して受け取られる。ユニット１は、インターネットへの接続、プロセッサから出力されたテキストへの接続、音声から音声言語処理モジュール（携帯電話など）への入力、であってもよい。ユニット１は、以前に保存されたテキストデータを含んでいるメモリによって置き換えられる。

その後、テキスト信号は、図２を参照してより詳細に記述される音声プロセッサ３に導かれる。

音声プロセッサ３は、テキスト信号を取り込み、それをテキスト信号に対応する音声に変える。出力の様々な形式が利用可能である。例えば、出力は、スピーカーに出力する直接の音声出力５の形式でもよい。これは、自動車電話、衛星ナビゲーションシステムなどで実行されうる。あるいは、出力は、オーディオファイルとして保存されてもよいし、メモリに向けられてもよい。さらに、出力は、さらなるシステム９に提供される電子音声信号の形式になりうる。

図２は、テキストを音声に変換するシステム５１の基礎的なアーキテクチャを示す。テキストを音声に変換するシステム５１は、プログラム５５を実行するプロセッサ５３を具備する。テキストを音声に変換するシステム５１はさらに記憶装置５７を含む。記憶装置５７は、テキストを音声に変換するプログラム５５によって使用されるデータを格納する。テキストを音声に変換するシステム５１は、入力モジュール６１及び出力モジュール６３をさらに具備する。入力モジュール６１はテキスト入力６５に接続される。テキスト入力６５はテキストを受け取る。テキスト入力６５は例えばキーボードでもよい。

あるいは、テキスト入力６５は、外部記憶媒体あるいはネットワークからテキストデータを受け取る手段でもよい。

オーディオ６７のための出力が出力モジュール６３に接続される。音声出力６７は、テキスト入力からテキスト入力６３に変換された音声信号を出力するために使用される。音声出力６７は、例えば直接の音声出力（例えば、記憶媒体、ネットワーク等に送られる音声データファイルのための出力、またはスピーカー）でもよい。

使用中では、テキストを音声に変換するシステム５１は、テキスト入力６３を介してテキストを受け取る。プロセッサ５３で実行されるプログラム５５は、記憶装置５７に格納されるデータを使用して、テキストを音声データに変換する。音声は、音声出力６７に出力モジュール６５を介して出力される。

図３は音声生成のモデルの概略図である。モデルには２つのサブモデルがある。音響モデル１０１、及び励振モデル１０３である。

単語あるいはその部分が特徴または特徴ベクトルに変換される場合、音響モデルは、音声合成の技術においてよく知られている。この実施形態では、隠れマルコフモデル（ＨＭＭ）に基づく音響モデルが使用される。しかしながら、他のモデルを使用することができるかもしれない。

この実施形態で使用される実際のモデルは、標準モデルである。モデルの詳細はこの特許出願の範囲外である。しかしながら、モデルは、単語あるいはその部分に関係している特徴ベクトルによって表わされる観測の可能性に関係のある確率密度関数（ｐｄｆｓ）の提供を要求するだろう。一般に、この確率分布はｎ次元空間でのガウス分布になるだろう。

一般的なガウス分布の概要の例は図４に示される。ここで、水平軸は１次元での入力ベクトルのパラメータに対応する。また確率分布は、観測に関係のある特別の単語あるいはその部分に関する。例えば、図４では、特徴ベクトルｘに対応する観測は、その確率分布が図４に示される単語に対応する確率ｐ１を有する。ガウス分布の形状及び位置はその平均と分散とによって定義される。これらのパラメータは、語いに関するトレーニングの間に決定される。それらは音響モデルに関する「モデルパラメータ」と呼ばれるだろう。

音声へ出力されることになっているテキストは、最初に複数の電話ラベルに変換される。電話ラベルは、その音素に関する文脈情報を備えた音素を含む。文脈情報の例は、先行し後続する複数の音素、音素の単語内での位置、文での単語の位置などである。その後、音素ラベルは音響モデルに入力される。

音響モデルＨＭＭの出力、一旦複数のモデルパラメータが決定されると、複数の単語の順序または複数の単語の部分に対応する観測の順序の尤度を決定するために、モデルを使用することができる。

特にこの実施形態では、音響モデル１０１の出力である特徴はＦ０特徴及びスペクトルの特徴である。この実施形態では、複数のスペクトル特徴はケプストラム係数である。しかしながら、他の実施形態では、他の複数のスペクトル特徴が、線形予測係数（ＬＰＣ）、線スペクトルペア（ＬＳＰ）及びそれらの周波数が歪んだバージョンのように、使用される。

複数のスペクトル特徴は、ｈｃ（ｎ）として表現された声道フィルタ係数を形成するために変換される。

生成された複数のＦ０特徴はパルス列シーケンスｔ（ｎ）に変換される。また、Ｆ０値によれば、パルス列間の期間は決定される。

例えば、パルス列は時間領域での信号のシーケンスである：例えば
０１０００１００００１００
ここで１はパルスである。人間の声帯は、有声発話のための複数の周期信号を生成するために振動する。パルス列シーケンスはこれらの周期信号に近づけるために使用される。

白色雑音励起シーケンスｗ（ｎ）は白色ノイズ発生器（図示せず）から生成される。

パルス列ｔ（ｎ）及び白色雑音シーケンスｗ（ｎ）は、励振モデルパラメータＨｖ（ｚ）及びＨｕ（ｚ）によってそれぞれフィルタリングされる。励振モデルパラメータは励振モデル１０５から生成される。Ｈｖ（ｚ）は、有声インパルス応答フィルタ係数を表わし、それが声門の動作を表わすので、時々「声門フィルタ」と呼ばれる。Ｈｕ（ｚ）は無声フィルタ応答係数を表わす。Ｈｖ（ｚ）及びＨｕ（ｚ）はともに肺と声帯をモデル化する励振パラメータである。

時間領域信号である有声励振信号ｖ（ｎ）は、フィルタリングされたパルス列から生成される。また、さらに時間領域信号である無声励振信号ｕ（ｎ）は、白色雑音ｗ（ｎ）から生成される。これらの信号ｖ（ｎ）及びｕ（ｎ）は、混合されて（加算され）て、時間領域での複数の混合励振信号ｅ（ｎ）からなる。

最後に、複数の励振信号ｅ（ｎ）は、上で説明したように導かれる複数のスペクトル特徴から導かれるインパルス応答Ｈｃ（ｚ）によってフィルタリングされ、音声波形ｓ（ｎ）を得る。

音声合成ソフトウェア製品では、製品は、平均と分散のような音響モデルパラメータと共に、Ｈｖ（ｚ）及びＨｕ（ｚ）の係数を含んでいるメモリを具備する。製品はさらに、音響モデルから出力された複数のスペクトル特徴がＨｃ（ｚ）に変換されることを可能にするデータを含むだろう。複数のスペクトル特徴が複数のケプストラム係数である場合、Ｈｃ（ｚ）へのスペクトル特徴の変換は決定論的で、確率論的モデルをトレーニングするために使用されるデータの性質に依存しない。

しかしながら、スペクトル特徴が、線形予測係数（ＬＰＣ）、線スペクトルペア（ＬＳＰ）及びそれらの周波数が歪んだバージョンのような他の特徴を具備する場合は、スペクトル特徴とＨｃ（ｚ）との間でのマッピングは、決定論的でなく、音響及び励振パラメータが推定される場合に推定される必要がある。しかしながら、スペクトル特徴とＨｃ（ｚ）との間のマッピングが、決定論的であるか、マッピングモデルを使用して推定されるかに関わらず、好ましい実施形態では、ソフトウェア合成製品は、スペクトル特徴をＨｃ（ｚ）に変換するために必要とされる情報をちょうど具備するだろう。

音声合成システムのトレーニングは、複数のモデルの複数のパラメータを評価することを含んでいる。上記のシステムでは、音響、励振及び写像のモデルパラメータは、推定されることになっている。しかしながら、マッピングモデルパラメータを取り除くことができることは注意されるべきである。また、これは後で記述されるだろう。

本発明の実施形態に従うトレーニング方法では、音響モデルパラメータ及び励振モデルパラメータは、同じプロセスで同時に推定される。

違いを理解するために、これらのパラメータを推定するための従来のフレームワークが最初に記述される。

既知の統計パラメータの音声合成では、最初に、音声特徴の「スーパーベクトル」

が音声波形から抽出される。ここで、

フレームｔでのＣ次の音声パラメータベクトルであり、Ｔは全フレーム数である。音響モデルパラメータの推定は、ＭＬ基準を介して通常行われる：

ここで、

は音声波形の表記であり、λ_ｃは１セットの音響モデルパラメータを示す。

合成中に、音声特徴ベクトルｃ’は、合成された

になるある与えられたテキストに関して、その出力確率を最大化するように、合成されるために生成される。

Ｆ０及び恐らくは期間と共のこれらの特徴は、図３を参照して説明されるように、ソースフィルタ生成アプローチを使用することによって、音声波形を生成するために利用される。

本発明の実施形態に従うトレーニング方法は、異なるアプローチを使用する。任意の音声合成装置の意図が、できる限り音声波形を模倣することであるので、本発明の実施形態では波形レベルで定義された統計モデルが提案される。提案されたモデルのパラメータは、波形それ自身の尤度を最大化するように推定される。すなわち、

ここで、

は音声波形全体を含んでいるベクトルである。ｓ（ｎ）はサンプルｎの波形値である。Ｎはサンプル数である。また、λは、共同の音響励振モデルのパラメータのセットを示す。

２つの隠れた変数：状態シーケンスｑ＝｛ｑ_０、……、ｑ_Ｔ−１｝（離散的）、スペクトルパラメータ

（連続的）を導入することによって、式（３）は次のように書き直すことができる：

ここでｑ_ｔはフレームｔでの状態である。

式（５）の項、ｐ（ｓ｜ｃ，ｑ，λ）、ｐ（ｃ｜ｑ，λ）、ｐ（ｑ｜ｌ，λ）を、以下のように別々に分析することができる。

・ｐ（ｓ｜ｃ，ｑ，λ）：この確率は、スペクトル特徴とある与えられた状態シーケンスからの音声波形生成に関する。λに関するこの確率の最大化は、スペクトルモデルパラメタのＭＬ推定と密接な関係がある。この確率は想定された音声信号生成モデルに関連する。

・ｐ（ｃ｜ｑ，λ）：この確率は、ＨＭＭあるいは隠れた半マルコフモデル（ＨＳＭＭ）がその音響モデルとして使用される場合、複数の音声パラメータベクトルの複数の状態出力確率の積として与えられる。トラジェクトリＨＭＭが使用される場合、この確率は全体の音声パラメータベクトルの状態シーケンス出力確率として与えられる。

・ｐ（ｑ｜ｌ，λ）：この確率は表記

に関して状態シーケンスｑの確率を与える。ＨＳＭＭまたはトラジェクトリＨＳＭＭが使用される場合、それは状態遷移及び状態持続の両方の確率を含む。

ＨＭＭ、ＨＳＭＭあるいはトラジェクトリＨＭＭのような既存する音響モデルを使用してｐ（ｃ｜ｑ，λ）、ｐ（ｑ｜ｌ，λ）をモデル化することが可能である。問題はｐ（ｓ｜ｃ，ｑ，λ）をどのようにモデル化するかである。

音声信号が図４のダイアグラムによって生成されると仮定されている、つまり、

ここで＊は線形の畳み込みを示し、
・ｈｃ（ｎ）：声道フィルタインパルス応答である。

・ｔ（ｎ）：パルス列である。

・ｗ（ｎ）：平均０及び分散１を備えたガウスの白色雑音シーケンスである。

・ｈｖ（ｎ）：有声フィルタインパルス応答である。

・ｈｕ（ｎ）：無声フィルタ・インパルス応答である
ここで、声道、有声及び無声フィルタは、ｚ−変換領域で次の形をそれぞれ持つと仮定される：

ここでＰ、Ｍ及びＬはそれぞれＨｃ（ｚ）、Ｈｖ（ｚ）及びＨｕ（ｚ）のオーダーである。フィルタＨｃ（ｚ）は、最小位相応答を有していると見なされる。なぜならそれが声道フィルタのインパルス応答を表わすからである。さらに、Ｈｕ（ｚ）の係数が、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007で説明されるアプローチによって計算される場合は、Ｈｃ（ｚ）もまた、最小位相応答を有している。上記の発生モデルの複数のパラメータは、声道、有声及び無声のフィルタ、Ｈｃ（ｚ）、Ｈｖ（ｚ）及びＨｕ（ｚ）、及び、ｔ（ｎ）の位置及び振幅、

（Ｚはパルス数）を具備する。Ｈｖ（ｚ）及びＨｕ（ｚ）を推定するいくつかの方法があるが、この報告書は、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007に述べられていた方法に基づくだろう。

それぞれ行列及びベクトルを意味する大文字及び小文字の頭文字と共に、行列表記法を使用して、式（６）は次のように書くことができる。

ここで、

ベクトルｓ_ｕは

のサンプルを含んでいる。そして、ベクトルｓｕは、次の共分散行列と共に、音声信号の有声領域に関するモデルのエラーとして解釈されうる。

ここで、

ｗ（ｎ）がガウスの白色雑音であるので、ｕ（ｎ）＝ｈｕ（ｎ）＊ｗ（ｎ）は正規分布した確率過程になる。ベクトル表記法の使用によって、確率ｕは以下になる。

ここでＮ（ｘ；μ，Σ）は、平均ベクトルμ及び共分散行列Σを備えたｘのガウス分布である。したがって、

なので、音声ベクトルｓの確率は以下になる。

Ｈｃの最後のＰ行が無視される（それは、サンプル

を生成するＨｃ（ｚ）のゼロインパルス応答を無視することを意味する）場合、Ｈｃは、式（２４）が次式（２５）に書き直される次元（Ｎ＋Ｍ）ｘ（Ｎ＋Ｍ）を有する正方になる。

ここで、

は音声生成モデルの励起モデル部分のパラメータである。Ｈｃ（ｚ）による逆フィルタリングを介して音声信号ｓ（ｎ）から抽出される項

が残りのシーケンスに対応することに注意することは興味深い。

R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007で提案されたように、ＨｖとＨｕが状態依存パラメータ結束構造を有すると仮定することによって、式（２５）は次式に書き直される。

ここで、Ｈ_ｖ，ｑ及びＧ_ｑは、状態シーケンスｑに関して、それぞれ有声フィルタ及び逆無声フィルタインパルス応答行列である。

声道インパルス応答Ｈｃ（あるいはＨｃ（ｚ）の複数の係数）とスペクトル特徴ｃとの間に１対１の関係が通常ある。しかしながら、いくつかのスペクトル特徴の表現に関する閉じた形式でのｃから、Ｈｃを計算することは難しい。この問題に取り組むために、確率近似がｃとＨｃとの関係をモデル化するために導入される。ｃとＨｃとの間のマッピングが、確率ｐ（Ｈｃ｜ｃ，ｑ，λ_ｈ）を有するガウスプロセス（ここでλ_ｈはスペクトル特徴を声道フィルタインパルス応答にマッピングするモデルのパラメータセットである）によって表現されると考えられるならば、ｐ（ｓ｜ｃ，ｑ，λ_ｅ）は以下になる。

ここで、ｆｑ（ｃ）はｃをＨｃに変換するための近似された関数であり、Ωｑは問題となっているガウス分布の共分散行列である。この表現は、Ｈｃがｃから閉じた形式でその特別な場合として計算されうる場合（すなわち、ｆｑ（ｃ）は閉じた形式でマッピング関数になり、Ωｑはゼロ行列になる）を含んでいる。結果として生じるモデルは、ｆｑ（ｃ）に関する線形関数が利用され、それはｑに依存するパラメータ共有構造を有している場合に、共有の因子分析モデルに非常に類似していることに注目することは興味深い。

トラジェクトリＨＭＭが音響モデルｐ（ｃ｜ｌ，λ_ｃ）として使用される場合に、ｐ（ｃ｜ｑ，λ_ｃ）及びｐ（ｑ｜ｌ，λ_ｃ）は次のように定義され得る。

ここで、π_ｉは状態ｉの初期状態確率であり、α_ｉｊは状態ｉから状態ｊへの状態遷移確率であり、

及びＰｑはｑに関するトラジェクトリＨＭＭの平均ベクトル及び共分散行列に対応する。式（２９）では、

及びＰｑは以下のように与えられる。

ここでＷは典型的には、力学的な特徴（速度及び加速度の特徴）とｃに付加する３Ｔ（Ｃ＋１）ｘＴ（Ｃ＋１）ウィンドウ行列である。例えば、ｃ_ｔ、Δ^（０）ｃ_ｔ、Δ^（１）ｃ_ｔ及びΔ^（２）ｃ_ｔの静的な、速度の、加速度の特徴は次のように計算される。

このとき、Ｗは以下のとおりである。

ここでＩと０は、（Ｃ＋１）ｘ（Ｃ＋１）の単位行列及びゼロ行列に対応する。式（３２）及び式（３３）でのμｑ及び

は、状態シーケンスｑに関して、３Ｔ（Ｃ＋１）ｘ１の平均パラメータベクトル及び３Ｔ（Ｃ＋１）ｘ３Ｔ（Ｃ＋１）の精度パラメータ行列に対応していて、次式で与えられる。

ここで、μ_ｉとΣ_ｉは、状態ｉに関して、３（Ｃ＋１）の平均パラメータベクトル及び３（Ｃ＋１）ｘ３（Ｃ＋１）の精度パラメータ行列が対応し、Ｙ＝diag｛Ｘ_１、…、Ｘ_Ｄ｝は行列｛Ｘ_１、…、Ｘ_Ｄ｝がＹの対角なサブ行列であることを意味する。平均パラメータベクトル及び精度パラメータ行列は以下で定義される。

ここでΔ^（ｊ）μ_ｉ及び

は、状態ｉと関連して、（Ｃ＋１）ｘ１の平均パラメータベクトル及び（Ｃ＋１）ｘ（Ｃ＋１）の精度パラメータ行列に対応する。

最終のパラメータモデルは、マッピングモデルを介して音響及び励振のモデルを組み合わせることによって以下のように得られる：

ここで、

ここで、λ＝｛λ_ｅ，λ_ｈ，λ_ｃ｝
ケプストラム係数、線形予測係数（ＬＰＣ）、線スペクトルペア（ＬＳＰ）及びそれらの周波数が歪んだバージョンのような様々な可能なスペクトル特徴がある。この実施形態では、ケプストラム係数は特殊な場合と見なされる。ケプストラム係数ベクトル

からその対応する声道フィルタインパルス応答ベクトル

へのマッピングは以下のような閉じた形式で書かれうる。

ここでEXP [.]は、[.]の要素の指数関数をとることによって導かれる行列を意味し、Ｄは（Ｐ＋１）ｘ（Ｃ＋１）のＤＦＴ（離散フーリエ変換）行列であり、

ここで

また、Ｄ^＊は、次の形式を備えた（Ｐ＋１）ｘ（Ｐ＋１）のＩＤＦＴ（逆離散フーリエ変換）行列である。

ケプストラム係数と声道フィルタ応答との間のマッピングとして、閉じた形式でのコンピュータがあり得る。ｃとＨｃとの間の確率近似を使用する必要はない。式（１０）の生成モデルに現れる声道フィルタインパルス応答関連の項はＨＣでありｈｃでない。式（１２）及び（１３）として与えられたＨＣとｈｃとの間の関係は以下で与えられる。

ｈｃ、ｔはｔ番目のフレームの合成フィルタインパルス応答であり、Ｔは全フレーム数であり、以下のように書かれうる。

式（５３）では、Ｎは（データベースの）サンプル数であり、

ここでＢは、フレーム基底ｈｃベクトルをサンプル基底にマッピングするためのＮ（Ｐ＋１）ｘＴ（Ｐ＋１）行列である。

最後のＰ行を無視することにより、Ｈｃの正方バージョンが考慮されることは注目すべきである。ＮｘＮ（Ｐ＋１）行列Ｊｎは以下のように構築される。

ここで、０_Ｘ，ＹはＸ行Ｙ列でのゼロ要素の行列を意味し、Ｉ_ＸはＸサイズの単位行列である。

モデルのトレーニングは今、図５及び６を参照して説明される。

トレーニングは、共同モデルλのパラメータが次のように推定されることを可能にする：

ここで、励振モデルのパラメータに対応するλ_ｅ＝｛Ｈｖ、Ｇ、ｔ｝でλ＝｛λ_ｅ，λ_ｈ，λ_ｃ｝であり、音響モデルのパラメータを構成するλ＝｛ｍ，σ｝、

ここでＳは状態数である。ｍとσはそれぞれ、全ての状態の逆共分散行列の全ての平均及び対角を連結させることによって形成されるベクトルである。ここでｖｄｉａｇ｛［．］｝は［．］の対角要素によって形成されるベクトルを意味している。スペクトル特徴としてのケプストラム係数を仮定する尤度関数ｐ（ｓ｜ｌ，λ）は、以下のようになる。

残念ながら、期待値最大化（ＥＭ：expectation-maximization）を介するこのモデルの推定は、解決困難である。したがって、近似の再帰的なアプローチが採用される。

式（６２）での全ての可能なｑに渡る和が固定された状態シーケンスによって近似される場合には、上記の尤度関数は以下になる。

ここで、

は状態シーケンスである。さらに、全ての可能なｃに渡る積分がスペクトルベクトル及びインパルス応答ベクトルによって近似される場合には、式（６３）は以下になる。

ここで、

は固定スペクトル応答ベクトルである。

式（６４）の対数を取ること、または最大化されるコスト関数によって、音響、励振、及びマッピングモデルパラメータの更新を介して、以下が得られる。

最適化問題は２つの部分へ分割されうる：初期化と反復である。以下は、各部分で行なわれる計算について説明する。初期化は、図５を参照して説明され、反復は図６を参照して説明される。

モデルは、対応するテキストデータを備えた音声データであり、ステップＳ２１０で入力されるトレーニングデータを使用してトレーニングされる。

パート１−初期化
１．ステップＳ２０３では、音声データは最初の１つのケプストラム係数ベクトルから抽出される。

２．ステップＳ２０５では、トラジェクトリＨＭＭパラメータλ_ｃはｃを使用してトレーニングされる。

３．ステップＳ２０７では、最良の状態シーケンス

は、H. Zen, K. Tokuda, and T. Kitamura, "Reformulating the HMM as a trajectory model by imposing explicit relationships between static and dynamic feature vector sequence," Computer Speech and Language, vol. 21, pp. 153-173, Jan. 2007のアルゴリズムを使用することによって、トレーニングされたモデルからビタビパスとして決定される。

４．ステップＳ２０９では、

及びｃを仮定して、マッピングモデルパラメータλ_ｈは推定される。

５．ステップＳ２１１では、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007で記述されているアルゴリズムの１回の反復を使用することによって、励振パラメータλ_ｅは

及びｃを仮定して、評価される。

部分２：反復
１．図６のステップＳ２１３では、最良のケプストラム係数ベクトル

は式（６５）の対数尤度関数を使用して推定される。

２．ステップＳ２１５では、声道フィルタインパルス応答Ｈｃは

及び

を仮定して推定される。

３．ステップＳ２１７では、励振モデルパラメータλ_ｅは、

及び

を仮定して更新される。

４．ステップＳ２１９では、音響モデルパラメータが更新される。

５．ステップＳ２２１では、マッピングモデルパラメータが更新される。

再帰的なステップは数回繰り返されてもよい。以下では、それらの内のそれぞれ１つが詳細に説明される。

反復は収束までに終了する。収束は多くの異なった方法で決定されてもよい。一実施形態では、尤度での変化が所定の最小値よりも小さい場合に収束は生じたと見なされるだろう。例えば、尤度Ｌでの変化が５％未満である。

反復のステップ１ Ｓ２１３では、ケプストラム係数がスペクトル特徴として使用される場合には、式（６５）の尤度関数は次のように書かれる。

ｃに依存する項が選択され、以下によって与えられるコスト関数ｈｃを構成する。

最良のケプストラム係数ベクトル

は、コスト関数ｈｃを最大にするものとして定義されうる。最急勾配傾斜アルゴリズム（steepest gradient ascent algorithm）（例えばJ. Nocedal and S. J. Wright, Numerical Optimization. Springer, 1999を参照）、またはBroyden Fletcher Goldfarb Shanno (BFGS)アルゴリズムのような別の最適化方法を利用することによって、

に関するそれぞれの更新は以下によって計算することができる。

ここでγは収束ファクタ（定数）であり、ｉは反復インデックスであり、そして、

ここで、Ｄｉａｇ（［．］）はベクトル［．］の要素で形成される対角行列を意味し、

上記では、反復過程は収束まで継続する。好ましい実施形態では、連続する反復間の差が５％未満である場合に、収束が生じている。

再帰的手続きのステップ３ Ｓ２１７では、励振パラメータλ_ｅ＝｛Ｈｖ、Ｇ、Ｇ｝は、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. Of the 6th ISCA Workshop on Speech Synthesis, 2007で説明されるアルゴリズムの１つの反復の使用により計算される。

この場合、推定されたケプストラム係数ベクトル

は、残差ベクトル

を逆フィルタリングを介して抽出するために使用される。

ステップ４ Ｓ２１９では、音響モデルパラメータの推定λ＝｛ｍ，σ｝は、観測として最良に推定されたケプストラムベクトル

を利用することによって、H. Zen, K. Tokuda, and T. Kitamura, "Reformulating the HMM as a trajectory model by imposing explicit relationships between static and dynamic feature vector sequence," Computer Speech and Language, vol. 21, pp. 153-173, Jan. 2007に記述されたようになされる。

上記のトレーニング方法は、マッピングモデルの１セットのモデルパラメータλ_ｈを使用して、ｆｑ（ｃ）によって予測されたＨｃの不確定性について記述する。

しかしながら、他の実施形態では、決定論的な場合が仮定され、ｆｑ（ｃ）が完全にＨｃを予測する。この実施形態では、Ｈｃとｆｑ（ｃ）との間に不確定性はなく、したがって、λ_ｈはもはや必要ではない。

そのようなシナリオでは、マッピングモデルパラメータは図５のステップＳ２０９でゼロに設定され、図６のステップＳ２２１で再度推定されない。

図７は、本発明の実施形態で用いる音声合成方法のフローチャートである。

テキストはステップＳ２５１で入力される。音響モデルはこのテキスト上で実行され、スペクトル特徴及びＦ０特徴を含む特徴はステップＳ２５３で抽出される。

インパルス応答フィルタ関数は、ステップＳ２５３で抽出されたスペクトル特徴からステップＳ２５５で生成される。

入力テキストもまた励振モデルに入力される。また、励振モデルパラメータはステップＳ２５７で入力テキストから生成される。

ステップＳ２５３で抽出された特徴に戻って、この段階で抽出されたＦ０特徴はステップＳ２５９でのパルス列に変換される。パルス列はステップＳ２５７で生成された有声フィルタ関数を使用してフィルタリングされる。

白色雑音は白色ノイズ発生器によって生成される。その後、白色雑音はステップＳ２５７で生成された無声フィルタ関数を使用して、ステップＳ２６３でフィルタリングされる。

その後、ステップＳ２６１で生成された有声励振信号、及びステップＳ２６３で生成された無声励振信号は、ステップＳ２６５での混合励振信号を生成するために混合される。

その後、混合励振信号は、ステップＳ２５５で生成されたインパルス応答を使用して、ステップＳ２６７でフィルタリングされる。また、音声信号が出力される。

共同の最適化を介して音響及び励振モデルをトレーニングすることによって、位相情報のような音声パラメータ抽出の間に失われる情報は、自然な音声により近づいて聞こえる合成音声になって、実行時間で回復されるかもしれない。したがって、統計パラメータのテキストを音声に変換するシステムは、自然な音声に非常に似ているように聞こえる合成音声を生産する能力で生産されうる。

ある実施形態は記述されているが、これらの実施形態は例のみによって提示されていて、発明の範囲を制限するようには意図されない。実際、ここに記述された新しい方法及びシステムは様々な他の形式で具体化されてもよい。更に、ここに記述された方法及びシステムの形式での様々な省略、置換及び変更は、添付されたクレームによって定義されるような発明の範囲から外れずになされてもよい。

Claims (19)

1. テキスト入力を受け取り、確率論的モデルを使用して前記テキスト入力に対応する音声を出力し、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語または単語の部分をある特徴に関連づける複数の確率分布を記述する複数のモデルパラメータを有し、前記励振モデルは声帯及び肺をモデル化して特徴を使用して音声を出力するために使用される励振モデルパラメータを具備し、
   前記音響パラメータ及び前記励振パラメータは一緒に推定され、
   前記音声を出力することを具備する音声処理方法。
2. 前記テキスト入力は、前記音響モデルによって処理され、Ｆ０及びスペクトルの特徴を出力し、
   パルス列を形成するために前記Ｆ０特徴を処理し、
   励振信号を生成するために前記励振モデルから導かれる複数の励振パラメータを使用して前記パルス列をフィルタリングし、
   前記スペクトル特徴から導かれる複数のフィルタパラメータを使用して前記励振信号をフィルタリングすることをさらに具備する請求項１に記載の音声合成方法。
3. 音声合成に関する統計モデルをトレーニングする方法であって、
   トレーニングデータを受け取り、前記トレーニングデータは音声と前記音声に対応するテキストとを具備し、
   確率論的モデルをトレーニングし、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語またはその単語の部分を特徴ベクトルに関連づける複数の確率分布を記述する複数のモデルパラメータを有していて、前記励振モデルは声帯及び肺をモデル化して前記音声を出力する複数の励振モデルパラメータを具備し、
   前記音響パラメータ及び前記励振パラメータはトレーニング処理の間に一緒に推定される方法。
4. 前記音響モデルパラメータは、前記確率分布の平均と分散とを具備する請求項３に記載の方法。
5. 前記音響モデルによって出力される前記特徴はＦ０特徴とスペクトル特徴を具備する請求項３に記載の方法。
6. 前記励振モデルパラメータは、Ｆ０特徴から導かれるパルス信号をフィルタリングするフィルタ係数を具備する請求項５に記載の方法。
7. 共同に推定する処理は、再帰的な処理を具備し、
   １つのステップでは励振パラメータが音響パラメータの最新の推定を使用して更新され、別のステップでは音響モデルパラメータが励振パラメータの前記最新の推定を使用して更新される請求項３に記載の方法。
8. 共同に推定する処理は、最大尤度技術を使用する請求項３に記載の方法。
9. 前記確率論的モデルは、マッピングモデルをさらに具備し、前記マッピングモデルは複数のマッピングモデルパラメータを具備し、前記マッピングモデルは複数のスペクトル特徴を、人間の声道を表現する複数のフィルタ係数にマッピングする請求項５に記載の方法。
10. 前記パラメータは以下のように一緒に推定され、
    

    

    ここで、λは最適化される前記励振モデルと音響モデルとのパラメータを表し、ｓは自然な音声波形であり、
    

    

    は前記音声波形の表記である請求項３に記載の方法。
11. λは、人間の声道を表現するために、複数のスペクトルパラメータをフィルタ関数にマッピングするマッピングモデルの複数のパラメータをさらに具備する請求項１０に記載の方法。
12. 前記スペクトル特徴とフィルタ係数との間の関係は、ガウスプロセスとしてモデル化される請求項１１に記載の方法。
13. ｐ（ｓ｜ｌ，λ）は以下のように表され、
    

    

    ここで、Ｈｃは前記人間の声道をモデル化するために使用されるフィルタ関数であり、ｑは状態であり、λ_ｅは励振パラメータであり、λ_ｃは音響モデルパラメータであり、λ_ｈはマッピングモデルパラメータであり、ｃはスペクトル特徴である請求項１１に記載の方法。
14. ｑに渡る和は固定された状態シーケンスによって近似されて次を与え、
    

    

    ここで
    

    

    は状態シーケンスである請求項１３に記載の方法。
15. 前記全ての可能なＨｃ及びｃに渡る積分は、スペクトル応答及びインパルス応答のベクトルによって近似され、次を与え、
    

    

    ここで、
    

    

    は固定されたスペクトル応答である請求項１４に記載の方法。
16. ｐ（ｓ｜ｌ，λ）の対数尤度関数は以下
    

    

    によって与えられる請求項１５に記載の方法。
17. コンピュータを制御して、請求項１から請求項１６のいずれか１項の方法を実行させるコンピュータ読み取り可能な指示を運ぶキャリア媒体。
18. 単語のシーケンスを具備するテキスト入力を受け取るレシーバーと、
    プロセッサと、を具備し、前記プロセッサは前記入力テキストに対応する出力音声の尤度を確率論的モデルを使用して判定し、前記確率論的モデルは音響モデルと励振モデルを具備し、前記音響モデルは単語または単語の部分と特徴とを関連づける複数の確率分布を記述する複数のモデルパラメータを有して、前記励振モデルは、前記声帯及び肺をモデル化して前記特徴を使用して前記音声を出力するために使用される複数の励振モデルパラメータを具備し、
    前記音響パラメータ及び励振パラメータは一緒に推定され、前記装置は前記音声のための出力を具備する音声処理装置。
19. 入力音声認識部と、翻訳部と、請求項１８に記載の音声合成装置と、を具備する音声翻訳システム。

Images