JP2008299266A - 音声合成装置および音声合成方法 - Google Patents

Abstract

【課題】従来の音声合成装置では、音声素片の接続時刻設定が接続する音声素片間の歪みをもとに設定しているため、韻律生成処理で生成される韻律情報によって制御されるF0の制御の影響が全く考慮されず接続時刻が必ずしも適当ではなかった。
【解決手段】入力テキストの音韻記号・韻律情報に基づいて、選択された音声素片を時間軸方向に伸縮する時間軸伸縮手段と、伸縮された音声素片の接続点の探索範囲を設定する探索範囲設定手段と、設定探索範囲内に音声素片の接続点を韻律情報に基づいて設定する接続点設定手段と、設定接続点で音声素片を接続し前記韻律情報にしたがい音声信号を生成する音声生成手段を備えることで、F0歪みを小さくでき、高品質な合成音声を得る。
【選択図】図１

Description

この発明は、任意の文章から人工的に音声信号を作り出す音声合成装置および音声合成方法に関するものである。

任意の文章から人工的に音声信号を作り出すテキスト音声合成では、入力テキストに対して言語解析処理、韻律生成処理を行って得られる音韻記号や韻律情報（声の高さ、音韻継続時間長など）の情報から音声信号を生成する。今後、声の高さを表す情報を記号F0で表す。その音声生成処理は、母音V、子音をCで表したCV,CVC,VCV,といった基本となる小さな単位の特徴パラメータを音声素片として記憶しておき、これらを指定された音韻記号にしたがって選択的に読み出した後、その音韻記号に対応する韻律情報に従ってF0や音韻継続時間長を制御して、設定された接続時刻で接続することにより、音声合成するというものである。
従来の音声合成装置では、音声素片の接続時刻を決定する際に、両音声素片間の時間対応を、動的計画法を用いて決定し、この対応において音声素片間の歪みが最小となる位置を接続時刻としている。

特開平１１−２５９０９１号公報

従来の音声素片の接続時刻設定方法では、接続する音声素片間の歪みをもとに、設定しているに過ぎないため、韻律生成処理で生成される韻律情報によって制御されるF0の制御の影響が全く考慮されていない問題がある。すなわち、実際にF0を制御して合成された合成音声の品質という点では、従来の音声素片間の歪みに基づく接続時刻は必ずしも適当なものになっているという保証はない。
この発明は、上記のような問題を解決するためになされたもので、テキスト音声合成による合成音声の音質を効果的に向上させることができる音声素片の接続時刻の設定方法を提供することを目的とする。

この発明に係る音声合成装置は、
入力テキストの音韻記号に基づいて、選択された音声素片を時間軸方向に伸縮する時間軸伸縮手段と、
この時間軸伸縮手段で伸縮された音声素片の接続点の探索範囲を設定する探索範囲設定手段と、
この探索範囲設定手段で設定された探索範囲内に音声素片の接続点を入力テキストの韻律情報に基づいて設定する接続点設定手段と、
この接続点設定手段で設定された接続点で音声素片を接続し前記韻律情報にしたがい音声信号を生成する音声生成手段を備える。

この発明の音声合成装置によれば、入力テキストの音韻記号に基づいて、選択された音声素片の時間軸を伸縮する時間軸伸縮手段と、音声素片の接続時刻の探索範囲を設定する探索範囲設定手段と、音声素片の接続時刻を入力テキストの韻律情報に基づいて設定する接続時刻設定手段と、音声素片から前記韻律情報にしたがい音声信号を生成する音声生成手段を備えたことによって、F0歪みを小さくすることができ、高品質な合成音声を得る効果がある。

また、音声の基本周期ごとに得られた音声波形を、音韻記号・韻律情報のF0に従い配置して、音声を生成するような音声生成方式では、総F0歪みが大きいと配置前と後との変化量が大きく品質の劣化がおおきくなる問題があるが、この発明の音声合成装置によれば総F0歪みを小さくできるので、音質の劣化を防ぎ高品質な合成音声を得ることができる。

実施の形態１．
図１は、この発明の実施の形態１による音声合成装置を示す構成図である。
図１において、音声合成装置１は、入力された音韻記号・韻律情報１００に基づいて、
合成音声２００を生成し、出力する。
音声合成装置１は、音声素片辞書２、時間軸伸縮手段３，探索範囲設定手段４，接続時刻設定手段５，音声生成手段６を備えている。
音声素片辞書２は、音韻ラベルが付与された多数の音声素片が格納されており、入力された音韻記号・韻律情報１００に基づいて音声素片を選択し出力する。時間軸伸縮手段３は、入力された音韻記号・韻律情報１００に基づいて、音声素片辞書２から出力された音声素片の時間軸を伸縮し、伸縮した音声素片を出力する。探索範囲設定手段４は、時間軸伸縮手段３から出力された音声素片に、接続時刻の探索範囲を設定し、探索範囲情報を付与した音声素片を出力する。接続時刻設定手段５は、設定した探索範囲において、入力された音韻記号・韻律情報１００に基づいて、音声素片の接続時刻を設定し、接続時刻情報を付与した音声素片を出力する。音声生成手段６は、入力された音韻記号・韻律情報１００に基づいて、接続時刻設定手段５から出力された音声素片を、設定された位置で順次接続して合成音声２００を生成する。

次に、実施の形態１の動作について説明する。
図２は、実施の形態１による音声合成装置の動作の流れを示すフローチャートである。
本実施の形態において、音声合成装置１に入力される音韻記号・韻律情報１００は、例えば、音韻記号、F0、音韻継続時間長、パワーなどの情報であり、テキスト音声合成ための入力テキストに対して言語解析処理、韻律生成処理を行って得られたものである。音声合成装置１には、入力テキストから得られた複数の音韻記号・韻律情報１００が順次入力される。

上記のような音韻記号・韻律情報１００が音声合成装置１に入力されると、音声素片辞書２は、入力された音韻記号・韻律情報１００のうち少なくとも音韻記号の情報に従って音声素片を選択し、この選択した音声素片を時間軸伸縮手段３に出力する（ステップS１）。
次に時間軸伸縮手段３は、入力された先行する音声素片及び後続する音声素片の時間長が、音韻記号・韻律情報１００の音素継続時間長と一致するように、値の間引き、補間などをして、音声素片のF0の時間軸を伸縮する。（ステップS２）。
例えば、図３のように、先行の音声素片のF0 301を時間伸縮し、先行の音声素片F0 301を伸縮後のF0に示す先行の音声素片の伸縮後のF0 302のよう変形する。また、後続の音声素片のF0 304を時間伸縮し、伸縮後のF0に示す後続の音声素片の伸縮後のF0 303のように変形する。
ここで、後の説明のために、先行の音声素片の伸縮後のF0302は、F0f(i),i=s,…,eで定義し、後続の音声素片のF0 303はF0b(i),i=s,…,eで定義する。ここで時刻iは、音素の区間[s,e]の間の値をとる。

次に、探索範囲設定手段４は、接続時刻を設定するときに探索する範囲を設定して、この設定範囲を付与した音声素片を接続時刻設定手段５に出力する。（ステップS３）
探索範囲設定手段４における探索範囲設定方法は、例えば、図４に示すように音素区間[s,e]の内側に、探索区間[m,n] 401を設定する。

次に、接続時刻設定手段５は、入力された音声素片の接続時刻を設定して、この設定された音声素片を音声生成手段６に出力する（ステップS４）。
接続時刻設定手段５における接続時刻設定方法は、例えば、次式（１）に示すような、総F0歪みC(i) (i=m,…,n)を算出し、これが最小となる時刻iを接続時刻pと設定する。

ここで、Cf(i) は時刻iでの先行音声素片の累積F0歪みであり、例えば次式（２）で定義される。

また、式（１）におけるCb(i)は、時刻iでの後続音声素片の累積F0歪みであり、例えば次式（３）で定義される。

式（２）、（３）において、F0t(i)は、音韻記号・韻律情報１００のF0を表している。
ここで図５を用いて、接続時刻設定方法を説明する。式（１）の総F0歪みは504で表され、式（２）の先行音声素片の累積F0歪みは、505で表され、式（３）の後続音声素片の累積F0歪みは、506で表されている。式（２）、（３）中のF0t(j)は502で表され、式（２）中のF0f(j)は503で表され、式（３）中のF0b(j)は、501で表される。接続時刻ｐは、507で表され、総F0歪み504のもっとも小さくなる時刻である。

次に、音声生成手段６は、入力された音韻記号・韻律情報１００に従って、少なくとも音声素片のF0を制御し、制御して得られた音声素片を設定された接続時刻で順次、接続・合成する（ステップS５）。
以上のステップS１からS５の処理を、入力テキストから得られた複数の音韻記号・韻律情報１００が終了するまで繰り返して音声を生成し（ステップS６）、この音声を合成音声２００として出力する。

以上のように、実施の形態１の音声合成装置によれば、音声素片の時間軸を伸縮する時間軸伸縮手段３と、音声素片の接続時刻の探索範囲を設定する探索範囲設定手段４と、音声素片の接続時刻を韻律情報に基づいて設定する接続時刻設定手段５と、音声素片から前記韻律情報にしたがい音声信号を生成する音声生成手段６を備えたことによって、F0歪みを小さくすることができ、高品質な合成音声を得る効果がある。

また、音声の基本周期ごとに得られた音声波形を、音韻記号・韻律情報１００のF0に従い配置して、音声を生成するような音声生成方式では、総F0歪みが大きいと配置前と後との変化量が大きく品質の劣化がおおきくなる問題があるが、実施の形態１の音声合成装置によれば総F0歪みを小さくできるので、音質の劣化を防ぎ高品質な合成音声を得ることができる。

実施の形態２．
実施の形態１では、式（２）、（３）のような、F0の差の絶対値の累積和で定義したが、これに代えて、F0の差の絶対値のｎ乗値(nは2以上)の累積和を用いてもよい。
このようにすることで、総F0歪みへの影響が、相対的に、小さなF0の差は小さくなり、大きなF0の差は大きくなるので、合成音声の大きな劣化を防ぎ、高品質な合成音声を得ることができる。

実施の形態３．
実施の形態１の探索範囲設定手段では、接続時刻の探索範囲を音素区間の内側など適当な範囲を決めているが、これに代えて、例えば次式（４）に示すような音響歪みの１つである波形歪みDw(i)を求めて、これが設定する閾値θ以下となる区間(i|D(i)<θ)を求め、この範囲を接続時刻の探索範囲としてもよい。ここで、Wf(i)は、時間伸縮された先行の音声素片の時刻i(i=n,…,m)における、音声波形を表すベクトルである。Wb(i)は、時間伸縮された後続の音声素片の時刻iにおける、音声波形を表すベクトルである。

式（４）では、２つの音声波形を表すベクトルの差のユークリッドノルムとしたが、種々の公知の距離関数を用いてもよい。
このように構成することにより、波形歪みを小さく押さえたまま、総F0歪みを小さくできるので、合成音声の品質を向上させることができる。

実施の形態４．
実施の形態３では、式（４）に従って、波形歪みを計算しているが、これに代えて、例えば次式（５）に示すように、音響歪みの一つであるスペクトル歪みDs(i)を計算してもよい。式（５）で、Sf(i)とSb(i)は、先行する音声素片と後続する音声素片のそれぞれの音声信号のスペクトルを表していて、時刻i(i=n,…,m)における各周波数成分をベクトルで表している。

式（５）では、２つのスペクトルを表すベクトルの差のユークリッドノルムとしたが、種々の公知の距離関数を用いてもよい。
このように構成することにより、スペクトル歪みを小さく押さえたまま、総F0歪みを小さくできるので、合成音声の品質を向上させることができる。

実施の形態５．
実施の形態１では、音韻記号・韻律情報１００のF0（声の高さ）を用いて、その時間軸を伸縮し、音声素片のF0との歪みが最小となるような接続時刻を求めていたが、
これに代えて、音韻記号・韻律情報１００のパワー（声の大きさ）を用いて、その時間軸を伸縮し、音声素片のパワーとの歪みが最小となる接続時刻を求めてもよい。このように構成することで、パワーの歪みが小さくなるので、合成音声の劣化を防ぎ、高品質な合成音声を得ることができる。

この発明の音声合成装置は、カーナビゲータ、携帯電話機、デジタルテレビなどの機器に搭載され、これらの機器における音声読み上げ機能の実行を可能とする。

この発明の実施の形態１による音声合成装置を示す構成図である。 音声合成装置の動作の流れを示すフローチャートである。 音声素片の時間伸縮と時間伸縮後の音声素片変形例の説明図である。 探索範囲設定手段における探索範囲設定方法の説明図である。 接続時刻設定方法の説明図である。

符号の説明

１；音声合成装置、２；音声素片辞書、３；時間軸伸縮手段、４；探索範囲設定手段、５；接続時刻設定手段、６；音声生成手段。

Claims (4)

1. 入力テキストの音韻記号に基づいて、選択された音声素片を時間軸方向に伸縮する時間軸伸縮手段と、
   この時間軸伸縮手段で伸縮された音声素片の接続点の探索範囲を設定する探索範囲設定手段と、
   この探索範囲設定手段で設定された探索範囲内に音声素片の接続点を入力テキストの韻律情報に基づいて設定する接続点設定手段と、
   この接続点設定手段で設定された接続点で音声素片を接続し前記韻律情報にしたがい音声信号を生成する音声生成手段を、備えたことを特徴とする音声合成装置。
2. 上記の探索範囲設定手段は、音声素片間の音響歪み情報に基づいて探索する範囲を設定することを特徴とする請求項１記載の音声合成装置。
3. 入力テキストの音韻記号に基づいて、選択された音声素片を時間軸方向に伸縮する素片伸縮工程と、
   この伸縮した音声素片の接続点の探索範囲を設定する探索範囲設定工程と、
   この探索範囲内に音声素片の接続点を入力テキストの韻律情報に基づいて設定する接続点設定工程と、
   この接続点で音声素片を接続し前記韻律情報にしたがい音声信号を生成する音声生成工程を、備えたことを特徴とする音声合成方法。
4. 上記の探索範囲設定工程は、音声素片間の音響歪み情報に基づいて探索する範囲を設定することを特徴とする請求項３記載の音声合成方法。

Images