JP2011107408A - 音声合成装置、方法及びプログラム - Google Patents

Abstract

【課題】より適切な最適パスを選択することができる音声合成技術を提供する。
【解決手段】融合合成単位追加部５は、合成単位の探索時に、探索の候補である合成単位同士を融合して、音声データベース部２には格納されていない新たな合成単位である融合合成単位を生成して、探索パスに含める。合成単位を融合することにより、音素環境が一致し、基本周波数Ｆ０ギャップも少ない合成単位を生成し、音声合成に利用できる可能性が高くなる。
【選択図】図１

Description

この発明は、テキストに対応する合成音声を生成する技術に関する。

近年の大容量な記憶装置の使用コストの低下に伴って、数十分以上の大容量の音声データを大容量の記憶装置に蓄積し、入力されたテキスト及び韻律情報に応じて合成単位を適切に選択し、接続・変形することで高品質な音声を合成する音声合成方法が提案されている（例えば、特許文献１参照。）。

特許文献１に記載された音声合成方法では、音声データベースに存在している合成単位を探索して最適パスを選択していた。

特許第２７６１５５２号公報

特許文献１に記載された音声合成方法では、音声データベースに存在している合成単位のみを探索しており、適切な音声データを使用できない可能性があるという課題がある。

上記の課題を解決するために、この発明では、探索範囲に合成単位から生成した融合合成単位を含める。

合成単位のみならず、融合合成単位をも探索することにより、適切な音声データを使用することができる可能性が高まる。

音声合成装置の例の機能ブロック図。 音声合成方法の例の流れ図。 合成単位の例を説明するための図。 合成単位候補列挙部の処理の例を説明するための図。 融合合成単位追加部の処理の例を説明するための図。 合成単位候補の融合の例を説明するための図。 合成単位候補の融合の例を説明するための図。 合成単位候補の融合の例を説明するための図。 合成単位候補の融合の例を説明するための図。 最適パス探索部の処理の例を説明するための図。 合成音声生成部の処理の例を説明するための図。 合成音声生成部の処理の例を説明するための図。 合成音声生成部の処理の例を説明するための図。

以下、この発明の一実施形態を詳細に説明する。

図１は、この発明による音声合成装置の例の機能ブロック図である。図２は、この発明による音声合成方法の例の流れ図である。

音声合成装置は、テキスト分析部１、音声データベース部２、合成単位候補列挙部３、合成単位単体コスト計算部４、融合合成単位追加部５、融合合成単位単体コスト計算部６、最適パス探索部７、合成音声生成部８を例えば含む。

テキスト分析部１は、入力されたテキストを合成単位に分割し、分割された合成単位の継続時間長及び周波数情報を推定する（ステップＳ１）。合成単位への分割、継続時間長及び周波数情報の推定は、既存の手法を用いれば良い。例えば、参考文献１から３に記載された手法を用いることができる。

〔参考文献１〕特許第３４２０９６４号公報
〔参考文献２〕電子情報通信学会論文誌 A Vol.J67-A No.7 pp.629-636
〔参考文献３〕「音声情報工学」、NTTアドバンステクノロジ刊、昭和６２年、第5章4節
例えば入力されたテキストについて形態素解析を行い、事前に用意した辞書を参照してテキストに対応するヨミ及びアクセントを決定する。そして、ヨミを音素に変換して、各音素の継続時間長及び周波数情報を推定する。この推定は、例えば事前に用意した辞書を参照することにより行う。その後、音素から合成単位を生成する。この場合、合成単位を構成する音素の継続時間長の合計がその合成単位の継続時間長となり、合成単位を構成する音素の周波数情報がその合成単位の周波数情報となる。

合成単位は、音声合成の単位である。この例では、合成単位として、いわゆるＤｉｐｈｏｎｅ、Ｍｏｎｏｐｈｏｎｅ、Ｈａｌｆｐｈｏｎｅ等の音素の組み合わせ、音素、音素の一部（半音素）を用いる。テキスト分析部１によって分割された合成単位を、ターゲット合成単位と呼ぶ。

周波数情報は、例えば合成単位の継続時間長における各フレームの基本周波数である。一般に継続時間長は複数のフレームから構成されるため、合成単位の周波数情報はフレーム毎の基本周波数の列となる。

例えば入力されたテキストが「青」である場合には、［Ａｈ］、［Ａ：Ｏ］、［ｈＯ］の３つ合成単位に分割される。［Ａｈ］、［Ａ：Ｏ］、［ｈＯ］は合成単位のラベルであり、［Ａｈ］は音素／Ａ／の前半部分を表わすＨａｌｆｐｈｏｎｅ、［Ａ：Ｏ］は音素／Ａ／の後半と音素／Ｏ／の前半を表わすＤｉｐｈｏｎｅ、［ｈＯ］は音素／Ｏ／の後半部分を表わすＨａｌｆｐｈｏｎｅである。

音声データベース部２には、各ラベルに対応する合成単位並びにその合成単位のスペクトル情報及び周波数情報が記憶されている。

スペクトル情報は、それを元に音声を合成可能な情報であり、例えばベクトルで表現されたスペクトル特徴量である。図３に例示するように、合成単位は３つの状態から構成されており、各状態にはスペクトル特徴量が対応付けられている。もちろん、合成単位が３つ以上の状態から構成されており、各状態にスペクトル特徴量が対応付けられていてもよい。

音声データベース部２に記憶された合成単位は、その合成単位の前後の音素の情報を持っていてもよい。音声データベース部２に記憶された合成単位には、元となる発話コーパス中における時間順序に沿った通し番号が付与されていてもよい。この場合、この通し番号を参照することにより、合成単位が元の発話コーパス中で連接していたか否かを知ることができる。

合成単位候補列挙部３は、分割された合成単位（ターゲット合成単位）と同じラベルを有する複数の合成単位を、音声データベース部２から読み込み、その分割された合成単位の合成単位候補とする（ステップＳ２）。

分割された合成単位が［Ａｈ］、［Ａ：Ｏ］、［ｈＯ］である場合には、図４に例示するように、ラベルが［Ａｈ］である合成単位ｕ１（１）−ｕ１（４）を音声データベース部２から読み込み合成単位［Ａｈ］の合成単位候補とし、ラベルが［Ａ：Ｏ］である合成単位ｕ２（１）−ｕ２（３）を音声データベース部２から読み込み合成単位［Ａ：Ｏ］の合成単位候補とし、ラベルが［ｈＯ］である合成単位ｕ３（１）−ｕ３（４）を音声データベース部２から読み込み合成単位［ｈＯ］の合成単位候補とする。

合成単位単体コスト計算部４は、分割された合成単位（ターゲット合成単位）と各合成単位候補との距離を、分割された合成単位の周波数情報及びその各合成単位候補の周波数情報を用いて計算して、その各合成単位候補のコストとする（ステップＳ３）。

距離は求める性能や仕様に応じて適宜設定することができるが、この例では次のように定める。

ＩＣ１×ｗｃ１＋ＩＣ２×ｗｃ２
ＩＣ１は、分割された合成単位の基本周波数の平均値と、合成単位候補の基本周波数の平均値との差である。ＩＣ２は、分割された合成単位の基本周波数の傾きと、合成単位候補の基本周波数の傾きとの差である。傾きとしては、フレームごとの基本周波数の列に対して最小二乗法等により引いた直線の傾きを例えば用いる。ｗｃ１，ｗｃ２は適宜決定される重み係数である。

融合合成単位追加部５は、複数の合成単位候補から合成単位候補のペアである融合合成単位を選択して、合成単位候補とする（ステップＳ４）。融合合成単位の合成単位候補集合Ｕｉへの追加は、図５に例示するように、合成単位候補集合Ｕｉごとに行う。

合成探索の探索においては、元の発話コーパスにおいて連接しており、ターゲット合成単位との基本周波数が近い合成単位を選択するのが望ましい。また、元の発話コーパスにおいて連接していない合成単位同士を接続する場合には、接続部において可能な限りスペクトル特徴量の連続性が保たれていることが望ましい。融合合成単位を合成単位候補に含めることにより、これらの条件を満たす合成単位を選択することができる可能性が高まり、より適切な最適パスを選択することができる。

合成単位候補ｕｉ（ｍ）及び合成単位候補ｕｉ（ｎ）で構成される融合合成単位をｆｉ（ｍ，ｎ）と表記する。

ｆｉ（ｍ，ｎ）＝Ｆｕｓｉｏｎ（ｕｉ（ｍ），ｕｉ（ｎ））
ここで、１≦ｍ≦Ｎ、１≦ｎ≦Ｎ、ｍ≠ｎであり、Ｎは合成単位候補集合Ｕｉに含まれる合成単位候補の数である。例えば、Ｎ個の合成単位候補から、例えばＮ（Ｎ−１）個の融合合成単位を生成することができる。Ｆｕｓｉｏｎ（ａ，ｂ）は、合成単位候補ａ及び合成単位候補ｂから融合合成単位を生成する関数を表わす。

以下、融合合成単位ｆｉ（ｍ，ｎ）の生成の具体例について述べる。合成単位候補ｕｉ（ｍ）を遷移元とし、合成単位候補ｕｉ（ｎ）を遷移先として、これらの合成単位候補ｕｉ（ｍ），ｕｉ（ｎ）を融合する場合を例に挙げて説明する。融合合成単位ｆｉ（ｍ，ｎ）は、合成単位候補ｕｉ（ｍ）の性質と、合成単位候補ｕｉ（ｎ）の性質とを併せ持つ。

図６は、状態２で合成単位候補ｕｉ（ｍ）から合成単位候補ｕｉ（ｎ）に遷移するように融合した例である。この場合、融合合成単位ｆｉ（ｍ，ｎ）は、状態１において合成単位候補ｕｉ（ｍ）の状態１のスペクトル特徴量を持ち、状態２において合成単位候補ｕｉ（ｍ）の状態２のスペクトル特徴量と合成単位候補ｕｉ（ｎ）の状態２のスペクトル特徴量とを併せ持ち、状態３において合成単位候補ｕｉ（ｎ）の状態３のスペクトル特徴量を持つ。

図７は、状態１と状態２の間で合成単位候補ｕｉ（ｍ）から合成単位候補ｕｉ（ｎ）に遷移するように融合した例である。この場合、融合合成単位ｆｉ（ｍ，ｎ）は、状態１において合成単位候補ｕｉ（ｍ）の状態１のスペクトル特徴量を持ち、状態２において合成単位候補ｕｉ（ｎ）の状態２のスペクトル特徴量を持ち、状態３において合成単位候補ｕｉ（ｎ）の状態３のスペクトル特徴量を持つ。

図８は、状態２と状態３の間で合成単位候補ｕｉ（ｍ）から合成単位候補ｕｉ（ｎ）に遷移するように融合した例である。この場合、融合合成単位ｆｉ（ｍ，ｎ）は、状態１において合成単位候補ｕｉ（ｍ）の状態１のスペクトル特徴量を持ち、状態２において合成単位候補ｕｉ（ｍ）の状態２のスペクトル特徴量を持ち、状態３において合成単位候補ｕｉ（ｎ）の状態３のスペクトル特徴量を持つ。

図９は、状態１から状態３にかけて合成単位候補ｕｉ（ｍ）から合成単位候補ｕｉ（ｎ）に遷移するように融合した例である。この場合、融合合成単位ｆｉ（ｍ，ｎ）は、各状態において合成単位候補ｕｉ（ｍ）のその各状態のスペクトル特徴量と、合成単位候補ｕｉ（ｎ）のその各状態のスペクトル特徴量とを併せ持つ。

このように、合成単位候補ｕｉ（ｍ）及び合成単位候補ｕｉ（ｎ）を融合する際の遷移の位置は自由である。遷移の位置は、状態間のスペクトル特徴量の距離や、ターゲット合成単位の基本周波数と融合合成単位ｆｉ（ｍ，ｎ）の基本周波数との差を最小にするように決定してもよい。

融合合成単位単体コスト計算部６は、分割された合成単位（ターゲット合成単位）と融合合成単位との距離を、分割された合成単位の周波数情報及び融合合成単位を構成する合成単位候補の周波数情報を用いて計算して、融合合成単位のコストとする（ステップＳ５）。

距離は求める性能や仕様に応じて適宜設定することができるが、この例では次のように定める。

ＩＣ１×ｗｃ３＋ＩＣ２×ｗｃ４＋ＦＣ１×ｗｆ１
ＩＣ１は、分割された合成単位の基本周波数の平均値と、融合合成単位の基本周波数の平均値との差である。ＩＣ２は、分割された合成単位の基本周波数の傾きと、融合合成単位の基本周波数の傾きとの差である。傾きとしては、フレームごとの基本周波数の列に対して最小二乗法等により引いた直線の傾きを例えば用いる。融合合成単位の基本周波数は近似的に、例えば前半部分については遷移元の合成単位候補ｕｉ（ｍ）の基本周波数を、後半部分については遷移先の合成単位候補ｕｉ（ｎ）の基本周波数を用いる。ＦＣ１は、遷移元の合成単位候補ｕｉ（ｍ）の遷移の位置に対応するフレームのスペクトル特徴量と、遷移先の合成単位候補ｕｉ（ｎ）の遷移の位置に対応するフレームのスペクトル特徴量との距離（例えば、ユークリッド距離）である。ｗｃ３，ｗｃ４，ｗｆ１は適宜決定される重み係数である。

最適パス探索部７は、合成単位単体コスト、融合合成単位コスト及び合成単位接続コストを重み付け加算した値である総コストを最小にする合成単位候補を、分割された合成単位の合成単位候補から選択して、最適パスを構成する合成単位とする（ステップＳ６）。

合成単位接続コストは、パスを構成する合成単位の中の連続する２つの合成単位候補の距離であり、例えば以下のように定義される。連続する２つの合成単位候補の中の、先行する合成単位候補を先行合成単位と呼び、後続する合成単位候補を後続合成単位と呼ぶ。

ＣＣ１×ｗｃ５＋ＣＣ２×ｗｃ６＋ＣＣ３×ｗｃ７＋ＣＣ４×ｗｃ８＋ＣＣ５×ｗｃ９＋ＣＣ６×ｗｃ１０
ＣＣ１は、先行合成単位と後続合成単位とが元の発話コーパスにおいて連接していれば０であり、連接していなければ１となる。元の発話コーパスにおいて連接しているかどうかは、先行合成単位に付与された番号及び後続合成単位に付与された番号を参照することにより判断することができる。

ＣＣ２は、先行合成単位の元の発話コーパス中の後続音素カテゴリと、後続合成単位の音素カテゴリとが一致していれば０であり、一致していなければ１となる。

ＣＣ３は、先行合成単位の音素カテゴリと、後続合成単位の元の発話コーパス中の先行音素カテゴリとが一致していれば０であり、一致していなければ１となる。

ＣＣ４は、先行合成単位の最後の状態のスペクトル特徴量と、後続合成単位の最初の状態のスペクトル特徴量との距離（例えば、ユークリッド距離）である。

ＣＣ５は、先行合成単位の最後のフレームの基本周波数と、後続合成単位の最初のフレームの基本周波数との差である。

ＣＣ６は、先行合成単位の後半フレームの基本周波数の傾きと、後続合成単位の前半フレームの基本周波数の傾きとの差である。

ｗｃ５，…，ｗｃ１０は適宜決定される重み係数である。

最適パス探索部７は、各合成単位候補集合から１つずつ選ばれた合成単位候補の組で構成されるパスのそれぞれについての総コストを計算する。

図１０のように、合成単位候補集合Ｕ１に含まれる合成単位候補の数が１６であり、合成単位候補集合Ｕ２に含まれる合成単位候補の数が９であり、合成単位候補集合Ｕ３に含まれる合成単位候補の数が１６である場合には、最適パス探索部７は、１６×９×１６＝２３０４個のパスのそれぞれの総コストを計算して、総コストを最小にするパスを選択する。もちろん、必要に応じて枝刈りを行い、総コストが高いと思われるパスについての総コストの計算を省いてもよい。図１０は、ｕ１（３）→ｕ２（２）→ｆ３（１，２）を通るパスが、最適パスとして選択された例を示している。

最適パス探索部７は、例えば次のように仮説を生成して、各仮説の総コストを計算する。Ｍを分割された合成単位の数、すなわち合成単位候補集合の数とする。仮説とは、各合成単位候補集合Ｕｉから１つずつ選ばれた合成単位を時間方向に並べたものである。

≪ステップ１≫まず、初期仮説を生成する。最初の合成単位候補集合Ｕ１に含まれる各合成単位候補が、初期仮説となる。

≪ステップ２≫ｔ＝１，…，Ｍ−１まで、ステップ２の処理を行う。ステップ２においては、既に存在する合成単位候補集合Ｕｔまで到達した仮説から、次の合成単位候補集合Ｕｔ＋１に接続するような新たな仮説を生成して、各仮説の総コストを計算する。

≪ステップ３≫ステップ２の処理の後に、総コストを最小となる仮説を選択して、最適パスとして採用する。

合成音声生成部８は、最適パスを構成する合成単位のスペクトル情報を用いて、推定された継続時間長が長いほど合成単位に対応する合成音声の再生時間を長くすることにより、最適パスを構成する合成単位に対応する合成音声を生成する（ステップＳ７）。具体的には、以下のように各フレームのスペクトル特徴量を定めて、その後にフレームごとのスペクトル特徴量に基づいて合成音声を生成する。

図１１に例示するように、最適パスを構成する合成単位の各状態のスペクトル特徴量を、テキスト分析部１で推定した継続時間長に応じて時間軸方向に繰り返すことにより伸張して連結し、フレーム単位で構成したスペクトル特徴量系列を生成する。例えば、合成単位の状態の数がＫ、ある合成単位の推定された継続時間長から算出されるフレームの数がＬの場合、ｋ番目の状態にあたるスペクトル特徴量を、└（（ｋ−１）×（Ｌ／Ｋ））┘＋１番目のフレームから└（ｋ×（Ｌ／Ｋ））┘番目のフレームまで繰り返す。なお、└ｘ┘は、いわゆる床関数であり、ｘの小数点以下の切り捨てを意味する。

最適パスを構成する合成単位が融合合成単位である場合には、そのスペクトル情報として、その融合合成単位を構成する合成単位候補のペアのそれぞれのスペクトル情報を重み付き加算したスペクトル情報を用いる。融合合成単位ｆｉ（ｍ，ｎ）を構成する合成単位候補をｕｉ（ｍ），ｕｉ（ｎ）として、合成単位候補ｕｉ（ｍ）のフレームｋのスペクトル特徴量をＳｍ（ｋ）、合成単位候補ｕｉ（ｎ）のフレームｋのスペクトル特徴量をＳｎ（ｋ）、ｗ（ｋ）を０≦ｗ（ｋ）≦１の重み係数とすると、融合合成単位のフレームｋのスペクトル特徴量Ｓ（ｋ）は、例えば次のように求められる。ｗ（ｋ）は例えばｋについての広義単調減少関数である。

Ｓ（ｋ）＝Ｓｍ（ｋ）×ｗ（ｋ）＋Ｓｎ（ｋ）×（１−ｗ（ｋ））
図６のように状態２で合成単位候補ｕｉ（ｍ）から合成単位候補ｕｉ（ｎ）に遷移するように融合した融合合成単位のスペクトル特徴量を図１２に例示する。この例では、状態２に対応するフレームについて、上記式により、合成単位候補ｕｉ（ｍ）の状態２のスペクトル特徴量と、合成単位候補ｕｉ（ｎ）の状態２のスペクトル特徴量と広義単調減少関数である重みｗ（ｋ）により重み付き加算して、融合合成単位ｆｉ（ｍ，ｎ）のスペクトル特徴量を計算している。

図１２の例では、融合合成単位ｆｉ（ｍ，ｎ）のスペクトル特徴量が滑らかに変化するように重みｗ（ｋ）を設定しているが、これは必須ではない。例えば図７のように状態１と状態２の間で合成単位候補ｕｉ（ｍ）から合成単位候補ｕｉ（ｎ）に遷移するように融合した融合合成単位ｆｉ（ｍ，ｎ）においては、状態１に対応するフレームｋについての重みｗ（ｋ）＝１として、状態２及び３に対応するフレームｋについての重みｗ（ｋ）＝０として、スペクトル特徴量をある位置で切り替えるようにしてもよい。

合成音声生成部８は、最適パスを構成する合成単位の中の連続する２つの合成単位のそれぞれのスペクトル情報を重み付き加算したスペクトル情報を用いて、その連続する２つの合成単位の境界に対応する合成音声を生成してもよい。連続する２つの合成単位の中で、先行する合成単位を先行合成単位と呼び、後続する合成単位を後続合成単位と呼ぶことにする。この処理を行うことにより、先行合成単位と後続合成単位とが元の発話コーパスにおいて連接していない場合においても、スペクトル特徴量の変化を滑らかにすることができる。

先行合成単位のフレームｐのスペクトル特徴量をＳａ（ｐ）、後続合成単位のフレームｐのスペクトル特徴量をＳｂ（ｐ）、ｗ（ｐ）を０≦ｗ（ｐ）≦１の重み係数とすると、先行合成単位と後続合成単位の境界を含む区間のフレームｐのスペクトル特徴量Ｓ（ｐ）は、例えば次のように求められる。ｗ（ｐ）は例えばｐについての広義単調減少関数である。

Ｓ（ｐ）＝Ｓａ（ｐ）×ｗ（ｐ）＋Ｓｂ（ｐ）×（１−ｗ（ｐ））
上記式によるＳａ（ｐ）とＳｂ（ｐ）の重み付け加算の例を図１３に示す。図１３の例では、合成単位のスペクトル情報には、元の発話コーパスにおいて連接していた合成単位のスペクトル情報を含むとする。具体的には、先行合成単位のスペクトル情報には元の発話コーパスにおいてその先行合成単位に後続していた合成単位の最初の状態のスペクトル特徴量が含まれ、後続合成単位のスペクトル情報には元の発話コーパスにおいてその後続合成単位に先行していた合成単位の最後の状態のスペクトル特徴量が含まれるとする。

音声合成装置は、コンピュータによって実現することができる。この場合、この装置が有すべき各機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、これ装置における各処理機能が、コンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

１ テキスト分析部
２ 音声データベース部
３ 合成単位候補列挙部
４ 合成単位単体コスト計算部
５ 融合合成単位追加部
６ 融合合成単位単体コスト計算部
７ 最適パス探索部
８ 合成音声生成部

Claims (7)

1. 各ラベルに対応する合成単位並びにその合成単位のスペクトル情報及び周波数情報を記憶する音声データベース部と、
   各ターゲット合成単位と同じラベルを有する複数の合成単位を、上記音声データベース部から読み込み、上記各ターゲット合成単位の合成単位候補とする合成単位候補列挙部と、
   上記各ターゲット合成単位と各上記合成単位候補との距離を、上記各ターゲット合成単位の周波数情報及び上記各合成単位候補の周波数情報を用いて計算して、上記各合成単位候補のコストとする合成単位単体コスト計算部と、
   上記複数の合成単位候補から合成単位候補のペアである融合合成単位を選択して、上記各ターゲット合成単位の合成単位候補とする融合合成単位追加部と、
   上記各ターゲット合成単位と上記融合合成単位との距離を、上記各ターゲット合成単位の周波数情報並びに上記ペアを構成する合成単位候補の周波数情報及びスペクトル情報を用いて計算して、上記融合合成単位のコストとする融合合成単位単体コスト計算部と、
   合成単位単体コスト、融合合成単位コスト及び連続する２つの合成単位候補の距離である合成単位接続コストを重み付け加算した値を最小にする合成単位候補を、各上記ターゲット合成単位の合成単位候補から選択して、最適パスを構成する合成単位とする最適パス探索部と、
   を含む音声合成装置。
2. 請求項１の音声合成装置において、
   上記最適パスを構成する合成単位のスペクトル情報及び上記推定された継続時間長を用いて、上記最適パスを構成する合成単位に対応する合成音声を生成する合成音声生成部を更に含む、
   ことを特徴とする音声合成装置。
3. 請求項２の音声合成装置において、
   上記合成音声生成部は、上記最適パスを構成する合成単位が融合合成単位である場合には、そのスペクトル情報として、その融合合成単位を構成する合成単位候補のペアのそれぞれのスペクトル情報を重み付き加算したスペクトル情報を用いる、
   ことを特徴とする音声合成装置。
4. 請求項２又は３の音声合成装置において、
   上記合成音声生成部は、上記最適パスを構成する連続する２つの合成単位のそれぞれのスペクトル情報を重み付き加算したスペクトル情報を用いて、その連続する２つの合成単位の境界に対応する合成音声を生成する、
   ことを特徴とする音声合成装置。
5. 請求項１から４の何れかの音声合成装置において、
   入力されたテキストを合成単位に分割し、分割された合成単位であるターゲット合成単位の継続時間長及び周波数情報を推定するテキスト分析部を更に含む、
   ことを特徴とする音声合成装置。
6. 合成単位候補列挙部が、各ターゲット合成単位と同じラベルを有する複数の合成単位を、各ラベルに対応する合成単位並びにその合成単位のスペクトル情報及び周波数情報が記憶された音声データベース部から読み込み、上記各ターゲット合成単位の合成単位候補とする合成単位候補列挙ステップと、
   合成単位単体コスト計算部が、上記各ターゲット合成単位と各上記合成単位候補との距離を、上記各ターゲット合成単位の周波数情報及び上記各合成単位候補の周波数情報を用いて計算して、上記各合成単位候補のコストとする合成単位単体コスト計算ステップと、
   融合合成単位追加部が、上記複数の合成単位候補から合成単位候補のペアである融合合成単位を選択して、上記各ターゲット合成単位の合成単位候補とする融合合成単位追加ステップと、
   融合合成単位単体コスト計算部が、上記各ターゲット合成単位と上記融合合成単位との距離を、上記各ターゲット合成単位の周波数情報並びに上記ペアを構成する合成単位候補の周波数情報及びスペクトル情報を用いて計算して、上記融合合成単位のコストとする融合合成単位単体コスト計算ステップと、
   最適パス探索部が、合成単位単体コスト、融合合成単位コスト及び連続する２つの合成単位候補の距離である合成単位接続コストを重み付け加算した値を最小にする合成単位候補を、各上記ターゲット合成単位の合成単位候補から選択して、最適パスを構成する合成単位とする最適パス探索ステップと、
   を含む音声合成方法。
7. 請求項１から５の何れかの音声合成装置の各部としてコンピュータを機能させるための音声合成プログラム。