JP2006084854A - 音声合成装置、音声合成方法および音声合成プログラム - Google Patents

Abstract

【課題】 高品質な音声素片を用いて自然で音質のよい合成音声を生成する音声合成装置を提供する。
【解決手段】 音声素片選択部１０４ｂは、音声素片記憶部１０４ａに記憶されている音声素片から、これらの音声素片を接続したときの合成音声の歪に基づいて、合成単位ごとに複数の音声素片を選択する。代表音声素片選択部１０４ｃは、音声素片選択部１０４ｂで合成単位ごとに選択された複数の音声素片から、これらの音声素片間の距離に基づいて、合成単位ごとに一つの代表音声素片を選択する。音声素片変形・接続部１０４ｄは、代表音声素片選択部１０４ｃで合成単位ごとに選択された代表音声素片を変形、接続して合成音声を生成する。
【選択図】 図１

Description

本発明は、音声合成装置、音声合成方法および音声合成プログラムに係り、特に高品質な音声素片を用いて合成音声を生成することにより、自然で音質のよい合成音声を得ること可能とする音声合成装置、音声合成方法および音声合成プログラムに関する。

従来から、任意の文章（テキスト）から人工的に音声信号を作り出すテキスト音声合成の技術が提案されている（例えば、特許文献１を参照）。このようなテキスト音声合成を実現する音声合成装置は、一般に言語処理部、韻律処理部及び音声合成部の３つの要素によって構成される。

この音声合成装置では、まず言語処理部において、入力されたテキストの形態素解析や構文解析などが行われる。次に、韻律処理部においてアクセントやイントネーションの処理が行われ、音韻系列、基本周波数及び音韻継続時間長などの情報が算出される。そして最後に、音声合成部において、あらかじめ合成音声を生成する際の音声の接続単位である合成単位（例えば、音素や音節など）ごとに記憶されている音声素片と呼ばれる特徴パラメータや音声波形を、韻律処理部で算出された基本周波数や音韻継続時間長などに基づいて接続することで合成音声が生成される。

ここで、このようにあらかじめ記憶された音声素片を韻律処理部で算出された基本周波数や音韻継続時間長などに基づいて接続することで合成音声を生成するテキスト音声合成では、接続する音声素片の質が合成音声の音質に大きな影響を与える。そのため、従来から、質のよい音声素片を用いて合成音声を生成するテキスト音声合成技術の提案がなされている。

質のよい音声素片を用いて合成音声を生成する方法としては、例えば、あらかじめ大量の音声素片から高品質な音声素片を生成して記憶しておき、任意のテキストに対して、この高品質な音声素片を変形して接続することで合成音声を生成する方法が開示されている（例えば、特許文献２を参照）。この方法では、例えば、あらかじめ閉ループ学習を用いて合成音声と自然音声の間の歪が小さくなるような高品質な音声素片を生成して記憶しておき、この音声素片を変形して接続することで入力されたテキストに対する合成音声を作成するので、自然音声に近い合成音声を生成することが可能になる。

しかし、このようにあらかじめ高品質な音声素片を生成して記憶しておき、これを用いて音声合成を行う方法では、記憶されている音声素片の数が少ないと、入力されるテキストの韻律や音韻環境の多様なバリエーションに対応することが難しくなり、接続の際の音声素片の変形によって合成音声の音質が劣化する場合がある、という問題があった。

一方、前もって高品質な音声素片を生成しておくことなく音声合成を行う方法として、あらかじめ大量の音声素片を記憶しておき、この中から入力されたテキストの韻律や音韻環境に応じて適切な音声素片を選択して、これを変形して接続することで合成音声を生成する方法が開示されている（例えば、特許文献３を参照）。この方法では、音声素片を変形、接続して合成音声を生成した場合の合成音声の音質の劣化の度合いを推定するコスト関数をあらかじめ定義しておき、このコスト関数が小さくなるような音声素片を大量の音声素片の中から選択して用いることで高品質な合成音声の生成を実現している。

しかし、このような大量の音声素片から、入力されたテキストに応じて適切な音声素片を選択して用いる方法では、韻律や音韻環境のバリエーションに応じて適切な音声素片を選択する選択規則をコスト関数として定式化することが難しい。そのため、適切な音声素片が選択されずに、合成音声の音質が劣化する場合がある、という問題があった。
特開平８−２５４９９３号公報（第４頁、図１） 特許第３２８１２８１号公報（第３頁、図１） 特開２００１−２８２２７８公報（第３頁、図２）

上述したように、あらかじめ高品質な音声素片を生成しておき、これを用いて合成音声を生成するテキスト音声合成技術では、生成された音声素片の数が少ないと、入力されるテキストの韻律や音韻環境の多様なバリエーションに対処することができず、合成音声の音質が劣化する場合がある、という問題があった。

また一方で、大量の音声素片から、入力されるテキストの韻律や音韻環境に応じて適切な音声素片を選択して合成音声を生成するテキスト音声合成技術では、適切な音声素片を選択する選択規則をコスト関数として定式化することが難しいため、適切な音声素片が選択されずに、合成音声の音質が劣化する場合がある、という問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、自然で音質のよい合成音声を生成することを可能とする音声合成装置、音声合成方法および音声合成プログラムを提供することを目的とする。

上記目的を達成するために、本発明の音声合成装置は、入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成装置において、合成単位に対応する複数の音声素片を記憶する記憶手段と、前記入力されたテキストから得られる音韻系列にしたがって前記記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する選択手段と、前記合成単位ごとに、前記選択手段で選択された複数の音声素片間の距離に基づいて前記選択手段で選択された複数の音声素片から代表音声素片を得る代表音声素片取得手段と、前記代表音声素片取得手段で得られた代表音声素片を接続することによって合成音声を生成する合成音声生成手段と、を備えることを特徴とする。

また、本発明の音声合成方法は、入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成方法において、前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する選択ステップと、前記合成単位ごとに、前記選択ステップで選択された複数の音声素片間の距離に基づいて前記選択ステップで選択された複数の音声素片から代表音声素片を取得する代表音声素片取得ステップと、前記代表音声素片取得ステップで得られた代表音声素片を接続することによって合成音声を生成する合成音声生成ステップと、を有することを特徴とする。

また、本発明の音声合成プログラムは、コンピュータに、入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成プログラムにおいて、前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する選択機能と、前記合成単位ごとに、前記選択機能で選択された複数の音声素片間の距離に基づいて前記選択機能で選択された複数の音声素片から代表音声素片を取得する代表音声素片取得機能と、前記代表音声素片取得機能で得られた代表音声素片を接続することによって合成音声を生成する合成音声生成機能と、を備えることを特徴とする。

本発明によれば、まず、あらかじめ記憶された音声素片から、これらの音声素片を接続したときの合成音声の歪に基づいて複数の音声素片を選択し、次に、選択された複数の音声素片の中から音声素片間の距離に基づいて質のよい代表音声素片を選択するので、自然で音質のよい合成音声を生成することが可能となる。

以下、本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る音声合成装置を示すブロック図である。

この第１の実施形態に係わる音声合成装置は、テキストを入力するテキスト入力部１０１と、テキスト入力部１０１で入力されたテキストの形態素解析および構文解析を行う言語処理部１０２と、言語処理部１０２で得られる言語解析結果から入力されたテキストの音韻系列および目標素片環境を取得する韻律処理部１０３と、韻律処理部１０３で得られるテキストの音韻系列および目標素片環境を用いて、あらかじめ記憶されている複数の音声素片から合成単位ごとに代表音声素片を選択し、選択された代表音声素片を接続して合成音声を生成する音声合成部１０４と、音声合成部１０４で生成された合成音声を出力する合成音声出力部１０５とを備えている。

また、合成音声部１０４は、あらかじめ合成単位に対応する複数の音声素片が記憶されている音声素片記憶部１０４ａと、音声素片記憶部１０４ａに記憶されている音声素片から、これらの音声素片を接続したときの合成音声の歪を算出し、その歪に基づいて合成単位ごとに複数の音声素片を選択する音声素片選択部１０４ｂと、音声素片選択部１０４ｂで選択された複数の音声素片から、これらの音声素片間の距離に基づいて合成単位ごとに代表音声素片を選択する代表音声素片選択部１０４ｃと、代表音声素片選択部１０４ｃで選択された代表音声素片を変形、接続することで合成音声を生成する音声素片変形・接続部１０４ｄとから構成されている。

次に、図１および図２を用いて、本発明の第１の実施形態に係る音声合成装置の動作について説明する。なお、図２は、本発明の第１の実施形態に係る音声合成装置の動作を示すフローチャートである。

まず合成音声を生成すべきテキストが、テキスト入力部１０１にユーザによって入力される（ステップＳ１０１）。テキストの入力は、例えば、ユーザがキーボードなどを用いてテキストデータを入力することによって行なってもよく、すでにテキストデータのファイルを図示しない記憶領域に格納しているのであれば、そのファイルをユーザが選択・指定することによって行なってもよい。

テキスト入力部１０１で入力されたテキストは、次に、言語処理部１０２に送られる。

言語処理部１０２では、テキスト入力部１０１で入力されたテキストの形態素解析および構文解析が行なわれる（ステップＳ１０２）。言語処理部１０２における形態素解析および構文解析の結果は、形態素列、各形態素の品詞や読み情報、アクセント位置情報などとして、韻律処理部１０３に送られる。

韻律処理部１０３では、言語処理部１０２におけるテキストの形態素解析および構文解析の結果に基づいて、テキスト入力部１０１において入力されたテキストの音韻系列および目標素片環境を取得する（ステップＳ１０３）。

ここで音韻系列とは、テキストを音素や音節などの音声の構成単位の並びで表現した系列をいう。なお、本実施形態では、音韻系列は、音素の系列であるとして説明する。図３に、入力されたテキストが「こんにちは」である場合の音韻系列（音素系列）の例を示す。ここでは、「ｋ」「ｏ」「ｘ」などが音素を表している。

また、目標素片環境とは、入力されたテキストから得られる目標とする音声素片に関する環境的な属性（素片環境）をいう。ここで素片環境には、例えば、基本周波数、音韻継続時間長、パワーなどの韻律情報のほか、音素名、先行する音素名、後続する音素名、後続する音素に後続する音素名、音声素片境界のケプストラム、ストレスの有無、アクセント核から距離、息継ぎからの時間、発声速度、発声時の感情などが含まれるが、ここでは、目標素片環境は、基本周波数および音韻継続時間長であるとして説明する。

韻律処理部１０３で得られた入力されたテキストの音韻系列および目標素片環境（基本周波数および音韻継続時間長）は、図４に示すように、音韻系列に含まれる音素ごとに、基本周波数および音韻継続時間長と関連付けられて音声合成部１０４に送られる。なお、無声子音である／ｋ／については基本周波数が存在しないため、図４では基本周波数を「０．０」としている。

音声合成部１０４では、まず音声素片選択部１０４ｂにおいて、韻律処理部１０３から送られる音韻系列および目標素片環境に基づいて、音声素片記憶部１０４ａに記憶された音声素片から合成単位ごとにＭ個の音声素片が選択される（ステップＳ１０４）。音声素片選択部１０４ｂにおける音声素片の選択は、まず、音声素片記憶部１０４ａに記憶された音声素片を接続したときの合成音声の歪を算出し、次に、その歪に基づいて合成単位ごとにＭ個の音声素片を選択することによって行なう。なお、Ｍはあらかじめ適切に定めた定数である。

ここで、音声素片記憶部１０４ａには、合成単位に対応する複数の音声素片が記憶されている。なお、合成単位とは、合成音声を生成する際の音声の接続単位であり、合成単位としては、例えば、半音素、音素、ダイフォン、トライフォン、音節などを用いることができる。また合成単位は、これらの半音素、音素、ダイフォン、トライフォン、音節などが混在するものであってもよい。なお、本実施形態では、合成単位は音素であるとして説明する。図５に合成単位を音素とした場合の合成単位の例を示す。

また、音声素片記憶部１０４ａに記憶される音声素片は、音声波形そのものであってもよく、音声波形をケプストラムなどのスペクトルパラメータに変換したものであってもよい。なお、本実施形態では、音声素片記憶部１０４ａに記憶される音声素片は、音声波形そのものであるとして説明する。

また、音声素片記憶部１０４ａには、音声素片ごとに、それぞれの音声素片の素片環境もあわせて記憶されている。ここでは、音声素片の素片環境として、音素名、基本周波数、音韻継続時間長および音声素片境界のケプストラムが音声素片記憶部１０４ａに記憶されているものとする。図６に、波形である音声素片と素片環境が関連付けられて記憶されている音声素片記憶部１０４ａの例を示す。

このような音声素片記憶部１０４ａは、例えば、あらかじめ収録された発声データについて、図７に示すように音素単位でラベリングを行い、音素ごとに音声波形を切り出して、これを音声素片として記憶媒体に記憶することによって得ることができる。また、このとき、音声波形とあわせて、その音声素片が属する音素名、基本周波数、音韻継続時間長、音声素片境界のケプストラムも抽出して音声素片記憶部１０４ａに記憶する。なお、音声素片記憶部１０４ａとして用いる記憶媒体には、例えば、半導体メモリ、ハードディスク、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷなどが適用できる。

次に図８を用いて、音声素片選択部１０４ｂの動作について説明する。

まず、音声素片選択部１０４ｂは、韻律処理部１０３から送られる音韻系列を、代表音声素片を選択する単位となる合成単位で区切る（ステップＳ２０１）。なお、以下では音韻系列を合成単位で区切ったときの各区分をセグメントと呼ぶ。図９に、韻律処理部１０３から送られる音韻系列を合成単位で区切ったときのセグメントの例を示す。

次に、音声素片選択部１０４ｂは、音声素片記憶部１０４ａに記憶されている音声素片を韻律処理部１０３から送られる音韻系列にしたがって接続した場合の合成音声の歪を算出し、この歪が最小となる音声素片の系列（最適音声素片系列）を探索する（ステップＳ２０２）。

ここで、音声素片記憶部１０４ａに記憶されている音声素片を接続したときの合成音声の歪は、音声素片記憶部１０４ａに記憶された音声素片の素片環境と韻律処理部１０３から送られる目標素片環境（基本周波数および音韻継続時間長）との違いに基づく歪である目標コストと、接続する音声素片間の素片環境（音声素片境界のケプストラム）の違いに基づく歪である接続コストの重み付け和として求められる。すなわち、目標コストとは、音声素片記憶部１０４ａに記憶されている音声素片を入力されたテキストの目標素片環境（基本周波数および音韻継続時間長）のもとで使用することによって生じる歪であり、接続コストとは、接続する音声素片間の素片環境が不連続であることによって生じる歪である。

本実施形態では、目標コストとしては、韻律処理部１０３から送られる目標素片環境である基本周波数および音韻継続時間長と、音声素片記憶部１０４ａに記憶されている音声素片の素片環境である基本周波数および音韻継続時間長との違いに基づく基本周波数コストおよび音韻継続時間長コストを用いる。また、接続コストとしては、接続する音声素片間における音声素片記憶部１０４ａに記憶されている音声素片境界のケプストラムの違いに基づくスペクトル接続コストを用いる。

次に、図１０を用いて、基本周波数コスト、音韻継続時間長コストおよびスペクトル接続コストを求める方法について説明する。

図１０（ａ）には、「こんにちは」というテキストに対して韻律処理部１０３で得られた音韻系列（音素系列）および目標素片環境（基本周波数および音韻継続時間長）を示している。上述したように、本実施形態では、合成単位を音素としているので、セグメントごとに音素および目標素片環境である基本周波数（ｆ_Ｔｉ）および音韻継続時間長（ｄ_Ｔｉ）が定まる。また、図１０（ｂ）には、図１０（ａ）に示す各セグメントに対して、音声素片記憶部１０４ａから音声素片ｕ_ｉを選択して用いる場合の音声素片の系列の例を示している。なお、音声素片ｕ_ｉは、セグメントｉの音素を素片環境として持つ音声素片の中から選択する。そして、図１０（ｂ）には、音声素片記憶部１０４ａに記憶されている音声素片ｕ_ｉに対する基本周波数ｆ_ｕｉ、音韻継続時間長ｄ_ｕｉおよび素片境界のケプストラムｐ_ｕｉ、ｑ_ｕｉもあわせて表している。なお、素片境界のケプストラムについては、先行する音声素片との境界についてのケプストラムをｐ_ｕｉ、後続する音声素片との境界についてのケプストラムをｑ_ｕｉとしている。

この場合、各セグメントにおける基本周波数コストＣ_ｆ（ｉ，ｕ_ｉ）、音韻継続時間長コストＣ_ｄ（ｉ，ｕ_ｉ）およびスペクトル接続コストＣ_ｓ（ｉ，ｕ_ｉ）は、それぞれ（１）式、（２）式および（３）式によって求めることができる。

ここで‖ｘ‖は、ベクトルｘのノルムを表す。

各セグメントのコストＣ_ＳＧ（ｉ，ｕ_ｉ）は、これらのコストの重み付け和として（４）式によって求めることができる。

ここで、ｗ_ｆ、ｗ_ｄおよびｗ_ｓはあらかじめ適切に定められた重み係数である。

したがって、入力されたテキストに対して図１０（ｂ）に示すような音声素片｛ｕ_１，ｕ_２，・・・｝を接続することによって合成音声を生成したときに生じる歪Ｃは、（５）式のように算出することができる。

ここで、Ｎは入力されたテキストから得られる音韻系列（音素系列）を合成単位で区切ることにより得られるセグメントの数である。

以上が韻律処理部１０３から送られる音韻系列にしたがって音声素片記憶部１０４ａに記憶されている音声素片を接続した場合の合成音声の歪を算出する方法である。そして、ステップＳ２０２では、上述した（５）式に基づいて、歪Ｃが最小となる音声素片系列（最適音声素片系列）が求められる。なお、最適音声素片系列は、例えば、韻律処理部１０３から送られる音韻系列にしたがって、すべての音声素片の組み合わせについて歪Ｃを求めることによって探索してもよいが、動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｉｎｇ／ＤＰ）を用いることで効率的に探索することが可能である。

次に、音声素片選択部１０４ｂでは、ステップＳ２０２で求められた最適音声素片系列に基づいて、セグメントごとにＭ個の音声素片が選択される（ステップＳ２０３）。

セグメントｉに対するＭ個の音声素片の選択は、上述した最適音声素片系列に含まれる音声素片（最適音声素片）の他に、図１１に示すように、音声素片記憶部１０４ａからＭ−１個の音声素片を選択することによって行なう。すなわち、まずステップＳ３０１で、セグメントｉ以外のセグメントの音声素片を最適音声素片に固定する。次にステップＳ３０２で、セグメントｉの音声素片を、音声素片記憶部１０４ａに記憶された音声素片のうち、セグメントｉの音素と同じ音素を素片環境に持つ他の音声素片に置き換えて歪Ｃを計算する。歪Ｃの計算は、音声素片記憶部１０４ａに記憶されている、セグメントｉの音素と同じ音素を素片環境に持つ音声素片すべてについて行なう。そして、ステップＳ３０３で、歪Ｃが小さい音声素片から順番にＭ−１個の音声素片を選択すればよい。このような処理をすべてのセグメントについて行なうことで、セグメントごとにＭ個の音声素片を選択することができる。

以上が音声素片選択部１０４ｂにおいて、韻律処理部１０３から送られる音韻系列および目標素片環境に基づいて、音声素片記憶部１０４ａに記憶された音声素片から合成単位ごとにＭ個の音声素片を選択する方法である。このように、音声素片記憶部１０４ａに記憶された音声素片のうち、入力されたテキストに対する合成音声の歪が小さくなる音声素片を選択することにより、入力されるテキストの音韻系列や韻律情報などのバリエーションに対応した適切な音声素片を代表音声素片の候補として選択することが可能になる。

次に、このように音声素片選択部１０４ｂで合成単位ごとにＭ個選択された音声素片は、代表音声素片選択部１０４ｃに送られる。

代表音声素片選択部１０４ｃでは、音声素片選択部１０４ｂより送られる音声素片から、音声素片間の距離に基づいて合成単位ごとに一つの代表音声素片が選択される（ステップＳ１０５）。

図１２に、合成単位ごとに、音声素片選択部１０４ｂで選択されたＭ個の音声素片から一つの代表音声素片を選択する方法を示す。なお、ここで音声素片間の距離とは、対比される音声素片間のスペクトル包絡の類似性の尺度をいう。このような音声素片間の距離は、例えば、音声素片から得られるケプストラムなどのスペクトルパラメータ（ベクトル）間のベクトル間距離として求めることができる。あるいは、音声素片が音声波形である場合には、対比される音声波形の基本周波数や音韻継続時間長などの韻律を揃えた後、各音声波形をベクトルで表して、これらのベクトル間距離を計算することによって求めてもよい。なお、以下では、音声素片間の距離は、各音声素片から得られるケプストラム間の距離であるとして説明する。

まず、Ｍ個の音声素片それぞれについて、音声素片記憶部１０４ａに記憶された音声素片の中心部におけるケプストラムを求める（ステップＳ４０１）。音声素片の中心部におけるケプストラムは、例えば、２０ミリ秒程度の窓幅のハニング窓によって音声素片中心部の波形信号を切り出し、これをケプストラムに変換することによって得ることができる。

次に、ステップＳ４０１で求められたＭ個のケプストラムの平均値を求めることでＭ個の音声素片のセントロイドのケプストラムを求める（ステップＳ４０２）。

次に、（６）式にしたがって、Ｍ個の音声素片のケプストラムとセントロイドのケプストラムとの間の距離を求め、最もセントロイドに近い音声素片を代表音声素片として選択する（ステップＳ４０３）。

ここで、ｃ_ｉは第ｉ番目の音声素片のケプストラム、ｃ_ｃｅｎｔはＭ個の音声素片のセントロイドのケプストラム、Ｄ_ｉは第ｉ番目の音声素片のケプストラムｃ_ｉとセントロイドのケプストラムｃ_ｃｅｎｔとの間の距離を表す。ステップＳ４０３では、Ｄ_ｉが最も小さい音声素片を最もセントロイドに近い音声素片として選択すればよい。

以上が代表音声素片選択部１０４ｃにおいて、合成単位ごとに、音声素片選択部１０４ｂで選択されたＭ個の音声素片から一つの代表音声素片を選択する方法である。

このように、代表音声素片選択部１０４ｃにおいて、合成単位ごとに、音声素片選択部１０４ｂで求められたＭ個の音声素片の間の距離に基づいて代表音声素片を求めることにより、Ｍ個の音声素片の中でスペクトルの性質が他の音声素片と大きく異なる音声素片が代表音声素片となることを防ぐことが可能となる。

次に、代表音声素片選択部１０４ｃで合成単位ごとに求められた代表音声素片は、音声素片変形・接続部１０４ｄに送られる。

音声素片変形・接続部１０４ｄでは、代表音声素片選択部１０４ｃから送られた合成単位ごとの代表音声素片を韻律処理部１０３で得られた音韻系列および目標素片環境に基づいて変形、接続して合成音声を生成する（ステップＳ１０６）。

ここで、図１３を用いて、合成単位ごとに得られた代表音声素片を接続して合成音声を生成する方法について説明する。まず、図１３（ａ）に示すように、有声音については、代表音声素片からピッチ波形を抽出し、このピッチ波形の基本周波数を韻律処理部１０３で得られた基本周波数となるように変形し、これを韻律処理部１０３で得られた音韻継続時間長にしたがって適切な数だけ重畳する。なお、代表音声素片からピッチ波形を抽出する方法としては、例えば、基本周期（ピッチ）同期窓を用いる方法や、ケプストラム分析やＰＳＥ分析によって得られたパワースペクトル包絡を逆離散フーリエ変換する方法、閉ループ学習法によって合成音声のレベルで自然音声に対する歪が小さくなるようなピッチ波形を求める方法などを用いることができる。

一方、無声音については、ピッチ波形は存在しないので、代表音声素片の音韻継続時間長のみを韻律処理部１０３で得られた音韻継続時間長にしたがって変形する。例えば、無声破裂音や無声破擦音は、音が発せられる前に調音器官を閉じ呼気を止める区間（閉鎖区間）が存在するので、図１３（ｂ）に示すように、閉鎖区間中の適当な区間をコピーして閉鎖区間の伸長を行なうことによって、音声素片が適切な音韻継続時間長となるように変形すればよい。また、無声摩擦音については、音声素片を短くする場合には、例えば、音声素片の中心付近の適当な長さの区間の波形を切り落とし、音声素片を長くする場合には、音声素片の中心付近の適当な長さの区間の波形を繰り返すことによって、音声素片が適切な音韻継続時間長となるように変形すればよい。このとき、波形の接続付近で平滑化処理を行えば、波形を切り落としたり、接続したりすることによる合成音声の不連続感を低減させることができる。

そして、このようにして得られた代表音声素片を、各音声素片の接続境界においてスペクトルが連続的に変化するように変形して接続することで合成音声が生成される。

このように音声素片変形・接続部１０４ｄで生成された合成音声は、次に、合成音声出力部１０５に送られる。

合成音声出力部１０７では、音声合成部１０４から送られる合成音声を出力する（ステップＳ１０７）。合成音声の出力は、例えば、スピーカやヘッドホンなどを用いて行なえばよい。また、スピーカやヘッドホンなどを用いて音声として出力する代わりに、電子データとして半導体メモリやハードディスクなどの記憶媒体上にファイルとして出力してもよい。

このように、第１の実施形態に係る音声合成装置によれば、まず音声素片選択部１０４ｂにおいて、音声素片記憶部１０４ａに記憶された音声素片から、入力されたテキストの音韻系列に基づいて生成される合成音声の歪が小さくなる音声素片を選択することで、入力されるテキストの音韻系列や韻律情報などのバリエーションに対応した適切な音声素片を代表音声素片の候補として選択することが可能になる。そして、次に、代表音声素片選択部１０４ｃにおいて、音声素片選択部１０４ｂで選択された音声素片の間の距離に基づいて代表音声素片を選択することにより、音声素片選択部１０４ｂで求められた音声素片の中で、スペクトルの性質が他の音声素片と大きく異なる音声素片が代表音声素片となることを防ぐことできる。すなわち、音声素片選択部１０４ｂにおいて選択された音声素片の中に不適切な音声素片が含まれている場合にも、高品質な音声素片を代表音声素片とすることができる。そして、このような代表音声素片を用いることで、自然で音質のよい合成音声を生成することが可能になる。

なお、上述した実施形態では、韻律処理部１０３で得られる目標素片環境を基本周波数および音韻継続時間長とし、音声素片選択部１０４ｂでは、目標コストとして基本周波数コストおよび音韻継続時間長コストを用いたが、目標素片環境としては、このほかに音素のパワーや先行する音素、後続する音素、後続する音素に後続する音素などを用いることも可能である。この場合、音声素片記憶部１０４ａに記憶されている音声素片ごとに、これらの目標素片環境に対応する素片環境をもあわせて記憶しておき、音声素片選択部１０４ｂでは、素片環境ごとに目標素片環境と音声素片記憶部１０４ａに記憶されている音声素片の素片環境の違いを評価するコスト関数を定義して、これを（４）式で表されるセグメントごとに得られるコストＣ_ＳＧ（ｉ，ｕ_ｉ）に重み付け和として追加すればよい。

また、上述した実施形態では、音声素片選択部１０４ｂで求められる接続コストとして、スペクトル接続コストを用いたが、接続コストとしては、接続される音声素片間の基本周波数の違いに基づく基本周波数接続コストを用いることも可能である。さらに、音声素片記憶部１０４ａに記憶される素片環境として、各音声素片のパワーもあわせて記憶しておき、接続される音声素片間のパワーの違いをパワー接続コストとして求めて用いることも可能である。また、さらに、これらのスペクトル接続コスト、基本周波数接続コストおよびパワー接続コストの重み付け和を取り、これを接続コストとすることも可能である。

また、上述した実施形態では、（４）式のように、基本周波数コスト、音韻継続時間長コストおよびスペクトル接続コストの重み付け和として各セグメントのコストＣ_ＳＧ（ｉ，ｕ_ｉ）を求めたが、各セグメントのコストＣ_ＳＧ（ｉ，ｕ_ｉ）は、（７）式に示すように、各コストの累乗の重み付け和とすることも可能である。

ここで、ｘ、ｙおよびｚは、各コストに対して適切に定められた塁数である。このように各コストの累乗の重み付け和をとることによって、特定のコストだけが大きい音声素片が音声素片選択部１０４ｂで選択されることを防ぐことができる。

また、上述した実施形態では、音声素片選択部１０４ｂにおいて、合成音声の歪を目標コストと接続コストの重み付け和として求めたが、重み付け和を求めず、目標コストあるいは接続コストのいずれか一方を、そのまま合成音声の歪とすることも可能である。このように、目標コストあるいは接続コストのいずれか一方を、そのまま合成音声の歪とすることで、目標コストあるいは接続コストのいずれか一方のみを算出すればよくなり、計算量を削減して高速に合成音声を生成することが可能になる。

また、上述した実施形態では、音声素片選択部１０４ｂにおいて、合成音声の歪を目標コストと接続コストの重み付け和として求めたが、目標コストと接続コストを求めることなく、韻律処理部１０３から送られる目標素片環境、音声素片記憶部１０４ａに記憶された音声素片の素片環境、および、その音声素片に接続される音声素片の素片環境の組を入力として、あらかじめ学習されたニューラルネットワークを用いて合成音声の歪を求めることも可能である。

このようなニューラルネットワークの学習のためには、まず、あらかじめ大量のテキストから合成音声を生成し、各合成音声に対して音質の主観評価を行なう。主観評価は、例えば、合成音声の音質を「非常によい（０点）」「よい（１点）」「ふつう（２点）」「悪い（３点）」「非常に悪い（４点）」という５段階に分類することによって行なえばよい。次に、それぞれのテキストについて、合成単位ごとに目標素片環境、音声合成に用いた音声素片の素片環境、および、その音声素片に接続される音声素片の素片環境の組を入力データ、そのテキストに対する主観評価の得点を出力データとして、これらの入出力データを教師データとしてニューラルネットワークを学習する。

音声素片選択部１０４ｂでは、このようにして学習されたニューラルネットワークに、合成単位ごとに韻律処理部１０３から送られる目標素片環境、音声素片記憶部１０４ａに記憶された音声素片の素片環境、および、その音声素片に接続される音声素片の素片環境の組を入力して、主観評価の得点を出力データとして得る。このようにしてニューラルネットワークから出力される主観評価の得点を合成音声の歪とする。

このように音声素片選択部１０４ｂにおいて、あらかじめ学習したニューラルネットワークを用いて得られる出力データ（主観評価の得点）を合成音声の歪として算出することにより、目標コストおよび接続コストを求めることなく、音声素片記憶部１０４ａから主観評価を反映した音声素片の選択を行なうことが可能になる。

また、上述した実施形態では、音声素片選択部１０４ｂにおいて、セグメントごとに最適音声素片以外のＭ−１個の音声素片を選択する際に、まず、セグメントｉの音声素片を最適音声素片に固定し、次にセグメントｉの音声素片を他の音声素片に置き換えて歪Ｃを計算して、歪Ｃが小さい音声素片から順番にＭ−１個の音声素片を選択していたが、歪Ｃを計算せず、例えば、基本周波数コストＣ_ｆ（ｉ，ｕ_ｉ）のみを計算して、基本周波数コストＣ_ｆ（ｉ，ｕ_ｉ）が小さい音声素片から順番にＭ−１個の音声素片を選択してもよい。このようにすることで、他の音韻継続時間長コストや接続コストを計算することなく、計算量を減らして効率的に音声素片の選択を行なうことが可能となる。

また、上述した実施形態では、代表音声素片選択部１０４ｃにおいて、音声素片選択部１０４ｂから送られるＭ個の音声素片をそのまま用いてケプストラムを計算していたが、これらの音声素片の基本周波数および音韻継続時間長を、まず韻律処理部１０３で得られる目標素片環境である基本周波数および音韻継続時間長となるように変形してからケプストラムを計算することも可能である。

また、上述した実施形態では、代表音声素片選択部１０４ｃにおいて、合成単位ごとに音声素片選択部１０４ｂから送られるＭ個の音声素片のセントロイドを求め、求められたセントロイドに最も近い音声素片を、その合成単位の代表音声素片としていたが、セントロイドを求めることなく、音声素片ごとに、その音声素片と他の音声素片との間の距離の和を求め、この距離の和が最も小さい音声素片を代表音声素片として選択することも可能である。

以下、図１４を用いて、音声素片選択部１０４ｂから送られるＭ個の音声素片から音声素片間の距離の和に基づいて代表音声素片を選択する方法について説明する。

まず、代表音声素片選択部１０４ｃでは、合成単位ごとに、音声素片選択部１０４ｂから送られるＭ個の音声素片のケプストラムを求める（ステップＳ５０１）。

次に、（８）式にしたがって、音声素片ごとに、他の音声素片との距離の和を求める（ステップＳ５０２）。

ここで、ｃ_ｉは第ｉ番目の音声素片のケプストラム、Ｓ_ｉは第ｉ番目の音声素片のケプストラムと他の音声素片のケプストラムの距離の和を表す。

そして、（８）式で求まる距離の和Ｓ_ｉが最小となる音声素片を代表音声素片として選択する（ステップＳ５０３）。

このように音声素片ごとに、他の音声素片との間の距離の和を求め、その距離の和が最小となる音声素片を代表音声素片とすることによって、Ｍ個の音声素片からセントロイドを求めることなく代表音声素片を選択することが可能になる。

さらに、ステップＳ５０１の前に、Ｍ個の音声素片の基本周波数および音韻継続時間長を、韻律処理部１０３で得られる目標素片環境である基本周波数および音韻継続時間長となるように変形するステップを設けて、ステップＳ５０１では、このようにして変形された音声素片のケプストラムを求めるようにしてもよい。このようにすることで、目標素片環境である基本周波数および音韻継続時間長のもとで音声素片間の距離を求めることが可能になる。

また、上述した実施形態では、音声素片間の距離を、各音声素片から得られるケプストラム間の距離であるとして説明したが、音声素片間の距離は、ケプストラムの代わりに、各音声素片から得られるメルケプストラム、フィルタバンク係数、ＬＰＣ、ＬＳＰ、ＰＡＲＣＯＲ係数、ＭＦＣＣなどを用いて計算してもよい。

また、上述した実施形態では、音声素片選択部１０４ｂにおいて、合成単位ごとに選択される音声素片の数は一定値（Ｍ個）としたが、選択される音声素片の数は合成単位ごとに異なっていてもよい。また、あらかじめ合成単位ごとに選択される音声素片の数を定めず、（５）式で求められる合成音声の歪が、あらかじめ定めた一定の閾値以下となる音声素片をすべて選択して代表音声素片選択部１０４ｃに送るようにすることも可能である。

また、上述した実施形態では、音声素片変形・接続部１０４ｄにおいて、代表音声素片選択部１０４ｃで得られた代表音声素片を韻律処理部１０３で得られる目標素片環境にしたがって変形して接続することとしていたが、代表音声素片を変形せずに接続することも可能である。代表音声素片の変形を行なわないことで変形処理による音質の劣化が生じないため、より肉声間のある合成音声を得ることが可能になる。

なお、この音声合成装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、言語処理部１０２、韻律処理部１０３、音声合成部１０４は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、音声合成装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、テキスト入力部１０１は、上記コンピュータ装置に内臓あるいは外付けされたキーボードなどを適宜利用して実現することができる。また、音声素片記憶部１０４ａは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。また、合成音声出力部１０５は、上記コンピュータ装置に内臓あるいは外付けされたスピーカやヘッドホンなどを適宜利用して実現することができる。

（第２の実施形態）
第１の実施形態に係わる音声合成装置では、代表音声素片選択部１０４ｃにおいて、音声素片選択部１０４ｂにおいて選択された複数の音声素片から、これらの音声素片間の距離に基づいて合成単位ごとに一つの代表音声素片を選択し、選択された代表音声素片を音声素片変形・接続部１０４ｄにおいて接続することによって合成音声を生成していた。

第２の実施形態では、代表音声素片選択部１０４ｃの代わりに、音声素片選択部１０４ｂにおいて選択された音声素片から、これらの音声素片間の距離に基づいて合成単位ごとに複数の音声素片を選択する第２の音声素片選択部を設け、その第２の音声素片選択部で選択された複数の音声素片を融合することによって新たに代表音声素片を生成する実施の形態について説明する。

図１５は、本発明の第２の実施形態に係る音声合成装置を示すブロック図である。

この第２の実施形態に係わる音声合成装置は、テキストを入力するテキスト入力部２０１と、テキスト入力部２０１で入力されたテキストの形態素解析および構文解析を行う言語処理部２０２と、言語処理部２０２で得られる言語解析結果から入力されたテキストの音韻系列および目標素片環境を取得する韻律処理部２０３と、韻律処理部２０３で得られるテキストの音韻系列および目標素片環境を用いて、あらかじめ記憶されている複数の音声素片から合成単位ごとに代表音声素片を生成し、生成された代表音声素片を接続して合成音声を生成する音声合成部２０４と、音声合成部２０４で生成された合成音声を出力する合成音声出力部２０５とを備えている。

また、合成音声部２０４は、あらかじめ合成単位に対応する複数の音声素片が記憶されている音声素片記憶部２０４ａと、音声素片記憶部２０４ａに記憶されている音声素片から、これらの音声素片を接続したときの合成音声の歪を算出し、その歪に基づいて合成単位ごとに複数の音声素片を選択する第１の音声素片選択部２０４ｂと、音声素片選択部２０４ｂで選択された音声素片から、これらの音声素片間の距離に基づいて合成単位ごとに複数の音声素片を選択する第２の音声素片選択部２０４ｃと、第２の音声素片選択部２０４ｃで選択された音声素片を融合することで合成単位ごとに代表音声素片を生成する代表音声素片生成部２０４ｄと、代表音声素片生成部２０４ｄで生成された代表音声素片を変形、接続することで合成音声を生成する音声素片変形・接続部２０４ｅとから構成されている。

つまり、第１の実施形態とは、音声合成部２０４において、代表音声素片選択部１０４ｃの代わりに、第１の音声素片選択部２０４ｂから送られた音声素片から、これらの音声素片間の距離に基づいて複数の音声素片を選択する第２の音声素片選択部２０４ｃを備える点、および第２の音声素片選択部２０４ｃで選択された複数の音声素片を融合して代表音声素片を生成する代表音声素片生成部２０４ｄを備える点が異なるのみである。したがって、以下では、第１の実施形態と共通の動作を行う部分（テキスト入力部２０１、言語処理部２０２、韻律処理部２０３、音声素片記憶部２０４ａ、第１の音声素片選択部２０４ｂ、音声素片変形・接続部２０４ｅ、合成音声出力部２０５）については、説明を省略する。

次に、図１５および図１６を用いて、本発明の第２の実施形態に係わる音声合成装置の動作について説明する。なお、図１６は、本発明の第２の実施形態に係わる音声合成装置の動作を示すフローチャートである。

第２の音声素片選択部２０４ｃは、第１の音声素片選択部２０４ｂから送られる複数の音声素片から、これらの音声素片間の距離に基づいて代表音声素片を生成するための複数の音声素片を選択する（ステップＳ６０５）。ここで、第１の音声素片選択部２０４ｂから送られる音声素片の数は、上述した第１の実施形態と同様に合成単位ごとにＭ個とし、第２の音声素片選択部２０４ｃでは、そのＭ個の音声素片の中から合成単位ごとにＬ個（Ｌ＜Ｍ）の音声素片を選択するものとする。

第２の音声素片選択部２０４ｃにおけるＬ個の音声素片の選択は、例えば、上述したように、まず、合成単位ごとに第１の音声素片選択部２０４ｂから送られるＭ個の音声素片のケプストラムのセントロイドを求め、そのセントロイドに近い音声素片からＬ個の音声素片を選択することによって行なうことができる。すなわち、第ｉ番目の音声素片のケプストラムをｃ_ｉ、Ｍ個の音声素片のケプストラムのセントロイドをｃ_ｃｅｎｔとして、（６）式でこれらのケプストラム間の距離Ｄ_ｉを求め、この距離Ｄ_ｉが小さい音声素片から順番にＬ個の音声素片を選択すればよい。

このように第２の音声素片選択部２０４ｃにおいて、音声素片間の距離に基づいて合成単位ごとに選択されたＬ個の音声素片は、次に、代表音声素片生成部２０４ｄに送られる。

代表音声素片生成部２０４ｄでは、第２の音声素片選択部２０４ｃから送られる合成単位ごとにＬ個の音声素片を融合することによって代表音声素片が生成される（ステップＳ６０６）。複数の音声素片を融合して新たな音声素片を生成する方法としては、例えば、音声素片ごとにピッチ波形を抽出し、抽出されたピッチ波形を音声素片間で平均化して新たな音声素片を生成する方法や音声素片からピッチ波形を抽出することなく閉ループ学習を用いて新たな音声素片を生成する方法（例えば、特許文献２を参照）などを用いることができる。

ここでは、図１７を用いて、合成単位ごとにＬ個の音声素片のそれぞれについてピッチ波形を抽出して、これを融合することにより代表音声素片を生成する方法について説明する。なお、ここでは、音声素片の融合は有声音についてのみ行なうものとし、無声音については、第２の音声素片選択部２０４ｃから送られるＬ個の音声素片のうち、第２の音声素片選択部２０４ｃで求められた音声素片のセントロイドに最も近い音声素片をそのまま代表音声素片として用いるものとする。また、図１７では、Ｌ＝３の場合について示している。

有声音における音声素片の融合では、まず、図１７（ａ）に示すように、合成単位ごとに、Ｌ個（＝３個）の音声素片のそれぞれについてピッチ波形を抽出する。そして、次に、Ｌ個の音声素片のうち、抽出されたピッチ波形の数が最も多い音声素片を検出し、その他の音声素片のピッチ波形の数を最もピッチ波形の数が多い音声素片のピッチ波形の数に揃える（図１７（ｂ））。なお、図１７（ｂ）では、音声素片２および音声素片３について、末尾のピッチ波形をコピーしてピッチ波形の数を揃えているが、コピーするピッチ波形は末尾のものでなくてもよく、その他のピッチ波形をコピーしてもよい。次に、各音声素片の対応するピッチ波形ごとにピッチ波形の融合を行う（図１７（ｃ））。ピッチ波形の融合は、例えば、各ピッチ波形の平均を計算してセントロイドを求めることによって行なってもよく、また、各ピッチ波形間の相関が最大となるように各ピッチ波形を変形した後にセントロイドを求めることによって行なってもよい。そして、この融合されたピッチ波形を重畳して接続することにより、代表音声素片を得ることができる（図１７（ｄ））。

このように、第２の実施形態に係わる音声合成装置によれば、まず、第２の音声素片選択部２０４ｃにおいて、音声素片間の距離に基づいて音声素片を選択することで、第１の音声素片選択部２０４ｂで求められた音声素片の中で、スペクトルの性質が他の音声素片と大きく異なる音声素片が代表音声素片を生成するための音声素片として選択されることを防ぐことができる。そして、次に、代表音声素片生成部２０４ｄにおいて、第２の音声素片選択部２０４ｃにおいて選択された複数の音声素片を融合して代表音声素片を生成することによって、高品質な音声素片を作りだすことが可能になる。そのため、このような代表音声素片を用いて合成音声を生成すれば、自然で音質のよい合成音声を得ることが可能になる。

なお、上述した実施形態では、第２の音声素片選択部２０４ｃにおいて、合成単位ごとにあらかじめ定めたＬ個の音声素片を選択することとしたが、選択される音声素片の数は合成単位ごとに異なっていてもよい。また、あらかじめ合成単位ごとに選択される音声素片の数を定めず、合成単位ごとに複数の音声素片を選ぶ場合に、音声素片のケプストラムｃ_ｉと音声素片のセントロイドのケプストラムｃ_ｃｅｎｔとの間の距離Ｄ_ｉが、あらかじめ定めた一定の閾値以下となる音声素片をすべて選択して、代表音声素片生成部１０４ｄに送るようにすることも可能である。

また、上述した実施形態では、代表音声素片生成部２０４ｄにおいて、有声音における音声素片の融合の際に、各音声素片のピッチ波形の数を、ピッチ波形の数が最も多い音声素片に揃えたが、ピッチ波形の数を、あらかじめ定めた一定の数に揃えるようにすることも可能である。

また、上述した実施形態では、代表音声素片生成部２０４ｄにおいて、無声音については、第２の音声素片選択部２０４ｃから送られるＬ個の音声素片のうち、第２の音声素片選択部２０４ｃで求められた音声素片のセントロイドに最も近い音声素片をそのまま代表音声素片として用いたが、代表音声素片生成部２０４ｄにおいて、Ｌ個の音声素片を音声波形の長さが揃うように変形したのち、これらを波形レベルで平均化したものを代表音声素片として用いることも可能である。

（第３の実施形態）
第２の実施形態に係わる音声合成装置では、代表音声素片生成部２０４ｄにおいて、第２の音声素片選択部２０４ｃで選択された複数の音声素片を融合することによって代表音声素片を生成していた。

第３の実施形態では、代表音声素片生成部２０４ｄに代わりに、第２の音声素片選択部２０４ｃで選択された音声素片から、これらの音声素片を接続して得られる合成音声の歪に基づいて代表音声素片を選択する代表音声素片選択部を設ける実施の形態について説明する。

図１８は、本発明の第３の実施形態に係る音声合成装置を示すブロック図である。

この第３の実施形態に係わる音声合成装置は、テキストを入力するテキスト入力部３０１と、テキスト入力部３０１で入力されたテキストの形態素解析および構文解析を行う言語処理部３０２と、言語処理部３０２で得られる言語解析結果から入力されたテキストの音韻系列および目標素片環境を取得する韻律処理部３０３と、韻律処理部３０３で得られるテキストの音韻系列および目標素片環境を用いて、あらかじめ記憶されている複数の音声素片から合成単位ごとに代表音声素片を選択し、選択された代表音声素片を接続して合成音声を生成する音声合成部３０４と、音声合成部３０４で生成された合成音声を出力する合成音声出力部３０５とを備えている。

また、合成音声部３０４は、あらかじめ合成単位に対応する複数の音声素片が記憶されている音声素片記憶部３０４ａと、音声素片記憶部３０４ａに記憶されている音声素片から、これらの音声素片を接続したときの合成音声の歪を算出し、その歪に基づいて合成単位ごとに複数の音声素片を選択する第１の音声素片選択部３０４ｂと、第１の音声素片選択部３０４ｂで選択された音声素片から、これらの音声素片間の距離に基づいて合成単位ごとに複数の音声素片を選択する第２の音声素片選択部３０４ｃと、第２の音声素片選択部３０４ｃで選択された音声素片から、これらの音声素片を接続したときの合成音声の歪に基づいて合成単位ごとに代表音声素片を選択する代表音声素片選択部３０４ｄと、代表音声素片選択部３０４ｄで選択された代表音声素片を変形、接続することで合成音声を生成する音声素片変形・接続部３０４ｅとから構成されている。

つまり、第２の実施形態とは、音声合成部３０４において、代表音声素片生成部２０４ｄの代わりに、第２の音声素片選択部３０４ｃで選択された音声素片から、これらの音声素片を接続したときの合成音声の歪に基づいて代表音声素片を選択する代表音声素片選択部３０４ｄを備える点が異なるのみである。したがって、以下では、第２の実施形態と共通の動作を行う部分（テキスト入力部３０１、言語処理部３０２、韻律処理部３０３、音声素片記憶部３０４ａ、第１の音声素片選択部３０４ｂ、第２の音声素片選択部３０４ｃ、音声素片変形・接続部３０４ｅ、合成音声出力部３０５）については、説明を省略する。

次に、図１８および図１９を用いて、本発明の第３の実施形態に係わる音声合成装置の動作について説明する。なお、図１９は、本発明の第３の実施形態に係わる音声合成装置の動作を示すフローチャートである。

代表音声素片選択部３０４ｄでは、第２の音声素片選択部３０４ｃで選択された音声素片から、これらの音声素片を接続したときの合成音声の歪に基づいて合成単位ごとに一つの代表音声素片を選択する（ステップＳ７０６）。

ここで、代表音声素片選択部３０４ｄにおける合成音声の歪の算出は、第１の音声素片選択部３０４ｂにおける合成音声の歪の算出と同様に、合成単位ごとに、韻律処理部３０３から送られる目標素片環境と第２の音声素片選択部３０４ｃで選択された音声素片の素片環境との違いから目標コストを算出し、第２の音声素片選択部３０４ｃで選択された音声素片を接続する場合の接続境界におけるスペクトルの違いから接続コストを算出し、これらの目標コストと接続コストの重み付け和を計算することによって行なうことができる。

そして、代表音声素片選択部３０４ｄは、第２の音声素片選択部３０４ｃにおいて合成単位ごとにＬ個選択された音声素片から、このようにして計算される合成音声の歪が最小となる音声素片の系列（最適音声素片系列）を選択する。最適音声素片系列を探索する方法としては、例えば、上述した動的計画法を用いることができる。

代表音声素片選択部３０４ｄは、このようにして第２の音声素片選択部３０４ｃで選択された音声素片から最適音声素片系列を求め、最適音声素片系列に含まれる最適音声素片を合成単位ごとに代表音声素片として音声素片変形・接続部３０４ｅに送る。

このように第３の実施形態によれば、第２の音声素片選択部３０４ｃにおいて、第１の音声素片選択部３０４ｂで求められた音声素片からスペクトルの性質が他の音声素片と大きく異なる音声素片を排除することができ、さらに、代表音声素片選択部３０４ｄにおいて、合成音声の歪が最も小さくなる音声素片を代表音声素片として選択できるため、このような代表音声素片を用いることで、自然で音質のよい合成音声を生成することが可能になる。

なお、上述した実施形態では、代表音声素片選択部３０４ｄにおける合成音声の歪の算出は、第１の音声素片選択部３０４ｂにおける合成音声の歪の算出と同様の方法を用いて行なうこととしたが、代表音声素片選択部３０４ｄと第１の音声素片選択部３０４ｂで合成音声の歪の算出方法を変えることも可能である。すなわち、例えば、第１の音声素片選択部３０４ｂでは、基本周波数コストだけを目標コストとして合成音声の歪を計算し、代表音声素片選択部３０４ｄでは、基本周波数コストと音韻継続時間長コストの重み付け和を目標コストとして合成音声の歪を計算する。このようにすることで、第１の音声素片選択部３０４ｂにおいて、基本周波数コストだけを用いて荒く歪を計算して音声素片を選択した後に、代表音声素片選択部３０４ｄにおいて、基本周波数コストと音韻継続時間長コストを用いて詳細に歪を計算して代表音声素片を選択することができ、計算量を減らして効率的な代表音声素片の選択が可能になる。

また、上述した実施形態では、代表音声素片選択部３０４ｄにおいて、第２の音声素片選択部３０４ｃで選択された音声素片から得られる合成音声の歪は、第１の音声素片選択部３０４ｂにおける合成音声の歪の算出と同様の方法を用いて算出することとしていたが、第１の音声素片選択部３０４ｂにおいて計算された合成音声の歪を、そのまま代表音声素片選択部３０４ｄにおいて用いることも可能である。すなわち、第１の音声素片選択部３０４ｂにおいて合成音声の歪を計算したときに、これを別途図示しない記憶領域に記憶しておき、代表音声素片選択部３０４ｄにおいて合成音声の歪を求める場合には、前記記憶領域に記憶された合成音声の歪を読み出すようにすればよい。このようにすることにより、第１の音声素片選択部３０４ｂにおいてすでに計算された合成音声の歪を代表音声素片選択部３０４ｄにおいて再度計算する必要がなくなり、計算量を減らして効率的な代表音声素片の選択が可能になる。

（第４の実施形態）
第３の実施形態では、代表音声素片選択部３０４ｄにおいて、第２の音声素片選択部３０４ｃで選択された音声素片から得られる合成音声の歪が最小となるものを合成単位ごとに選択し、これを代表音声素片としていた。

第４の実施形態では、代表音声素片選択部３０４ｄの代わりに、第２の音声素片選択部３０４ｃで選択される音声素片から得られる合成音声の歪に基づいて複数の音声素片を選択する第３の音声素片選択部を設け、その第３の音声素片選択部で選択された複数の音声素片を融合することによって代表音声素片を生成する実施の形態について説明する。

図２０は、本発明の第４の実施形態に係る音声合成装置を示すブロック図である。

この第４の実施形態に係わる音声合成装置は、テキストを入力するテキスト入力部４０１と、テキスト入力部４０１で入力されたテキストの形態素解析および構文解析を行う言語処理部４０２と、言語処理部４０２で得られる言語解析結果から入力されたテキストの音韻系列および目標素片環境を取得する韻律処理部４０３と、韻律処理部４０３で得られるテキストの音韻系列および目標素片環境を用いて、あらかじめ記憶されている複数の音声素片から合成単位ごとに代表音声素片を生成し、生成された代表音声素片を接続して合成音声を生成する音声合成部４０４と、音声合成部４０４で生成された合成音声を出力する合成音声出力部４０５とを備えている。

また、合成音声部４０４は、あらかじめ合成単位に対応する複数の音声素片が記憶されている音声素片記憶部４０４ａと、音声素片記憶部４０４ａに記憶されている音声素片から、これらの音声素片を接続したときの合成音声の歪を算出し、その歪に基づいて合成単位ごとに複数の音声素片を選択する第１の音声素片選択部４０４ｂと、第１の音声素片選択部４０４ｂで選択された音声素片から、これらの音声素片間の距離に基づいて合成単位ごとに複数の音声素片を選択する第２の音声素片選択部４０４ｃと、第２の音声素片選択部４０４ｃで選択された音声素片から、これらの音声素片を接続したときの合成音声の歪を算出し、その歪に基づいて合成単位ごとに複数の音声素片を選択する第３の音声素片選択部４０４ｄと、第３の音声素片選択部４０４ｄで選択された音声素片を融合することで合成単位ごとに代表音声素片を生成する代表音声素片生成部４０４ｅと、代表音声素片生成部４０４ｅで生成された代表音声素片を変形、接続することで合成音声を生成する音声素片変形・接続部４０４ｆとから構成されている。

つまり、第３の実施形態とは、音声合成部４０４において、代表音声素片生成部３０４ｄの代わりに、第２の音声素片選択部４０４ｃで選択された音声素片から、これらの音声素片を接続したときの合成音声の歪に基づいて、複数の音声素片を選択する第３の音声素片選択部４０４ｄを備える点、および第３の音声素片選択部４０４ｄで選択された複数の音声素片を融合して代表音声素片を生成する代表音声素片生成部４０４ｆを備える点が異なるのみである。したがって、以下では、第３の実施形態と共通の動作を行う部分（テキスト入力部４０１、言語処理部４０２、韻律処理部４０３、音声素片記憶部４０４ａ、第１の音声素片選択部４０４ｂ、第２の音声素片選択部４０４ｃ、音声素片変形・接続部４０４ｆ、合成音声出力部４０５）については、説明を省略する。

次に、図２０および図２１を用いて、本発明の第４の実施形態に係わる音声合成装置の動作について説明する。なお、図２１は、本発明の第４の実施形態に係わる音声合成装置の動作を示すフローチャートである。

第３の音声素片選択部４０４ｄは、第２の音声素片選択部４０４ｃから送られる音声素片から、これらの音声素片を接続したときの合成音声の歪に基づいて、複数の音声素片を選択する（ステップＳ８０６）。ここで、第２の音声素片選択部４０４ｃで選択される音声素片の数は、上述した第３の実施形態と同様に、合成単位ごとにＬ個とし、第３の音声素片選択部４０４ｄでは、第２の音声素片選択部４０４ｃで選択されたＬ個の音声素片の中から合成単位ごとにＫ個（Ｋ＜Ｌ）の音声素片を選択するものとする。

なお、第３の音声素片選択部４０４ｄにおけるＫ個の音声素片の選択は、第２の音声素片選択部４０４ｃで選択された合成単位ごとにＬ個の音声素片から、これらの音声素片を接続したときの合成音声の歪を求め、歪の小さい音声素片の系列に含まれる音声素片から順番に、合成単位ごとにＫ個の音声素片を選択することにより行なう。

ここで、第３の音声素片選択部４０４ｄにおける合成音声の歪の算出は、第１の音声素片選択部４０４ｂにおける合成音声の歪の算出と同様に、合成単位ごとに、韻律処理部４０３から送られる目標素片環境と第２の音声素片選択部４０４ｃで選択された音声素片の素片環境との違いから目標コストを算出し、第２の音声素片選択部４０４ｃで選択された音声素片を接続する場合の接続境界におけるスペクトルの違いから接続コストを算出し、これらの目標コストと接続コストの重み付け和を計算することによって行なうことができる。

そして、第３の音声素片選択部４０４ｄでは、第２の音声素片選択部４０４ｃにおいて合成単位ごとにＬ個選択された音声素片から、このようにして計算される合成音声の歪が小さい音声素片系列に含まれる音声素片から順番にＫ個の音声素片を選択する。

このように第３の音声素片選択部４０４ｄで選択された合成単位ごとにＫ個の音声素片は、次に、代表音声素片選択部４０４ｅに送られる。

代表音声素片生成部４０４ｅでは、第３の音声素片選択部４０４ｄから送られる合成単位ごとにＫ個の音声素片を融合することによって、代表音声素片を生成する（ステップＳ８０７）。ここで、複数の音声素片を融合して新たな音声素片を生成する方法としては、上述した図１７に示す方法を用いることができる。

このように、第４の実施形態に係わる音声合成装置によれば、まず、第３の音声素片選択部４０４ｄにおいて、第２の音声素片選択部４０４ｃで求められた音声素片から、合成音声の歪が小さくなる音声素片を選択することができ、次に、代表音声素片選択部４０４ｅにおいて、第３の音声素片選択部４０４ｄで選択された複数の音声素片を融合することによって、高品質な代表音声素片を生成することが可能になる。そのため、このような代表音声素片を用いて合成音声を生成すれば、自然で音質のよい合成音声を得ることが可能になる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる音声合成装置の構成を示すブロック図。 第１の実施形態の動作を示すフローチャート。 第１の実施形態の音韻系列（音素系列）の一例を示す図。 第１の実施形態の音韻系列（音素系列）および目標素片環境の一例を示す図。 第１の実施形態の合成単位（音素）の一例を示す図。 第１の実施形態の音声素片記憶部に記憶された音声波形および素片環境の一例を示す図。 音声素片の生成方法を説明するための図。 第１の実施形態の音声素片選択部の動作を示すフローチャート。 音韻系列を合成単位で区切ることにより得られる区分（セグメント）を示す図。 第１の実施形態の音声素片選択部における基本周波数コスト、音韻継続時間長コストおよびスペクトル接続コストを算出する方法を説明するための図。 第１の実施形態の音声素片選択部における音声素片の選択動作を示すフローチャート。 第１の実施形態の代表音声素片選択部の動作を示すフローチャート。 第１の実施形態の代表音声素片の変形、接続方法を示す図。 第１の実施形態の代表音声素片選択部の動作を示すフローチャート。 本発明の第２の実施形態に係わる音声合成装置の構成を示すブロック図。 第２の実施形態に係わる音声合成装置の動作を示すフローチャート。 第２の実施形態の音声素片の融合方法を示す図。 本発明の第３の実施形態に係わる音声合成装置の構成を示すブロック図。 第３の実施形態に係わる音声合成装置の動作を示すフローチャート。 本発明の第４の実施形態に係わる音声合成装置の構成を示すブロック図。 第４の実施形態に係わる音声合成装置の動作を示すフローチャート。

符号の説明

１０１、２０１、３０１、４０１・・・テキスト入力部
１０２、２０２、３０２，４０２・・・言語処理部
１０３、２０３、３０３、４０３・・・韻律処理部
１０４、２０４、３０４，４０４・・・音声合成部
１０５、２０５、３０５、４０５・・・合成音声出力部
１０４ａ、２０４ａ、３０４ａ、４０４ａ・・・音声素片記憶部
１０４ｂ、２０４ｂ、２０４ｃ、３０４ｂ、３０４ｃ、４０４ｂ、４０４ｃ、４０４ｄ・・・音声素片選択部
１０４ｃ、３０４ｄ・・・代表音声素片選択部
２０４ｄ、４０４ｅ・・・代表音声素片生成部
１０４ｄ、２０４ｅ、３０４ｅ、４０４ｆ・・・音声素片変形・接続部

Claims (19)

1. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成装置において、
   合成単位に対応する複数の音声素片を記憶する記憶手段と、
   前記入力されたテキストから得られる音韻系列にしたがって前記記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する選択手段と、
   前記合成単位ごとに、前記選択手段で選択された複数の音声素片間の距離に基づいて前記選択手段で選択された複数の音声素片から代表音声素片を得る代表音声素片取得手段と、
   前記代表音声素片取得手段で得られた代表音声素片を接続することによって合成音声を生成する合成音声生成手段と、
   を備えることを特徴とする音声合成装置。
2. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成装置において、
   合成単位に対応する複数の音声素片を記憶する記憶手段と、
   前記入力されたテキストから得られる音韻系列にしたがって前記記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する第１の選択手段と、
   前記合成単位ごとに、前記第１の選択手段で選択された複数の音声素片間の距離に基づいて前記第１の選択手段で選択された複数の音声素片から代表音声素片を選択する第２の選択手段と、
   前記第２の選択手段で選択された代表音声素片を接続することによって合成音声を生成する合成音声生成手段と、
   を備えることを特徴とする音声合成装置。
3. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成装置において、
   合成単位に対応する複数の音声素片を記憶する記憶手段と、
   前記入力されたテキストから得られる音韻系列にしたがって前記記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の第１の音声素片を選択する第１の選択手段と、
   前記合成単位ごとに、前記第１の選択手段で選択された複数の第１の音声素片間の距離に基づいて前記複数の第１の音声素片から複数の第２の音声素片を選択する第２の選択手段と、
   前記合成単位ごとに、前記第２の選択手段で選択された複数の第２の音声素片を融合して代表音声素片を生成する生成手段と、
   前記生成手段で生成された代表音声素片を接続することによって合成音声を生成する合成音声生成手段と、
   を備えることを特徴とする音声合成装置。
4. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成装置において、
   合成単位に対応する複数の音声素片を記憶する記憶手段と、
   前記入力されたテキストから得られる音韻系列にしたがって前記記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の第１の音声素片を選択する第１の選択手段と、
   前記合成単位ごとに、前記第１の選択手段で選択された複数の第１の音声素片間の距離に基づいて前記複数の第１の音声素片から複数の第２の音声素片を選択する第２の選択手段と、
   前記入力されたテキストから得られる音韻系列にしたがって前記第２の選択手段で選択された第２の音声素片から合成音声の歪を求め、その歪に基づいて前記複数の第２の音声素片から前記合成単位ごとに代表音声素片を選択する第３の選択手段と、
   前記第３の選択手段で選択された代表音声素片を接続することによって合成音声を生成する合成音声生成手段と、
   を備えることを特徴とする音声合成装置。
5. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成装置において、
   合成単位に対応する複数の音声素片を記憶する記憶手段と、
   前記入力されたテキストから得られる音韻系列にしたがって前記記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の第１の音声素片を選択する第１の選択手段と、
   前記合成単位ごとに、前記第１の選択手段で選択された複数の第１の音声素片間の距離に基づいて前記複数の第１の音声素片から複数の第２の音声素片を選択する第２の選択手段と、
   前記入力されたテキストから得られる音韻系列にしたがって前記第２の選択手段で選択された第２の音声素片から合成音声の歪を求め、その歪に基づいて前記複数の第２の音声素片から前記合成単位ごとに複数の第３の音声素片を選択する第３の選択手段と、
   前記合成単位ごとに、前記第３の選択手段で選択された複数の第３の音声素片を融合して代表音声素片を生成する生成手段と、
   前記生成手段で生成された代表音声素片を接続することによって合成音声を生成する合成音声生成手段と、
   を備えることを特徴とする音声合成装置。
6. 前記合成音声の歪を、基本周波数、音韻継続時間長、パワーのうち少なくとも一つを用いて算出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の音声合成装置。
7. 前記合成音声の歪を、前記記憶手段に記憶された音声素片の素片環境と前記入力されたテキストから得られる目標素片環境との違いによって生じる目標コストと、前記記憶手段に記憶された音声素片を前記記憶手段に記憶された他の音声素片と接続することによって生じる接続コストとを算出し、これらのコスト用いて算出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の音声合成装置。
8. 前記目標コストを、基本周波数、音韻継続時間長、パワー、音韻環境、スペクトルのうち少なくとも一つを用いて算出することを特徴とする請求項７に記載の音声合成装置。
9. 前記接続コストを、基本周波数、パワー、スペクトルのうち少なくとも一つを用いて算出することを特徴とする請求項７に記載の音声合成装置。
10. 前記第２の選択手段は、前記合成単位ごとに、前記第１の選択手段で選択された複数の音声素片ごとに他の音声素片との間の距離の和を算出し、算出された距離の和に基づいて代表音声素片を選択することを特徴とする請求項２に記載の音声合成装置。
11. 前記第２の選択手段は、前記合成単位ごとに、前記第１の選択手段で選択された複数の音声素片のセントロイドを求め、そのセントロイドと前記第１の選択手段で選択された音声素片との間の距離に基づいて代表音声素片を選択することを特徴とする請求項２に記載の音声合成装置。
12. 前記第２の選択手段は、前記合成単位ごとに、前記第１の選択手段で選択された複数の音声素片ごとに他の音声素片との間の距離の和を算出し、算出された距離の和に基づいて複数の第２の音声素片を選択することを特徴とする請求項５に記載の音声合成装置。
13. 前記第２の選択手段は、前記合成単位ごとに、前記第１の選択手段で選択された複数の音声素片のセントロイドを求め、そのセントロイドと前記第１の選択手段で選択された音声素片との間の距離に基づいて複数の第２の音声素片を選択することを特徴とする請求項５に記載の音声合成装置。
14. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成方法において、
    前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する選択ステップと、
    前記合成単位ごとに、前記選択ステップで選択された複数の音声素片間の距離に基づいて前記選択ステップで選択された複数の音声素片から代表音声素片を取得する代表音声素片取得ステップと、
    前記代表音声素片取得ステップで得られた代表音声素片を接続することによって合成音声を生成する合成音声生成ステップと、
    を有することを特徴とする音声合成方法。
15. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成方法において、
    前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する第１の選択ステップと、
    前記合成単位ごとに、前記第１の選択ステップで選択された複数の音声素片間の距離に基づいて前記第１の選択ステップで選択された複数の音声素片から代表音声素片を選択する第２の選択ステップと、
    前記第２の選択ステップで選択された代表音声素片を接続することによって合成音声を生成する合成音声生成ステップと、
    を有することを特徴とする音声合成方法。
16. 入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成方法において、
    前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する第１の選択ステップと、
    前記合成単位ごとに、前記第１の選択ステップで選択された複数の音声素片間の距離に基づいて前記第１の選択ステップで選択された複数の音声素片から複数の第２の音声素片を選択する第２の選択ステップと、
    前記合成単位ごとに、前記第２の選択ステップで選択された複数の第２の音声素片を融合して代表音声素片を生成する生成ステップと、
    前記生成ステップで生成された代表音声素片を接続することによって合成音声を生成する合成音声生成ステップと、
    を有することを特徴とする音声合成方法。
17. コンピュータに、入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成プログラムにおいて、
    前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する選択機能と、
    前記合成単位ごとに、前記選択機能で選択された複数の音声素片間の距離に基づいて前記選択機能で選択された複数の音声素片から代表音声素片を取得する代表音声素片取得機能と、
    前記代表音声素片取得機能で得られた代表音声素片を接続することによって合成音声を生成する合成音声生成機能と、
    を備えることを特徴とする音声合成プログラム。
18. コンピュータに、入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成プログラムにおいて、
    前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する第１の選択機能と、
    前記合成単位ごとに、前記第１の選択機能で選択された複数の音声素片間の距離に基づいて前記第１の選択機能で選択された複数の音声素片から代表音声素片を選択する第２の選択機能と、
    前記第２の選択機能で選択された代表音声素片を接続することによって合成音声を生成する合成音声生成機能と、
    を備えることを特徴とする音声合成プログラム。
19. コンピュータに、入力されたテキストから得られる音韻系列を合成単位で区切り、合成単位ごとに代表音声素片を得、その代表音声素片を接続することによって合成音声を生成する音声合成プログラムにおいて、
    前記入力されたテキストから得られる音韻系列にしたがって合成単位に対応する複数の音声素片を記憶する記憶手段に記憶された音声素片から合成音声の歪を求め、その歪に基づいて前記記憶手段に記憶された音声素片から前記合成単位ごとに複数の音声素片を選択する第１の選択機能と、
    前記合成単位ごとに、前記第１の選択機能で選択された複数の音声素片間の距離に基づいて前記第１の選択機能で選択された複数の音声素片から複数の第２の音声素片を選択する第２の選択機能と、
    前記合成単位ごとに、前記第２の選択機能で選択された複数の第２の音声素片を融合して代表音声素片を生成する生成機能と、
    前記生成機能で生成された代表音声素片を接続することによって合成音声を生成する合成音声生成機能と、
    を備えることを特徴とする音声合成プログラム。
    
    
    
    

Images