JP2004012584A - 音声認識用情報作成方法、音響モデル作成方法、音声認識方法、音声合成用情報作成方法、音声合成方法及びそれらの装置、並びにプログラム及びそのプログラムを記録した記録媒体 - Google Patents
音声認識用情報作成方法、音響モデル作成方法、音声認識方法、音声合成用情報作成方法、音声合成方法及びそれらの装置、並びにプログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004012584A JP2004012584A JP2002162815A JP2002162815A JP2004012584A JP 2004012584 A JP2004012584 A JP 2004012584A JP 2002162815 A JP2002162815 A JP 2002162815A JP 2002162815 A JP2002162815 A JP 2002162815A JP 2004012584 A JP2004012584 A JP 2004012584A
- Authority
- JP
- Japan
- Prior art keywords
- hmm
- hidden markov
- sequence
- markov model
- mel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】ＨＭＭを用いた音声合成系に、ＳＴＲＡＩＧＨＴ合成系を導入し、音声認識におけるパラメータとテキストからの音声合成におけるパラメータとで同一のものを用い、高品質で簡単なシステム構成を実現する。
【解決手段】ＨＭＭを用いた音声合成系のパラメータとして入力音声を短時間フーリエ変換し、基本周波数の影響を除去してＳＴＲＡＩＧＨＴスペクトルを生成し、ＳＴＲＡＩＧＨＴスペクトルの対数変換、周波数伸縮離散コサイン変換によりＳＴＲＡＩＧＨＴメルケプストラムに変換する。ＳＴＲＡＩＧＨＴメルケプストラムのパラメータとその学習テキストに基づいてＨＭＭを学習し、このＨＭＭを用いて音声認識を行い、音声合成時には、学習されたＨＭＭを用いてテキストから音声を合成する。
【選択図】図３
【解決手段】ＨＭＭを用いた音声合成系のパラメータとして入力音声を短時間フーリエ変換し、基本周波数の影響を除去してＳＴＲＡＩＧＨＴスペクトルを生成し、ＳＴＲＡＩＧＨＴスペクトルの対数変換、周波数伸縮離散コサイン変換によりＳＴＲＡＩＧＨＴメルケプストラムに変換する。ＳＴＲＡＩＧＨＴメルケプストラムのパラメータとその学習テキストに基づいてＨＭＭを学習し、このＨＭＭを用いて音声認識を行い、音声合成時には、学習されたＨＭＭを用いてテキストから音声を合成する。
【選択図】図３
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識用情報作成方法、音響モデル作成方法、音声認識方法、音声合成用情報作成方法、音声合成方法、及びそれらの装置、並びにプログラム、そのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来のヒドンマルコフモデル（ＨＭＭ）を用いる音声合成手法として、（文献［１］ Ｋ．Ｔｏｋｕｄａ， Ｔ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｓ．Ｉｍａｉ， ”Ｓｐｅｅｃｈ ｐａｒａｍｅｔｅｒ ｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ＨＭＭ ｕｓｉｎｇ ｄｙｎａｍｉｃ ｆｅａｔｕｒｅｓ” Ｐｒｏｃ． ＩＣＡＳＳＰ， ｐｐ．６６０−６６３， １９９５），（文献［２］ Ｋ．Ｔｏｋｕｄａ， Ｔ．Ｍａｓｕｋｏ ａｎｄ Ｔ．Ｙａｍａｄａ， Ｔ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｓ． Ｉｍａｉ， ”Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｐｅｅｃｈ ｐａｒａｍｅｔｅｒ ｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ｃｏｎｔｉｎｕｏｕｓ ｍｉｘｔｕｒｅ ＨＭＭｓ ｗｉｔｈ ｄｙｎａｍｉｃｆｅａｔｕｒｅｓ” Ｐｒｏｃ． Ｅｕｒｏｓｐｅｅｃｈ， ｐｐ．７５７−７６０， １９９５），（文献［３］ Ｔ．Ｍａｓｕｋｏ， Ｋ．Ｔｏｋｕｄａ， Ｔ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｓ．Ｉｍａｉ， ”Ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ ｆｒｏｍ ＨＭＭｓ ｕｓｉｎｇ ｄｙｎａｍｉｃ ｆｅａｔｕｒｅｓ” Ｐｒｏｃ． ＩＣＡＳＳＰ， ｐｐ．３８９−３９２， １９９６）があげられる。
この手法は、音声認識におけるパラメータと音声合成におけるパラメータに同一のものを用いることで、音声認識で用いられる手法を音声合成に用いて音声合成手法を高機能化したり、音声合成で用いられる手法を音声認識に用いて認識手法を高精度化したりできるという利点を持っている。
【０００３】
図１、図２に従来のヒドンマルコフモデル（ＨＭＭ）による音響モデル学習・音声認識装置、及び音声合成装置の構成を示す。
まず、図１を用いて音声認識モデル学習法と音声認識手法について説明する。
メルケプストラム分析部１０１では入力された音声をメルケプストラムに変換する。ヒドンマルコフモデル（ＨＭＭ）の学習時には、このメルケプストラムを音響モデル学習部１０２に送る。メルケプストラムパラメータと入力音声の学習テキスト（例えば、日本語文、言語的情報の付与された音素系列、または単語系列）からヒドンマルコフモデル（例えば、音素、または単語ヒドンマルコフモデル）を学習する。（すなわち、最大確率（最大尤度）を与えるモデルを選ぶ。）次に学習したモデルを記憶部１０３に記憶する。認識時には、入力音声のメルケプストラムパラメータを音声認識部１０４に送り、音響モデル学習部で学習されたヒドンマルコフモデル（ＨＭＭ）をＨＭＭ記憶部１０３から読み出して比較し、尤度が最大のものを出力することで、テキストに変換する。
【０００４】
次に図２を用いて、ヒドンマルコフモデル（ＨＭＭ）を用いてテキストから音声を作り出す音声合成方式について説明する。
ＨＭＭ記憶部１０５に記憶しているヒドンマルコフモデル（ＨＭＭ）は予め大量のデータより、上述の学習手法を学習しているものとする。まず、構文解析部１１０では、入力されたテキストを、言語的情報の付与された音素（または単語）系列に変換する。この音素（または単語）情報により音素（または単語）ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対するヒドンマルコフモデル（ＨＭＭ）の系列を生成する。平滑化パラメータ生成部１０９で、ヒドンマルコフモデル（ＨＭＭ）状態系列から自然で滑らかなメルケプストラム系列を出力する。この滑らかなメルケプストラム系列を、音声合成部１０６では各時刻でＭＬＳＡフィルタ１０８に変換し、音源情報を元にパルス／ノイズ系列生成部１０７によって生成される信号をこのフィルタを通すことで音声を合成する。なお、音源情報は処理対象となるテキスト列から得られ、ピッチ情報、パワー情報などを含む。
【０００５】
【発明が解決しようとする課題】
従来の手法では、メルケプストラムが、音声の包絡スペクトルの微細な構造を表現できず、合成音声の品質が十分でないという問題点があった。また、メルケプストラムを合成する際に用いられる逆メル変換と指数変換を近似するＭＬＳＡ（Ｍｅｌ Ｌｏｇ Ｓｐｅｃｔｒａｌ Ａｐｐｒｏｘｉｍａｔｉｏｎ）フィルタは複雑で、例えばサンプリング周波数を変更するということに問題点があった。
音声合成で利用されるＳＴＲＡＩＧＨＴスペクトルを用いるＳＴＲＡＩＧＨＴ合成系は、高品質に音声を合成できることが知られている。そこで、このパラメータをヒドンマルコフモデル（ＨＭＭ）を用いた音声合成手法に導入すれば音声合成の品質が向上することが期待できる。しかし、このパラメータは、音声認識には直接利用できないため、ヒドンマルコフモデル（ＨＭＭ）の学習ができない。たとえ、音声認識に利用できるメルケプストラムなどのパラメータに変換できて、ＨＭＭが学習できたとしても、合成音を作成する際に、ＨＭＭから生成されるメルケプストラムを使って音声を合成する手段がなかった。このため、ＨＭＭを用いた音声合成にはＳＴＲＡＩＧＨＴ合成系を導入するということが実現できなかった。
【０００６】
本発明はかかる事情に鑑みて、ヒドンマルコフモデル（ＨＭＭ）を使った音声合成系に、ＳＴＲＡＩＧＨＴ合成系を導入し、ＳＴＲＡＩＧＨＴメルケプストラムというパラメータに変換する手段と、合成時に作成されるＳＴＲＡＩＧＨＴメルケプストラムをＳＴＲＡＩＧＨＴスペクトルに変換する手段を用いることで、認識と合成のパラメータを同一にし、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質な合成音声システムを簡単な構成で実現できる新たな技術の提供を目的とする。
【０００７】
また、本発明は、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成系のパラメータとして、短時間フーリエ変換したスペクトルを対数変換し、離散コサイン変換して求めることができるメルケプストラムを使い、音声認識におけるパラメータとテキストからの音声合成におけるパラメータとで同一のものを用いることで、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質な合成音声システムを簡単な構成で実現できる新たな技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
本発明では、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成に、基本周波数の影響を除去してスペクトラム形状を求める高品質なＳＴＲＡＩＧＨＴ音声合成系を導入することで音声合成の品質向上を実現する。これを実現するために、まず、ＳＴＲＡＩＧＨＴスペクトルを音声認識で高性能を実現するＳＴＲＡＩＧＨＴメルケプストラムに変換する。このメルケプストラム変換は、ＳＴＲＡＩＧＨＴスペクトルの対数変換をとり、その結果に対して周波数伸縮離散コサイン変換を行う手段を用いて実行する。これらの手段によりＳＴＲＡＩＧＨＴスペクトルを音声認識で利用できる形に変形できる。このため、音声認識のパラメータと音声合成のパラメータの統一を実現でき、ＨＭＭによる音声合成が持つ利点を保つことができる。このパラメータを用いて音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を学習する手段と、学習された音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を用いて音声を認識する手段により、音響モデルの学習と音声認識を実現する。音声合成時には、学習されたヒドンマルコフモデル（ＨＭＭ）の音素（または単語）系列から自然で滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を出力する手段を用いる。さらに、このＳＴＲＡＩＧＨＴメルケプストラム系列を、逆周波数伸縮離散コサイン変換し、さらに指数変換する手段を用い、ＳＴＲＡＩＧＨＴスペクトル系列に変換する。これらの手段によりＳＴＲＡＩＧＨＴメルケプストラムを音声合成で利用できる形に変形することができる。このため、音声認識のパラメータと音声合成のパラメータの統一を実現でき、ＨＭＭによる音声合成が持つ利点を保つことができる。これらの手段によって生成されたＳＴＲＡＩＧＨＴスペクトル系列とパルス／ノイズ系列生成手段により合成されたパルス／ノイズ系列から、逆ＦＦＴ重ね合わせ合成する手段により音声を合成する。
【０００９】
上記のＳＴＲＡＩＧＨＴスペクトル生成手段の代わりに短時間フーリエ変換によるスペクトル生成手段を用いてもよい。この場合は、メルケプストラム系列は、短時間フーリエ変換から求められるスペクトラムの対数変換を、周波数伸縮離散コサイン変換したものとなる。このパラメータを使っても、上記音響モデル学習手段、音声認識手段により、ヒドンマルコフモデル（ＨＭＭ）の学習とヒドンマルコフモデル（ＨＭＭ）を用いる音声認識も実現できる。合成時は、滑らかなパラメータ生成もできる。この生成された滑らかなパラメータを逆周波数伸縮離散コサイン変換し、指数変換を実行する手段を用いて、スペクトルに変換する。その後、このスペクトル系列とパルス／ノイズ系列生成手段により合成されたパルス／ノイズ系列から、逆ＦＦＴ重ね合わせ合成する手段により音声を合成する。
以上のような手段により、ＳＴＲＡＩＧＨＴパラメータの持つ高品質な合成品質を、ヒドンマルコフモデル（ＨＭＭ）を用いる音声合成に導入でき、音声合成の品質向上が実現する。
【００１０】
【発明の実施の形態】
（音声認識用情報作成・音響モデル作成・音声認識）
図３、図４に音声認識用情報作成・音響モデル作成・音声認識装置の構成を示す。
まず、図３を用いて音声認識用情報作成方法、音響モデル作成方法、音声認識方法、及びそれらの装置について説明する。
音声認識用情報作成部１０のＳＴＲＡＩＧＨＴ分析部１１において、短時間フーリエ変換部１３は、入力された音声を短時間フーリエ変換する。それと同時に、基本周波数推定部１２で入力音声の無声／有声の判定を行い、有声の場合は基本周波数を計算（推定）する。その情報を元に、平滑化スペクトラム分析部１４は、短時間フーリエ変換された音声から基本周波数の影響を取り除き、平滑化されたスペクトラムに変換する。この変換されたスペクトルをＳＴＲＡＩＧＨＴスペクトルと呼ぶ。次に、対数変換部１５は、ＳＴＲＡＩＧＨＴスペクトルの対数変換を行い、周波数伸縮離散コサイン変換部１６により、ＳＴＲＡＩＧＨＴメルケプストラムに変換する。
【００１１】
音響モデルの学習時には、このＳＴＲＡＩＧＨＴメルケプストラムを音響モデル学習部２０に送る。音響モデル学習部２０では、ＳＴＲＡＩＧＨＴメルケプストラムとそれに対応するテキスト（学習テキスト）から音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を学習する。次に学習した音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を記憶部３０に記憶する。
認識時には、ＳＴＲＡＩＧＨＴメルケプストラムパラメータを、音声認識部４０に送り、音響モデル学習部で学習され、記憶部３０に保持されたヒドンマルコフモデル（ＨＭＭ）と比較し、尤度の最も高い値を示すテキストを出力する。これにより音声認識を実現する。
上記の手法で、ＳＴＲＡＩＧＨＴスペクトル生成時に、基本周波数推定を行わなくてもよい。このときの音声認識モデル学習法と音声認識手法を図４を用いて説明する。この場合に生成されるメルケプストラム系列は、短時間フーリエ変換から求められるスペクトラムを直接対数変換して周波数伸縮離散コサイン変換したものである。このメルケプストラム系列を使って、上記のようにヒドンマルコフモデル（ＨＭＭ）の学習を実現することもできる。さらに、ヒドンマルコフモデル（ＨＭＭ）から滑らかなパラメータを生成することもできる。
【００１２】
（音声合成）
図５に音声合成装置の構成を示す。
図５を用いて、テキストから音声を作り出す音声合成方法、及び装置について説明する。
ＨＭＭ記憶部６３に記憶しているヒドンマルコフモデル（ＨＭＭ）は予め大量のデータより、上記の学習手法により作成する。音声合成用情報生成部６０では、まず、入力されたテキストを、構文解析部６２により、言語的情報の付与された音素（または単語）系列に変換する。平滑化パラメータ生成部６１では、この音素（または単語）情報により音素（または単語）ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）の系列が生成される。入力が音素系列である場合は、構文解析部では構文解析を行わず、その音素情報からヒドンマルコフモデル（ＨＭＭ）をつなぎ合わせて、入力に対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を作成する。また、入力がヒドンマルコフモデル（ＨＭＭ）の状態系列である場合は、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列の代わりに、ヒドンマルコフモデル（ＨＭＭ）の状態系列を作成する。平滑化パラメータ生成部では、さらに、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列から自然で滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を出力する。このＳＴＲＡＩＧＨＴメルケプストラム系列が音声合成部５０に入力される。音声合成部５０の逆周波数伸縮離散コサイン変換部５５では、このＳＴＲＡＩＧＨＴメルケプストラム系列を逆周波数伸縮離散コサイン変換し、さらに、指数変換部５４において指数変換することで、ＳＴＲＡＩＧＨＴスペクトル系列に変換し、ＳＴＲＡＩＧＨＴスペクトル系列とパルス／ノイズ生成部５２によって生成された信号から逆ＦＦＴ重ね合わせ合成部５３により音声を合成する。
上記の手法で、音声認識用情報作成部で、基本周波数推定部を使わない場合には、このヒドンマルコフモデル（ＨＭＭ）から生成された滑らかなパラメータを逆周波数伸縮離散コサイン変換し、さらに指数変換することで、スペクトルに変換する。その後、このスペクトル系列とパルス／ノイズ生成部によって生成されたパルス／ノイズ列から逆ＦＦＴ重ね合わせ合成により音声を合成する。
各構成部について詳細に説明する。
【００１３】
（ＳＴＲＡＩＧＨＴ分析部）
ＳＴＲＡＩＧＨＴ分析部１１では、短時間フーリエ変換部１３において、入力された音声を短時間フーリエ変換する。それと同時に、基本周波数推定部１２は、入力音声の無声／有声の判定を行い、有声の場合は、基本周波数を計算する。その情報を元に、平滑化スペクトラム分析部１４において、短時間フーリエ変換された音声から基本周波数の影響を取り除き、平滑化したスペクトラムに変換する。この変換されたスペクトルをＳＴＲＡＩＧＨＴスペクトルと呼ぶ。このＳＴＲＡＩＧＨＴスペクトルは次に周波数伸縮離散コサイン変換部１６へ送られる。
【００１４】
（周波数伸縮離散コサイン変換部）
周波数伸縮離散コサイン変換部１６では入力されたＳＴＲＡＩＧＨＴスペクトルの対数変換を行い、その結果に対して周波数伸縮離散コサイン変換を行う。この変換の核の関数は、
【数１】
と定義されるフィルタの周波数応答の実数部である。Ｒｅ［Ψｍ（ω）］の実部は｛ω｜０≦ω≦π｝の時、正規化直交変換になる。αは、周波数伸縮の度合いを決定する係数である。その伸縮の度合いは、
【数２】
という式によって求めることができる。αが０のときには、Ｒｅ［Ψｍ（ω）］＝ｃｏｓ（ｍω）となり、離散コサイン変換となる。αが０と１の間では、Ｒｅ［Ψｍ（ω）］は直交性を保存する重みつき関数による
【数３】
以上の変換でＳＴＲＡＩＧＨＴスペクトルはＳＴＲＡＩＧＨＴメルケプストラムに変換される。
【００１５】
（音響モデル学習部）
音響モデル学習時には、このＳＴＲＡＩＧＨＴメルケプストラムを、音響モデル学習部２０へ入力する。音響モデル学習部２０では、入力されたＳＴＲＡＩＧＨＴメルケプストラムを使って、ＥＭ（ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムにより音素（または単語）ヒドンマルコフモデル（ＨＭＭ）の学習を行う。上記の手法では、ＳＴＲＡＩＧＨＴスペクトル生成時に基本周波数推定を行わなくてもよい。この場合は、メルスペクトラム系列は、短時間フーリエ変換から求められるスペクトラムの対数変換を、周波数伸縮離散コサイン変換したものである。このメルケプストラム系列を使っても、上記のようにヒドンマルコフモデル（ＨＭＭ）の学習ができる。さらに、ヒドンマルコフモデル（ＨＭＭ）による音声認識も実現できる。
【００１６】
（音声合成）
音響モデル学習部で作成されたヒドンマルコフモデル（ＨＭＭ）を用いた音声合成は以下のように実現する。まず、入力されたテキストは、構文解析部６２により、言語的情報の付与された音素（または単語）系列に変換される。この音素（または単語）情報により音素（または単語）ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）の系列が生成される。入力が音素系列である場合は、構文解析部では構文解析を行わず、その音素情報からヒドンマルコフモデル（ＨＭＭ）をつなぎ合わせて、入力に対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列を作成する。また、入力がヒドンマルコフモデル（ＨＭＭ）の状態系列である場合には、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列の代わりに、ヒドンマルコフモデル（ＨＭＭ）の状態系列を作成する。平滑化パラメータ生成部６１は、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列から自然で滑らかなメルケプストラムパラメータ系列を出力する。この滑らかにする手法について以下に述べる。
【００１７】
上で述べた学習によって、ヒドンマルコフモデル（ＨＭＭ）が学習されているとする。ここで、Ｓ＝［ｓ１，ｓ２，・・・，ｓＴ］は、ヒドンマルコフモデル（ＨＭＭ）のガウス分布時系列、Ｍ＝［μ１，μ２，・・・，μＴ］、ΔＭ＝［Δμ１，Δμ２，・・・，ΔμＴ］、Δ２Ｍ＝［Δ２μ１，Δ２μ２，・・・，Δ２μＴ］は、そのガウス分布時系列でのヒドンマルコフモデル（ＨＭＭ）のＳＴＲＡＩＧＨＴメルケプストラム、その微分係数であるΔＳＴＲＡＩＧＨＴメルケプストラム、２次微分係数Δ２ＳＴＲＡＩＧＨＴメルケプストラムの平均値のベクトル時系列である。また、Σ＝［Σ１，Σ２，・・・，ΣＴ］、ΔΣ＝［ΔΣ１，ΔΣ２，・・・，ΔΣＴ］、Δ２Σ＝［Δ２Σ１，Δ２Σ２，・・・，Δ２ΣＴ］は、ヒドンマルコフモデル（ＨＭＭ）のＳＴＲＡＩＧＨＴメルケプストラム、ΔＳＴＲＡＩＧＨＴメルケプストラム、Δ２ＳＴＲＡＩＧＨＴメルケプストラム共分散行列の時系列である（対角共分散行列を仮定している）。ところで、ＳＴＲＡＩＧＨＴメルケプストラムＣ＝［ｃ１，ｃ２，・・・，ｃＴ］、ΔＳＴＲＡＩＧＨＴメルケプストラムΔＣ＝［Δｃ１，Δｃ２，・・・，ΔｃＴ］、Δ２ＳＴＲＡＩＧＨＴメルケプストラムΔ２Ｃ＝［Δ２ｃ１，Δ２ｃ２，・・・，Δ２ｃＴ］の間には（３），（４）に示すような拘束条件がある（拘束条件にはこの他にも複数考えられるがどれを使っても同様なことが実現できる）。
【数４】
ここで、２Ｌ＋１はウィンドウサイズ、ｂ０，ｂ１とｂ２はウィンドウサイズによって決まる固定値である、このヒドンマルコフモデル（ＨＭＭ）の平均値時系列から文献［１〜３］手法を使って、この平均値の時系列を変形して、滑らかなＳＴＲＡＩＧＨＴメルケプストラムを生成する。ここでその手法について説明する。いま、ガウス分布時系列が与えられていると仮定する。与えられたガウス分布時系列に対して（３），（４）の条件の下で（５）を最大化するＣ，ΔＣ，Δ２Ｃを選ぶことによって、ＳＴＲＡＩＧＨＴメルケプストラムの時系列を生成する。これは、（５）に（３），（４）を代入し、ΔＣ，Δ２Ｃを消去してＣだけで表現し、これをＣで偏微分した（６）を満たすＣを求めることによって実現できる。これにより、滑らかなＳＴＲＡＩＧＨＴメルケプストラムの係数が得られる。
【数５】
上記手法では、ＳＴＲＡＩＧＨＴメルケプストラムの２次微分までしか用いていないが、３次、４次以降の項を導入することもできる。また、上記手法以外に、フィルタを用いて、ヒドンマルコフモデル（ＨＭＭ）のＳＴＲＡＩＧＨＴメルケプストラム系列の平均値系列を滑らかにする手法も利用できる。
【００１８】
このようにして作成された滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列は、逆周波数伸縮離散コサイン変換部５５へ入力される。逆周波数伸縮離散コサイン変換部では逆周波数伸縮離散コサインを行う。周波数伸縮離散コサイン変換は、直交変換なので、逆周波数伸縮離散コサイン変換もこの変換から容易に計算できる。この変換を行って、さらに指数変換を行うことによりＳＴＲＡＩＧＨＴメルケプストラム系列は、ＳＴＲＡＩＧＨＴメルケプストラム系列はＳＴＲＡＩＧＨＴスペクトルの系列に変換される。ＳＴＲＡＩＧＨＴ音声合成部５１では、このＳＴＲＡＩＧＨＴスペクトル系列とパルス／ノイズ生成部５２によって生成されたパルス／ノイズ列から逆ＦＦＴと重ね合わせ合成により音声を合成する。
【００１９】
（パルス／ノイズ系列生成部）
次に、パルス／ノイズ系列生成部３２について述べる。まず、基本的なパルス／ノイズ系列生成手法を示す。これはある話者が発声した音声から抽出した基本周波数をそのまま利用する方法である。この手法を図６に示す。この方法では入力の音声から直接、基本周波数を推定し、その基本周波数を合成に利用する。
図７に基本周波数モデル学習部の構成、図８にヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ系列生成部の構成を示す。
図７と図８を用いて、ヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ系列生成部３２について述べる。
図７では、パルス／ノイズ生成の場合のヒドンマルコフモデル（ＨＭＭ）の学習方法について示す。入力された音声から基本周波数推定部５２−３では、無声／有声を判断し、その結果を出力する。また、有声の場合は、その周波数の情報も出力する。この出力された情報は、基本周波数モデル学習部５２−２に送られる。これらの基本周波数、その微分係数、２次微分係数および、無声／有声の情報と、それに対応する学習テキストを使って、基本周波数、その微分係数、２次微分係数の平均値と分散および無声／有声の情報を、音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）の構造上に、ＥＭアルゴリズムを使って学習する。次に、学習した基本周波数ヒドンマルコフモデル（ＨＭＭ）を記憶部５２−４に記憶する。
【００２０】
図８にヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ合成について示す。まず、最初に入力されたテキストは、構文解析部５２−８により、言語的情報の付与された音素（または単語）系列に変換される。この音素（または単語）情報により音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対する音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）の系列が生成される。入力が音素系列である場合は、構文解析部では構文解析を行わず、その音素情報から音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）をつなぎ合わせて、入力に対する音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）系列を作成する。また、入力がヒドンマルコフモデル（ＨＭＭ）の状態系列である場合は、音素（または単語）基本周波ヒドンマルコフモデル（ＨＭＭ）の代わりに、基本周波数ヒドンマルコフモデル（ＨＭＭ）の状態系列を作成する。平滑化パルス／ノイズ生成部５２−７では、入力に対する音素（または単語）基本周波ヒドンマルコフモデル（ＨＭＭ）系列から、滑らかなＳＴＲＡＩＧＨＴメルケプストラム生成のときの手法と同じ平滑化手法により滑らかな基本周波数系列を出力し、パルス情報に変換する。ただし、ヒドンマルコフモデル（ＨＭＭ）の状態が無声音であれば、平滑化を行わず、ノイズを生成する。
【００２１】
上記の手法で、音声認識用情報作成部で、基本周波数推定部を使わない場合には、このヒドンマルコフモデル（ＨＭＭ）から生成された滑らかなパラメータを逆周波数伸縮離散コサイン変換し、さらに指数変換することで、スペクトルに変換する。その後、このスペクトル系列とパルス／ノイズ生成部によって生成されたパルス／ノイズ列から逆ＦＦＴ重ね合わせ合成により音声を合成する。このパルス／ノイズ列の生成には、上述したパルス／ノイズ列生成手法が利用できる。
【００２２】
なお、上記に記載の音声認識用情報作成・音響モデル作成・音声認識装置及び音声合成装置は、ＣＰＵやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用する端末と、記録媒体から構成することができる。記録媒体は、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等機械読み取り可能な記録媒体であり、ここに記録された制御用プログラムは、コンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に前述した各構成要素を実現することができる。
【００２３】
【発明の効果】
以上説明したように、本発明によれば、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成系に、ＳＴＲＡＩＧＨＴ合成系を導入し、音声認識におけるパラメータとテキストからの音声合成におけるパラメータとで同一のものを用いることで、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質でかつ簡単なシステム構成で実現できる。
また、本発明によれば、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成系のパラメータとして、短時間フーリエ変換したスペクトルを対数変換して離散コサイン変換して求めることができるメルケプストラムを使うことで、音声認識におけるパラメータとテキストからの音声合成におけるパラメータとで同一のものを用いることで、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質でかつ簡単なシステム構成が実現できる。
【図面の簡単な説明】
【図１】従来のヒドンマルコフモデル（ＨＭＭ）による音響モデル学習および音声認識装置の構成図。
【図２】従来のヒドンマルコフモデル（ＨＭＭ）による音声合成装置の構成図。
【図３】本発明の実施例である音声認識用情報作成・音響モデル作成・音声認識装置の構成図。
【図４】本発明の他の実施例である音声認識用情報作成・音響モデル作成・音声認識装置の構成図。
【図５】本発明の実施例であるテキストから音声を作り出す音声合成装置の構成図。
【図６】パルス／ノイズ系列生成部の説明図。
【図７】基本周波数モデル学習部の構成図。
【図８】ヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ系列生成部の構成図。
【符号の説明】
１０・・・音声認識用情報作成部
１１・・・ＳＴＲＡＩＧＨＴ分析部
１２・・・基本周波数推定部、１３・・・短時間フーリエ変換部、１４・・・平滑化スペクトラム分析部
１５・・・対数変換部
１６・・・周波数伸縮離散コサイン変換部
２０・・・音響モデル学習部
３０・・・ＨＭＭ（音響モデル）記憶部
４０・・・音声認識部
５０・・・音声合成部
５１・・・ＳＴＲＡＩＧＨＴ音声合成部
５２・・・パルス／ノイズ系列生成部、５３・・・逆ＦＦＴ重ね合わせ合成部
５４・・・指数変換部
５５・・・逆周波数伸縮離散コサイン変換部
６０・・・音声合成用情報生成部
６１・・・平滑化パラメータ生成部、６２・・・構文解析部、６３・・・ＨＭＭ（音響モデル）記憶部
【発明の属する技術分野】
本発明は、音声認識用情報作成方法、音響モデル作成方法、音声認識方法、音声合成用情報作成方法、音声合成方法、及びそれらの装置、並びにプログラム、そのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来のヒドンマルコフモデル（ＨＭＭ）を用いる音声合成手法として、（文献［１］ Ｋ．Ｔｏｋｕｄａ， Ｔ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｓ．Ｉｍａｉ， ”Ｓｐｅｅｃｈ ｐａｒａｍｅｔｅｒ ｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ＨＭＭ ｕｓｉｎｇ ｄｙｎａｍｉｃ ｆｅａｔｕｒｅｓ” Ｐｒｏｃ． ＩＣＡＳＳＰ， ｐｐ．６６０−６６３， １９９５），（文献［２］ Ｋ．Ｔｏｋｕｄａ， Ｔ．Ｍａｓｕｋｏ ａｎｄ Ｔ．Ｙａｍａｄａ， Ｔ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｓ． Ｉｍａｉ， ”Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｐｅｅｃｈ ｐａｒａｍｅｔｅｒ ｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ｃｏｎｔｉｎｕｏｕｓ ｍｉｘｔｕｒｅ ＨＭＭｓ ｗｉｔｈ ｄｙｎａｍｉｃｆｅａｔｕｒｅｓ” Ｐｒｏｃ． Ｅｕｒｏｓｐｅｅｃｈ， ｐｐ．７５７−７６０， １９９５），（文献［３］ Ｔ．Ｍａｓｕｋｏ， Ｋ．Ｔｏｋｕｄａ， Ｔ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｓ．Ｉｍａｉ， ”Ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ ｆｒｏｍ ＨＭＭｓ ｕｓｉｎｇ ｄｙｎａｍｉｃ ｆｅａｔｕｒｅｓ” Ｐｒｏｃ． ＩＣＡＳＳＰ， ｐｐ．３８９−３９２， １９９６）があげられる。
この手法は、音声認識におけるパラメータと音声合成におけるパラメータに同一のものを用いることで、音声認識で用いられる手法を音声合成に用いて音声合成手法を高機能化したり、音声合成で用いられる手法を音声認識に用いて認識手法を高精度化したりできるという利点を持っている。
【０００３】
図１、図２に従来のヒドンマルコフモデル（ＨＭＭ）による音響モデル学習・音声認識装置、及び音声合成装置の構成を示す。
まず、図１を用いて音声認識モデル学習法と音声認識手法について説明する。
メルケプストラム分析部１０１では入力された音声をメルケプストラムに変換する。ヒドンマルコフモデル（ＨＭＭ）の学習時には、このメルケプストラムを音響モデル学習部１０２に送る。メルケプストラムパラメータと入力音声の学習テキスト（例えば、日本語文、言語的情報の付与された音素系列、または単語系列）からヒドンマルコフモデル（例えば、音素、または単語ヒドンマルコフモデル）を学習する。（すなわち、最大確率（最大尤度）を与えるモデルを選ぶ。）次に学習したモデルを記憶部１０３に記憶する。認識時には、入力音声のメルケプストラムパラメータを音声認識部１０４に送り、音響モデル学習部で学習されたヒドンマルコフモデル（ＨＭＭ）をＨＭＭ記憶部１０３から読み出して比較し、尤度が最大のものを出力することで、テキストに変換する。
【０００４】
次に図２を用いて、ヒドンマルコフモデル（ＨＭＭ）を用いてテキストから音声を作り出す音声合成方式について説明する。
ＨＭＭ記憶部１０５に記憶しているヒドンマルコフモデル（ＨＭＭ）は予め大量のデータより、上述の学習手法を学習しているものとする。まず、構文解析部１１０では、入力されたテキストを、言語的情報の付与された音素（または単語）系列に変換する。この音素（または単語）情報により音素（または単語）ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対するヒドンマルコフモデル（ＨＭＭ）の系列を生成する。平滑化パラメータ生成部１０９で、ヒドンマルコフモデル（ＨＭＭ）状態系列から自然で滑らかなメルケプストラム系列を出力する。この滑らかなメルケプストラム系列を、音声合成部１０６では各時刻でＭＬＳＡフィルタ１０８に変換し、音源情報を元にパルス／ノイズ系列生成部１０７によって生成される信号をこのフィルタを通すことで音声を合成する。なお、音源情報は処理対象となるテキスト列から得られ、ピッチ情報、パワー情報などを含む。
【０００５】
【発明が解決しようとする課題】
従来の手法では、メルケプストラムが、音声の包絡スペクトルの微細な構造を表現できず、合成音声の品質が十分でないという問題点があった。また、メルケプストラムを合成する際に用いられる逆メル変換と指数変換を近似するＭＬＳＡ（Ｍｅｌ Ｌｏｇ Ｓｐｅｃｔｒａｌ Ａｐｐｒｏｘｉｍａｔｉｏｎ）フィルタは複雑で、例えばサンプリング周波数を変更するということに問題点があった。
音声合成で利用されるＳＴＲＡＩＧＨＴスペクトルを用いるＳＴＲＡＩＧＨＴ合成系は、高品質に音声を合成できることが知られている。そこで、このパラメータをヒドンマルコフモデル（ＨＭＭ）を用いた音声合成手法に導入すれば音声合成の品質が向上することが期待できる。しかし、このパラメータは、音声認識には直接利用できないため、ヒドンマルコフモデル（ＨＭＭ）の学習ができない。たとえ、音声認識に利用できるメルケプストラムなどのパラメータに変換できて、ＨＭＭが学習できたとしても、合成音を作成する際に、ＨＭＭから生成されるメルケプストラムを使って音声を合成する手段がなかった。このため、ＨＭＭを用いた音声合成にはＳＴＲＡＩＧＨＴ合成系を導入するということが実現できなかった。
【０００６】
本発明はかかる事情に鑑みて、ヒドンマルコフモデル（ＨＭＭ）を使った音声合成系に、ＳＴＲＡＩＧＨＴ合成系を導入し、ＳＴＲＡＩＧＨＴメルケプストラムというパラメータに変換する手段と、合成時に作成されるＳＴＲＡＩＧＨＴメルケプストラムをＳＴＲＡＩＧＨＴスペクトルに変換する手段を用いることで、認識と合成のパラメータを同一にし、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質な合成音声システムを簡単な構成で実現できる新たな技術の提供を目的とする。
【０００７】
また、本発明は、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成系のパラメータとして、短時間フーリエ変換したスペクトルを対数変換し、離散コサイン変換して求めることができるメルケプストラムを使い、音声認識におけるパラメータとテキストからの音声合成におけるパラメータとで同一のものを用いることで、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質な合成音声システムを簡単な構成で実現できる新たな技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
本発明では、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成に、基本周波数の影響を除去してスペクトラム形状を求める高品質なＳＴＲＡＩＧＨＴ音声合成系を導入することで音声合成の品質向上を実現する。これを実現するために、まず、ＳＴＲＡＩＧＨＴスペクトルを音声認識で高性能を実現するＳＴＲＡＩＧＨＴメルケプストラムに変換する。このメルケプストラム変換は、ＳＴＲＡＩＧＨＴスペクトルの対数変換をとり、その結果に対して周波数伸縮離散コサイン変換を行う手段を用いて実行する。これらの手段によりＳＴＲＡＩＧＨＴスペクトルを音声認識で利用できる形に変形できる。このため、音声認識のパラメータと音声合成のパラメータの統一を実現でき、ＨＭＭによる音声合成が持つ利点を保つことができる。このパラメータを用いて音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を学習する手段と、学習された音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を用いて音声を認識する手段により、音響モデルの学習と音声認識を実現する。音声合成時には、学習されたヒドンマルコフモデル（ＨＭＭ）の音素（または単語）系列から自然で滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を出力する手段を用いる。さらに、このＳＴＲＡＩＧＨＴメルケプストラム系列を、逆周波数伸縮離散コサイン変換し、さらに指数変換する手段を用い、ＳＴＲＡＩＧＨＴスペクトル系列に変換する。これらの手段によりＳＴＲＡＩＧＨＴメルケプストラムを音声合成で利用できる形に変形することができる。このため、音声認識のパラメータと音声合成のパラメータの統一を実現でき、ＨＭＭによる音声合成が持つ利点を保つことができる。これらの手段によって生成されたＳＴＲＡＩＧＨＴスペクトル系列とパルス／ノイズ系列生成手段により合成されたパルス／ノイズ系列から、逆ＦＦＴ重ね合わせ合成する手段により音声を合成する。
【０００９】
上記のＳＴＲＡＩＧＨＴスペクトル生成手段の代わりに短時間フーリエ変換によるスペクトル生成手段を用いてもよい。この場合は、メルケプストラム系列は、短時間フーリエ変換から求められるスペクトラムの対数変換を、周波数伸縮離散コサイン変換したものとなる。このパラメータを使っても、上記音響モデル学習手段、音声認識手段により、ヒドンマルコフモデル（ＨＭＭ）の学習とヒドンマルコフモデル（ＨＭＭ）を用いる音声認識も実現できる。合成時は、滑らかなパラメータ生成もできる。この生成された滑らかなパラメータを逆周波数伸縮離散コサイン変換し、指数変換を実行する手段を用いて、スペクトルに変換する。その後、このスペクトル系列とパルス／ノイズ系列生成手段により合成されたパルス／ノイズ系列から、逆ＦＦＴ重ね合わせ合成する手段により音声を合成する。
以上のような手段により、ＳＴＲＡＩＧＨＴパラメータの持つ高品質な合成品質を、ヒドンマルコフモデル（ＨＭＭ）を用いる音声合成に導入でき、音声合成の品質向上が実現する。
【００１０】
【発明の実施の形態】
（音声認識用情報作成・音響モデル作成・音声認識）
図３、図４に音声認識用情報作成・音響モデル作成・音声認識装置の構成を示す。
まず、図３を用いて音声認識用情報作成方法、音響モデル作成方法、音声認識方法、及びそれらの装置について説明する。
音声認識用情報作成部１０のＳＴＲＡＩＧＨＴ分析部１１において、短時間フーリエ変換部１３は、入力された音声を短時間フーリエ変換する。それと同時に、基本周波数推定部１２で入力音声の無声／有声の判定を行い、有声の場合は基本周波数を計算（推定）する。その情報を元に、平滑化スペクトラム分析部１４は、短時間フーリエ変換された音声から基本周波数の影響を取り除き、平滑化されたスペクトラムに変換する。この変換されたスペクトルをＳＴＲＡＩＧＨＴスペクトルと呼ぶ。次に、対数変換部１５は、ＳＴＲＡＩＧＨＴスペクトルの対数変換を行い、周波数伸縮離散コサイン変換部１６により、ＳＴＲＡＩＧＨＴメルケプストラムに変換する。
【００１１】
音響モデルの学習時には、このＳＴＲＡＩＧＨＴメルケプストラムを音響モデル学習部２０に送る。音響モデル学習部２０では、ＳＴＲＡＩＧＨＴメルケプストラムとそれに対応するテキスト（学習テキスト）から音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を学習する。次に学習した音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を記憶部３０に記憶する。
認識時には、ＳＴＲＡＩＧＨＴメルケプストラムパラメータを、音声認識部４０に送り、音響モデル学習部で学習され、記憶部３０に保持されたヒドンマルコフモデル（ＨＭＭ）と比較し、尤度の最も高い値を示すテキストを出力する。これにより音声認識を実現する。
上記の手法で、ＳＴＲＡＩＧＨＴスペクトル生成時に、基本周波数推定を行わなくてもよい。このときの音声認識モデル学習法と音声認識手法を図４を用いて説明する。この場合に生成されるメルケプストラム系列は、短時間フーリエ変換から求められるスペクトラムを直接対数変換して周波数伸縮離散コサイン変換したものである。このメルケプストラム系列を使って、上記のようにヒドンマルコフモデル（ＨＭＭ）の学習を実現することもできる。さらに、ヒドンマルコフモデル（ＨＭＭ）から滑らかなパラメータを生成することもできる。
【００１２】
（音声合成）
図５に音声合成装置の構成を示す。
図５を用いて、テキストから音声を作り出す音声合成方法、及び装置について説明する。
ＨＭＭ記憶部６３に記憶しているヒドンマルコフモデル（ＨＭＭ）は予め大量のデータより、上記の学習手法により作成する。音声合成用情報生成部６０では、まず、入力されたテキストを、構文解析部６２により、言語的情報の付与された音素（または単語）系列に変換する。平滑化パラメータ生成部６１では、この音素（または単語）情報により音素（または単語）ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）の系列が生成される。入力が音素系列である場合は、構文解析部では構文解析を行わず、その音素情報からヒドンマルコフモデル（ＨＭＭ）をつなぎ合わせて、入力に対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）を作成する。また、入力がヒドンマルコフモデル（ＨＭＭ）の状態系列である場合は、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列の代わりに、ヒドンマルコフモデル（ＨＭＭ）の状態系列を作成する。平滑化パラメータ生成部では、さらに、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列から自然で滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を出力する。このＳＴＲＡＩＧＨＴメルケプストラム系列が音声合成部５０に入力される。音声合成部５０の逆周波数伸縮離散コサイン変換部５５では、このＳＴＲＡＩＧＨＴメルケプストラム系列を逆周波数伸縮離散コサイン変換し、さらに、指数変換部５４において指数変換することで、ＳＴＲＡＩＧＨＴスペクトル系列に変換し、ＳＴＲＡＩＧＨＴスペクトル系列とパルス／ノイズ生成部５２によって生成された信号から逆ＦＦＴ重ね合わせ合成部５３により音声を合成する。
上記の手法で、音声認識用情報作成部で、基本周波数推定部を使わない場合には、このヒドンマルコフモデル（ＨＭＭ）から生成された滑らかなパラメータを逆周波数伸縮離散コサイン変換し、さらに指数変換することで、スペクトルに変換する。その後、このスペクトル系列とパルス／ノイズ生成部によって生成されたパルス／ノイズ列から逆ＦＦＴ重ね合わせ合成により音声を合成する。
各構成部について詳細に説明する。
【００１３】
（ＳＴＲＡＩＧＨＴ分析部）
ＳＴＲＡＩＧＨＴ分析部１１では、短時間フーリエ変換部１３において、入力された音声を短時間フーリエ変換する。それと同時に、基本周波数推定部１２は、入力音声の無声／有声の判定を行い、有声の場合は、基本周波数を計算する。その情報を元に、平滑化スペクトラム分析部１４において、短時間フーリエ変換された音声から基本周波数の影響を取り除き、平滑化したスペクトラムに変換する。この変換されたスペクトルをＳＴＲＡＩＧＨＴスペクトルと呼ぶ。このＳＴＲＡＩＧＨＴスペクトルは次に周波数伸縮離散コサイン変換部１６へ送られる。
【００１４】
（周波数伸縮離散コサイン変換部）
周波数伸縮離散コサイン変換部１６では入力されたＳＴＲＡＩＧＨＴスペクトルの対数変換を行い、その結果に対して周波数伸縮離散コサイン変換を行う。この変換の核の関数は、
【数１】
【数２】
【数３】
【００１５】
（音響モデル学習部）
音響モデル学習時には、このＳＴＲＡＩＧＨＴメルケプストラムを、音響モデル学習部２０へ入力する。音響モデル学習部２０では、入力されたＳＴＲＡＩＧＨＴメルケプストラムを使って、ＥＭ（ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムにより音素（または単語）ヒドンマルコフモデル（ＨＭＭ）の学習を行う。上記の手法では、ＳＴＲＡＩＧＨＴスペクトル生成時に基本周波数推定を行わなくてもよい。この場合は、メルスペクトラム系列は、短時間フーリエ変換から求められるスペクトラムの対数変換を、周波数伸縮離散コサイン変換したものである。このメルケプストラム系列を使っても、上記のようにヒドンマルコフモデル（ＨＭＭ）の学習ができる。さらに、ヒドンマルコフモデル（ＨＭＭ）による音声認識も実現できる。
【００１６】
（音声合成）
音響モデル学習部で作成されたヒドンマルコフモデル（ＨＭＭ）を用いた音声合成は以下のように実現する。まず、入力されたテキストは、構文解析部６２により、言語的情報の付与された音素（または単語）系列に変換される。この音素（または単語）情報により音素（または単語）ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）の系列が生成される。入力が音素系列である場合は、構文解析部では構文解析を行わず、その音素情報からヒドンマルコフモデル（ＨＭＭ）をつなぎ合わせて、入力に対する音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列を作成する。また、入力がヒドンマルコフモデル（ＨＭＭ）の状態系列である場合には、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列の代わりに、ヒドンマルコフモデル（ＨＭＭ）の状態系列を作成する。平滑化パラメータ生成部６１は、音素（または単語）ヒドンマルコフモデル（ＨＭＭ）系列から自然で滑らかなメルケプストラムパラメータ系列を出力する。この滑らかにする手法について以下に述べる。
【００１７】
上で述べた学習によって、ヒドンマルコフモデル（ＨＭＭ）が学習されているとする。ここで、Ｓ＝［ｓ１，ｓ２，・・・，ｓＴ］は、ヒドンマルコフモデル（ＨＭＭ）のガウス分布時系列、Ｍ＝［μ１，μ２，・・・，μＴ］、ΔＭ＝［Δμ１，Δμ２，・・・，ΔμＴ］、Δ２Ｍ＝［Δ２μ１，Δ２μ２，・・・，Δ２μＴ］は、そのガウス分布時系列でのヒドンマルコフモデル（ＨＭＭ）のＳＴＲＡＩＧＨＴメルケプストラム、その微分係数であるΔＳＴＲＡＩＧＨＴメルケプストラム、２次微分係数Δ２ＳＴＲＡＩＧＨＴメルケプストラムの平均値のベクトル時系列である。また、Σ＝［Σ１，Σ２，・・・，ΣＴ］、ΔΣ＝［ΔΣ１，ΔΣ２，・・・，ΔΣＴ］、Δ２Σ＝［Δ２Σ１，Δ２Σ２，・・・，Δ２ΣＴ］は、ヒドンマルコフモデル（ＨＭＭ）のＳＴＲＡＩＧＨＴメルケプストラム、ΔＳＴＲＡＩＧＨＴメルケプストラム、Δ２ＳＴＲＡＩＧＨＴメルケプストラム共分散行列の時系列である（対角共分散行列を仮定している）。ところで、ＳＴＲＡＩＧＨＴメルケプストラムＣ＝［ｃ１，ｃ２，・・・，ｃＴ］、ΔＳＴＲＡＩＧＨＴメルケプストラムΔＣ＝［Δｃ１，Δｃ２，・・・，ΔｃＴ］、Δ２ＳＴＲＡＩＧＨＴメルケプストラムΔ２Ｃ＝［Δ２ｃ１，Δ２ｃ２，・・・，Δ２ｃＴ］の間には（３），（４）に示すような拘束条件がある（拘束条件にはこの他にも複数考えられるがどれを使っても同様なことが実現できる）。
【数４】
【数５】
【００１８】
このようにして作成された滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列は、逆周波数伸縮離散コサイン変換部５５へ入力される。逆周波数伸縮離散コサイン変換部では逆周波数伸縮離散コサインを行う。周波数伸縮離散コサイン変換は、直交変換なので、逆周波数伸縮離散コサイン変換もこの変換から容易に計算できる。この変換を行って、さらに指数変換を行うことによりＳＴＲＡＩＧＨＴメルケプストラム系列は、ＳＴＲＡＩＧＨＴメルケプストラム系列はＳＴＲＡＩＧＨＴスペクトルの系列に変換される。ＳＴＲＡＩＧＨＴ音声合成部５１では、このＳＴＲＡＩＧＨＴスペクトル系列とパルス／ノイズ生成部５２によって生成されたパルス／ノイズ列から逆ＦＦＴと重ね合わせ合成により音声を合成する。
【００１９】
（パルス／ノイズ系列生成部）
次に、パルス／ノイズ系列生成部３２について述べる。まず、基本的なパルス／ノイズ系列生成手法を示す。これはある話者が発声した音声から抽出した基本周波数をそのまま利用する方法である。この手法を図６に示す。この方法では入力の音声から直接、基本周波数を推定し、その基本周波数を合成に利用する。
図７に基本周波数モデル学習部の構成、図８にヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ系列生成部の構成を示す。
図７と図８を用いて、ヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ系列生成部３２について述べる。
図７では、パルス／ノイズ生成の場合のヒドンマルコフモデル（ＨＭＭ）の学習方法について示す。入力された音声から基本周波数推定部５２−３では、無声／有声を判断し、その結果を出力する。また、有声の場合は、その周波数の情報も出力する。この出力された情報は、基本周波数モデル学習部５２−２に送られる。これらの基本周波数、その微分係数、２次微分係数および、無声／有声の情報と、それに対応する学習テキストを使って、基本周波数、その微分係数、２次微分係数の平均値と分散および無声／有声の情報を、音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）の構造上に、ＥＭアルゴリズムを使って学習する。次に、学習した基本周波数ヒドンマルコフモデル（ＨＭＭ）を記憶部５２−４に記憶する。
【００２０】
図８にヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ合成について示す。まず、最初に入力されたテキストは、構文解析部５２−８により、言語的情報の付与された音素（または単語）系列に変換される。この音素（または単語）情報により音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）が接続され、入力のテキストに対する音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）の系列が生成される。入力が音素系列である場合は、構文解析部では構文解析を行わず、その音素情報から音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）をつなぎ合わせて、入力に対する音素（または単語）基本周波数ヒドンマルコフモデル（ＨＭＭ）系列を作成する。また、入力がヒドンマルコフモデル（ＨＭＭ）の状態系列である場合は、音素（または単語）基本周波ヒドンマルコフモデル（ＨＭＭ）の代わりに、基本周波数ヒドンマルコフモデル（ＨＭＭ）の状態系列を作成する。平滑化パルス／ノイズ生成部５２−７では、入力に対する音素（または単語）基本周波ヒドンマルコフモデル（ＨＭＭ）系列から、滑らかなＳＴＲＡＩＧＨＴメルケプストラム生成のときの手法と同じ平滑化手法により滑らかな基本周波数系列を出力し、パルス情報に変換する。ただし、ヒドンマルコフモデル（ＨＭＭ）の状態が無声音であれば、平滑化を行わず、ノイズを生成する。
【００２１】
上記の手法で、音声認識用情報作成部で、基本周波数推定部を使わない場合には、このヒドンマルコフモデル（ＨＭＭ）から生成された滑らかなパラメータを逆周波数伸縮離散コサイン変換し、さらに指数変換することで、スペクトルに変換する。その後、このスペクトル系列とパルス／ノイズ生成部によって生成されたパルス／ノイズ列から逆ＦＦＴ重ね合わせ合成により音声を合成する。このパルス／ノイズ列の生成には、上述したパルス／ノイズ列生成手法が利用できる。
【００２２】
なお、上記に記載の音声認識用情報作成・音響モデル作成・音声認識装置及び音声合成装置は、ＣＰＵやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用する端末と、記録媒体から構成することができる。記録媒体は、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等機械読み取り可能な記録媒体であり、ここに記録された制御用プログラムは、コンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に前述した各構成要素を実現することができる。
【００２３】
【発明の効果】
以上説明したように、本発明によれば、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成系に、ＳＴＲＡＩＧＨＴ合成系を導入し、音声認識におけるパラメータとテキストからの音声合成におけるパラメータとで同一のものを用いることで、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質でかつ簡単なシステム構成で実現できる。
また、本発明によれば、ヒドンマルコフモデル（ＨＭＭ）を用いた音声合成系のパラメータとして、短時間フーリエ変換したスペクトルを対数変換して離散コサイン変換して求めることができるメルケプストラムを使うことで、音声認識におけるパラメータとテキストからの音声合成におけるパラメータとで同一のものを用いることで、従来のヒドンマルコフモデル（ＨＭＭ）を用いた合成法が持っていた利点をそのまま残しながら、高品質でかつ簡単なシステム構成が実現できる。
【図面の簡単な説明】
【図１】従来のヒドンマルコフモデル（ＨＭＭ）による音響モデル学習および音声認識装置の構成図。
【図２】従来のヒドンマルコフモデル（ＨＭＭ）による音声合成装置の構成図。
【図３】本発明の実施例である音声認識用情報作成・音響モデル作成・音声認識装置の構成図。
【図４】本発明の他の実施例である音声認識用情報作成・音響モデル作成・音声認識装置の構成図。
【図５】本発明の実施例であるテキストから音声を作り出す音声合成装置の構成図。
【図６】パルス／ノイズ系列生成部の説明図。
【図７】基本周波数モデル学習部の構成図。
【図８】ヒドンマルコフモデル（ＨＭＭ）を利用した場合のパルス／ノイズ系列生成部の構成図。
【符号の説明】
１０・・・音声認識用情報作成部
１１・・・ＳＴＲＡＩＧＨＴ分析部
１２・・・基本周波数推定部、１３・・・短時間フーリエ変換部、１４・・・平滑化スペクトラム分析部
１５・・・対数変換部
１６・・・周波数伸縮離散コサイン変換部
２０・・・音響モデル学習部
３０・・・ＨＭＭ（音響モデル）記憶部
４０・・・音声認識部
５０・・・音声合成部
５１・・・ＳＴＲＡＩＧＨＴ音声合成部
５２・・・パルス／ノイズ系列生成部、５３・・・逆ＦＦＴ重ね合わせ合成部
５４・・・指数変換部
５５・・・逆周波数伸縮離散コサイン変換部
６０・・・音声合成用情報生成部
６１・・・平滑化パラメータ生成部、６２・・・構文解析部、６３・・・ＨＭＭ（音響モデル）記憶部
Claims (20)
- 音声認識で用いられる音声認識用情報を作成する音声認識用情報作成方法であって、
入力音声をＳＴＲＡＩＧＨＴスペクトルに分析するステップと、
ＳＴＲＡＩＧＨＴスペクトルを対数変換し、離散コサイン変換してＳＴＲＡＩＧＨＴメルケプストラムを作成するステップと、を備えたことを特徴とする音声認識用情報作成方法。 - 請求項１に記載の音声認識用情報作成方法により作成された学習用音声のＳＴＲＡＩＧＨＴメルケプストラムとその学習テキストに基づいてヒドンマルコフモデル（ＨＭＭ）を学習するステップと、
作成されたヒドンマルコフモデル（ＨＭＭ）を記憶装置に記憶するステップと、を備えたことを特徴とする音響モデル作成方法。 - 請求項２に記載の音響モデル作成方法により作成され、記憶装置に記憶したヒドンマルコフモデル（ＨＭＭ）を参照することで、入力音声とヒドンマルコフモデル（ＨＭＭ）の間のスコアを計算し、最もスコアの高い結果を出力するステップを備えたことを特徴とする音声認識方法。
- 音声合成で用いられる音声合成用情報を作成する音声合成用情報作成方法であって、
入力されたテキストを構文解析するステップと、
請求項２に記載の音響モデル作成方法で作成されたヒドンマルコフモデル（ＨＭＭ）を記憶した記憶装置から構文解析された結果に従ってヒドンマルコフモデル（ＨＭＭ）を取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成するステップと、
作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を作成するステップと、を備えたことを特徴とする音声合成用情報作成方法。 - 請求項４に記載の音声合成用情報作成方法により作成した滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換してＳＴＲＡＩＧＨＴスペクトラム系列を作成するステップと、
音声が有声か無声である情報とこのＳＴＲＡＩＧＨＴスペクトル系列から音声合成を行うステップと、を備えたことを特徴とする音声合成方法。 - 音声合成で用いられる音声合成用情報を作成する音声合成用情報作成方法であって、
入力されたテキストを構文解析するステップと、
学習用音声の短時間フーリエ変換の対数変換後に周波数伸縮離散コサイン変換して得られるメルケプストラムとその学習用テキストに基づいて学習されたヒドンマルコフモデル（ＨＭＭ）を記憶した記憶装置から、構文解析された結果に従って取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成するステップと、
作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなメルケプストラム系列を作成するステップと、を備えることを特徴とする音声合成用情報作成方法。 - 請求項６に記載の音声合成用情報作成方法で作成された滑らかなメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換してスペクトラム系列を作成するステップと、
音声が有声か無声である情報と作成されたスペクトラム系列から音声合成を行うステップと、を備える音声合成方法。 - 音声認識で用いられる音声認識用情報を作成する音声認識用情報作成装置であって、
入力音声をＳＴＲＡＩＧＨＴスペクトルに分析する手段と、
ＳＴＲＡＩＧＨＴスペクトルを対数変換し、離散コサイン変換してＳＴＲＡＩＧＨＴメルケプストラムを作成する手段と、を備えたことを特徴とする音声認識用情報作成装置。 - 請求項８に記載の音声認識用情報作成装置を備え、
この音声認識用情報作成装置で作成された学習用音声のＳＴＲＡＩＧＨＴメルケプストラムとその学習テキストに基づいてヒドンマルコフモデル（ＨＭＭ）を学習する手段と、
作成されたヒドンマルコフモデル（ＨＭＭ）を記憶装置に記憶する手段と、を備えることを特徴とする音響モデル作成装置。 - 請求項９に記載の音響モデル作成装置を備え、
音響モデル作成装置の記憶部に記憶したヒドンマルコフモデル（ＨＭＭ）を参照することで、入力音声とヒドンマルコフモデル（ＨＭＭ）の間のスコアを計算し、最もスコアの高い結果を出力する手段を備えたことを特徴とする音声認識装置。 - 音声合成で用いられる音声合成用情報を作成する音声合成用情報作成装置であって、
入力されたテキストを構文解析する手段と、
請求項９に記載の音響モデル作成装置を備え、
音響モデル作成装置のヒドンマルコフモデル（ＨＭＭ）を記憶している記憶装置から、構文解析された結果に従ってヒドンマルコフモデル（ＨＭＭ）を取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成する手段と、
作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を作成する手段と、を備えたことを特徴とする音声合成用情報作成装置。 - 請求項１１に記載の音声合成用情報作成装置を備え、
音声合成用情報作成装置で作成されたＳＴＲＡＩＧＨＴメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換してＳＴＲＡＩＧＨＴスペクトラム系列を作成する手段と、
音声が有声か無声である情報とこのＳＴＲＡＩＧＨＴスペクトル系列から音声合成を行う手段と、を備える音声合成装置。 - 音声合成で用いられる音声合成用情報を作成する音声合成用情報作成装置であって、
入力されたテキストを構文解析する手段と、
学習用音声の短時間フーリエ変換の対数変換後に周波数伸縮離散コサイン変換して得られるメルケプストラムとその学習用テキストに基づいて学習されたヒドンマルコフモデル（ＨＭＭ）を記憶した記憶装置から、構文解析された結果に従って取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成する手段と、作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなメルケプストラム系列を作成する手段と、を備えることを特徴とする音声合成用情報作成装置。 - 請求項１３に記載の音声合成用情報作成装置を備え、
音声合成用情報作成装置で作成された滑らかなメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換し、スペクトラム系列を作成する手段と、音声が有声か無声である情報とスペクトラム系列から音声合成を行う手段と、を備える音声合成装置。 - 入力音声をＳＴＲＡＩＧＨＴスペクトルに分析する処理と、
ＳＴＲＡＩＧＨＴスペクトルを対数変換し、離散コサイン変換してＳＴＲＡＩＧＨＴメルケプストラムを作成する処理と、
学習用音声の上記ＳＴＲＡＩＧＨＴメルケプストラムとその学習テキストに基づいてヒドンマルコフモデル（ＨＭＭ）を学習する処理と、
作成されたヒドンマルコフモデル（ＨＭＭ）を記憶装置に記憶する処理と、
記憶装置に記憶したヒドンマルコフモデル（ＨＭＭ）を参照することで、入力音声とヒドンマルコフモデル（ＨＭＭ）の間のスコアを計算し、最もスコアの高い結果を出力する処理と、を備える音声認識方法をコンピュータに実行させるためのプログラム。 - 入力されたテキストを構文解析する処理と、
学習用音声をＳＴＲＡＩＧＨＴスペクトルに分析する処理と、学習用音声のＳＴＲＡＩＧＨＴスペクトルを対数変換し、離散コサイン変換してＳＴＲＡＩＧＨＴメルケプストラムを作成する処理と、その学習テキストに基づいてヒドンマルコフモデル（ＨＭＭ）を学習する処理により作成されたヒドンマルコフモデル（ＨＭＭ）を記憶している記憶装置から、構文解析された結果に従ってヒドンマルコフモデル（ＨＭＭ）を取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成する処理と、
作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を作成する処理と、
上記滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換し、ＳＴＲＡＩＧＨＴスペクトラム系列を作成する処理と、 音声が有声か無声である情報とこのＳＴＲＡＩＧＨＴスペクトル系列から音声合成を行う処理と、を備える音声合成方法をコンピュータに実行させるプログラム。 - 入力されたテキストを構文解析する処理と、
学習用音声の短時間フーリエ変換の対数変換後に周波数伸縮離散コサイン変換して得られるメルケプストラムとその学習用テキストに基づいて学習されたヒドンマルコフモデル（ＨＭＭ）を記憶した記憶装置から、構文解析された結果に従って取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成する処理と、
作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなメルケプストラム系列を作成する処理と、
上記滑らかなメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換し、スペクトラム系列を作成する処理と、
音声が有声か無声である情報とスペクトラム系列から音声合成を行う処理と、を備える音声合成方法をコンピュータに実行させるプログラム。 - 入力音声をＳＴＲＡＩＧＨＴスペクトルに分析する処理と、
ＳＴＲＡＩＧＨＴスペクトルを対数変換し、離散コサイン変換してＳＴＲＡＩＧＨＴメルケプストラムを作成する処理と、
学習用音声の上記ＳＴＲＡＩＧＨＴメルケプストラムとその学習テキストに基づいてヒドンマルコフモデル（ＨＭＭ）を学習する処理と、
作成されたヒドンマルコフモデル（ＨＭＭ）を記憶装置に記憶する処理と、
記憶装置に記憶したヒドンマルコフモデル（ＨＭＭ）を参照することで、入力音声とヒドンマルコフモデル（ＨＭＭ）の間のスコアを計算し、最もスコアの高い結果を出力する処理と、を備える音声認識方法をコンピュータに実行させるためのプログラムを記録した記録媒体。 - 入力されたテキストを構文解析する処理と、
学習用音声をＳＴＲＡＩＧＨＴスペクトルに分析する処理と、学習用音声のＳＴＲＡＩＧＨＴスペクトルを対数変換し、離散コサイン変換してＳＴＲＡＩＧＨＴメルケプストラムを作成する処理と、その学習テキストに基づいてヒドンマルコフモデル（ＨＭＭ）を学習する処理により作成されたヒドンマルコフモデル（ＨＭＭ）を記憶している記憶装置から、構文解析された結果に従ってヒドンマルコフモデル（ＨＭＭ）を取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成する処理と、
作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を作成する処理と、
上記滑らかなＳＴＲＡＩＧＨＴメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換し、ＳＴＲＡＩＧＨＴスペクトラム系列を作成する処理と、 音声が有声か無声である情報とこのＳＴＲＡＩＧＨＴスペクトル系列から音声合成を行う処理と、を備える音声合成方法をコンピュータに実行させるプログラムを記録した記録媒体。 - 入力されたテキストを構文解析する処理と、
学習用音声の短時間フーリエ変換の対数変換後に周波数伸縮離散コサイン変換して得られるメルケプストラムとその学習用テキストに基づいて学習されたヒドンマルコフモデル（ＨＭＭ）を記憶した記憶装置から、構文解析された結果に従って取得し、ヒドンマルコフモデル（ＨＭＭ）系列を作成する処理と、
作成されたヒドンマルコフモデル（ＨＭＭ）の系列から滑らかなメルケプストラム系列を作成する処理と、
上記滑らかなメルケプストラム系列を逆周波数伸縮離散コサイン変換し、加えて指数変換し、スペクトラム系列を作成する処理と、
音声が有声か無声である情報とスペクトラム系列から音声合成を行う処理と、を備える音声合成方法をコンピュータに実行させるプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002162815A JP3973492B2 (ja) | 2002-06-04 | 2002-06-04 | 音声合成方法及びそれらの装置、並びにプログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002162815A JP3973492B2 (ja) | 2002-06-04 | 2002-06-04 | 音声合成方法及びそれらの装置、並びにプログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004012584A true JP2004012584A (ja) | 2004-01-15 |
| JP3973492B2 JP3973492B2 (ja) | 2007-09-12 |
Family
ID=30431461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002162815A Expired - Fee Related JP3973492B2 (ja) | 2002-06-04 | 2002-06-04 | 音声合成方法及びそれらの装置、並びにプログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3973492B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007011203A (ja) * | 2005-07-04 | 2007-01-18 | Sony Corp | データ出力装置、データ出力方法、およびプログラム |
| WO2010004978A1 (ja) * | 2008-07-11 | 2010-01-14 | 株式会社エヌ・ティ・ティ・ドコモ | 音声合成モデル生成装置、音声合成モデル生成システム、通信端末、及び音声合成モデル生成方法 |
| WO2010104040A1 (ja) * | 2009-03-09 | 2010-09-16 | 国立大学法人豊橋技術科学大学 | １モデル音声認識合成に基づく音声合成装置、音声合成方法および音声合成プログラム |
| WO2012063424A1 (ja) * | 2010-11-08 | 2012-05-18 | 日本電気株式会社 | 特徴量系列生成装置、特徴量系列生成方法および特徴量系列生成プログラム |
| JP2013057735A (ja) * | 2011-09-07 | 2013-03-28 | National Institute Of Information & Communication Technology | 音声合成用の隠れマルコフモデル学習装置及び音声合成装置 |
| JP2013117638A (ja) * | 2011-12-02 | 2013-06-13 | Nippon Hoso Kyokai <Nhk> | 音声合成装置および音声合成プログラム |
| JP2013205697A (ja) * | 2012-03-29 | 2013-10-07 | Toshiba Corp | 音声合成装置、音声合成方法、音声合成プログラムならびに学習装置 |
| JP2013238819A (ja) * | 2012-05-17 | 2013-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声変換関数学習装置、音声変換装置、音声変換関数学習方法、音声変換方法、およびプログラム |
| CN108922514A (zh) * | 2018-09-19 | 2018-11-30 | 河海大学 | 一种基于低频对数谱的鲁棒特征提取方法 |
| JP2020170200A (ja) * | 2017-03-29 | 2020-10-15 | グーグル エルエルシー | エンドツーエンドのテキスト音声変換 |
-
2002
- 2002-06-04 JP JP2002162815A patent/JP3973492B2/ja not_active Expired - Fee Related
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4662139B2 (ja) * | 2005-07-04 | 2011-03-30 | ソニー株式会社 | データ出力装置、データ出力方法、およびプログラム |
| JP2007011203A (ja) * | 2005-07-04 | 2007-01-18 | Sony Corp | データ出力装置、データ出力方法、およびプログラム |
| WO2010004978A1 (ja) * | 2008-07-11 | 2010-01-14 | 株式会社エヌ・ティ・ティ・ドコモ | 音声合成モデル生成装置、音声合成モデル生成システム、通信端末、及び音声合成モデル生成方法 |
| JP5574344B2 (ja) * | 2009-03-09 | 2014-08-20 | 国立大学法人豊橋技術科学大学 | １モデル音声認識合成に基づく音声合成装置、音声合成方法および音声合成プログラム |
| WO2010104040A1 (ja) * | 2009-03-09 | 2010-09-16 | 国立大学法人豊橋技術科学大学 | １モデル音声認識合成に基づく音声合成装置、音声合成方法および音声合成プログラム |
| JPWO2010104040A1 (ja) * | 2009-03-09 | 2012-09-13 | 国立大学法人豊橋技術科学大学 | １モデル音声認識合成に基づく音声合成装置、音声合成方法および音声合成プログラム |
| WO2012063424A1 (ja) * | 2010-11-08 | 2012-05-18 | 日本電気株式会社 | 特徴量系列生成装置、特徴量系列生成方法および特徴量系列生成プログラム |
| US9299338B2 (en) | 2010-11-08 | 2016-03-29 | Nec Corporation | Feature sequence generating device, feature sequence generating method, and feature sequence generating program |
| JPWO2012063424A1 (ja) * | 2010-11-08 | 2014-05-12 | 日本電気株式会社 | 特徴量系列生成装置、特徴量系列生成方法および特徴量系列生成プログラム |
| JP2013057735A (ja) * | 2011-09-07 | 2013-03-28 | National Institute Of Information & Communication Technology | 音声合成用の隠れマルコフモデル学習装置及び音声合成装置 |
| JP2013117638A (ja) * | 2011-12-02 | 2013-06-13 | Nippon Hoso Kyokai <Nhk> | 音声合成装置および音声合成プログラム |
| JP2013205697A (ja) * | 2012-03-29 | 2013-10-07 | Toshiba Corp | 音声合成装置、音声合成方法、音声合成プログラムならびに学習装置 |
| US9110887B2 (en) | 2012-03-29 | 2015-08-18 | Kabushiki Kaisha Toshiba | Speech synthesis apparatus, speech synthesis method, speech synthesis program product, and learning apparatus |
| JP2013238819A (ja) * | 2012-05-17 | 2013-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声変換関数学習装置、音声変換装置、音声変換関数学習方法、音声変換方法、およびプログラム |
| JP2020170200A (ja) * | 2017-03-29 | 2020-10-15 | グーグル エルエルシー | エンドツーエンドのテキスト音声変換 |
| JP7009564B2 (ja) | 2017-03-29 | 2022-01-25 | グーグル エルエルシー | エンドツーエンドのテキスト音声変換 |
| JP2022058554A (ja) * | 2017-03-29 | 2022-04-12 | グーグル エルエルシー | エンドツーエンドのテキスト音声変換 |
| US11862142B2 (en) | 2017-03-29 | 2024-01-02 | Google Llc | End-to-end text-to-speech conversion |
| CN108922514A (zh) * | 2018-09-19 | 2018-11-30 | 河海大学 | 一种基于低频对数谱的鲁棒特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3973492B2 (ja) | 2007-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7792672B2 (en) | Method and system for the quick conversion of a voice signal | |
| JP6496030B2 (ja) | 音声処理装置、音声処理方法及び音声処理プログラム | |
| Takaki et al. | Direct Modeling of Frequency Spectra and Waveform Generation Based on Phase Recovery for DNN-Based Speech Synthesis. | |
| US7571095B2 (en) | Method and apparatus for recognizing speech in a noisy environment | |
| JPH04313034A (ja) | 合成音声生成方法及びテキスト音声合成装置 | |
| US20100217584A1 (en) | Speech analysis device, speech analysis and synthesis device, correction rule information generation device, speech analysis system, speech analysis method, correction rule information generation method, and program | |
| JP3973492B2 (ja) | 音声合成方法及びそれらの装置、並びにプログラム及びそのプログラムを記録した記録媒体 | |
| WO2015025788A1 (ja) | 定量的ｆ０パターン生成装置及び方法、並びにｆ０パターン生成のためのモデル学習装置及び方法 | |
| JP2009003008A (ja) | 雑音抑圧装置、音声認識装置、雑音抑圧方法、及びプログラム | |
| JP2006521576A (ja) | 基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法及びシステム | |
| JP6993376B2 (ja) | 音声合成装置、方法及びプログラム | |
| Hoffmann et al. | Analysis of verbal and nonverbal acoustic signals with the Dresden UASR system | |
| JP2006235243A (ja) | 音響信号分析装置及び音響信号分析プログラム | |
| JP6542823B2 (ja) | 音響モデル学習装置、音声合成装置、それらの方法、及びプログラム | |
| Kannan et al. | Voice conversion using spectral mapping and TD-PSOLA | |
| JP5660437B2 (ja) | 無声フィルタ学習装置、音声合成装置、無声フィルタ学習方法、およびプログラム | |
| Irino et al. | Evaluation of a speech recognition/generation method based on HMM and straight. | |
| Demuynck et al. | Synthesizing speech from speech recognition parameters | |
| JP2021099454A (ja) | 音声合成装置、音声合成プログラム及び音声合成方法 | |
| JPWO2009041402A1 (ja) | 周波数軸伸縮係数推定装置とシステム方法並びにプログラム | |
| JP6137708B2 (ja) | 定量的ｆ０パターン生成装置、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
| Lehana et al. | Transformation of short-term spectral envelope of speech signal using multivariate polynomial modeling | |
| Chandra et al. | Towards The Development Of Accent Conversion Model For (L1) Bengali Speaker Using Cycle Consistent Adversarial Network (Cyclegan) | |
| US20240153494A1 (en) | Techniques for generating training data for acoustic models using domain adaptation | |
| JP6553561B2 (ja) | 信号解析装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040726 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070612 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140622 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |