JP2005121869A

JP2005121869A - 音声変換関数抽出装置およびそれを用いた声質変換装置

Info

Publication number: JP2005121869A
Application number: JP2003356076A
Authority: JP
Inventors: Natsuki Saito; 夏樹齋藤; Takahiro Kamai; 孝浩釜井; Yumiko Kato; 弓子加藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-10-16
Filing date: 2003-10-16
Publication date: 2005-05-12

Abstract

【課題】音質が良く自由度の高い声質変換が実現する音声変換関数抽出装置およびそれを用いた声質変換装置を提供すること。
【解決手段】音声変換関数抽出装置およびそれを用いた声質変換装置において、少なくとも２つの音声１００を分析して音声間の汎用変換関数１０５を計算し、その汎用変換係数１０５を他の音声１０７の声質変換に用いることにより、音質が良く自由度の高い声質変換が実現できる。
【選択図】図１

Description

本発明は、入力された音声から音声変換に使用可能な汎用変換関数を計算する音声変換関数抽出装置、および、この音声変換関数抽出装置を用いて入力された音声の声質を変換する声質変換装置に関する。

従来の声質変換装置では、音声のスペクトル形状やピッチパタン等に変形を加えることで声質変換を行う方法がある（例えば、特許文献１）。

また、従来の音声合成装置で声質変換を実現しようとした場合、使用する音声素片データベースを切り替える方法が典型的に用いられる（例えば、特許文献２）。
特開平０８−１５２９００号公報特開平０７−３１９４９５号公報

しかしながら、前記従来の方法を用いた場合、自然性を保った声質の調整が困難であったり、声質変換の自由度が狭かったりする。

例えば、特許文献１のようにスペクトルの変形を行う方法では、声質に破綻が起こらないように音声の品質を維持するのが困難であるし、ユーザの望むような声質変化を起こさせるスペクトル変形ルールを作成することは極めて困難である。

また、特許文献２のように音声素片データベースを切り替えて合成音の声質を変える方法では、あらかじめ用意した１つの音声素片データベースに対して１種類の声質しか再現することができない。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、音質が良く自由度の高い声質変換が実現する音声変換関数抽出装置およびそれを用いた声質変換装置を提供することにある。

上記課題を解決するために、本発明の音声変換関数抽出装置は、入力された少なくとも２つの音声を分析してそれぞれの音響パラメタ値を出力する音響分析部と、前記それぞれの音響パラメタ値が入力され、当該音響パラメタ値の間の変換関数を計算して出力する変換関数抽出部と、前記変換関数を所定の方法によって一般化することで得られる、音声変換に使用可能な汎用変換関数を計算する変換関数般化部と、を備える。

前記変換関数抽出部は、前記それぞれの音響パラメタ値の差分値を計算して変換関数を得ることが好ましい。

また、前記変換関数抽出部は、前記それぞれの音響パラメタ値の音素毎にダイナミックレンジ比と平均値比とを計算して変換関数を得ることが好ましい。

前記変換関数般化部は、近接する音声分析合成フレーム間で前記変換関数をスムーシングすることで一般化して汎用変換関数を計算することが好ましい。

また、前記変換関数般化部は、前記変換関数の処理内容をＨＭＭ学習し、当該学習結果を汎用変換関数とすることが好ましい。

好適な実施形態として、前記変換関数は、前記時間軸アライメントの情報も有する。

さらに、前記時間軸アライメントの情報は、前記それぞれの音声の間の時間軸伸縮情報も含むことが好ましい。

さらに、前記時間軸アライメントは、前記それぞれの音響パラメタ値の間でパターンマッチングを行うことで実現することが好ましい。

好適な実施形態として、前記時間軸アライメントは、前記それぞれの音響パラメタ値をＨＭＭ音響モデルを用いることで実現する。

本発明の音声変換装置は、上記音声変換関数抽出装置からの汎用変換関数を記憶する記憶媒体と、入力された変換用音声を分析して変換用音響パラメタ値を出力する変換用音響分析部と、前記変換用音声パラメタ値を前記記憶媒体に記憶された前記汎用変換関数によって声質変換処理して変換済み音声パラメタ値を出力する音響パラメタ変換部と、前記変換済み音響パラメタ値から音声を生成する音声波形生成部とを備える。

前記変換用音響分析部は、前記ＨＭＭ音響モデルを用いて前記変換用音響パラメタ値についても時間軸アライメントを実施し、変換用音響パラメタ値と前記汎用変換関数との間で時間軸上の整合性が取れた声質変換処理を行うことが好ましい。

以上のように本発明によれば、少なくとも２つの音声を分析して音声間の汎用変換関数を計算し、その汎用変換係数を音声の声質変換に用いることにより、音質が良く自由度の高い声質変換が実現できる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
図１は、本発明の音声変換関数抽出装置１０００と、本発明の声質変換装置１００１とを組み合わせた音声変換装置の構成を示す。音声変換関数抽出装置１０００は、入力された少なくとも２つの音声１００を分析して分析結果のそれぞれの音響パラメタ値系列１０１を出力する音響分析部１０２と、複数の音響パラメタ値系列１０１が入力され、音響パラメタ値系列の間の変換関数１０３を計算して（例えば、差分など）出力する変換関数抽出部１０４と、変換関数１０３を所定の方法によって一般化し、他の音声に対する音声変換にも使用可能な汎用変換関数１０５を出力する変換関数般化部１０６とを有する。声質変換装置１００１は、他に入力された変換用音声１０７（以降、単に「他の音声」とも記す）を分析して分析結果の変換用音響パラメタ値系列Ｃ１０８を出力する変換用音響分析部１０９と、音声変換関数抽出装置１０００から出力された汎用変換関数１０５を用いて変換用音響パラメタ値列Ｃ１０８を音響パラメタ値系列Ｃ‘１１１に変換処理する変換済み音響パラメタ変換部１１０と、変換済み音響パラメタ値系列１１１を元に出力音声１１２を生成する音声波形生成部１１３とを有する。

この構成によって、音声変換関数抽出装置１０００への複数の入力音声１００を元にして、声質変換装置１００１への入力音声１０７に自然な声質変換を加える処理が可能になる。

以下、本実施の形態において音声変換関数抽出処理と声質変換処理を行う際の処理の流れを具体的に示す。

＜音響分析部＞
図２は、本実施の形態における音響分析部１０２の処理内容を表す概略図である。入力音声１００（図１の音声Ａ，音声Ｂを示す）は音声波形データの形式をしており、音響分析部１０２はこれを分析して音響パラメタ値系列１０１（図１の音響パラメタ値系列Ａ、音響パラメタ値系列Ｂを示す）を出力する。音響パラメタ値系列１０１は元の音声波形データを聴覚上十分に再現できる情報を含んだ特徴パラメタの値を並べたもので、ここでは音声の基本周波数Ｆ０、第一フォルマントＦ１、第二フォルマントＦ２、スペクトル傾斜ＴＬ、音源強度ＰＷの５つの特徴パラメタを、分析された音声波形内の時系列で並べられた音声分析合成フレーム順に列挙したものとする。以下、音声分析合成フレームを単にフレームと表記する。

入力音声１０７から変換用音響パラメタ値系列Ｃ１０８を生成する音響分析部１０９の動作も、これと同様にして行われる。

＜変換関数抽出部＞
図３は、本実施の形態における変換関数抽出部１０４の処理内容を表す概略図である。変換関数抽出部１０４は、音響分析部１０２によって出力された複数の音響パラメタ値系列１０１を受け取り、各音声の対応するフレーム間で各パラメタ値の差分値を計算する。例えば、音響パラメタ値系列Ａの、あるフレームにおいてＦ０の値が３００であり、音響パラメタ値系列Ｂでは対応するフレームにおけるＦ０の値が２８０であったとすると、変換関数抽出部１０４は、変換関数１０３の、当該フレームにおけるＦ０に関する値を２８０−３００＝−２０と計算する。

なお、一般に複数の音響パラメタ値系列１０１に含まれるフレームの総数はそれぞれ異なるため、変換関数抽出部１０４は、複数の音響パラメタ値系列間でフレームの対応付けを行うために時間軸アライメントを行う。これは、与えられたそれぞれの音響パラメタ値系列１０１の間でパターンマッチングによって実現できる。

さらに、この時間軸アライメント処理の結果を変換関数の一部として保持しておくことで、時間軸伸縮による声質変換処理を行うことができる。詳細については、後述する音響パラメタ変換部１１０の説明に譲る。

＜変換関数般化部＞
図４は、本実施の形態における変換関数般化部１０６の処理内容を表す概略図である。変換関数般化部１０６は、変換関数１０３を受け取り、近接する音声分析合成フレーム間でスムーシング処理を行うことで変換関数１０３の細かな変動を潰し、抽出された変換関数の適用範囲が拡大された汎用変換関数１０５を出力する。

例えば、スムーシングの窓幅を５フレームとし、図４に示される変換関数１０３のスムーシングを行う場合、あるフレームの前後２フレームを含む５フレームにおいて、変換関数１０３のＦ０に関する値が｛−４２，−３１，−３５，−２０，−２２｝であったとすると、汎用変換関数１０５の、当該フレームにおけるＦ０に関する値はスムーシングによって（（−４２）＋（−３１）＋（−３５）＋（−２０）＋（−２２））÷５＝−３０と求められる。

スムージング処理をすることにより、以下の効果を得ることができる。

例えば、音響分析部１０２によって出力された音声パラメタ値系列ＡにおけるパラメタＦ０が±１０の範囲でランダムに変動しており、同じく音声パラメタ値系列ＢにおけるパラメタＦ０が±１０の範囲でランダムに変動しているとすると、変換関数１０３による変換後のＦ０の変換内容には最大で±２０の変動が起こり、さらにこの関数をＦ０が±１０範囲でランダムに変動する別の音声に適用すると、声質変換された音声におけるＦ０の変動は最大で±３０となる。変換関数般化部１０６によるスムーシング処理は、変換関数による変換処理の不要な変動を抑え、安定した変換結果を得ることができるようにするものである。

また、スムーシングによって変換関数１０３に含まれる情報量を落とすことで、汎用変換関数１０５を表現するために必要となるデータ量を削減し、コンパクトで可搬性の高いものにすることができる。例えば、スムーシング処理によって汎用変換関数１０５における各パラメタ差分値の変動軌跡が直線近似できるようであれば、その直線を表現するためのわずかな情報によって、複数フレームにおけるパラメタ差分値の表現を行うことができる。

なお、スムーシングの方法は以上の効果が得られるものであれば何でもよく、例えば元のデータに突発的な分析エラー値が想定される場合は、平均ではなくメジアンによるスムーシングを用いることでエラー値をある程度潰すことができる。例えば、あるフレームの前後２フレームを含む５フレームにおいて、変換関数１０３のＦ０に関する値が｛−４２，−３１，−３５，−２０，−２２｝であったとすると、汎用変換関数１０５の、当該フレームにおけるＦ０に関する値はこれら５つの値のメジアンである−３１となる。

＜音響パラメタ変換部＞
図５は、本実施の形態における音響パラメタ変換部１１０の処理内容を表す概略図である。例えば、入力された変換用音響パラメタ値系列Ｃ１０８（以降、単に「変換用音響パラメタ値系列１０８」と記す）のあるフレームにおいてＦ０の値が２９０となっており、汎用変換関数１０５においてこのフレームにおけるＦ０の差分値が−３５となっていれば、出力の変換済み音響パラメタ値系列Ｃ’１１１（以降、単に「変換済み音響パラメタ値系列１１１」と記す）におけるこのフレームのＦ０の値は２９０＋（−３５）＝２５５とできる。

なお、音響パラメタ変換部１１０に入力される変換用音響パラメタ値系列１０８の長さは一般に変換関数抽出部１０４の入力である音響パラメタ値系列１０１の長さとは一致しないため、汎用変換関数１０５に含まれる時間軸アライメント情報（時間軸伸縮情報を含む場合もある）を用いて変換用音響パラメタ値系列１０８の時間軸変形を行う必要がある。例えば、汎用変換関数１０５に含まれる時間軸アライメント情報によって、音響パラメタ値系列Ａの先頭から０％〜１５％の部分が音響パラメタ値系列Ｂの先頭から０％〜２０％の部分にマッチしたと分かる場合、変換用音響パラメタ値系列１０８の先頭から０％〜１５％の部分を伸縮して、音声の０％〜２０％の部分になるようにする。さらに、音響パラメタ値系列Ａに対して音響パラメタ値系列Ｂでは全体の長さ（時間軸伸縮情報）が１．２倍であったとあるので、同様に変換用音響パラメタ値系列１０８の全体の長さも１．２倍にする。こうした上で、汎用変換関数１０５の内容を時間軸で均等に伸縮して時間軸伸縮後の変換用音響パラメタ値系列１０８に合わせ、各フレームに対して各音声合成パラメタの差分値を足すようにすればよい。

以上のようにして、変換用音響パラメタ値系列１０８の時間軸変形を行い、汎用変換関数１０５による音響パラメタの変換を行うことができる。

なお、上記説明では、汎用変換関数１０５に時間軸アライメント情報を有することを説明したが、図３に記載しているように、変換関数抽出部１０４変換関数１０３に時間軸アライメント情報を有していても良い。

また、足し合わせる差分値をある一律の割合で増減させることによって、声質変換の度合いを任意に変化させることができる。

＜音声波形生成部＞
図６は、本実施の形態における音声波形生成部１１３の処理内容を表す概略図である。音声波形生成部１１３は基本的に音響分析部１０２の逆の処理を行うものであり、音響パラメタ変換部１１０の出力した変換済み音響パラメタ値系列１１１を受け取り、出力音声１１２を出力する。

以上の方法によって、音声変換関数抽出装置１０００への複数の入力音声１００を元に、声質変換装置１００１への入力音声１０７に自然な声質変換を加える処理が可能になる。例えば、音声変換関数抽出装置１０００への入力音声１００がある話者の平常声と怒り声であった場合、声質変換装置１００１への他の入力音声１０７として別の話者の平常声が与えられた場合、その話者の怒り声として出力音声１１２を得ることができる。なお、他の入力音声１０７の話者の平常声が、入力音声１００である話者の平常声と特徴が似ている場合は、より的確な、他の入力音声１０７を入力した話者の怒り声とすることができる。また、他の入力音声１０７の話者と、入力音声１００の話者との音声の特徴が似ていない場合であっても、本発明では、変換関数１０３が例えば入力音声１００の話者の平常声と怒り声の間の音響的特徴の差に相当するため、他の入力音声１０７に対しても、入力音声１００における聴覚的印象の差を模擬して、他の入力音声１０７を入力した話者の怒り声を得ることができる。また、変換関数般化部１０６によって、変換関数１０３に含まれるフレーム単位のミクロな変動の特徴を取り去って比較的マクロな特徴を抽出して汎用変換関数１０５を作成し、これを用いて声質変換を行う構成を取っているので、変換関数１０３を直接使用する方法に比べ、変換後の音声に音質の破綻が起きにくいという効果を有する。

なお、本実施の形態においては変換関数般化部１０６におけるスムーシング処理の窓幅を数フレームに限定したが、窓幅を入力音声１００の全体としてスムーシングを行うことにより、各音響パラメタ値の差分値の、各入力音声１００の全体に渡る平均値が計算できる。これを元に汎用変換関数１０５を計算することで、音響パラメタ変換部１１０では、例えば平常声の入力音声１０７を怒り声に変換するために、音響パラメタＰＷの値は音声全体に渡って一律１０だけ増加させる、というような処理を行うことができる。一般に、スムーシング処理の窓幅を大きくすると汎用変換関数１０５の内容はより多くのフレームに共通する各音響パラメタ値の差分値の特徴を表すように一般化されるが、反面、入力音声１００において一部のフレームにのみ現れるような、局所的な音響的特徴変化の再現が難しくなる。

なお、本実施形態では、２つの入力音声１００（音声Ａ，音声Ｂ）からの汎用変換関数１０５を用いて他の入力音声１０７の声質を変換する声質変換装置を記載したが、３つ以上の複数の入力音声１００から汎用変換関数を計算しても良い。例えば、入力音声１００が３つの場合は、音声Ａ→音声Ｂ→音声Ｃという変化（例えば平常→怒り→激怒）から１つの汎用変換関数１０５にしても良い。もしくは、複数の話者が入力音声１００をそれぞれ複数の声質で入力し、複数の話者間で共通して使用できる汎用変換関数を計算しても構わない。例えば、話者１による２種類の入力音声１００（例えば、音声Ａ→音声Ｂが話者１の平常→怒り）、話者２による２種類の入力音声１００（例えば、音声Ｃ→音声Ｄが話者２の平常→怒り）というように、入力音声１００として４つの音声Ａ〜Ｄを使用し、話者１と話者２に共通で使用できる「平常→怒り」の汎用変換関数を抽出しても良い。

なお、本実施形態では、音声変換関数抽出装置１０００の汎用変換関数１０５は、変換関数般化部１０６から出力されて声質変換装置１００１の音響パラメタ変換部１１０に入力されているように記載されているが、汎用変換関数１０５は一旦記憶媒体（図示せず）に記憶され、その記憶媒体から必要に応じて読み出されて音響パラメタ変換部１１０に入力されるものである。

（実施の形態２）
本実施形態では、各音響パラメタ値のダイナミックレンジ及び平均値同士の差を用いて変換関数を規定する手法について、以下に説明する。なお、本実施形態の構成図は、図１と同様であるが、各構成要素の動作内容が異なる。

＜音響分析部＞
上記実施の形態１と同様の処理を行う。

＜変換関数抽出部＞
各音響パラメタ値系列１０１を音素の単位で区切り、その中で各音響パラメタ値の平均値とダイナミックレンジを計算した後、それぞれの比を計算する。

例えば、音響パラメタ値系列Ａの、ある音素においてＦ０のダイナミックレンジが±２０、平均値が３００であり、音響パラメタ値系列Ｂにおいては、同じ音素におけるＦ０のダイナミックレンジが±３０、平均値が２８０であったとすると、変換関数抽出部１０４は、音響パラメタ差分情報１０３の当該音素のＦ０ダイナミックレンジにおける比（「ダイナミックレンジ比」＝３０÷２０＝１．５）、同じくＦ０平均値における値の比（「平均値比」＝２８０÷３００≒０．９３）と計算する。

また、上記実施の形態１と同様にして時間軸アライメント処理を行い、結果を保存しておく。

＜変換関数般化部＞
変換関数抽出部１０４の抽出した変換関数１０３において、同じ種類の音素ごとにダイナミックレンジと平均値の値のメジアンを計算し、その値にまとめることによって情報量を削減する。例えば、「ｎａＮｄａｋａ」（なんだか）という音素列には同一の音素ａが計３回現れるが、その全てを対象として変換関数１０３のダイナミックレンジと平均値のメジアンを計算し、汎用変換関数１０５の、音素ａに関する共通部分とすることができる。また、別の音素であっても変換関数１０３の内容が近ければ同様にして汎用変換関数を共通のものにまとめてよく、例えば上記音素列で変換関数１０３の音素ｎと音素Ｎに関する部分が似通っていれば、変換関数１０３の音素ｎに関する部分と音素Ｎに関する部分に対してダイナミックレンジと平均値のメジアンをまとめて計算し、汎用変換関数１０５の、音素ｎ及びＮの共通部分とすることができる。

なお、変換関数は必ずしも音素の単位でまとめる必要はなく、例えばアクセント区内の位置や単語内の位置といった情報や、言語解析から得られる情報などを用いて変換関数１０３の内容をクラスタリングすることで、共通にまとめる部分を決定し、汎用変換関数１０５を求めてもよい。クラスタリングの手法は何を用いても良いが、例えば上記の情報を説明変数とし、汎用変換関数の内容を目的変数として、２進木解析法の一つであるＣＡＲＴ法を用いて回帰２進木を求めればよい。

＜音響パラメタ変換部＞
入力される変換用音響パラメタ値系列１０８の各音素部分に対して、汎用変換関数１０５に従って変形を加える。

例えば、変換用音響パラメタ値系列１０８の、ある音素においてＦ０の平均値が２９０であり、当該音素内のあるフレームにおけるＦ０の値が３００であって、汎用変換関数１０５において、当該音素のＦ０に関するダイナミックレンジにおける値が１．５、平均値における値が０．９３であるとすると、当該フレームにおけるＦ０の値は、以下のように計算できる。

・当該音素におけるＦ０平均値＝２９０×０．９３≒２７０
・当該フレームにおけるＦ０の値＝２７０＋（３００−２９０）×１．５＝２８５
また、上記実施の形態１と同様にして、時間軸アライメント情報から時間軸伸縮処理を行う。

＜音声波形生成部＞
上記実施の形態１と同様の処理を行う。

以上の方法によって、音響パラメタ値の音素単位のダイナミックレンジと平均値を元にした、声質変換処理が可能となる。

（実施の形態３）
本実施形態では、ＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）を用いて変換関数を規定する手法について説明する。本実施の形態における装置の構成を図７に示す。これは、図１に示される構成に加え、変換関数抽出部１０４及び音響パラメタ変換部１１０から参照可能なＨＭＭ音響モデル７００を持つものである。

＜音響分析部＞
上記実施の形態１と同様の処理を行う。

＜変換関数抽出部＞
上記実施の形態１と同様の処理を行う。

加えて、あらかじめ学習しておいたＨＭＭ音響モデル７００を用いて、音響パラメタ値系列１０１（図７の「音響パラメタ値系列Ａ」、「音響パラメタ値系列Ｂ」を示す）のセグメンテーションを行い、その結果を元に複数の音響パラメタ値系列１０１同士の時間軸アライメントを行う。ＨＭＭ音響モデル７００は、入力される可能性のある音響パラメタ値系列１０１の全てに対応することのできるものである。ＨＭＭ音響モデル７００を用いた時間軸アライメントは、例えば以下のようにして行われる。

図８に、ある音響パラメタ値系列１０１を、対応するＨＭＭ音素モデル８００を用いてセグメンテーションした最尤探索パス８０１の例を示す。ここで、音素モデル８００は開始状態Ｓ₀と終了状態Ｓ_Eを含め、４状態で構成されるＨＭＭである。認識の最尤パス上の時刻４から５において、状態Ｓ₁からＳ₂への状態遷移が起こっている。これは音響パラメタ値系列１０１における各フレームの内容が状態Ｓ₁で表されるものから状態Ｓ₂で表されるものに変化した点であると考えられるので、音響パラメタ値系列１０１の、状態Ｓ₂で表される部分系列の開始点である時刻５と、開始状態Ｓ₀の直後の点である時刻１及び終了状態Ｓ_Eの直前の点である時刻Ｎを状態遷移境界位置としてラベル付けしておけば、これらのラベル情報を時間軸アライメントの基準とすることができる。即ち、各々の音響パラメタ値系列１０１を同一の音響モデルでセグメンテーションした後、ラベル付けされた時間位置が一致するように、ラベル付けされた時間位置間を線形に伸縮すればよい。

以上の方法によって、音響パラメタ値系列１０１を精度よく時間軸アライメントすることが可能になる。このようにして時間軸アライメントを行った後、上記実施の形態１のような方法で変換関数１０３の計算を行う。

＜変換関数般化部＞
本実施の形態において、変換関数般化部１０６は、変換関数抽出部１０４がＨＭＭ音響モデル７００を用いて行ったラベル付けの結果を用いて、変換関数１０３における各ラベル位置間にそれぞれ１つのＨＭＭ状態があるようにして、ＨＭＭパラメタの学習を行い、学習結果のＨＭＭを汎用変換関数１０５とする。

例えば、図９に示すように、音響パラメタ値系列１０１のある部分系列を図８に示される音素モデル８００でラベル付けした結果、複数の音響パラメタ値系列１０１間の時間軸アライメント処理と変換関数抽出処理によって、この部分系列に関する変換関数１０３が得られたとする。この変換関数１０３は時間軸アライメント情報の一部として、音響パラメタ値系列１０１に対して行われたラベル付けの結果を含む。即ち、変換関数１０３の各部分が、音響パラメタ値系列１０１のラベル付け処理において、音素モデル８００のどの状態に対応するものであったかという情報を含む。変換関数般化部１０６は、変換関数１０３の、音素モデル８００の共通の状態に対応する部分をＨＭＭの一状態として確率変数の学習を行うことで汎用変換関数１０５を求める。例えば変換関数１０３において、音素モデル８００の状態Ｓ₁に対応する部分系列のＦ０に関する値が｛−２１，−４２，−３１，−３５，−２０｝であったとすると、これはμ≒−２９、σ²≒７０の正規分布として表現できる。このようにして、変換関数１０３における各ラベル位置間に、多次元正規分布で表される出力確率関数を持つ１つのＨＭＭ状態を割り当てて、μとσ²の値を求めればよい。なお、このＨＭＭの状態遷移確率は、音素モデル８００のものをそのまま用いればよい。

なお、ＨＭＭ状態は各音素で別々にしてもよいし、文脈情報を用いてさらに細かくカテゴリ分けすることで精度を上げても良いし、音素モデル８００の一状態に対応する汎用変換関数１０５の状態数を２つ以上にすることで、より細かい制御を行っても良い。また、ＨＭＭで学習するのは各音響パラメタ値だけでなく、各ラベル位置間におけるフレーム数の比の値を含めても良い。

＜音響パラメタ変換部＞
音響パラメタ変換部１１０は、まず変換関数抽出部１０４が用いたのと同じＨＭＭ音響モデル７００を用いて、入力の変換用音響パラメタ値系列１０８をセグメンテーションする。これによって、本実施の形態における上記変換関数抽出部１０４の動作例で示したのと同様にラベル付けを行うことができる。これらのラベル位置間の音響パラメタ値の部分系列は変換関数般化部１０６によって学習された各々のＨＭＭ状態に対応するので、変換用音響パラメタ値系列１０８の各部分系列に対応するＨＭＭ状態から、当該部分系列の長さの最尤出力系列を得ることにより、上記実施の形態１における汎用変換関数１０５と同等のものが得られ、当該部分系列の音響パラメタ変換処理を行うことができる。すなわち、変換用音響パラメタ値系列１０８と汎用変換関数１０５との間で時間軸上の整合性が取れたパラメタ変換を実現できる。

図１０に、このような声質変換処理の例を示す。変換用音響パラメタ値系列１０８はＨＭＭ音響モデル７００によってラベル付けされ、各ラベル位置間の各フレームに対して、汎用変換関数１０５の対応するＨＭＭ状態を割り当ててＨＭＭ状態系列を作り、このＨＭＭ状態系列から出力される最尤出力系列として各音響パラメタの変換量を得る。例えば音響パラメタＦ０について、状態系列｛Ｓ_i，Ｓ_i，Ｓ_i｝から得られる変換量の最尤出力系列は｛−３５，−３５，−３５｝である。このような出力系列を用いて、変換用音響パラメタ値系列１０８を変換済み音響パラメタ値系列１１１に変換する。

なお、図１０に示される汎用変換関数１０５を用いる場合、状態遷移確率及びσ²の内容は最尤出力系列を求める際に使われないため、単純に各状態におけるμの値のみを汎用変換関数として持っておいても良い。

なお、図１０に示される汎用変換関数１０５を用いる場合、各ＨＭＭ状態における最尤出力が必ずμの値になるため、各ラベル位置において音響パラメタの変換量が不連続に変化してしまう。よりなめらかな声質変換を行うためには、ΔＦ０、ΔΔＦ０など、フレーム間での各音響パラメタの１次以上の変化量をも出力確率関数に取り入れて学習しておくことで、出力内容の不連続な変化を抑えることができる。

なお、図１０に示される汎用変換関数１０５を用いる場合、各ラベル位置間に割り当てられるＨＭＭの種類はただ一つであるため、状態系列は状態遷移確率によらずただ一種類に決まるが、各ラベル位置間に割り当てられるＨＭＭ状態数を増やした場合には、何らかの方法で各状態の継続長を決定する必要がある。例えば、変換関数般化部１０６における汎用変換関数１０５の生成の際、Ｂａｕｍ−Ｗｅｌｔｃｈ法を用いて最尤状態系列を求めた上で、音響パラメタ変換部１１０ではこの最尤状態系列における各状態の継続長の比が維持されるように各状態の継続長を決定することができる。または、各状態にとどまるような状態遷移の確率の比を、各状態の継続長の比として決定しても良い。

なお、図７は、ＨＭＭ音響モデル７００は、音声変換関数抽出装置１０００と声質変換装置１００１との両方の外にあるように記載してあるが、ＨＭＭ音響モデル７００は、音声変換関数抽出装置１０００と声質変換装置１００１とで共通のものを使用すれば良く、音声変換関数抽出装置１０００と声質変換装置１００１との両方の装置内に存在しても良いことは言うまでもない。

以上の方法によって、ＨＭＭを用いた声質変換処理が可能となる。

本発明の音声変換関数抽出装置およびそれを用いた声質変換装置は、合成音を利用するエージェントアプリケーションやテキスト読み上げアプリケーション、声質変換機能を利用する通信装置、音声の声質エディタ装置等として有用である。

実施の形態１に示される声質変換装置の構成を示すブロック図実施の形態１に示される音響分析部の動作を表す概略図実施の形態１に示される変換関数抽出部の動作を表す概略図実施の形態１に示される変換関数般化部の動作を表す概略図実施の形態１に示される音響パラメタ変換部の動作を表す概略図実施の形態１に示される音声波形生成部の動作を表す概略図実施の形態３に示される声質変換装置の構成を示すブロック図実施の形態３の変換関数抽出部における、ＨＭＭを用いた時間軸アライメントの動作を表す概略図実施の形態３の変換関数抽出部において、汎用変換関数となるＨＭＭを求める動作を表す概略図実施の形態３の変換関数抽出部において、汎用変換関数であるＨＭＭの利用方法を表す概略図

符号の説明

１００入力音声
１０００声変換関数抽出装置
１００１声質変換装置
１０１音響パラメタ値系列Ａ，Ｂ
１０２音響分析部
１０３変換関数
１０４変換関数抽出部
１０５汎用変換関数
１０６変換関数般化部
１０７変換用入力音声
１０８変換用音響パラメタ値系列Ｃ
１０９変換用音響分析部
１１０変換済み音響パラメタ値系列Ｃ’
１１１音響パラメタ変換部
１１２出力音声
１１３音声波形生成部
７００ＨＭＭ音響モデル
８００７００に含まれるＨＭＭ音素モデル
８０１８００による１０１の最尤探索パスの概形

Claims

入力された少なくとも２つの音声を分析してそれぞれの音響パラメタ値を出力する音響分析部と、
前記それぞれの音響パラメタ値が入力され、当該音響パラメタ値の間の変換関数を計算して出力する変換関数抽出部と、
前記変換関数を所定の方法によって一般化することで得られる、音声変換に使用可能な汎用変換関数を計算する変換関数般化部と、を備える音声変換関数抽出装置。
前記変換関数抽出部は、前記それぞれの音響パラメタ値の差分値を計算して変換関数を得る、請求項１に記載の音声変換関数抽出装置。
前記変換関数抽出部は、前記それぞれの音響パラメタ値の音素毎にダイナミックレンジ比と平均値比とを計算して変換関数を得る、請求項１に記載の音声変換関数抽出装置。
前記変換関数般化部は、近接する音声分析合成フレーム間で前記変換関数をスムーシングすることで一般化して汎用変換関数を計算する、請求項１から３までの何れか一つに記載の音声変換関数抽出装置。
前記変換関数般化部は、前記変換関数の処理内容をＨＭＭ学習し、当該学習結果を汎用変換関数とする、請求項１から３までの何れか一つに記載の音声変換関数抽出装置。
前記変換関数は、前記時間軸アライメントの情報も有する、請求項１から５までの何れか一つに記載の音声変換関数抽出装置。
前記時間軸アライメントの情報は、前記それぞれの音声の間の時間軸伸縮情報も含む、請求項６に記載の音声変換関数抽出装置。
前記時間軸アライメントは、前記それぞれの音響パラメタ値の間でパターンマッチングを行うことで実現する、請求項７に記載の音声変換関数抽出装置。
前記時間軸アライメントは、前記それぞれの音響パラメタ値をＨＭＭ音響モデルを用いることで実現する、請求項６に記載の音声変換関数抽出装置。
請求項１から８までの何れか一つに記載の音声変換関数抽出装置からの汎用変換関数を記憶する記憶媒体と、
入力された変換用音声を分析して変換用音響パラメタ値を出力する変換用音響分析部と、
前記変換用音声パラメタ値を前記記憶媒体に記憶された前記汎用変換関数によって声質変換処理して変換済み音声パラメタ値を出力する音響パラメタ変換部と、
前記変換済み音響パラメタ値から音声を生成する音声波形生成部とを備える、音声変換装置。
請求項９に記載の音声変換関数抽出装置からの汎用変換関数を記憶する記憶媒体と、
入力された変換用音声を分析して変換用音響パラメタ値を出力する変換用音響分析部と、
前記変換用音声パラメタ値を前記記憶媒体に記憶された前記汎用変換関数によって声質変換処理して変換済み音声パラメタ値を出力する音響パラメタ変換部と、
前記変換済み音響パラメタ値から音声を生成する音声波形生成部とを備える、音声変換装置。
前記変換用音響分析部は、前記ＨＭＭ音響モデルを用いて前記変換用音響パラメタ値についても時間軸アライメントを実施し、変換用音響パラメタ値と前記汎用変換関数との間で時間軸上の整合性が取れた声質変換処理を行う、請求項１１に記載の声質変換装置。