JP2004109809A - 音声分析合成方法及びその装置、音声分析合成プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】出力音声の音質を向上させた、入力音声の正弦波成分を抽出し、抽出した正弦波成分を利用して音声合成を行う音声分析合成方法を提供する。
【解決手段】入力音声信号の調波成分を瞬時周波数アトラクタとして抽出することにより精度良く正弦波成分に分解して瞬時周波数を推定する手順と、また入力音声信号のスペクトル包絡を推定する手順と、推定した瞬時周波数と音声信号のスペクトル包絡により正弦波を駆動して音声を合成する手順とを備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、瞬時周波数アトラクタ（ＩＦ（ｉｎｓｔａｎｔａｎｅｏｕｓ　ｆｒｅｑｕｅｎｃｙ）アトラクタ）に基づき音声信号を分析し、正弦波モデルに基づき再合成する音声分析合成方法及び装置に関し、特に音声信号のピッチや話速を変化させ再合成する、音声分析合成、及び音声信号の情報を圧縮して伝送する、音声符号化に関する技術に関する。
【０００２】
【従来の技術】
瞬時周波数をパラメータとする音声分析合成法として、位相ボコーダがある（例えば、非特許文献１参照。）。この手法では、解析信号を出力するフィルタバンクにおいて、各フィルタの出力の瞬時周波数と瞬時振幅を求める。また得られた瞬時周波数と瞬時振幅から正弦波を駆動し、合成を行う。
また短時間スペクトルのピークを追跡することにより正弦波成分を抽出し、正弦波合成を行うものについては、正弦波モデルに基づく音声分析合成法がある（例えば、非特許文献２参照。）。
【０００３】
【非特許文献１】
Ｊ．Ｌ．Ｆｌａｎａｇａｎ　ａｎｄ　Ｒ．Ｍ．ｇｏｌｄｅｎ，　”Ｐｈａｓｅ　ｖｏｃｏｄｅｒ，”　Ｂｅｌｌ　Ｓｙｓｔ．ｔｅｃｈ．，ｖｏｌ．４５，ｐｐ．１４９３−１５０９，１９６６
【非特許文献２】
ＭｃＡｕｌａｙ，Ｒ．Ｊ．　ａｎｄ　Ｑｕａｔｉｅｒｉ，Ｔ．Ｆ．，　”Ｓｐｅｅｃｈ　ａｎａｌｙｓｉｓ／ｓｙｎｔｈｅｓｉｓ　ｂａｓｅｄ　ｏｎ　ａ　ｓｉｎｕｓｏｉｄａｌ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，”　ＩＥＥＥ　Ｔｒａｎｓ．Ａｃｏｕｓｔ．，Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ＡＳＳＰ−３４，Ｎｏ．４，ｐｐ．７４４−７５４，１９８６
【０００４】
【発明が解決しようとする課題】
従来の位相ボコーダでの音声分析では正弦波成分の抽出をしていないことと、瞬時周波数推定誤差の影響により隣り合うフィルタバンクの出力の位相が次第にずれていくことが原因となり、出力音声の品質に問題があった。
また正弦波モデルに基づく音声分析合成法については、短時間スペクトルのピークの追跡が難しく、追跡アルゴリズムが複雑になり、ピーク追跡が不安定になり、正弦波成分の抽出性能が低下し結果として出力音声の音質が悪くなるという問題点があった。またピッチの変化が速いと特に高次の正弦波成分の周波数が短時間スペクトルのピークに一致しないため、正弦波成分として抽出することができず、音質の低下がおきていた。
【０００５】
【課題を解決するための手段】
この発明の音声分析合成方法及び装置は、音声信号の正弦波成分を瞬時周波数アトラクタとして抽出することにより、正弦波成分を精度良く抽出することが可能であり、また出力の位相誤差を打ち消すように瞬時周波数を補正するので、瞬時周波数を基に合成された出力音声の音質を改善することができる。
さらに時間軸伸縮によりピッチの変化が速くても安定して正弦波成分の抽出が行える分析方法を適用することで、元の音声と同程度の音質を得ることができた。
【０００６】
【発明の実施の形態】
図１に本発明の音声分析合成装置の構成例を示す。
音声分析合成装置は、音声分析部と音声合成部から構成され、音声分析部は、音声信号を窓掛け処理を行う、窓掛け部１と窓掛け部２と、窓掛け処理した音声信号をフーリエ変換するＦＦＴ１，ＦＦＴ２と、瞬時周波数を計算する瞬時周波数計算部と、アトラクタに対する瞬時周波数を計算するアトラクタ抽出部と、アトラクタ上の位相を計算する位相計算部と、音声信号のスペクトル包絡を計算するスペクトル包絡推定部とを備え、また音声合成部は、ピッチ変換と話速変換を行うピッチ変換／話速変換部と、正弦波合成部とを備える。
【０００７】
（音声分析方法）
窓掛け部１は、音声信号ｘ（ｔ）に窓関数ｗ（ｔ）により窓掛け処理を行い、窓掛け部２は窓関数ｗ（ｔ）の時間導関数である窓関数ｗ’（ｔ）により窓掛け処理を行う。ＦＦＴ１は窓関数ｗ（ｔ）で窓掛け処理した音声信号をフーリエ変換してフィルタバンク表現Ｆ（ω，ｔ）を出力する。ＦＦＴ２は窓関数ｗ’（ｔ）で窓掛け処理した音声信号をフーリエ変換してフィルタバンク表現Ｆ’（ω，ｔ）を出力する。
音声信号ｘ（ｔ）の短時間フーリエ変換（ＳＴＦＴ）は
【数１】

により定義されている。ただし、ω（＝２πｆ）は角周波数、ｔは時間、ｗ（ｔ）は窓関数、τは積分変数である。このＸ（ω，ｔ）からフィルタバンク表現
Ｆ（ω，ｔ）＝ｅ^ｊω^ｔＸ（ω，ｔ）　　　　　　　　　　　　　　　　（２）
を考えるとき、ｘ（ｔ）は基底関数ｆ（ω，ｔ）＝ｗ（ｔ）ｅ^ｊω^ｔの線形重ね合わせとして、
【数２】

従ってＦ（ω，ｔ）は基底関数ｆ（ω，ｔ）の係数とみなすことができる。
【０００８】
瞬時周波数計算部は、フィルタバンク表現Ｆ（ω，ｔ）、Ｆ’（ω，ｔ）に基づいて瞬時周波数λ（ω，ｔ）を計算する。
ここで点（ω，ｔ）における瞬時周波数を
【数３】

と定義する。ここでａｒｇは偏角を示す。
Ｆ（ω，ｔ）＝ａ＋ｊｂとおけば、瞬時周波数は
【数４】

により与えられる。さらに
【数５】

で置き換え、窓関数ｗ（ｔ）の時間導関数ｗ’（ｔ）を用いることで式（６）より求めることができる。
【０００９】
アトラクタ抽出部は、瞬時周波数λ（ω，ｔ）に基づいてアトラクタｉに対する瞬時周波数λ_ｉを抽出（計算）する。
瞬時周波数アトラクタは、μ（ω，ｔ）＝λ（ω，ｔ）−ωとしたとき、
【数６】

で定義される。図３（ａ）はある時刻ｔ_０における角周波数ωに対する瞬時周波数λと対応する式（７）の関数μの例を示す。上式（７）を満たす点（ｉ＝１，２，３，・・・）の集合は一般に、各倍音成分の瞬時周波数の軌跡に対応する曲線群（図３（ｂ）参照）である。各々の曲線は一つの正弦波成分に対応する。
なお、瞬時周波数アトラクタ（ＩＦアトラクタ）に基づき音声信号を分析することにより瞬時周波数を求める方法は、「阿部　敏彦，　　小林　隆夫，　　今井　聖”ＩＦスペクトログラム：音声信号の時間周波数表現の一手法”社団法人　電子情報通信学会　信学技報　　ＳＰ９６−１２１　（１９９７−０２），　　ｐｐ４９−５４」に詳細に説明されている。
従って、アトラクタ上の瞬時周波数で駆動された正弦波を生成し、各々のアトラクタに関して和を取れば、音声を再合成することができる。
【００１０】
図１に示すように、入力音声信号ｘ（ｔ）に２種類の窓掛けをした後でＦＦＴを行う。短時間フーリエ変換など一般の時間−周波数分析においては分析窓ｗ（ｔ）が用いられるが、発明者らはｗ（ｔ）の時間導関数ｗ’（ｔ）＝ｄｗ（ｔ）／ｄｔも用いることにより、瞬時周波数の推定において通常用いられる差分による近似を用いずに、精度良く瞬時周波数を推定することができる。
各アトラクタ（ｉ＝１，２，３，・・・）は始点と終点を持つ個々の曲線（図３（ｂ）参照）となるので、ｉ番目のアトラクタ上の位相は、
【数７】

となる。ここでφ_ｉはアトラクタの始点ｔ＝ｓ_ｉにおけるＦ（λ_ｉ，ｓ_ｉ）の位相である。
アトラクタ上の瞬時周波数λ_ｉから、式（８）により位相を計算し、対応する正弦波成分を次式により再合成することができる。
【数８】

ただし、Ａ（ω_ｉ（ｔ））（Ａは振幅を表す）は瞬時周波数λ_ｉ（τ）に対応するスペクトル包絡振幅である。
【００１１】
また、瞬時周波数アトラクタ軌跡（軌道）の瞬時周波数λ_ｉと瞬時振幅Ａ（ω_ｉ）をパラメータとして用い情報圧縮して低ビットレートで符号化する。
ピッチ変換／話速変換部は、ピッチ変換、話速の変換を行う。
【数９】

とすることで、再生速度を保ったまま、ピッチを変えることができる。合成音声のピッチは、元音声のｃ_ｐ倍になる。また同時に求めたスペクトル包絡Ａ（ω_ｉ）を参照し、変更されたピッチの調波成分に対応する振幅を用いることで、ホルマントを変更せずにピッチを変えることができる。
【数１０】

このようにピッチ変換と話速変換を互いに独立に操作することが可能である。図４は、局所的時間軸伸縮、すなわち元の時間軸ｔを関数Ｐ_ｔ０（ｔ）により伸縮された時間軸ｕ_ｔ０に変換するための説明図である。
【００１２】
（音声合成法）
正弦波合成部における、正弦波合成のための、式（８）における位相θ_ｉ（ｔ）をディジタル信号処理によって推定する具体的な手順は以下のとおりである。
（１）各アトラクタの開始点の位相を初期値とする。
（２）開始点以外のアトラクタ上の点では瞬時周波数λ_ｉを数値積分することで位相を推定する。
（３）各フレームの開始点で元信号の位相を参照し、誤差を打ち消すように式（８）の瞬時周波数λ_ｉに補正を加える。
【００１３】
手順（３）の計算の詳細は、以下の通りである。フレーム番号ｍでは、瞬時周波数アトラクタの軌跡（軌道）（ω，ｔ）でｔ＝ｍＮにおいて得られた瞬時周波数をλ（ω，ｍＮ）とする。これよりフレーム内つまり０≦ｎ＜Ｎにおいて得られる位相の推定値を
【数１１】

とする。簡単のため添字ｉは省略する。ここで、推定した位相の誤差は、元信号の位相をθ（ｍＮ）として
【数１２】

となる。これを補正するように瞬時周波数の推定値を微小変化させ、
【数１３】

とする。こうすることで、現在のフレームの開始点での位相誤差は、フレーム内の区間全体に渡り線形に補正されることになり、位相の推定値は元信号の位相とほぼ一致するようになる。
【００１４】
合成では、ピッチ変換／話速変換部は、補正された瞬時周波数を必要に応じて、
【数１４】

【数１５】

また平行して求めたスペクトル包絡Ａ（ω）を参照し、振幅Ａ（ω_ｉ）求める。対応する振幅をｒ_ｉとすると、アトラクタｉに対応する正弦波合成波形は、
【数１６】

となる。
このままではアトラクタの端点において不連続を生じ、雑音が生じるので、幅２Ｎのバートレット窓（三角窓）
ｗ_ｂ（ｎ）＝ｎ／Ｎ，　　　　　　　　　　０≦ｎ≦Ｎ
ｗ_ｂ（ｎ）＝２−ｎ／Ｎ，　　　　　　Ｎ≦ｎ≦２Ｎ　　　　　　　（１５）
を掛けたあとで加算する。これによりアトラクタの端点での不連続が解消する。図５は、ＩＦアトラクタに対する時間軸伸縮の効果を示す図である。図５を参照すると、倍音周波数推定精度が向上していることが分かる。
【００１５】
本発明の音声分析合成装置は、ＣＰＵやメモリ等を有するコンピュータと、ユーザが利用する端末と、記録媒体とから構成される。記録媒体は、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録された音声分析合成プログラム、あるいは通信回線を介して伝送された音声分析合成プログラムはコンピュータに読み取られ、コンピュータ上に前述した構成要素を実現することができる。
【００１６】
【発明の効果】
以上説明したように、本発明は、音声信号の正弦波成分を瞬時周波数アトラクタとして抽出することにより、正弦波成分を精度良く抽出することができ、また抽出された瞬時周波数（すなわち正弦波成分）とスペクトル包絡により正弦波を駆動して音声を合成するので出力音声の音質を改善することができる。
【図面の簡単な説明】
【図１】本発明における、音声分析合成装置の構成例を示す図。
【図２】図１における、正弦波合成部の構成例を示す図。
【図３】アトラクタを説明するための図。
【図４】局所的時間軸伸縮を説明するための図。
【図５】ＩＦアトラクタに対する時間軸伸縮の効果を示す図。

Claims (20)

1. 音声信号の調波成分を瞬時周波数アトラクタとして抽出することにより正弦波成分に分解して瞬時周波数を推定する手順と、
   音声信号のスペクトル包絡を推定する手順と、
   瞬時周波数と音声信号のスペクトル包絡により正弦波を駆動して音声を合成する手順と、を備えたことを特徴とする音声分析合成方法。
2. 請求項１に記載の音声分析合成方法において、
   抽出した瞬時周波数アトラクタ軌道のパラメータを操作することにより、合成音声のピッチ又は話速を変更する手順を備えたことを特徴とする音声分析合成方法。
3. 請求項２に記載の音声分析合成方法において、
   合成音声のピッチ又は話速を変更する手順は、瞬時周波数を操作することにより、入力音声信号のピッチを変換して音声合成することを特徴とする音声分析合成方法。
4. 請求項１乃至３のいずれか１項に記載の音声分析合成方法において、
   抽出した瞬時周波数アトラクタ軌道の瞬時周波数とスペクトラム包絡から求めた瞬時振幅をパラメータとして用いることにより情報圧縮し低ビットレート符号化する手順を備えたことを特徴とする音声分析合成方法。
5. 請求項１乃至４の何れか１項に記載の音声分析合成方法において、
   音声を合成する手順は、分析フレームごとに瞬時周波数アトラクタ上の位相を参照し、瞬時周波数推定値に補正を加えることによりフレーム区間に渡り位相の推定精度を高める手順を有することを特徴とする音声分析合成方法。
6. 請求項５に記載の音声分析合成方法において、
   位相の推定精度を高める手順は、分析フレームごとに瞬時周波数の変化を打ち消すように時間軸を非線形伸縮し、瞬時周波数推定精度を高めることにより合成音声の品質を高めることを特徴とする音声分析合成方法。
7. 音声信号の調波成分を瞬時周波数アトラクタとして抽出することにより正弦波成分に分解して瞬時周波数を推定する瞬時周波数推定部と、
   音声信号のスペクトル包絡を推定するスペクトル包絡推定部と、
   瞬時周波数と音声信号のスペクトル包絡により正弦波を駆動して音声を合成する音声合成部と、を備えたことを特徴とする音声分析合成装置。
8. 請求項７に記載の音声分析合成装置において、
   音声合成部は、抽出した瞬時周波数アトラクタ軌道のパラメータを操作することにより、合成音声のピッチ又は話速を変更するピッチ変換／話速変換部を備えたことを特徴とする音声分析合成装置。
9. 請求項８に記載の音声分析合成装置において、
   ピッチ変換／話速変換部は、瞬時周波数を操作することにより、入力音声信号のピッチを変換して音声合成することを特徴とする音声分析合成装置。
10. 請求項７乃至９のいずれか１項に記載の音声分析合成装置において、
    抽出した瞬時周波数アトラクタ軌道の瞬時周波数と瞬時振幅をパラメータとして用いることにより情報圧縮し低ビットレート符号化する符号化部を備えたことを特徴とする音声分析合成装置。
11. 請求項７乃至１０の何れか１項に記載の音声分析合成装置において、
    音声合成部は、分析フレームごとに瞬時周波数アトラクタ上の位相を参照し、瞬時周波数推定値に補正を加えることによりフレーム区間に渡り位相の推定精度を高める手段を備えたことを特徴とする音声分析合成装置。
12. 請求項１１に記載の音声分析合成装置において、
    位相の推定精度を高める手段は、分析フレームごとに瞬時周波数の変化を打ち消すように時間軸を非線形伸縮し、瞬時周波数推定精度を高めることにより合成音声の品質を高める手段を有することを特徴とする音声分析合成装置。
13. 音声信号の調波成分を瞬時周波数アトラクタとして抽出することにより正弦波成分に分解して瞬時周波数を推定する処理と、
    音声信号のスペクトル包絡を推定する処理と、
    瞬時周波数と音声信号のスペクトル包絡により正弦波を駆動して音声を合成する処理と、をコンピュータに実行させる音声分析合成プログラム。
14. 請求項１３に記載の音声分析合成プログラムにおいて、
    音声を合成する処理は、抽出した瞬時周波数アトラクタ軌道のパラメータを操作することにより、合成音声のピッチ又は話速を変更する処理を有する音声分析合成プログラム。
15. 請求項１３又は１４に記載の音声分析合成プログラムにおいて、
    抽出した瞬時周波数アトラクタ軌道の瞬時周波数と瞬時振幅をパラメータとして用いることにより情報圧縮し低ビットレート符号化する処理を有する音声分析合成プログラム。
16. 請求項１３乃至１５の何れか１項に記載の音声分析合成プログラムにおいて、
    音声を合成する処理は、分析フレームごとに瞬時周波数アトラクタ上の位相を参照し、分析フレームごとに瞬時周波数の変化を打ち消すように時間軸を非線形伸縮し、瞬時周波数推定精度を高めることにより合成音声の品質を高める処理を有する音声分析合成プログラム。
17. 音声信号の調波成分を瞬時周波数アトラクタとして抽出することにより正弦波成分に分解して瞬時周波数を推定する処理と、
    音声信号のスペクトル包絡を推定する処理と、
    瞬時周波数と音声信号のスペクトル包絡により正弦波を駆動して音声を合成する処理と、をコンピュータに実行させる音声分析合成プログラムを記録した記録媒体。
18. 請求項１７に記載の音声分析合成プログラムを記録した記録媒体において、
    音声を合成する処理は、瞬時周波数アトラクタ軌道のパラメータを操作することにより、合成音声のピッチ又は話速を変更する処理を有する音声分析合成プログラムを記録した記録媒体。
19. 請求項１７又は１８に記載の音声分析合成プログラムを記録した記録媒体において、
    抽出した瞬時周波数アトラクタ軌道の瞬時周波数と瞬時振幅をパラメータとして用いることにより情報圧縮し低ビットレート符号化する処理を有する音声分析合成プログラムを記録した記録媒体。
20. 請求項１７乃至１９の何れか１項に記載の音声分析合成プログラムを記録した記録媒体において、
    音声を合成する処理は、分析フレームごとに瞬時周波数アトラクタ上の位相を参照し、分析フレームごとに瞬時周波数の変化を打ち消すように時間軸を非線形伸縮し、瞬時周波数推定精度を高めることにより合成音声の品質を高める処理を有する音声分析合成プログラムを記録した記録媒体。

Images