JP2011247921A - 信号合成方法、信号合成装置及びプログラム - Google Patents
信号合成方法、信号合成装置及びプログラム Download PDFInfo
- Publication number
- JP2011247921A JP2011247921A JP2010117960A JP2010117960A JP2011247921A JP 2011247921 A JP2011247921 A JP 2011247921A JP 2010117960 A JP2010117960 A JP 2010117960A JP 2010117960 A JP2010117960 A JP 2010117960A JP 2011247921 A JP2011247921 A JP 2011247921A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency
- periodic
- time
- fundamental frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】特徴量から高速かつ高精度に時系列信号を合成する。
【解決手段】時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が基本周波数の整数倍である複数の正弦波の重畳によって、基本周波数と周期特徴量とに対応する時間領域の第１信号を生成し、時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号を生成し、第１信号と第２信号との和を合成信号とする。
【選択図】図１
【解決手段】時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が基本周波数の整数倍である複数の正弦波の重畳によって、基本周波数と周期特徴量とに対応する時間領域の第１信号を生成し、時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号を生成し、第１信号と第２信号との和を合成信号とする。
【選択図】図１
Description
本発明は、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から時系列信号を合成する技術に関する。
近年、音声信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から高品質な音声信号を合成する技術が提案されており、従来の線形予測に基づくVocoderと比較して肉声に近い音声の合成が可能となってきている。例えば、STRAIGHT分析合成方式（例えば、非特許文献１参照）は代表的な高品質分析合成法であり、音声合成や聴覚実験等多くの分野で使用されている。また一方で正弦波重畳に基づく分析合成方法（正弦波重畳方式）も高品質な音声合成方式として有用であり、基本周波数の制御の自由度が高いことから歌唱音声合成やテキスト音声合成などの分野で利用されている。本方式では例えばHMN分析合成方式（例えば、非特許文献２参照）が近年実用的に利用されている代表的な例としてあげられる。
Hideki Kawahara, "STRAIGHT, exploitation of the other aspect of VOCODER : Perceptually isomorphic decomposition of speech sounds", Acoustic Science and Technology, Vol.27, No.6, pp.349-353, 2006
Laroche, J. Stylianou, Y. Moulines, E., "HNS: Speech modification based on a harmonic + noise model," in Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing’93, Minneapolis, MN, Apr. 1993, pp.550-553
しかし、上記の従来技術には以下のような課題がある。
まず、STRAIGHT分析合成方式の課題は合成処理にかかる処理量の多さである。STRAIGHTでは周期成分と非周期成分を独立に合成しそれを有声音では１ピッチ周期単位、無声音では決められた一定周期単位で、周期成分と非周期成分重ね合わせることで音声波形を生成する。その際周期成分、非周期成分ともに高次元のスペクトル特徴量から有声音では１周期毎、無声音では１フレーム単位で音声を合成し重ねわせている。これらの処理は周期成分の周波数に合わせた郡遅延の制御やスペクトル領域でのフィルタ処理など非常に複雑な処理の組み合わせにより実現されているため処理速度が極めて遅い。
次に、正弦波重畳方式の課題は合成処理で得られる信号の品質である。正弦波重畳方式では、分析処理時に得られた単純な白色性の残差を合成処理時の非周期成分として用いている。しかしながら、実際の音声では、非特許文献１でも示されている通り非周期成分であってもスペクトル特性を有している。そのため、実際の合成処理時において、分析処理に得られた単純な白色性の残差を非周期成分として周期成分と混合したのでは得られる合成信号の品質が劣化する。また、テキスト音声合成において応用する場合には音声合成時に分析時とは異なる基本周波数で合成することになるため、分析時に得られた残差成分をそのまま非周期成分として用いると合成信号の品質が劣化する。
なお、これらの課題は音声合成の場合に限定されるものではなく、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から時系列信号を合成する場合一般に共通するものである。
本発明はこのような点に鑑みてなされたものであり、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から高速かつ高精度に時系列信号を合成する技術を提供することを目的とする。
本発明では上記課題を解決するために、時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が基本周波数の整数倍である複数の正弦波の重畳によって、基本周波数と周期特徴量とに対応する時間領域の第１信号を生成し、時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号を生成し、第１信号と第２信号との和を合成信号とする。
ここで、周期成分に対応する第１信号は周波数が基本周波数の整数倍である複数の正弦波の重畳によって生成されるため、その生成のための演算量が少ない。また、非周期成分に対応する第２信号は複数の正弦波の重畳によって生成されるため、白色性の残差を用いて非周期成分を生成する場合に比べて合成信号の品質がよい。
以上のように本発明では、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から高速かつ高精度に時系列信号を合成することができる。
以下、図面を参照して本発明の実施形態を説明する。
〔原理〕
まず、本形態の原理を説明する。
まず、本形態の原理を説明する。
本形態では、時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が基本周波数の整数倍である複数の正弦波の重畳によって、基本周波数と周期特徴量とに対応する時間領域の第１信号を生成し、時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号を生成し、第１信号と第２信号との和を合成信号とする。ここで、本形態の時系列信号は、周期的成分と非周期的成分とを含み得る時系列の信号であり、その例は、音声信号、音響信号、映像情報、生体信号、地震波信号などである。また、本形態の第１信号は、基本周波数の整数倍である各周波数での周期特徴量の振幅スペクトルと当該基本周波数の整数倍である各周波数の正弦波との各積の和に対応する信号である。また、本形態の第２信号は、任意の各周波数での非周期特徴量の振幅スペクトルと当該任意の各周波数の正弦波との各積の和に対応する信号である。また、本形態の基本周波数は、周波数スペクトルから独立に定められた値である。
本形態では、周波数が基本周波数の整数倍である複数の正弦波の重畳によって周期成分に対応する第１信号が生成されるため、その生成のための演算量が少ない。同様に、複数の正弦波の重畳によって非周期成分に対応する第２信号が生成されるため、その生成のための演算量が少ない。また、複数の正弦波の重畳によって非周期成分に対応する第２信号が生成されるため、白色性の残差を用いて非周期成分を生成する場合に比べて合成信号の品質がよい。よって、本形態では、上述の周期特徴量や非周期特徴量から高速かつ高精度に時系列信号を合成することができる。
以下に周期特徴量や非周期特徴量から時系列信号を合成する方法の例を説明する。以下の例では、時系列信号の周波数スペクトルに対するスペクトル包絡を「スペクトル特徴量」とし、時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡を「周期特徴量」とし、時系列信号の非周期成分の周波数スペクトルに対するスペクトル包絡を「非周期特徴量」とする。
＜周期特徴量から時系列信号の周期成分（第１信号）を計算する方法＞
図７の破線のグラフは時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡（周期特徴量）を例示し、実線のグラフは時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡（周期特徴量）を例示する。また、図８の実線のグラフは周期特徴量を例示し、白丸は選択された基本周波数の整数倍での周期特徴量を例示する。なお、図７及び図８の横軸は、離散周波数0,fs/L,…,fs（L-1）/Lに対するサンプル点0,1,...,（L-1）/Lを表す（周波数サンプル点）。ここで、fsはサンプリング周波数を表し、Lは周波数窓幅である正整数（スペクトル特徴量の次数）であり、図７の例ではL=512である。また、図７及び図８の縦軸は振幅スペクトルを表す。
図７の破線のグラフは時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡（周期特徴量）を例示し、実線のグラフは時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡（周期特徴量）を例示する。また、図８の実線のグラフは周期特徴量を例示し、白丸は選択された基本周波数の整数倍での周期特徴量を例示する。なお、図７及び図８の横軸は、離散周波数0,fs/L,…,fs（L-1）/Lに対するサンプル点0,1,...,（L-1）/Lを表す（周波数サンプル点）。ここで、fsはサンプリング周波数を表し、Lは周波数窓幅である正整数（スペクトル特徴量の次数）であり、図７の例ではL=512である。また、図７及び図８の縦軸は振幅スペクトルを表す。
本形態では、任意に選択された基本周波数を持つ時系列信号の周期成分（第１信号）を周期特徴量から合成する。このような第１信号は、任意に選択された基本周波数の整数倍の周波数を有する周期特徴量の高調波成分の総和で表現可能である。なお、「周期特徴量の高調波成分」とは、基本周波数の整数倍の周波数における周期特徴量の振幅スペクトルと当該基本周波数の整数倍での周波数の正弦波との積を意味する。具体的には、離散時間t(i) (iは整数)における第１信号Sp(t(i))は、例えば以下のように表現可能である。
Sp(t(i))=Σk=1 N Ak(t(i))・sin(2π・k・f0(t(i))・t(i))
=Σk=1 N Ak(t(i))・sin(2π・k・f0(t(i))・(t(i-1)+Δt))
=Σk=1 N Ak(t(i))・sin(θk,t(i)+ωk,t(i)) …(1)
ただし、離散時間t(i)での選択された基本周波数をf0(t(i))と表し、離散時間t(i)に対応する各周波数k・f0(t(i))での周期特徴量の振幅スペクトル（高調波成分の振幅）をAk(t(i))と表し（図８参照）、離散時間t(i)よりも１離散時間過去の離散時間をt(i-1)と表し、離散時間t(i-1)と離散時間t(i)との差分（１離散時間間の時間差分）を定数Δtとし、θk,t(i)=2π・k・f0(t(i))・t(i-1)とし、ωk,t(i)=2π・k・f0(t(i))・Δtとし、Nを正整数とし、kを１以上N以下の整数とする。また、Nの例はシステムに許容された帯域幅をBWとした場合におけるBW/f0(t(i))以下の正整数である。従って概念的には図９で例示するような正弦波の重ね合わせで周期成分（第１信号）が生成できる。
=Σk=1 N Ak(t(i))・sin(2π・k・f0(t(i))・(t(i-1)+Δt))
=Σk=1 N Ak(t(i))・sin(θk,t(i)+ωk,t(i)) …(1)
ただし、離散時間t(i)での選択された基本周波数をf0(t(i))と表し、離散時間t(i)に対応する各周波数k・f0(t(i))での周期特徴量の振幅スペクトル（高調波成分の振幅）をAk(t(i))と表し（図８参照）、離散時間t(i)よりも１離散時間過去の離散時間をt(i-1)と表し、離散時間t(i-1)と離散時間t(i)との差分（１離散時間間の時間差分）を定数Δtとし、θk,t(i)=2π・k・f0(t(i))・t(i-1)とし、ωk,t(i)=2π・k・f0(t(i))・Δtとし、Nを正整数とし、kを１以上N以下の整数とする。また、Nの例はシステムに許容された帯域幅をBWとした場合におけるBW/f0(t(i))以下の正整数である。従って概念的には図９で例示するような正弦波の重ね合わせで周期成分（第１信号）が生成できる。
ここで計算処理における問題はsin関数の計算時間である。計算を高速化するための一般的な方法として、テーブル化のような方法で三角関数の値を予め求めておき、それを用いた近似計算によって必要なsin関数の値を求める方法等がある。しかしながら、本形態のように基本周波数が任意の値に変更されることや離散時間t(i)の値が非常に大きくなることを考えると、近似計算を行うと誤差が大きくなり、生成される信号に歪が生じることになる。そこで、本形態では、以下のような方法で精度を保ったまま高速計算を行う。
まず、本形態では、或る時間区間内では基本周波数が一定であると仮定する。例えば、有声音などの時系列信号では基本周期（基本周波数の逆数）単位で基本周波数が更新され、基本周期内では基本周波数が一定であると仮定する。
ここで、上記の式(1)のsin(θk,t(i)+ωk,t(i))は以下のように展開できる。
sin(θk,t(i)+ωk,t(i))=sin(θk,t(i))・cos(ωk,t(i))+cos(θk,t(i))・sin(ωk,t(i)) …(2)
cos(θk,t(i)+ωk,t(i))=cos(θk,t(i))・cos(ωk,t(i))-sin(θk,t(i))・sin(ωk,t(i)) …(3)
また、αk,t(i)=sin(θk,t(i)+ωk,t(i))とし、βk,t(i)=cos(θk,t(i)+ωk,t(i))とし、δs k,t(i)=sin(ωk,t(i))とし、δc k,t(i)=cos(ωk,t(i))とする。ここで、
αk,t(i-1)=sin(θk,t(i-1)+ωk,t(i-1))=sin(θk,t(i)) …(4)
βk,t(i-1)=cos(θk,t(i-1)+ωk,t(i-1))=cos(θk,t(i)) …(5)
となるため、式(2)(3)は以下のように変形できる。
cos(θk,t(i)+ωk,t(i))=cos(θk,t(i))・cos(ωk,t(i))-sin(θk,t(i))・sin(ωk,t(i)) …(3)
また、αk,t(i)=sin(θk,t(i)+ωk,t(i))とし、βk,t(i)=cos(θk,t(i)+ωk,t(i))とし、δs k,t(i)=sin(ωk,t(i))とし、δc k,t(i)=cos(ωk,t(i))とする。ここで、
αk,t(i-1)=sin(θk,t(i-1)+ωk,t(i-1))=sin(θk,t(i)) …(4)
βk,t(i-1)=cos(θk,t(i-1)+ωk,t(i-1))=cos(θk,t(i)) …(5)
となるため、式(2)(3)は以下のように変形できる。
αk,t(i)=αk,t(i-1)・δc k,t(i)+βt(i-1)・δs k,t(i) …(6)
βk,t(i)=βk,t(i-1)・δc k,t(i)-αt(i-1)・δs k,t(i) …(7)
離散時間t(i-1),t(i)を含む時間区間で基本周波数が一定であってf0(t(i-1))=f0(t(i))である場合、δc k,t(i-1)=δc k,t(i)かつδs k,t(i-1)=δs k,t(i)となり、この時間区間内（基本周期内等）においてδc k,t(i)及びδs k,t(i)は定数とみなせ、式(6)(7)は固定係数の単純な漸化式となり、高速に計算可能となる。そして、式(6)で得られたαk,t(i)を用いて
Sp(t(i))=Σk=1 N Ak(t(i))・αk,t(i) …(8)
によって離散時間t(i)での第１信号Sp(t(i))を計算できる。
βk,t(i)=βk,t(i-1)・δc k,t(i)-αt(i-1)・δs k,t(i) …(7)
離散時間t(i-1),t(i)を含む時間区間で基本周波数が一定であってf0(t(i-1))=f0(t(i))である場合、δc k,t(i-1)=δc k,t(i)かつδs k,t(i-1)=δs k,t(i)となり、この時間区間内（基本周期内等）においてδc k,t(i)及びδs k,t(i)は定数とみなせ、式(6)(7)は固定係数の単純な漸化式となり、高速に計算可能となる。そして、式(6)で得られたαk,t(i)を用いて
Sp(t(i))=Σk=1 N Ak(t(i))・αk,t(i) …(8)
によって離散時間t(i)での第１信号Sp(t(i))を計算できる。
＜非周期特徴量から時系列信号の非周期成分（第２信号）を計算する方法＞
図１０の破線のグラフは、図７と同じ周期特徴量を例示し、実線のグラフは、時系列信号の非周期成分の周波数スペクトルに対するスペクトル包絡（非周期特徴量）を例示する。また、図１１の実線のグラフは非周期特徴量を例示し、白丸は選択された各離散周波数0,fs/L,…,fs（L-1）/Lでの非周期特徴量を例示する。なお、図１０及び図１１の横軸は、離散周波数0,fs/L,…,fs（L-1）/Lに対するサンプル点0,1,...,（L-1）/Lを表す（周波数サンプル点）。ここで、図１０の例ではL=512である。また、図１０及び図１１の縦軸は振幅スペクトルを表す。
図１０の破線のグラフは、図７と同じ周期特徴量を例示し、実線のグラフは、時系列信号の非周期成分の周波数スペクトルに対するスペクトル包絡（非周期特徴量）を例示する。また、図１１の実線のグラフは非周期特徴量を例示し、白丸は選択された各離散周波数0,fs/L,…,fs（L-1）/Lでの非周期特徴量を例示する。なお、図１０及び図１１の横軸は、離散周波数0,fs/L,…,fs（L-1）/Lに対するサンプル点0,1,...,（L-1）/Lを表す（周波数サンプル点）。ここで、図１０の例ではL=512である。また、図１０及び図１１の縦軸は振幅スペクトルを表す。
本形態では、非周期特徴量から時系列信号の非周期成分（第２信号）を合成する。このような第２信号は、非周期特徴量の基底周波数fb=fs/Lに対する高調波成分の総和で表現可能である。なお、「非周期特徴量の基底周波数fb=fs/Lに対する高調波成分」とは、基底周波数fbの整数倍の周波数での非周期特徴量の振幅スペクトルと当該周波数の正弦波との積を意味する。具体的には、離散時間t(i)における第２信号Sa(t(i))は、例えば以下のように表現可能である。
Sa(t(i))=Σm=1 M Bm(t(i))・sin(2π・m・fb・t(i))
=Σm=1 M Bm(t(i))・sin(2π・m・fb・(t(i-1)+Δt))
=Σm=1 M Bm(t(i))・sin(θm,t(i)+ωm) …(9)
ただし、離散時間t(i)に対応する各周波数m・fbでの周期特徴量の振幅スペクトルをBm(t(i))と表し（図１１参照）、θm,t(i)=2π・m・fb・t(i-1)とし、ωm=2π・m・fb・Δtとし、MをM≦Lを満たす正整数（定数）とし、mを１以上M以下の整数とする。なお、サンプリング周波数fs及びスペクトル特徴量の次数Lは一定であるため、基底周波数fb=fs/Lも一定値となる。
=Σm=1 M Bm(t(i))・sin(2π・m・fb・(t(i-1)+Δt))
=Σm=1 M Bm(t(i))・sin(θm,t(i)+ωm) …(9)
ただし、離散時間t(i)に対応する各周波数m・fbでの周期特徴量の振幅スペクトルをBm(t(i))と表し（図１１参照）、θm,t(i)=2π・m・fb・t(i-1)とし、ωm=2π・m・fb・Δtとし、MをM≦Lを満たす正整数（定数）とし、mを１以上M以下の整数とする。なお、サンプリング周波数fs及びスペクトル特徴量の次数Lは一定であるため、基底周波数fb=fs/Lも一定値となる。
ここで、周期成分と同様、非周期成分の計算処理における問題はsin関数の計算時間である。本形態では、以下のような方法で精度を保ったまま高速計算を行う。
ここで、上記の式(9)のsin(θm,t(i)+ωm)は以下のように展開できる。
sin(θm,t(i)+ωm)=sin(θm,t(i))・cos(ωm)+cos(θm,t(i))・sin(ωm) …(10)
cos(θm,t(i)+ωm)=cos(θm,t(i))・cos(ωm)-sin(θm)・sin(ωm) …(11)
また、γm,t(i)=sin(θm,t(i)+ωm)とし、ηm,t(i)=cos(θm,t(i)+ωm)とし、εs m=sin(ωm)とし、εc m=cos(ωm)とする。ここで、
γm,t(i-1)=sin(θm,t(i-1)+ωm)=sin(θm,t(i)) …(12)
ηm,t(i-1)=cos(θm,t(i-1)+ωm)=cos(θm,t(i)) …(13)
となるため、式(10)(11)は以下のように変形できる。
cos(θm,t(i)+ωm)=cos(θm,t(i))・cos(ωm)-sin(θm)・sin(ωm) …(11)
また、γm,t(i)=sin(θm,t(i)+ωm)とし、ηm,t(i)=cos(θm,t(i)+ωm)とし、εs m=sin(ωm)とし、εc m=cos(ωm)とする。ここで、
γm,t(i-1)=sin(θm,t(i-1)+ωm)=sin(θm,t(i)) …(12)
ηm,t(i-1)=cos(θm,t(i-1)+ωm)=cos(θm,t(i)) …(13)
となるため、式(10)(11)は以下のように変形できる。
γm,t(i)=γm,t(i-1)・εc m+ηt(i-1)・εs m …(14)
ηm,t(i)=ηm,t(i-1)・εc m-γt(i-1)・εs m …(15)
ここで、基底周波数fbは一定であるためωmは一定となりεs m及びεc mも一定となる。よって、εs m及びεc mは定数とみなせ、式(14)(15)は固定係数の単純な漸化式となり、高速に計算可能となる。そして、式(14)で得られたγm,t(i)を用いて
Sa(t(i))=Σm=1 M Bm(t(i))・γm,t(i) …(16)
によって離散時間t(i)での第２信号Sa(t(i))を計算できる。
ηm,t(i)=ηm,t(i-1)・εc m-γt(i-1)・εs m …(15)
ここで、基底周波数fbは一定であるためωmは一定となりεs m及びεc mも一定となる。よって、εs m及びεc mは定数とみなせ、式(14)(15)は固定係数の単純な漸化式となり、高速に計算可能となる。そして、式(14)で得られたγm,t(i)を用いて
Sa(t(i))=Σm=1 M Bm(t(i))・γm,t(i) …(16)
によって離散時間t(i)での第２信号Sa(t(i))を計算できる。
＜周期成分（第１信号）と非周期成分（第２信号）とから合成信号を生成する方法＞
以上のように得られた離散時間t(i)での第１信号Sp(t(i))と第２信号Sa(t(i))とを用い、以下のようにSp(t(i))とSa(t(i))との和を離散時間t(i)での合成信号S(t(i))とする。
S(t(i))=Sp(t(i))+Sa(t(i)) …(17)
以上のように得られた離散時間t(i)での第１信号Sp(t(i))と第２信号Sa(t(i))とを用い、以下のようにSp(t(i))とSa(t(i))との和を離散時間t(i)での合成信号S(t(i))とする。
S(t(i))=Sp(t(i))+Sa(t(i)) …(17)
〔第１実施形態〕
次に、本発明の第１実施形態を説明する。なお、以下では、時系列信号が音声信号である場合を例示する。
次に、本発明の第１実施形態を説明する。なお、以下では、時系列信号が音声信号である場合を例示する。
＜構成＞
図１に例示するように、第１実施形態の信号合成装置１は、記憶部１１と制御部１２と基本周波数入力部１３と信号入力部１４と分析部１５と周期成分合成部１６と非周期成分合成部１７と信号加算部１８とを有する。図２に例示するように、本形態の周期成分合成部１６は、判定部１６１と計算部１６２〜１６４と漸化式計算部１６５と抽出部１６６とN設定部１６７と重畳部１６８と記憶部１６９とを有する。図３に例示するように、本形態の非周期成分合成部１７は、判定部１７１と計算部１７２，１７３と漸化式計算部１７５と抽出部１７６と重畳部１７８と記憶部１７９とを有する。
図１に例示するように、第１実施形態の信号合成装置１は、記憶部１１と制御部１２と基本周波数入力部１３と信号入力部１４と分析部１５と周期成分合成部１６と非周期成分合成部１７と信号加算部１８とを有する。図２に例示するように、本形態の周期成分合成部１６は、判定部１６１と計算部１６２〜１６４と漸化式計算部１６５と抽出部１６６とN設定部１６７と重畳部１６８と記憶部１６９とを有する。図３に例示するように、本形態の非周期成分合成部１７は、判定部１７１と計算部１７２，１７３と漸化式計算部１７５と抽出部１７６と重畳部１７８と記憶部１７９とを有する。
なお、信号合成装置１は、例えば、CPU(central processing unit)、RAM(random-access memory)、ROM(read-only memory)などを有する公知又は専用コンピュータと特別なプログラムとから構成される。すなわち、記憶部１１，１６９，１７９は、例えば、RAM、レジスタ、キャッシュメモリ、ハードディスクやそれらを結合した記憶領域である。また、制御部１２、分析部１５、周期成分合成部１６、非周期成分合成部１７、及び信号加算部１８は、例えば、特別なプログラムが読み込まれたCPUやメモリからなる処理部である。また、基本周波数入力部１３や信号入力部１４は、例えば、特別なプログラムが読み込まれたCPUやメモリや入力ポートなどからなる入力インタフェースである。なお、上記の特別なプログラムは、単一のプログラム列として構成されていてもよく、また、特別なプログラムの少なくとも一部が別個のモジュールとしてライブラリに格納されていてもよい。また、上記の特別なプログラム単体で本形態の機能を実現できるものでもよいし、上記の特別なプログラムがさらに他のライブラリ（記載していない）を読み出して各機能を実現してもよい。また、処理部の少なくとも一部が集積回路によって構成されていてもよい。また、信号合成装置１は、制御部１２の制御のもと各処理を実行する。また、以下では説明を省略するが、各処理部が生成した各データは必要に応じて記憶部１１に格納され、必要に応じてそれを必要とする処理部に読み出されて利用される。
＜処理＞
以下では、離散時間t(i)での処理を説明する。同様な処理が各離散時間t(i)で実行される。
以下では、離散時間t(i)での処理を説明する。同様な処理が各離散時間t(i)で実行される。
まず、離散時間t(i)において、時系列信号である音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が信号入力部１４に入力される（図４／ステップＳ１１）。音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)は分析部１５に入力され、分析部１５は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)を分析することで、離散時間t(i)における各離散周波数m'・fb(m'=0,...,(L-1)/L)でのスペクトル特徴量Sf(t(i),m')と、スペクトル特徴量Sf(t(i),m')に対する周期特徴量の比率を表す周期成分情報p(t(i),m')と、スペクトル特徴量Sf(t(i),m')に対する非周期特徴量の比率を表す非周期成分情報n(t(i),m')を生成して出力する。なお、分析部１５で行われる分析方法に限定はなく、公知のどのような方法を用いてもよい。例えば、この分析方法としてはSTRAIGHT分析合成方式（例えば、非特許文献１参照）が代表的な例だが、他にも参考文献「B. Yegnanarayana,. Senior Member, IEEE,. Christophe d'Alessandro,. Member, IEEE, and Vassilis Darsinos, "An Iterative Algorithm for Decomposition of Speech Signals into Periodic and Aperiodic Components", IEEE Trans. On Speech and Audio Processing, Vol 6, No.1, pp.1-11, 1998」に記載された方法が用いられてもよい。
スペクトル特徴量Sf(t(i),m')と周期特徴量の比率を表す周期成分情報p(t(i),m')とは周期成分合成部１６に入力される。周期成分合成部１６は、スペクトル特徴量Sf(t(i),m')と周期成分情報p(t(i),m')とから特定される周期特徴量と、基本周波数入力部１３から入力された任意に選択された基本周波数f(t(i))とを用い、それぞれの周波数が基本周波数f(t(i))の整数倍である複数の正弦波の重畳によって、基本周波数f(t(i))と周期特徴量とに対応する時間領域の第１信号Sp(t(i))を生成する（ステップＳ１３）。以下にステップＳ１３の具体例を示す。
［ステップＳ１３の具体例（図５）］
まず、周期成分合成部１６の判定部１６１（図２）が、基本周波数f(t(i))が１離散時間前の基本周波数f(t(i-1))から変更されたか否かを判定する（ステップＳ１３１）。本形態では、所定の時間区間（例えば、基本周期）ごとに選択された基本周波数f(t(i-1))が基本周波数入力部１３に入力されるものとする。
まず、周期成分合成部１６の判定部１６１（図２）が、基本周波数f(t(i))が１離散時間前の基本周波数f(t(i-1))から変更されたか否かを判定する（ステップＳ１３１）。本形態では、所定の時間区間（例えば、基本周期）ごとに選択された基本周波数f(t(i-1))が基本周波数入力部１３に入力されるものとする。
ここで、基本周波数f(t(i))が１離散時間前の基本周波数f(t(i-1))から変更された場合（離散時間t(i)が初期時間である場合、又は、基本周波数入力部１３に新たな基本周波数f(t(i))が入力された場合）、判定部１６１は、計算部１６２〜１６４に指示を与え、以下のステップＳ１３２ａ〜Ｓ１３２ｄの処理を実行させる。
まず、N設定部１６７に基本周波数f(t(i))が入力され、N設定部１６７は基本周波数f(t(i))に対応する正整数Nを設定して出力する。例えば、N設定部１６７はBW/f0(t(i))（BWは固定された帯域幅）以下の最大の整数をNとする（ステップＳ１３２ａ）。次に、計算部１６２に基本周波数f(t(i))が入力され、計算部１６２がk=1,...,Nについて
θk,t(i)=2π・k・f0(t(i))・t(i-1) …(18)
ωk,t(i)=2π・k・f0(t(i))・Δt …(19)
を計算して出力する（ステップＳ１３２ｂ）。ωk,t(i)は計算部１６４に入力され、計算部１６４がk=1,...,Nについて
δs k,t(i)=sin(ωk,t(i)) …(20)
δc k,t(i)=cos(ωk,t(i)) …(21)
を計算し、得られたδs k,t(i)及びδc k,t(i)を記憶部１６９に格納する（ステップＳ１３２ｃ）。また、計算部１６２から出力されたθk,t(i)とωk,t(i)は計算部１６３に入力され、計算部１６３がk=1,...,Nについて
αk,t(i)=sin(θk,t(i)+ωk,t(i)) …(22)
βk,t(i)=cos(θk,t(i)+ωk,t(i)) …(23)
を計算し、得られたαk,t(i)及びβk,t(i)を記憶部１６９に格納し（ステップＳ１３２ｄ）、ステップＳ１３４に進む。
θk,t(i)=2π・k・f0(t(i))・t(i-1) …(18)
ωk,t(i)=2π・k・f0(t(i))・Δt …(19)
を計算して出力する（ステップＳ１３２ｂ）。ωk,t(i)は計算部１６４に入力され、計算部１６４がk=1,...,Nについて
δs k,t(i)=sin(ωk,t(i)) …(20)
δc k,t(i)=cos(ωk,t(i)) …(21)
を計算し、得られたδs k,t(i)及びδc k,t(i)を記憶部１６９に格納する（ステップＳ１３２ｃ）。また、計算部１６２から出力されたθk,t(i)とωk,t(i)は計算部１６３に入力され、計算部１６３がk=1,...,Nについて
αk,t(i)=sin(θk,t(i)+ωk,t(i)) …(22)
βk,t(i)=cos(θk,t(i)+ωk,t(i)) …(23)
を計算し、得られたαk,t(i)及びβk,t(i)を記憶部１６９に格納し（ステップＳ１３２ｄ）、ステップＳ１３４に進む。
一方、ステップＳ１３１で、基本周波数f(t(i))が１離散時間前の基本周波数f(t(i-1))から変更されていないと判定された場合、判定部１６１は漸化式計算部１６５に指示を与える。これを受けた漸化式計算部１６５は、記憶部１６９からαk,t(i-1)とβk,t(i-1)とδs k,t(i-1)とδc k,t(i-1)とを読み出し、δs k,t(i)=δs k,t(i-1)とδc k,t(i)=δc k,t(i-1)として、各k (k=1,...,N)に対してそれぞれ、
αk,t(i)=αk,t(i-1)・δc k,t(i)+βt(i-1)・δs k,t(i) …(24)
βk,t(i)=βk,t(i-1)・δc k,t(i)-αt(i-1)・δs k,t(i) …(25)
を計算し、得られたαk,t(i)，βk,t(i),δs k,t(i)及びδc k,t(i)を記憶部１６９に格納し（ステップＳ１３３）、ステップＳ１３４に進む。
αk,t(i)=αk,t(i-1)・δc k,t(i)+βt(i-1)・δs k,t(i) …(24)
βk,t(i)=βk,t(i-1)・δc k,t(i)-αt(i-1)・δs k,t(i) …(25)
を計算し、得られたαk,t(i)，βk,t(i),δs k,t(i)及びδc k,t(i)を記憶部１６９に格納し（ステップＳ１３３）、ステップＳ１３４に進む。
ステップＳ１３４では、スペクトル特徴量Sf(t(i),m')と周期成分情報p(t(i),m')と基本周波数f(t(i))とが抽出部１６６に入力される。抽出部１６６は、これらを用いてk=1,...,Nに対応する各周波数k・f0(t(i))での周期特徴量の振幅スペクトルAk(t(i))を抽出して出力する（ステップＳ１３４）。各振幅スペクトルAk(t(i))は重畳部１６８に入力される。重畳部１６８はさらに記憶部１６９からαk,t(i)を読み出し、Ak(t(i))及びαk,t(i) (k=1,...,N)を用い、第１信号
Sp(t(i))=Σk=1 N Ak(t(i))・αk,t(i) …(26)
を計算して出力する（ステップＳ１３５／［ステップＳ１３の具体例］の説明終わり）。
Sp(t(i))=Σk=1 N Ak(t(i))・αk,t(i) …(26)
を計算して出力する（ステップＳ１３５／［ステップＳ１３の具体例］の説明終わり）。
また、スペクトル特徴量Sf(t(i),m')と非周期特徴量の比率を表す非周期成分情報n(t(i),m')とが非周期成分合成部１７（図１）に入力される。非周期成分合成部１７は、スペクトル特徴量Sf(t(i),m')と非周期成分情報n(t(i),m')とから特定される非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号Sa(t(i))を生成する（図４／ステップＳ１４）。以下にステップＳ１４の具体例を示す。
［ステップＳ１４の具体例（図６）］
まず、非周期成分合成部１７の判定部１７１（図３）が、離散時間t(i)が初期時間であるか否かを判定する（ステップＳ１４１）。
まず、非周期成分合成部１７の判定部１７１（図３）が、離散時間t(i)が初期時間であるか否かを判定する（ステップＳ１４１）。
ここで、離散時間t(i)が初期時間であると判定された場合、判定部１７１は、計算部１７２及び１７３に指示を与え、以下のステップＳ１４２ａ及びＳ１４２ｂの処理を実行させる。
まず、計算部１７２が
θm,t(i)=2π・m・fb・t(i-1) …(27)
を計算して出力する（ステップＳ１４２ａ）。θm,t(i)は計算部１７３に入力され、計算部１７３がm=1,...,M（MはM≦Lを満たす定数）について
γm,t(i)=sin(θm,t(i)+ωm) …(28)
ηm,t(i)=cos(θm,t(i)+ωm) …(29)
を計算し、得られたγm,t(i)及びηm,t(i)を記憶部１７９に格納し（ステップＳ１４２ｂ）、ステップＳ１４４に進む。
θm,t(i)=2π・m・fb・t(i-1) …(27)
を計算して出力する（ステップＳ１４２ａ）。θm,t(i)は計算部１７３に入力され、計算部１７３がm=1,...,M（MはM≦Lを満たす定数）について
γm,t(i)=sin(θm,t(i)+ωm) …(28)
ηm,t(i)=cos(θm,t(i)+ωm) …(29)
を計算し、得られたγm,t(i)及びηm,t(i)を記憶部１７９に格納し（ステップＳ１４２ｂ）、ステップＳ１４４に進む。
一方、ステップＳ１４１で、離散時間t(i)が初期時間でないと判定された場合、判定部１７１は漸化式計算部１７５に指示を与える。これを受けた漸化式計算部１７５は、記憶部１７９からγm,t(i)とηm,t(i)とを読み出し、各m (m=1,...,M)に対してそれぞれ、
γm,t(i)=γm,t(i-1)・εc m+ηt(i-1)・εs m …(30)
ηm,t(i)=ηm,t(i-1)・εc m-γt(i-1)・εs m …(31)
を計算する。なお、前述のようにεs m及びεc mは定数となる。得られたγm,t(i)及びηm,t(i)は記憶部１７９に格納され（ステップＳ１４３）、ステップＳ１４４に進む。
γm,t(i)=γm,t(i-1)・εc m+ηt(i-1)・εs m …(30)
ηm,t(i)=ηm,t(i-1)・εc m-γt(i-1)・εs m …(31)
を計算する。なお、前述のようにεs m及びεc mは定数となる。得られたγm,t(i)及びηm,t(i)は記憶部１７９に格納され（ステップＳ１４３）、ステップＳ１４４に進む。
ステップＳ１４４では、スペクトル特徴量Sf(t(i),m')と非周期成分情報n(t(i),m')とが抽出部１７６に入力される。抽出部１７６は、これらを用いてm=1,...,Mに対応する各周波数m・fbでの周期特徴量の振幅スペクトルBm(t(i))を抽出して出力する（ステップＳ１４４）。各振幅スペクトルBm(t(i))は重畳部１７８に入力される。重畳部１７８はさらに記憶部１７９からγm,t(i)を読み出し、Bm(t(i))及びγm,t(i) (m=1,...,M)を用い、第２信号
Sa(t(i))=Σm=1 M Bm(t(i))・γm,t(i) …(32)
を計算して出力する（ステップＳ１４５／［ステップＳ１４の具体例］の説明終わり）。
Sa(t(i))=Σm=1 M Bm(t(i))・γm,t(i) …(32)
を計算して出力する（ステップＳ１４５／［ステップＳ１４の具体例］の説明終わり）。
その後、第１信号Sp(t(i))と第２信号Sa(t(i))とが信号加算部１８に入力される。信号加算部１８は、第１信号Sp(t(i))と第２信号Sa(t(i))とを加算し、以下のように離散時間t(i)での合成信号S(t(i))を生成し、得られた合成信号S(t(i))を出力する。
S(t(i))=Sp(t(i))+Sa(t(i)) …(33)
S(t(i))=Sp(t(i))+Sa(t(i)) …(33)
＜本形態の特徴＞
以上のように、本形態では、周期成分（第１信号）を基本周波数の整数倍の周波数を有する複数の正弦波の重畳で表現し、１サンプルあたり高々ハーモニック数分の正弦波の加算のみで周期成分（第１信号）が計算可能であるため、高速な処理が可能である。ここでハーモニック数は基本周波数の整数倍となる周期成分の個数のことである。一方、非周期成分（第２信号）についても周期成分と同様に非周期成分のスペクトル特徴量の次元数個分の正弦波の加算で計算可能であり、また各高調波の角速度は一定のため漸化式を用いることで高速な処理が可能となる。
以上のように、本形態では、周期成分（第１信号）を基本周波数の整数倍の周波数を有する複数の正弦波の重畳で表現し、１サンプルあたり高々ハーモニック数分の正弦波の加算のみで周期成分（第１信号）が計算可能であるため、高速な処理が可能である。ここでハーモニック数は基本周波数の整数倍となる周期成分の個数のことである。一方、非周期成分（第２信号）についても周期成分と同様に非周期成分のスペクトル特徴量の次元数個分の正弦波の加算で計算可能であり、また各高調波の角速度は一定のため漸化式を用いることで高速な処理が可能となる。
また、周期成分（第１信号）の合成において、音声の基本周波数によって決まる基本周期の時間単位でのみ基本周波数を更新する場合、当該基本周期内で漸化式を用いた高速な演算が可能となる。
また、STRAIGHTのような一定周期単位の波形重畳により音声を生成する方法では、原理的に当該一定周期単位以下での周期の制御が困難である。これに対し、本形態では、音声の特徴分析によって得られるスペクトル特徴と周期成分情報と非周期成分情報を用い、正弦波で合成することで周期成分（第１信号）を生成することとした。そのため、本形態では、１サンプル未満の単位で自由に基本周波数の変更が可能であるとともに、非周期成分に対応する正弦波も混合することでSTRAIGHT同様に高品質な音声の合成が可能となる。
〔第２実施形態〕
次に、本発明の第２実施形態を説明する。第２実施形態は第１実施形態の変形例であり、入力された時系列信号である音声信号が有声区間のものであるか、無声区間のものであるかに応じて処理を変える。これにより、無声区間において周期成分のための不要な演算がなされることをなくし、さらに演算速度を向上させることができる。以下では、第１実施形態との共通事項を中心に説明し、第１実施形態と共通する事項については説明を省略する。
次に、本発明の第２実施形態を説明する。第２実施形態は第１実施形態の変形例であり、入力された時系列信号である音声信号が有声区間のものであるか、無声区間のものであるかに応じて処理を変える。これにより、無声区間において周期成分のための不要な演算がなされることをなくし、さらに演算速度を向上させることができる。以下では、第１実施形態との共通事項を中心に説明し、第１実施形態と共通する事項については説明を省略する。
＜構成＞
図１に例示するように、第２実施形態の信号合成装置２は、記憶部１１と制御部１２と基本周波数入力部１３と信号入力部１４と分析部１５と周期成分合成部１６と非周期成分合成部１７と信号加算部１８と選択部２１と分析部２２と非周期成分合成部２３とを有する。非周期成分合成部１７と非周期成分合成部２３との構成は同一である。なお、本形態では、非周期成分合成部１７と非周期成分合成部２３とを別個の構成とするが、非周期成分合成部１７が非周期成分合成部２３として利用されてもよい。また、信号合成装置２も、例えば、CPU、RAM、ROMなどを有する公知又は専用コンピュータと特別なプログラムとから構成される。
図１に例示するように、第２実施形態の信号合成装置２は、記憶部１１と制御部１２と基本周波数入力部１３と信号入力部１４と分析部１５と周期成分合成部１６と非周期成分合成部１７と信号加算部１８と選択部２１と分析部２２と非周期成分合成部２３とを有する。非周期成分合成部１７と非周期成分合成部２３との構成は同一である。なお、本形態では、非周期成分合成部１７と非周期成分合成部２３とを別個の構成とするが、非周期成分合成部１７が非周期成分合成部２３として利用されてもよい。また、信号合成装置２も、例えば、CPU、RAM、ROMなどを有する公知又は専用コンピュータと特別なプログラムとから構成される。
＜処理＞
以下では、離散時間t(i)での処理を説明する。同様な処理が各離散時間t(i)で実行される。
以下では、離散時間t(i)での処理を説明する。同様な処理が各離散時間t(i)で実行される。
まず、離散時間t(i)において、時系列信号である音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が信号入力部１４に入力される（図４／ステップＳ１１）。音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)は選択部２１に入力され、選択部２１は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が音声区間のものであるか無音声区間のものであるかを判定する（ステップＳ２１）。なお、この判定は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が音声区間のものであるか無音声区間のものであるかを表す入力情報dに基づいて行われる。入力情報dは人手によって設定されたものであってもよいし、音声信号X(τ)の平均エネルギーの閾値判定などによって自動的に設定されたものであってもよい。
ここで、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が音声区間のものであると判定された場合には、第１実施形態で説明したステップＳ１２〜Ｓ１５の処理が実行される。
一方、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が無音声区間のものであると判定された場合、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が分析部２２に入力され、分析部２２は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)を分析することで、離散時間t(i)における各離散周波数m'・fb(m'=0,...,(L-1)/L)でのスペクトル特徴量Sf(t(i),m')と、スペクトル特徴量Sf(t(i),m')に対する非周期特徴量の比率を表す非周期成分情報n(t(i),m')とを生成して出力する。なお、分析部２２で行われる分析方法に限定はなく、公知のどのような方法を用いてもよい。例えば、この分析方法としてはSTRAIGHT分析合成方式（例えば、非特許文献１参照）や前述の参考文献の方式が挙げられる（ステップＳ２２）。次に、スペクトル特徴量Sf(t(i),m')と非周期特徴量の比率を表す非周期成分情報n(t(i),m')とが非周期成分合成部２２（図１）に入力される。非周期成分合成部２２は、スペクトル特徴量Sf(t(i),m')と非周期成分情報n(t(i),m')とから特定される非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号Sa(t(i))を生成する。なお、この処理は第１実施形態で説明したステップＳ１４と同じである（図４／ステップＳ２３）。非周期成分合成部２２は、第２信号Sa(t(i))を合成信号
S(t(i))=Sa(t(i)) …(34)
として出力する（ステップＳ２４）。
S(t(i))=Sa(t(i)) …(34)
として出力する（ステップＳ２４）。
〔変形例等〕
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１,２ 信号合成装置
Claims (8)
- 時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が前記基本周波数の整数倍である複数の正弦波の重畳によって、前記基本周波数と前記周期特徴量とに対応する時間領域の第１信号を生成する周期成分合成ステップと、
前記時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、前記非周期特徴量に対応する時間領域の第２信号を生成する非周期成分合成ステップと、
前記第１信号と前記第２信号との和を合成信号とする信号加算ステップと、
を有する信号合成方法。 - 請求項１の信号合成方法であって、
前記第１信号は、前記基本周波数の整数倍である各周波数での前記周期特徴量の振幅スペクトルと当該基本周波数の整数倍である各周波数の正弦波との各積の和に対応する信号である、
ことを特徴とする信号合成方法。 - 請求項１又は２の信号合成方法であって、
iを整数とし、離散時間t(i)での前記第１信号をSp(t(i))と表し、前記離散時間t(i)での前記基本周波数をf0(t(i))と表し、Nを正整数とし、kを１以上N以下の整数とし、離散時間t(i)に対応する各周波数k・f0(t(i))での前記周期特徴量の振幅スペクトルをAk(t(i))と表し、離散時間t(i-1)と離散時間t(i)との差分を定数Δtとし、θk,t(i)=2π・k・f0(t(i))・t(i-1)とし、ωk,t(i)=2π・k・f0(t(i))・Δtとし、αk,t(i)=sin(θk,t(i)+ωk,t(i))とし、βk,t(i)=cos(θk,t(i)+ωk,t(i))とし、δs k,t(i)=sin(ωk,t(i))とし、δc k,t(i)=cos(ωk,t(i))とした場合、Sp(t(i))=Σk=1 N Ak(t(i))・αk,t(i)を満たし、
前記周期成分合成ステップは、
前記離散時間t(i)及びt(i-1)を含む時間区間において前記基本周波数が一定であって、f0(t(i))=f0(t(i-1))が満たされる場合、
αk,t(i-1)とβk,t(i-1)とδs k,t(i-1)とδc k,t(i-1)とを用い、δs k,t(i)=δs k,t(i-1)とδc k,t(i)=δc k,t(i-1)として、各k (k=1,...,N)に対してそれぞれ、
αk,t(i)=αk,t(i-1)・δc k,t(i)+βt(i-1)・δs k,t(i)とβk,t(i)=βk,t(i-1)・δc k,t(i)-αt(i-1)・δs k,t(i)
を計算する第１漸化式計算ステップと、
Ak(t(i))及びαk,t(i) (k=1,...,N)を用い、前記第１信号Sp(t(i))=Σk=1 N Ak(t(i))・αk,t(i)を計算する第１重畳ステップと、
を含むことを特徴とする信号合成方法。 - 請求項１から３の何れかの信号合成方法であって、
前記第２信号は、任意の各周波数での前記非周期特徴量の振幅スペクトルと当該任意の各周波数の正弦波との各積の和に対応する信号である、
ことを特徴とする信号合成方法。 - 請求項１から４の何れかの信号合成方法であって、
iを整数とし、離散時間t(i)での前記第２信号をSa(t(i))と表し、Mを正整数とし、mを１以上M以下の整数とし、所定の基底周波数をfbとし、離散時間t(i)に対応する各周波数m・fbでの前記周期特徴量の振幅スペクトルをBm(t(i))と表し、離散時間t(i-1)と離散時間t(i)との差分を定数Δtとし、θm,t(i)=2π・m・fb・t(i-1)とし、ωm=2π・m・fb・Δtとし、γm,t(i)=sin(θm,t(i)+ωm)とし、ηm,t(i)=cos(θm,t(i)+ωm)とし、εs m=sin(ωm)とし、εc m=cos(ωm)とした場合、Sa(t(i))=Σm=1 M Bm(t(i))・γm,t(i)を満たし、
前記非周期成分合成ステップは、
γm,t(i-1)とηm,t(i-1)とを用い、各m (m=1,...,M)に対してそれぞれ、
γm,t(i)=γm,t(i-1)・εc m+ηt(i-1)・εs mとηm,t(i)=ηm,t(i-1)・εc m-γt(i-1)・εs m
を計算する第２漸化式計算ステップと、
Bm(t(i))及びγm,t(i) (m=1,...,M)を用い、前記第２信号Sa(t(i))=Σm=1 M Bm(t(i))・γm,t(i)を計算する第２重畳ステップと、を含む、
ことを特徴とする信号合成方法。 - 請求項１から５の何れかの信号合成方法であって、
前記基本周波数は、前記周波数スペクトルから独立に定められた値である、
ことを特徴とする信号合成方法。 - 時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が前記基本周波数の整数倍である複数の正弦波の重畳によって、前記基本周波数と前記周期特徴量とに対応する時間領域の第１信号を生成する周期成分合成部と、
前記時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、前記非周期特徴量に対応する時間領域の第２信号を生成する非周期成分合成部と、
前記第１信号と前記第２信号との和を合成信号とする信号加算部と、
をさらに有する信号合成装置。 - 請求項１から６の何れかの信号合成方法としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010117960A JP2011247921A (ja) | 2010-05-24 | 2010-05-24 | 信号合成方法、信号合成装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010117960A JP2011247921A (ja) | 2010-05-24 | 2010-05-24 | 信号合成方法、信号合成装置及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011247921A true JP2011247921A (ja) | 2011-12-08 |
Family
ID=45413308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010117960A Pending JP2011247921A (ja) | 2010-05-24 | 2010-05-24 | 信号合成方法、信号合成装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011247921A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018159402A1 (ja) * | 2017-02-28 | 2018-09-07 | 国立研究開発法人情報通信研究機構 | 音声合成システム、音声合成プログラムおよび音声合成方法 |
| JP2019074580A (ja) * | 2017-10-13 | 2019-05-16 | Kddi株式会社 | 音声認識方法、装置およびプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6035792A (ja) * | 1983-07-25 | 1985-02-23 | 株式会社河合楽器製作所 | 非高調波上音を発生する装置 |
| JPH01170105A (ja) * | 1987-11-26 | 1989-07-05 | Rohde & Schwarz Gmbh & Co Kg | 正弦波発振器 |
| JPH0792978A (ja) * | 1993-06-30 | 1995-04-07 | Kawai Musical Instr Mfg Co Ltd | 楽音発生装置 |
| JP2000010565A (ja) * | 1998-04-23 | 2000-01-14 | Yamaha Corp | 波形デ―タ生成方法、波形デ―タ生成プログラムを記録した記録媒体、波形デ―タ生成装置および波形デ―タを記録した記録媒体 |
| JP2010217476A (ja) * | 2009-03-17 | 2010-09-30 | Yamaha Corp | 波形データ生成方法 |
-
2010
- 2010-05-24 JP JP2010117960A patent/JP2011247921A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6035792A (ja) * | 1983-07-25 | 1985-02-23 | 株式会社河合楽器製作所 | 非高調波上音を発生する装置 |
| JPH01170105A (ja) * | 1987-11-26 | 1989-07-05 | Rohde & Schwarz Gmbh & Co Kg | 正弦波発振器 |
| JPH0792978A (ja) * | 1993-06-30 | 1995-04-07 | Kawai Musical Instr Mfg Co Ltd | 楽音発生装置 |
| JP2000010565A (ja) * | 1998-04-23 | 2000-01-14 | Yamaha Corp | 波形デ―タ生成方法、波形デ―タ生成プログラムを記録した記録媒体、波形デ―タ生成装置および波形デ―タを記録した記録媒体 |
| JP2010217476A (ja) * | 2009-03-17 | 2010-09-30 | Yamaha Corp | 波形データ生成方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018159402A1 (ja) * | 2017-02-28 | 2018-09-07 | 国立研究開発法人情報通信研究機構 | 音声合成システム、音声合成プログラムおよび音声合成方法 |
| JP2019074580A (ja) * | 2017-10-13 | 2019-05-16 | Kddi株式会社 | 音声認識方法、装置およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Blaauw et al. | A neural parametric singing synthesizer modeling timbre and expression from natural songs | |
| Fulop et al. | Algorithms for computing the time-corrected instantaneous frequency (reassigned) spectrogram, with applications | |
| Driedger et al. | A review of time-scale modification of music signals | |
| US10741192B2 (en) | Split-domain speech signal enhancement | |
| JP5275612B2 (ja) | 周期信号処理方法、周期信号変換方法および周期信号処理装置ならびに周期信号の分析方法 | |
| US20180174571A1 (en) | Speech processing device, speech processing method, and computer program product | |
| Wang et al. | Neural harmonic-plus-noise waveform model with trainable maximum voice frequency for text-to-speech synthesis | |
| JP6638944B2 (ja) | 音声変換モデル学習装置、音声変換装置、方法、及びプログラム | |
| JP2013205697A (ja) | 音声合成装置、音声合成方法、音声合成プログラムならびに学習装置 | |
| JP6876642B2 (ja) | 音声変換学習装置、音声変換装置、方法、及びプログラム | |
| Maia et al. | Complex cepstrum for statistical parametric speech synthesis | |
| US20160005392A1 (en) | Devices and Methods for a Universal Vocoder Synthesizer | |
| JP2018004870A (ja) | 音声合成装置および音声合成方法 | |
| JP6347536B2 (ja) | 音合成方法及び音合成装置 | |
| JP2018077283A (ja) | 音声合成方法 | |
| Kadiri et al. | Analysis of aperiodicity in artistic Noh singing voice using an impulse sequence representation of excitation source | |
| JP2011247921A (ja) | 信号合成方法、信号合成装置及びプログラム | |
| Reddy et al. | Inverse filter based excitation model for HMM‐based speech synthesis system | |
| US20210366461A1 (en) | Generating speech signals using both neural network-based vocoding and generative adversarial training | |
| JP6400526B2 (ja) | 音声合成装置、その方法、およびプログラム | |
| JP2007328268A (ja) | 音楽信号の帯域拡張方式 | |
| JP6167063B2 (ja) | 発話リズム変換行列生成装置、発話リズム変換装置、発話リズム変換行列生成方法、及びそのプログラム | |
| Al-Radhi et al. | Adaptive refinements of pitch tracking and HNR estimation within a vocoder for statistical parametric speech synthesis | |
| JP5163606B2 (ja) | 音声分析合成装置、及びプログラム | |
| JP4513556B2 (ja) | 音声分析合成装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140415 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150106 |