JP2003173195A

JP2003173195A - 占有度抽出装置および基本周波数抽出装置、それらの方法、それらのプログラム並びにそれらのプログラムを記録した記録媒体

Info

Publication number: JP2003173195A
Application number: JP2002062513A
Authority: JP
Inventors: Tomohiro Nakatani; 智広中谷; Toshio Irino; 俊夫入野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-09-28
Filing date: 2002-03-07
Publication date: 2003-06-20
Anticipated expiration: 2022-03-07
Also published as: JP3841705B2

Abstract

(57)【要約】【課題】雑音や他の妨害音声の存在下でも従来より安
定して抽出することができる。【解決手段】入力信号を５０〜１００Ｈｚの等間隔の
帯域に分割し、各帯域の入力信号の位相を微分して瞬時
周波数φ′（ω_c ）（ω_c ：帯域中心周波数）を求め
（２１）、各ω_c に対し周波数差φ′（ω_c −Δω）〜
φ′（ω_c ＋Δω）を求め（２５）、その周波数差の２
乗をスペクトルパワーＳ（ω_c ）² で重み付け加算し、
それをパワーで正規化した値Ｂ_c （ω）²の逆数の対数
をとり占有度Ｄ₀ （ω_c）として、占有度スペクトルＤ
₀ （ω₁ ）〜Ｄ₀ （ω_n ）を求め（２７）、これに対し
従来法と同様に短時間フーリエ逆変換して占有度の周期
性を求め、その最大値を与える周期の逆数を基本周波数
とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は複数の音や雑音下
の音声信号などの音響信号からその基本周波数を狭い周
波数帯域に分割して抽出する基本周波数抽出方法および
その装置、その基本周波数抽出に利用可能な、目的音の
他の音源・雑音の影響を評価する尺度としての占有度を
抽出する方法およびその装置、並びに基本周波数抽出プ
ログラム、占有度抽出プログラム、これらの各記録媒体
に関する。基本周波数抽出は、音声合成、音声認識、音
声符号化等の信号処理の前処理として利用されている。
したがって、雑音下での高精度な基本周波数抽出は、後
処理として実施される信号処理装置の性能を向上させる
ことに寄与する。このような信号処理装置には、以下の
ようなものが含まれる。１．基本周波数の情報をもとに複数音源の混合音から各
構成音を分離する音源分離装置２．基本周波数の情報をもとに音声を符号化する音声符
号化・復号化装置３. 騒がしい環境で人が鼻歌で歌った音の基本周波数か
らメロディを抽出して、楽曲を検索する音楽検索装置４．音楽演奏を音響信号を受け取って楽譜、もしくは楽
譜相当の音楽情報を抽出する自動採譜装置５．人が発した声の基本周波数の高さで機械にコマンド
を渡す機械制御インターフェース装置、および、機械と
の対話装置

【０００２】

【従来の技術】基本周波数抽出装置の従来例１を図１４
を参照して説明する。この従来例１は基本周波数の整数
倍の周波数で、対数パワースペクトル上に周期的なピー
クが現れることを利用する。信号入力部１１よりの入力
信号は対数パワースペクトル抽出部１２で短時間フーリ
エ変換され、その各スペクトルの絶対値を２乗したもの
の対数をとって対数パワースペクトルが演算され、この
対数パワースペクトルに対し、周期性抽出部１３により
短時間フーリエ逆変換が施され、各周期と対応したレベ
ル、つまり周期性が抽出される。最大値抽出部１４で周
期性が最大になる時間差を抽出する。この抽出した時間
差、つまり周期の逆数が基本周波数である。

【０００３】他の従来例２は、瞬時周波数を用いて、前
記従来例１と同じ対数パワースペクトルのピークをより
強調して、高精度な基本周波数を抽出しようとするもの
である。入力信号の瞬時周波数成分を抽出し、これを各
周波数帯ごとの瞬時周波数φ′（ω）（ωは各周波数帯
域ごとの中心周波数）と、対数パワースペクトル抽出部
が抽出したスペクトルＳ（ω）から、以下の式を用いて
ピークを強調した瞬時周波数スペクトルＧ（λ₀ ）を求
める。

【０００４】

【数１】この瞬時周波数スペクトルＧ（λ₀ ）のピークの周期性
を抽出することで、基本周波数を抽出する。

【０００５】

【発明が解決しようとする課題】上述した基本周波数抽
出装置の従来例１は、入力信号中に、目的音以外の複数
音声や雑音が含まれている場合、対数パワースペクトル
上に目的音以外の特徴が重畳されてしまう。このため、
目的音以外の音のパワーが大きくなると、基本周波数抽
出の誤差が大きくなってしまう問題点があった。また、
従来例２では、瞬時周波数スペクトルは、瞬時周波数の
微小区間の傾きを用いて周波数ピークの強調を行うた
め、雑音下では、瞬時周波数の不安定な挙動がそのまま
瞬時周波数スペクトルにあらわれてしまう。このため、
雑音下で安定して基本周波数を抽出する特徴量としては
不適切であった。

【０００６】

【課題を解決するための手段】課題を解決するために、（１）本発明では、入力音の各周波数成分が雑音の影響
を受けていない度合いを表す占有度を定義し、その占有
度の抽出方法とその装置、またその占有度を利用した基
本周波数抽出方法とその装置を提供する。このため、瞬
時周波数に関する次の性質を利用する。瞬時周波数φ′
とは、例えば短時間フーリエ変換の各周波数ビン（ｂｉ
ｎ）を、等間隔にならんだ狭帯域通過フィルタ出力群と
みなした場合の、その各出力波の位相φの時間微分のこ
とである。ある時刻のある帯域に強いパワーを持った占
有的な周波数成分があると、短時間フーリエ変換（以
下、ＳＴＦＴと記す）におけるその周波数近傍のｂｉｎ
では、瞬時周波数がほぼ一定値になることが知られてい
る。このため、雑音が少ない入力信号中の調波構造を持
った音の瞬時周波数を縦軸に、ＳＴＦＴの周波数ｂｉｎ
を横軸にとってプロットすると、図１５Ａ中の細実線で
示すような階段状になる。この階段の水平部分と各周波
数ｂｉｎの中心周波数ω_c が一致する点（φ′＝ω_c 、
以下、不動点と呼ぶ）が、各高調波成分の周波数とみな
すことができる。一方、強い雑音がある入力信号中で
は、瞬時周波数は明確な階段状にならず、図１５Ｂ中の
細実線の６００Ｈｚ以上の部で示すように、なだらかな
右上がりの線になる。

【０００７】上述の瞬時周波数の性質を用いて、調波構
造が周波数ｂｉｎの出力をどの程度占めているかを評価
するために、占有度（degree of dominance）Ｄ₀ （ω_c
）を以下で定義する。

【数２】Ｂ（ω_c ）² は、中心周波数ω_c を持つ周波数ｂｉｎの
近傍（ω∈Ω_c ）のｂｉｎにおいて、各瞬時周波数（位
相の微分値）φ′（ω）とω_c の差分をパワースペクト
ルＳ（ω）² で重み付き和をとったものである。占有的
な周波数成分に対応する不動点近傍では、φ′（ω）と
ω_c はほぼ同じ値をとるため、Ｂ（ω_c）² は極小値を
とると期待される。Ｂ（ω_c ）² の逆数（の対数）をと
って、同じ点で極大値を取るようにしたものがＤ₀ （ω
_c ）である。なおＳ（ω）² による重み付けは必ずしも
しなくてもよいが、重み付けをした方が強いパワーを持
つ周波数の特徴がより強調される。また式（２）の分母
はパワーによる定規化である。占有度Ｄ₀ （ω_c ）は、
それ自身で調波構造を強調したスペクトル（占有度スペ
クトルと呼ぶ）として見ることができるため、ケプスト
ラム法のように対数パワースペクトルに基づく基本周波
数抽出法を、占有度スペクトルにそのまま適用して基本
周波数を抽出することができる。また、対数パワースペ
クトルを占有度で重み付けした以下のスペクトルＤ_p も
占有度スペクトルとして利用できる（式中のａ，ｂは重
み付け係数）。Ｄ_p （ω_c ）＝log（Ｓ（ω_c ）^2a）＋ｂＤ₀ （ω_c ）（３）＝log（Ｓ（ω_c ）^2a／Ｂ（ω_c ）^2b）（４）Ｄ₀ （ω_c ），Ｄ_p （ω_c ）のどちらのスペクトルも、
調波構造の強調効果により正確な基本周波数抽出が期待
される。さらに、ＳＮＲの悪い状態でも、雑音の影響の
少ない周波数成分はそのまま強調され、雑音に埋もれた
成分は抑制される。この結果、雑音下でも頑健な基本周
波数抽出が実現出来る。

【０００８】（２）また、本発明では、占有度の代用と
して、例えばＳＴＦＴの各周波数ｂｉｎの出力値である
振幅の２乗を計算することで得られる各周波数のパワー
を用いて基本周波数抽出方法を構成する。従来、信号の
パワーは、マイクロフォンで収音する際などに加えられ
る周波数特性の変形の影響を受けやすいため、基本周波
数抽出方法を構成するための特徴としては利用されてこ
なかった。そのかわりパワーに対数変換を加えた対数パ
ワーが用いられてきた。対数パワーは周波数特性の変形
の影響を低減する効果がある。しかし（１）の発明で示
したように対数パワーは占有度に比べて背景雑音の影響
を受けやすく、雑音下での基本周波数抽出には適さな
い。これに対して、対数変換を加えていない信号のパワ
ーでは、雑音成分と周波数成分の差が大きいという性質
を持つ。本発明では、信号のパワーのこの性質に着目し
て、周波数特性の変形を受けていない信号に対する基本
周波数抽出方法を構成する。また、周波数特性の変形を
受けた信号に対しても、その周波数特性の変形を受ける
前の状態にもどす補償方法と組み合わせた基本周波数抽
出方法を構成する。これにより、背景雑音下で頑健な基
本周波数抽出が行えるようになる。

【０００９】本発明では更に精緻化した基本周波数を求
めるために、以下で定義する不動点を利用する。ＳＴＦ
Ｔのとなりあった周波数ｂｉｎの中心周波数をω_c1,ω
_c2とし（ω_c1＜ω_c2）、各周波数ｂｉｎの瞬時周波数を
φ’（ω_c1）,φ’（ω_c2）とし、以下の等式を満たす
場合、ω_c1とω_c2の間にφ’（ω）＝ωとなる周波数ω
が存在し、これを不動点と呼ぶ。 φ’（ω_c1）＞ω_c1andφ’（ω_c2）＜ ω_c2 不動点の周波数は、基本周波数を持つ音の各周波数成分
の周波数に相当すると考えられる。特に、大きな占有度
の値を持つ不動点は、背景雑音に比べて十分に強い周波
数成分に相当することが予想されるため、この不動点の
周波数は正確な周波数成分の周波数を与えるものと期待
される。また、周波数成分の周波数をある整数で割るこ
とで基本周波数の候補を得ることができる。本発明で
は、この不動点から導かれる基本周波数の候補に対し、
大きな占有度を持つ値により大きな重みを置いて平均を
計算することで、雑音下でも精度の高い基本周波数抽出
法を構成する。また、占有度のかわりに信号のパワー、
または包絡成分を取り除いたパワーを用いる方法でも、
同様に、精緻化した基本周波数の抽出法を構成できる。
一般に、パワーの強い周波数成分に相当する不動点で
は、背景雑音に比べて周波数成分の影響が強いため、不
動点の周波数が周波数成分の周波数の良い近似を与える
であろうことが期待される。したがって、本発明では、
パワーの強い周波数により大きな重みを置いた基本周波
数候補値の平均を計算することで、雑音下でも精度の高
い基本周波数抽出法を構成する。

【００１０】（３）さらに、本発明では音源分離装置と
組み合わせることでより高精度な基本周波数抽出法を構
成する。音源分離装置を用いると、空間的に異なる位置
で測定された二つ以上の入力信号中で、特定の位置の音
源から出てくる信号を強調、もしくは抑制することがで
きることが知られている。しかし、この分離信号も、分
離結果にある程度以上のひずみが含まれているため、従
来例１、２などの基本周波数抽出法では、ひずみの影響
で基本周波数抽出性能が劣化してしまうことがあった。
これに対し、この発明では、占有的な周波数成分のみで
基本周波数を抽出するためひずみの影響も受けにくい。
このため、音源分離装置が抑制する雑音の影響を回避し
つつ、より高精度な基本周波数抽出を実現できる。

【００１１】

【発明の実施の形態】以下この発明の実施の形態を実施
例により説明する。占有度の抽出（装置）この発明による占有度抽出装置の実施例を図１に示す。
入力部１１から音響信号が入力信号に変換されて入力さ
れ、この入力信号は瞬時周波数抽出部２１で各周波数帯
域ごとに各時刻の入力信号の瞬時周波数φ′（ω₁ ）〜
φ′（ω_n ）がそれぞれ抽出される。ω₁ 〜ω_n は各帯
域の中心周波数である。この周波数帯域は例えば５０〜
１００Ｈｚの等間隔の帯域であり、例えば短時間フーリ
エ変換部２２で３０〜５０ｍｓごとの入力信号が短時間
フーリエ変換され、つまり周波数領域に変換され、この
変換されたスペクトルが帯域分割位相検出部２３₁ 〜２
３ _n により、ｎ個の周波数帯域に分割され、各帯域にお
いて、その複素スペクトルの位相φ（ω₁ ）〜φ（ω
_n ）が検出される。入力信号の周波数領域の変換はウェ
ーブレット変換、余弦変換など他の手法を用いてもよ
い。あるいは５０〜１００Ｈｚの間隔の帯域通過フィル
タ（フィルタバンク）により入力信号を帯域ごとに分割
し、その各出力を正弦波とみなし、その位相を求めても
よい。なお、この装置においては一般にはディジタル処
理で行われる。このようにして帯域ごとの位相φ（ω
₁ ）〜φ（ω_n ）が微分部２４₁ 〜２４ _n でそれぞれ微
分されて瞬時周波数φ′（ω₁ ）〜φ′（ω_n）とされ
る。これら瞬時周波数φ′（ω₁ ）〜φ′（ω_n ）は周
波数差抽出部２５に入力され、各周波数帯域ごとにその
中心周波数ω_c （ｃ＝１，２，…，ｎ）を中心とした与
えられた前後の帯域を含む帯域ω_c −Δω〜ω_c ＋Δω
についてその各瞬時周波数と中心周波数ω_c との差がそ
れぞれ求められる。つまりφ′（ω₁ −Δω）−ω₁ 〜
φ′（ω₁ ＋Δω）−ω₁ ，φ′（ω₂ −Δω）−ω₂
〜φ′（ω₂＋Δω）−ω₂ ，…，φ′（ω_n −Δω）
−ω_n 〜φ′（ω_n ＋Δω）−ω_n が得られる。なお、
Δωはω_c の５０〜１００％に該当する適当な固定値と
してもよく後述のように適応的に変更してもよい。

【００１２】一方、入力信号が信号パワー抽出部２６に
入力され、各周波数帯域の中心周波数ω_c の入力信号パ
ワーＳ（ω_c ）² を抽出する。例えば短時間フーリエ変
換部２２などの周波数領域に変換された係数の該当中心
周波数ω_c のスペクトルＳ（ω_c ）を取り出し、それを
２乗すればよい。周波数差抽出部２５からの各周波数差
φ′（ω_c −Δω）と信号パワー抽出部２６からの中心
周波数パワーＳ（ω）² とが占有度演算部２７に入力さ
れて占有度が演算される。占有度は式（１）により定義
されたＤ₀ （ω_c ）又は式（３）あるいは（４）により
定義されたＤ_p （ω_c ）を演算して求められる。占有度
Ｄ₀ （ω_c ）を求めるには例えば図２Ａに示すように周
波数差φ′（ω _c −Δω）−ω_c 〜φ′（ω_c ＋Δω）
−ω_c が重み付き加算部２７１でパワースペクトルＳ
（ω_c ）² の重み付き加算が行われる。つまり各周波数
差φ′（ｐ）−ω_c （ｐ＝ω_c −Δω，…，ω_c ，…ω
_c ＋Δω）が２乗部２７２で２乗され、この２乗値
（φ′（ｐ）−ω_c ）² に対し乗算部２７３にＳ（ω
_c ）² が乗算され、加算部２７４で加算され、重み付き
加算結果Σ（φ′（ｐ）−ω_c ）²・Ｓ（ω_c ）² （Σ
はｐ＝ω_c −Δωからｐ＝ω_c ＋Δωまで）が得られ
る。一方、その周波数差の帯域ω_c −Δω〜ω_c ＋Δω
の各周波数の入力信号のパワースペクトルＳ（ω_c −Δ
ω）² 〜Ｓ（ω_c ＋Δω）² が加算部２７５に入力さ
れ、これらが加算され、その加算値により、重み付き加
算部２７１よりの加算値が割算部２７６で割算されて、
Ｂ（ω_c ）² が求まる。更に逆数・対数演算部２７８で
Ｂ（ω_c ）² の逆数の対数ｌｏｇ（１／Ｂ（ω_c ）² ）
＝Ｄ₀ （ω_c ）が演算されて出力される。

【００１３】式（３）による占有度Ｄ_p （ω_c ）を求め
るには例えば図２Ｂに示すように、各帯域の中心周波数
のパワーＳ（ω_c ）² がべき乗部２７９でａべき乗さ
れ、その結果Ｓ（ω_c ）^2aに対し、対数演算部２８１で
対数演算される。一方、図２Ａで求めたＤ₀ （ω_c ）が
乗算部２８２でｂ倍され、この結果ｂＤ₀ （ω_c ）と対
数演算部２８１の出力ｌｏｇ（Ｓ（ω_c ）^2a）とが加算
部２８３で加算されて、Ｄ_p （ω_c ）として出力され
る。式（４）による占有度Ｄ_p （ω_c ）を求めるには例
えば図２Ｃに示すように、Ｓ（ω_c ）² がべき乗部２７
９でａべき乗され、一方図２Ａ中の割算部２７６の出力
Ｂ（ω_c ）² がべき乗部２８４でｂべき乗され、これら
べき乗結果が割算部２８５で割算され、Ｓ（ω_c ）^2a／
Ｂ（ω_c ）^2bが計算され、この結果に対し対数演算部２
８５で対数がとられてＤ_p （ω_c ）として出力される。
図２Ｂ及び図２Ｃにおいてａ＝ｂとしてもよい。この場
合は図２Ｂでべき乗算部２７９、乗算部２８２は省略さ
れ、図２Ｃでべき乗算部２７９，２８４が省略される。
なおａ，ｂは０より大きい値であればよく、Ｓ（ω_c ）
² とＤ₀ （ω_c）又はＢ（ω_c ）² との何れを重視する
か、かつその重視の程度により、ａ，ｂを決定する。こ
れは入力信号の雑音混入状態などにより決定される。

【００１４】占有度演算部２７では周波数差を中心周波
数パワーＳ（ω_c ）² の重み付き加算したが、この重み
付きを省略し、つまり図２Ａで乗算部２７３を省略して
周波数差を加算してもよい。つまり単なる周波数差の加
算でも対数パワースペクトルよりも調波構造が強調され
る。場合によってはパワーによる正規化も省略してもよ
い。つまり図２Ａで加算部２７５、割算部２７６を省略
してもよい。式（２）中の積分範囲、つまりω_c −Δω
〜ω_c ＋Δωは固定としてもよいが、入力信号の基本周
波数の概算値により適応的に変更することが望ましい。
つまり図１中に破線で示すように、積分範囲決定部２８
を設け、この積分範囲決定部２８で決定されたΔωが周
波数差抽出部２５に入力され、演算する周波数差の周波
数範囲ω_c −Δω〜ω_c ＋Δωが決定される。つまり入
力音声の基本周波数によって、積分範囲の最適値は変化
するため、よりよい精度で基本周波数を求めるために
は、より適切な積分範囲を選択することが望ましい。例
えば、入力信号の音源である話者が男性か女性かが事前
にわかっていることを想定して、それぞれに最適な固定
の積分範囲、例えば男性の場合Δωを約８０Ｈｚ、女性
の場合Δωを約１４０Ｈｚ程度とし、これを積分範囲決
定部２８に設定する。また、別の方法では、式（２）を
適用する前に、従来技術の項で説明した基本周波数抽出
法、その他の方法など別の基本周波数抽出法を用いて積
分範囲決定部２８で基本周波数の初期推定値Ｆ₀を求
め、その初期推定基本周波数に応じて例えば基本周波数
に対して２・Δωを約５０〜１００％程度、好ましくは
２・Δω≒ Ｆ₀×０．７５として積分範囲を決定し、そ
のΔωが周波数差抽出部２５へ供給されるようにしても
よい。

【００１５】占有度の抽出（方法）次に前述した占有度抽出装置における処理手順、つまり
占有度の抽出方法を以下に説明する。図３に基本的手順
の例を示す。入力信号の各周波数帯域ごとの瞬時周波数
を瞬時周波数抽出過程（Ｓ１）で抽出する。この瞬時周
波数抽出は先の装置説明で行ったように例えば入力信号
を短時間フーリエ変換により周波数領域信号に変換し
（Ｓａ）、この周波数領域信号を狭い周波数帯域の信号
に帯域分割し（Ｓｂ）、この各帯域の信号の位相φ（ω
_c ）をそれぞれ抽出し（Ｓｃ）、その各位相φ（ω_c ）
を微分して瞬時周波数φ′（ω_c ）を求める（Ｓｄ）。
これら瞬時周波数φ′（ω_c ）について、その中心周波
数ω_c を中心とした前後の帯域を含むω_c −Δω〜ω_c
＋Δωの範囲の各値から中心周波数をω_c を差し引いて
周波数差を抽出する（Ｓ２）。これら周波数差の各ω_c
−Δω〜ω_c ＋Δωの成分の和を求め、この和を用いて
そのω_c の占有度を演算する（Ｓ３）。このステップＳ
３の占有度演算における占有度Ｄ₀ （ω_c ）を求める場
合の例を図４を参照して説明する。まず各帯域について
周波数差のパワースペクトルの重み付き加算を行う（Ｓ
１）。即ち各ω_c についてω_c −Δω〜ω_c ＋Δωの帯
域における各周波数差を２乗し（Ｓ１ａ）、その２乗値
にパワースペクトルＳ（ω_c ）² を乗算し（Ｓ１ｂ）、
このパワースペクトルを乗算したものを、この帯域ω_c
−Δω〜ω_c ＋Δωについて加算する（Ｓｃ）。一方、
各中心周波数ω_c について同一の帯域ω_c −Δω〜ω_c
＋Δωのパワースペクトルの和を求め（Ｓ２）、このパ
ワースペクトルの和で、同一帯域の前記重み付き和を割
算して正規化してＢ（ω_c ）² を求める（Ｓ３）。その
Ｂ（ω_c）² の逆数を取り、その逆数に対数演算を行っ
てＤ₀ （ω_c ）を得る（Ｓ４）。図４Ａにおいて、ステ
ップＳ１とＳ２は順を逆にしてもよい。

【００１６】次に占有度Ｄ_p （ω_c ）を式（３）により
求めた順を図５Ａを参照して説明する。図４Ａで求めた
占有度Ｄ₀ （ω_c ）に重み定数ｂを乗算してｂＤ₀ （ω
_c ）を求め（Ｓ１）、またω_c のパワースペクトルに対
し重み定数ａをべき乗してＳ（ω_c ）^2aを求め（Ｓ
２）、その対数ｌｏｇ（Ｓ（ω_c ）^2a）を演算し（Ｓ
３）、これとｂＤ₀ （ω_c ）を加算して占有度Ｄ_p （ω
_c ）とする（Ｓ４）。ステップＳ１〜Ｓ３の順は任意で
よい。更に式（４）による占有度Ｄ_p （ω_c ）を求める
手順を図５Ｂを参照して説明する。図４Ａ中のステップ
Ｓ３で求めたＢ（ω_c ）² に対し重み定数ｂのべき乗を
計算し（Ｓ１）、またω_c のパワースペクトルに対し重
み定数ａのべき乗を計算し（Ｓ２）、これらべき乗算結
果の比Ｓ（ω_c ）^2a／Ｂ（ω_c ）^2bを求め（Ｓ３）、こ
の比の対数をとり占有度Ｄ_p （ω_c ）とする（Ｓ４）。
ここでステップＳ１とＳ２は何れを先に行ってもよい。

【００１７】図３乃至図５を参照して説明した占有度抽
出方法について、先に説明した占有度抽出装置における
変形は同様に行うことができ、また各種条件も同様であ
る。例えば積分範囲Δωの適応的決定も同様にこの方法
にも適用できる。図１中の瞬時周波数抽出部２１、図３
中の瞬時周波数抽出ステップＳ１における瞬時周波数抽
出の手法としてはこれらの図に示した手法に限らず、例
えば「Ｌ．コーエン著、『時間−周波数解析』（吉川昭
・佐藤俊輔訳）、第２章、朝倉書店（１９９８）」に示
す手法、その他の手法を用いてもよい。

【００１８】基本周波数抽出（装置）次に上述したこの発明の占有度抽出装置を用いたこの発
明の基本周波数抽出装置の実施例を説明する。図６に示
すように入力部１１からの入力信号は前述したこの発明
による占有度抽出装置（以下では占有度抽出部と記す）
３１は入力されて、各帯域の占有度Ｄ ₀ （ω₁ ）〜Ｄ₀
（ω_n ）又はＤ_p（ω₁ ）〜Ｄ_p （ω_n ）が抽出され
る。これら占有度は周期性演算部３２に入力されて、周
波数軸上での占有度の周期性が演算される。例えば各時
刻、例えば３０〜５０ミリ秒ごとに得られる占有度スペ
クトルＤ₀（ω₁ ）〜Ｄ₀ （ω_n ）又はＤ_p （ω₁ ）〜
Ｄ_p（ω_n ）に対し短時間フーリエ逆変換を行い、スペ
クトルピークの周期性Ｐ₀（Ｔ₁ ）〜Ｐ₀ （Ｔ_n ）が抽
出される。この周期性は例えば図１６に横軸に時間（周
期）Ｔを縦軸にレベルをとって示すようになる。これら
周期性Ｐ₀ （Ｔ₁ ）〜Ｐ₀（Ｔ_n ）は最大値抽出部３３
に入力され、その最大値を与える周期Ｔ₀ が抽出され、
その周期Ｔ₀ の逆数が逆数計算部３４で計算され、基本
周波数Ｆ₀ ＝１／Ｔ₀ として出力される。

【００１９】次にこの発明の基本周波数抽出装置の他の
実施例を図７を参照して説明する。図６に示した場合と
同様に、入力部１１からの入力信号は占有度抽出部３１
で占有度（スペクトル）が抽出される。この実施例にお
いてはこれら占有度スペクトルは調波構造占有度演算部
３５に入力され、以下で定義される調波構造に関する占
有度の和Ｄ_t0（ω₀）（もしくはＤ_tp（ω₀））を最大
にするω₀ を求めることで基本周波数を求める。Ｄ_t0（ω₀ ）＝Σ_q Ｄ₀ （ｒ（ｑ・ω₀ ））（５）Ｄ_tp（ω₀ ）＝Σ_q Ｄ_p （ｒ（ｑ・ω₀ ））（６）ここで、ω₀ は任意の周波数、ｑは高調波の次数、ｒ
（・）はｑ・ω₀ で求まる周波数を、占有度抽出に用い
られた帯域分割における帯域中心周波数ω_c の最も近い
周波数に変換する関数である。ｑの次はいくらでも高い
値としてもよいが、演算量を単に増加させることにな
る。この点からｑ・ω₀ の値が１５００Ｈｚ程度乃至は
３０００Ｈｚ程度までとしても十分である。

【００２０】調波構造占有度演算部３５で演算されたＤ
_t0（ω₁ ）〜Ｄ_t0（ω_n ）又はＤ_tp（ω₁ ）〜Ｄ_tp（ω
_n ）が最大値抽出部３６に入力され、これらの中の最大
値が抽出され、その最大値を与えるＤ_t0（ω_c ）又はＤ
_tp（ω_c ）と対応するω₀ が基本周波数Ｆ₀ として出力
される。調波構造占有度演算部３５は例えば図８に示す
ように乗算部３５１に順次ω₀を設定してその各ω₀ に
ついてｑ・ω₀ を計算する。男性のピッチ周期の平均を
１２５Ｈｚとすると、９０Ｈｚ〜１００Ｈｚ程度から１
乃至数Ｈｚずつ増加した周波数をω₀ として順次設定す
ればよい。乗算部３５１の乗算結果ｑ・ω₀ は対応中心
周波数検出部３５２に入力されて、ω₁ 〜ω_n 中のｑ・
ω₀ に最も近いω _c がω_cqとして求められ、占有度取出
部３５３において各ω_cqに対する占有度Ｄ ₀ （ω_cq）又
はＤ_p （ω_cq）を取り出し、各ω₀ について取り出され
た各ｑの占有度が加算されてＤ_t0（ω₀ ）又はＤ_tp（ω
₀ ）として出力される。占有度Ｄ₀ （ω_c ）を利用する
場合は次式を最大とするω₀ を求めることにより、式
（５）を用いる場合より更に雑音に強い基本周波数抽出
装置とすることができる。Ｄ_t0（ω₀ ）＝Σ_q （Ｄ₀ （ｒ（ｑ・ω₀ ））−Ｄ_0AV）（７）ここでＤ_0AVは占有度Ｄ₀ （ω₁ ）〜Ｄ₀ （ω_n ）の平
均値である。この場合は図８中に破線で示すように平均
値計算部３５５においてＤ₀ （ω₁）〜Ｄ₀ （ω_n ）の
平均値Ｄ_0AVが計算され、加算部３５６でΣ_q（Ｄ₀
（ω_cq）−Ｄ_0AV ）が計算され、Ｄ_t0（ω₀ ）として出
力される。占有度Ｄ_p （ω_c ）を利用する場合は、Ｄ_p
（ω₁ ）〜Ｄ_p（ω_n ）を時間系列とみなして高域通過
フィルタ処理を行い、そのフィルタ処理したＤ_p
（ω₁）〜Ｄ_p （ω_n ）を式（６）に用いることにより
更に高い精度の基本周波数抽出装置とすることができ
る。つまり図８中に破線で示すようにフィルタ処理部３
５７でＤ_p （ω₁ ）〜Ｄ_p（ω_n ）がこれらを時間系列
とみなして高域通過フィルタ処理され、この系列の変化
における細かい変化成分Ｄ′_p （ω₁ ）〜Ｄ′_p （ω
_n ）が取り出され、検出された各ω_cqと対応するＤ′_p
（ω_cq）が占有度取出部３５８で取り出され、これらが
加算部３５９で加算され、Ｄ_tp（ω₀ ）＝Σ_q Ｄ′_p
（ω_cq）として出力される。

【００２１】所で図６に示した基本周波数抽出装置は雑
音に強く、図７に示した基本周波数抽出装置は精度が高
い性質がある。このような点から、図６に示すように、
占有度スペクトルの周期性を演算し、その最大値の周期
を抽出して、その逆数から基本周波数Ｆ₀ を求め、図６
中に破線で示すように、その基本周波数Ｆ₀ が調波構造
占有度利用基本周波数抽出部３８へ供給され、この抽出
部３８では入力された基本周波数Ｆ₀ の近傍、例えばＦ
₀ ±Ｆ₀ の１０％の各周波数をω₀ として、先に説明し
た、図７及び図８に示した調波構造占有度演算が行わ
れ、式（５）又は（６）あるいは（７）若しくはΣ_q
Ｄ′_p （ｒ（ｑ・ω₀ ））を最大にするω₀が求めら
れ、そのω₀ が正しい基本周波数Ｆ₀ として出力され
る。このようにすれば、雑音に強く、かつ精度が高い基
本周波数抽出装置が構成される。

【００２２】基本周波数抽出（方法）次に先に説明したこの発明の基本周波数抽出装置の処理
手順、つまりこの発明による基本周波数抽出方法の実施
例を説明する。図９は図６に示した装置と対応するもの
であり、まず、図３乃至図５に示したこの発明による占
有度抽出方法により、入力信号からのその占有度（スペ
クトル）Ｄ₀ （ω_c ）又はＤ_p （ω_c）を抽出し（Ｓ
１）、この占有度スペクトルの周波数軸上での占有度の
周期性を演算する、例えば、各時刻ごとの占有度スペク
トルに短時間フーリエ変換して周期性を求める（Ｓ
２）。この占有度の周期性の最大値を与える周期（時
間）Ｔ₀ を抽出し（Ｓ３）、その周期Ｔ₀ の逆数１／Ｔ
₀＝Ｆ₀ を求めて基本周波数Ｆ₀ を得る（Ｓ４）。

【００２３】次に図７に示した装置と対応する基本周波
数抽出方法の実施例を図１０を参照して説明する。先の
場合と同様に図３乃至図５に示したこの発明による占有
度抽出方法により、入力信号からその占有度（スペクト
ル）Ｄ₀ （ω_c ）又はＤ_p （ω_c ）を抽出する（Ｓ
１）。次にこの実施例ではその占有度に対して、複数の
ある周波数ω₀ について、その整数倍の周波数に関する
占有度の和をそれぞれ求めて調波構造占有度Ｄ_t0（ω
₀ ）又はＤ_tp（ω₀ ）を求める（Ｓ２）。このステップ
Ｓ２は例えば各ω₀ をｑ倍（ｑ＝１，２，…）し（Ｓ２
ａ）、その各ｑ・ω₀ と最も近いω_c 、つまり占有度を
抽出する際に入力信号を狭い周波数帯域に分割した時の
各帯域の中心周波数ω₁ ,…，ω_n 中のｑ・ω₀ に最も
近いものを求める、そのω_c をω_cqと書く（Ｓ２ｂ）。
求めた各ω_cqの占有度Ｄ₀（ω_cq）又はＤ_p （ω_cq）を
求め（Ｓ２ｃ）、更にその各ω₀ についてその求めたＤ
₀ （ω_cq）又はＤ_p （ω_cq）の和Σ_qＤ₀ （ω_cq）又は
Σ_q Ｄ_p （ω_cq）を求め、つまり調波構造占有度Ｄ
_t0（ω₀ ）又はＤ_tp（ω₀ ）を得る（Ｓ２ｄ）。このよ
うにして求めた各ω₀ に対する調波構造占有度Ｄ_t0（ω
₀ ）又はＤ_tp（ω₀ ）中の最大のものを抽出し、その抽
出した最大のＤ_t0（ω₀ ）又はＤ_tp（ω ₀ ）のω₀ を基
本周波数Ｆ₀ とする（Ｓ３）。

【００２４】この図１０に示す方法においては図８を参
照して説明したと同様の変形例が考えられる。つまり図
１０中に破線で示すように、ステップＳ２の次に又は予
め、占有度Ｄ₀ （ω₁ ）〜Ｄ₀ （ω_n ）の平均値Ｄ_0AV
を計算し（Ｓ４）、各ω₀ についてその求めたＤ₀ （ω
_cq）と平均値Ｄ_0AVとの差の和Σ_q （Ｄ₀ （ω_cq）−Ｄ
_0AV）をＤ_t0（ω₀ ）として求め（Ｓ５）、これよりス
テップＳ３に移り、これらＤ_t0（ω₀ ）中の最大値を与
えるω₀ を求めてＦ₀ を得る。あるいはステップＳ２ｂ
の次に又は予め占有度Ｄ_p （ω₁ ）〜Ｄ_p （ω_n ）を時
系列として高域通過フィルタ処理を施し、ゆるやかに変
化する成分を除く、細かい変化成分のみからなるＤ′_p
（ω₁ ）〜Ｄ′_p （ω_n ）を求め（Ｓ６）、ステップＳ
２ｃではＤ_p （ω_cq）の代りにＤ′_p （ω_cq）を各ｑに
ついて求め、ステップＳ２ｄではＤ_tp＝Σ_q Ｄ′_p （ω
_cq）を計算してステップＳ３に移る。図６中に示したよ
うに、占有度の周期性を求め、その最大値を与える周期
Ｔ₀を求め、その逆数Ｆ₀ ＝１／Ｔ₀ を基本周波数とし
て求め、図６中に破線で示すように更に調波構造占有度
利用基本周波数抽出部３８によりＦ₀ の近傍の周波数を
ω₀ として、更に高い精度の基本周波数を求める構成と
することができる。基本周波数抽出方法においても図９
に破線で示すように、ステップＳ４の次にステップＳ４
で得られた基本周波数Ｆ₀ の近傍周波数、例えばＦ₀ ±
Ｆ₀ ×０．１の帯域の各周波数をω₀ として図１０に示
したステップＳ２以後の処理を行って、より精度が高い
基本周波数を求める（Ｓ５）ようにしてもよい。このス
テップＳ５では図１０中に破線で示した各種変形も適用
できる。

【００２５】変形実施例図１１にこの発明の基本周波数抽出装置の変形実施例を
示す。図６及び図７に示した装置と違う点は、占有周期
性演算部３２よりの占有度周期性Ｐ₀ （Ｔ₁ ）〜Ｐ₀
（Ｔ_n ）又は調波構造占有度演算部３５よりの占有度和
Ｄ_t0（ω₁ ）〜Ｄ _t0（ω_n ）あるいはＤ_tp（ω₁ ）〜Ｄ
_tp（ω_n ）は基本周期又は基本周波数平滑化部３７で時
間的に連続するように平滑化され、その平滑化された占
有度周期性又は占有度和が最大値抽出部３５又は３６へ
供給され、異常値に基づく誤抽出を防止するようにする
こともできる。つまり各時刻において求められた基本周
波数の抽出精度を、時間的な連続性を用いてさらに抽出
精度を向上するものである。これは、図９に示した基本
周波数抽出法の周期性、または、図１０に示した基本周
波数抽出法の調波構造に関する占有度の和の時系列に対
して、図９中のステップＳ２の次に破線で示すように、
また図１０中のステップＳ２ｄの次に破線で示すよう
に、平滑化処理ステップＳ７において、周波数ギャップ
の少ないピーク位置を時間軸に沿って追跡することで実
現する。

【００２６】このピーク追跡には、例えば、ダイナミッ
クプログラミング（以下ＤＰと呼ぶ）などの既知のアル
ゴリズムを適用できる。また、基本周波数抽出は、様々
な音声処理の前処理として想定されているため、ＤＰの
ようなバッチ処理ではなく逐次処理であることが望まし
い場合もある。この場合は、ＤＰのアルゴリズムを改良
した逐次ＤＰが適用できる。逐次ＤＰでは、各時刻にお
いて、すでに求められた現在時刻以前の周期性または占
有度の和の時系列に対して、通常のＤＰを実行して現在
の基本周波数を求める。この方法で、過去から現在にわ
たる周波数の連続性について考慮した現在時刻の基本周
波数推定ができる。しかも、もともとＤＰは、実行途中
において、現在時刻までの最適パスを更新する逐次アル
ゴリズムであるため、逐次ＤＰにしても通常のＤＰと比
べて余分な計算は発生しない。

【００２７】次に音源分離装置により分離した音源信号
の基本周波数抽出装置の実施例を図１２に示す。信号入
力部４１により２チャネル以上の音響信号が入力され、
これら複数チャネルの入力信号は音源分離装置４２で音
源と信号入力部との位置関係から目的音源信号が強調、
もしくは目的音源信号以外の音響信号が抑圧されて目的
音源信号が分離され、その分離された目的音源信号の基
本周波数が、図６、図７、図１１の何れかに示した基本
周波数抽出装置４３により抽出される。

【００２８】図１３にダミーヘッドマイクロフォンを用
いた音源分離装置４２の構成例を示す。各左右の耳の信
号入力部４１_L及び４１_Rから入力された２チャネルの入
力信号のそれぞれに対し、周波数解析部４２１_R，４２
１_Lにおいて例えば短時間フーリエ変換が施され、この
変換されたスペクトルにより、左右の各周波数ごとに信
号の強度と位相がそれぞれ求められ、その各周波数ごと
に左右の入力の強度差と位相差が強度差抽出部４２２、
位相差抽出部４２３でそれぞれ求められる。目的音源の
方向からくる音の強度差と位相差に関するダミーヘッド
の特性を使うと、各周波数ごとに、目的方向からくる音
の強度差と時間差の範囲が求められる。この性質を利用
して、目的方向周波数帯域選択部４２４，４２５で各周
波数で入力音がこの範囲に入っているかどうかを調べ、
目的方向周波数帯域信号通過部４２６で目的方向以外の
音の場合は、その周波数の入力信号を０と置き換える。
その結果得られる左右の信号に、短時間フーリエ逆変換
を施すことで、目的方向からくる音だけを分離すること
が出来る。この音源分離装置は例えばJ. Acoust. Soc.
Jpn(E)20, 2(1999)147〜149頁を参照されたい。

【００２９】こうして分離された音声信号は、いくつか
の周波数帯域の音を０に置き換えられているため、大き
なひずみを持った音信号である。しかしながら、雑音に
比べて強度の強い占有的な周波数成分を目的音信号が持
つときは、分離音信号にもそのままその成分は残されて
いる。したがって、この発明による占有度を用いた基本
周波数抽出法をそのまま適用することができ、音源分離
装置の雑音抑制効果に加えて、分離ひずみの影響も受け
にくい基本周波数抽出法を構成できる。なお、複数マイ
クロホンによる音源分離法は、独立成分分析法、ヌルビ
ームフォーマ法、ディレイサム法、ミント法など多数の
ものが知られている。どの方法を用いる場合も、分離音
信号に対しこの発明による占有度を用いる方法で基本周
波数を抽出することで、占有度が分離ひずみの影響を受
けにくい評価尺度であるため高精度の分離装置を構成す
ることが出来る。

【００３０】適応的な積分範囲決定方法図１９に、入力信号の概算基本周波数が得られていない
場合に、適応的に積分範囲を決定し基本周波数を抽出す
る処理手順を示す。まず、入力部から入力された入力信
号を占有度に基づく基本周波数抽出部が受け取り、式
（１）、（２）で求められる占有度を抽出する。この
際、式（２）で必要な積分範囲については、入力音に含
まれる音の基本周波数に共通に利用できる積分範囲（大
人の話者の発声の場合、約260Hz幅）を利用する。この
ようにして求められた占有度に対し、次に、同基本周波
数抽出部は調波構造占有度を求める。これは、例えば、
図８において説明した方法に関連して以下の式を用いて
計算される。

【数３】ここでｌは高調波の次数、ｒ（・）はｌ・ω₀を最も近
い周波数ｂｉｎの中心周波数ω_cに変換する関数、Ｅ
（Ｄ₀（ω_c））はＤ₀（ω_c）の全周波数にわたる平均値
である。同基本周波数抽出部はこうして求められた調波
構造占有度に関して、以下の式に従って、最大値を与え
る基本周波数の初期設定値を抽出する（Ｓ１）。

【数４】

【００３１】次に、こうして求められた初期基本周波数
に対して最適な積分範囲を積分範囲決定部２８が決定す
る（Ｓ２）。最適な積分範囲は、ＳＴＦＴの各周波数ｂ
ｉｎを中心として、基本周波数の初期推定値の60%〜100
%程度の範囲である。こうして求められた積分範囲を用
いて、同じ入力信号に対して、占有度に基づく基本周波
数抽出部は、基本周波数の初期設定と同じ方法で、占有
度、調波構造占有度、および最大値を抽出し、より正確
な基本周波数を抽出する（Ｓ３）。なお、占有度の抽出
は、基本周波数の初期設定値を求めるために式（２）を
計算する過程において、積分を部分的に行った時点の計
算途中結果を保存しておくことで、２回目には、式
（２）の計算をしなくても１回目の途中結果を利用する
ことができる。これにより計算コストを短縮することが
できる。

【００３２】占有度の代わりにパワースペクトルを用い
る基本周波数抽出法図２０、２１に、包絡成分を取り除いた入力信号のパワ
ーを用いる基本周波数抽出装置、処理手順を示す。ま
ず、前処理を用いて入力信号の周波数特性を基本周波数
抽出に適したものに変形する。これには、例えば、時系
列入力信号に対して高域通過フィルタを適用すること
で、低域の周波数を抑制して高域の周波数を強調する処
理や、逆に低域通過フィルタを適用して高域を抑制する
処理などがあげられる。周波数特性の変形を受けていな
い入力信号、または、その補正をする必要がない入力信
号の場合は、この処理は省略することができる。（以上
がＳ１の処理である。）次に、パワー抽出部５１が、入
力信号の周波数ω_c（ω_c1〜ω_cn）ごとにパワーＳ
（ω_c）²を計算する。これには、例えば、ＳＴＦＴの各
周波数ｂｉｎの出力の２乗をとることで計算することが
できる。

【００３３】次に、包絡成分除去部５２がそのパワーの
包絡成分を取り除く。これには、例えば次の方法を用い
ることができる。まず、各周波数のパワーＳ（ω_c）²を
周波数軸に沿って並べたもの（周波数特性と呼ぶ）に対
して、更に離散フーリエ変換を適用する。次に、この離
散フーリエ変換の低い周波数に相当する信号を０と置き
換えてから、離散逆フーリエ変換をかけて周波数特性に
相当する信号にもどす。このとき、得られる信号は、一
般に複素数になるため、この信号の実部を抽出したもの
が、包絡成分を除去したパワーとなる。

【００３４】次にこうして求めた包絡を取り除いたパワ
ーに対して、調波構造パワー抽出部５３が以下の式に基
づいて調波構造パワーＳ_t0（ω₀）²を抽出する。

【数５】ここで、ｌ（エル）は高調波の次数、ｒ（・）はｌ・ω
₀を最も近い周波数ｂｉｎの中心周波数ω_cに変換する関
数、Ｅ（Ｓ（ω_c））はＳ（ω_c）の全周波数にわたる平
均値（平均値抽出部５４）である。こうして求められた
調波構造パワーの最大値を最大値抽出部５５が抽出し、
以下の式に従って、最大値を与える基本周波数を抽出す
る。（以上がＳ２の処理である。）

【数６】なお、図２２に示したように、包絡成分抽出部を省略す
れば計算精度はやや落ちるが、その見返りとして計算コ
ストを削減することができる。

【００３５】精緻化した基本周波数抽出法図２３に、概算で求められている基本周波数Ｆ'₀をより
精緻化して求めるための機能構成を示す。入力信号を受
け取ると瞬時周波数抽出部６１は各周波数ごとに瞬時周
波数を抽出する。得られた瞬時周波数から不動点抽出部
６２は、以下の式を満たす不動点とその周波数φ’を抽
出する。

【数７】（ここで、φ₁’＞ω_c1 、 φ₂’＜ω_c2 ）ここで、ω_c1、ω_c2は、となりあった周波数ｂｉｎの中
心周波数（ω_c1＜ω_c2）、φ₁’，φ₂’はそれぞれの瞬
時周波数である。また、式（５）を計算する代わりに
φ’＝ω_c1、または、φ’＝ω_c2とすることで、計算精
度はやや落ちるが計算コストを少なくすることができ
る。上記の計算と並行して、占有度抽出部６３が各周波
数ｂｉｎの占有度を抽出する。概算基本周波数抽出部６
４において、概算基本周波数を抽出する際に占有度がす
でに計算されている場合には、この処理は必要ない。

【００３６】最後に、精緻化基本周波数抽出部６５は、
概算基本周波数Ｆ'₀の整数倍（＝ｉ）の周波数の近傍
（±10%程度）に含まれる不動点φ’∈Φ’（ｉ・
Ｆ'₀）（Φ’（Ｆ）は周波数Ｆの近傍にある不動点の集
合を表す。）を抽出するとともに、不動点の瞬時周波数
φ’を整数（＝ｉ）で割った値を基本周波数候補値とし
て、その平均値を各占有度Ｄ₀（ｒ（φ’））で重み付
けして計算することで、精緻化した基本周波数を求め
る。これには、以下の式に従い計算する。

【数８】ここで、ｃはすべての不動点の占有度を正の値にするた
めのバイアスで、εは任意の小さい正の値でよい。この
占有度を用いた基本周波数の精緻化法は、占有度の代わ
りに、パワ−抽出部５１で抽出したパワーもしくは包絡
成分除去部６８において包絡成分を取り除いたパワーを
用いることで、全く同様に構成することができる。図２
４にその機能構成を示す。

【００３７】上述した占有度抽出装置、基本周波数抽出
装置はそれぞれ、コンピュータによりプログラムを実行
させることにより、機能させることもできる。この場合
は実施例に示した何れかの占有度抽出方法をコンピュー
タに実行させるため占有度抽出プログラム、あるいは基
本周波数抽出方法をコンピュータに実行させるための基
本周波数抽出プログラムを、ＣＤ−ＲＯＭ、可撓性磁気
ディスクなどの記録媒体、又は通信回線を介してコンピ
ュータ内にインストールして行えばよい。

【００３８】

【発明の効果】図１５Ａ，１５Ｂに雑音のない場合と、
０ｄＢの白色雑音を加えた場合の音声について、各周波
数ｂiｎにおける占有度Ｄ₀ （ω_c ）を太い実線で示
す。この太い実線の占有度によれば図１５Ａより、各高
調波成分の中心付近の周波数においても鋭いピークがえ
られているのがわかる。また、図１５Ｂより、第３高調
波までは鋭いピークがあるが、第４高調波以上のピーク
が抑制されており、白色雑音の影響が大きいことがわか
る。これは、破線で示す対数パワースペクトルを目視で
評価した結果とよく一致しており、占有度が雑音の影響
を評価する適切な尺度であることを示している。

【００３９】図１７Ａに、白色雑音下での、図１７Ｂに
白色雑音と妨害音声下での目的音声の基本周波数抽出正
解率（抽出した基本周波数が正解値から±５％に入って
いる割合）を示す。目的音声には男女各２名（計４名）
が発話した３０種類の文（計１２０文）を用い、背景雑
音には、白色雑音単独（雑音−１）と、白色雑音にさら
に１名の妨害音声（男女各１名の計６０文）をくわえた
もの（雑音−２）を用いた。雑音−２では、２つの雑音
同士のパワーは同一とし、目的音声と片方の雑音とのパ
ワー比をＳＮＲとして記している。この発明で適応的に
積分範囲を決める方法（本発明１）、この発明で事前情
報（入力信号が男性か女性か）を用いる方法（本発明
２）、および、ケプストラム法（従来法）を、それぞれ
破線、太実線、□付破線で示した。なお、目的音声の正
解基本周波数は音声集音時に同時に収集したＥＧＧ（el
ectro glottal graph）波形から求めた。また占有度と
してＤ_p（ω_c ）を用いた。両図より、どの背景雑音下
でも本発明２が最も安定して基本周波数が抽出できてい
ることがわかる。また、本発明１も雑音の強度増加に応
じた性能劣化が少なく、０ｄＢ付近で、本発明２につい
で正解率が高い。このことから、占有度を用いることで
雑音に強い基本周波数抽出が行えているといえる。

【００４０】図１８に、０ｄＢの白色雑音下で、ケプス
トラム法（従来法）および占有度としてＤ_p （ω_c ）を
用いた本発明１で抽出した基本周波数の時系列を示す。
図１８Ａは正解を、図１８Ｂは従来法を、図１８Ｃは本
発明１をそれぞれ示す。正解値と比較して、ケプストラ
ム法では非常に誤差が大きいのに比べ、本発明１では安
定して正解に近い値が抽出されていることがわかる。図
２５に、背景雑音下における目的音声のＦ₀正解率（推
定したＦ₀が正解値から±５%に入っている割合）を示
す。目的音声には男女各２名（計４名）の30種類の文
（計120文）を用い、背景雑音には白色雑音とマルチト
ーカ雑音を用いた。マルチトーカ雑音はカクテルパーテ
ィ環境を模擬する雑音で、上記120文からランダムに選
んだ10個の発話を同時に重複して作成した。本発明のう
ち、占有度を用いて適応的に積分範囲を決定する基本周
波数抽出法（調波構造占有度を最大化に式（１）を利
用）と、占有度を用いて精緻化する方法とを組み合わせ
た基本周波数抽出法（proposedと表記）と、従来から知
られているケプストラム法を比較した。正解Ｆ₀は音声
収音時に同時に収集したＥＧＧ(electro glottal grap
h)信号から各Ｆ₀抽出法を用いて抽出し、雑音下の目的
音声から抽出したＦ₀と比較した。図より本発明が従来
法より各ＳＮＲ下で頑健にＦ₀抽出が行えている。

【００４１】図２６に、proposedで占有度Ｄ₀（ω_c）の
代わりに包絡成分を取り除いたパワーを用いる基本周波
数抽出法を利用した場合の結果を示す。抽出処理の前に
周波数特性の補正のために入力信号に高域通過フィルタ
処理を施さない方法(PowerSpec-1)、施す方法(PowerSpe
c-2)、および正解Ｆ₀を求める場合のみ高域通過フィル
タ処理を施す方法(PowerSpec-3)を比較した。結果は、P
owerSpec-3が一番よい。これは、包絡成分を取り除いた
信号のパワーを用いる方法では、正解Ｆ₀と目的音声の
Ｆ₀抽出のために前処理を変えなければならない場合が
あることを示している一方で、適切に、前処理を選択し
た場合は、背景雑音に対して頑健であることを示してい
る。

【図面の簡単な説明】

【図１】この発明による占有度抽出装置の実施例の機能
構成を示す図。

【図２】図１中の占有度演算部の具体例の機能構成を示
す図。

【図３】この発明による占有度抽出方法の実施例の手順
を示す流れ図。

【図４】図３中のステップＳ３における占有度処理の具
体的手順の例を示す流れ図。

【図５】図３中のステップＳ３における占有度演算処理
の具体的手順の他の例を示す流れ図。

【図６】この発明による基本周波数抽出装置の実施例の
機能構成を示す図。

【図７】この発明による基本周波数抽出装置の他の実施
例の機能構成を示す図。

【図８】図７中の調波構造占有度演算部３５の各具体例
の機能構成を示す図。

【図９】この発明による基本周波数抽出方法の実施例の
手順を示す流れ図。

【図１０】この発明による基本周波数抽出方法の他の実
施例の手順を示す流れ図。

【図１１】この発明による基本周波数抽出装置の実施例
の一部変形の機能構成を示す図。

【図１２】音源分離装置を備えるこの発明の基本周波数
抽出装置の実施例を示す図。

【図１３】図１２中の音源分離装置４２の具体例の機能
構成を示す図。

【図１４】従来の基本周波数抽出装置の機能構成を示す
図。

【図１５】有声音の瞬時周波数と対数パワースペクトル
と占有度の例を示す図。

【図１６】占有度スペクトルの周期性の例を示す図。

【図１７】従来技術およびこの発明による各基本周波数
抽出方法の正解率の実験結果を示す図。

【図１８】基本波抽出の実験結果を示し、Ａは正解、Ｂ
は従来法、Ｃはこの発明方法である。

【図１９】適応的な積分範囲決定方法、およびそれを利
用した基本周波数抽出方法の手順を示す流れ図。

【図２０】包絡成分を取り除いた入力信号のパワーを用
いる基本周波数抽出装置の機能構成を示す図。

【図２１】入力信号のパワー、もしくは包絡成分を取り
除いたパワーを用いる基本周波数抽出方法と、周波数特
性補正を組み合わせた基本周波数抽出方法の手順を示す
流れ図。

【図２２】入力信号のパワーを用いる基本周波数抽出装
置の機能構成を示す図。

【図２３】占有度を用いたより精緻化した基本周波数抽
出装置の機能構成を示す図。

【図２４】入力信号のパワー、もしくは包絡成分を取り
除いたパワーを用いた、より精緻化した基本周波数抽出
装置の機能構成を示す図。

【図２５】占有度を用いて適応的に積分範囲を決定する
基本周波数抽出方法と占有度を用いて精緻化する方法と
を組み合わせた基本周波数抽出方法と従来のケプストラ
ム法を比較する正解率の実験結果を示す図。

【図２６】包絡成分を取り除いたパワーを用いる基本周
波数抽出方法の高域通過フィルタ処理を施さない方法(P
owerSpec-1)、施す方法(PowerSpec-2)、正解を求める場
合のみ高域通過フィルタを施す方法(PowerSpec-3)にお
ける正解率の実験結果を示す図。

Claims

【特許請求の範囲】

【請求項１】各周波数帯域ごとに各時刻の入力信号の瞬
時周波数をそれぞれ抽出する瞬時周波数抽出部と、各周波数帯域の中心周波数における入力信号のパワーを
それぞれ抽出する信号パワー抽出部と、各中心周波数を中心として前後の帯域の各瞬時周波数と
その中心周波数の差を抽出する周波数差抽出部と、各中心周波数ごとに上記周波数差の和を計算して占有度
を求める占有度演算部とを具備する占有度抽出装置。
【請求項２】上記占有度演算部において上記前後の帯域
は入力信号の基本周波数の概算値により適応的に変更さ
れることを特徴とする請求項１記載の占有度抽出装置。
【請求項３】上記占有度演算部での周波数差の和はその
中心周波数の信号パワーで重み付けられていることを特
徴とする請求項１又は２記載の占有度抽出装置。
【請求項４】上記占有度演算部は、上記周波数差の２乗
を上記信号パワーで重み付き加算する重み付き加算部
と、上記前後の帯域の各周波数の信号パワーの和を求め
る加算部と、上記重み付き加算値を上記信号パワー和に
より割算する割算部と、その割算結果の逆数の対数を求
めて上記占有度とする逆数対数演算部とを備えることを
特徴とする請求項３記載の占有度抽出装置。
【請求項５】上記占有度演算部は上記中心周波数の信号
パワーの対数を演算する対数演算部と、その演算された
対数信号パワーと上記占有度とを加算して占有度として
出力する加算部とを備えることを特徴とする請求項４記
載の占有度抽出装置。
【請求項６】上記占有度演算部は上記周波数差の２乗を
上記信号パワーで重み付き加算する重み付き加算部と、
上記前後の帯域の各周波数の信号パワーの和を求める加
算部と、上記重み付き加算値を上記信号パワー和により
割算する割算部と、その割算結果で上記中心周波数の信
号パワーを割算する割算部と、その割算結果の対数を演
算して占有度として出力する対数演算部とを備えること
を特徴とする請求項３記載の占有度抽出装置。
【請求項７】請求項１乃至６の何れかに記載の占有度抽
出装置と、各周波数帯域の中心周波数と瞬時周波数が一致する周波
数である不動点を抽出する不動点抽出部と、基本周波数の概算値を計算する概算基本周波数抽出部
と、概算基本周波数を更に精緻化する基本周波数精緻化部と
を備え、前記基本周波数精緻化部では、概算基本周波数の整数倍
の周波数近傍に存在する不動点を選択して、その周波数
を整数で割って求められる基本周波数候補に対し、上記
占有度抽出装置で求められる占有度を重みとして平均を
とることで、より精緻化した基本周波数を抽出すること
を特徴とする基本周波数抽出装置。
【請求項８】請求項１乃至６の何れかに記載の占有度抽
出装置と、占有度抽出装置が抽出した占有度に対して、周波数軸上
での占有度の周期性を演算する周期性演算部と、上記占有度の周期性の最大値を与える周期を抽出してそ
の逆数を基本周波数として出力する最大値抽出部とを備
える基本周波数抽出装置。
【請求項９】上記基本周波数を含むその予め決められた
前後の周波数のそれぞれについて、その整数倍の周波数
に関する各占有度の和をそれぞれ求める調波構造占有度
演算部と、これら各占有度の和の最大値を抽出し、これ
と対応する周波数を基本周波数として出力する最大値抽
出部とを備えることを特徴とする請求項８記載の基本周
波数抽出装置。
【請求項１０】請求項１乃至６の何れかに記載の占有度
抽出装置と、占有度抽出装置が抽出した占有度に対して、複数のある
周波数についてこれとその整数倍の周波数に関する占有
度の和をそれぞれ求める調波構造占有度演算部と、これら占有度の和の最大値を抽出してこれと対応する周
波数を基本周波数として出力する最大値抽出部とを備え
る基本周波数抽出装置。
【請求項１１】請求項４記載の占有度抽出装置と、その占有度抽出装置が抽出した占有度の平均値を求める
平均値演算部と、上記占有度に対し、複数のある周波数について、これと
その整数倍の周波数に関する各占有度から上記平均値を
それぞれ減算した値の和を求める調波構造占有度演算部
と、上記減算値の和の最大値を抽出して、これと対応する周
波数を基本周波数として出力する最大値抽出部とを備え
る基本周波数抽出装置。
【請求項１２】請求項５又は６記載の占有度抽出装置
と、その占有度抽出装置が抽出した占有度を高域通過フィル
タ処理を行うフィルタ部と、上記フィルタ処理された占有度に対して、複数のある周
波数について、これとその整数倍の周波数に関する占有
度の和を求める調波構造占有度演算部と、上記占有度の和の最大値を抽出して、これと対応する周
波数を基本周波数として出力する最大値抽出部とを備え
る基本周波数抽出装置。
【請求項１３】上記占有度の周期性、もしくは上記和を
最大化する基本周波数が時間的に連続変化するように平
滑化を行う基本周波数平滑化部を有することを特徴とす
る請求項８〜１２の何れかに記載の基本周波数抽出装
置。
【請求項１４】音響信号を入力する２チャネル以上の信
号入力部と、音源と信号入力部の位置関係から目的音源
を強調、もしくは目的音源以外の音を抑制する音源分離
装置と、上記分離した目的音源の基本周波数を抽出する請求項８
〜１２の何れかに記載の基本周波数抽出装置とを具備す
る基本周波数抽出装置。
【請求項１５】占有度に基づき基本周波数を抽出する際
に、人の声の高さにかかわらず適用可能な積分範囲に基
づき基本周波数を初期推定する基本周波数初期推定部
と、求められた基本周波数の初期推定値から最適な積分範囲
を決定する積分範囲決定部とを備え、求められた最適な積分範囲を用いて高精度で基本周波数
を抽出することを特徴とする請求項８乃至１４に何れか
に記載の基本周波数抽出装置。
【請求項１６】各周波数ごとに入力信号のパワーを計算
するパワー抽出部と、各周波数のパワーの平均値を求める平均値演算部と、上記パワーに対し、複数のある周波数について、これと
その整数倍の周波数に関する各パワーから上記平均値を
それぞれ減算した値の和を求める調波構造パワー抽出部
と、上記減算値の和の最大値を抽出して、これと対応する周
波数を基本周波数として出力する最大値抽出部とを備え
たことを特徴とする基本周波数抽出装置。
【請求項１７】抽出した入力信号のパワーから、その周
波数特性の包絡を抽出し、これをパワーから取り除く包
絡成分除去部を備え、包絡成分を取り除いたパワーに対し、基本周波数を抽出
することを特徴とする請求項１６記載の基本周波数抽出
装置。
【請求項１８】すべての処理の前処理として、入力信号
の周波数特性を補正する周波数特性補正部を備えたこと
を特徴とする請求項１６又は１７記載の基本周波数抽出
装置。
【請求項１９】各周波数ごとに入力信号のパワーを計算
するパワー抽出部と、入力信号から各周波数帯域ごとの瞬時周波数を抽出する
瞬時周波数抽出部と、各周波数帯域の中心周波数と瞬時周波数が一致する周波
数である不動点を抽出する不動点抽出部と、基本周波数の概算値を計算する概算基本周波数抽出部
と、概算基本周波数を更に精緻化する基本周波数精緻化部と
を備え、上記基本周波数精緻化部では、概算基本周波数の整数倍
の周波数近傍に存在する不動点を選択して、その周波数
を整数で割って求められる基本周波数候補に対し、上記
パワー抽出部で求められるパワーを重みとして平均を取
ることで、より精緻化した基本周波数を抽出することを
特徴とする基本周波数抽出装置。
【請求項２０】各周波数帯域ごとに各時刻の入力信号の
瞬時周波数を抽出する瞬時周波数抽出過程と、各周波数帯域の中心周波数における入力信号のパワーを
それぞれ抽出する信号パワー抽出過程と、各中心周波数を中心として前後の帯域の各瞬時周波数と
その中心周波数の差を抽出する周波数差抽出過程と、中心周波数ごとに上記周波数差の和を計算して占有度を
それぞれ求める占有度演算過程とを有する占有度抽出方
法。
【請求項２１】上記占有度演算過程において、上記前後
の帯域を入力信号の基本周波数の概算値により適応的に
決定することを特徴とする請求項２０記載の占有度抽出
方法。
【請求項２２】上記占有度演算過程での周波数差の和
を、その中心周波数の信号パワーで重み付けて行うこと
を特徴とする請求項２０又は２１記載の占有度抽出方
法。
【請求項２３】上記占有度演算過程は、上記周波数差の
２乗を上記信号パワーで重み付き加算する過程と、上記
前後の帯域の各周波数の信号パワーの和を求める過程
と、上記重み付き加算値を上記信号パワー和により割算
する過程と、その割算結果の逆数の対数を求めて上記占
有度とする過程とを有することを特徴とする請求項２２
記載の占有度抽出方法。
【請求項２４】上記占有度演算過程は、上記中心周波数
の信号パワーの対数を演算する過程と、その演算された
対数信号パワーと上記占有度とを加算して占有度とする
過程とを有することを特徴とする請求項２３記載の占有
度抽出方法。
【請求項２５】上記占有度演算過程は、上記周波数差の
２乗を上記信号パワーで重み付き加算する過程と、上記
前後の帯域の各周波数の信号パワーの和を求める過程
と、上記重み付き加算値を上記信号パワー和により割算
する過程と、その割算結果で上記中心周波数の信号パワ
ーを割算する過程と、その割算結果の対数を演算して占
有度とする過程とを有することを特徴とする請求項２２
記載の占有度抽出方法。
【請求項２６】請求項２０乃至２５の何れかに記載の占
有度抽出方法を有し、各周波数帯域の中心周波数と瞬時周波数が一致する周波
数である不動点を抽出する不動点抽出過程と、基本周波数の概算値を計算する概算基本周波数抽出過程
と、概算基本周波数を更に精緻化する基本周波数精緻化過程
と、を備え、前記基本周波数精緻化過程では、概算基本周波数の整数
倍の周波数近傍に存在する不動点を選択して、その周波
数を整数で割って求められる基本周波数候補に対し、上
記占有度抽出方法で求められる占有度を重みとして平均
をとることで、より精緻化した基本周波数を抽出するこ
とを特徴とする基本周波数抽出方法。
【請求項２７】請求項２０〜２５の何れかに記載の占有
度抽出方法により占有度を求める過程と、これら占有度に対して、周波数軸上での占有度の周期性
を演算する過程と、これら演算された占有度の周期性の最大値を与える周期
を抽出して、その逆数を基本周波数とする過程とを有す
る基本周波数抽出方法。
【請求項２８】上記基本周波数を含むその予め決められ
た前後の周波数のそれぞれについて、その整数倍の周波
数に関する各占有度の和をそれぞれ求める過程と、これ
ら各占有度の和の最大値を抽出し、これと対応する周波
数を基本周波数とする過程とを有することを特徴とする
請求項２７記載の基本周波数抽出方法。
【請求項２９】請求項２０〜２５の占有度抽出方法によ
り、占有度を求める過程と、これら占有度に対して、複数のある周波数についてこれ
とその整数倍の周波数に関する占有度の和をそれぞれ求
める過程と、これら占有度の和の最大値を抽出して、これと対応する
周波数を基本周波数とする過程とを有する基本周波数抽
出方法。
【請求項３０】請求項２３記載の占有度抽出方法により
占有度を抽出する過程と、求めた占有度の平均値を求める過程と、上記占有度に対し、複数のある周波数について、これと
その整数倍の周波数に関する各占有度から上記平均値を
それぞれ減算した値の和を求める過程と、上記減算値の
和の最大値を抽出して、これと対応する周波数を基本周
波数とする過程とを有する基本周波数抽出方法。
【請求項３１】請求項２４又は２５記載の占有度抽出方
法により占有度を抽出する過程と、これら抽出した占有度の高域通過フィルタ処理を行う過
程と、上記フィルタ処理された占有度に対して、複数のある周
波数について、これとその整数倍の周波数に関する占有
度の和を求める過程と、上記占有度の和の最大値を抽出して、これと対応する周
波数を基本周波数とする過程とを有する基本周波数抽出
方法。
【請求項３２】上記占有度の周期性、もしくは上記和を
最大化する基本周波数が時間的に連続変化するように平
滑化を行う過程を有することを特徴とする請求項２７乃
至３１の何れかに記載の基本周波数抽出方法。
【請求項３３】音響信号を２チャネル以上の信号入力部
により入力する過程と、音源と信号入力部の位置関係から目的音源を強調、もし
くは目的音源以外の音を抑制する過程と、上記分離された目的音源の基本周波数を上記請求項２７
〜３２の何れかに記載の方法により抽出する過程とを有
する基本周波数抽出方法。
【請求項３４】占有度に基づき基本周波数を抽出する際
に、人の声の高さにかかわらず適用可能な積分範囲に基
づき基本周波数を初期推定する基本周波数初期推定過程
と、求められた基本周波数の初期推定値から最適な積分範囲
を決定する積分範囲決定過程と、求められた最適な積分範囲を用いて高精度で基本周波数
を抽出することを特徴とする請求項２７乃至３３の何れ
かに記載の基本周波数抽出方法。
【請求項３５】各周波数ごとに入力信号のパワーを計算
するパワー抽出過程と、各周波数のパワーの平均値を求める平均値演算過程と、上記パワーに対し、複数のある周波数について、これと
その整数倍の周波数に関する各パワーから上記平均値を
それぞれ減算した値の和を求める調波構造パワーを抽出
する調波構造パワー抽出過程と、上記減算値の和の最大値を抽出して、これと対応する周
波数を基本周波数として出力する最大値抽出過程と、を
備えたことを特徴とする基本周波数抽出方法。
【請求項３６】抽出した入力信号のパワーから、その周
波数特性の包絡を抽出し、これをパワーから取り除く包
絡成分除去過程と、包絡成分を取り除いたパワーに対し、基本周波数を抽出
することを特徴とする請求項３５記載の基本周波数抽出
方法。
【請求項３７】すべての処理の前処理として、入力信号
の周波数特性を補正する周波数特性補正過程を備えたこ
とを特徴とする請求項３５又は３６記載の基本周波数抽
出方法。
【請求項３８】各周波数ごとに入力信号のパワーを計算
するパワー抽出過程と、入力信号から各周波数帯域ごとの瞬時周波数を抽出する
瞬時周波数抽出過程と、各周波数帯域の中心周波数と瞬時周波数が一致する周波
数である不動点を抽出する不動点抽出過程と、基本周波数の概算値を計算する概算基本周波数抽出過程
と、概算基本周波数を更に精緻化する基本周波数精緻化過程
とを備え、上記基本周波数精緻化過程では、概算基本周波数の整数
倍の周波数近傍に存在する不動点を選択して、その周波
数を整数で割って求められる基本周波数候補に対し、上
記パワー抽出過程で求められるパワーを重みとして平均
を取ることで、より精緻化した基本周波数を抽出するこ
とを特徴とする基本周波数抽出方法。
【請求項３９】請求項２０〜２５の何れかに記載の占有
度抽出方法をコンピュータに実行させるための占有度抽
出プログラム。
【請求項４０】請求項２６〜３７の何れかに記載の基本
周波数抽出方法をコンピュータに実行させるための基本
周波数抽出プログラム。
【請求項４１】請求項３９記載の占有度抽出プログラム
を記録したコンピュータ読み取り可能な記録媒体。
【請求項４２】請求項４０記載の基本周波数抽出プログ
ラムを記録したコンピュータ読み取り可能な記録媒体。