JP2013250380A - 音響処理装置 - Google Patents

Abstract

【課題】長時間の音響信号を必要とせずに調波成分または非調波成分を推定する。
【解決手段】特徴抽出部３４は、音響信号ＳXのケプストラムＣ[n,t]を算定する。調波抑圧部３６は、特徴抽出部３４が算定したケプストラムＣ[n,t]のうち音響信号ＳXの調波構造に対応する高次域ＱBのピークを抑圧する。分離マスク生成部３８は、音響信号ＳXの調波成分または非調波成分を抑圧する分離マスクを調波抑圧部３６による処理結果に応じて生成する。信号処理部４０は、分離マスク生成部３８が生成した分離マスクを音響信号ＳXに作用させることで調波成分の周波数成分ＹH[f,t]と非調波成分の周波数成分ＹP[f,t]とを生成する。
【選択図】図１

Description

本発明は、音響信号を処理する技術に関する。

弦楽器の演奏音や人間の発声音等の調波成分と打楽器の演奏音等の非調波成分とが混合された音響信号を調波成分と非調波成分とに分離する技術が従来から提案されている。例えば非特許文献１や非特許文献２には、調波成分は時間軸方向に連続するのに対して非調波成分は周波数軸方向に連続するという相違（異方性）を仮定して、音響信号を調波成分と非調波成分とに分離する技術が開示されている。

N. Ono, et al., "Separation of a monaural audio signal into harmonic/percussive components by complementary diffusion on spectrogram", Proc. EUSIPCO2008, 2008 N. Ono, et al., "A real-time equalizer of harmonic and percussive components in music signals", Proc., ISMIR2008, pp.139-144, 2008

しかし、非特許文献１や非特許文献２の技術では、音響信号の時間軸方向の連続性を評価する必要があるから、音響信号の特定の時点に関する調波／非調波の解析には、音響信号のうちその時点の前後の相応の時間長にわたる区間が必要である。したがって、音響信号の一時的な保持に必要な記憶容量（バッファ）が増大するという問題や、実時間的な処理が困難であるという問題がある。以上の事情を考慮して、本発明は、長時間にわたる音響信号を必要とせずに音響信号の調波成分または非調波成分を推定することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の各要素と後述の各実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明に係る音響処理装置は、音響信号のケプストラムを算定する特徴抽出手段と、特徴抽出手段が算定したケプストラムのうち音響信号の調波構造に対応する高次域のピークを抑圧する調波抑圧手段と、音響信号の調波成分または非調波成分を抑圧する分離マスク（例えば調波推定マスクＭH[t]，非調波推定マスクＭP[t]）を調波抑圧手段による処理結果に応じて生成する分離マスク生成手段と、分離マスクを音響信号に作用させる信号処理手段とを具備する。以上の構成では、音響信号のケプストラムのうち調波成分の調波構造に対応する高次域のピークを抑圧した結果に応じて分離マスクが生成されるから、長時間にわたる音響信号を必要とせずに音響信号の調波成分または非調波成分を推定することが可能である。

本発明に係る音響処理装置の第１態様において、分離マスク生成手段は、音響信号の非調波成分を抑圧する調波推定マスクと調波成分を抑圧する非調波推定マスクとを分離マスクとして生成し、信号処理手段は、調波推定マスクを音響信号に作用させる第１処理手段（例えば第１処理部７２A）と、非調波推定マスクを音響信号に作用させる第２処理手段（例えば第２処理部７４A）とを含む。また、本発明に係る音響処理装置の第２態様において、分離マスク生成手段は、音響信号の非調波成分を抑圧する調波推定マスクを分離マスクとして生成し、信号処理手段は、調波推定マスクを音響信号に作用させて調波成分を推定する第１処理手段（例えば第１処理部７２B）と、第１処理手段が推定した調波成分を音響信号から抑圧して非調波成分を推定する第２処理手段（例えば第２処理部７４B）とを含む。

本発明の好適な態様において、分離マスク生成手段は、特徴抽出手段が算定したケプストラムの低次成分と調波抑圧手段がピークを抑圧した高次成分とを周波数領域に変換したスペクトル（例えば周波数成分Ｅ[f,t]）と、音響信号のスペクトル（例えば周波数成分Ｘ[f,t]）とに応じて分離マスクを生成する。以上の態様では、特徴抽出手段が算定したケプストラムの低次成分を高次成分とともに変換したスペクトルと音響信号のスペクトルとに応じて分離マスクが生成されるから、音響信号の包絡構造を処理前後で充分に維持することが可能である。

本発明の好適な態様において、調波抑圧手段は、高次域のケプストラムを０に近付ける。高次域のケプストラムを０に近付ける処理は、音響信号の振幅スペクトルのうち調波成分に対応する微細構造を抑圧する処理（すなわち振幅スペクトルを周波数軸方向に平滑化する処理）に相当する。非調波成分は周波数軸方向に連続するという傾向があるから、高次域のケプストラムを０に近付ける構成によれば、調波成分または非調波成分の分離精度を改善できるという利点がある。また、高次域のケプストラムを０に置換する構成によれば、調波抑圧手段の処理が簡素化されるという利点や、周波数領域への変換時に高次域に関する演算を省略できる（したがって処理負荷が軽減される）という利点がある。更に好適な態様において、調波抑圧手段は、高次域のうち低次側の第１範囲（例えば範囲ＱB1）についてはケフレンシの増加に対して連続的に変化する加重値によりケプストラムを調整して各ピークを抑圧し、高次域のうち第１範囲に対して高次側の第２範囲（例えば範囲ＱB2）についてはケプストラムを０に近付ける（例えば０または０付近の数値に置換する）。

本発明の好適な態様において、調波抑圧手段は、高次域のうち音響信号の音高に対応する特定の範囲内についてピークの抑圧を実行する。以上の態様では、高次域のうち音響信号の音高に応じた特定の範囲内についてピークの抑圧が実行されるから、高次域の全範囲にわたりピークを抑圧する構成と比較して、調波抑圧手段の処理負荷が軽減されるという利点がある。

本発明は、分離マスクを生成する音響処理装置（分離マスク生成装置）としても実施され得る。すなわち、本発明の別の態様に係る音響処理装置は、音響信号のケプストラムのうち音響信号の調波構造に対応する高次域のピークを抑圧する調波抑圧手段と、音響信号の調波成分または非調波成分を抑圧する分離マスクを調波抑圧手段による処理結果に応じて生成する分離マスク生成手段とを具備する。以上の構成によれば、長時間にわたる音響信号を必要とせずに分離マスクを生成することが可能である。

前述の各態様に係る係数設定装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラム（ソフトウェア）との協働によっても実現される。本発明のプログラムは、音響信号のケプストラムを算定する特徴抽出処理と、特徴抽出処理で算定したケプストラムのうち音響信号の調波構造に対応する高次域のピークを抑圧する調波抑圧処理と、音響信号の調波成分または非調波成分を抑圧する分離マスクを調波抑圧処理の結果に応じて生成する分離マスク生成処理と、分離マスクを音響信号に適用する信号処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の係数設定装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

第１実施形態に係る音響処理装置のブロック図である。 ケプストラムの低次域および高次域の説明図である。 第１実施形態の音響処理装置における調波抑圧部，分離マスク生成部および信号処理部のブロック図である。 第２実施形態の音響処理装置における調波抑圧部，分離マスク生成部および信号処理部のブロック図である。 第３実施形態の音響処理装置における調波抑圧部，分離マスク生成部および信号処理部のブロック図である。 変形例におけるピーク抑圧の説明図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。音響処理装置１００には信号供給装置２００が接続される。信号供給装置２００は、音響信号ＳXを音響処理装置１００に供給する。音響信号ＳXは、調波成分と非調波成分との混合音の波形を示す時間領域信号である。調波成分は、弦楽器または管楽器等の楽器の演奏音や人間の発声音等の調波性の音響成分を意味し、非調波成分は、打楽器の演奏音や各種の雑音（例えば空調設備の動作音や人混み内の雑踏音等の環境音）等の非調波性の音響成分を意味する。例えば、周囲の音響を収音して音響信号ＳXを生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号ＳXを取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ＳXを受信して音響処理装置１００に供給する通信装置が信号供給装置２００として採用され得る。

音響処理装置１００は、信号供給装置２００が供給する音響信号ＳXから音響信号ＳHおよび音響信号ＳPを生成する。音響信号ＳH（Ｈ：Harmonic）は、音響信号ＳXの調波成分を推定（非調波成分を抑圧）した時間領域信号であり、音響信号ＳP（Ｐ：Percussive）は、音響信号ＳXの非調波成分を推定（調波成分を抑圧）した時間領域信号である。音響処理装置１００が生成した音響信号ＳHおよび音響信号ＳPは、例えば選択的に放音装置（図示略）に供給されることで音波として放音される。

図１に示すように、音響処理装置１００は、演算処理装置１２と記憶装置１４とを具備するコンピュータシステムで実現される。記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置１４として任意に採用され得る。音響信号ＳXを記憶装置１４に記憶した構成（したがって信号供給装置２００は省略される）も好適である。

演算処理装置１２は、記憶装置１４に格納されたプログラムＰGMを実行することで、音響信号ＳXから音響信号ＳHおよび音響信号ＳPを生成するための複数の機能（周波数分析部３２，特徴抽出部３４，調波抑圧部３６，分離マスク生成部３８，信号処理部４０，波形生成部４２）を実現する。なお、演算処理装置１２の各機能を複数の装置に分散した構成や、演算処理装置１２の一部の機能を専用の電子回路（ＤＳＰ）が分担する構成も採用され得る。

周波数分析部３２は、音響信号ＳXの各周波数成分（周波数スペクトル）Ｘ[f,t]を時間軸上の単位区間毎に順次に算定する。記号ｆは、周波数軸上の１個の周波数（周波数ビン）を意味し、記号ｔは、時間軸上の１個の時点（単位区間）を意味する。各周波数成分Ｘ[f,t]の算定には、短時間フーリエ変換等の公知の周波数分析が任意に採用される。

特徴抽出部３４は、音響信号ＳXのケプストラムＣ[n,t]を単位区間毎に順次に算定する。ケプストラムＣ[n,t]は、以下の数式(1)で表現されるように、周波数分析部３２が算定した周波数成分Ｘ[f,t]（振幅|Ｘ[f,t]|）の対数の離散フーリエ変換で算定される。

数式(1)の記号ｎは、任意の１個のケフレンシ（quefrency）を意味し、記号Ｎは、離散フーリエ変換の点数を意味する。なお、数式(1)では実数ケプストラムの算定を例示したが、複素ケプストラムを算定することも可能である。

図２に示すように、音響信号ＳXのケプストラムＣ[c,t]の低次域（ケフレンシが低い領域）ＱAは、音響信号ＳXの振幅スペクトルの概略的な構造（以下「包絡構造」という）に対応し、高次域（ケフレンシが高い領域）ＱBは、音響信号ＳXの振幅スペクトルの微細な周期構造（以下「微細構造」という）に対応する。音響信号ＳXに含まれる調波成分の調波構造（基音成分と複数の倍音成分とが周波数軸上に等間隔に配列された倍音構造）は微細な周期構造である。したがって、調波成分の調波構造は、ケプストラムＣ[c,t]の高次域ＱBに優勢に反映されるという傾向がある。

図３は、第１実施形態における調波抑圧部３６，分離マスク生成部３８および信号処理部４０のブロック図である。調波抑圧部３６は、特徴抽出部３４が算定したケプストラムＣ[n,t]のうち微細構造に対応する高次域ＱBのピークを抑圧する要素であり、図３に例示されるように成分抽出部５２Aと抑圧処理部５４Aとを含んで構成される。成分抽出部５２Aは、音響信号ＳXのケプストラムＣ[n,t]から高次域ＱBの成分（以下「高次成分」という）ＣB[n,t]を抽出（リフタリング）する。具体的には、成分抽出部５２Aは、以下の数式(2)で表現されるように、ケフレンシｎが所定の閾値Ｌ（図２参照）を下回る低次域ＱAのケプストラムＣ[n,t]を０に置換することで高次成分ＣB[n,t]を算定する。

低次域ＱAと高次域ＱBとの境界に相当する閾値Ｌは、例えば、音響信号ＳXに想定される主要な調波成分のケプストラムＣ[n,t]が高次域ＱBに属するように実験的または統計的に事前に選定される。

図３の抑圧処理部５４Aは、成分抽出部５２Aが生成した高次成分ＣB[n,t]のピークを抑圧することで調波抑圧成分（ケプストラム）Ｄ[n,t]を生成する。前述のように音響信号ＳXの微細構造はケプストラムＣ[n,t]の高次域ＱBに優勢に寄与し、微細構造は、音響信号ＳXに含まれる調波成分の調波構造に基本的には由来する。すなわち、高次成分ＣB[n,t]のピークは音響信号ＳXの調波成分の調波構造に対応するという傾向がある。したがって、高次成分ＣB[n,t]のピークを抑圧した調波抑圧成分Ｄ[n,t]は、音響信号ＳXの調波成分を抑圧した成分に相当する。

第１実施形態の抑圧処理部５４Aは、以下の数式(3)で表現されるメディアンフィルタで調波抑圧成分Ｄ[n,t]を生成する。

数式(3)の関数median｛ ｝は、１個のケフレンシｎを中心とする(２ν＋１)個のケフレンシにわたる高次成分｛ＣB[n-ν,t]〜ＣB[n+ν,t]｝の中央値（メディアン）を意味する。したがって、高次成分ＣB[n,t]のピークを抑圧した調波抑圧成分Ｄ[n,t]が生成される。

図３の分離マスク生成部３８は、音響信号ＳXを調波成分と非調波成分とに分離するための分離マスクを調波抑圧部３６による処理結果（調波抑圧成分Ｄ[n,t]）に応じて単位区間毎に順次に生成する。第１実施形態の分離マスク生成部３８は、音響信号ＳXのうち非調波成分を抑圧して調波成分を抽出する分離マスク（以下「調波推定マスク」という）ＭH[t]と、音響信号ＳXのうち調波成分を抑圧して非調波成分を抽出する分離マスク（以下「非調波推定マスク」という）ＭP[t]とを単位区間毎に生成する。図３に示すように、第１実施形態の分離マスク生成部３８は、周波数変換部６２Aと生成処理部６４Aとを含んで構成される。

周波数変換部６２Aは、成分抽出部５２Aが生成した高次成分ＣB[n,t]と抑圧処理部５４Aが生成した調波抑圧成分Ｄ[n,t]とを周波数領域のスペクトルに変換する。ケプストラムをスペクトルに変換する処理は、例えば指数変換と離散フーリエ変換とを含んで構成される。具体的には、周波数変換部６２Aは、高次成分ＣB[n,t]に対する以下の数式(4)の演算で周波数成分Ａ[f,t]を算定し、調波抑圧成分Ｄ[n,t]に対する以下の数式(5)の演算で周波数成分Ｂ[f,t]を算定する。

以上の説明から理解されるように、周波数成分Ａ[f,t]は、音響信号ＳXの振幅スペクトルから包絡構造（低次域ＱAのケプストラムＣ[n,t]）を抑圧した振幅スペクトル（すなわち、調波成分および非調波成分の双方の微細構造を抽出した振幅スペクトル）に相当する。他方、周波数成分Ｂ[f,t]は、音響信号ＳXの振幅スペクトルから抽出された微細構造のうち調波成分の調波構造を抑圧した振幅スペクトル（すなわち、非調波成分の微細構造を抽出した振幅スペクトル）に相当する。

図３の生成処理部６４Aは、周波数変換部６２Aが生成した周波数成分Ａ[f,t]および周波数成分Ｂ[f,t]を利用して調波推定マスクＭH[t]と非調波推定マスクＭP[t]とを単位区間毎に生成する。調波推定マスクＭH[t]は、相異なる周波数に対応する複数の処理係数ＧH[f,t]の数値列である。同様に、非調波推定マスクＭP[t]は、相異なる周波数に対応する複数の処理係数ＧP[f,t]の数値列である。処理係数ＧH[f,t]および処理係数ＧP[f,t]は、音響信号ＳXの周波数成分Ｘ[f,t]に対するゲイン（スペクトルゲイン）に相当し、０以上かつ１以下の範囲内で可変に設定される。

具体的には、第１実施形態の生成処理部６４Aは、以下の数式(6)の演算で非調波推定マスクＭP[t]の各処理係数ＧP[f,t]を算定し、以下の数式(7)の演算で調波推定マスクＭH[t]の各処理係数ＧH[f,t]を算定する。

前述の通り、周波数成分Ａ[f,t]は、調波成分および非調波成分の双方の微細構造を抽出した振幅スペクトルに相当し、周波数成分Ｂ[f,t]は、微細構造から調波成分の調波構造を抑制した振幅スペクトルに相当するから、調波成分が優勢な周波数ｆでは周波数成分Ｂ[f,t]が周波数成分Ａ[f,t]と比較して小さい数値となり、非調波成分が優勢な周波数ｆほど周波数成分Ｂ[f,t]は周波数成分Ａ[f,t]に近付く。したがって、数式(6)から理解されるように、調波成分が優勢な周波数ｆ（すなわち調波成分に該当する可能性が高い周波数ｆ）ほど処理係数ＧP[f,t]は１以下の範囲内で小さい数値となり、非調波成分が優勢な周波数ｆほど処理係数ＧP[f,t]は１に近付く。また、数式(7)から理解されるように、非調波成分が優勢な周波数ｆ（すなわち処理係数ＧP[f,t]が大きい周波数ｆ）ほど処理係数ＧH[f,t]は１以下の範囲内で小さい数値となり、調波成分が優勢な周波数ｆほど処理係数ＧH[f,t]は１に近付く。

図１の信号処理部４０は、分離マスク生成部３８が生成した分離マスク（調波推定マスクＭH[t]，非調波推定マスクＭP[t]）を音響信号ＳXに作用させることで音響信号ＳHの各周波数成分ＹH[f,t]と音響信号ＳPの各周波数成分ＹP[f,t]とを生成する。図３に示すように、第１実施形態の信号処理部４０は、周波数成分ＹH[f,t]を生成する第１処理部７２Aと周波数成分ＹP[f,t]を生成する第２処理部７４Aとを含んで構成される。

第１処理部７２Aは、調波推定マスクＭH[t]を音響信号ＳXの周波数成分Ｘ[f,t]に作用させることで音響信号ＳHの周波数成分ＹH[f,t]を算定する。具体的には、第１処理部７２Aは、以下の数式(8)のように、調波推定マスクＭH[t]の各処理係数ＧH[f,t]を周波数成分Ｘ[f,t]に乗算することで周波数成分ＹH[f,t]を算定する。

調波成分が非調波成分に対して優勢な周波数ｆほど処理係数ＧH[f,t]は大きい数値に設定されるから、数式(8)の演算で算定される周波数成分ＹH[f,t]は、音響信号ＳXの非調波成分を抑圧して調波成分を抽出したスペクトルに相当する。

第２処理部７４Aは、非調波推定マスクＭP[t]を音響信号ＳXの周波数成分Ｘ[f,t]に作用させることで音響信号ＳPの周波数成分ＹP[f,t]を算定する。具体的には、第２処理部７４Aは、以下の数式(9)のように、非調波推定マスクＭP[t]の各処理係数ＧP[f,t]を周波数成分Ｘ[f,t]に乗算することで周波数成分ＹP[f,t]を算定する。

非調波成分が調波成分に対して優勢な周波数ｆほど処理係数ＧP[f,t]は大きい数値に設定されるから、数式(9)の演算で算定される周波数成分ＹP[f,t]は、音響信号ＳXの調波成分を抑圧して非調波成分を抽出したスペクトルに相当する。

図１の波形生成部４２は、信号処理部４０が生成する周波数成分ＹH[f,t]に対応する音響信号ＳHと周波数成分ＹP[f,t]に対応する音響信号ＳPとを生成する。具体的には、波形生成部４２は、単位区間毎の周波数成分ＹH[f,t]を短時間逆フーリエ変換で時間領域信号に変換して前後の単位区間について相互に連結することで音響信号ＳHを生成する。音響信号ＳPも同様の方法で各周波数成分ＹP[f,t]から生成される。

以上に説明した通り、第１実施形態では、音響信号ＳXのケプストラムＣ[n,t]のうち調波成分の調波構造に対応する高次域ＱBのピークを抑圧した結果（調波抑圧成分Ｄ[n,t]）に応じて分離マスク（調波推定マスクＭH[t]，非調波推定マスクＭP[t]）が生成されるから、長時間にわたる音響信号ＳXを必要とせずに音響信号ＳXの調波成分または非調波成分を推定することが可能である。したがって、音響信号ＳXの一時的な保持に必要な記憶容量（バッファ）を削減できるという利点や、処理遅延を充分に低減した実時間的な処理が可能であるという利点がある。

なお、非特許文献１や非特許文献２の技術では、時間軸方向に連続する音響成分を調波成分と推定するとともに周波数軸方向に連続する音響成分を非調波成分と推定して両成分が分離されるから、時間軸方向および周波数軸方向の双方に連続する成分（例えばハイハットドラムの演奏音）を適切に処理できないという問題がある。第１実施形態では、音響信号ＳXのケプストラムＣ[n,t]のうち調波成分の調波構造に対応する高次域ＱBのピークを抑圧することで分離マスクが生成されるから、時間軸方向および周波数軸方向の双方に連続する音響成分も高精度に調波成分と非調波成分とに分離できるという利点がある。

また、第１実施形態では、微細構造に対応する高次域ＱB内のケプストラムＣ[n,t]のピークを抑圧した調波抑圧成分Ｄ[n,t]から分離マスクが生成されるから、音響信号ＳXの包絡構造は分離処理の前後で維持される。したがって、音響信号ＳXの音質（包絡構造）を維持しながら音響信号ＳHおよび音響信号ＳPを生成できるという利点もある。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、第１実施形態で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図４は、第２実施形態における調波抑圧部３６，分離マスク生成部３８および信号処理部４０のブロック図である。調波抑圧部３６（成分抽出部５２B，抑圧処理部５４B）の構成および動作は第１実施形態と同様である。

第２実施形態の分離マスク生成部３８は、周波数変換部６２Bと生成処理部６４Bとを含んで構成される。周波数変換部６２Bは、第１実施形態の周波数変換部６２Aと同様に、調波成分および非調波成分の双方の微細構造を推定した高次成分ＣB[n,t]の周波数成分Ａ[f,t]と、高次成分ＣBから調波成分の微細構造を抑圧した調波抑圧成分Ｄ[n,t]の周波数成分Ｂ[f,t]とを生成する。生成処理部６４Bは、非調波成分の微細構造の推定結果に相当する周波数成分Ｂ[f,t]を雑音成分として周波数成分Ａ[f,t]から抑圧する（すなわち調波成分を推定する）ためのフィルタを調波推定マスクＭH[t]として単位区間毎に生成する。

具体的には、生成処理部６４Bは、以下の数式(10)で表現されるウィナー（Wiener）フィルタを調波推定マスクＭH[t]の処理係数ＧH[f,t]として算定する。数式(10)の記号max( )は、括弧内の最大値を採択する演算子を意味し、処理係数ＧH[f,t]を非負数に設定するための演算である。

なお、調波推定マスクＭH[t]の生成方法は以上の例示に限定されない。例えば、ＭＭＳＥ-ＳＴＳＡ（Minimum Mean-Square Error Short-Time Spectral Amplitude estimator）やＭＭＳＥ-ＬＳＡ（MMSE - Log Spectral Amplitude estimator）で生成された雑音抑圧用のフィルタを調波推定マスクＭH[t]として生成する構成や、仮決定法（ＤＤ：Decision-Directed）で推定された事前ＳＮＲに応じた雑音抑圧用のフィルタを調波推定マスクＭH[t]として生成する構成も採用され得る。

図４に示すように、第２実施形態の信号処理部４０は、第１処理部７２Bと第２処理部７４Bとを含んで構成される。第１処理部７２Bは、第１実施形態の第１処理部７２Aと同様に、分離マスク生成部３８（生成処理部６４B）が生成した調波推定マスクＭH[t]を音響信号ＳXの周波数成分Ｘ[f,t]に作用させる（例えば調波推定マスクＭH[t]を周波数成分Ｘ[f,t]に乗算する）ことで音響信号ＳHの周波数成分ＹH[f,t]を生成する。

第２処理部７４Bは、第１処理部７２Aが算定した周波数成分ＹH[f,t]を雑音成分として音響信号ＳXの周波数成分Ｘ[f,t]から抑圧する雑音抑圧処理で音響信号ＳPの周波数成分ＹP[f,t]を生成する。具体的には、第２処理部７４Bは、周波数成分ＹH[f,t]の抑圧用（非調波成分の推定用）のフィルタを非調波推定マスクＭP[t]として周波数成分Ｘ[f,t]と周波数成分ＹH[f,t]とから生成し（例えばＧP[f,t]＝｛|Ｘ[f,t]|²−|ＹH[f,t]|²｝／|Ｘ[f,t]|²）、第１実施形態の第２処理部７４Aと同様に非調波推定マスクＭP[t]を周波数成分Ｘ[f,t]に作用させることで周波数成分ＹP[f,t]を算定する。なお、非調波推定マスクＭP[t]の生成には、ＭＭＳＥ-ＳＴＳＡやＭＭＳＥ-ＬＳＡ等の公知の雑音抑圧技術も採用され得る。

第２実施形態においても第１実施形態と同様の効果が実現される。なお、以上の例示では、周波数成分Ａ[f,t]から周波数成分Ｂ[f,t]を抑圧するためのフィルタを調波推定マスクＭH[t]として生成したが、音響信号ＳXの周波数成分Ｘ[f,t]から周波数成分Ｂ[f,t]を抑圧するためのフィルタを調波推定マスクＭH[t]（例えばＧH[f,t]＝｛|Ｘ[f,t]|²−|Ｂ[f,t]|²｝／|Ｘ[f,t]|²）として生成することも可能である。

＜第３実施形態＞
図５は、第３実施形態における調波抑圧部３６，分離マスク生成部３８および信号処理部４０のブロック図である。第３実施形態の調波抑圧部３６は、成分抽出部５２Cと抑圧処理部５４Cとを含んで構成される。成分抽出部５２Cは、特徴抽出部３４が算定したケプストラムＣ[n,t]から低次成分ＣA[n,t]と高次成分ＣB[n,t]とを抽出する。高次成分ＣB[n,t]は、第１実施形態と同様に、ケフレンシｎが閾値Ｌを上回る高次域ＱBの成分であり、低次成分ＣA[n,t]は、ケフレンシｎが閾値Ｌを下回る低次域ＱAの成分（すなわち、音響信号ＳXの包絡構造が優勢に反映される成分）である。抑圧処理部５４Cは、第１実施形態の抑圧処理部５４Aと同様に、高次成分ＣB[n,t]のピークを抑圧することで調波抑圧成分Ｄ[n,t]を生成する。

第３実施形態の分離マスク生成部３８は、周波数変換部６２Cと生成処理部６４Cとを含んで構成される。周波数変換部６２Cは、成分抽出部５２Cが抽出した低次成分（すなわち特徴抽出部３４が算定したケプストラムＣ[n,t]の低次域ＱA）ＣA[n,t]と調波抑圧部３６（抑圧処理部５４C）による処理後の調波抑圧成分Ｄ[n,t]との双方を周波数領域に変換した周波数成分（振幅スペクトル）Ｅ[f,t]を生成する。例えば、低次成分ＣA[n,t]と高次成分ＣB[n,t]とを合成したケプストラムを振幅スペクトルに変換する構成や、低次成分ＣA[n,t]を変換した振幅スペクトルと高次成分ＣB[n,t]を変換した振幅スペクトルとを合成する構成が採用される。

第１実施形態の周波数成分Ｂ[f,t]は、音響信号ＳXのうち包絡構造（低次成分ＣA[n,t]）を除去した微細構造から調波成分の調波構造を抑圧した振幅スペクトルに相当するが、第３実施形態の周波数成分Ｅ[f,t]は、包絡構造および微細構造の双方を含む音響信号ＳXの全体から調波成分の調波構造を抑圧した振幅スペクトル（すなわち、調波成分および非調波成分の双方の包絡構造と非調波成分の微細構造とを反映した振幅スペクトル）に相当する。

第３実施形態の生成処理部６４Cは、周波数変換部６２Cが生成した周波数成分Ｅ[f,t]を雑音成分として音響信号ＳXの周波数成分Ｘ[f,t]から抑圧する（すなわち調波成分を推定する）ためのフィルタを調波推定マスクＭH[t]として単位区間毎に生成する。例えば、生成処理部６４Cは、以下の数式(11)で表現されるウィナーフィルタを調波推定マスクＭH[t]の処理係数ＧH[f,t]として算定する。

図５に示すように、第３実施形態の信号処理部４０は、第１処理部７２Cと第２処理部７４Cとを含んで構成される。第１処理部７２Cは、第２実施形態の第１処理部７２Bと同様に、分離マスク生成部３８（生成処理部６４C）が生成した調波推定マスクＭH[t]を音響信号ＳXの周波数成分Ｘ[f,t]に作用させることで音響信号ＳHの周波数成分ＹH[f,t]を生成する。第２処理部７４Cは、第２実施形態の第２処理部７４Bと同様に、第１処理部７２Cが算定した周波数成分ＹH[f,t]を雑音成分として音響信号ＳXの周波数成分Ｘ[f,t]から抑圧する雑音抑圧処理で音響信号ＳPの周波数成分ＹP[f,t]を生成する。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、特徴抽出部３４が算定したケプストラムＣ[n,t]の低次成分ＣA[n,t]が高次成分ＣB[n,t]とともに調波推定マスクＭH[t]の生成に利用されるから、低次成分ＣA[n,t]を加味しない第２実施形態と比較して、音響信号ＳXを高精度に調波成分と非調波成分とに分離できるという利点がある。

なお、ケプストラムＣ[n,t]の低次成分ＣA[n,t]を利用する第３実施形態の構成は、第１実施形態にも同様に適用され得る。例えば、分離マスク生成部３８は、周波数成分Ｅ[f,t]と周波数成分Ｘ[f,t]とに応じて非調波推定マスクＭP[t]を算定する（例えばＧP[f,t]＝Ｅ[f,t]／Ｘ[f,t]）とともに数式(7)の演算で調波推定マスクＭH[t]を算定する。信号処理部４０は、周波数成分Ｘ[f,t]に非調波推定マスクＭP[t]を作用させて音響信号ＳPを生成するとともに周波数成分Ｘ[f,t]に調波推定マスクＭH[t]を作用させて音響信号ＳHを生成する。

＜変形例＞
以上の各形態は多様に変形される。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）高次域ＱB内のケプストラムＣ[n,t]のピークを抑圧する方法は以上の例示（数式(3)のメディアンフィルタ）に限定されない。例えば、高次域ＱB内で所定の閾値を上回るケプストラムＣ[n,t]を閾値以下の数値に変更する閾値処理で高次域ＱB内のピークを抑圧することも可能である。ただし、数式(3)のメディアンフィルタを利用した構成によれば、閾値を設定する必要がない（したがって、閾値の適否により分離精度が変動する可能性がない）という利点がある。また、ケプストラムＣ[n,t]の移動平均の算定により高次域ＱB内のケプストラムＣ[n,t]を平滑化してピークを抑圧する構成も採用される。高次域ＱB内のケプストラムＣ[n,t]のピークを検出して各ピークを抑圧することも可能である。高次域ＱB内のピークの検出には、公知のピーク検出技術が任意に採用され得るが、例えば、高次域ＱB内のケプストラムＣ[n,t]を微分してケフレンシｎに対する変動量を解析する方法が好適である。

第３実施形態では、特徴抽出部３４が算定したケプストラムＣ[n,t]のうち高次域ＱBの成分を０に置換するとともに低次域ＱAの成分を維持することで調波抑圧部３６が調波抑圧成分Ｄ'[n,t]を生成し、周波数変換部６２Cが調波抑圧成分Ｄ'[n,t]を周波数領域に変換することで周波数成分Ｅ[f,t]を生成することも可能である。以上のように高次域ＱB内のケプストラムＣ[n,t]を０に置換する構成によれば、周波数変換部６２Cによる周波数領域への変換時に高次域ＱBに関する演算が省略され得るから、周波数変換部６２Cの処理負荷が軽減されるという利点がある。また、高次域ＱB内のケプストラムＣ[n,t]を０に置換する処理は、微細構造の除去（すなわち、周波数軸方向における振幅スペクトルの平滑化）に相当する。非特許文献１や非特許文献２に記載される通り、非調波成分は周波数軸方向に連続する傾向があるから、高次域ＱB内のケプストラムＣ[n,t]を０に置換することで振幅スペクトルを平滑化する構成によれば、調波成分と非調波成分との分離精度を改善することが可能である。以上に説明した振幅スペクトルの平滑化の効果は、高次域ＱB内のケプストラムＣ[n,t]を完全に０に置換する構成のほか、高次域ＱB内のケプストラムＣ[n,t]を０付近の所定値に置換する構成でも実現される。ケプストラムＣ[n,t]を０または０付近の数値に置換する処理は、ケプストラムＣ[n,t]を０に近付ける処理として包括される。

また、図６に例示されるように、所定の閾値ＱTHを境界として高次域ＱBを範囲ＱB1と範囲ＱB2とに区分し、範囲ＱB1および範囲ＱB2の各々にて別個の方法でピークを抑圧することも可能である。具体的には、調波抑圧部３６は、以下の数式(12)で算定される加重値Ｗ[n]を高次域ＱB内のケプストラムＣ[n,t]に乗算したうえで範囲ＱB1内のピークを抑圧することで調波抑圧成分Ｄ'[n,t]を生成する。

数式(12)および図６（実線）から把握されるように、高次域ＱBのうちケフレンシｎが閾値ＱTHを下回る範囲ＱB1では、ケフレンシｎの増加に対して加重値Ｗ[n]が１から０に減少するように加重値Ｗ[n]が設定される。数式(12)に例示された範囲ＱB1内の加重値Ｗ[n]の演算式はハニング窓の右半分に相当する。範囲ＱB1内のケプストラムＣ[n,t]については加重値Ｗ[n]の乗算後に例えば第１実施形態と同様の方法（数式(3)）でピークが抑圧される。他方、高次域ＱBのうちケフレンシｎが閾値ＱTHを上回る範囲ＱB2では、加重値Ｗ[n]を０に設定することでケプストラムＣ[n,t]が０に置換されてピークが抑圧される。なお、第３実施形態と同様に低次域ＱA内のケプストラムＣ[n,t]は維持される。

なお、以上の説明では、範囲ＱB1内でケフレンシｎの増加に対して加重値Ｗ[n]が単調減少する場合を例示したが、範囲ＱB1内での加重値Ｗ[n]の変化の態様は適宜に変更される。例えば、図６に破線で図示される通り、範囲ＱB1の低次側の端点から所定の地点ｎ0（例えば範囲ＱB1の中点）にかけてケフレンシｎの増加に対して加重値Ｗ[n]が連続的に増加し、地点ｎ0から範囲ＱB1の高次側の端点にかけてケフレンシｎの増加に対して加重値Ｗ[n]が連続的に減少するように、加重値Ｗ[n]を設定することも可能である。図６の破線の加重値Ｗ[n]をケプストラムＣ[n,t]に乗算したうえで範囲ＱB1内のピークが抑圧される。他方、範囲ＱB2内では、前述の例示と同様にケプストラムＣ[n,t]が０に近付けられる（典型的には０に置換される）。以上の構成によれば、範囲ＱB1内の中央付近（地点ｎ0付近）のケフレンシｎに対応する基本周波数の音響成分を選択的に強調することが可能である。以上の例示から理解されるように、図６（実線および破線）を参照して説明した本変形例は、高次域ＱB内の範囲ＱB1について、ケフレンシｎの増加に対して連続的に変化する加重値Ｗ[n]によりケプストラムＣ[n,t]を調整して各ピークを抑圧する構成として包括され、加重値Ｗ[n]の変化の態様は任意である。

（２）ケフレンシｎの全範囲のうち音響信号ＳXの音高（ピッチ）に対応する特定の範囲内にケプストラムＣ[n,t]のピークが偏在するという傾向がある。以上の傾向を考慮すると、高次域ＱBのうち音響信号ＳXの調波成分に想定される音高に対応する範囲内のケプストラムＣ[n,t]についてピークの抑圧（数式(3)）を実行し、高次域ＱB内の残余の範囲についてはピークの抑圧を省略することも可能である。また、音響信号ＳXから推定される音高に応じてピークの抑圧の範囲を可変に制御する（例えば推定音高を含む範囲をピーク抑圧の対象として設定する）ことも可能である。以上のように高次域ＱB内の特定の範囲内についてピークを抑圧する構成によれば、高次域ＱBの全範囲についてピークの抑圧を実行する前述の各形態と比較して抑圧処理部５４（５４A，５４B，５４C）の処理負荷が軽減されるという利点がある。また、音響信号ＳXの音高に応じた範囲内にケプストラムＣ[n,t]のピークが偏在するという前述の傾向を考慮すると、低次域ＱAと高次域ＱBとの境界に相当する閾値Ｌを音響信号ＳXの音高に応じて可変に制御する構成も好適である。

（３）高次成分ＣB[n,t]を抽出する方法（ケプストラムＣ[n,t]に対するリフタリングの方法）は前述の例示（数式(2)）に限定されない。例えば、以下の数式(13)の演算で高次成分ＣB[n,t]を算定することが可能である。

数式(13)においてケプストラムＣ[n,t]に作用する係数（加重値）α[n]は、例えば以下の数式(14)で表現される。

数式(14)では、閾値Ｌの低次側に位置する幅２Ｑ_Lの範囲（Ｌ−２Ｑ_L≦ｎ＜Ｌ）内の係数α[n]の軌跡がハニング窓で表現される。変数Ｑ_Lはハニング窓のサイズの半分に相当する。以上の説明から理解されるように、係数α[n]は、ケフレンシｎの低次域ＱA（（ｎ＜Ｌ−２Ｑ_L）で０に設定されるとともに所定の地点（ｎ＝Ｌ−２Ｑ_L）から閾値Ｌにかけて連続的に増加し、高次域ＱB（ｎ≧Ｌ）では１に設定される。前掲の数式(2)のように低次域ＱAのケプストラムＣ[n,t]を０に置換する構成では、ケプストラムＣ[n,t]の不連続な変動に起因したリプルが発生し得る。数式(13)および数式(14)の演算によれば、係数α[n]がケフレンシｎに対して連続的に変動するから、数式(2)で問題となるリプルを有効に防止できるという利点がある。

（４）前述の各形態では、音響信号ＳHまたは音響信号ＳPを選択的に再生する構成を例示したが、音響信号ＳHや音響信号ＳPに対する処理は以上の例示に限定されない。例えば、音響信号ＳHおよび音響信号ＳPの各々に別個の音響処理を実行したうえで混合して再生する構成が採用される。音響信号ＳHおよび音響信号ＳPの各々に対する音響処理としては音量調整や効果付与が例示される。音高調整（ピッチシフト）や時間軸圧伸（タイムストレッチ）等の音響処理を音響信号ＳHおよび音響信号ＳPの各々に個別に実行することも可能である。また、前述の各形態では、音響信号ＳHおよび音響信号ＳPの双方を生成する場合を例示したが、音響信号ＳHおよび音響信号ＳPの一方を生成する（他方の生成は省略する）構成や、調波推定マスクＭH[t]および非調波推定マスクＭP[t]の一方を生成する構成も採用され得る。

（５）本発明の利用の態様は任意である。例えば、非調波性の雑音成分を音響信号ＳXから除去する雑音抑圧装置に本発明は好適に利用される。具体的には、遠隔会議システム等の通信システムで授受される音響信号ＳXや音声録音装置（ボイスレコーダ）で収録された音響信号ＳXから、什器等の設備と物品との衝突音（「コツ」という音）や扉の開閉音，空調設備の動作音等の非調波性の雑音成分（非調波成分）を除去することが可能である。また、例えば音響空間内の雑音成分の特性を観測するために音響信号ＳXから非調波性の雑音成分を抽出することも可能である。

楽器の演奏音を収録した音響信号ＳXから特定の音響成分（調波成分／非調波成分）を抽出または抑圧する場合にも本発明が好適に利用される。例えば、音響信号ＳXのうち打楽器の演奏音やリズム音等の非調波性の打撃音を抽出または抑圧することが可能である。また、弦楽器や鍵盤楽器，管楽器等の調波性の楽器の演奏音は、発音が開始された直後の区間（アタック部）にて非調波成分となり、アタック部の経過後の区間（サステイン部）にて調波成分に維持されるという傾向がある。そこで、音響信号ＳXの楽器の演奏音のうちアタック部（非調波成分）およびサステイン部（調波成分）の一方を抽出または抑圧する場合にも本発明は好適に利用される。また、例えばエレキギターのディストーション音は非調波成分に該当するから、音響信号ＳXのうちエレキギターのディストーション音を抽出または抑圧する場合にも本発明を利用することが可能である。

（６）前述の各形態では、音響信号ＳXを音響信号ＳHと音響信号ＳPとに分離する要素（信号処理部４０）と、音響信号ＳXの分離に利用される分離マスクを生成する要素（調波抑圧部３６，分離マスク生成部３８）との双方を具備する音響処理装置１００を例示したが、分離マスクを生成する音響処理装置（分離マスク生成装置）としても本発明は特定される。例えば、分離マスク生成装置は、調波抑圧部３６と分離マスク生成部３８とを具備し、音響信号ＳX（または音響信号ＳXから算定される周波数成分Ｘ[f,t]やケプストラムＣ[n,t]）を外部装置から取得するとともに、前述の各形態と同様の方法で分離マスクを生成して外部装置に提供する。分離マスク生成装置と外部装置とは、例えばインターネット等の通信網を介して音響信号ＳXや分離マスクを授受する。外部装置は、分離マスク生成装置から提供された分離マスクを利用して音響信号ＳXを調波成分と非調波成分とに分離する。以上の例示から理解されるように、周波数分析部３２や特徴抽出部３４，信号処理部４０，波形生成部４２は、分離マスクの生成に必須の要件ではない。

１００……音響処理装置、１２……演算処理装置、１４……記憶装置、３２……周波数分析部、３４……特徴抽出部、３６……調波抑圧部、３８……分離マスク生成部、４０……信号処理部、４２……波形生成部、５２A，５２B，５２C……成分抽出部、５４A，５４B，５４C……抑圧処理部、６２A，６２B，６２C……周波数変換部、６４A，６４B，６４C……生成処理部、７２A，７２B，７２C……第１処理部、７４A，７４B，７４C……第２処理部。

Claims (5)

1. 音響信号のケプストラムを算定する特徴抽出手段と、
   前記特徴抽出手段が算定したケプストラムのうち前記音響信号の調波構造に対応する高次域のピークを抑圧する調波抑圧手段と、
   前記音響信号の調波成分または非調波成分を抑圧する分離マスクを前記調波抑圧手段による処理結果に応じて生成する分離マスク生成手段と、
   前記分離マスクを前記音響信号に作用させる信号処理手段と
   を具備する音響処理装置。
2. 前記分離マスク生成手段は、前記音響信号の非調波成分を抑圧する調波推定マスクと調波成分を抑圧する非調波推定マスクとを前記分離マスクとして生成し、
   前記信号処理手段は、
   前記調波推定マスクを前記音響信号に作用させる第１処理手段と、
   前記非調波推定マスクを前記音響信号に作用させる第２処理手段とを含む
   請求項１の音響処理装置。
3. 前記分離マスク生成手段は、前記音響信号の非調波成分を抑圧する調波推定マスクを前記分離マスクとして生成し、
   前記信号処理手段は、
   前記調波推定マスクを前記音響信号に作用させて調波成分を推定する第１処理手段と、
   前記第１処理手段が推定した調波成分を前記音響信号から抑圧して非調波成分を推定する第２処理手段とを含む
   請求項１の音響処理装置。
4. 前記分離マスク生成手段は、前記特徴抽出手段が算定したケプストラムの低次成分と前記調波抑圧手段がピークを抑圧した高次成分とを周波数領域に変換したスペクトルと、前記音響信号のスペクトルとに応じて前記分離マスクを生成する
   請求項１から請求項３の何れかの音響処理装置。
5. 前記調波抑圧手段は、前記高次域のうち低次側の第１範囲についてはケフレンシの増加に対して連続的に変化する加重値によりケプストラムを調整して各ピークを抑圧し、前記高次域のうち前記第１範囲に対して高次側の第２範囲についてはケプストラムを０に近付ける
   請求項１から請求項４の何れかの音響処理装置。

Images