JP2013164584A - 音響処理装置 - Google Patents

Abstract

【課題】音響信号から特定の成分を分離するときの処理遅延を低減する。
【解決手段】調波性評価部４０は、基本周波数が相違する複数の基底ベクトルを含む基底行列を適用した音響信号ｘ(t)の振幅スペクトルＸ[j,u]の非負値行列因子分解で係数行列を生成し、各周波数が音響信号ｘ(t)の基本周波数である尤度を係数行列から算定するとともに、尤度が高い調波成分を分離するための調波係数列Ｍh[u]と尤度が低い非調波成分を分離するための非調波係数列Ｍn[u]とを生成する。過渡性評価部５０は、各単位期間内での音響信号ｘ(t)の時間重心を単位帯域毎に算定し、時間重心に応じて検出した発音点を分離するための発音点係数列Ｍa[u]を生成する。係数列合成部６０は、音響信号ｘ(t)から打楽器音を分離するための処理係数列Ｍ[u]を調波係数列Ｍh[u]と非調波係数列Ｍn[u]と発音点係数列Ｍa[u]とから生成する。
【選択図】図１

Description

本発明は、音響信号の特定の成分を分離する技術に関し、特に、音響信号の打楽器音（パーカッシブ音）の分離に好適に採用される。

音響信号から打楽器音を分離（強調または抑圧）する技術が従来から提案されている。例えば非特許文献１や非特許文献２には、音響信号のスペクトログラムを表現する観測行列に対する非負値行列因子分解（NMF：Non-negative Matrix Factorization）で音響信号から打楽器音を分離する技術が開示されている。

M. Helen and T. Virtanen, "Separation of drums from polyphonic music using non-negative matrix factorization and support vector machine", in Proc. EUSIPCO. Citeseer, 2005, vol. 2005 O. Gillet and G. Richard, "Transcription and separation of drum signals from polyphonic music", Audio, Speech, and Language Processing, IEEE Transactions on, vol. 16, no 3, p. 529-540, 2008

しかし、非特許文献１や非特許文献２の技術に利用される一般的な非負値行列因子分解には、数秒程度の長時間にわたる音響信号のスペクトログラムが必要であるため、音響信号が入力されてから実際に分離が完了するまでの処理遅延が大きいという問題がある。以上の事情を考慮して、本発明は、音響信号から特定の成分を分離するときの処理遅延を低減することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の第１態様に係る音響処理装置は、音響信号から特定の成分が分離されるように周波数毎の係数値が設定された処理係数列（例えば処理係数列Ｍ[u]）を生成する装置であって、基本周波数が相違する音響のスペクトルを示す複数の基底ベクトル（例えば基底ベクトルＢ[c]）を含む基底行列を適用した音響信号の非負値行列因子分解により、各基底ベクトルの加重値を示す係数行列（例えば係数行列Ｇ[u]）を順次に生成する係数行列生成手段（例えば係数行列生成部４２）と、複数の周波数の各々が音響信号の基本周波数に該当する尤度（例えば尤度Ｌ[f,u]）を係数行列から算定する尤度算定手段（例えば尤度算定部４４）と、尤度が高い調波周波数と尤度が低い非調波周波数とに複数の周波数を選別し、音響信号のうち調波周波数の成分を強調するための調波係数列（例えば調波係数列Ｍh[u]）と非調波周波数の成分を強調するための非調波係数列（例えば非調波係数列Ｍn[u]）とを生成する第１係数列生成手段（例えば第１係数列生成部４６）と、各単位期間内での音響信号の波形の時間重心（例えば時間重心Ｔg[f,u]）を周波数軸上の単位帯域毎に算定する重心算定手段（例えば重心算定部５２）と、音響信号の各単位帯域内の成分の発音点を当該単位帯域の時間重心に応じて検出し、各発音点を分離するための発音点係数列（例えば発音点係数列Ｍa[u]）を検出結果に応じて生成する第２係数列生成手段（例えば第２係数列生成部５４）と、調波係数列と非調波係数列と発音点係数列とに応じて処理係数列を生成する係数列合成手段（例えば係数列合成部６０）とを具備する。

本発明の音響処理装置においては、相異なる基本周波数に対応する複数の基底ベクトルを含む既知の基底行列を適用した非負値行列因子分解（例えば音響信号の１個の単位期間の振幅スペクトルに対する非負値行列因子分解）で係数行列が算定され、係数行列から特定された尤度に応じて音響信号の各周波数の調波／非調波を選別した結果から調波係数列および非調波係数列が生成される。また、各単位期間内での音響信号の周波数帯域毎の波形の時間重心に応じて発音点係数列が生成される。すなわち、少なくとも１個の単位期間の音響信号から処理係数列を生成することが可能である。したがって、数秒単位の長時間にわたる音響信号が必要な非特許文献１や非特許文献２の技術と比較して処理遅延が低減されるという利点がある。なお、本発明の音響処理装置は、複数種の音響成分が混合された音響信号のうちアタック部（発音開始の直後の立上がり部）が顕著な非調波成分の分離に特に好適に利用される。アタック部が顕著な非調波成分の典型例としては打楽器音（パーカッシブ音）が例示され得る。

本発明の好適な態様において、第２係数列生成手段は、発音点係数列と、音響信号のうち各発音点に後続する減衰区間を分離するための減衰音係数列（例えば減衰音係数列Ｍd[u]）とを生成し、係数列合成手段は、調波係数列と非調波係数列と発音点係数列と減衰音係数列とに応じて処理係数列を生成する。以上の態様では、発音点に後続する減衰区間を分離するための減衰音係数列が発音点係数列とともに処理係数列に反映されるから、打撃操作後に音響が減衰しつつ継続する打楽器音も高精度に分離できるという利点がある。

ところで、発音点係数列のみを適用した分離処理では調波成分の発音点も分離される可能性がある。そこで、本発明の好適な態様の係数列合成手段は、調波係数列の係数値が所定の閾値（例えば閾値τ3）を下回る周波数の係数値が音響信号を維持する数値（例えば１）に設定され、調波係数列の係数値が閾値を上回る周波数の係数値が音響信号を抑制する数値（例えば０）に設定された補正係数列（例えば補正係数列Ｍr[u]）を生成する係数列変換手段（例えば係数列変換部６２）と、補正係数列と非調波係数列と発音点係数列とに応じて処理係数列を生成する合成処理手段（例えば合成処理部６４）とを含む。以上の態様では、調波係数列の係数値が閾値を上回る周波数（すなわち調波成分に該当する可能性が高い周波数）の係数値が音響信号を抑制する数値（例えば０）に設定された補正係数列が処理係数列に反映されるから、調波成分が打楽器音とともに分離される可能性を低減できるという利点がある。

本発明の好適な態様において、各基底ベクトルは、基本周波数が相違する調波構造を示す複数の調波構造モデル（例えば調波構造モデルＥ[j]）と、相異なる周波数帯域を示す複数の帯域モデル（例えば帯域モデルＵ[k]）との組合せ毎に用意され、尤度算定手段は、一の周波数の調波構造モデルに対応する各基底ベクトルについて算定された係数行列内の加重値を、当該調波構造モデルと複数の帯域モデルの各々との組合せに対応する複数の係数行列について加算することで、一の周波数の尤度を算定する。調波構造モデル帯域モデルとの各組合せに対応する複数の基底ベクトルを基底行列として適用した非負値行列因子分解で係数行列が生成され、係数行列から各周波数の尤度が算定されるから、音響信号が複数の調波成分を含む場合でも各周波数を高精度に調波周波数と非調波周波数とに選別できるという利点がある。

本発明の好適な態様において、第１係数列生成手段は、係数行列の複数の加重値のうち各調波周波数に対応する加重値を抽出して基底行列に乗算した調波成分（例えば調波成分Ｓh[j,u]）の強度に応じて調波係数列の各係数値を算定し、係数行列の複数の加重値のうち各非調波周波数に対応する加重値を抽出して基底行列に乗算した非調波成分（例えば非調波成分Ｓn[j,u]）の強度に応じて非調波係数列の各係数値を算定する。以上の態様によれば、調波係数列および非調波係数列を簡易な演算で生成できるという利点がある。

ところで、打楽器音に加えて低音域のベース音成分も例えば楽曲のリズムパートを画定するうえで音楽的に重要な要素である。しかし、非特許文献１や非特許文献２にはベース音成分の分離について言及されていない。以上の事情を考慮して、本発明の第２態様に係る音響処理装置は、音響信号から特定の成分が分離されるように周波数毎の係数値が設定された処理係数列を生成する装置であって、複数の周波数の各々が音響信号の基本周波数に該当する尤度を算定する尤度算定手段（例えば尤度算定部７２）と、音響信号のうち尤度が高い調波周波数の成分を強調するための調波係数列（例えば調波係数列Ｍh[u]）と、尤度が低い非調波周波数の成分を強調するための非調波係数列（例えば非調波係数列Ｍn[u]）と、周波数が所定値を下回る範囲内で尤度が高い成分を強調するためのベース係数列（例えばベース係数列Ｍb[u]）とを生成する第１係数列生成手段（例えば第１係数列生成部７４）と、調波係数列と非調波係数列とベース係数列とに応じて処理係数列を生成する係数列合成手段（例えば係数列合成部６０）とを具備する。第２態様の音響処理装置においては、周波数が所定値を下回る範囲内で尤度が高い成分（ベース音成分）を強調するためのベース係数列が調波係数列および非調波係数列に加えて生成されるから、調波成分および非調波成分に加えてベース音成分も音響信号から分離することが可能である。なお、好適な態様における調波係数列は、音響信号の調波性の音響成分のうちベース音成分以外の調波成分が強調されるように生成されるが、ベース音成分を包含する調波成分が強調されるように調波係数列を生成することも可能である。第２態様の具体例は例えば第２実施形態として後述される。

第２態様の好適例に係る音響処理装置は、各単位期間内での音響信号の波形の時間重心を周波数軸上の単位帯域毎に算定する重心算定手段と、音響信号の各単位帯域内の成分の発音点を当該単位帯域の時間重心に応じて検出し、各発音点を分離するための発音点係数列を検出結果に応じて生成する第２係数列生成手段とを具備し、第２係数列生成手段は、非調波係数列とベース係数列とに応じて加重した各単位帯域の時間重心の代表値（例えば代表値Ｔm[u]）が第１閾値（例えば閾値τm）を上回る単位期間について、加重前の時間重心が第２閾値（例えば閾値τ2）を上回る場合に発音点として検出する。以上の態様では、非調波係数列とベース係数列とに応じて加重された時間重心の代表値が第１閾値を上回る単位期間について、加重前の時間重心が第２閾値を上回る場合に発音点として検出される。したがって、非調波成分およびベース音成分の少なくとも一方が優勢な時点を発音点として検出できるという利点がある。加重後の複数の時間重心の代表値としては、中央値や平均値が好適である。なお、以上の態様の具体例は例えば第３実施形態として後述される。

以上の各態様に係る音響処理装置は、処理係数列の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。例えば、本発明の第１態様に係るプログラムは、音響信号から打楽器音が分離されるように周波数毎の係数値が設定された処理係数列を生成するためのプログラムであって、コンピュータに、基本周波数が相違する音響のスペクトルを示す複数の基底ベクトルを含む基底行列を適用した音響信号の非負値行列因子分解により、各基底ベクトルの加重値を示す係数行列を順次に生成する係数行列生成処理と、複数の周波数の各々が音響信号の基本周波数に該当する尤度を係数行列から算定する尤度算定処理と、尤度が高い調波周波数と尤度が低い非調波周波数とに複数の周波数を選別し、音響信号のうち調波周波数の成分を強調するための調波係数列と非調波周波数の成分を強調するための非調波係数列とを生成する第１係数列生成処理と、各単位期間内での音響信号の波形の時間重心を周波数軸上の単位帯域毎に算定する重心算定処理と、音響信号の各単位帯域内の成分の発音点を当該単位帯域の時間重心に応じて検出し、各発音点を分離するための発音点係数列を検出結果に応じて生成する第２係数列生成処理と、調波係数列と非調波係数列と発音点係数列とに応じて処理係数列を生成する係数列合成処理とを実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

本発明の好適な実施形態に係る音響処理装置のブロック図である。 解析処理部のブロック図である。 係数行列生成部による非負値行列因子分解の説明図である。 基底ベクトルの説明図である。 第１係数列生成部のブロック図である。 過渡性評価部のブロック図である。 時間重心が算定される単位帯域の説明図である。 時間重心および発音点の説明図である。 係数列合成部のブロック図である。 第２実施形態における調波性評価部のブロック図である。 第２実施形態における尤度系列の説明図である。 第２実施形態の尤度分離部が実行する処理のフローチャートである。

＜第１実施形態＞
図１は、本発明の好適な実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、相異なる音源が発音した複数種の音響の混合音を示す音響信号ｘ(t)を音響処理装置１００に供給する。具体的には、弦楽器や管楽器等の楽器の楽音や人間の発声音等の調波性の音響（調波成分）と、打楽器の演奏音等の非調波性の音響（非調波成分）との混合音を示す音響信号ｘ(t)が信号供給装置１２から音響処理装置１００に供給される。例えば周囲の音響を収音して音響信号ｘ(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号ｘ(t)を取得する再生装置や、通信網から音響信号ｘ(t)を受信する通信装置が信号供給装置１２として採用され得る。

音響処理装置１００は、信号供給装置１２が供給する音響信号ｘ(t)から音響信号ｙ(t)を生成する。音響信号ｙ(t)は、音響信号ｘ(t)のうち特定の成分を分離（強調または抑制）した信号である。本実施形態の音響処理装置１００は、音響信号ｘ(t)に含まれる打楽器音を強調（理想的には抽出）した音響信号ｙ(t)を生成する。放音装置１４（例えばスピーカやヘッドホン）は、音響処理装置１００が生成した音響信号ｙ(t)に応じた音波を再生する。

図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGMや演算処理装置２２が使用する各種の情報（例えば基底行列Ｂ）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置２４として任意に採用される。なお、音響信号ｘ(t)を記憶装置２４に格納した構成（したがって信号供給装置１２は省略される）も採用され得る。

演算処理装置２２は、記憶装置２４に記憶されたプログラムＰGMを実行することで、音響信号ｘ(t)から音響信号ｙ(t)を生成するための複数の要素（周波数分析部３２，解析処理部３４，信号処理部３６，波形合成部３８）として機能する。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。

周波数分析部３２は、音響信号ｘ(t)の振幅スペクトルＸ[j,u]を時間軸上の単位期間（フレーム）毎に順次に生成する。記号ｊは、周波数上に離散的に設定されたＪ個の周波数（周波数帯域）のうち任意の１個の周波数を示し（ｊ＝１〜Ｊ），記号ｕは、時間軸上の任意の１個の単位期間（時間軸上の特定の時点）を示す。振幅スペクトルＸ[j,u]の生成には短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを周波数分析部３２として採用することも可能である。

解析処理部３４は、音響信号ｘ(t)のうち打楽器音（パーカッシブ音）を分離するための処理係数列（マスク）Ｍ[u]を単位期間毎に順次に生成する。処理係数列Ｍ[u]は、相異なる周波数に対応するＪ個の係数値ｍ[j,u]（ｍ[1,u]〜ｍ[J,u]）の系列である。係数値ｍ[j,u]は、音響信号ｘ(t)の特性（振幅スペクトルＸ[j,u]）に応じて可変に設定される。具体的には、周波数軸上のＪ個の周波数のうち音響信号ｘ(t)にて打楽器音が優勢である周波数の係数値ｍ[j,u]ほど大きい数値に設定される。本実施形態では、係数値ｍ[j,u]が０以上かつ１以下の範囲内で可変に設定される場合を想定する。

信号処理部３６は、解析処理部３４が生成した処理係数列Ｍ[u]を音響信号ｘ(t)の振幅スペクトルＸ[j,u]に作用させる処理（以下「分離処理」という）で音響信号ｙ(t)の振幅スペクトルＹ[j,u]を単位期間毎に順次に生成する。各単位期間の振幅スペクトルＸ[j,u]の分離処理には、その振幅スペクトルＸ[j,u]から生成された処理係数列Ｍ[u]が適用される。具体的には、信号処理部３６は、以下の数式(1)で表現されるように、処理係数列Ｍ[u]の各係数値ｍ[j,u]を振幅スペクトルＸ[j,u]に乗算することで振幅スペクトルＹ[j,u]を算定する。すなわち、処理係数列Ｍ[u]の係数値ｍ[j,u]は、音響信号ｘ(t)のうち第ｊ番目の周波数の成分に対する利得（スペクトルゲイン）に相当する。

以上の説明から理解されるように、係数値ｍ[j,u]の数値１は、分離処理の前後にわたり音響信号ｘ(t)の強度を維持（強調）させる数値を意味し、係数値ｍ[j,u]の数値０は、分離処理により音響信号ｘ(t)を抑制（除去）させる数値を意味する。前述の通り、打楽器音が優勢な周波数の係数値ｍ[j,u]ほど１に近付くから、音響信号ｘ(t)の打楽器音を強調（抽出）した音響信号ｙ(t)の振幅スペクトルＹ[j,u]が信号処理部３６による分離処理で生成される。

図１の波形合成部３８は、信号処理部３６が生成した振幅スペクトルＹ[j,u]から時間領域の音響信号ｙ(t)を生成する。具体的には、波形合成部３８は、振幅スペクトルＹ[j,u]と音響信号ｘ(t)の位相スペクトルとから時間領域の波形信号を単位期間毎に生成し、相前後する単位期間について相互に連結することで音響信号ｙ(t)を生成する。波形合成部３８が生成した音響信号ｙ(t)が放音装置１４に供給されて音波として再生される。

解析処理部３４の具体的な構成を以下に説明する。図１に示すように、解析処理部３４は、調波性評価部４０と過渡性評価部５０と係数列合成部６０とを含んで構成される。解析処理部３４の各要素の具体的な構成および動作を以下に詳述する。

＜調波性評価部４０＞
調波性評価部４０は、音響信号ｘ(t)の調波性（基音成分と複数の倍音成分とで構成される調波構造の明瞭度）を評価した結果に応じて単位期間毎に調波係数列Ｍh[u]と非調波係数列Ｍn[u]とを生成する。調波係数列Ｍh[u]（ｈ：harmonic）は、相異なる周波数に対応するＪ個の係数値ｈ[j,u]（ｈ[1,u]〜ｈ[J,u]）の系列であり、非調波係数列Ｍn[u]（ｎ：non-harmonic）は、相異なる周波数に対応するＪ個の係数値ｎ[j,u]（ｎ[1,u]〜ｎ[J,u]）の系列である。各係数値ｈ[j,u]および各係数値ｎ[j,u]は、０以上かつ１以下の範囲内で可変に設定される。概略的には、調波係数列Ｍh[u]のうち音響信号ｘ(t)の調波性が高い成分の周波数の係数値ｈ[j,u]ほど大きい数値に設定され、非調波係数列Ｍn[u]のうち音響信号ｘ(t)の調波性が低い成分の周波数の係数値ｎ[j,u]ほど大きい数値に設定されるという傾向がある。

図２は、調波性評価部４０のブロック図である。図２に示すように、本実施形態の調波性評価部４０は、係数行列生成部４２と尤度算定部４４と第１係数列生成部４６とを含んで構成される。係数行列生成部４２は、周波数分析部３２が生成した振幅スペクトルＸ[j,u]の非負値行列因子分解で係数行列（アクティベーション行列）Ｇ[u]を単位期間毎に順次に生成する。すなわち、図３に示すように、基底行列Ｂと係数行列Ｇ[u]との積が振幅スペクトルＸ[j,u]に近似する（Ｘ[j,u]≒ＢＧ[u]）ように係数行列Ｇ[u]が生成される。

基底行列Ｂは、図３に示すように、相異なる基本周波数に対応する音響のスペクトル（調波構造）を示すＣ個の基底ベクトルＢ[c]（Ｂ[1]〜Ｂ[C]）を配列したＪ行Ｃ列の非負値行列であり、事前に用意されて記憶装置２４に記憶される。係数行列生成部４２は、記憶装置２４に記憶された基底行列Ｂを事前情報（教師情報）として利用した振幅スペクトルＸ[j,u]の非負値行列因子分解で係数行列Ｇ[u]を生成する。

具体的には、本実施形態の係数行列生成部４２は、以下の数式(2)で表現される更新式を所定回（例えば１５回）にわたり反復することで係数行列Ｇ[u]を算定する。数式(2)の記号○は、行列間の要素毎の乗算（アダマール積）を意味し、記号−（分数の括線）は、行列の要素毎の除算を意味する。また、記号.２は、行列の要素毎の自乗を意味し、記号Ｔは、行列の転置を意味する。係数行列Ｇ[u]の各要素の初期値（初回の数式(2)の演算に適用される係数行列Ｇ[u]の各要素の数値）は例えば乱数に設定される。

音響信号ｘ(t)の振幅スペクトルＸ[j,u]はＪ行１列の非負値行列（Ｊ次ベクトル）として表現されるから、係数行列生成部４２が生成する係数行列Ｇ[u]は、図３に示すように、Ｃ個の加重値ｇ[c,u]（ｇ[1,u]〜ｇ[C,u]）で構成されるＣ行１列の非負値行列（Ｃ次ベクトル）である。係数行列Ｇ[u]の第ｃ番目の加重値ｇ[c,u]は、基底行列Ｂの第ｃ列に位置する基底ベクトルＢ[c]のゲイン（Ｃ個の基底ベクトルＢ[1]〜Ｂ[C]の線形結合で振幅スペクトルＸ[j,u]を近似した場合における基底ベクトルＢ[c]の係数）を意味するスカラ量である。

記憶装置２４に格納される基底行列Ｂ（各基底ベクトルＢ[c]）について以下に詳述する。各基底ベクトルＢ[c]の生成には、周波数が経時的に変化する参照信号Ψ[n]が使用される。記号ｎは、時間軸上に離散的に設定された任意の１個の標本点を意味する。本実施形態の参照信号Ψ[n]は、図４の部分(A)に示すように、周波数が時間の経過とともに上昇するチャープ（chirp）信号である。参照信号Ψ[n]は、相異なる周波数に対応するＪ個の参照信号ψ[j,n]（ψ[1,n]〜ψ[J,n]）に時間軸上で区分される。なお、周波数に対する一次関数で表現される参照信号Ψ[n]や周波数に対して階段状に変化する参照信号Ψ[n]を利用することも可能である。

各参照信号ψ[j,n]について図４の部分(B)の調波構造モデルＥ[j]（Ｅ[1]〜Ｅ[J]）が生成される。調波構造モデルＥ[j]は、参照信号ψ[j,n]の周波数を基本周波数とした基本成分と各倍音周波数に対応する倍音成分とを周波数軸上に配置した調波構造（倍音構造）の振幅スペクトルに相当する。各参照信号ψ[j,n]の周波数は相違するから、Ｊ個の調波構造モデルＥ[1]〜Ｅ[J]の各々が示す調波構造（基本周波数および各倍音周波数）は相違する。また、図４の部分(C)には、相異なる周波数帯域を指定するＫ個の帯域モデルＵ[1]〜Ｕ[K]のうち第ｋ番目（ｋ＝１〜Ｋ）の帯域モデルＵ[k]が実線で図示され、他の帯域モデルＵ[k]が破線で併記されている。各帯域モデルＵ[k]は、特定帯域を選択的に通過させる帯域通過フィルタの周波数特性に相当する。

図４の部分(D)に示すように、基底行列Ｂの各基底ベクトルＢ[c]は、１個の調波構造モデルＥ[j]と１個の帯域モデルＵ[k]とを乗算した振幅スペクトルに相当する。Ｊ個の調波構造モデルＥ[1]〜Ｅ[J]とＫ個の帯域モデルＵ[1]〜Ｕ[K]とから１個の調波構造モデルＥ[j]と１個の帯域モデルＵ[k]とを選択する全通りの組合せについて基底ベクトルＢ[c]が用意される。したがって、調波構造モデルＥ[j]で規定される基本周波数と帯域モデルＵ[k]で規定される分布帯域との少なくとも一方は各基底ベクトルＢ[c]の間で相違し、基底行列Ｂを構成する基底ベクトルＢ[c]の個数（基底行列Ｂの列数）Ｃは、調波構造モデルＥ[j]の個数Ｊと帯域モデルＵ[k]の個数Ｋとの乗算値となる（Ｃ＝Ｊ×Ｋ）。

以上の条件で生成されたＣ個の基底ベクトルＢ[c]（Ｂ[1]〜Ｂ[C]）が基底行列Ｂとして記憶装置２４に記憶され、係数行列生成部４２による係数行列Ｇ[u]（加重値ｇ[1,u]〜ｇ[C,u]）の算定に使用される。以上の説明から理解されるように、相異なる調波構造を表現するＣ個の基底ベクトルＢ[1]〜Ｂ[C]のうち、音響信号ｘ(t)内の各調波成分に近似する調波構造を示す基底ベクトルＢ[c]の加重値ｇ[c,u]ほど大きい数値となる。なお、音響処理装置１００の演算処理装置２２が参照信号Ψ[n]から基底行列Ｂを生成して記憶装置２４に格納することも可能であるが、外部装置にて生成された基底行列Ｂが音響処理装置１００に供給されて記憶装置２４に格納される構成も好適である。

図２の尤度算定部４４は、Ｊ個の周波数の各々が音響信号ｘ(t)の各成分の基本周波数に該当する尤度（ピッチ尤度）Ｌ[j,u]（Ｌ[1,u]〜Ｌ[J,u]）を、係数行列生成部４２が生成する係数行列Ｇ[u]から単位期間毎に順次に生成する。具体的には、尤度算定部４４は、以下の数式(3)の演算で尤度Ｌ[j,u]を算定する。

数式(3)では、係数行列Ｇ[u]を構成するＣ個（(Ｊ×Ｋ)個）の加重値ｇ[1,u]〜ｇ[C,u]のうち、第ｊ番目の調波構造モデルＥ[j]と第ｋ番目の帯域モデルＵ[k]とから生成された基底ベクトルＢ[c]に対応する加重値ｇ[c,u]が、便宜的に記号ｇ[j,k,u]として表記されている。数式(3)から理解されるように、第ｊ番目の周波数の尤度Ｌ[j,u]は、係数行列Ｇ[u]を構成するＣ個の加重値ｇ[1,u]〜ｇ[C,u]のうち、その周波数の１個の調波構造モデルＥ[j]とＫ個の帯域モデルＵ[1]〜Ｕ[K]の各々との組合せのＫ個の基底ベクトルＢ[c]に対応するＫ個の加重値ｇ[j,1,u]〜ｇ[j,K,u]の加算値として算定される。前述のように、音響信号ｘ(t)内の調波成分に近似する調波構造を示す基底ベクトルＢ[c]の加重値ｇ[c,u]ほど大きい数値となるから、音響信号ｘ(t)のうち調波成分が優勢な周波数の尤度Ｌ[j,u]ほど大きい数値になるという傾向がある。したがって、尤度Ｌ[j,u]は、音響信号ｘ(t)のうち第ｊ番目の周波数の成分が調波成分に該当する確度の評価指標（調波性の尺度）として利用され得る。

図２の第１係数列生成部４６は、音響信号ｘ(t)のうち調波成分を強調するための調波係数列Ｍh[u]と非調波成分を強調するための非調波係数列Ｍn[u]とを、尤度算定部４４が周波数毎に算定した尤度Ｌ[j,u]（Ｌ[1,u]〜Ｌ[J,u]）に応じて単位期間毎に生成する。図５は、第１係数列生成部４６のブロック図である。図５に示すように、第１係数列生成部４６は、周波数選別部４６２と成分分離部４６４と係数設定部４６６とを含んで構成される。

周波数選別部４６２は、周波数軸上のＪ個の周波数を、音響信号ｘ(t)の調波成分が優勢な調波周波数と非調波成分が優勢な非調波周波数とに選別する。具体的には、尤度Ｌ[j,u]が高い周波数が調波周波数に選別され、尤度Ｌ[j,u]が低い周波数が非調波周波数に選別される。例えば、周波数選別部４６２は、各尤度Ｌ[j,u]を所定の閾値τ1と比較したうえで、Ｊ個の周波数のうち尤度Ｌ[j,u]が閾値τ1を上回る各周波数を調波周波数に選別し、尤度Ｌ[j,u]が閾値τ1を下回る各周波数を非調波周波数に選別する。

成分分離部４６４は、周波数選別部４６２による選別結果に応じて調波成分Ｓh[j,u]と非調波成分Ｓn[j,u]とを単位期間毎に生成する。具体的には、成分分離部４６４は、以下の数式(4A)のように、係数行列Ｇ[u]のうち各調波周波数に対応する加重値ｇ[c,u]を抽出した係数行列Ｇh[u]を基底行列Ｂに乗算することで調波成分Ｓh[j,u]を生成し、数式(4B)のように、係数行列Ｇ[u]のうち各非調波周波数に対応する加重値ｇ[c,u]を抽出した係数行列Ｇn[u]を基底行列Ｂに乗算することで非調波成分Ｓn[j,u]を生成する。

数式(4A)の係数行列Ｇh[u]は、係数行列生成部４２が生成した係数行列Ｇ[u]内のＣ個の加重値ｇ[c,u]のうち、各調波周波数を基本周波数とする基底ベクトルＢ[c]に対応した各加重値ｇ[c,u]の数値を維持し、残余の加重値ｇ[c,u]（すなわち非調波周波数に対応する加重値ｇ[c,u]）をゼロに変更したＣ行１列の行列（Ｃ次ベクトル）である。基底行列Ｂと係数行列Ｇ[u]との積が音響信号ｘ(t)の振幅スペクトルＸ[j,u]に近似するように係数行列Ｇ[u]は生成されるから、数式(4A)で算定される調波成分Ｓh[j,u]は、音響信号ｘ(t)に含まれる調波成分の振幅スペクトルの推定値に相当する。他方、数式(4B)の係数行列Ｇn[u]は、係数行列Ｇ[u]内のＣ個の加重値ｇ[c,u]のうち、各非調波周波数を基本周波数とする基底ベクトルＢ[c]に対応した各加重値ｇ[c,u]の数値を維持し、残余の各加重値ｇ[c,u]（すなわち調波周波数に対応する加重値ｇ[c,u]）をゼロに変更したＣ行１列の行列である。したがって、数式(4B)で算定される非調波成分Ｓn[j,u]は、音響信号ｘ(t)に含まれる非調波成分の振幅スペクトルの推定値に相当する。

図５の係数設定部４６６は、成分分離部４６４が生成した調波成分Ｓh[j,u]の強度と非調波成分Ｓn[j,u]の強度とに応じて調波係数列Ｍh[u]と非調波係数列Ｍn[u]とを生成する。具体的には、係数設定部４６６は、以下の数式(5A)の演算で調波係数列Ｍh[u]の各係数値ｈ[j,u]を算定し、以下の数式(5B)の演算で非調波係数列Ｍn[u]の各係数値ｎ[j,u]を算定する。

数式(5A)から理解されるように、調波係数列Ｍh[u]のＪ個の係数値ｈ[j,u]のうち音響信号ｘ(t)にて調波成分が優勢な周波数の係数値ｈ[j,u]ほど大きい数値に設定され、非調波係数列Ｍn[u]のＪ個の係数値ｎ[j,u]のうち音響信号ｘ(t)にて非調波成分が優勢な周波数（典型的には打楽器音が優勢な周波数）の係数値ｎ[j,u]ほど大きい数値に設定される。したがって、調波係数列Ｍh[u]の各係数値ｈ[j,u]を音響信号ｘ(t)の振幅スペクトルＸ[j,u]に乗算した場合には音響信号ｘ(t)の調波成分が強調され、非調波係数列Ｍn[u]の各係数値ｎ[j,u]を音響信号ｘ(t)の振幅スペクトルＸ[j,u]に乗算した場合には音響信号ｘ(t)の非調波成分が強調される。以上が調波性評価部４０の具体的な構成および動作である。

＜過渡性評価部５０＞
図１の過渡性評価部５０は、音響信号ｘ(t)の過渡性（信号強度の時間的な変動の度合）を評価した結果に応じて単位期間毎に発音点係数列Ｍa[u]と減衰音係数列Ｍd[u]とを生成する。発音点係数列Ｍa[u]（ａ：attack）は、音響信号ｘ(t)の各成分の発音点（transient）を強調（抽出）するための係数列であり、相異なる周波数に対応するＪ個の係数値ａ[j,u]（ａ[1,u]〜ａ[J,u]）を含んで構成される。概略的には、発音点係数列Ｍa[u]のうち音響信号ｘ(t)の各成分の発音点に対応する各係数値ａ[j,u]が１（音響信号ｘ(t)の強度を維持する数値）に設定され、残余の各係数値ａ[j,u]は０（すなわち音響信号ｘ(t)の強度を抑制する数値）に設定されるという傾向がある。他方、減衰音係数列Ｍd[u]（ｄ：decay）は、音響信号ｘ(t)の各成分の発音点に後続する減衰区間（すなわち各成分の強度が経時的に減衰する区間）を強調するための係数列であり、相異なる周波数に対応するＪ個の係数値ｄ[j,u]（ｄ[1,u]〜ｄ[J,u]）を含んで構成される。概略的には、減衰音係数列Ｍd[u]のうち音響信号ｘ(t)の各成分の減衰区間に対応する各係数値ｄ[j,u]が１に設定され、残余の各係数値ｄ[j,u]は０に設定されるという傾向がある。各係数値ａ[j,u]および各係数値ｄ[j,u]は、０以上かつ１以下の範囲内で可変に設定される。

図６は、過渡性評価部５０のブロック図である。図６に示すように、本実施形態の過渡性評価部５０は、重心算定部５２と第２係数列生成部５４とを含んで構成される。重心算定部５２は、図７のように周波数軸上の全帯域をＦ個の帯域（以下「単位帯域」という）Ｑ[1]〜Ｑ[F]に区分し、各単位帯域Ｑ[f]（ｆ＝１〜Ｆ）の時間重心Ｔg[f,u]（Ｔg[1,u]〜Ｔg[F,u]）を単位期間毎に算定する。例えば周波数軸上の全帯域が１５００Ｈｚ単位で区分されて１４個（Ｆ＝１４）の単位帯域Ｑ[f]が設定される。時間重心Ｔg[f,u]は、１個の単位期間内の音響信号ｘ(t)のうち第ｆ番目の単位帯域Ｑ[f]内の成分の波形の時間軸上の重心位置を意味する。重心算定部５２は、例えば以下の数式(6)の演算で時間重心Ｔg[f,u]を算定する。

数式(6)の記号Σqは、１個の単位帯域Ｑ[f]を図７のように音響信号ｘ(t)の振幅スペクトルＸ[j,u]のピーク毎に区分した各帯域ｑ[f]内での総和を意味し、記号ＥQ[ ]は、単位帯域Ｑ[f]内での平均を意味する。数式(6)の記号θx[j,u]は、音響信号ｘ(t)の位相角（位相スペクトル）を意味し、角周波数ωによる位相角θx[j,u]の微分（周波数軸上での位相角の変化率｛−Δθx[j,u]／Δω｝）は群遅延を意味する。数式(6)で算定される時間重心Ｔg[f,u]は、図８に示すように、単位期間の時間軸上の中心点Ｐc（Ｔg[f,u]＝０）と音響信号ｘ(t)のうち単位帯域Ｑ[f]内の成分の波形の重心点Ｐgとの距離（中心点Ｐcに対する偏心の度合）に相当する。

音響信号ｘ(t)の発音点の到来前および発音点の経過後の定常的な状態（音響信号ｘ(t)のエネルギーが安定した状態）では重心点Ｐgは中心点Ｐcと略一致する（Ｔg[f,u]≒０）。他方、音響信号ｘ(t)の発音点では重心点Ｐgが中心点Ｐcの後方（図面上の右方）に移動するから、重心算定部５２が算定する時間重心Ｔg[f,u]は、音響信号ｘ(t)の単位帯域Ｑ[f]内の成分の発音点にて瞬間的に増加する。以上の傾向を考慮して、本実施形態では、時間重心Ｔg[f,u]が所定の閾値τ2を上回る時点を発音点として検出する。

図６の第２係数列生成部５４は、重心算定部５２が算定した時間重心Ｔg[f,u]に応じて発音点係数列Ｍa[u]および減衰音係数列Ｍd[u]を生成する。図６に示すように、本実施形態の第２係数列生成部５４は、発音点係数列Ｍa[u]を生成する第１処理部５４２と減衰音係数列Ｍd[u]を生成する第２処理部５４４とを含んで構成される。

第１処理部５４２は、各単位帯域Ｑ[f]の時間重心Ｔg[f,u]が閾値τ2を上回る時点を発音点として検出し、音響信号ｘ(t)の各単位帯域Ｑ[f]内の発音点に対応する成分を分離するための発音点係数列Ｍa[u]を単位期間毎に生成する。具体的には、第１処理部５４２は、以下の数式(7)で表現される通り、周波数軸上のＦ個の単位帯域Ｑ[1]〜Ｑ[F]のうち時間重心Ｔg[f,u]が閾値τ2を上回る単位帯域Ｑ[f]（すなわち発音が開始された単位帯域Ｑ[f]）内の各周波数の係数値ａ[j,u]を１に設定し、残余の各周波数の係数値ａ[j,u]を０に設定した発音点係数列Ｍa[u]を生成する。したがって、発音点係数列Ｍa[u]を音響信号ｘ(t)の振幅スペクトルＸ[j,u]に乗算した場合には、音響信号ｘ(t)の各単位帯域Ｑ[f]内の成分の発音点が強調（抽出）される。

第２処理部５４４は、以下の数式(8)で表現される通り、現在（第ｕ番目）の単位期間を最後尾とするＮ個（Ｎは２以上の自然数）の単位期間にわたる時間重心Ｔg[f,u]の最大値max｛Ｔg[f,u]｝が閾値τ2を上回り（すなわち現在の単位期間が発音点の直後に位置し）、かつ、直前の単位期間からの時間重心Ｔg[f,u]の変化量ΔＴg[f,u]が負数（ΔＴg[f,u]＝Ｔg[f,u]−Ｔg[f,u-1]＜０）となる（すなわち、前回の発音点の到来後に新たな発音点が到来していない）単位帯域Ｑ[f]内の各周波数の係数値ｄ[j,u]を１に設定し、残余の各周波数の係数値ｄ[j,u]を０に設定した減衰音係数列Ｍd[u]を生成する。したがって、減衰音係数列Ｍd[u]を音響信号ｘ(t)の振幅スペクトルＸ[j,u]に乗算した場合には、音響信号ｘ(t)の各単位帯域Ｑ[f]内の成分のうち発音点の直後から時間重心Ｔg[f,u]が単調減少するＮ個以下の単位期間の集合が可変長の減衰区間として強調（抽出）される。以上が過渡性評価部５０の具体的な構成および動作である。

＜係数列合成部６０＞
図１の係数列合成部６０は、調波性評価部４０が生成した調波係数列Ｍh[u]および非調波係数列Ｍn[u]と、過渡性評価部５０が生成した発音点係数列Ｍa[u]および減衰音係数列Ｍd[u]とに応じた処理係数列Ｍ[u]（相異なる周波数に対応するＪ個の係数値ｍ[1,u]〜ｍ[J,u]の系列）を単位期間毎に順次に生成する。図９は、係数列合成部６０のブロック図である。図９に示すように、係数列合成部６０は、係数列変換部６２と合成処理部６４とを含んで構成される。

過渡性評価部５０による発音点係数列Ｍa[u]の生成には音響信号ｘ(t)の各成分の調波性が加味されないから、過渡性評価部５０が生成する発音点係数列Ｍa[u]を音響信号ｘ(t)の分離処理に適用した場合には、音響信号ｘ(t)の打楽器音の発音点に加えて調波成分（打楽器音以外の調波性の楽音）の発音点も強調される可能性がある。以上の傾向を考慮して、本実施形態の係数列変換部６２は、発音点係数列Ｍa[u]による調波成分の強調を抑制するための補正係数列Ｍr[u]を、調波性評価部４０（第１係数列生成部４６）が生成した調波係数列Ｍh[u]から生成する。

具体的には、係数列変換部６２は、以下の数式(9)で表現される通り、調波係数列Ｍh[u]の係数値ｈ[j,u]が所定の閾値τ3を下回る各周波数（すなわち調波成分に該当する可能性が低い周波数）の係数値ｒ[j,u]を１に設定し、係数値ｈ[j,u]が閾値τ3を上回る各周波数（すなわち調波成分に該当する可能性が高い周波数）の係数値ｒ[j,u]を０に設定する。

図９の合成処理部６４は、調波性評価部４０が生成した非調波係数列Ｍn[u]と、過渡性評価部５０が生成した発音点係数列Ｍa[u]および減衰音係数列Ｍd[u]と、係数列変換部６２が生成した補正係数列Ｍr[u]とに応じた処理係数列Ｍ[u]を単位期間毎に生成する。具体的には、合成処理部６４は、以下の数式(10)の演算で処理係数列Ｍ[u]を算定する。

数式(10)の記号〈 〉_0,1は、内部の数値を０以上かつ１以下の範囲内に制限する演算（例えば１を上回る数値を１に変換するとともに０を下回る数値を０に変換する演算）を意味する。数式(10)から理解されるように、処理係数列Ｍ[u]の係数値ｍ[j,u]は、補正係数列Ｍr[u]の係数値ｒ[j,u]と発音点係数列Ｍa[u]の係数値ａ[j,u]との乗算値に、発音点係数列Ｍa[u]の係数値ａ[j,u]と減衰音係数列Ｍd[u]の係数値ｄ[j,u]と非調波係数列Ｍn[u]の係数値ｎ[j,u]との乗算値を加算して０以上１以下の範囲内に制限した数値（ｍ[j,u]＝〈ｒ[j,u]ａ[j,u]＋ａ[j,u]ｄ[j,u]ｎ[j,u]〉_0,1）に設定される。すなわち、発音点係数列Ｍa[u]の係数値ａ[j,u]や減衰音係数列Ｍd[u]の係数値ｄ[j,u]が大きい（発音点および減衰区間に該当する可能性が高い）ほど、または、補正係数列Ｍr[u]の係数値ｒ[j,u]および非調波係数列Ｍn[u]の係数値ｎ[j,u]が大きい（非調波成分に該当する可能性が高い）ほど、処理係数列Ｍ[j,u]の係数値ｍ[j,u]は大きい数値に設定される。したがって、係数列合成部６０（合成処理部６４）が生成した処理係数列Ｍ[u]を音響信号ｘ(t)に作用させることで、音響信号ｘ(t)のうち調波性が低い成分の発音点および減衰区間（すなわち打楽器音）を強調した音響信号ｙ(t)が生成される。

以上に説明した本実施形態では、相異なる基本周波数に対応するＣ個の基底ベクトルＢ[1]〜Ｂ[C]を含む既知の基底行列Ｂを適用した音響信号ｘ(t)の非負値行列因子分解で係数行列Ｇ[u]が算定され、係数行列Ｇ[u]から特定された尤度Ｌ[j,u]に応じて音響信号ｘ(t)の各周波数の調波／非調波を判定した結果から調波係数列Ｍh[u]および非調波係数列Ｍn[u]が単位期間毎に生成される。また、単位期間内における音響信号ｘ(t)の時間重心Ｔg[f,u]に応じて発音点係数列Ｍa[u]および減衰音係数列Ｍd[u]が単位期間毎に生成される。以上の説明から理解されるように、１個の単位期間内の音響信号ｘ(t)から単位期間毎に処理係数列Ｍ[u]を生成することが可能である。したがって、数秒程度の長時間にわたる音響信号が必要な非特許文献１や非特許文献２の技術と比較して処理遅延が低減されるという利点がある。

なお、各単位期間内の時間重心Ｔg[f,u]に応じた発音点係数列Ｍa[u]および減衰音係数列Ｍd[u]のみを利用して処理係数列Ｍ[u]（Ｍ[u]＝Ｍa[u]○Ｍd[u]）を生成する構成では、音響信号ｘ(t)の調波成分が打楽器音とともに分離される可能性がある。本実施形態では、音響信号ｘ(t)の調波／非調波に応じた調波係数列Ｍh[u]および非調波係数列Ｍn[u]が処理係数列Ｍ[u]に反映されるから、音響信号ｘ(t)の調波成分が打楽器音とともに分離される可能性は低減される。すなわち、発音点係数列Ｍa[u]および減衰音係数列Ｍd[u]のみを利用する構成と比較して、音響信号ｘ(t)の打楽器音を高精度に分離することが可能である。本実施形態では特に、調波係数列Ｍh[u]から生成された補正係数列Ｍr[u]が処理係数列Ｍ[u]に反映されるから、発音点係数列Ｍa[u]の作用で調波成分が打楽器音とともに分離される可能性を充分に低減できるという利点がある。

また、本実施形態では、発音点に後続する減衰区間を分離するための減衰音係数列Ｍd[u]が発音点係数列Ｍa[u]とともに処理係数列Ｍ[u]に反映されるから、瞬間的にのみ音響が発生する打楽器音に加えて、打撃操作後に音響が減衰しつつ継続する打楽器音も高精度に分離できるという利点がある。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各構成において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第２実施形態の演算処理装置２２は、第１実施形態の調波性評価部４０（図２）に代えて図１０の調波性評価部７０として機能する。第１実施形態の調波性評価部４０は、音響信号ｘ(t)のうち調波成分を強調するための調波係数列Ｍh[u]と非調波成分を強調するための非調波係数列Ｍn[u]とを生成する。他方、第２実施形態の調波性評価部７０は、第１実施形態と同様の調波係数列Ｍh[u]および非調波係数列Ｍn[u]に加えて、音響信号ｘ(t)のうちベース音成分を強調するためのベース係数列Ｍb[u]を生成する。ベース音成分は、調波成分のうち基本周波数が低音域に位置する音響成分である。ベース係数列Ｍb[u]は、調波係数列Ｍh[u]や非調波係数列Ｍn[u]と同様に、相異なる周波数に対応するＪ個の係数値ｂ[j,u]（ｂ[1,u]〜ｂ[J,u]）の系列である。各係数値ｂ[j,u]は、０以上かつ１以下の範囲内で可変に設定される。概略的には、ベース係数列Ｍb[u]のうち音響信号ｘ(t)のベース音成分が優勢な周波数の係数値ｂ[j,u]ほど大きい数値に設定されるという傾向がある。

図１０に示す通り、第２実施形態の調波性評価部７０は、尤度算定部７２と第１係数列生成部７４とを含んで構成される。尤度算定部７２は、音響信号ｘ(t)の基本周波数の候補として事前に選定されたＩ個の周波数（以下「候補周波数」という）の各々に対応する尤度Ｌ[1,u]〜Ｌ[I,u]の系列（以下「尤度系列」という）Ｌ[u]を単位期間毎に順次に算定する。尤度系列Ｌ[u]は、図１１の部分(A)に例示される通り、Ｉ行１列の行列（Ｉ次ベクトル）である。尤度系列Ｌ[u]のうち第ｉ番目（ｉ＝１〜Ｉ）の尤度Ｌ[i,u]は、第ｉ番目の候補周波数が音響信号ｘ(t)の基本周波数に該当する確度を意味する。尤度算定部７２による各尤度Ｌ[i,u]の算定には、第１実施形態における尤度Ｌ[i,u]の算定と同様の方法（非負値行列因子分解）も採用され得るが、以下の説明では第１実施形態とは別個の方法を便宜的に例示する。なお、第１実施形態では、周波数軸上のＪ個の周波数のうち第ｊ番目の１個の周波数の振幅値を振幅スペクトルＸ[j,u]と表記したが、第２実施形態では、周波数軸上のＪ個の周波数にわたる振幅値の分布（相異なる周波数に対応するＪ個の振幅値の系列）を振幅スペクトルＸ[u]と便宜的に表記する。

図１１の部分(A)に示すように、所定の参照行列Ｗと尤度系列Ｌ[u]との乗算で音響信号ｘ(t)の振幅スペクトルＸ[u]を近似する場合を想定する。参照行列Ｗは、相異なる候補周波数に対応するＩ個の調波構造モデルＥ[1]〜Ｅ[I]を横方向に配列したＪ行Ｉ列の行列（ピッチモデル）である。１個の調波構造モデルＥ[i]は、第１実施形態（図４の部分(B)）と同様に、第ｉ番目の候補周波数を基本周波数として基音成分と複数の倍音成分とを周波数軸上に配列した調波構造の振幅スペクトル（周波数軸上のＪ個の周波数の各々における振幅値の系列）を表現する。以上の説明から理解される通り、尤度系列Ｌ[u]の各尤度Ｌ[i,u]を加重値とした各調波構造モデルＥ[i]の加重和として振幅スペクトルＸ[u]は近似的に表現される。

図１１の部分(B)に示すように、参照行列Ｗの逆行列Ｗ^-1（Ｉ行Ｊ列）を想定すると、尤度系列Ｌ[u]は、参照行列Ｗの逆行列Ｗ^-1と音響信号ｘ(t)の振幅スペクトルＸ[u]との乗算で表現される。以上の関係を利用して、第２実施形態の尤度算定部７２は、周波数分析部３２が算定した振幅スペクトルＸ[u]に参照行列Ｗの逆行列Ｗ^-1を乗算することで尤度系列Ｌ[u]を算定する。参照行列Ｗの逆行列Ｗ^-1は、例えば事前に用意された参照行列Ｗから算定されて参照行列Ｗとともに記憶装置２４に格納される。逆行列Ｗ^-1の算定には、例えばチーホノフ（Tikhonov）正則化が好適に利用される。チーホノフ正規化については、例えば、Ricard Marxer, Jordi Janer,"A TIKHONOV REGULARIZATION METHOD FOR SPECTRUM DECOMPOSITION IN LOW LATENCY AUDIO SOURCE SEPARATION",ICASSP IEEE (2012), p. 277-280にも詳述されている。

図１０の第１係数列生成部７４は、尤度算定部７２が算定した尤度系列Ｌ[u]を利用して調波係数列Ｍh[u]と非調波係数列Ｍn[u]とベース係数列Ｍb[u]とを単位期間毎に生成する。図１０に示すように、第２実施形態の第１係数列生成部７４は、尤度分離部７４２と成分分離部７４４と係数設定部７４６とを含んで構成される。

尤度分離部７４２は、尤度算定部７２が単位期間毎に算定した尤度系列Ｌ[u]から調波尤度系列Ｌh[u]と非調波尤度系列Ｌn[u]とベース尤度系列Ｌb[u]とを単位期間毎に順次に算定する。すなわち、尤度系列Ｌ[u]が調波成分と非調波成分とベース音成分とについて分離される。図１２は、尤度分離部７４２が実行する処理のフローチャートである。音響信号ｘ(t)の単位期間毎に図１２の処理が実行される。

図１２の処理を開始すると、尤度分離部７４２は、尤度系列Ｌ[u]の各尤度Ｌ[i,u]を加重値η[i]で加重する（Ｓ1）。例えば各尤度Ｌ[i,u]に加重値η[i]が乗算される。周波数軸上の高い周波数（基本周波数）に対応する加重値η[i]ほど小さい数値となるように、加重値η[i]は候補周波数に応じた数値に設定される。例えば、各候補周波数の逆数が加重値η[i]の好例である。

尤度分離部７４２は、加重後の尤度系列Ｌ[u]（η[1]Ｌ[1,u]〜η[I]Ｌ[I,u]）に存在する複数のピークのうち所定値ＦAを下回る低音域内で最優勢のピークの候補周波数をベース音成分の基本周波数Ｆ0_bとして特定する（Ｓ2）。例えば、低音域内に存在する複数のピークのうち加重後の尤度（η[i]Ｌ[i,u]）が最大となるピークの候補周波数が基本周波数Ｆ0_bとして特定される。音響信号ｘ(t)に想定されるベース音成分の基本周波数が低音域に包含されるように所定値ＦAは設定される。例えば所定値ＦAは１５０Ｈｚに設定され、１５０Ｈｚを下回る低音域内の複数の候補周波数からベース音成分の基本周波数Ｆ0_bが特定される。なお、ベース音成分の基本周波数Ｆ0_bを推定する方法は以上の例示に限定されず、公知の技術が任意に採用される。

以上の手順でベース音成分の基本周波数Ｆ0_bを特定すると、尤度分離部７４２は、尤度算定部７２が算定した尤度系列Ｌ[u]のうち基本周波数Ｆ0_bを含む所定の範囲内の周波数に対応する各尤度Ｌ[i,u]をゼロに設定するとともに残余の各尤度Ｌ[i,u]を維持することで尤度系列ＬA[u]を生成する（Ｓ3）。すなわち、尤度系列Ｌ[u]のうち音響信号ｘ(t)のベース音成分に起因する成分が尤度系列ＬA[u]では抑制（理想的には除去）される。尤度系列Ｌ[u]のうち尤度Ｌ[i,u]がゼロに変更される範囲は、例えば周波数分析部３２の短時間フーリエ変換に適用される窓関数の窓幅に応じて可変に設定される。そして、尤度分離部７４２は、尤度算定部７２が算定した尤度系列Ｌ[u]から尤度系列ＬA[u]を減算することでベース尤度系列Ｌb[u]（Ｌb[u]＝Ｌ[u]−ＬA[u]）を算定する（Ｓ4）。以上の説明から理解される通り、尤度分離部７４２が算定するベース尤度系列Ｌb[u]は、音響信号ｘ(t)のうちベース音成分の基本周波数Ｆ0_bにて大きい数値となるＩ個の係数（すなわちＩ個の候補周波数の各々がベース音成分の基本周波数Ｆ0_bに該当する尤度）の系列である。

尤度分離部７４２は、尤度算定部７２が算定した尤度系列Ｌ[u]から非調波尤度系列Ｌn[u]を生成する（Ｓ5）。具体的には、尤度分離部７４２は、尤度系列Ｌ[u]に存在する複数のピークの各々について、当該ピークに対応する候補周波数（すなわち、調波成分の基本周波数に該当する可能性が高い候補周波数）を含む所定の範囲内の各尤度Ｌ[i,u]をゼロに設定するとともに残余の各尤度Ｌ[i,u]を維持することで非調波尤度系列Ｌn[u]を生成する。すなわち、尤度系列Ｌ[u]のうち音響信号ｘ(t)の調波成分（ベース音成分を含む）に起因する成分が抑制（理想的には除去）され、非調波成分に起因する成分が相対的に強調（理想的には抽出）される。尤度系列Ｌ[u]のうち尤度Ｌ[i,u]がゼロに変更される範囲は、例えば周波数分析部３２による短時間フーリエ変換に適用される窓関数の窓幅に応じて可変に設定される。以上の説明から理解される通り、尤度分離部７４２が生成する非調波尤度系列Ｌn[u]は、音響信号ｘ(t)のうち調波成分の基本周波数以外の周波数（非調波成分の周波数）にて大きい数値となるＩ個の係数（すなわちＩ個の候補周波数の各々が非調波成分の周波数に該当する尤度）の系列である。

尤度分離部７４２は、尤度算定部７２が算定した尤度系列Ｌ[u]から調波尤度系列Ｌh[u]を生成する（Ｓ6）。具体的には、尤度分離部７４２は、ステップＳ4で算定したベース尤度系列Ｌb[u]とステップＳ5で算定した非調波尤度系列Ｌn[u]とを尤度系列Ｌ[u]から減算することで調波尤度系列Ｌh[u]（Ｌh[u]＝Ｌ[u]−Ｌb[u]−Ｌn[u]）を算定する。以上の説明から理解される通り、尤度分離部７４２が算定する調波尤度系列Ｌh[u]は、音響信号ｘ(t)のうち調波成分（ベース音成分を除く）の基本周波数にて大きい数値となるＩ個の係数（すなわちＩ個の候補周波数の各々が調波成分の基本周波数に該当する尤度）の系列である。以上が図１０の尤度分離部７４２の動作の具体例である。

図１０の成分分離部７４４は、尤度分離部７４２による演算結果（Ｌh[u]，Ｌn[u]，Ｌb[u]）に応じて調波成分Ｓh[j,u]と非調波成分Ｓn[j,u]とベース音成分Ｓb[j,u]とを単位期間毎に順次に生成する。具体的には、成分分離部７４４は、以下の数式(11A)の通り、記憶装置２４に格納された参照行列Ｗ（図１１の部分(A)）に調波尤度系列Ｌh[u]を乗算することで調波成分Ｓh[u]を生成する。同様に、成分分離部７４４は、非調波尤度系列Ｌn[u]を参照行列Ｗに乗算することで非調波成分Ｓn[u]を生成し（数式(11B)）、ベース尤度系列Ｌb[u]を参照行列Ｗに乗算することでベース音成分Ｓb[u]を生成する（数式(11C)）。

図１１の部分(A)を参照して説明した通り、参照行列Ｗに尤度系列Ｌ[u]を乗算することで音響信号ｘ(t)の振幅スペクトルＸ[u]が算定される。前述の通り、調波尤度系列Ｌh[u]のうち音響信号ｘ(t)の調波成分の基本周波数に対応する尤度Ｌ[i,u]ほど大きい数値に設定されるから、数式(11A)で算定される調波成分Ｓh[u]は、音響信号ｘ(t)のうちベース音成分を除く調波成分の振幅スペクトル（Ｊ行１列の行列）に相当する。同様に、数式(11B)の非調波成分Ｓn[u]は音響信号ｘ(t)の非調波成分の振幅スペクトルに相当し、数式(11C)のベース音成分Ｓb[u]は音響信号ｘ(t)のベース音成分の振幅スペクトルに相当する。

図１０の係数設定部７４６は、成分分離部７４４による処理結果を利用して調波係数列Ｍh[u]と非調波係数列Ｍn[u]とベース係数列Ｍb[u]とを単位期間毎に順次に生成する。具体的には、係数設定部７４６は、以下の数式(12A)の演算で調波係数列Ｍh[u]の各係数値ｈ[j,u]を算定し、数式(12B)の演算で非調波係数列Ｍn[u]の各係数値ｎ[j,u]を算定し、数式(12C)の演算でベース係数列Ｍb[u]の各係数値ｂ[j,u]を算定する。なお、以下の数式における記号Ｓh[j,u]は、調波成分（振幅スペクトル）Ｓh[u]のうち周波数軸上の第ｊ番目の周波数に対応する振幅値を意味する。同様に、記号Ｓn[j,u]は非調波成分Ｓn[u]の振幅値を意味し、記号Ｓb[j,u]はベース音成分Ｓb[u]の振幅値を意味する。

以上に説明した通り、第２実施形態の第１係数列生成部７４は、尤度算定部７２が算定した各尤度Ｌ[i,u]（尤度系列Ｌ[u]）に応じて調波係数列Ｍh[u]と非調波係数列Ｍn[u]とベース係数列Ｍb[u]とを生成する要素として機能する。なお、以上の例示では、調波成分Ｓh［u］がベース音成分を包含しない構成を例示したが、ベース音成分を含む調波性の音響成分を調波成分Ｓh［u］として推定することも可能である。例えば、前述のステップＳ6にて非調波尤度系列Ｌn[u]のみを尤度系列Ｌ[u]から減算することで調波尤度系列Ｌh[u]（Ｌh[u]＝Ｌ[u]−Ｌn[u]）を算定する構成が採用される。調波成分Ｓh[u]がベース音成分も包含する構成では、尤度系列Ｌ[u]のうち各ピーク以外の候補周波数をゼロに設定することで調波尤度系列Ｌh[u]を算定することも可能である。

第２実施形態の係数列合成部６０は、調波性評価部７０が生成した調波係数列Ｍh[u]，非調波係数列Ｍn[u]およびベース係数列Ｍb[u]と、過渡性評価部５０が生成した発音点係数列Ｍa[u]および減衰音係数列Ｍd[u]とに応じた処理係数列Ｍ[u]（係数値ｍ[1,u]〜ｍ[J,u]）を生成する。具体的には、係数列合成部６０は、以下の数式(13A)から数式(13H)の何れかの演算で処理係数列Ｍ[u]を生成する。例えば、数式(13A)から数式(13H)のうち利用者からの指示に応じて選択された演算式が処理係数列Ｍ[u]の生成に適用される。

数式(13A)における右辺の第１項｛Ｍt[u]○(Ｍb[u]＋Ｍn[u])｝は、非調波成分およびベース音成分の発音点の抽出に寄与し、第２項（Ｍd[u]○Ｍn[u]）は、非調波成分の減衰区間の抽出に寄与する。音響信号ｘ(t)のベース音成分には、打楽器音等の非調波成分と同様に、音楽のリズムの画定に優先的に寄与する（例えば楽曲の各拍点で発音される可能性が高い）という傾向がある。したがって、数式(13A)で算定される処理係数列Ｍ[u]は、楽曲の複数の演奏パートのうちベース音成分と打楽器等の非調波成分とで構成されるリズムパートを音響信号ｘ(t)から分離するように作用する。

数式(13B)で算定される処理係数列Ｍ[u]は、音響信号ｘ(t)のうちベース音成分以外の調波成分の分離に利用される。また、数式(13C)の処理係数列Ｍ[u]はベース音成分の分離に利用され、数式(13D)の処理係数列Ｍ[u]は非調波成分の分離に利用される。他方、数式(13E)の処理係数列Ｍ[u]は、音響信号ｘ(t)の各成分（調波／非調波は不問）の発音点を分離するように作用する。また、数式(13F)の処理係数列Ｍ[u]は、音響信号ｘ(t)の各成分（調波／非調波は不問）の発音点とともに減衰区間も分離するように作用する。

数式(13G)の処理係数列Ｍ[u]は、非調波成分の発音点の分離に利用され、数式(13H)の処理係数列Ｍ[u]は、非調波成分の発音点および減衰区間の分離に利用される。以上に例示した通り、各係数列（Ｍh[u]，Ｍn[u]，Ｍb[u]，Ｍt[u]，Ｍd[u]）を選択的に合成することで、音響信号ｘ(t)の各種の成分を分離（強調または抑圧）することが可能である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、音響信号ｘ(t)の調波成分および非調波成分に加えてベース音成分を分離できるという利点がある。

＜第３実施形態＞
音響信号ｘ(t)のベース音成分は、基本周波数が低音域に位置する調波成分に該当するが、音楽のリズムの画定に優先的に寄与する傾向があるという前述の音楽的な性質は、旋律を担当する調波成分よりも打楽器音等の非調波成分に類似する。以上のように楽曲のリズムパートとしてのベース音成分の側面に着目して、第３実施形態では、音響信号ｘ(t)の非調波成分およびベース音成分の双方の発音点において発音点係数列Ｍa[u]の係数値ａ[j,u]を増加させる。第３実施形態では、過渡性評価部５０の第２係数列生成部５４（第１処理部５４２）が発音点係数列Ｍa[u]を算定する動作が第１実施形態や第２実施形態とは相違する。そこで、以下では、第３実施形態における第１処理部５４２の動作の具体例を中心に説明する。なお、調波性評価部７０が調波係数列Ｍh[u]および非調波係数列Ｍn[u]に加えてベース係数列Ｍb[u]を生成する構成は第２実施形態と同様である。

第３実施形態の第１処理部５４２（図６）は、調波性評価部７０が算定した非調波係数列Ｍn[u]とベース係数列Ｍb[u]とに応じた加重値ν[j,u]を単位期間毎に算定する。具体的には、以下の数式(14)で表現される通り、非調波係数列Ｍn[u]の各係数値ｎ[j,u]とベース係数列Ｍb[u]の各係数値ｂ[j,u]との加算値が加重値ν[j,u]として周波数毎に算定される。したがって、係数値ｎ[j,u]および係数値ｂ[j,u]の一方が大きい（非調波成分およびベース音成分の少なくとも一方が音響信号ｘ(t)にて優勢である）ほど加重値ν[j,u]は大きい数値に設定される。

第２係数列生成部５４の第１処理部５４２は、重心算定部５２が算定した時間重心Ｔg[f,u]を数式(14)の加重値ν[j,u]により加重することで各単位帯域Ｑ[f]の時間重心Ｔw[f,u]を単位期間毎に算定する。具体的には、第１処理部５４２は、以下の数式(15)の演算で加重後の時間重心Ｔw[f,u]を算定する。数式(15)から理解される通り、加重値ν[j,u]が大きい（非調波成分およびベース音成分の一方が優勢である）ほど時間重心Ｔw[f,u]は加重前の時間重心Ｔg[f,u]と比較して大きい数値に調整される。

第１処理部５４２は、相異なる単位帯域Ｑ[f]に対応するＦ個の加重後の時間重心Ｔw[f,u]（Ｔw[1,u]〜Ｔw[F,u]）の代表値Ｔm[u]を算定する。例えば時間重心Ｔw[1,u]〜Ｔw[F,u]の平均値や中央値（メディアン）が代表値Ｔm[u]として好適である。そして、第１処理部５４２は、前掲の数式(7)に代えて、以下の数式(7A)の演算で発音点係数列Ｍa[u]の各係数値ａ[j,u]を算定する。

すなわち、数式(7A)から理解される通り、代表値Ｔm[u]が閾値τmを上回る単位期間では、加重前の時間重心Ｔg[f,u]が閾値τ2（例えばτ2＝０.３）を上回る単位帯域Ｑ[f]内の各周波数の係数値ａ[j,u]が１に設定される（すなわち発音点として検出される）とともに残余の各係数値ａ[j,u]が０に設定される。他方、代表値Ｔm[u]が閾値τmを下回る単位期間では、時間重心Ｔg[f,u]と閾値τ2との間の大小に関わらず係数値ａ[j,u]は０に設定される。閾値τmは、所定の正数に設定される。閾値τ2を上回る数値（例えば０.４）が閾値τmとして好適である。

第３実施形態においても第１実施形態や第２実施形態と同様の効果が実現される。また、第３実施形態では、非調波係数列Ｍn[u]とベース係数列Ｍb[u]とに応じた加重値ν[j,u]で時間重心Ｔg[f,u]を加重した時間重心Ｔw[f,u]の代表値Ｔm[u]が閾値τmを上回る場合に、時間重心Ｔgが閾値τ2を上回る単位帯域Ｑ[f]内の各周波数の係数値ａ[j,u]が１に設定される。したがって、音響信号ｘ(t)の非調波成分およびベース音成分の少なくとも一方が優勢な単位期間において各成分の発音点を検出できるという利点がある。

＜変形例＞
以上の各形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。

（１）前述の各形態では、減衰音係数列Ｍd[u]を発音点係数列Ｍa[u]とともに処理係数列Ｍ[u]に反映させたが、打撃操作の直後に演奏音が停止する種類の打楽器音（すなわち減衰区間が充分に短い打楽器音）を分離する場合や、打楽器音の発音点のみを分離する必要がある場合（減衰区間まで分離する必要がない場合）には、減衰音係数列Ｍd[u]を省略することも可能である。また、前述の各形態では、時間重心Ｔg[f,u]に応じて減衰区間を可変に設定したが、時間重心Ｔg[f,u]に応じて検出された発音点を起点とした固定長の減衰区間が分離されるように減衰音係数列Ｍd[u]を生成することも可能である。

（２）前述の各形態では、音響信号ｘ(t)の打楽器音を強調する場合を例示したが、音響信号ｘ(t)の打楽器音を抑制する（調波成分を強調する）ための処理係数列Ｍ'[u]を生成することも可能である。例えば、数式(10)で算定した処理係数列Ｍ[u]の各係数値ｍ[j,u]を所定値（例えば１）から減算することで係数列合成部６０が処理係数列Ｍ'[u]を生成する。以上の説明から理解されるように、係数列合成部６０は、音響信号ｘ(t)から打楽器音を分離（強調または抑制）するための処理係数列（Ｍ[u]，Ｍ'[u]）を生成する手段として包括される。なお、音響信号ｘ(t)のピッチ推定や和音（コード）同定等の音楽情報解析では、音響信号ｘ(t)内の打楽器音が推定精度を低下させる原因となり得る。信号処理部３６が前述の処理係数列Ｍ'[u]を音響信号ｘ(t)させて生成される音響信号ｙ(t)では音響信号ｘ(t)の打楽器音が抑制されるから、音響信号ｙ(t)を対象として音楽情報解析を実行することで、推定精度を向上させることが可能である。

（３）前述の各形態では、音響信号ｘ(t)のうち１個の単位期間の振幅スペクトルＸ[j,u]の非負値行列因子分解で係数行列Ｇ[u]（Ｃ行１列）を生成したが、複数個の単位期間にわたる振幅スペクトルＸ[j,u]の時系列（すなわち音響信号ｘ(t)のスペクトログラム）を非負値行列因子分解の対象として係数行列Ｇ[u]を算定することも可能である。Ｈ個（Ｈは２以上の自然数）の振幅スペクトルＸ[j,u]で構成される観測行列について既知の基底行列Ｂを適用した非負値行列因子分解を実行した場合、Ｈ個の加重値の時系列で各々が構成されるＣ個の係数ベクトルｇ[c,u]を配列したＣ行Ｈ列の係数行列Ｇ[u]が生成される。以上の構成では、前述の数式(3)の演算に代えて、係数ベクトルｇ[c,u]内のＨ個の加重値の最大値を、調波構造モデルＥ[j]が共通する各基底ベクトルＢ[c]に対応するＫ個の係数ベクトルｇ[c,u]について加算することで尤度Ｌ[j,u]を算定することが可能である。

（４）前述の各形態では、尤度Ｌ[j,u]と閾値τ1との大小に応じて各周波数を調波周波数と非調波周波数とに選別したが、各周波数を調波周波数と非調波周波数とに選別する方法は適宜に変更される。例えば、尤度Ｌ[j,u]の降順で上位に位置する所定個の周波数を調波周波数に選別するとともに残余の周波数を非調波周波数に選別することも可能である。また、前述の各形態では、発音点係数列Ｍa[u]の各係数値ａ[j,u]と閾値τ3との大小に応じて補正係数列Ｍr[u]の各係数値ｒ[j,u]を設定したが（数式(9)）、補正係数列Ｍr[u]の各係数値ｒ[j,u]を係数値ａ[j,u]に応じて設定する方法は適宜に変更される。例えば、係数値ａ[j,u]の昇順で上位に位置する所定個の周波数の係数値ｒ[j,u]を１に設定するとともに残余の係数値ｒ[j,u]を０に設定することも可能である。

（５）前述の各形態では、音響処理装置１００が生成した音響信号ｙ(t)を再生したが、音響処理装置１００の用途は以上の例示（打楽器音の分離および再生）に限定されない。例えば、処理係数列Ｍ[u]（または処理係数列Ｍ[u]と前述の変形例に係る処理係数列Ｍ'[u]との双方）を利用して音響信号ｘ(t)を打楽器音の音響信号ｙ(t)と残余の調波成分の音響信号ｚ(t)とに分離し、音響信号ｙ(t)および音響信号ｚ(t)とを個別に加工したうえで混合することも可能である。例えば、打楽器音の音響信号ｙ(t)の音量を増加させたうえで音響信号ｚ(t)と混合すれば、打楽器音で規定されるリズムが顕在化した音響信号を生成することが可能である。また、調波成分の音響信号ｚ(t)の音高（ピッチ）を変化させたうえで音響信号ｙ(t)と混合すれば、打楽器音の聴感的な印象（音程感）を変化させずに調波成分のみの音高を変化させた音響信号を生成することが可能である。あるいは、音響信号ｙ(t)および音響信号ｚ(t)の各々のテンポを個別に制御することもできる。

（６）前述の各形態では、処理係数列Ｍ[u]を生成する解析処理部３４と処理係数列Ｍ[u]を音響信号ｘ(t)に作用させる信号処理部３６とを兼備する音響処理装置１００を例示したが、音響信号ｘ(t)（または振幅スペクトルＸ[j,u]）から処理係数列Ｍ[u]を生成する音響処理装置（処理係数列生成装置とも換言され得る）としても本発明は実施され得る。すなわち、信号処理部３６を省略することも可能である。

１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３２……周波数分析部、３４……解析処理部、３６……信号処理部、３８……波形合成部、４０，７０……調波性評価部、４２……係数行列生成部、４４，７２……尤度算定部、４６，７４……第１係数列生成部、４６２……周波数選別部、４６４，７４４……成分分離部、４６６，７４６……係数設定部、５０……過渡性評価部、５２……重心算定部、５４……第２係数列生成部、５４２……第１処理部、５４４……第２処理部、６０……係数列合成部、６２……係数列変換部、６４……合成処理部、７４２……尤度分離部、Ｂ……基底行列、Ｂ[c]（Ｂ[1]〜Ｂ[C]）……基底ベクトル、Ｇ[u]……係数行列、ｘ(t)，ｙ(t)……音響信号、Ｘ[j,u]，Ｙ[j,u]……振幅スペクトル、Ｍ[u]（ｍ[1,u]〜ｍ[J,u]）……処理係数列、Ｍh[u]（ｈ[1,u]〜ｈ[J,u]）……調波係数列、Ｍn[u]（ｎ[1,u]〜ｎ[J,u]）……非調波係数列、Ｍb[u]（ｂ[1,u]〜ｂ[J,u]）……ベース係数列、Ｍa[u]（ａ[1,u]〜ａ[J,u]）……発音点係数列、Ｍd[u]（ｄ[1,u]〜ｄ[J,u]）……減衰音係数列、Ｍr[u]（ｒ[1,u]〜ｒ[J,u]）……補正係数列。

Claims (7)

1. 音響信号から特定の成分が分離されるように周波数毎の係数値が設定された処理係数列を生成する装置であって、
   複数の周波数の各々が前記音響信号の基本周波数に該当する尤度を算定する尤度算定手段と、
   前記音響信号のうち前記尤度が高い調波周波数の成分を強調するための調波係数列と前記尤度が低い非調波周波数の成分を強調するための非調波係数列とを生成する第１係数列生成手段と、
   各単位期間内での前記音響信号の波形の時間重心を周波数軸上の単位帯域毎に算定する重心算定手段と、
   前記音響信号の各単位帯域内の成分の発音点を当該単位帯域の時間重心に応じて検出し、前記各発音点を分離するための発音点係数列を前記検出結果に応じて生成する第２係数列生成手段と、
   前記調波係数列と前記非調波係数列と前記発音点係数列とに応じて前記処理係数列を生成する係数列合成手段と
   を具備する音響処理装置。
2. 前記第２係数列生成手段は、前記発音点係数列と、前記音響信号のうち前記各発音点に後続する減衰区間を分離するための減衰音係数列とを生成し、
   前記係数列合成手段は、前記調波係数列と前記非調波係数列と前記発音点係数列と前記減衰音係数列とに応じて前記処理係数列を生成する
   請求項１の音響処理装置。
3. 前記係数列合成手段は、
   前記調波係数列の係数値が所定の閾値を下回る周波数の係数値が前記音響信号を維持する数値に設定され、前記調波係数列の係数値が前記閾値を上回る周波数の係数値が前記音響信号を抑制する数値に設定された補正係数列を生成する係数列変換手段と、
   前記補正係数列と前記非調波係数列と前記発音点係数列とに応じて前記処理係数列を生成する合成処理手段とを含む
   請求項１または請求項２の音響処理装置。
4. 基本周波数が相違する音響のスペクトルを示す複数の基底ベクトルを含む基底行列を適用した前記音響信号の非負値行列因子分解により、各基底ベクトルの加重値を示す係数行列を順次に生成する係数行列生成手段を具備し、
   前記各基底ベクトルは、基本周波数が相違する調波構造を示す複数の調波構造モデルと、相異なる周波数帯域を示す複数の帯域モデルとの組合せ毎に用意され、
   前記尤度算定手段は、一の周波数の調波構造モデルに対応する各基底ベクトルについて算定された前記係数行列内の加重値を、当該調波構造モデルと前記複数の帯域モデルの各々との組合せに対応する複数の係数行列について加算することで、前記一の周波数の尤度を算定する
   請求項１から請求項３の何れかの音響処理装置。
5. 前記第１係数列生成手段は、前記係数行列の複数の加重値のうち前記各調波周波数に対応する加重値を抽出して前記基底行列に乗算した調波成分の強度に応じて前記調波係数列の各係数値を算定し、前記係数行列の複数の加重値のうち前記各非調波周波数に対応する加重値を抽出して前記基底行列に乗算した非調波成分の強度に応じて前記非調波係数列の各係数値を算定する
   請求項１から請求項４の何れかの音響処理装置。
6. 前記第１係数列生成手段は、周波数が所定値を下回る範囲内で前記尤度が高い成分を強調するためのベース係数列を、前記尤度算定手段が算定した前記尤度に応じて、前記調波係数列および前記非調波係数列とともに生成し、
   前記係数列合成手段は、前記調波係数列と前記非調波係数列と前記ベース係数列と前記発音点係数列とに応じて前記処理係数列を生成する
   請求項１から請求項５の何れかの音響処理装置。
7. 前記第２係数列生成手段は、前記非調波係数列と前記ベース係数列とに応じて加重した各単位帯域の時間重心の代表値が第１閾値を上回る単位期間について、加重前の時間重心が第２閾値を上回る場合に発音点として検出する
   請求項６の音響処理装置。
   

Images