JP2012027196A - 信号分析装置、方法、及びプログラム - Google Patents

信号分析装置、方法、及びプログラム Download PDF

Info

Publication number
JP2012027196A
JP2012027196A JP2010165105A JP2010165105A JP2012027196A JP 2012027196 A JP2012027196 A JP 2012027196A JP 2010165105 A JP2010165105 A JP 2010165105A JP 2010165105 A JP2010165105 A JP 2010165105A JP 2012027196 A JP2012027196 A JP 2012027196A
Authority
JP
Japan
Prior art keywords
parameter
product
combinations
quotient
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010165105A
Other languages
English (en)
Inventor
Roux Jonathan Le
ジョナトン ルルー
Hirokazu Kameoka
弘和 亀岡
Masahiro Nakano
允裕 中野
Yu Kitano
佑 北野
Junki Ono
順貴 小野
Shigeki Sagayama
茂樹 嵯峨山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
University of Tokyo NUC
Original Assignee
Nippon Telegraph and Telephone Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, University of Tokyo NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010165105A priority Critical patent/JP2012027196A/ja
Publication of JP2012027196A publication Critical patent/JP2012027196A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)

Abstract

【課題】時系列信号から、頻出のパターンとパターンの出現の時間的な関連とを精度良く抽出することができるようにする。
【解決手段】信号分析部3によって、パラメータHω,φ,dとパラメータPφ,t,dとパラメータUd,tとの積を、(d,φ)の全ての組み合わせについて足し合わせたモデルについて、時間周波数解析部1によって出力された二次元配列Yとモデルとの距離をβダイバージェンスで表わした目的関数の値が小さくなるように、パラメータHω,φ,d、パラメータPφ,t,d、及びパラメータUd,tの各々の値を更新する。収束判定部34は、繰り返し回数Sに到達するまで、補助変数更新部31による計算、スケジューリング係数更新部32による計算、及びパラメータ更新部33による更新を繰り返し行う。
【選択図】図1

Description

本発明は、信号分析装置、方法、及びプログラムに係り、特に、時系列信号から、信号パラメータを分析する信号分析装置、方法、及びプログラムに関する。
従来、信号の分析に関しては、信号の時間周波数表現に基づく各種の分析方法が広く知られている。信号内に繰り返して現れるパターン等のような高度な構造を抽出する分析手法として非負値行列分解(NMF:Non‐negative Matrix Factorization)が知られている(例えば、非特許文献1)。
NMFは、自動採譜や、モノラル混合信号からの音源の分離に適用されている(例えば、非特許文献2、非特許文献3)。
また、ポリフォニックオーディオデータを確率モデルで表現することにより、信号分離を行う技術も知られている(非特許文献4)。これは、Factorial Scaled Hidden markov Modelを利用したものであり、距離尺度を板倉齊藤距離とした場合のNMFモデルを、時間的な関連が表現できるように拡張したものに相当する。
D. D. Lee, H. S. Seung, "Learning the part of objects by non-negative matrix factorization," Nature Vol.401, pp. 788-791, 1999. P. Smaragdis, J. C. Brown, "Non-Negative Matrix Factorization for Music Transcription,"ln Proc. 2003 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA2003), pp. 177-180,2003. T. Virtanen, "Monaural sound source separation by nonnegative matrix factorization with temporal continuity and sparseness criteria," IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, pp. 1066-1074, 2007. A. Ozerov, C. Fevotte and M. Charbit, "Factorial Scaled Hidden Markov Model for Polyphonic Audio Representation and Source Separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, pp.121-124, 2009.
従来のNMFによる信号の分析は、信号内に頻出するパターンを表出するものであるが、それらのパターンの出現に関する時間的な関連を表現することができない、という問題がある。例えば、ピアノのような打鍵楽器は、音の立ち上がりにおける、アタックといわれる広帯域なエネルギーを持つ状態から、サステイン、ディケイ、リリースなどのいくつかの状態を経て消音する。また、歌声や楽器のビブラートでは、一音の中でも基本周波数が変化する。これらの楽器音の詳細なスペクトルの変化は、単にNMFの分解性能を上げるだけでは表現することができない。
また、上記の非特許文献4に記載の技術によれば、NMFを、ある特定の条件の場合について時間的な関連を表現したモデルに拡張することができ、スペクトルの時間的な変化を分析することができる。板倉齊藤距離は、β-divergenceと呼ばれる距離尺度の特殊な場合(β=0)である。
しかしながら、NMFにおける板倉齊藤距離は、局所解に捕まりやすい距離尺度として知られている。そのため、音源の種類によっては精度の良い音源分離を行うことができない、という問題がある。また、板倉齊藤距離(β=0)以外の距離尺度に基づいて、スペクトルの時間的な変化を分析できるようにNMFを拡張する方法は知られていなかった。
本発明は、上記の課題を解決するためになされたもので、時系列信号から、頻出のパターンとパターンの出現の時間的な関連とを精度良く抽出することができる信号分析装置、方法、及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る信号分析装置は、時系列信号を入力として、観測時間周波数成分Yω,t(ωは周波数、tは時刻のインデックスである。)を要素にもつ二次元配列Yを出力する時間周波数分解手段と、複数の基底dの各々における全ての基底の状態φを表わすパラメータHω,φ,dを要素にもつ三次元配列H、前記複数の基底dの各々に対して各時刻tに前記基底の状態が前記三次元配列Hの要素のうちの何れであるかを表わすパラメータPφ,t,dを要素にもつ三次元配列P、及び前記複数の基底dの各々に対する各時刻tのゲインを表すパラメータUd,tを要素にもつ二次元配列Uの各々の初期値を設定するパラメータ初期値設定手段と、全てのパラメータHω,φ,dが非負値であり、全てのパラメータUd,tが非負値であり、かつ、前記三次元配列Pが、前記複数の基底dの各々について予め許可された前記基底の状態の状態遷移に基づくものである、という条件の下で、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を、(d,φ)の全ての組み合わせについて足し合わせたモデルについて、前記時間周波数分解手段によって出力された二次元配列Yと前記モデルとの距離をβダイバージェンスで表わした目的関数の値が小さくなるように、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新する信号分析手段と、を含んで構成されている。
本発明に係る信号分析装置において、前記信号分析手段は、前記時間周波数分解手段によって出力された二次元配列Yの観測時間周波数成分Yω,tと、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせたものとの差分に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を全ての基底の状態φについて合計したものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算した商μω,t,dを、乗算したものに、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて合計したものを加算して、補助変数^Yω,t,dを(ω,t,d)の全ての組み合わせについて計算する補助変数計算手段と、全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算するスケジューリング係数計算手段と、前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,dと前記補助変数^Yω,t,dとの積から、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を減算したものを2乗して、前記商μω,t,dで除算した商を、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗と前記パラメータUd,tとを乗算した積を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、前記パラメータHω,φ,dの更新値と前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗とを乗算した積を、前記商μω,t,dで除算した商を、(ω,t)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出するパラメータ更新手段と、前記繰り返し回数Sに到達するまで、前記補助変数計算手段による計算、前記スケジューリング係数計算手段による計算、及び前記パラメータ更新手段による更新を繰り返し行う収束判定手段と、を備えるようにすることができる。
本発明に係る信号分析装置において、前記信号分析手段は、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算する補助変数計算手段と、全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算するスケジューリング係数計算手段と、前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記補助変数ηω,t,dと、前記パラメータPφ,t,dと、前記観測時間周波数成分Yω,tと、前記補助変数ηω,t,d及び前記観測時間周波数成分Yω,tの積を前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商について対数をとったものと、を乗算した積を、前記観測時間周波数成分Yω,tを前記基底の数Dと前記状態数Φとの積で除算した商で減算し、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出するパラメータ更新手段と、前記繰り返し回数Sに到達するまで、前記補助変数計算手段による計算、前記スケジューリング係数計算手段による計算、及び前記パラメータ更新手段による更新を繰り返し行う収束判定手段と、を備えるようにすることができる。
本発明に係る信号分析装置において、前記信号分析手段は、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせて、補助変数Zω,tを(ω,t)の全ての組み合わせについて計算すると共に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算する補助変数計算手段と、全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算するスケジューリング係数計算手段と、前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,d、前記補助変数ηω,t,dの2乗、及び前記観測時間周波数成分Yω,tの積を、前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商と、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの積を前記補助変数Zω,tで除算した商と、前記補助変数Zω,tを前記観測時間周波数成分Yω,tで除算した商について対数をとったものから2を減算して前記基底の数Dで除算した商と、を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータUd,tで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を、前記補助変数Zω,tで除算した商を、各時刻tについて足し合わせたもので除算した商の平方根を、前記パラメータHω,φ,dの更新値として(ω,φ,d)の全ての組み合わせについて算出し、前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータHω,φ,dの更新値で除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を前記補助変数Zω,tで除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたもので除算した商の平方根を、前記パラメータUd,tの更新値として(d,t)の全ての組み合わせについて算出するパラメータ更新手段と、前記繰り返し回数Sに到達するまで、前記補助変数計算手段による計算、前記スケジューリング係数計算手段による計算、及び前記パラメータ更新手段による更新を繰り返し行う収束判定手段と、を備えるようにすることができる。
本発明に係る信号分析方法は、時系列信号を入力として、観測時間周波数成分Yω,t(ωは周波数、tは時刻のインデックスである。)を要素にもつ二次元配列Yを出力し、複数の基底dの各々における全ての基底の状態φを表わすパラメータHω,φ,dを要素にもつ三次元配列H、前記複数の基底dの各々に対して各時刻tに前記基底の状態が前記三次元配列Hの要素のうちの何れであるかを表わすパラメータPφ,t,dを要素にもつ三次元配列P、及び前記複数の基底dの各々に対する各時刻tのゲインを表すパラメータUd,tを要素にもつ二次元配列Uの各々の初期値を設定し、全てのパラメータHω,φ,dが非負値であり、全てのパラメータUd,tが非負値であり、かつ、前記三次元配列Pが、前記複数の基底dの各々について予め許可された前記基底の状態の状態遷移に基づくものである、という条件の下で、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を、(d,φ)の全ての組み合わせについて足し合わせたモデルについて、前記時間周波数分解手段によって出力された二次元配列Yと前記モデルとの距離をβダイバージェンスで表わした目的関数の値が小さくなるように、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新することを特徴とする。
本発明に係る信号分析方法において、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新することは、前記出力された二次元配列Yの観測時間周波数成分Yω,tと、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせたものとの差分に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を全ての基底の状態φについて合計したものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算した商μω,t,dを、乗算したものに、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて合計したものを加算して、補助変数^Yω,t,dを(ω,t,d)の全ての組み合わせについて計算し、全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,dと前記補助変数^Yω,t,dとの積から、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を減算したものを2乗して、前記商μω,t,dで除算した商を、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗と前記パラメータUd,tとを乗算した積を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、前記パラメータHω,φ,dの更新値と前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗とを乗算した積を、前記商μω,t,dで除算した商を、(ω,t)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出し、前記繰り返し回数Sに到達するまで、前記補助変数^Yω,t,dの計算、前記スケジューリング係数kφ (s)の計算、前記パラメータHω,φ,dの更新値の算出、前記パラメータPφ,t,dの更新値の算出、及び前記パラメータUd,tの更新値の算出を繰り返し行うことを特徴とすることができる。
本発明に係る信号分析方法は、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新することは、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算し、全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記補助変数ηω,t,dと、前記パラメータPφ,t,dと、前記観測時間周波数成分Yω,tと、前記補助変数ηω,t,d及び前記観測時間周波数成分Yω,tの積を前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商について対数をとったものと、を乗算した積を、前記観測時間周波数成分Yω,tを前記基底の数Dと前記状態数Φとの積で除算した商で減算し、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出し、前記繰り返し回数Sに到達するまで、前記補助変数ηω,t,dの計算、前記スケジューリング係数kφ (s)の計算、前記パラメータHω,φ,dの更新値の算出、前記パラメータPφ,t,dの更新値の算出、及び前記パラメータUd,tの更新値の算出を繰り返し行うことを特徴とすることができる。
本発明に係る信号分析方法において、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新することは、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせて、補助変数Zω,tを(ω,t)の全ての組み合わせについて計算すると共に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算し、全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,d、前記補助変数ηω,t,dの2乗、及び前記観測時間周波数成分Yω,tの積を、前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商と、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの積を前記補助変数Zω,tで除算した商と、前記補助変数Zω,tを前記観測時間周波数成分Yω,tで除算した商について対数をとったものから2を減算して前記基底の数Dで除算した商と、を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータUd,tで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を、前記補助変数Zω,tで除算した商を、各時刻tについて足し合わせたもので除算した商の平方根を、前記パラメータHω,φ,dの更新値として(ω,φ,d)の全ての組み合わせについて算出し、前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータHω,φ,dの更新値で除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を前記補助変数Zω,tで除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたもので除算した商の平方根を、前記パラメータUd,tの更新値として(d,t)の全ての組み合わせについて算出し、前記繰り返し回数Sに到達するまで、前記補助変数Zω,t及び前記補助変数ηω,t,dの計算、前記スケジューリング係数kφ (s)の計算、前記パラメータHω,φ,dの更新値の算出、前記パラメータPφ,t,dの更新値の算出、及び前記パラメータUd,tの更新値の算出を繰り返し行うことを特徴とすることができる。
本発明に係るプログラムは、上記の信号分析装置の各手段としてコンピュータを機能させるためのプログラムである。
以上説明したように、本発明の信号分析装置、方法、及びプログラムによれば、時系列信号の観測時間周波数成分Yω,tを要素とする二次元配列Yとの距離をβダイバージェンスで表わした目的関数の値が小さくなるように、各基底dにおける各基底の状態φを表わすパラメータHω,φ,d、各時刻tにおいて基底の状態がどの状態であるかを表わすパラメータPφ,t,d、及び各基底dに対する各時刻tのゲインを表すパラメータUd,tを更新することにより、時系列信号から、頻出のパターンとパターンの出現の時間的な関連とを精度良く抽出することができる、という効果が得られる。
本発明の第1の実施の形態に係る音響信号パラメータ分析装置の構成を示す概略図である。 提案モデルのイメージ図である。 本発明の第1の実施の形態に係る音響信号パラメータ分析装置における音響信号分析処理ルーチンの内容を示すフローチャートである。 (A)分析結果として得られた基底の状態を示すグラフ、(B)入力された音響信号から計算された振幅スペクトログラムを示すグラフ、及び(C)分析結果として得られたアクティベーションを示すグラフである。 従来法と提案法について得られたSNRとエラー率を示す図である。 (A)3音源を混合した観測スペクトログラムを示すグラフ、(B)分離した1音源のスペクトログラムを示すグラフ、及び(C)基底の状態遷移を示すグラフである。 反復回数と目的関数の値との関係を示すグラフである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明で提案する手法では、入力信号を時間周波数にしたスペクトログラムを、限られた数のソースの和によって近似することにより、信号の分析を行う。ここで、一つのソースでは、非負値な基底スペクトルパラメータが、限られた数の状態を持ち、各時刻にその中の一つの状態が非負値なアクティビティ係数パラメータによって出現している、としてモデル化する。このとき、状態の出現には事前に拘束を加えることができる。入力信号のスペクトログラムとモデルとの間のβ-divergenceを目的関数とし、モデルパラメータの推定を、目的関数の値を最小化する問題として定式化し、反復的に一つの解を探索するアルゴリズムを導出する。
まず、本発明の原理について説明する。まず、信号のモデルについて説明する。
本発明で提案するモデルは、NMFによるスペクトログラムの分解表現を拡張したモデルである。NMFによるスペクトログラムの分解表現は、観測スペクトログラムを非負値行列
と見立て、
となるような基底
とアクティベーション
の2つの非負値行列を決めることによって得られる。ここで、ω(ω=1,2,…,Ω),t(t=1,2,・・・,T)はそれぞれ周波数と時刻に対応するインデックスである。また、Yω,tは、行列Yの(ω,t)成分であり、R≧0,Ω×Tは、各成分が0以上の実数からなるΩ×T行列の集合を表す。
このモデルは、観測スペクトログラムがD個のスペクトル(基底)とアクティベーションとの積によって表現される、というモデルになっている。スペクトルとアクティベーションのペアが、楽器音1音高となることを狙ったモデルである。
実際の楽器音(信号)は、時間に伴ってスペクトルが変化することを考慮すると、スペクトルが各時刻tにおいて一つの状態であるとみなし、時刻tにおけるd番目の基底の状態をHd,t (φd,t)で表すことによって、上記(1)式を、以下の(2)式に拡張する。
ここで、基底の状態も限られたΦ個しか存在せず、時間に伴ってそれらの基底の状態を遷移するものと仮定し、H=(Hω,φ,dΩ×Φ×D∈R≧0,Ω×Φ×Dを用いてモデルを表現し直す。各d=1,・・・,Dに対するΦ個の基底の状態hφ (d)=(H1,φ,d,・・・,HΩ,φ,d(φ=1,・・・,Φ)に関して、許される状態遷移を隣接行列A(d)=(Aφ,φ (d)Φ×Φを用いて表す。状態iから状態jへの遷移が許される場合、Ai,j (d)=1とし、遷移が許されない場合、Ai,j (d)=0とする。例えば,以下の(3)式で表される隣接行列Aは、状態のインデックス1→2、2→3、3→1の遷移のみが許されることを表している。
ここで、P=(Pφ,t,dΦ×T×D∈R≧0,Φ×T×Dを考え、d=1,・・・,Dに対して各時刻tに基底の状態がhφ (d)のときにPφ,t,d=1とし、そうでないときにPφ,t,d=0とすることで、提案モデルは、図2に示すように、(Hω,φ,dΩ×Φ×Dと、(Pφ,t,dΦ×T×Dと、(Ut,dT×Dと用いて表わされ、以下の(4)式で表現することができる。
パラメータHω,φ,dは、各基底dにおける全ての基底の状態φを表わす。パラメータPφ,t,dは、各基底dに対して各時刻tに基底の状態が、パラメータHω,φ,dを要素にもつ三次元配列Hの要素のうちの何れであるかを表わす。パラメータUd,tは、各基底dに対する各時刻tのゲインを表わす。
今、各d=1,・・・,Dに対するA(d)を固定した時にとりうるPの集合をGとする。すると、本発明により解くべき問題は、観測されたYから、三次元行列H,二次元行列U,及び三次元行列P∈Gを推定することに帰着される。
つまり、行列Yに対して、上記(4)式を満たす各Hω,φ,d,Ud,t,Pφ,t,dを求める。具体的には、観測結果Yとモデル(上記(4)式の右辺)との距離(近さ)を目的関数とし、所定の条件の下で目的関数の値を最小化することにより、各Hω,φ,d,Ud,t,Pφ,t,dを求める。観測結果Yとの距離尺度としては、β-divergenceを用いる。具体的には、観測されたYから、
という条件のもとで、以下の(5)式で表される目的関数J(θ)の値を最小化するθ={H,U,P}を求める。
ここで、関数Dβは以下の(6)式で定義される。
次に、音響信号の信号パラメータを分析して出力する音響信号パラメータ分析装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。
図1に示すように、第1の実施の形態に係る音響信号パラメータ分析装置は、CPUと、RAMと、後述する音響信号分析処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
音響信号パラメータ分析装置は、時間周波数解析部1と、パラメータ初期値設定部2と、信号分析部3と、記憶部4と、出力部5とを備えている。また、信号分析部3は、補助変数更新部31と、スケジューリング係数更新部32と、パラメータ更新部33と、収束判定部34とを備えている。
時間周波数解析部1は、時系列信号としての観測された音響信号yを入力として、時間周波数成分(観測時間周波数成分)Yω,t(ω=1,・・・,Ω,t=1,・・・,Tは、それぞれ周波数、時刻に対応するインデックスを示す。)を各(ω,t)の要素にもつ二次元配列Yを計算し、信号分析部3に出力する。また、計算した時間周波数成分Yω,tを、記憶部4に記憶しておく。より詳細には、時間周波数解析部1は、時系列信号yを入力として、短時間フーリエ変換(Short-Time Fourier Transform;STFT)を用いて時間周波数解析を行うことにより時間周波数成分Yω,tを計算し、時間周波数成分Yω,tを格納した行列(振幅スペクトログラム)Y=(Yω,tΩ×Tを出力する。なお、時間周波数成分Yω,tは、ウェーブレット変換を用いて計算してもよい。
パラメータ初期値設定部2は、信号分析部3で用いる各パラメータHω,φ,d,Ud,t,Pφ,t,dの初期値Hω,φ,d (0),Ud,t (0),Pφ,t,d (0)を設定する。初期値として、乱数を用いて適当な値を設定すればよい。
出力部5は、信号分析部3で求めた各パラメータHω,φ,d,Ud,t,Pφ,t,dを出力する。
次に、信号分析部3の具体処理について説明する。本実施の形態では、上記(5)式の目的関数を構成する距離尺度として、ユークリッド距離を利用した場合(β=2)について説明する。
本実施の形態では上記(5)式の目的関数の値を最小化するにあたり、補助関数法を用いる。目的関数J(θ)に対して、以下の(7)式が成り立つとき、J(+)(θ,^θ)を補助関数、^θを補助変数と呼ぶ。
本実施の形態における補助関数J(+)(θ,^θ)は、∀ω,t,d,μω,t,d>0,Σμω,t,d=1,Σ^Yω,t,d=Yω,tという条件の下で、^θ=(^Yω,t,dΩ×T×Dとすると、以下の(8)式に示すように設計することができる。
ここで、J(θ)≦J(+)(θ,^θ)における等号が成立する条件は、以下の(9)式で表される。
μω,t,dの与え方は自由であるが、ここでは、より効率的に計算できるようにするため、以下の(10)式に示すように、μω,t,dを与える。
信号分析部3は、収束判定部34で収束したと判定されるまで、補助変数更新部31、スケジューリング係数更新部32、パラメータ更新部33の処理を繰り返すことにより、各パラメータHω,φ,d,Ud,t,Pφ,t,dの値を更新していく。以下では、繰り返し回数が第s回目(s=1,2,・・・,S)の実行における各部の処理について説明をする。
補助変数更新部31は、まず、記憶部4に記憶されている、前回(第s−1回目)の実行で得られたパラメータHω,φ,d (s−1),Ud,t (s−1),Pφ,t,d (s−1)を用いて、以下の(9´)式に従って、(ω,t,d)の組み合わせの各々について補助変数^Yω,t,d (s−1)の値を算出する。算出した値^Yω,t,d (s−1)、μω,t,d (s−1)を記憶部4に記憶しておく。
スケジューリング係数更新部32は、第s回目(s=1,2,…,S)の実行におけるスケジューリング係数kφ (s)を以下の(11)式に従って計算する。
上記(11)式に示すようなスケジューリング係数を与えることにより、各実行ステップにおいて、目的関数の値を単調収束させることが可能となる。
また、パラメータ更新部33は、計算されたスケジューリング係数kφ (s)を用いて、以下の(13)式に従って、第s回目の実行におけるパラメータPφ,t,dの更新値Pφ,t,d (s)を、(φ,t,d)の組み合わせの各々について求める。
ここで、変数^Pφ,t,dは、記憶部4に記憶されている、パラメータHω,φ,d (s−1),Ud,t (s−1),Pφ,t,d (s−1),補助変数^Yω,t,d (s−1)、μω,t,d (s−1)を用いて、以下の(14)式に従って、(φ,t,d)の組み合わせの各々について求められる。
ただし、Gは、対象の音響信号に応じて各d=1,・・・,Dに対する隣接行列A(d)を定めた時にとりうるPの集合であり、予め定められている。
そして、パラメータ更新部33は、求めた更新値Pφ,t,d (s)、及び記憶部4に記憶されている^Yω,t,d (s−1),Ud,t (s−1),μω,t,d (s−1)を用いて、以下の(15)式に従って、第s回目の実行におけるパラメータHω,φ,dの更新値Hω,φ,d (s)を、(ω,φ,d)の組み合わせの各々について求める。
さらに、パラメータ更新部33は、求めた更新値Pφ,t,d (s)と更新値Hω,φ,d (s)、及び記憶部4に記憶されている^Yω,t,d (s−1),Ud,t (s−1),μω,t,d (s−1)を用いて、以下の(16)式に従って、第s回目の実行におけるパラメータUd,tの更新値Ud,t (s)を、(d,t)の組み合わせの各々について求める。
収束判定部34は、各パラメータが収束したか否かを判定し、収束していない場合には、繰り返し回数sを1つ増加させて、補助変数更新部31、スケジューリング係数更新部32、及びパラメータ更新部33の各処理を繰り返す。収束判定部34は、収束したと判定した場合には、最後に更新されたパラメータ値Pφ,t,d (s)、Hω,φ,d (s)、Ud,t (s)を、目的関数を最小化するパラメータPφ,t,d、Hω,φ,d、Ud,tとして出力部5へ出力する。
収束判定部34において収束したか否かを判定する方法としては、繰り返し回数sが予め定めた回数Sに達したときに収束したと判定する方法を用いればよい。なお、s-1回目のパラメータを用いたときの目的関数の値とs回目のパラメータを用いたときの目的関数の値との差が、予め定めた閾値よりも小さくなったときに収束したと判定するようにしてもよい。
次に、本実施の形態に係る音響信号パラメータ分析装置の作用について説明する。まず、分析対象の時系列信号として音響信号が音響信号パラメータ分析装置に入力され、図示しないメモリに格納される。そして、音響信号パラメータ分析装置において、図3に示す音響信号分析処理ルーチンが実行される。
まず、ステップ100において、メモリから、あるフレーム内の音響信号を読み込み、音響信号に対して、短時間フーリエ変換を用いた時間周波数分析を行った結果から、観測時間周波数成分Yω,tを各(ω,t)の要素にもつ二次元配列Yを生成して、記憶部4に記憶する。
そして、ステップ102において、乱数を用いて、パラメータθ={H、U、P}の初期値を設定して、記憶部4に記憶する。
次にステップ104では、上記ステップ102で設定されたパラメータθ、又は後述するステップ108で更新されたパラメータθと、上記ステップ100で生成された二次元行列Yとに基づいて、上記(9´)式、(10´)式に従って、補助係数^Yω,t,dを各(ω,t,d)の組み合わせについて算出して、記憶部4に記憶する。また、上記ステップ104で算出される変数μω,t,dも、記憶部4に記憶する。
そして、ステップ106では、予め設定された基底の状態数Φ、予め設定された繰り返し回数S、及び現在の繰り返し回数sに基づいて、上記(11)式に従って、スケジューリング係数kφを、全ての基底の状態φについて計算して、記憶部4に記憶する。
ステップ108では、上記ステップ102で設定されたパラメータθ、又は前回のステップ108で更新されたパラメータθと、上記ステップ104で計算された補助係数^Yω,t,d及び変数μω,t,dと、予め設定された行列の集合Gと用いて、上記(14)式に従って、変数^Pφ,t,dを(φ,t,d)の組み合わせの各々について求める。そして、求められた変数^Pφ,t,dと上記ステップ106で計算されたスケジューリング係数kφとに基づいて、パラメータPφ,t,dの更新値を、上記(13)式に従って、(φ,t,d)の組み合わせの各々について計算して、記憶部4に記憶する。
そして、上記ステップ102で設定されたパラメータU,H、又は前回のステップ108で更新されたパラメータU,Hと、上記ステップ104で計算された補助係数^Yω,t,d及びμω,t,dと、上記で計算されたパラメータPφ,t,dの更新値とに基づいて、上記(15)式に従って、パラメータHω,φ,dの更新値を、(ω,φ,d)の組み合わせの各々について計算して、記憶部4に記憶する。
次に、上記ステップ102で設定されたパラメータU、又は前回のステップ108で更新されたパラメータUと、上記ステップ104で計算された補助係数^Yω,t,d及びμω,t,dと、上記で計算されたパラメータPφ,t,dの更新値及びパラメータHω,φ,dの更新値とに基づいて、上記(16)式に従って、パラメータUd,tの更新値を、(d,t)の組み合わせの各々について計算して、記憶部4に記憶する。
次のステップ110では、所定の収束条件として、繰り返し回数sが、Sに到達したか否かを判定し、繰り返し回数sがSに到達していない場合には、所定の収束条件が成立していないと判断して、上記ステップ104へ戻り、上記ステップ108で更新したパラメータθを用いて、上記ステップ104〜ステップ108の処理を繰り返す。一方、繰り返し回数sがSに到達した場合には、所定の収束条件が成立したと判断し、ステップ112で、上記ステップ108で最終的に更新されたパラメータθを出力して、音響信号分析処理ルーチンを終了する。
次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る音響信号パラメータ分析装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
第2の実施の形態では、目的関数の距離尺度に、KL divergenceを用いている点が、第1の実施の形態と異なっている。
第2の実施の形態に係る音響信号パラメータ分析装置の信号分析部3の具体処理について説明する。本実施の形態では、上記(5)式の目的関数を構成する距離尺度として、Kullback-Leibler (KL) divergenceを利用した場合(β=1)について説明する。
本実施の形態では、以下の(17)式で表される補助関数J(+)(θ,^θ)を用いる。
ここで、J(θ)≦J(+)(θ,^θ)における等号が成立する条件は、以下の(18)式で表される。
信号分析部3は、収束判定部34で収束したと判定されるまで、補助変数更新部31、スケジューリング係数更新部32、パラメータ更新部33の処理を繰り返すことにより、各パラメータHω,φ,d,Ud,t,Pφ,t,dの値を更新していく。以下では、繰り返し回数が第s回目(s=1,2,・・・,S)の実行における各部の処理について説明をする。なお、スケジューリング係数更新部32及び収束判定部34の処理は、第1の実施の形態と同様であるため、説明を省略する。
補助変数更新部31は、まず、記憶部4に記憶されている、前回(第s−1回目)の実行で得られたパラメータHω,φ,d (s−1),Ud,t (s−1),Pφ,t,d (s−1)を用いて、以下の(18´)式に従って、(ω,t,d)の組み合わせの各々について補助変数ηω,t,d (s−1)の値を算出する。算出した値ηω,t,d (s−1)を記憶部4に記憶しておく。
また、パラメータ更新部33は、計算されたスケジューリング係数kφ (s)を用いて、以下の(19)式に従って、第s回目の実行におけるパラメータPφ,t,dの更新値Pφ,t,d (s)を、(φ,t,d)の組み合わせの各々について求める。
ここで、^Pφ,t,dは、記憶部4に記憶されている、観測時間周波数成分Yω,t、パラメータHω,φ,d (s−1),Ud,t (s−1),Pφ,t,d (s−1),ηω,t,d (s−1)と、予め定められた基底の状態数Φ及び基底の数Dと、予め定められた行列の集合Gとを用いて、以下の式に従って、(φ,t,d)の組み合わせの各々について求められる。
そして、パラメータ更新部33は、求めた更新値Pφ,t,d (s)、及び記憶部4に記憶されている補助変数ηω,t,d (s−1),パラメータUd,t (s−1)、観測時間周波数成分Yω,tを用いて、以下の(20)式に従って、第s回目の実行におけるパラメータHω,φ,dの更新値Hω,φ,d (s)を、(ω,φ,d)の組み合わせの各々について求める。
さらに、パラメータ更新部33は、求めた更新値Pφ,t,d (s)と更新値Hω,φ,d (s)、及び記憶部4に記憶されている補助変数ηω,t,d (s−1),観測時間周波数成分Yω,tを用いて、以下の(21)式に従って、第s回目の実行におけるパラメータUd,tの更新値Ud,t (s)を、(d,t)の組み合わせの各々について求める。
なお、第2の実施の形態に係る音響信号パラメータ分析装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
次に、第3の実施の形態について説明する。なお、第3の実施の形態に係る音響信号パラメータ分析装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
第3の実施の形態では、目的関数の距離尺度に、板倉齊藤距離を用いている点が、第1の実施の形態と異なっている。
第3の実施の形態に係る音響信号パラメータ分析装置の信号分析部3の具体処理について説明する。本実施の形態では、上記(5)式の目的関数を構成する距離尺度として、板倉齊藤距離を利用した場合(β=0)について説明する。
本実施の形態では、以下の(22)式で表される補助関数J(+)(θ,^θ)を用いる。
ここで、J(θ)≦J(+)(θ,^θ)における等号が成立する条件は、以下の(23)式、(24)式で表される。
信号分析部3は、収束判定部34で収束したと判定されるまで、補助変数更新部31、スケジューリング係数更新部32、パラメータ更新部33の処理を繰り返すことにより、各パラメータHω,φ,d,Ud,t,Pφ,t,dの値を更新していく。以下では、繰り返し回数が第s回目(s=1,2,・・・,S)の実行における各部の処理について説明をする。なお、スケジューリング係数更新部32及び収束判定部34の処理は、第1の実施の形態と同様であるため、説明を省略する。
補助変数更新部31は、まず、記憶部4に記憶されている、前回(第s−1回目)の実行で得られたパラメータHω,φ,d (s−1),Ud,t (s−1),Pφ,t,d (s−1)を用いて、以下の(23´)式に従って、(ω,t)の組み合わせの各々について補助変数Zω,t (s−1)の値を算出すると共に、以下の(24´)式に従って、(ω,t,d)の組み合わせの各々について補助変数ηω,t,d (s−1)の値を算出する。算出した値Zω,t (s−1)、ηω,t,d (s−1)を記憶部4に記憶しておく。
また、パラメータ更新部33は、計算されたスケジューリング係数kφ (s)を用いて、以下の(25)式に従って、第s回目の実行におけるパラメータPφ,t,dの更新値Pφ,t,d (s)を、(φ,t,d)の組み合わせの各々について求める。
ここで、^Pφ,t,dは、記憶部4に記憶されている、観測時間周波数成分Yω,t、パラメータHω,φ,d (s−1),Ud,t (s−1),Pφ,t,d (s−1),Zω,t (s−1)、ηω,t,d (s−1)と、予め定められた基底の数Dと、予め設定された行列の集合Gとを用いて、以下の式に従って、(φ,t,d)の組み合わせの各々について求められる。
そして、パラメータ更新部33は、求めた更新値Pφ,t,d (s)、及び記憶部4に記憶されている補助変数Zω,t (s−1)、ηω,t,d (s−1),パラメータUd,t (s−1)、観測時間周波数成分Yω,tを用いて、以下の(26)式に従って、第s回目の実行におけるパラメータHω,φ,dの更新値Hω,φ,d (s)を、(ω,φ,d)の組み合わせの各々について求める。
さらに、パラメータ更新部33は、求めた更新値Pφ,t,d (s)と更新値Hω,φ,d (s)、及び記憶部4に記憶されている補助変数Zω,t (s−1)、ηω,t,d (s−1),観測時間周波数成分Yω,tを用いて、以下の(27)式に従って、第s回目の実行におけるパラメータUd,tの更新値Ud,t (s)を、(d,t)の組み合わせの各々について求める。
なお、第3の実施の形態に係る音響信号パラメータ分析装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
次に、楽器単音による音響信号を分析対象として、上述した第2の実施の形態に係る手法を適用し、シミュレーション実験を行った結果について説明する。
ここで、収束判定部34における収束条件として、「反復回数S=200回に到達したか否か」を用い、提案手法の基礎的な動作確認として、楽器単音からスペクトルの状態変化を分析した。実験に用いた信号は、ピアノC3の4つの音長の入った音響信号をMIDIによって合成したものとした。振幅スペクトログラムYは、短時間フーリエ変換(サンプリング数16kHz,フレーム長64ms、フレームシフト32ms、Hanning窓)により計算した(図4(B)参照)。ピアノにおける基底状態の状態遷移はleft-to-rightに起こることを想定し、隣接行列A(d)は、以下の(32)式のように予め定めた。
また、基底数D=1、状態数Φ=4を予め定め、パラメータの初期値を乱数により与えた。信号分析を行った結果、例えば、図4(A)、(C)に示すような、4つの基底の状態Hω,1,1と〜Hω,4,1とアクティベーションU1,tが得られた。得られた結果から、既定の状態遷移に着目すると、音の立ち上がりから2状態は音長によらず同程度の長さを持ち、減衰の長さが異なっている様子が確認できた。また基底として得られたスペクトルパターンに着目すると、各倍音ごとに異なる減衰をしていることも分かった。
次に、提案法による音源分離の性能評価を行うために、従来のNMFと提案法との間のSNR(Signal−to−Noise Ratio)を比較した結果について説明する。提案法として、上述した第1の実施の形態の手法(EUC−proposed)、第2の実施の形態の手法(KL−proposed)、及び第3の実施の形態の手法(IS−proposed)をそれぞれ採用した。振幅スペクトログラム上で、各音源の元信号Iω,tと推定した各音源^Iω,tとの間のSNRを、以下の式により計算した。
観測信号として、ヴァイオリンによるD♭、F、A♭の混合音を用いた。ビブラートによる基底の状態遷移がleft-to-rightに起こると想定した場合と、ergodicに起こると想定して隣接行列を以下の(33)式のように設定した場合とについて、それぞれ実験を行った。
基底数D=3、各基底の状態数Φ=5を予め設定した。比較対象とする従来のNMFでは、基底数D=3,D=15として分解を行った。また、分離した各信号は元信号のどの音源に属するか分らないため、元信号の全てとのSNRを求め、最も大きな値を持つ音源への割り当てを行った。もし割り当ての存在しない音源があった場合は、その音源はSNRの算出には用いず、代わりに、割り当ての存在しなかった音源数の割合をエラー率として計算した。
従来法及び提案法の各々において、パラメータの初期値を乱数によって与え、10回の試行を行ったところ、図5に示すような、SNRとエラー率が得られた。また、上述した第2の実施の形態の手法を用いて音源分離した結果、図6(A)に示すような、3音源を混合した観測スペクトログラムから、図6(B)、(C)に示すように、分離した1音源のスペクトログラムと、その基底の状態遷移とが得られた。上記図6(C)に示すように、基底の状態変化から、ヴァイオリンのビブラートが5つの状態遷移として学習できていることが確認できた。
また、SNRに関して、第3の実施の形態の手法を除いて、提案法では、基底数が15のときの従来法と同程度の性能を示している。従来法では、各音源がいくつかの信号に分解され、それらの統合に元信号を利用しているが、提案法においては、音源ごとに分解された信号が階層的にまとまった形で得られる。このことから、提案法は、元信号の事前知識を必要としないで音源分離を行うことのできる手法としても有効であることが確認できた。
また、上記図5に示す結果から、提案法において、距離尺度として板倉齊藤距離(IS−proposed)を用いた場合よりも、ユークリッド距離(EUC−proposed)とKLダイバージェンス(KL−proposed)を距離尺度にして用いた場合の結果の方が、性能が良いことが分かった。このように、距離尺度を変えることで、より精度良い音源分離を行うことができる。
次に、上述した第1の実施の形態の手法を用いた場合における目的関数の値の変化を、スケジューリング係数を用いない手法と比較した結果について説明する。状態遷移を表すPの更新に、スケジューリング係数を導入することによる効果を検証するための実験を行った。観測信号は、上述した音源分離の性能評価のための実験と同じものを用いた。第1実施の形態の方法を用い、収束判定部34の収束条件として「反復回数s=100回に到達したか否か」を用いた。スケジューリング係数を導入しない場合には、k (s)=1とし、残りのk (s)(i=2,・・・,Φ)を0にして計算した。つまり、上記(13)式の代わりに、以下の式に従って、パラメータPφ,t,dの更新値Pφ,t,d (s)を計算した。
図7に示すように、スケジューリング係数を用いた場合(図7の実線を参照)と用いなかった場合(図7の破線を参照)をそれぞれ3回ずつ試行したときの目的関数の変化の様子が得られた。スケジューリング係数を導入することにより、局所解が回避できていることが確認できた。
以上説明したように、本発明の実施の形態に係る音響信号パラメータ分析装置によれば、時系列信号の観測時間周波数成分Yω,tを要素とする二次元配列Yとの距離をβダイバージェンスで表わした目的関数の値が小さくなるように、各基底dにおける各基底の状態φを表わすパラメータHω,φ,d、状態遷移を表わすパラメータPφ,t,d、及びアクティベーションUd,tを更新することにより、時系列信号から、頻出のパターンとパターンの出現の時間的な関連とを同時に精度良く抽出することができる。
また、楽器単音のスペクトルが、限られた数のスペクトルパターンの状態遷移によって構成されるという階層構造を利用し、階層的にスパース表現をする枠組みを提案することにより、信号から頻出のパターンとそれらのパターンの出現の時間的な関連とを同時に抽出可能とした。
また、任意の実数βについて、β-divergenceを距離尺度として用いてスペクトルの時間的な変化を分析できるようにNMFを拡張することができる。これにより、入力される信号に適した距離尺度を用いることができるので、様々な信号に対して、音の特性に関する事前知識や特殊な前処理を必要とせずに、スペクトルの時間的な変化を精度良く分析することができる。
また、上述した背景技術の説明において、上記の非特許文献4の技術は、距離尺度を板倉齊藤距離とした場合のNMFモデルを拡張したものに相当すると述べたが、本発明の実施の形態と比較すると、拡張したモデルのパラメータを求める具体的な方法が全く異なる。また、本発明によれば、距離尺度として板倉齊藤距離以外の距離尺度を用いることも可能であると共に、非特許文献4の手法よりも早く収束させることができる、という利点がある。また、非特許文献4に記載の技術でも、ヒューリスティックな方法(非特許文献4におけるEM−MU)を導入することで収束を早くしようとする試みはされているものの、そのアルゴリズムが必ず収束することが証明されていない。一方、本発明の手法によれば、必ず収束させることができ、実装も容易である。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述の音響信号パラメータ分析装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
本発明による信号の分析は、多重音解析のための分析手法として、潜在的に、音楽音響信号からの自動採譜や、音源分離、楽器音認識、音楽加工などに応用されることが考えられる。例えば、ピアノ曲に本発明の分析を適用した場合には、各音高のアタックやサステインやリリースといった状態とそれらの出現とを同時に推定することが期待される。これは各音のオンセットについて、より正確に手掛かりを与え、自動採譜の性能を高めると考えられる。また、弦楽器や歌声によるビブラートを、ピアノ曲と同じようにいくつかの区分定常なスペクトルの状態遷移として表現出来ることが期待でき、多重音からの音源分離の性能を向上させることが可能であり、より精密な音楽加工に応用することが可能であると考えられる。
1 時間周波数解析部
2 パラメータ初期値設定部
3 信号分析部
4 記憶部
5 出力部
31 補助変数更新部
32 スケジューリング係数更新部
33 パラメータ更新部
34 収束判定部

Claims (9)

  1. 時系列信号を入力として、観測時間周波数成分Yω,t(ωは周波数、tは時刻のインデックスである。)を要素にもつ二次元配列Yを出力する時間周波数分解手段と、
    複数の基底dの各々における全ての基底の状態φを表わすパラメータHω,φ,dを要素にもつ三次元配列H、前記複数の基底dの各々に対して各時刻tに前記基底の状態が前記三次元配列Hの要素のうちの何れであるかを表わすパラメータPφ,t,dを要素にもつ三次元配列P、及び前記複数の基底dの各々に対する各時刻tのゲインを表すパラメータUd,tを要素にもつ二次元配列Uの各々の初期値を設定するパラメータ初期値設定手段と、
    全てのパラメータHω,φ,dが非負値であり、全てのパラメータUd,tが非負値であり、かつ、前記三次元配列Pが、前記複数の基底dの各々について予め許可された前記基底の状態の状態遷移に基づくものである、という条件の下で、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を、(d,φ)の全ての組み合わせについて足し合わせたモデルについて、前記時間周波数分解手段によって出力された二次元配列Yと前記モデルとの距離をβダイバージェンスで表わした目的関数の値が小さくなるように、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新する信号分析手段と、
    を含む信号分析装置。
  2. 前記信号分析手段は、
    前記時間周波数分解手段によって出力された二次元配列Yの観測時間周波数成分Yω,tと、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせたものとの差分に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を全ての基底の状態φについて合計したものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算した商μω,t,dを、乗算したものに、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて合計したものを加算して、補助変数^Yω,t,dを(ω,t,d)の全ての組み合わせについて計算する補助変数計算手段と、
    全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算するスケジューリング係数計算手段と、
    前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,dと前記補助変数^Yω,t,dとの積から、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を減算したものを2乗して、前記商μω,t,dで除算した商を、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、
    前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗と前記パラメータUd,tとを乗算した積を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、
    前記パラメータHω,φ,dの更新値と前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗とを乗算した積を、前記商μω,t,dで除算した商を、(ω,t)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出するパラメータ更新手段と、
    前記繰り返し回数Sに到達するまで、前記補助変数計算手段による計算、前記スケジューリング係数計算手段による計算、及び前記パラメータ更新手段による更新を繰り返し行う収束判定手段と、を備えた請求項1記載の信号分析装置。
  3. 前記信号分析手段は、
    前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算する補助変数計算手段と、
    全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算するスケジューリング係数計算手段と、
    前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記補助変数ηω,t,dと、前記パラメータPφ,t,dと、前記観測時間周波数成分Yω,tと、前記補助変数ηω,t,d及び前記観測時間周波数成分Yω,tの積を前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商について対数をとったものと、を乗算した積を、前記観測時間周波数成分Yω,tを前記基底の数Dと前記状態数Φとの積で除算した商で減算し、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、
    前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、
    前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出するパラメータ更新手段と、
    前記繰り返し回数Sに到達するまで、前記補助変数計算手段による計算、前記スケジューリング係数計算手段による計算、及び前記パラメータ更新手段による更新を繰り返し行う収束判定手段と、を備えた請求項1記載の信号分析装置。
  4. 前記信号分析手段は、
    前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせて、補助変数Zω,tを(ω,t)の全ての組み合わせについて計算すると共に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算する補助変数計算手段と、
    全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算するスケジューリング係数計算手段と、
    前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,d、前記補助変数ηω,t,dの2乗、及び前記観測時間周波数成分Yω,tの積を、前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商と、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの積を前記補助変数Zω,tで除算した商と、前記補助変数Zω,tを前記観測時間周波数成分Yω,tで除算した商について対数をとったものから2を減算して前記基底の数Dで除算した商と、を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、
    前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータUd,tで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を、前記補助変数Zω,tで除算した商を、各時刻tについて足し合わせたもので除算した商の平方根を、前記パラメータHω,φ,dの更新値として(ω,φ,d)の全ての組み合わせについて算出し、
    前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータHω,φ,dの更新値で除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を前記補助変数Zω,tで除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたもので除算した商の平方根を、前記パラメータUd,tの更新値として(d,t)の全ての組み合わせについて算出するパラメータ更新手段と、
    前記繰り返し回数Sに到達するまで、前記補助変数計算手段による計算、前記スケジューリング係数計算手段による計算、及び前記パラメータ更新手段による更新を繰り返し行う収束判定手段と、を備えた請求項1記載の信号分析装置。
  5. 時系列信号を入力として、観測時間周波数成分Yω,t(ωは周波数、tは時刻のインデックスである。)を要素にもつ二次元配列Yを出力し、
    複数の基底dの各々における全ての基底の状態φを表わすパラメータHω,φ,dを要素にもつ三次元配列H、前記複数の基底dの各々に対して各時刻tに前記基底の状態が前記三次元配列Hの要素のうちの何れであるかを表わすパラメータPφ,t,dを要素にもつ三次元配列P、及び前記複数の基底dの各々に対する各時刻tのゲインを表すパラメータUd,tを要素にもつ二次元配列Uの各々の初期値を設定し、
    全てのパラメータHω,φ,dが非負値であり、全てのパラメータUd,tが非負値であり、かつ、前記三次元配列Pが、前記複数の基底dの各々について予め許可された前記基底の状態の状態遷移に基づくものである、という条件の下で、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を、(d,φ)の全ての組み合わせについて足し合わせたモデルについて、前記時間周波数分解手段によって出力された二次元配列Yと前記モデルとの距離をβダイバージェンスで表わした目的関数の値が小さくなるように、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新する
    ことを特徴とする信号分析方法。
  6. 前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新することは、
    前記出力された二次元配列Yの観測時間周波数成分Yω,tと、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせたものとの差分に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を全ての基底の状態φについて合計したものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算した商μω,t,dを、乗算したものに、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて合計したものを加算して、補助変数^Yω,t,dを(ω,t,d)の全ての組み合わせについて計算し、
    全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,dと前記補助変数^Yω,t,dとの積から、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を減算したものを2乗して、前記商μω,t,dで除算した商を、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、
    前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗と前記パラメータUd,tとを乗算した積を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、
    前記パラメータHω,φ,dの更新値と前記補助変数^Yω,t,dと前記パラメータPφ,t,dの更新値の2乗とを乗算した積を、前記商μω,t,dで除算した商を、(ω,t)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積の2乗を、前記商μω,t,dで除算した商を、各時刻tについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出し、
    前記繰り返し回数Sに到達するまで、前記補助変数^Yω,t,dの計算、前記スケジューリング係数kφ (s)の計算、前記パラメータHω,φ,dの更新値の算出、前記パラメータPφ,t,dの更新値の算出、及び前記パラメータUd,tの更新値の算出を繰り返し行う
    ことを特徴とする請求項5記載の信号分析方法。
  7. 前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新することは、
    前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算し、
    全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記補助変数ηω,t,dと、前記パラメータPφ,t,dと、前記観測時間周波数成分Yω,tと、前記補助変数ηω,t,d及び前記観測時間周波数成分Yω,tの積を前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商について対数をとったものと、を乗算した積を、前記観測時間周波数成分Yω,tを前記基底の数Dと前記状態数Φとの積で除算した商で減算し、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、
    前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を各時刻tについて足し合わせたもので除算して、前記パラメータHω,φ,dの更新値を(ω,φ,d)の全ての組み合わせについて算出し、
    前記補助変数ηω,t,dと前記パラメータPφ,t,dの更新値と前記観測時間周波数成分Yω,tとを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を(ω,φ)の全ての組み合わせについて足し合わせたもので除算して、前記パラメータUd,tの更新値を(d,t)の全ての組み合わせについて算出し、
    前記繰り返し回数Sに到達するまで、前記補助変数ηω,t,dの計算、前記スケジューリング係数kφ (s)の計算、前記パラメータHω,φ,dの更新値の算出、前記パラメータPφ,t,dの更新値の算出、及び前記パラメータUd,tの更新値の算出を繰り返し行う
    ことを特徴とする請求項5記載の信号分析方法。
  8. 前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの各々の値を更新することは、
    前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を(d,φ)の全ての組み合わせについて足し合わせて、補助変数Zω,tを(ω,t)の全ての組み合わせについて計算すると共に、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとを乗算した積を全ての基底の状態φについて足し合わせたものを、前記パラメータHω,φ,dと前記パラメータPφ,t,dと前記パラメータUd,tとの積を(d,φ)の全ての組み合わせについて足し合わせたもので除算して、補助変数ηω,t,dを(ω,t,d)の全ての組み合わせについて計算し、
    全ての基底の状態φのうちの1つ目の状態φについて、予め定められた基底の状態数Φの2倍から2を減算した値を、予め定められた繰り返し回数Sと前記状態数Φとの積で除算した商に、現時点での繰り返し回数sを乗算し、2を前記状態数Φで除算した商を加算し1を減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    全ての基底の状態φのうちの残りの状態φの各々について、2を前記状態数Φで除算した商を、2を前記繰り返し回数Sと前記状態数Φとの積で除算した商に前記繰り返し回数sを乗算したもので減算したもの、及び前記基底の状態数Φの逆数の何れか大きい方を、スケジューリング係数kφ (s)として計算し、
    前記予め許可された前記基底の状態の状態遷移に基づく前記パラメータPφ,t,dのうち、前記パラメータPφ,t,d、前記補助変数ηω,t,dの2乗、及び前記観測時間周波数成分Yω,tの積を、前記パラメータHω,φ,d及び前記パラメータUd,tの積で除算した商と、前記パラメータHω,φ,d、前記パラメータPφ,t,d、及び前記パラメータUd,tの積を前記補助変数Zω,tで除算した商と、前記補助変数Zω,tを前記観測時間周波数成分Yω,tで除算した商について対数をとったものから2を減算して前記基底の数Dで除算した商と、を加算したものを、(ω,t,d,φ)の全ての組み合わせについて足し合わせたものが最小となる、前記パラメータPφ,t,dを(φ,t,d)の全ての組み合わせについて求め、変数^Pφ,t,dとし、(φ,t,d)の全ての組み合わせについて、前記スケジューリング係数k (s)と前記変数^Pφ-(n-1),t,dとの積を、n=1からn=Φまで足し合わせたものを、前記パラメータPφ,t,dの更新値として算出し、
    前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータUd,tで除算した商を、各時刻tについて足し合わせたものを、前記パラメータPφ,t,dの更新値と前記パラメータUd,tと乗算した積を、前記補助変数Zω,tで除算した商を、各時刻tについて足し合わせたもので除算した商の平方根を、前記パラメータHω,φ,dの更新値として(ω,φ,d)の全ての組み合わせについて算出し、
    前記パラメータPφ,t,dの更新値と前記補助変数ηω,t,dの2乗と前記観測時間周波数成分Yω,tとを乗算した積を、前記パラメータHω,φ,dの更新値で除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたものを、前記パラメータHω,φ,dの更新値と前記パラメータPφ,t,dの更新値とを乗算した積を前記補助変数Zω,tで除算した商を、(ω,φ)の全ての組み合わせについて足し合わせたもので除算した商の平方根を、前記パラメータUd,tの更新値として(d,t)の全ての組み合わせについて算出し、
    前記繰り返し回数Sに到達するまで、前記補助変数Zω,t及び前記補助変数ηω,t,dの計算、前記スケジューリング係数kφ (s)の計算、前記パラメータHω,φ,dの更新値の算出、前記パラメータPφ,t,dの更新値の算出、及び前記パラメータUd,tの更新値の算出を繰り返し行う
    ことを特徴とする請求項5記載の信号分析方法。
  9. 請求項1〜請求項4の何れか1項に記載の信号分析装置の各手段としてコンピュータを機能させるためのプログラム。
JP2010165105A 2010-07-22 2010-07-22 信号分析装置、方法、及びプログラム Pending JP2012027196A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010165105A JP2012027196A (ja) 2010-07-22 2010-07-22 信号分析装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010165105A JP2012027196A (ja) 2010-07-22 2010-07-22 信号分析装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2012027196A true JP2012027196A (ja) 2012-02-09

Family

ID=45780197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010165105A Pending JP2012027196A (ja) 2010-07-22 2010-07-22 信号分析装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2012027196A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049406A (ja) * 2013-09-02 2015-03-16 日本電信電話株式会社 音響信号解析装置、方法、及びプログラム
JP2015135437A (ja) * 2014-01-17 2015-07-27 日本電信電話株式会社 モデル推定装置、雑音抑圧装置、音声強調装置、これらの方法及びプログラム
JP2017152825A (ja) * 2016-02-23 2017-08-31 日本電信電話株式会社 音響信号解析装置、音響信号解析方法、及びプログラム
WO2018150589A1 (ja) * 2017-02-20 2018-08-23 三菱電機株式会社 パターン抽出装置、パターン抽出方法およびパターン抽出プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022128A (ja) * 2010-07-14 2012-02-02 Nippon Telegr & Teleph Corp <Ntt> 信号解析装置、信号解析方法及び信号解析プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022128A (ja) * 2010-07-14 2012-02-02 Nippon Telegr & Teleph Corp <Ntt> 信号解析装置、信号解析方法及び信号解析プログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JPN6013036540; Hirokazu Kameoka, et al.: 'Complex NMF: A New Sparse Representation for Acoustic Signals' Proc. ICASSP 2009 , 200904, pp.3437-3440 *
JPN6013036541; 亀岡弘和,他: 'Music Factorizer: 音楽音響信号をノート単位で編集できるインタフェース' 情報処理学会研究報告 Vol.2009-MUS-81, No.9, 20090722, pp.1-6, 社団法人情報処理学会 *
JPN6013036542; Daniel D. Lee, et al.: 'Algorithms for Non-negative Matrix Factorization' Advances in Neural Information Processing Systems Vol.13, 2000, pp.556-562 *
JPN6013036543; 亀岡弘和,他: 'Frobeniusノルム基準の非負値行列因子分解における乗法更新式に関する一考察' 日本音響学会2009年秋季研究発表会講演論文集 , 20090908, pp.709-712, 社団法人日本音響学会 *
JPN7013003856; 中野允裕,外5名: '可変基底NMFに基づく音楽音響信号の解析' 情報処理学会研究報告 Vol.2010-MUS-84, No.10, 20100208, pp.1-6, 一般社団法人情報処理学会 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049406A (ja) * 2013-09-02 2015-03-16 日本電信電話株式会社 音響信号解析装置、方法、及びプログラム
JP2015135437A (ja) * 2014-01-17 2015-07-27 日本電信電話株式会社 モデル推定装置、雑音抑圧装置、音声強調装置、これらの方法及びプログラム
JP2017152825A (ja) * 2016-02-23 2017-08-31 日本電信電話株式会社 音響信号解析装置、音響信号解析方法、及びプログラム
WO2018150589A1 (ja) * 2017-02-20 2018-08-23 三菱電機株式会社 パターン抽出装置、パターン抽出方法およびパターン抽出プログラム
JPWO2018150589A1 (ja) * 2017-02-20 2019-07-11 三菱電機株式会社 パターン抽出装置、パターン抽出方法およびパターン抽出プログラム

Similar Documents

Publication Publication Date Title
Gfeller et al. SPICE: Self-supervised pitch estimation
US9111526B2 (en) Systems, method, apparatus, and computer-readable media for decomposition of a multichannel music signal
JP4660739B2 (ja) 音分析装置およびプログラム
US20110058685A1 (en) Method of separating sound signal
JP5088030B2 (ja) 演奏音の類似度を評価する方法、装置およびプログラム
Fuentes et al. Harmonic adaptive latent component analysis of audio and application to music transcription
US8380331B1 (en) Method and apparatus for relative pitch tracking of multiple arbitrary sounds
Yoshii et al. A nonparametric Bayesian multipitch analyzer based on infinite latent harmonic allocation
US8660678B1 (en) Automatic score following
Chien et al. Bayesian factorization and learning for monaural source separation
Saito et al. Specmurt analysis of polyphonic music signals
JP2007041234A (ja) 音楽音響信号の調推定方法および調推定装置
Fuentes et al. Adaptive harmonic time-frequency decomposition of audio using shift-invariant PLCA
JP5580585B2 (ja) 信号分析装置、信号分析方法及び信号分析プログラム
JP2012027196A (ja) 信号分析装置、方法、及びプログラム
JP5924968B2 (ja) 楽譜位置推定装置、及び楽譜位置推定方法
Park et al. Separation of instrument sounds using non-negative matrix factorization with spectral envelope constraints
JP2009204808A (ja) 音響特徴抽出方法及び、その装置、そのプログラム、そのプログラムを記録した記録媒体
Rigaud et al. Does inharmonicity improve an NMF-based piano transcription model?
JP6733487B2 (ja) 音響解析方法および音響解析装置
CN112259063B (zh) 一种基于音符瞬态字典和稳态字典的多音高估计方法
JP2013195575A (ja) 音響信号分析装置、方法、及びプログラム
Singh et al. Efficient pitch detection algorithms for pitched musical instrument sounds: A comparative performance evaluation
JP5771582B2 (ja) 音響信号分析装置、方法、及びプログラム
Hjerrild et al. Physical models for fast estimation of guitar string, fret and plucking position

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20121001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20121002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20131219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140121