JP2004279845A - 信号分離方法およびその装置 - Google Patents

信号分離方法およびその装置 Download PDF

Info

Publication number
JP2004279845A
JP2004279845A JP2003072724A JP2003072724A JP2004279845A JP 2004279845 A JP2004279845 A JP 2004279845A JP 2003072724 A JP2003072724 A JP 2003072724A JP 2003072724 A JP2003072724 A JP 2003072724A JP 2004279845 A JP2004279845 A JP 2004279845A
Authority
JP
Japan
Prior art keywords
target signal
matrix
target
amplitude characteristic
detection means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003072724A
Other languages
English (en)
Inventor
Shuji Hashimoto
周司 橋本
Mitsuharu Matsumoto
光春 松本
Atsuro Nakamura
淳良 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Sharp Corp
Original Assignee
Waseda University
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University, Sharp Corp filed Critical Waseda University
Priority to JP2003072724A priority Critical patent/JP2004279845A/ja
Publication of JP2004279845A publication Critical patent/JP2004279845A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】複数の目的信号源から発信される各目的信号を同時に分離することができるとともに、システムの小型化および動きのあるシステムへの適用が可能で、かつ、汎用性のある信号分離方法およびその装置を提供すること。
【解決手段】複数の検出手段(マイクロホン等)M(1)〜M(M)を同位置に設置し、これらで複数の目的信号源(音源等)S(1)〜S(N)からの各目的信号を同時に検出した後、FFTを実行し、FFT後の各出力信号を要素とする出力信号列ベクトルR、および各目的信号源の方向に対する各検出手段の伝達特性によって定まる伝達関数行列Mを用いて、R=M・Sを解くことにより、各目的信号を要素とする目的信号列ベクトルSを求め、IFFTを実行する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、目的とする信号を発信する複数の目的信号源が、同時に存在する環境下において、これらの目的信号源からの各目的信号を分離する信号分離方法およびその装置に係り、例えば、複数の音源が存在する環境下において、これらの音源が発する各目的信号を分離する場合等に利用できる。
【0002】
【背景技術】
複数の音源が存在する環境下において、目的とする音だけを分離する技術は長年望まれてきた技術である。特に、近年、テレビ会議、音声認識装置、デジタル補聴器等の利用が進展するにつれて、高品質受音装置への需要は、ますます高まりを見せている。このような高音質受音に対する技法として、これまでにも様々な研究がなされている。例えば、マイクロホンアレイや独立成分分析(ICA)等は、高音質受音に関する代表的な研究であるといえる。
【0003】
マイクロホンアレイは、複数のマイクロホンをアレイ上に並べ、各マイクロホンで観測される音源の位相特性を利用して、雑音を抑制し、目的音を強調する技術である。このマイクロホンアレイには、一般に遅延和型アレイ(非特許文献1参照)と、適応型アレイ(非特許文献2参照)とがあり、実際のロボットに搭載されたり、次世代自動販売機への応用が検討されるなど、様々な場面で利用されている。そして、これらの遅延和型アレイおよび適応型アレイの双方とも、従来からある指向性マイクとは異なり、ビーム方向を可変にし(マイク自体は無指向性のものを用いてソフトウェアにより実現していることが多い。)、目的音に対して超指向性を持つシステムとして利用されている。
【0004】
一方、独立成分分析(ICA)は、信号源の確率的な独立性に注目し、音源分離を行う手法である。ICAでは、信号源が確率的に独立であれば、クルバック−レイブラー・ダイバージェンス(Kullback−Leibler Divergence)を最大にするように復元フィルタを設計することで、複数の音源を観測音のみから分離することが可能である(非特許文献3,4参照)。
【0005】
【非特許文献1】
野村博昭,金田豊,小島順治,「近接音場型マイクロホンアレー」,日本音響学会誌,1997年,第53巻,第2号,p.110−116
【非特許文献2】
金田豊,「アダプティブマイクロホンアレー」,電子情報通信学会論文誌,1992年,Vol.J75−B−II,No.11,p.742−748
【非特許文献3】
C.ジュテン(C.Jutten),J.ヘラウルト(J.Herault),「ブラインド・セパレーション・オブ・ソースイズ(Blind separation of sources),パートI:アン・アダプティブ・アルゴリズム・ベースト・オン・ニューロン(Part I:An adaptive algorithm based on neuron)」,シグナル・プロセシング(Signal Processing),1991年,Vol.24,p.1−10
【非特許文献4】
甘利俊一,村田昇,「独立成分分析−多変量データ解析の新しい方法」,サイエンス社,2002年
【0006】
【発明が解決しようとする課題】
しかしながら、前述した遅延和型アレイでは、鋭い指向性を実現するためには、音波の空間波長に対して数倍程度の受音器が必要になることが知られている。人間(男性)の音声の基本周波数は百数十Hz程度であり、音速は340m/sであるので、その空間波長は2m以上になってしまう。このため、遅延和型アレイでは、高音質な受音を実現するために非常に大きなアレイサイズが必要となるという問題があり、実際のシステムに適用するときに、大きな制約となっている。
【0007】
また、前述した適応型アレイは、遅延和型アレイに比べ、小規模なアレイサイズでも高い雑音抑制効果を実現できるが、ロボットのような動きのあるシステムに適用する際には、指向性制御をロボットの動きに合わせて逐次行う必要があり、動きのあるシステムに適用するには困難が伴う。
【0008】
さらに、マイクロホンアレイは、適応型アレイおよび遅延和型アレイのいずれでも、存在する複数の音源のうち特定の音源に焦点を合わせる雑音抑制は可能であるが、複数の音源を同時に分離する音源分離をすることは困難であるため、複数の人間の音声双方が目的音であるような環境下での使用を考えたときには、理想的であるとは言い難い。
【0009】
一方、前述したように独立成分分析(ICA)では、複数の音源を観測音のみから分離することが可能であるが、ICAで逆行列を求めるためには、各々の地点で十分な量の観測データが存在することが必要不可欠な条件となるため、実用途に適用するには多くの困難が伴う。例えば、実ロボットのような動きのあるシステムにICAを適用する際には、その動きに応じて各地点で十分な量のデータが必要になるため、ロボットの動きに合わせて各地点で逆行列を求めることは実質的に不可能である。
【0010】
また、以上に述べた手法とは異なる音源分離の試みとして、音源に対して幾つかの制約を置くことで音源分離を実現するアルゴリズムや、対象を楽器等に特化することで音源分離性能を向上させようとする研究等も提案されている。しかし、これらの制約は、汎用的な音源分離技術として用いようとしたときに、大きな妨げとなることは明らかである。
【0011】
従って、例えば小型ロボット等の動きのあるシステムにまで導入が可能であるような音源分離システムとして、外部環境変数に対して独立であり、システムの小型化が可能であり、リアルタイムでの制御が可能であるシステムが望まれる。そして、以上のことは、音源分離に限らず、より一般的に、複数の目的信号源から発信される各目的信号の分離を行う際にも、同様にいえることである。
【0012】
本発明の目的は、複数の目的信号源から発信される各目的信号を同時に分離することができるとともに、システムの小型化および動きのあるシステムへの適用が可能で、かつ、汎用性のある信号分離方法およびその装置を提供するところにある。
【0013】
【課題を解決するための手段】
本発明の信号分離方法は、複数の目的信号源に対してこれらの目的信号源の個数以上の複数の検出手段を同位置または略同位置に設置し、これらの複数の検出手段のそれぞれで複数の目的信号源からの各目的信号を同時に検出した後、複数の検出手段の各出力信号に対してフーリエ変換を実行し、さらに、フーリエ変換された複数の検出手段の各出力信号を要素とする出力信号列ベクトルR、および複数の目的信号源の各方向に対する複数の検出手段の伝達特性によって定まる伝達関数行列Mを用いて、R=M・Sを解くことにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルSを求め、その後、求めた目的信号列ベクトルSに対してフーリエ逆変換を実行することを特徴とするものである。
【0014】
ここで、「目的信号」には、例えば、音、圧力等が含まれる。
【0015】
また、「検出手段」には、例えば、マイクロホン、圧力センサ等が含まれる。「検出手段」は、複数の方向からの信号を同時に検出でき、かつ、これらの複数の方向からの各入力信号に対する各応答信号が合成された状態の信号を出力するものであればよい。
【0016】
さらに、「略同位置」とは、目的信号の波長に対し、複数の検出手段同士の設置間隔が短く、同位置に設置されているとみなすことができるという意味である。なお、本願明細書において、検出手段を「設置」というときは、検出手段を空間的に固定するという意味ではなく、例えば、ロボットのような動きのあるシステムへの設置(従って、検出手段自体が向きや位置を変えること)が含まれる。
【0017】
そして、「フーリエ変換」および「フーリエ逆変換」には、高速フーリエ変換(FFT:First Fourier Transform)および高速フーリエ逆変換(IFFT:Inverse First Fourier Transform)、離散フーリエ変換(DFT:Discrete Fourier Transform)およびその逆変換がそれぞれ含まれる。以下の発明においても同様である。
【0018】
このような本発明の信号分離方法においては、出力信号列ベクトルRおよび伝達関数行列Mを用いて、R=M・Sを解くことにより、目的信号列ベクトルSを求める。この際、複数の検出手段のそれぞれの伝達特性が既知であり、かつ、各目的信号の到来方向(複数の目的信号源の各方向)が既知であれば、伝達関数行列Mが定まるので、伝達関数行列Mが定まった状態で、複数の検出手段の各出力信号から出力信号列ベクトルRが得られれば、目的信号列ベクトルSを求めることが可能となる。
【0019】
このため、従来のマイクロホンアレイのように、存在する複数の音源のうち特定の音源に焦点を合わせる雑音抑制を行う場合とは異なり、複数の目的信号源からの各目的信号を同時に分離することが可能となる。従って、例えば、複数の人間の音声双方が目的音であるような環境下等でも使用できるようになる。
【0020】
また、複数の検出手段を同位置または略同位置に設置するので、従来の遅延和型マイクロホンアレイのようにシステムが大型化することはなく、システムの小型化が図られる。
【0021】
さらに、伝達関数行列Mは、外部依存のものではなく、内部変数によってのみ定まる変数行列であるため、本発明の信号分離方法は、外部環境に依存せず、内部変数のみを操作することによって信号分離を実現することが可能となる。このため、従来の適応型マイクロホンアレイや独立成分分析(ICA)を実用途に適用する場合に生じるような困難性は解消されるので、実際の応用面で有効であり、ロボット等の動きのあるシステムへの実装が可能となる。
【0022】
そして、信号分離を行うにあたって、目的信号源に対して幾つかの制約を置いたり、対象とする目的信号源の種別を特化する必要もないので、汎用性のある信号分離が実現され、これらにより前記目的が達成される。
【0023】
また、前述した信号分離方法において、検出手段の設置個数を目的信号源の個数と同数とし、R=M・Sを解く際には、伝達関数行列Mの逆行列M−1を用いて、S=M−1・Rを計算するようにしてもよい。
【0024】
このように目的信号源の個数と同数の検出手段を設置し、伝達関数行列Mの逆行列M−1を用いて計算を行うようにした場合には、目的信号列ベクトルSを容易に求めることが可能となり、また、システムの小型化、システム構成の簡易化を図ることが可能となる。
【0025】
さらに、前述したように、本発明の信号分離方法の適用対象となる目的信号は、例えば音や圧力等であるが、特に実用途への応用に適した例として、目的信号源が音源であり、検出手段がマイクロホンである場合が挙げられる。
【0026】
また、以上に述べた本発明の信号分離方法(以下、フーリエ変換およびその逆変換を行う厳密な信号分離方法という。)を実現する装置として、以下のような本発明の信号分離装置(以下、フーリエ変換およびその逆変換を行う厳密な信号分離装置という。)が挙げられる。
【0027】
すなわち、本発明の信号分離装置は、複数の目的信号源に対してこれらの目的信号源の個数以上設置され、かつ、それぞれ同位置または略同位置に設置されて複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、このフーリエ変換手段によりフーリエ変換された複数の検出手段の各出力信号を要素とする出力信号列ベクトルR、および複数の目的信号源の各方向に対する複数の検出手段の伝達特性によって定まる伝達関数行列Mを用いて、R=M・Sを解くことにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルSを求める目的信号列ベクトル算出手段と、この目的信号列ベクトル算出手段により求めた目的信号列ベクトルSに対してフーリエ逆変換を実行するフーリエ逆変換手段とを備えたことを特徴とするものである。
【0028】
ここで、「フーリエ変換手段」および「フーリエ逆変換手段」には、高速フーリエ変換手段およびその逆変換手段、離散フーリエ変換手段およびその逆変換手段がそれぞれ含まれる。以下の発明においても同様である。
【0029】
このような本発明の信号分離装置(フーリエ変換およびその逆変換を行う厳密な信号分離装置)においては、前述した本発明の信号分離方法(フーリエ変換およびその逆変換を行う厳密な信号分離方法)で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。
【0030】
さらに、前述した信号分離装置において、複数の検出手段のそれぞれについての方向に対する伝達特性を記憶する伝達特性記憶手段と、この伝達特性記憶手段に記憶された伝達特性に基づき、複数の目的信号源の各方向に対する複数の検出手段の伝達特性によって定まる伝達関数行列Mを作成する伝達関数行列作成手段とを備え、目的信号列ベクトル算出手段は、伝達関数行列作成手段により作成された伝達関数行列Mを用いて、R=M・Sを解く構成としてもよい。
【0031】
このように伝達特性記憶手段および伝達関数行列作成手段を備えた構成とした場合には、各目的信号の到来方向(複数の目的信号源の各方向)が、複数の検出手段の設置方向に対して相対的に変化しても、その都度、その時の状態の伝達関数行列Mを自動的に定めることが可能となる。つまり、内部変数の変化に応じて、演算処理に用いる伝達関数行列Mを逐次変化させることが可能となる。
【0032】
そして、前述した信号分離装置において、複数の目的信号源の各方向に対する複数の検出手段の伝達特性によって定まる伝達関数行列Mを記憶する伝達関数行列記憶手段を備え、目的信号列ベクトル算出手段は、伝達関数行列記憶手段に記憶された伝達関数行列Mを用いて、R=M・Sを解く構成としてもよい。
【0033】
このように伝達関数行列記憶手段を備えた構成とした場合には、各目的信号の到来方向(複数の目的信号源の各方向)が、複数の検出手段の設置方向に対して相対的に固定されているような状況下であれば、固定された伝達関数行列Mを用いて、目的信号列ベクトルSを求める演算処理を行うことが可能となる。
【0034】
また、本発明の信号分離装置は、複数の目的信号源に対してこれらの目的信号源の個数と同数設置され、かつ、それぞれ同位置または略同位置に設置されて複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、このフーリエ変換手段によりフーリエ変換された複数の検出手段の各出力信号を要素とする出力信号列ベクトルR、および複数の目的信号源の各方向に対する複数の検出手段の伝達特性によって定まる伝達関数行列Mの逆行列M−1を用いて、S=M−1・Rを計算することにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルSを求める目的信号列ベクトル算出手段と、この目的信号列ベクトル算出手段により求めた目的信号列ベクトルSに対してフーリエ逆変換を実行するフーリエ逆変換手段とを備えたことを特徴とするものである。
【0035】
このような本発明の信号分離装置(フーリエ変換およびその逆変換を行う厳密な信号分離装置)においては、前述した本発明の信号分離装置に対し、目的信号源の個数と同数の検出手段が設置され、かつ、伝達関数行列Mの逆行列M−1を用いて目的信号列ベクトルSの算出処理が行われる点が異なるのみであるため、前述した本発明の信号分離方法(フーリエ変換およびその逆変換を行う厳密な信号分離方法)で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。
【0036】
さらに、前述した信号分離装置において、複数の検出手段のそれぞれについての方向に対する伝達特性を記憶する伝達特性記憶手段と、この伝達特性記憶手段に記憶された伝達特性に基づき、複数の目的信号源の各方向に対する複数の検出手段の伝達特性によって定まる伝達関数行列Mの逆行列M−1を作成する逆行列作成手段とを備え、目的信号列ベクトル算出手段は、逆行列作成手段により作成された逆行列M−1を用いて、S=M−1・Rを計算する構成としてもよい。
【0037】
このように伝達特性記憶手段および逆行列作成手段を備えた構成とした場合には、各目的信号の到来方向(複数の目的信号源の各方向)が、複数の検出手段の設置方向に対して相対的に変化しても、その都度、その時の状態の伝達関数行列Mの逆行列M−1を自動的に定めることが可能となる。つまり、内部変数の変化に応じて、演算処理に用いる伝達関数行列Mの逆行列M−1を逐次変化させることが可能となる。
【0038】
そして、前述した信号分離装置において、複数の目的信号源の各方向に対する複数の検出手段の伝達特性によって定まる伝達関数行列Mの逆行列M−1を記憶する逆行列記憶手段を備え、目的信号列ベクトル算出手段は、逆行列記憶手段に記憶された逆行列M−1を用いて、S=M−1・Rを計算する構成としてもよい。
【0039】
このように逆行列記憶手段を備えた構成とした場合には、各目的信号の到来方向(複数の目的信号源の各方向)が、複数の検出手段の設置方向に対して相対的に固定されているような状況下であれば、固定された伝達関数行列Mの逆行列M−1を用いて、目的信号列ベクトルSを求める演算処理を行うことが可能となる。
【0040】
以上においては、フーリエ変換およびその逆変換を行う厳密な信号分離方法およびその装置について述べたが、以下においては、これとは異なる本発明の信号分離方法およびその装置(以下、フーリエ変換およびその逆変換を行う簡易な信号分離方法およびその装置という。)について述べる。
【0041】
すなわち、本発明の信号分離方法は、複数の目的信号源に対してこれらの目的信号源の個数以上の複数の検出手段を同位置または略同位置に設置し、これらの複数の検出手段のそれぞれで複数の目的信号源からの各目的信号を同時に検出した後、複数の検出手段の各出力信号に対してフーリエ変換を実行し、さらに、フーリエ変換された複数の検出手段の各出力信号を要素とする出力信号列ベクトルRのパワースペクトルR、および複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列Aを用いて、R=A・S を解くことにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルSのパワースペクトルS を求め、その後、求めた目的信号列ベクトルSのパワースペクトルS に対してフーリエ逆変換を実行することを特徴とするものである。
【0042】
ここで、「目的信号」、「検出手段」、および「略同位置」の意味は、前述したフーリエ変換およびその逆変換を行う厳密な信号分離方法の場合と同様である。
【0043】
このような本発明の信号分離方法(フーリエ変換およびその逆変換を行う簡易な信号分離方法)においては、前述したフーリエ変換およびその逆変換を行う厳密な信号分離方法が位相特性も考慮していたのに対し、位相特性を考慮せずに振幅特性のみを考慮する点が異なるのみであるため、前述したフーリエ変換およびその逆変換を行う厳密な信号分離方法の場合と同様な作用・効果が得られ、これにより前記目的が達成される。例えば、人間の耳は、目的信号の位相に対しては振幅に対するよりも感度が低いことが知られているので、体感的な音源分離の観点からは、目的信号源のうち、特に振幅情報の復元が重要となるため、このような場合には、振幅特性のみを考慮した簡易な信号分離方法であっても、厳密な信号分離方法の場合と同様な作用・効果が得られる。
【0044】
また、前述した信号分離方法において、検出手段の設置個数を目的信号源の個数と同数とし、R=A・S を解く際には、振幅特性行列Aの逆行列A−1を用いて、S =A−1・Rを計算するようにしてもよい。
【0045】
このように目的信号源の個数と同数の検出手段を設置し、振幅特性行列Aの逆行列A−1を用いて計算を行うようにした場合には、目的信号列ベクトルSのパワースペクトルS を容易に求めることが可能となり、また、システムの小型化、システム構成の簡易化を図ることが可能となる。
【0046】
さらに、前述した信号分離方法において、R=A・S を解いて求めた目的信号列ベクトルSのパワースペクトルS に位相情報を付加した後、フーリエ逆変換を実行することが望ましい。
【0047】
このように位相情報を付加してからフーリエ逆変換を実行するようにした場合には、パワースペクトルに対してそのままフーリエ逆変換を実行すると、フーリエ逆変換の区間幅によって不連続点が出ることがあるが、これを解消することが可能となる。
【0048】
そして、フーリエ変換およびその逆変換を行う簡易な信号分離方法においても、前述したフーリエ変換およびその逆変換を行う厳密な信号分離方法の場合と同様に、本発明の信号分離方法の適用対象となる目的信号は、例えば音や圧力等であるが、特に実用途への応用に適した例として、目的信号源が音源であり、検出手段がマイクロホンである場合が挙げられる。
【0049】
また、以上に述べた本発明の信号分離方法(フーリエ変換およびその逆変換を行う簡易な信号分離方法)を実現する装置として、以下のような本発明の信号分離装置(フーリエ変換およびその逆変換を行う簡易な信号分離装置)が挙げられる。なお、以下のフーリエ変換およびその逆変換を行う簡易な信号分離装置では、前述したフーリエ変換およびその逆変換を行う厳密な信号分離装置における伝達関数行列Mが、振幅特性行列Aに置き換えられるだけであり、厳密な信号分離装置の場合と同様な作用・効果が得られる。
【0050】
すなわち、本発明の信号分離装置は、複数の目的信号源に対してこれらの目的信号源の個数以上設置され、かつ、それぞれ同位置または略同位置に設置されて複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、このフーリエ変換手段によりフーリエ変換された複数の検出手段の各出力信号を要素とする出力信号列ベクトルRのパワースペクトルR、および複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列Aを用いて、R=A・S を解くことにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルSのパワースペクトルS を求める目的信号列ベクトル算出手段と、この目的信号列ベクトル算出手段により求めた目的信号列ベクトルSのパワースペクトルS に対してフーリエ逆変換を実行するフーリエ逆変換手段とを備えたことを特徴とするものである。
【0051】
また、上記の信号分離装置において、複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、この振幅特性記憶手段に記憶された振幅特性に基づき、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列Aを作成する振幅特性行列作成手段とを備え、目的信号列ベクトル算出手段は、振幅特性行列作成手段により作成された振幅特性行列Aを用いて、R=A・S を解く構成としてもよい。
【0052】
さらに、上記の信号分離装置において、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列Aを記憶する振幅特性行列記憶手段を備え、目的信号列ベクトル算出手段は、振幅特性行列記憶手段に記憶された振幅特性行列Aを用いて、R=A・S を解く構成としてもよい。
【0053】
そして、本発明の信号分離装置は、複数の目的信号源に対してこれらの目的信号源の個数と同数設置され、かつ、それぞれ同位置または略同位置に設置されて複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、このフーリエ変換手段によりフーリエ変換された複数の検出手段の各出力信号を要素とする出力信号列ベクトルRのパワースペクトルR、および複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列Aの逆行列A−1を用いて、S =A−1・Rを計算することにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルSのパワースペクトルS を求める目的信号列ベクトル算出手段と、この目的信号列ベクトル算出手段により求めた目的信号列ベクトルSのパワースペクトルS に対してフーリエ逆変換を実行するフーリエ逆変換手段とを備えたことを特徴とするものである。
【0054】
また、上記の信号分離装置において、複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、この振幅特性記憶手段に記憶された振幅特性に基づき、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列Aの逆行列A−1を作成する逆行列作成手段とを備え、目的信号列ベクトル算出手段は、逆行列作成手段により作成された逆行列A−1を用いて、S =A−1・Rを計算する構成としてもよい。
【0055】
さらに、上記の信号分離装置において、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列Aの逆行列A−1を記憶する逆行列記憶手段を備え、目的信号列ベクトル算出手段は、逆行列記憶手段に記憶された逆行列A−1を用いて、S =A−1・Rを計算する構成としてもよい。
【0056】
以上においては、フーリエ変換およびその逆変換を行う簡易な信号分離方法およびその装置について述べたが、以下においては、これとは異なる本発明の信号分離方法およびその装置(以下、フーリエ変換およびその逆変換を行わない信号分離方法およびその装置という。)について述べる。
【0057】
すなわち、本発明の信号分離方法は、複数の目的信号源に対してこれらの目的信号源の個数以上の複数の検出手段を同位置または略同位置に設置し、これらの複数の検出手段のそれぞれで複数の目的信号源からの各目的信号を同時に検出した後、複数の検出手段の各出力信号を要素とする出力信号列ベクトルr、および複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列aを用いて、r=a・sを解くことにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルsを求めることを特徴とするものである。
【0058】
ここで、「目的信号」は、例えば圧力等である。また、「検出手段」は、例えば圧力センサ等であり、インパルス入力に対して出力がインパルス応答となるようなものであればよい。さらに、「略同位置」の意味は、前述したフーリエ変換およびその逆変換を行う厳密な信号分離方法、並びにフーリエ変換およびその逆変換を行う簡易な信号分離方法の場合と同様である。
【0059】
このような本発明の信号分離方法(フーリエ変換およびその逆変換を行わない信号分離方法)においては、フーリエ変換およびその逆変換を行わない点が、前述したフーリエ変換およびその逆変換を行う厳密な信号分離方法、並びにフーリエ変換およびその逆変換を行う簡易な信号分離方法と異なっているが、その他の処理手順は同様であるため、前述したフーリエ変換およびその逆変換を行う厳密な信号分離方法、並びにフーリエ変換およびその逆変換を行う簡易な信号分離方法の場合と同様な作用・効果が得られ、これにより前記目的が達成される。
【0060】
また、前述した信号分離方法において、検出手段の設置個数を目的信号源の個数と同数とし、r=a・sを解く際には、振幅特性行列aの逆行列a−1を用いて、s=a−1・rを計算するようにしてもよい。
【0061】
そして、以上に述べた本発明の信号分離方法(フーリエ変換およびその逆変換を行わない信号分離方法)を実現する装置として、以下のような本発明の信号分離装置(フーリエ変換およびその逆変換を行わない信号分離装置)が挙げられる。
【0062】
すなわち、本発明の信号分離装置は、複数の目的信号源に対してこれらの目的信号源の個数以上設置され、かつ、それぞれ同位置または略同位置に設置されて複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、これらの複数の検出手段の各出力信号を要素とする出力信号列ベクトルr、および複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列aを用いて、r=a・sを解くことにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルsを求める目的信号列ベクトル算出手段とを備えたことを特徴とするものである。
【0063】
また、上記の信号分離装置において、複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、この振幅特性記憶手段に記憶された振幅特性に基づき、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列aを作成する振幅特性行列作成手段とを備え、目的信号列ベクトル算出手段は、振幅特性行列作成手段により作成された振幅特性行列aを用いて、r=a・sを解く構成としてもよい。
【0064】
さらに、上記の信号分離装置において、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列aを記憶する振幅特性行列記憶手段を備え、目的信号列ベクトル算出手段は、振幅特性行列記憶手段に記憶された振幅特性行列aを用いて、r=a・sを解く構成としてもよい。
【0065】
そして、本発明の信号分離装置は、複数の目的信号源に対してこれらの目的信号源の個数と同数設置され、かつ、それぞれ同位置または略同位置に設置されて複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、これらの複数の検出手段の各出力信号を要素とする出力信号列ベクトルr、および複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列aの逆行列a−1を用いて、s=a−1・rを計算することにより、複数の目的信号源から発信されて複数の検出手段の設置位置まで到達した各目的信号を要素とする目的信号列ベクトルsを求める目的信号列ベクトル算出手段とを備えたことを特徴とするものである。
【0066】
また、上記の信号分離装置において、複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、この振幅特性記憶手段に記憶された振幅特性に基づき、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列aの逆行列a−1を作成する逆行列作成手段とを備え、目的信号列ベクトル算出手段は、逆行列作成手段により作成された逆行列a−1を用いて、s=a−1・rを計算する構成としてもよい。
【0067】
さらに、上記の信号分離装置において、複数の目的信号源の各方向に対する複数の検出手段の振幅特性によって定まる振幅特性行列aの逆行列a−1を記憶する逆行列記憶手段を備え、目的信号列ベクトル算出手段は、逆行列記憶手段に記憶された逆行列a−1を用いて、s=a−1・rを計算する構成としてもよい。
【0068】
そして、以上に述べた本発明の信号分離方法において、フーリエ変換は、高速フーリエ変換であり、フーリエ逆変換は、高速フーリエ逆変換であることが望ましい。
【0069】
また、以上に述べた本発明の信号分離装置において、フーリエ変換手段は、高速フーリエ変換手段であり、フーリエ逆変換手段は、高速フーリエ逆変換手段であることが望ましい。
【0070】
【発明の実施の形態】
以下に本発明の各実施形態を図面に基づいて説明する。
【0071】
[第1実施形態]
【0072】
図1には、本発明の信号分離装置である第1実施形態の音源分離装置10の全体構成が示されている。音源分離装置10は、高速フーリエ変換(FFT:First Fourier Transform)および高速フーリエ逆変換(IFFT:Inverse First Fourier Transform)を行う厳密な音源分離方法を実現する装置であり、複数(ここでは、N個とする。)の目的信号源である音源S(1),S(2),…,S(j),…,S(N)から発信される各目的信号である目的音を同時に分離する装置である。
【0073】
図1において、音源分離装置10は、複数(ここでは、M個とする。)の検出手段であるマイクロホンM(1),M(2),…,M(i),…,M(M)と、本体10Aとにより構成されている。本体10Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段11と、伝達特性記憶手段12と、伝達関数行列作成手段13と、目的信号列ベクトル算出手段14と、高速フーリエ逆変換手段15とを備えている。
【0074】
マイクロホンM(i)(i=1〜M)は、互いに指向特性の異なるマイクロホン(指向特性が同じマイクロホンを向きを変えて設置することも含む。)であり、略同位置に設置されている。マイクロホンM(i)の個数Mは、音源S(j)の個数N以上である(M≧N)。各マイクロホンM(1)〜M(M)は、それぞれ複数の音源S(1)〜S(N)からの信号を同時に受信し、かつ、これらの複数の方向からの各入力信号に対する各応答信号が合成された状態の信号r(t),r(t),…,r(t)を出力するものである。
【0075】
高速フーリエ変換手段11は、各マイクロホンM(1)〜M(M)の出力信号r(t)〜r(t)に対して高速フーリエ変換を実行する処理を行うものである。
【0076】
伝達特性記憶手段12は、各マイクロホンM(1)〜M(M)についての方向に対する伝達特性を記憶するものである。伝達特性記憶手段12には、各マイクロホンM(1)〜M(M)のそれぞれについて、目的信号を受信可能な全範囲(全方向・全角度である。但し、連続的でなくてもよく、例えば一定角度置き等でもよい。)に渡る伝達特性が記憶されている。
【0077】
伝達関数行列作成手段13は、伝達特性記憶手段12に記憶された伝達特性に基づき、複数の音源S(1)〜S(N)の各方向に対する各マイクロホンM(1)〜M(M)の伝達特性によって定まるマイクロホン伝達関数行列M(後述する式(10)参照)を作成する処理を行うものである。なお、伝達関数行列作成手段13による伝達関数行列Mの作成処理は、例えば、伝達特性記憶手段12に記憶された全方向に渡る伝達特性のデータのうちから、各音源S(1)〜S(N)の方向に対応するデータを選択する処理であってもよく、あるいは伝達特性記憶手段12に数式等の形で記憶されている伝達特性に基づき、各音源S(1)〜S(N)の方向に対応する伝達特性を計算する処理であってもよく、さらには、伝達特性記憶手段12に記憶された全方向(但し、連続的ではなく、例えば一定角度置き等の場合)に渡る伝達特性のデータを、各音源S(1)〜S(N)の方向に対応するデータとするための補完処理であってもよい。
【0078】
なお、音源分離装置10を搭載したシステムが動くと(つまり、音源S(1)〜S(N)に対するマイクロホンM(1)〜M(M)の相対的な姿勢が変化すると)、マイクロホン伝達関数行列Mの各要素の値は変化する。しかし、各マイクロホンM(1)〜M(M)についての方向に対する伝達特性は、それぞれの方向について一意に定まるので、システムが動いたとしても、伝達特性記憶手段12に記憶させるデータ自体(数式等であってもよい。)を変更する必要はなく、伝達関数行列作成手段13により、その時点における各音源に対する各マイクロホンの相対姿勢に従って、伝達関数行列Mの各要素の値を定める処理(前述した選択処理、計算処理、補完処理等)を行うだけでよい。
【0079】
また、音源分離装置(信号分離装置)を搭載したシステムが動く場合、あるいは音源(目的信号源)が動く場合には、その時点における音源(目的信号源)に対するマイクロホン(検出手段)の相対的な姿勢を把握しなければならないので、音源(目的信号源)の存在する方向を把握するための音源方向把握手段(目的信号源方向把握手段)を別途設けておく必要がある。
【0080】
目的信号列ベクトル算出手段14は、高速フーリエ変換手段11により高速フーリエ変換された各マイクロホンM(1)〜M(M)の出力信号R(f)〜R(f)を要素とする出力信号列ベクトルR、および伝達関数行列作成手段13により作成された伝達関数行列Mを用いて、後述する式(9)のR=M・Sを解くことにより、複数の音源S(1)〜S(N)から発信されて各マイクロホンM(1)〜M(M)の設置位置まで到達した各目的信号S (f)〜S (f)を要素とする目的信号列ベクトルSを求める処理を行うものである。なお、目的信号列ベクトル算出手段14による処理には、RからSを復元するための音源分離行列を作成する処理が含まれる。
【0081】
高速フーリエ逆変換手段15は、目的信号列ベクトル算出手段14により求めた目的信号列ベクトルSに対して高速フーリエ逆変換を実行する処理を行うものである。
【0082】
そして、本体10Aに含まれる各手段11,13,14,15は、本体10Aを構成するコンピュータの内部に設けられた中央演算処理装置(CPU)、およびこのCPUの動作手順を規定する一つまたは複数のプログラムにより実現される。
【0083】
また、伝達特性記憶手段12は、例えばハードディスク等により好適に実現されるが、その他に、例えば、光磁気ディスク(MO)、コンパクトディスク(CD)を利用した読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)、デジタル・バーサタイル・ディスク(DVD)を利用した読出し専用メモリ(DVD−ROM)、DVDを利用したランダム・アクセス・メモリ(DVD−RAM)、フレキシブルディスク(FD)、磁気テープ、読出し専用メモリ(ROM)、電気的消去および書換可能な読出し専用メモリ(EEPROM)、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、あるいはこれらの組合せ等を用いてもよい。
【0084】
以下においては、本発明の信号分離方法の理論的根拠を説明する。ここでは、一例として音源分離方法についての説明を行うものとする。
【0085】
図5は、音声等の目的信号を発するN個の音源が、同時に存在する音場において、本発明の信号分離方法(ここでは、音源分離方法)により受音を行う状態を示すブロック図である。図5において、複数の音源S(1)〜S(N)のうちの第j番目の音源S(j)から複数のマイクロホンM(1)〜M(M)のうちの第i番目のマイクロホンM(i)までの環境による空間伝達関数をGij(f)と表すものとする(i=1〜M,j=1〜N)。
【0086】
また、第j番目の音源S(j)から発信される目的音S(f)が、第i番目のマイクロホンM(i)で受音されるとき、マイクロホンM(i)は、その伝達特性に応じて、目的音S(f)の振幅および位相を変化させるものとし、目的音S(f)の到来方向(音源S(j)の方向)に対するマイクロホンM(i)の伝達特性をMij(f)と表すものとする(i=1〜M,j=1〜N)。なお、fは、周波数を表している。
【0087】
複数の音源S(1)〜S(N)からの目的信号S(f)〜S(f)を受音した各マイクロホンM(1)〜M(M)の出力信号R(f)〜R(f)は、行列表現を用いて次の式(1)のように表すことができる。
【0088】
R=MG・S ・・・・・・・・・・・・・・・・・・・・・・・(1)
【0089】
ここで、Rは、各マイクロホンM(1)〜M(M)の出力信号R(f)〜R(f)を要素とするM次の列ベクトルであり、次の式(2)のように表される。また、Sは、各音源S(1)〜S(N)から発信された目的信号S(f)〜S(f)を要素とするN次の列ベクトルであり、次の式(3)のように表される。なお、式(2)および式(3)において、Tは転置を意味する。
【0090】
R=[R(f) R(f) … R(f)] ・・・・・・・(2)
【0091】
S=[S(f) S(f) … S(f)] ・・・・・・・(3)
【0092】
そして、MGは、空間の伝達特性Gij(f)と、マイクロホンの伝達特性Mij(f)とにより定まるM行N列の行列であり、次の式(4)のように表される。
【0093】
【数1】
Figure 2004279845
【0094】
次に、本発明による音源分離では、以下のような3つの条件を仮定する。
【0095】
(条件1)M個のマイクロホン素子は、同位置または略同位置に置くことができる。
【0096】
(条件2)M個のマイクロホン素子についての方向に対する伝達特性は既知である。
【0097】
(条件3)目的音の到来方向は既知である。
【0098】
上記の条件1より、各マイクロホン素子の設置位置が空間的に同位置であるとみなせるため、任意の一つの音源S(j)(j=1〜N)から各マイクロホンM(1)〜M(M)までの環境による空間伝達関数は、等しいと考えられる。従って、上記の条件1が成立するとき、次の式(5)が成立するので、Gij(f)を、次の式(6)のように表すことができる。
【0099】
1j(f)=G2j(f)=…=GMj(f) (j=1〜N) ・・(5)
【0100】
(f)=Gij(f) (i=1〜M,j=1〜N) ・・・・(6)
【0101】
そして、上記の式(6)を用いると、前述した式(4)で表されるMGは、次の式(7)のように表すことができる。
【0102】
【数2】
Figure 2004279845
【0103】
従って、前述した式(1)は、次の式(8)に示されるN次の列ベクトルSを使って置き換えると、次の式(9)のように記述することができる。
【0104】
Figure 2004279845
【0105】
R=M・S ・・・・・・・・・・・・・・・・・・・・・・・(9)
【0106】
ここで、Mは、マイクロホン素子の伝達特性によって定まるM行N列の行列であり、次の式(10)のように表される。この行列Mのことを、本願明細書において、マイクロホン伝達関数行列(MTFM:Microphone Transfer Function Matrix)と呼ぶことにする。
【0107】
【数3】
Figure 2004279845
【0108】
また、Sの各要素S (f)は、前述した式(8)より、次の式(11)のように表される。
【0109】
(f)=G(f)S(f) ・・・・・・・・・・・・・(11)
【0110】
上記の式(11)の意味は、次の通りである。音源S(j)から発信された目的信号S(f)は、各マイクロホン素子の設置位置まで到達したときには、空間の伝達特性G(f)を用いれば、式(11)よりS (f)となる。従って、このS (f)を、各マイクロホン素子の設置位置における新たな信号源(各マイクロホン素子の設置位置において、音源S(j)の方向j(j=1〜N)に存在する信号源)から発信される目的信号であると考えることができる。この際、実際に音源S(j)から発信される目的音を観測することは、上記の目的信号S (f)を観測することに他ならない。つまり、そもそも人間が聞く音やロボットが認識する音は、人間やロボットの位置に到達した音であり、マイクロホン素子の設置位置の音に相当するからである。従って、S (f)を復元できることは、実質的にS(f)を復元することと等価である。なお、本願明細書において、Sは目的信号列ベクトルと呼ぶものとする。
【0111】
なお、上記の式(10)で示されるマイクロホン伝達関数行列Mのイメージ、および式(9)で示されるR=M・Sの関係のイメージは、後述する第3実施形態の図14で示されるイメージと同様である。
【0112】
以上より、音源分離問題は、前述した3つの条件の下で、式(9)におけるRからSを復元する問題に置き換えて考えることが可能である。ここで、前述した式(10)の伝達関数行列Mは、外部依存のものではなく、内部変数によってのみ定まる変数行列であり、前述した条件2により、この伝達関数行列Mの各要素は既知である。このため、式(9)を演算により代数的に解くことができれば、外部変数に依存しない形での音源分離が可能となる。
【0113】
以下においては、式(9)を行列形式の演算により代数的に解く方法について説明を行う。
【0114】
マイクロホンM(1)〜M(M)の個数Mは、音源S(1)〜S(N)の個数N以上であるが(M≧N)、この際、RankM≧Nであれば、RからSを復元するための音源分離行列(Rの各要素R(f)〜R(f)を用いて、Sの各要素S (f)〜S (f)を一意に決めることができる行列)が存在するため、観測されたR(f)〜R(f)からS (f)〜S (f)を分離することが可能となる。
【0115】
特に、M=Nである場合には、前述した式(10)で設定されたマイクロホン伝達関数行列Mが正則であれば、RからSを復元するための音源分離行列として、伝達関数行列Mの逆行列M−1を選ぶことで、次の式(12)を計算することにより、Sを復元することが可能になる。
【0116】
=M−1・R ・・・・・・・・・・・・・・・・・・・・・(12)
【0117】
なお、M>Nである場合には、例えば、一部のマイクロホンの出力信号を採用しない等の措置を採ることにより、容易に音源分離行列を定めることができる。
【0118】
このとき、前述した条件2,3から、N個の音源S(1)〜S(N)の方向に対する各マイクロホン素子の伝達特性は既知であるため、マイクロホン伝達関数行列Mの各要素は、事前に求めることができる。従って、RからSを復元するための音源分離行列(例えば、伝達関数行列Mの逆行列M−1等)は、事前に求められたマイクロホン伝達関数行列Mを用いて計算しておくことが可能となる。以上により、本発明の信号分離方法(ここでは、一例として音源分離方法)の理論的根拠の説明を終了する。
【0119】
このような第1実施形態においては、以下のようにして音源分離装置10を用いて複数の音源の分離処理を行う。
【0120】
先ず、各マイクロホンM(1)〜M(M)のそれぞれで複数の音源S(1)〜S(N)からの目的信号を同時に検出した後、高速フーリエ変換手段11により、各マイクロホンM(1)〜M(M)の出力信号r(t)〜r(t)に対して高速フーリエ変換(FFT)を実行する。なお、各マイクロホンM(1)〜M(M)の出力信号r(t)〜r(t)は、それぞれ複数の音源S(1)〜S(N)からの目的信号に対する応答信号が合成された状態の信号である。
【0121】
続いて、図示されない音源方向把握手段により、各音源S(1)〜S(N)の方向を把握した後、伝達関数行列作成手段13により、伝達特性記憶手段12に記憶された伝達特性に基づき、各音源S(1)〜S(N)の方向に対する各マイクロホンM(1)〜M(M)の伝達特性によって定まるマイクロホン伝達関数行列M(前述した式(10)参照)を作成する処理を行う。
【0122】
次に、目的信号列ベクトル算出手段14により、高速フーリエ変換後の各出力信号R(f)〜R(f)を要素とする出力信号列ベクトルR、および伝達関数行列作成手段13により作成したマイクロホン伝達関数行列Mを用いて、前述した式(9)のR=M・Sを解くことにより、目的信号列ベクトルSを求める。
【0123】
その後、求めた目的信号列ベクトルSに対し、高速フーリエ逆変換手段15により、高速フーリエ逆変換(IFFT)を実行する。
【0124】
このような第1実施形態によれば、次のような効果がある。すなわち、音源分離装置10は、出力信号列ベクトルRおよび伝達関数行列Mを用いて、前述した式(9)のR=M・Sを解くことにより、目的信号列ベクトルSを求めることができる。
【0125】
この際、各マイクロホンM(1)〜M(M)についての方向に対する伝達特性は、伝達特性記憶手段12に記憶されて既知であるため、各目的信号の到来方向(各音源S(1)〜S(N)の方向)を把握できれば、伝達関数行列作成手段13により伝達関数行列Mを定めることができる。そして、伝達関数行列Mが定まった状態で、各マイクロホンM(1)〜M(M)の高速フーリエ変換後の出力信号R(f)〜R(f)が得られれば、目的信号列ベクトル算出手段14により、目的信号列ベクトルSを求めることができる。
【0126】
このため、従来のマイクロホンアレイのように、存在する複数の音源のうち特定の音源に焦点を合わせる雑音抑制を行う場合とは異なり、複数の音源S(1)〜S(N)からの各目的信号を同時に分離することができる。従って、例えば、複数の人間の音声双方が目的音であるような環境下等でも音源分離装置10を使用することができる。
【0127】
また、各マイクロホンM(1)〜M(M)を同位置または略同位置に設置するので、従来の遅延和型マイクロホンアレイのようにシステムが大型化することはなく、システムの小型化を図ることができる。
【0128】
さらに、伝達関数行列Mは、外部依存のものではなく、内部変数によってのみ定まる変数行列であるため、音源分離装置10は、外部環境に依存せず、内部変数のみを操作することによって音源分離を実現することができる。このため、従来の適応型マイクロホンアレイや独立成分分析(ICA)を実用途に適用する場合に生じるような困難性は解消されるので、実際の応用面で有効であり、ロボット等の動きのあるシステムに実装することができる。
【0129】
そして、音源分離を行うにあたって、音源S(1)〜S(N)に対して幾つかの制約を置いたり、対象とする音源S(1)〜S(N)の種別を、例えば楽器等に特化する必要もないので、汎用性のある音源分離を実現することができる。
【0130】
また、本発明の効果を確かめるために、次のような実験を行った。
【0131】
2つの音源を用意し、同位置に設置された2つの指向性マイクロホンにより受音した。使用した指向性マイクロホンは、SONY製ECM−TS125(径/長さ:11×26mm)である。
【0132】
一方の音源をθ=0度の方向に設置し、他方の音源をθ=90度の方向に設置した。そして、θ=0度の方向からは、目的音Sとして500Hzの正弦波を鳴らし、θ=90度の方向からは、目的音Sとして1000Hzの正弦波を鳴らした。このときの実験結果を、下記の表1および表2に示す。
【0133】
【表1】
Figure 2004279845
【0134】
【表2】
Figure 2004279845
【0135】
表1には、2つのマイクロホンによる観測結果データが示されている。R,Rは、各マイクロホンの出力信号である。また、表2には、本発明による信号分離処理(マイクロホン伝達関数Mの逆行列M−1を用いた処理)を行って得られた計算結果データが示されている。S ,S は、復元された目的信号である。
【0136】
表1に示すように、R,Rとして観測されたデータは、500Hzおよび1000Hzを含む混合音となっているのに対し、表2に示すように、S では、500Hzの信号を、S では、1000Hzの信号をそれぞれ目的音として分離していることがわかる。これにより本発明の効果が顕著に示された。
【0137】
なお、以上に述べた第1実施形態の変形の形態として、次のような例を挙げることができる。
【0138】
図2には、第1実施形態についての第1の変形の形態を示す音源分離装置20の全体構成が示されている。
【0139】
図2において、音源分離装置20は、複数(M個)のマイクロホンM(1)〜M(M)と、本体20Aとにより構成されている。本体20Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段21と、伝達関数行列記憶手段22と、目的信号列ベクトル算出手段23と、高速フーリエ逆変換手段24とを備えている。
【0140】
高速フーリエ変換手段21および高速フーリエ逆変換手段24は、図1の高速フーリエ変換手段11および高速フーリエ逆変換手段15とそれぞれ同様である。
【0141】
一方、図1の音源分離装置10では、伝達特性記憶手段12および伝達関数行列作成手段13が設けられていたのに対し、図2の音源分離装置20では、既に定められたマイクロホン伝達関数行列Mを記憶する伝達関数行列記憶手段22が設けられている点が異なっている。このため、図1の目的信号列ベクトル算出手段14は、伝達関数行列作成手段13により作成された伝達関数行列Mを用いて演算処理を行う構成とされているのに対し、図2の目的信号列ベクトル算出手段23は、伝達関数行列記憶手段22に記憶された伝達関数行列Mを用いて演算処理を行う構成とされている。
【0142】
従って、図2の音源分離装置20は、マイクロホン伝達関数行列Mの各要素の値が固定される場合、すなわち各音源S(1)〜S(N)と各マイクロホンM(1)〜M(M)との相対関係(相対位置・相対姿勢・相対方向等)が変化しない場合に適用することができる。
【0143】
図3には、第1実施形態についての第2の変形の形態を示す音源分離装置30の全体構成が示されている。
【0144】
図3において、音源分離装置30は、複数(M個)のマイクロホンM(1)〜M(M)と、本体30Aとにより構成されている。本体30Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段31と、伝達特性記憶手段32と、逆行列作成手段33と、目的信号列ベクトル算出手段34と、高速フーリエ逆変換手段35とを備えている。
【0145】
高速フーリエ変換手段31、伝達特性記憶手段32、および高速フーリエ逆変換手段35は、図1の高速フーリエ変換手段11、伝達特性記憶手段12、および高速フーリエ逆変換手段15とそれぞれ同様である。
【0146】
一方、図1の音源分離装置10では、伝達関数行列作成手段13が設けられていたのに対し、図3の音源分離装置30では、伝達特性記憶手段32に記憶された伝達特性に基づきマイクロホン伝達関数行列Mの逆行列M−1を作成する逆行列作成手段33が設けられている点が異なっている。このため、図1の目的信号列ベクトル算出手段14は、伝達関数行列作成手段13により作成された伝達関数行列Mを用いて、前述した式(9)のR=M・Sを解く処理を行う構成とされていたのに対し、図3の目的信号列ベクトル算出手段34は、逆行列作成手段33により作成されたマイクロホン伝達関数行列Mの逆行列M−1を用いて、前述した式(12)のS=M−1・Rを計算する処理を行う構成とされている。
【0147】
従って、図3の音源分離装置30は、マイクロホンの設置個数Mと、音源の個数Nとが等しく(M=N)、かつ、マイクロホン伝達関数行列Mが正則であり、逆行列M−1を求めることができる場合に適用することができる。
【0148】
図4には、第1実施形態についての第3の変形の形態を示す音源分離装置40の全体構成が示されている。
【0149】
図4において、音源分離装置40は、複数(M個)のマイクロホンM(1)〜M(M)と、本体40Aとにより構成されている。本体40Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段41と、逆行列記憶手段42と、目的信号列ベクトル算出手段43と、高速フーリエ逆変換手段44とを備えている。
【0150】
高速フーリエ変換手段41および高速フーリエ逆変換手段44は、図3の高速フーリエ変換手段31および高速フーリエ逆変換手段35とそれぞれ同様である。
【0151】
一方、図3の音源分離装置30では、伝達特性記憶手段32および逆行列作成手段33が設けられていたのに対し、図4の音源分離装置40では、既に定められたマイクロホン伝達関数行列Mの逆行列M−1を記憶する逆行列記憶手段42が設けられている点が異なっている。このため、図3の目的信号列ベクトル算出手段34は、逆行列作成手段33により作成された伝達関数行列Mの逆行列M−1を用いて演算処理を行う構成とされているのに対し、図4の目的信号列ベクトル算出手段43は、逆行列記憶手段42に記憶された伝達関数行列Mの逆行列M−1を用いて演算処理を行う構成とされている。
【0152】
従って、図4の音源分離装置40は、マイクロホンの設置個数Mと、音源の個数Nとが等しく(M=N)、かつ、マイクロホン伝達関数行列Mが正則であり、逆行列M−1を求めることができる場合であって、さらに、マイクロホン伝達関数行列Mの各要素の値が固定され、その逆行列M−1も固定される場合、すなわち各音源S(1)〜S(N)と各マイクロホンM(1)〜M(M)との相対関係(相対位置・相対姿勢・相対方向等)が変化しない場合に適用することができる。
【0153】
[第2実施形態]
【0154】
図6には、本発明の信号分離装置である第2実施形態の音源分離装置210の全体構成が示されている。音源分離装置210は、高速フーリエ変換(FFT)および高速フーリエ逆変換(IFFT)を行う簡易な音源分離方法を実現する装置であり、前記第1実施形態の音源分離装置10,20,30,40のような厳密で理論的な音源分離方法を実現する装置に対し、人間の耳の特性に注目した、より簡易な方法を実現する装置である。この音源分離装置210は、前記第1実施形態の場合と同様に、複数(ここでは、N個とする。)の目的信号源である音源S(1),S(2),…,S(j),…,S(N)から発信される各目的信号である目的音を同時に分離する装置である。
【0155】
人間の耳は、目的信号の位相に対しては振幅に対するよりも感度が低いことが知られているので、体感的な音源分離の観点からは、目的信号源から発信される目的信号のうち、特に振幅情報の復元が重要となる。そこで、本第2実施形態の音源分離装置210の説明では、音源分離問題を音源の振幅情報の復元に特化し、また、音源が確率的に独立であると仮定して、パワースペクトルに関する復元問題を記述する。
【0156】
図6において、音源分離装置210は、複数(ここでは、M個とする。)の検出手段であるマイクロホンM(1),M(2),…,M(i),…,M(M)と、本体210Aとにより構成されている。本体210Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段211と、振幅特性記憶手段212と、振幅特性行列作成手段213と、目的信号列ベクトル算出手段214と、高速フーリエ逆変換手段215とを備えている。
【0157】
マイクロホンM(i)(i=1〜M)は、前記第1実施形態の場合と同様である。
【0158】
高速フーリエ変換手段211は、前記第1実施形態の高速フーリエ変換手段11と同様である。
【0159】
振幅特性記憶手段212は、各マイクロホンM(1)〜M(M)についての方向に対する振幅特性を記憶するものである。振幅特性記憶手段212には、各マイクロホンM(1)〜M(M)のそれぞれについて、目的信号を受信可能な全範囲(全方向・全角度である。但し、連続的でなくてもよく、例えば一定角度置き等でもよい。)に渡る振幅特性が記憶されている。
【0160】
振幅特性行列作成手段213は、振幅特性記憶手段212に記憶された振幅特性に基づき、複数の音源S(1)〜S(N)の各方向に対する各マイクロホンM(1)〜M(M)の振幅特性によって定まる振幅特性行列A(後述する式(16)参照)を作成する処理を行うものである。なお、振幅特性行列作成手段213による振幅特性行列Aの作成処理は、例えば、振幅特性記憶手段212に記憶された全方向に渡る振幅特性のデータのうちから、各音源S(1)〜S(N)の方向に対応するデータを選択する処理であってもよく、あるいは振幅特性記憶手段212に数式等の形で記憶されている振幅特性に基づき、各音源S(1)〜S(N)の方向に対応する振幅特性を計算する処理であってもよく、さらには、振幅特性記憶手段212に記憶された全方向(但し、連続的ではなく、例えば一定角度置き等の場合)に渡る振幅特性のデータを、各音源S(1)〜S(N)の方向に対応するデータとするための補完処理であってもよい。
【0161】
なお、音源分離装置210を搭載したシステムが動くと(つまり、音源S(1)〜S(N)に対するマイクロホンM(1)〜M(M)の相対的な姿勢が変化すると)、振幅特性行列Aの各要素の値は変化する。しかし、各マイクロホンM(1)〜M(M)についての方向に対する振幅特性は、それぞれの方向について一意に定まるので、システムが動いたとしても、振幅特性記憶手段212に記憶させるデータ自体(数式等であってもよい。)を変更する必要はなく、振幅特性行列作成手段213により、その時点における各音源に対する各マイクロホンの相対姿勢に従って、振幅特性行列Aの各要素の値を定める処理(前述した選択処理、計算処理、補完処理等)を行うだけでよい。
【0162】
また、前記第1実施形態の場合と同様に、音源分離装置(信号分離装置)を搭載したシステムが動く場合、あるいは音源(目的信号源)が動く場合には、その時点における音源(目的信号源)に対するマイクロホン(検出手段)の相対的な姿勢を把握しなければならないので、音源(目的信号源)の存在する方向を把握するための音源方向把握手段(目的信号源方向把握手段)を別途設けておく必要がある。
【0163】
目的信号列ベクトル算出手段214は、高速フーリエ変換手段211により高速フーリエ変換された各マイクロホンM(1)〜M(M)の出力信号R(f)〜R(f)を要素とする出力信号列ベクトルRのパワースペクトルR、および振幅特性行列作成手段213により作成された振幅特性行列Aを用いて、後述する式(15)のR=A・S を解くことにより、複数の音源S(1)〜S(N)から発信されて各マイクロホンM(1)〜M(M)の設置位置まで到達した各目的信号S (f)〜S (f)を要素とする目的信号列ベクトルSのパワースペクトルS を求める処理を行うものである。なお、目的信号列ベクトル算出手段214による処理には、RからS を復元するための音源分離行列を作成する処理が含まれる。
【0164】
高速フーリエ逆変換手段215は、前記第1実施形態の高速フーリエ逆変換手段15と同様である。
【0165】
以下においては、音源分離問題を音源の振幅情報の復元に特化し、また、音源が確率的に独立であると仮定して、パワースペクトルに関する復元問題についての理論的根拠を説明する。
【0166】
前記第1実施形態で示された式(9)のR=M・SにおけるRおよびSをパワースペクトル上で考えるとき、出力信号列ベクトルRの各要素についてのパワースペクトルの要素、すなわち各マイクロホンM(1)〜M(M)の高速フーリエ変換後の出力信号R(f)〜R(f)のパワースペクトルの要素は、次の式(13)のようになる。式(13)において、i=1〜Mである。
【0167】
【数4】
Figure 2004279845
【0168】
ここで、各音源S(j)(j=1〜N)からの目的信号S (f)は、確率的に独立であるため、次の式(14)が成立する。式(14)において、j=1〜N,k=1〜Nである。
【0169】
【数5】
Figure 2004279845
【0170】
従って、式(13)は、次の式(15)のように表すことができる。
【0171】
=A・S ・・・・・・・・・・・・・・・・・・・・・(15)
【0172】
ここで、Aは、各音源S(1)〜S(N)の方向に対するマイクロホン素子の振幅特性によってのみ定まるM行N列の行列であり、次の式(16)のように表される。この行列Aのことを、本願明細書において、振幅特性行列(ACM:Amplitude Characteristic Matrix)と呼ぶ。
【0173】
【数6】
Figure 2004279845
【0174】
また、Rは、出力信号列ベクトルRのパワースペクトルであり、次の式(17)のように表されるM次の列ベクトルである。さらに、S は、目的信号列ベクトルSのパワースペクトルであり、次の式(18)のように表されるN次の列ベクトルである。
【0175】
=[│R(f)│ │R(f)│ … │R(f)│・・・・・・・・・・・・・・・(17)
【0176】
=[│S (f)│ │S (f)│ … │S (f)│・・・・・・・(18)
【0177】
従って、各音源S(1)〜S(N)が確率的に独立である場合には、前述した式(15)から、振幅特性行列Aを適切に設計することで、各音源S(1)〜S(N)からの目的信号のパワー情報を復元することが可能となる。
【0178】
なお、上記の式(16)で示される振幅特性行列Aのイメージ、および式(15)で示されるR=A・S の関係のイメージは、後述する第3実施形態の図14で示されるイメージと同様である。
【0179】
以上のことから、本第2実施形態における振幅特性行列Aについては、前記第1実施形態におけるマイクロホン伝達関数行列Mの場合と同様に取り扱うことができる。
【0180】
先ず、本第2実施形態では、前記第1実施形態の場合と同様に、以下のような3つの条件を仮定する。
【0181】
(条件1)M個のマイクロホン素子は、同位置または略同位置に置くことができる。
【0182】
(条件2)M個のマイクロホン素子についての方向に対する振幅特性は既知である。
【0183】
(条件3)目的音の到来方向は既知である。
【0184】
次に、マイクロホンM(1)〜M(M)の個数Mは、音源S(1)〜S(N)の個数N以上であるが(M≧N)、この際、RankM≧Nであれば、RからS を復元するための音源分離行列(Rの各要素│R(f)│〜│R(f)│を用いて、S の各要素│S (f)│〜│S (f)│を一意に決めることができる行列)が存在するため、観測されたR(f)〜R(f)からS (f)〜S (f)を分離することが可能となる。
【0185】
特に、M=Nである場合には、前述した式(16)で設定された振幅特性行列Aが正則であれば、RからS を復元するための音源分離行列として、振幅特性行列Aの逆行列A−1を選ぶことで、次の式(19)を計算することにより、S を復元することが可能になる。
【0186】
=A−1・R ・・・・・・・・・・・・・・・・・・・・(19)
【0187】
なお、M>Nである場合には、例えば、一部のマイクロホンの出力信号を採用しない等の措置を採ることにより、容易に音源分離行列を定めることができる。
【0188】
このとき、前述した条件2,3から、N個の音源S(1)〜S(N)の方向に対する各マイクロホン素子の振幅特性は既知であるため、振幅特性行列Aの各要素は、事前に求めることができる。従って、RからS を復元するための音源分離行列(例えば、振幅特性行列Aの逆行列A−1等)は、事前に求められた振幅特性行列Aを用いて計算しておくことが可能となる。以上により、パワースペクトルに関する復元問題についての理論的根拠の説明を終了する。
【0189】
このような第2実施形態においては、以下のようにして音源分離装置210を用いて複数の音源の分離処理を行う。
【0190】
先ず、各マイクロホンM(1)〜M(M)のそれぞれで複数の音源S(1)〜S(N)からの目的信号を同時に検出した後、高速フーリエ変換手段211により、各マイクロホンM(1)〜M(M)の出力信号r(t)〜r(t)に対して高速フーリエ変換(FFT)を実行する。なお、各マイクロホンM(1)〜M(M)の出力信号r(t)〜r(t)は、それぞれ複数の音源S(1)〜S(N)からの目的信号に対する応答信号が合成された状態の信号である。
【0191】
続いて、図示されない音源方向把握手段により、各音源S(1)〜S(N)の方向を把握した後、振幅特性行列作成手段213により、振幅特性記憶手段212に記憶された振幅特性に基づき、各音源S(1)〜S(N)の方向に対する各マイクロホンM(1)〜M(M)の振幅特性によって定まる振幅特性行列A(前述した式(16)参照)を作成する処理を行う。
【0192】
次に、目的信号列ベクトル算出手段214により、高速フーリエ変換後の各出力信号R(f)〜R(f)を要素とする出力信号列ベクトルRのパワースペクトルR、および振幅特性行列作成手段213により作成した振幅特性行列Aを用いて、前述した式(15)のR=A・S を解くことにより、目的信号列ベクトルSのパワースペクトルS を求める。
【0193】
その後、求めた目的信号列ベクトルSのパワースペクトルS に適当な位相情報を付加した後、高速フーリエ逆変換手段215により、高速フーリエ逆変換(IFFT)を実行する。なお、位相情報を付加するのは、位相情報損失のためにFFTの窓長に合わせて、その境界で不連続点が出て、音が断続的になるのを防ぐためである。
【0194】
このような第2実施形態によれば、次のような効果がある。すなわち、音源分離装置210は、出力信号列ベクトルRのパワースペクトルRおよび振幅特性行列Aを用いて、前述した式(15)のR=A・S を解くことにより、目的信号列ベクトルSのパワースペクトルS を求めることができる。
【0195】
この際、各マイクロホンM(1)〜M(M)についての方向に対する振幅特性は、振幅特性記憶手段212に記憶されて既知であるため、各目的信号の到来方向(各音源S(1)〜S(N)の方向)を把握できれば、振幅特性行列作成手段213により振幅特性行列Aを定めることができる。そして、振幅特性行列Aが定まった状態で、各マイクロホンM(1)〜M(M)の高速フーリエ変換後の出力信号R(f)〜R(f)のパワースペクトル│R(f)│〜│R(f)│が得られれば、目的信号列ベクトル算出手段214により、目的信号列ベクトルSのパワースペクトルS を求めることができる。
【0196】
このため、前記第1実施形態の場合と同様に、従来のマイクロホンアレイのように、存在する複数の音源のうち特定の音源に焦点を合わせる雑音抑制を行う場合とは異なり、複数の音源S(1)〜S(N)からの各目的信号を同時に分離することができる。従って、例えば、複数の人間の音声双方が目的音であるような環境下等でも音源分離装置210を使用することができる。
【0197】
また、各マイクロホンM(1)〜M(M)を同位置または略同位置に設置するので、従来の遅延和型マイクロホンアレイのようにシステムが大型化することはなく、システムの小型化を図ることができる。
【0198】
さらに、振幅特性行列Aは、外部依存のものではなく、内部変数によってのみ定まる変数行列であるため、音源分離装置210は、外部環境に依存せず、内部変数のみを操作することによって音源分離を実現することができる。このため、従来の適応型マイクロホンアレイや独立成分分析(ICA)を実用途に適用する場合に生じるような困難性は解消されるので、実際の応用面で有効であり、ロボット等の動きのあるシステムに実装することができる。
【0199】
そして、音源分離を行うにあたって、音源S(1)〜S(N)に対して幾つかの制約を置いたり、対象とする音源S(1)〜S(N)の種別を、例えば楽器等に特化する必要もないので、汎用性のある音源分離を実現することができる。
【0200】
また、本発明の効果を確かめるために、次のような実験を行った。
【0201】
実験方法は、前記第1実施形態の場合(表1,表2参照)と同様であり、2つの音源を用意し、同位置に設置された2つの指向性マイクロホンにより受音した。使用した指向性マイクロホンは、SONY製ECM−TS125(径/長さ:11×26mm)である。
【0202】
一方の音源をθ=0度の方向に設置し、他方の音源をθ=90度の方向に設置した。そして、θ=0度の方向からは、目的音Sとして500Hzの正弦波を鳴らし、θ=90度の方向からは、目的音Sとして1000Hzの正弦波を鳴らした。このときの実験結果を、下記の表3および表4に示す。
【0203】
【表3】
Figure 2004279845
【0204】
【表4】
Figure 2004279845
【0205】
表3には、2つのマイクロホンによる観測結果データが示されている。R,Rは、各マイクロホンの出力信号である。また、表4には、本発明による信号分離処理(振幅特性行列Aの逆行列A−1を用いた処理)を行って得られた計算結果データが示されている。S ,S は、復元された目的信号である。
【0206】
表3に示すように、R,Rとして観測されたデータは、500Hzおよび1000Hzを含む混合音となっているのに対し、表4に示すように、S では、500Hzの信号を、S では、1000Hzの信号をそれぞれ目的音として分離していることがわかる。これにより本発明の効果が顕著に示された。
【0207】
なお、以上に述べた第2実施形態の変形の形態として、次のような例を挙げることができる。
【0208】
図7には、第2実施形態についての第1の変形の形態を示す音源分離装置220の全体構成が示されている。
【0209】
図7において、音源分離装置220は、複数(M個)のマイクロホンM(1)〜M(M)と、本体220Aとにより構成されている。本体220Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段221と、振幅特性行列記憶手段222と、目的信号列ベクトル算出手段223と、高速フーリエ逆変換手段224とを備えている。
【0210】
高速フーリエ変換手段221および高速フーリエ逆変換手段224は、図6の高速フーリエ変換手段211および高速フーリエ逆変換手段215とそれぞれ同様である。
【0211】
一方、図6の音源分離装置210では、振幅特性記憶手段212および振幅特性行列作成手段213が設けられていたのに対し、図7の音源分離装置220では、既に定められた振幅特性行列Aを記憶する振幅特性行列記憶手段222が設けられている点が異なっている。このため、図6の目的信号列ベクトル算出手段214は、振幅特性行列作成手段213により作成された振幅特性行列Aを用いて演算処理を行う構成とされているのに対し、図7の目的信号列ベクトル算出手段223は、振幅特性行列記憶手段222に記憶された振幅特性行列Aを用いて演算処理を行う構成とされている。
【0212】
従って、図7の音源分離装置220は、振幅特性行列Aの各要素の値が固定される場合、すなわち各音源S(1)〜S(N)と各マイクロホンM(1)〜M(M)との相対関係(相対位置・相対姿勢・相対方向等)が変化しない場合に適用することができる。
【0213】
図8には、第2実施形態についての第2の変形の形態を示す音源分離装置230の全体構成が示されている。
【0214】
図8において、音源分離装置230は、複数(M個)のマイクロホンM(1)〜M(M)と、本体230Aとにより構成されている。本体230Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段231と、振幅特性記憶手段232と、逆行列作成手段233と、目的信号列ベクトル算出手段234と、高速フーリエ逆変換手段235とを備えている。
【0215】
高速フーリエ変換手段231、振幅特性記憶手段232、および高速フーリエ逆変換手段235は、図6の高速フーリエ変換手段211、振幅特性記憶手段212、および高速フーリエ逆変換手段215とそれぞれ同様である。
【0216】
一方、図6の音源分離装置210では、振幅特性行列作成手段213が設けられていたのに対し、図8の音源分離装置230では、振幅特性記憶手段232に記憶された振幅特性に基づき振幅特性行列Aの逆行列A−1を作成する逆行列作成手段233が設けられている点が異なっている。このため、図6の目的信号列ベクトル算出手段214は、振幅特性行列作成手段213により作成された振幅特性行列Aを用いて、前述した式(15)のR=A・S を解く処理を行う構成とされていたのに対し、図8の目的信号列ベクトル算出手段234は、逆行列作成手段233により作成された振幅特性行列Aの逆行列A−1を用いて、前述した式(19)のS =A−1・Rを計算する処理を行う構成とされている。
【0217】
従って、図8の音源分離装置230は、マイクロホンの設置個数Mと、音源の個数Nとが等しく(M=N)、かつ、振幅特性行列Aが正則であり、逆行列A−1を求めることができる場合に適用することができる。
【0218】
図9には、第2実施形態についての第3の変形の形態を示す音源分離装置240の全体構成が示されている。
【0219】
図9において、音源分離装置240は、複数(M個)のマイクロホンM(1)〜M(M)と、本体240Aとにより構成されている。本体240Aは、例えばコンピュータ等により構成され、高速フーリエ変換手段241と、逆行列記憶手段242と、目的信号列ベクトル算出手段243と、高速フーリエ逆変換手段244とを備えている。
【0220】
高速フーリエ変換手段241および高速フーリエ逆変換手段244は、図8の高速フーリエ変換手段231および高速フーリエ逆変換手段235とそれぞれ同様である。
【0221】
一方、図8の音源分離装置230では、振幅特性記憶手段232および逆行列作成手段233が設けられていたのに対し、図9の音源分離装置240では、既に定められた振幅特性行列Aの逆行列A−1を記憶する逆行列記憶手段242が設けられている点が異なっている。このため、図8の目的信号列ベクトル算出手段234は、逆行列作成手段233により作成された振幅特性行列Aの逆行列A−1を用いて演算処理を行う構成とされているのに対し、図9の目的信号列ベクトル算出手段243は、逆行列記憶手段242に記憶された振幅特性行列Aの逆行列A−1を用いて演算処理を行う構成とされている。
【0222】
従って、図9の音源分離装置240は、マイクロホンの設置個数Mと、音源の個数Nとが等しく(M=N)、かつ、振幅特性行列Aが正則であり、逆行列A−1を求めることができる場合であって、さらに、振幅特性行列Aの各要素の値が固定され、その逆行列A−1も固定される場合、すなわち各音源S(1)〜S(N)と各マイクロホンM(1)〜M(M)との相対関係(相対位置・相対姿勢・相対方向等)が変化しない場合に適用することができる。
【0223】
[第3実施形態]
【0224】
図10には、本発明の第3実施形態の信号分離装置310の全体構成が示されている。信号分離装置310は、高速フーリエ変換(FFT)および高速フーリエ逆変換(IFFT)を行わない信号分離方法を実現する装置であり、複数(ここでは、N個とする。)の目的信号源S(1),S(2),…,S(j),…,S(N)から発信される各目的信号を同時に分離する装置である。
【0225】
本第3実施形態の信号分離装置310は、インパルス入力に対して出力がインパルス応答となるような検出手段を用いる場合にのみ適用することができるという点で、これに限定されない前記第1,第2実施形態の各音源分離装置の場合と異なる。
【0226】
図10において、信号分離装置310は、複数(ここでは、M個とする。)の検出手段M(1),M(2),…,M(i),…,M(M)と、本体310Aとにより構成されている。本体310Aは、例えばコンピュータ等により構成され、振幅特性記憶手段311と、振幅特性行列作成手段312と、目的信号列ベクトル算出手段313とを備えている。
【0227】
検出手段M(i)(i=1〜M)は、例えば圧力センサ等であり、インパルス入力に対して出力がインパルス応答となるものである。
【0228】
振幅特性記憶手段311は、各検出手段M(1)〜M(M)についての方向に対する振幅特性を記憶するものである。振幅特性記憶手段311には、各検出手段M(1)〜M(M)のそれぞれについて、目的信号を受信可能な全範囲(全方向・全角度である。但し、連続的でなくてもよく、例えば一定角度置き等でもよい。)に渡る振幅特性が記憶されている。
【0229】
振幅特性行列作成手段312は、振幅特性記憶手段311に記憶された振幅特性に基づき、複数の信号源S(1)〜S(N)の各方向に対する各検出手段M(1)〜M(M)の振幅特性によって定まる振幅特性行列a(後述する式(21)参照)を作成する処理を行うものである。なお、振幅特性行列作成手段312による振幅特性行列aの作成処理は、例えば、振幅特性記憶手段311に記憶された全方向に渡る振幅特性のデータのうちから、各信号源S(1)〜S(N)の方向に対応するデータを選択する処理であってもよく、あるいは振幅特性記憶手段311に数式等の形で記憶されている振幅特性に基づき、各信号源S(1)〜S(N)の方向に対応する振幅特性を計算する処理であってもよく、さらには、振幅特性記憶手段311に記憶された全方向(但し、連続的ではなく、例えば一定角度置き等の場合)に渡る振幅特性のデータを、各信号源S(1)〜S(N)の方向に対応するデータとするための補完処理であってもよい。
【0230】
なお、信号分離装置310を搭載したシステムが動くと(つまり、信号源S(1)〜S(N)に対する検出手段M(1)〜M(M)の相対的な姿勢が変化すると)、振幅特性行列aの各要素の値は変化する。しかし、各検出手段M(1)〜M(M)についての方向に対する振幅特性は、それぞれの方向について一意に定まるので、システムが動いたとしても、振幅特性記憶手段311に記憶させるデータ自体(数式等であってもよい。)を変更する必要はなく、振幅特性行列作成手段312により、その時点における各信号源に対する各検出手段の相対姿勢に従って、振幅特性行列aの各要素の値を定める処理(前述した選択処理、計算処理、補完処理等)を行うだけでよい。
【0231】
また、前記第1,第2実施形態の場合と同様に、信号分離装置を搭載したシステムが動く場合、あるいは目的信号源が動く場合には、その時点における目的信号源に対する検出手段の相対的な姿勢を把握しなければならないので、目的信号源の存在する方向を把握するための目的信号源方向把握手段を別途設けておく必要がある。
【0232】
目的信号列ベクトル算出手段313は、各検出手段M(1)〜M(M)の出力信号r(t)〜r(t)を要素とする出力信号列ベクトルr、および振幅特性行列作成手段312により作成された振幅特性行列aを用いて、後述する式(20)のr=a・sを解くことにより、複数の信号源S(1)〜S(N)から発信されて各検出手段M(1)〜M(M)の設置位置まで到達した各目的信号s (t)〜s (t)を要素とする目的信号列ベクトルsを求める処理を行うものである。なお、目的信号列ベクトル算出手段313による処理には、rからsを復元するための信号分離行列を作成する処理が含まれる。
【0233】
本第3実施形態における信号分離についての理論的根拠は、前記第1,第2実施形態の場合と略同様であり、以下の通りである。
【0234】
前記第1実施形態で示された式(9)のR=M・S、および前記第2実施形態で示された式(15)のR=A・S に対応する式は、次の式(20)のようになる。
【0235】
r=a・s ・・・・・・・・・・・・・・・・・・・・・・(20)
【0236】
ここで、aは、各信号源S(1)〜S(N)の方向に対する検出手段の振幅特性によってのみ定まるM行N列の行列であり、次の式(21)のように表される。この行列aのことを、本願明細書において、振幅特性行列(ACM:Amplitude Characteristic Matrix)と呼ぶ。この行列aの各要素aijは、信号源S(j)(j=1〜N)の方向に対する検出手段M(i)(i=1〜M)の振幅特性である。本発明による信号分離処理において、本第3実施形態における振幅特性行列aは、前記第1実施形態におけるマイクロホン伝達関数行列M、および前記第2実施形態における振幅特性行列Aに対応するものである。
【0237】
【数7】
Figure 2004279845
【0238】
また、出力信号列ベクトルrは、各検出手段M(1)〜M(M)の出力信号r(t)〜r(t)を要素とするM次の列ベクトルであり、次の式(22)のように表される。さらに、目的信号列ベクトルsは、目的信号s (t)〜s (t)を要素とするN次の列ベクトルであり、次の式(23)のように表される。
【0239】
r=[r(t) r(t) … r(t)] ・・・・・・(22)
【0240】
=[s (t) s (t) … s (t)] ・・・・(23)
【0241】
なお、上記の式(21)で示される振幅特性行列aのイメージ、および式(20)で示されるr=a・sの関係のイメージを図示すると、図14に示すようになる。図14では、理解を容易にするため、信号源の個数をN=2、検出手段の個数をM=2とし、2個の信号源S(1),S(2)と、2個の検出手段M(1),M(2)との間の関係が記載されている。
【0242】
図14において、各検出手段M(1),M(2)の出力信号r(t),r(t)と、振幅特性行列aの各要素aijと、各信号源S(1),S(2)からの目的信号s (t),s (t)との関係は、次の式(24)および式(25)のように表すことができる。
【0243】
(t)=a11・s (t)+a12・s (t) ・・・・・(24)
【0244】
(t)=a21・s (t)+a22・s (t) ・・・・・(25)
【0245】
これらを行列形式で表現すると、前述した式(20)に対応する式として、次の式(26)が得られる。
【0246】
【数8】
Figure 2004279845
【0247】
以上のことから、本第3実施形態における振幅特性行列aについては、前記第1実施形態におけるマイクロホン伝達関数行列M、および前記第2実施形態における振幅特性行列Aの場合と同様に取り扱うことができる。
【0248】
先ず、本第3実施形態では、前記第1,第2実施形態の場合と同様に、以下のような3つの条件を仮定する。
【0249】
(条件1)M個の検出手段は、同位置または略同位置に置くことができる。
【0250】
(条件2)M個の検出手段についての方向に対する振幅特性は既知である。
【0251】
(条件3)目的信号の到来方向は既知である。
【0252】
次に、検出手段M(1)〜M(M)の個数Mは、信号源S(1)〜S(N)の個数N以上であるが(M≧N)、この際、RankM≧Nであれば、rからsを復元するための信号分離行列(rの各要素r(t)〜r(t)を用いて、sの各要素s (t)〜s (t)を一意に決めることができる行列)が存在するため、観測されたr(t)〜r(t)からs (t)〜s (t)を分離することが可能となる。
【0253】
特に、M=Nである場合には、前述した式(21)で設定された振幅特性行列aが正則であれば、rからsを復元するための信号分離行列として、振幅特性行列aの逆行列a−1を選ぶことで、次の式(27)を計算することにより、sを復元することが可能になる。
【0254】
=a−1・r ・・・・・・・・・・・・・・・・・・・・・(27)
【0255】
なお、M>Nである場合には、例えば、一部の検出手段の出力信号を採用しない等の措置を採ることにより、容易に信号分離行列を定めることができる。
【0256】
このとき、前述した条件2,3から、N個の信号源S(1)〜S(N)の方向に対する各検出手段の振幅特性は既知であるため、振幅特性行列aの各要素は、事前に求めることができる。従って、rからsを復元するための信号分離行列(例えば、振幅特性行列aの逆行列a−1等)は、事前に求められた振幅特性行列aを用いて計算しておくことが可能となる。以上により、FFTおよびIFFTを行わない信号分離についての理論的根拠の説明を終了する。
【0257】
このような第3実施形態においては、以下のようにして信号分離装置310を用いて複数の目的信号源の分離処理を行う。
【0258】
先ず、各検出手段M(1)〜M(M)のそれぞれで複数の目的信号源S(1)〜S(N)からの目的信号を同時に検出し、出力信号r(t)〜r(t)を得る。なお、各検出手段M(1)〜M(M)の出力信号r(t)〜r(t)は、それぞれ複数の目的信号源S(1)〜S(N)からの目的信号に対する応答信号が合成された状態の信号である。
【0259】
続いて、図示されない目的信号源方向把握手段により、各信号源S(1)〜S(N)の方向を把握した後、振幅特性行列作成手段312により、振幅特性記憶手段311に記憶された振幅特性に基づき、各信号源S(1)〜S(N)の方向に対する各検出手段M(1)〜M(M)の振幅特性によって定まる振幅特性行列a(前述した式(21)参照)を作成する処理を行う。
【0260】
次に、目的信号列ベクトル算出手段313により、各出力信号r(t)〜r(t)を要素とする出力信号列ベクトルr、および振幅特性行列作成手段312により作成した振幅特性行列aを用いて、前述した式(20)のr=a・sを解くことにより、目的信号列ベクトルsを求める。
【0261】
このような第3実施形態によれば、次のような効果がある。すなわち、信号分離装置310は、出力信号列ベクトルrおよび振幅特性行列aを用いて、前述した式(20)のr=a・sを解くことにより、目的信号列ベクトルsを求めることができる。
【0262】
この際、各検出手段M(1)〜M(M)についての方向に対する振幅特性は、振幅特性記憶手段311に記憶されて既知であるため、各目的信号の到来方向(各信号源S(1)〜S(N)の方向)を把握できれば、振幅特性行列作成手段312により振幅特性行列aを定めることができる。そして、振幅特性行列aが定まった状態で、各検出手段M(1)〜M(M)の出力信号r(t)〜r(t)が得られれば、目的信号列ベクトル算出手段313により、目的信号列ベクトルsを求めることができる。
【0263】
このため、前記第1,第2実施形態の場合と同様に、複数の信号源S(1)〜S(N)からの各目的信号を同時に分離することができる。
【0264】
また、各検出手段M(1)〜M(M)を同位置または略同位置に設置するので、システムの小型化を図ることができる。
【0265】
さらに、振幅特性行列aは、外部依存のものではなく、内部変数によってのみ定まる変数行列であるため、信号分離装置310は、外部環境に依存せず、内部変数のみを操作することによって信号分離を実現することができる。このため、実際の応用面で有効であり、ロボット等の動きのあるシステムに実装することができる。
【0266】
そして、信号分離を行うにあたって、信号源S(1)〜S(N)に対して幾つかの制約を置いたり、対象とする信号源S(1)〜S(N)の種別を特化する必要もないので、汎用性のある信号分離を実現することができる。
【0267】
なお、以上に述べた第3実施形態の変形の形態として、次のような例を挙げることができる。
【0268】
図11には、第3実施形態についての第1の変形の形態を示す信号分離装置320の全体構成が示されている。
【0269】
図11において、信号分離装置320は、複数(M個)の検出手段M(1)〜M(M)と、本体320Aとにより構成されている。本体320Aは、例えばコンピュータ等により構成され、振幅特性行列記憶手段321と、目的信号列ベクトル算出手段322とを備えている。
【0270】
図10の信号分離装置310では、振幅特性記憶手段311および振幅特性行列作成手段312が設けられていたのに対し、図11の信号分離装置320では、既に定められた振幅特性行列aを記憶する振幅特性行列記憶手段321が設けられている点が異なっている。このため、図10の目的信号列ベクトル算出手段313は、振幅特性行列作成手段312により作成された振幅特性行列aを用いて演算処理を行う構成とされているのに対し、図11の目的信号列ベクトル算出手段322は、振幅特性行列記憶手段321に記憶された振幅特性行列aを用いて演算処理を行う構成とされている。
【0271】
従って、図11の信号分離装置320は、振幅特性行列aの各要素の値が固定される場合、すなわち各信号源S(1)〜S(N)と各検出手段M(1)〜M(M)との相対関係(相対位置・相対姿勢・相対方向等)が変化しない場合に適用することができる。
【0272】
図12には、第3実施形態についての第2の変形の形態を示す信号分離装置330の全体構成が示されている。
【0273】
図12において、信号分離装置330は、複数(M個)の検出手段M(1)〜M(M)と、本体330Aとにより構成されている。本体330Aは、例えばコンピュータ等により構成され、振幅特性記憶手段331と、逆行列作成手段332と、目的信号列ベクトル算出手段333とを備えている。
【0274】
振幅特性記憶手段331は、図10の振幅特性記憶手段311と同様である。
【0275】
一方、図10の信号分離装置310では、振幅特性行列作成手段312が設けられていたのに対し、図12の信号分離装置330では、振幅特性記憶手段331に記憶された振幅特性に基づき振幅特性行列aの逆行列a−1を作成する逆行列作成手段332が設けられている点が異なっている。このため、図10の目的信号列ベクトル算出手段313は、振幅特性行列作成手段312により作成された振幅特性行列aを用いて、前述した式(20)のr=a・sを解く処理を行う構成とされていたのに対し、図12の目的信号列ベクトル算出手段333は、逆行列作成手段332により作成された振幅特性行列aの逆行列a−1を用いて、前述した式(27)のs=a−1・rを計算する処理を行う構成とされている。
【0276】
従って、図12の信号分離装置330は、検出手段の設置個数Mと、信号源の個数Nとが等しく(M=N)、かつ、振幅特性行列aが正則であり、逆行列a−1を求めることができる場合に適用することができる。
【0277】
図13には、第3実施形態についての第3の変形の形態を示す信号分離装置340の全体構成が示されている。
【0278】
図13において、信号分離装置340は、複数(M個)の検出手段M(1)〜M(M)と、本体340Aとにより構成されている。本体340Aは、例えばコンピュータ等により構成され、逆行列記憶手段341と、目的信号列ベクトル算出手段342とを備えている。
【0279】
図12の信号分離装置330では、振幅特性記憶手段331および逆行列作成手段332が設けられていたのに対し、図13の信号分離装置340では、既に定められた振幅特性行列aの逆行列a−1を記憶する逆行列記憶手段341が設けられている点が異なっている。このため、図12の目的信号列ベクトル算出手段333は、逆行列作成手段332により作成された振幅特性行列aの逆行列a−1を用いて演算処理を行う構成とされているのに対し、図13の目的信号列ベクトル算出手段342は、逆行列記憶手段341に記憶された振幅特性行列aの逆行列a−1を用いて演算処理を行う構成とされている。
【0280】
従って、図13の信号分離装置340は、検出手段の設置個数Mと、信号源の個数Nとが等しく(M=N)、かつ、振幅特性行列aが正則であり、逆行列a−1を求めることができる場合であって、さらに、振幅特性行列aの各要素の値が固定され、その逆行列a−1も固定される場合、すなわち各信号源S(1)〜S(N)と各検出手段M(1)〜M(M)との相対関係(相対位置・相対姿勢・相対方向等)が変化しない場合に適用することができる。
【0281】
[他の実施形態]
【0282】
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【0283】
すなわち、前記第1,第2実施形態では、音源分離について記載されていたが、第1実施形態で記載されているFFTおよびIFFTを用いた厳密な信号分離方法およびその装置、並びに第2実施形態で記載されているFFTおよびIFFTを用いた簡易な信号分離方法およびその装置は、音源分離のみならず、圧力等の各種信号の分離に適用することができる。
【0284】
また、前記第1,第2実施形態では、高速フーリエ変換(FFT)および高速フーリエ逆変換(IFFT)が行われていたが、本発明はこれに限定されるものではなく、離散フーリエ変換(DFT)およびその逆変換を行ってもよい。
【0285】
【発明の効果】
以上に述べたように本発明によれば、検出手段の出力信号列ベクトルまたはそのパワースペクトル、および伝達関数行列または振幅特性行列を用いて、目的信号列ベクトルまたはそのパワースペクトルを求めることができるので、複数の目的信号源から発信される各目的信号を同時に分離することができるとともに、システムの小型化および動きのあるシステムへの適用を図ることができ、かつ、汎用性のある信号分離を実現することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1実施形態の音源分離装置の全体構成図。
【図2】第1実施形態についての第1の変形の形態を示す音源分離装置の全体構成図。
【図3】第1実施形態についての第2の変形の形態を示す音源分離装置の全体構成図。
【図4】第1実施形態についての第3の変形の形態を示す音源分離装置の全体構成図。
【図5】複数の音源が同時に存在する音場において、本発明の信号分離方法により受音を行う状態を示すブロック図。
【図6】本発明の第2実施形態の音源分離装置の全体構成図。
【図7】第2実施形態についての第1の変形の形態を示す音源分離装置の全体構成図。
【図8】第2実施形態についての第2の変形の形態を示す音源分離装置の全体構成図。
【図9】第2実施形態についての第3の変形の形態を示す音源分離装置の全体構成図。
【図10】本発明の第3実施形態の信号分離装置の全体構成図。
【図11】第3実施形態についての第1の変形の形態を示す信号分離装置の全体構成図。
【図12】第3実施形態についての第2の変形の形態を示す信号分離装置の全体構成図。
【図13】第3実施形態についての第3の変形の形態を示す信号分離装置の全体構成図。
【図14】検出手段についての方向に対する振幅特性のイメージ図。
【符号の説明】
10,20,30,40,210,220,230,240 信号分離装置である音源分離装置
11,21,31,41,211,221,231,241 高速フーリエ変換手段
12,32 伝達特性記憶手段
13 伝達関数行列作成手段
14,23,34,43,214,223,234,243,313,322,333,342 目的信号列ベクトル算出手段
15,24,35,44,215,224,235,244 高速フーリエ逆変換手段
22 伝達関数行列記憶手段
33,233,332 逆行列作成手段
42,242,341 逆行列記憶手段
212,232,311,331 振幅特性記憶手段
213,312 振幅特性行列作成手段
222,321 振幅特性行列記憶手段
310,320,330,340 信号分離装置
M(1),M(2),…,M(M) 検出手段(マイクロホン等)
S(1),S(2),…,S(N) 目的信号源(音源等)

Claims (29)

  1. 複数の目的信号源に対してこれらの目的信号源の個数以上の複数の検出手段を同位置または略同位置に設置し、
    これらの複数の検出手段のそれぞれで前記複数の目的信号源からの各目的信号を同時に検出した後、
    前記複数の検出手段の各出力信号に対してフーリエ変換を実行し、
    さらに、フーリエ変換された前記複数の検出手段の各出力信号を要素とする出力信号列ベクトルR、および前記複数の目的信号源の各方向に対する前記複数の検出手段の伝達特性によって定まる伝達関数行列Mを用いて、R=M・Sを解くことにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルSを求め、
    その後、求めた前記目的信号列ベクトルSに対してフーリエ逆変換を実行する
    ことを特徴とする信号分離方法。
  2. 請求項1に記載の信号分離方法において、
    前記検出手段の設置個数を前記目的信号源の個数と同数とし、
    前記R=M・Sを解く際には、前記伝達関数行列Mの逆行列M−1を用いて、S=M−1・Rを計算する
    ことを特徴とする信号分離方法。
  3. 請求項1または2に記載の信号分離方法において、
    前記目的信号源は、音源であり、
    前記検出手段は、マイクロホンである
    ことを特徴とする信号分離方法。
  4. 複数の目的信号源に対してこれらの目的信号源の個数以上設置され、かつ、それぞれ同位置または略同位置に設置されて前記複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、
    これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、
    このフーリエ変換手段によりフーリエ変換された前記複数の検出手段の各出力信号を要素とする出力信号列ベクトルR、および前記複数の目的信号源の各方向に対する前記複数の検出手段の伝達特性によって定まる伝達関数行列Mを用いて、R=M・Sを解くことにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルSを求める目的信号列ベクトル算出手段と、
    この目的信号列ベクトル算出手段により求めた前記目的信号列ベクトルSに対してフーリエ逆変換を実行するフーリエ逆変換手段と
    を備えたことを特徴とする信号分離装置。
  5. 請求項4に記載の信号分離装置において、
    前記複数の検出手段のそれぞれについての方向に対する伝達特性を記憶する伝達特性記憶手段と、
    この伝達特性記憶手段に記憶された前記伝達特性に基づき、前記複数の目的信号源の各方向に対する前記複数の検出手段の伝達特性によって定まる前記伝達関数行列Mを作成する伝達関数行列作成手段とを備え、
    前記目的信号列ベクトル算出手段は、前記伝達関数行列作成手段により作成された前記伝達関数行列Mを用いて、前記R=M・Sを解く構成とされている
    ことを特徴とする信号分離装置。
  6. 請求項4に記載の信号分離装置において、
    前記複数の目的信号源の各方向に対する前記複数の検出手段の伝達特性によって定まる前記伝達関数行列Mを記憶する伝達関数行列記憶手段を備え、
    前記目的信号列ベクトル算出手段は、前記伝達関数行列記憶手段に記憶された前記伝達関数行列Mを用いて、前記R=M・Sを解く構成とされている
    ことを特徴とする信号分離装置。
  7. 複数の目的信号源に対してこれらの目的信号源の個数と同数設置され、かつ、それぞれ同位置または略同位置に設置されて前記複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、
    これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、
    このフーリエ変換手段によりフーリエ変換された前記複数の検出手段の各出力信号を要素とする出力信号列ベクトルR、および前記複数の目的信号源の各方向に対する前記複数の検出手段の伝達特性によって定まる伝達関数行列Mの逆行列M−1を用いて、S=M−1・Rを計算することにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルSを求める目的信号列ベクトル算出手段と、
    この目的信号列ベクトル算出手段により求めた前記目的信号列ベクトルSに対してフーリエ逆変換を実行するフーリエ逆変換手段と
    を備えたことを特徴とする信号分離装置。
  8. 請求項7に記載の信号分離装置において、
    前記複数の検出手段のそれぞれについての方向に対する伝達特性を記憶する伝達特性記憶手段と、
    この伝達特性記憶手段に記憶された前記伝達特性に基づき、前記複数の目的信号源の各方向に対する前記複数の検出手段の伝達特性によって定まる前記伝達関数行列Mの前記逆行列M−1を作成する逆行列作成手段とを備え、
    前記目的信号列ベクトル算出手段は、前記逆行列作成手段により作成された前記逆行列M−1を用いて、前記S=M−1・Rを計算する構成とされている
    ことを特徴とする信号分離装置。
  9. 請求項7に記載の信号分離装置において、
    前記複数の目的信号源の各方向に対する前記複数の検出手段の伝達特性によって定まる前記伝達関数行列Mの前記逆行列M−1を記憶する逆行列記憶手段を備え、
    前記目的信号列ベクトル算出手段は、前記逆行列記憶手段に記憶された前記逆行列M−1を用いて、前記S=M−1・Rを計算する構成とされている
    ことを特徴とする信号分離装置。
  10. 複数の目的信号源に対してこれらの目的信号源の個数以上の複数の検出手段を同位置または略同位置に設置し、
    これらの複数の検出手段のそれぞれで前記複数の目的信号源からの各目的信号を同時に検出した後、
    前記複数の検出手段の各出力信号に対してフーリエ変換を実行し、
    さらに、フーリエ変換された前記複数の検出手段の各出力信号を要素とする出力信号列ベクトルRのパワースペクトルR、および前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる振幅特性行列Aを用いて、R=A・S を解くことにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルSのパワースペクトルS を求め、
    その後、求めた前記目的信号列ベクトルSのパワースペクトルS に対してフーリエ逆変換を実行する
    ことを特徴とする信号分離方法。
  11. 請求項10に記載の信号分離方法において、
    前記検出手段の設置個数を前記目的信号源の個数と同数とし、
    前記R=A・S を解く際には、前記振幅特性行列Aの逆行列A−1を用いて、S =A−1・Rを計算する
    ことを特徴とする信号分離方法。
  12. 請求項10または11に記載の信号分離方法において、
    前記R=A・S を解いて求めた前記目的信号列ベクトルSのパワースペクトルS に位相情報を付加した後、フーリエ逆変換を実行する
    ことを特徴とする信号分離方法。
  13. 請求項10〜12のいずれかに記載の信号分離方法において、
    前記目的信号源は、音源であり、
    前記検出手段は、マイクロホンである
    ことを特徴とする信号分離方法。
  14. 複数の目的信号源に対してこれらの目的信号源の個数以上設置され、かつ、それぞれ同位置または略同位置に設置されて前記複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、
    これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、
    このフーリエ変換手段によりフーリエ変換された前記複数の検出手段の各出力信号を要素とする出力信号列ベクトルRのパワースペクトルR、および前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる振幅特性行列Aを用いて、R=A・S を解くことにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルSのパワースペクトルS を求める目的信号列ベクトル算出手段と、
    この目的信号列ベクトル算出手段により求めた前記目的信号列ベクトルSのパワースペクトルS に対してフーリエ逆変換を実行するフーリエ逆変換手段と
    を備えたことを特徴とする信号分離装置。
  15. 請求項14に記載の信号分離装置において、
    前記複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、
    この振幅特性記憶手段に記憶された前記振幅特性に基づき、前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列Aを作成する振幅特性行列作成手段とを備え、
    前記目的信号列ベクトル算出手段は、前記振幅特性行列作成手段により作成された前記振幅特性行列Aを用いて、前記R=A・S を解く構成とされている
    ことを特徴とする信号分離装置。
  16. 請求項14に記載の信号分離装置において、
    前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列Aを記憶する振幅特性行列記憶手段を備え、
    前記目的信号列ベクトル算出手段は、前記振幅特性行列記憶手段に記憶された前記振幅特性行列Aを用いて、前記R=A・S を解く構成とされている
    ことを特徴とする信号分離装置。
  17. 複数の目的信号源に対してこれらの目的信号源の個数と同数設置され、かつ、それぞれ同位置または略同位置に設置されて前記複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、
    これらの複数の検出手段の各出力信号に対してフーリエ変換を実行するフーリエ変換手段と、
    このフーリエ変換手段によりフーリエ変換された前記複数の検出手段の各出力信号を要素とする出力信号列ベクトルRのパワースペクトルR、および前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる振幅特性行列Aの逆行列A−1を用いて、S =A−1・Rを計算することにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルSのパワースペクトルS を求める目的信号列ベクトル算出手段と、
    この目的信号列ベクトル算出手段により求めた前記目的信号列ベクトルSのパワースペクトルS に対してフーリエ逆変換を実行するフーリエ逆変換手段と
    を備えたことを特徴とする信号分離装置。
  18. 請求項17に記載の信号分離装置において、
    前記複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、
    この振幅特性記憶手段に記憶された前記振幅特性に基づき、前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列Aの前記逆行列A−1を作成する逆行列作成手段とを備え、
    前記目的信号列ベクトル算出手段は、前記逆行列作成手段により作成された前記逆行列A−1を用いて、前記S =A−1・Rを計算する構成とされている
    ことを特徴とする信号分離装置。
  19. 請求項17に記載の信号分離装置において、
    前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列Aの前記逆行列A−1を記憶する逆行列記憶手段を備え、
    前記目的信号列ベクトル算出手段は、前記逆行列記憶手段に記憶された前記逆行列A−1を用いて、前記S =A−1・Rを計算する構成とされている
    ことを特徴とする信号分離装置。
  20. 複数の目的信号源に対してこれらの目的信号源の個数以上の複数の検出手段を同位置または略同位置に設置し、
    これらの複数の検出手段のそれぞれで前記複数の目的信号源からの各目的信号を同時に検出した後、
    前記複数の検出手段の各出力信号を要素とする出力信号列ベクトルr、および前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる振幅特性行列aを用いて、r=a・sを解くことにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルsを求める
    ことを特徴とする信号分離方法。
  21. 請求項20に記載の信号分離方法において、
    前記検出手段の設置個数を前記目的信号源の個数と同数とし、
    前記r=a・sを解く際には、前記振幅特性行列aの逆行列a−1を用いて、s=a−1・rを計算する
    ことを特徴とする信号分離方法。
  22. 複数の目的信号源に対してこれらの目的信号源の個数以上設置され、かつ、それぞれ同位置または略同位置に設置されて前記複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、
    これらの複数の検出手段の各出力信号を要素とする出力信号列ベクトルr、および前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる振幅特性行列aを用いて、r=a・sを解くことにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルsを求める目的信号列ベクトル算出手段と
    を備えたことを特徴とする信号分離装置。
  23. 請求項22に記載の信号分離装置において、
    前記複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、
    この振幅特性記憶手段に記憶された前記振幅特性に基づき、前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列aを作成する振幅特性行列作成手段とを備え、
    前記目的信号列ベクトル算出手段は、前記振幅特性行列作成手段により作成された前記振幅特性行列aを用いて、前記r=a・sを解く構成とされている
    ことを特徴とする信号分離装置。
  24. 請求項22に記載の信号分離装置において、
    前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列aを記憶する振幅特性行列記憶手段を備え、
    前記目的信号列ベクトル算出手段は、前記振幅特性行列記憶手段に記憶された前記振幅特性行列aを用いて、前記r=a・sを解く構成とされている
    ことを特徴とする信号分離装置。
  25. 複数の目的信号源に対してこれらの目的信号源の個数と同数設置され、かつ、それぞれ同位置または略同位置に設置されて前記複数の目的信号源からの各目的信号をそれぞれ同時に検出する複数の検出手段と、
    これらの複数の検出手段の各出力信号を要素とする出力信号列ベクトルr、および前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる振幅特性行列aの逆行列a−1を用いて、s=a−1・rを計算することにより、前記複数の目的信号源から発信されて前記複数の検出手段の設置位置まで到達した前記各目的信号を要素とする目的信号列ベクトルsを求める目的信号列ベクトル算出手段と
    を備えたことを特徴とする信号分離装置。
  26. 請求項25に記載の信号分離装置において、
    前記複数の検出手段のそれぞれについての方向に対する振幅特性を記憶する振幅特性記憶手段と、
    この振幅特性記憶手段に記憶された前記振幅特性に基づき、前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列aの前記逆行列a−1を作成する逆行列作成手段とを備え、
    前記目的信号列ベクトル算出手段は、前記逆行列作成手段により作成された前記逆行列a−1を用いて、前記s=a−1・rを計算する構成とされている
    ことを特徴とする信号分離装置。
  27. 請求項25に記載の信号分離装置において、
    前記複数の目的信号源の各方向に対する前記複数の検出手段の振幅特性によって定まる前記振幅特性行列aの前記逆行列a−1を記憶する逆行列記憶手段を備え、
    前記目的信号列ベクトル算出手段は、前記逆行列記憶手段に記憶された前記逆行列a−1を用いて、前記s=a−1・rを計算する構成とされている
    ことを特徴とする信号分離装置。
  28. 請求項1〜3,10〜13のいずれかに記載の信号分離方法において、
    前記フーリエ変換は、高速フーリエ変換であり、
    前記フーリエ逆変換は、高速フーリエ逆変換である
    ことを特徴とする信号分離方法。
  29. 請求項4〜9,14〜19のいずれかに記載の信号分離装置において、
    前記フーリエ変換手段は、高速フーリエ変換手段であり、
    前記フーリエ逆変換手段は、高速フーリエ逆変換手段である
    ことを特徴とする信号分離装置。
JP2003072724A 2003-03-17 2003-03-17 信号分離方法およびその装置 Pending JP2004279845A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003072724A JP2004279845A (ja) 2003-03-17 2003-03-17 信号分離方法およびその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003072724A JP2004279845A (ja) 2003-03-17 2003-03-17 信号分離方法およびその装置

Publications (1)

Publication Number Publication Date
JP2004279845A true JP2004279845A (ja) 2004-10-07

Family

ID=33288841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003072724A Pending JP2004279845A (ja) 2003-03-17 2003-03-17 信号分離方法およびその装置

Country Status (1)

Country Link
JP (1) JP2004279845A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096418A (ja) * 2005-09-27 2007-04-12 Chubu Electric Power Co Inc 複数音源の分離方法
WO2012086834A1 (ja) * 2010-12-21 2012-06-28 日本電信電話株式会社 音声強調方法、装置、プログラム、記録媒体
US20140086551A1 (en) * 2012-09-26 2014-03-27 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2015154207A (ja) * 2014-02-13 2015-08-24 本田技研工業株式会社 音響処理装置、及び音響処理方法
JP2016052082A (ja) * 2014-09-02 2016-04-11 日本放送協会 制御器設計装置、制御器設計方法及びプログラム
JP2017059956A (ja) * 2015-09-15 2017-03-23 国立大学法人東北大学 音源抽出システム及び音源抽出方法
JP2018036431A (ja) * 2016-08-30 2018-03-08 富士通株式会社 音声処理プログラム、音声処理方法及び音声処理装置
JP2021117284A (ja) * 2020-01-23 2021-08-10 Sanei株式会社 音声認識水栓

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096418A (ja) * 2005-09-27 2007-04-12 Chubu Electric Power Co Inc 複数音源の分離方法
JP4652191B2 (ja) * 2005-09-27 2011-03-16 中部電力株式会社 複数音源の分離方法
CN103282961B (zh) * 2010-12-21 2015-07-15 日本电信电话株式会社 语音增强方法以及语音增强装置
CN103282961A (zh) * 2010-12-21 2013-09-04 日本电信电话株式会社 语音增强方法、装置、程序和记录介质
JP5486694B2 (ja) * 2010-12-21 2014-05-07 日本電信電話株式会社 音声強調方法、装置、プログラム、記録媒体
WO2012086834A1 (ja) * 2010-12-21 2012-06-28 日本電信電話株式会社 音声強調方法、装置、プログラム、記録媒体
US20140086551A1 (en) * 2012-09-26 2014-03-27 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2015154207A (ja) * 2014-02-13 2015-08-24 本田技研工業株式会社 音響処理装置、及び音響処理方法
US10139470B2 (en) 2014-02-13 2018-11-27 Honda Motor Co., Ltd. Sound processing apparatus and sound processing method
JP2016052082A (ja) * 2014-09-02 2016-04-11 日本放送協会 制御器設計装置、制御器設計方法及びプログラム
JP2017059956A (ja) * 2015-09-15 2017-03-23 国立大学法人東北大学 音源抽出システム及び音源抽出方法
JP2018036431A (ja) * 2016-08-30 2018-03-08 富士通株式会社 音声処理プログラム、音声処理方法及び音声処理装置
JP2021117284A (ja) * 2020-01-23 2021-08-10 Sanei株式会社 音声認識水栓
JP7374783B2 (ja) 2020-01-23 2023-11-07 Sanei株式会社 音声認識水栓

Similar Documents

Publication Publication Date Title
US20210089967A1 (en) Data training in multi-sensor setups
JP5229053B2 (ja) 信号処理装置、および信号処理方法、並びにプログラム
JP6543844B2 (ja) 音源同定装置および音源同定方法
JP5139111B2 (ja) 移動音源からの音の抽出方法および装置
JP6467736B2 (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
JP6881459B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2010517047A (ja) マルチセンサ音源定位
US20140078867A1 (en) Sound direction estimation device, sound direction estimation method, and sound direction estimation program
JP2012042465A (ja) 音源方向推定装置及び音源方向推定方法
JP2004279845A (ja) 信号分離方法およびその装置
JP6182169B2 (ja) 収音装置、その方法及びプログラム
JP4738284B2 (ja) ブラインド信号抽出装置、その方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP2008089312A (ja) 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
US11997469B2 (en) Multi-channel speech compression system and method
US20220256303A1 (en) Multi-channel speech compression system and method
Wu et al. Sound source localization based on multi-task learning and image translation network
US20220399026A1 (en) System and Method for Self-attention-based Combining of Multichannel Signals for Speech Processing
Dwivedi et al. Spherical harmonics domain-based approach for source localization in presence of directional interference
JP2005196020A (ja) 音声処理装置と方法並びにプログラム
JP4920270B2 (ja) 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
CN113470682B (zh) 一种用麦克风阵列估计说话人方位的方法、装置及存储介质
JP7270869B2 (ja) 情報処理装置、出力方法、及び出力プログラム
Cho et al. SR-SRP: Super-Resolution based SRP-PHAT for Sound Source Localization and Tracking
US11886996B2 (en) Training data extension apparatus, training data extension method, and program
US20230230599A1 (en) Data augmentation system and method for multi-microphone systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090721