JP2010011433A - 音源分離及び表示方法並びにシステム - Google Patents

音源分離及び表示方法並びにシステム Download PDF

Info

Publication number
JP2010011433A
JP2010011433A JP2008298650A JP2008298650A JP2010011433A JP 2010011433 A JP2010011433 A JP 2010011433A JP 2008298650 A JP2008298650 A JP 2008298650A JP 2008298650 A JP2008298650 A JP 2008298650A JP 2010011433 A JP2010011433 A JP 2010011433A
Authority
JP
Japan
Prior art keywords
sound source
signal
sound
specific
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008298650A
Other languages
English (en)
Inventor
Hiroshi Nakagawa
博 中川
Kazuhiro Takashima
和博 高島
Kuniichi Hirosawa
邦一 廣澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nittobo Acoustic Engineering Co Ltd
Original Assignee
Nittobo Acoustic Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nittobo Acoustic Engineering Co Ltd filed Critical Nittobo Acoustic Engineering Co Ltd
Priority to JP2008298650A priority Critical patent/JP2010011433A/ja
Priority to PCT/JP2009/059885 priority patent/WO2009145310A1/ja
Priority to US12/993,440 priority patent/US20110075860A1/en
Publication of JP2010011433A publication Critical patent/JP2010011433A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00Measuring characteristics of vibrations by using a detector in a fluid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals

Abstract

【課題】本発明は、音源分離及び表示方法並びにシステムに係り、特に、特定の音源の除去を目的とした音源分離及び表示方法並びにシステムを提供する。
【解決手段】マイクロホンアレイ1セットのみを用いて複数の音源を分離するために、音源識別の処理結果を利用する。すなわち、音源識別の処理結果から、当該方向の信号を抽出し、上記信号の影響に限定した/除去した場を計算して表示する。この操作を繰り返し行うことも可能であるとともに、時間領域で仮想リファレンス信号を作成することが可能であることが特徴である。
【選択図】 図3

Description

本発明は、音源表示方法及びシステムに係り、特に、特定の音源の除去を目的とした音源分離及び表示方法並びにシステムに関する。
音の到来方向、音源の同定及び可視化のため、複数のマイクロホンを組み合わせたマイクロホンアレイを用いた計測システムが広く利用される。この計測システムは、マイクロホンアレイを単独でシステムを構成する場合と、マイクロホンや振動ピックアップ等のいくつかのリファレンス信号用センサーを併用する場合がある。
マイクロホンアレイを単独で使用する場合には、そのマイクロホンアレイが対象とする方向の音源を平等に評価することを目的とする。例えば、平面形状のマイクロホンアレイでは、正面方向の音源の分析を目的とし、球面マイクロホンアレイでは球の周囲全方向の音源の分析を目的とする。この時に、対象の音の音圧レベルが大きく、他の暗騒音に対して十分なS/N比がある場合には、リファレンス信号がなくてもこれらの音源の場所乃至は到来方向は分析可能であり、デジタル信号処理を応用することにより機械的に判別できる。
これに対して、リファレンス信号用センサーを併用する場合には、一般にそのリファレンス信号用センサーの信号に相関が高い信号をデジタル信号処理で分離する。例えば、自動車騒音を対象とする場合には、様々な音源に対して良質な音源情報をもたらすリファレンス用センサーをいくつか適切な場所に設置して、例えばエンジンの動作に相関の高い信号、路面からの入力に相関の高い信号、風騒音に相関の高い信号等を各々分離する。この場合、車室内で観測される騒音に相関の高いリファレンス信号をもたらす場所が予め分かっていて、その場所に振動ピックアップもしくは近傍にマイクロホンを設置する必要がある。このリファレンス信号を取得する場所は予め適切に定めるか、相当数のリファレンス信号用センサーを設置してその中から寄与の高い信号を選び出すかのどちらかが必要となる。
ところが、実際の騒音現象ではどこが音源か特定できない場合が多く存在する。例えば、閉空間内で純音成分が卓越した騒音が観測された場合には、この音の発生場所を人間の官能(聴覚)のみで判断するのは困難を極める。そこで、この問題を解決するために、リファレンス信号用のセンサーを設置せずに、仮想的にリファレンス信号を作成する「仮想リファレンス」を用いた方法がある。
非特許文献1では、音源探査の主要な計算手段である近距離音響ホログラフィ(NAH)で用いるリファレンス信号を得るために、近距離音響ホログラフィ用のマイクロホンアレイの他に、ポスト処理で鋭い指向性を得ることが出来るビームフォーミング(BF)用のマイクロホンアレイを設置して解析する方法を示した。これは、まず、MUSIC法を用いて強い音源の到来方向を推定し、得られた方向に対して鋭い指向性をBFにより形成し、当該方向からの到来音を抽出して近距離音響ホログラフィのリファレンス信号として用いる。この手法では、複数の音源が存在する場合に、複数のリファレンス信号をポスト処理で得ることができ、それぞれに対応したリファレンス信号に相関の高い結果であるパーシャルフィールドを得ることができる(非特許文献1)。
一方、別の手段としてNAH用のマイクロホンアレイのみでパーシャルフィールドを計算し、可視化する手法がある。これは、NAHで得られた推定音圧のピークを仮想的なリファレンス信号とし、このピークの影響を除去して可視化する。そして、この処理を繰り返し行うことにより第2、第3の弱い音源の可視化が可能となる(特許文献1及び非特許文献2)。
米国特許6958950号 「Beamforming based partial field decomposition in acoustical holography」、 J. of Kor. Soc. for Noise and Vib. Eng.、 v.11、 No.6、 2001年、 p.200。 「A partial field decomposition algorithm and its examples for near−field acoustic holography」、 J. Acoust. Soc. Am. 116 (1)、2004年、 p172−。
しかしながら、非特許文献1の方法では、対象音源の近傍にリファレンスマイクロホンを設置する必要こそないものの、遠方にもう1セットのマイクロホンアレイを設置する必要があり、これはリファレンス信号用センサーと考えられ、つまり、この手法でもリファレンス信号用センサーが必要であることに変わりはなかった。また、特許文献1及び非特許文献2の方法では、近距離音響ホログラフィで得られた音圧マップ上で弱い音源を可視化するためだけに利用するものであり、近距離音響ホログラフィという計算方法に特化していて、他の手法に応用できる一般性はなかった。近距離音響ホログラフィは、マイクロホンアレイ近傍の音場を正確に予測することができ、音源に近接してマイクロホンアレイを設置した場合は音源情報を正確に得ることができた。しかし、音源がマイクロホンアレイから遠方にある場合にはマイクロホンアレイ近傍の音場を正確に予測することができるものの、遠方にある音源に関する情報を的確に示すことはできず、騒音対策の指針となるような情報を得ることは難しいことも問題点のひとつであった。
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
本発明の音源分離及び表示方法は、音源分離及び表示方法であって、複数の音響センサーを用いて音響信号を測定する音響信号測定工程と、測定された音響信号から単一もしくは複数の音源を識別処理し、特定の到来方向もしくは特定の場所における音源信号を抽出する音源信号抽出工程と、該音源信号抽出工程で抽出した信号を仮想リファレンス信号とし、該仮想リファレンス信号に対して相関がある成分を測定された音響信号から分離することで特定の音源の影響を測定された音響信号から除去し、特定の音源の影響が除去分離された信号に対して再度単一もしくは複数の音源の識別処理を行い、音源の識別処理結果の中から特定の音源の影響のみを除去する特定音源除去工程とを備えて、分離された音源を表示できることを特徴とする。
また、本発明の音源分離及び表示方法は、前記音源信号抽出工程及び前記特定音源除去工程は、複数回行うことを特徴とする。
また、本発明の音源分離及び表示方法は、前記特定音源除去工程は、仮想リファレンス信号を作成するために特定の到来方向もしくは特定の音源の位置を推定して、複数の音源の影響の強さを算出することを特徴とする。
また、本発明の音源分離及び表示方法は、前記特定音源除去工程は、音響信号のクロススペクトラム行列に対して、無相関な音源の数に関連する行列のランクを推定し、除去回数の上限を決定することを特徴とする。
また、本発明の音源分離及び表示方法は、音響センサーと同様に設置した受光素子で撮影した画像と合成して音源を可視化することを特徴とする。
本発明の音源分離及び表示システムは、音源分離及び表示システムであって、複数の音響センサーを用いて音響信号を測定する音響信号測定手段と、測定された音響信号から単一もしくは複数の音源を識別処理し、特定の到来方向もしくは特定の場所における音源信号を抽出する音源信号抽出手段と、該音源信号抽出手段で抽出した信号を仮想リファレンス信号とし、該仮想リファレンス信号に対して相関のある成分を測定された音響信号から分離することで特定の音源の影響を測定された音響信号から除去し、特定の音源の影響が除去分離された信号に対して再度単一もしくは複数の音源の識別処理を行い、音響の識別処理結果の中から特定の音源の影響のみを除去する特定音源除去手段と分離された音源を表示できることを特徴とする。
また、本発明の音源分離及び表示システムは、前記音源信号抽出手段及び前記特定音源除去手段は、複数回行われることを特徴とする。
また、本発明の音源分離及び表示システムは、前記特定音源除去手段は、仮想リファレンス信号を作成するために特定の音波の到来方向もしくは特定の音源の位置を推定して、複数の音源の影響の強さを算出する手段を特徴とする。
また、本発明の音源分離及び表示システムは、前記特定音源除去手段は、音響信号のクロススペクトラム行列に対して、無相関な音源の数に関連する行列のランクを推定し、除去回数の上限を決定する手段を特徴とする。
また、本発明の音源分離及び表示システムは、音響センサーと同様に設置した受光素子で撮影した画像と合成して音源を可視化する手段を特徴とする。
本発明によれば、リファレンス信号を得るためのマイクロホンは不要となるため、対象となる騒音現象が仮に微小で他の雑音に埋もれてしまっているような場合でも簡単に計測・評価できるようになり、騒音を低減するような対策を効果的かつ簡単に実施することができる。また、本発明によれば、時間領域での仮想リファレンス信号を作成することができるため、近距離音響ホログラフィ以外にもビームフォームミング法をはじめとする指向性デジタルフィルタ処理においても広く適用することができる。そして、十分なS/N比が無い場合及び/又は音源が複数ある場合においても、任意の音響信号の強調や表示除去が可能になる。
本発明の最良の形態を図面を用いて説明する。
<第1の実施の形態>
[システム構成]
図1を参照して、本発明の実施の形態に係る音源表示システムXの構成について説明する。
本発明の実施の形態に係る音源表示システムXは、音響センサー200−1〜200−nが、インターネットやイントラネット等であるネットワーク5を介して、実際に音源表示を実行するサーバー100(特定音源除去装置)に接続されている。
音響センサー200−1〜200−nは、音圧信号を測定するマイクロホンアレイ、粒子速度信号を測定する音響粒子速度センサー等、音圧乃至は粒子速度を測定する任意の音響センサー装置を用いることができる。各音響センサーの位置は、任意の(x,y,z)の三次元で示す座標が設けられて、取得した音がどの音響センサー200−1〜200−n由来か識別される。好ましくは、音響センサー200−1〜200−nは、PCT/JP2003/010851及びPCT/JP2008/050632に記載したバッフル上に複数のマイクロホンを有するマイクロホンアレイから構成される音源識別測定装置により構成される。すなわち、マイクロホン、マイクロホン延長コード、マイクロホン増幅器、A/D変換器、各種インターフェイスを備えたデータ通信部等により構成される。また、データ通信部には、LANインターフェイス等のネットワーク5への接続手段を備えている。
また、マイクロホンを用いる場合には、無指向性又は指向性であってもよく、さらなる識別精度を追及するためにマイクロホンの出力信号に周波数帯域毎のフィルタ及び目的音源に特化したフィルタを用いることも可能である。周波数帯域特性フィルタは、マイクロホン以降の受信系に配置する。目的音源に特化したフィルタとは、例えば自動車のエンジン騒音においてはエンジン回転数に同期した次数トラッキングフィルタや対象騒音の周波数特性に応じた任意周波数特性を持つフィルタがあげられる。マイクロホンで収集したアナログ信号の電気信号である音圧信号は、A/D変換装置でデジタル信号へ変換される。
また、音響センサー200−1〜200−nは、マイクロホンで測定した音圧信号等をサンプリングし、ほぼリアルタイムでこの信号の経時変化(時系列)のデータをLANインターフェイス等を用いて送信することができる。ここでは実際の音圧波形を、例えば、16ビット、サンプリング周波数44.1kHzのCD並の音質等でデジタルサンプリングし、場合によっては原波形を完全に復元することができるロスレスコーデックで圧縮して送信することができる。そして、このデータは、上述のネットワーク5の形態に合わせて送信する。
ネットワーク5は、LAN、電灯線LAN、cLink、無線LAN、携帯電話又はPHS網、有線電話回線、専用の回線等、音声データの転送レートに応じた回線速度を持つものであればいかなるネットワークでも用いることができる。また、ネットワークの形態としても、IPネットワークやその他のスター状やリング状のネットワーク等を用いることができる。さらに、フレキシブルディスク、各種フラッシュメモリカード、HDD(ハード・ディスク・ドライブ)等の記憶媒体を介してデータをやり取りすることもできる。
サーバー100は、PC/AT互換機を用いたPCサーバーや汎用機等であり、音響センサー200−1〜200−nから音響信号データを解析して、望みの方向に存在する単一もしくは複数の音響信号を抽出して作成した仮想リファレンス信号を用いて、音源識別測定結果の中から特定の音源の影響のみを消去する機能を有するためのプログラムを実行している。
[制御構成]
次に、図2を参照して、本発明の実施の形態に係るサーバー100の制御構成について、より詳しく説明する。
サーバー100は、音響信号データの解析と演算を行うことができる構成部位であり、各音響センサー200−1〜200−nで取得した音響信号データを入力する入力部110(入力手段)、入力されたデータや音響信号の抽出データ、指向性デジタルフィルタ処理のアルゴリズム、特定音源除去結果等を記憶する記憶部120(記憶手段)、特定の方向から到来もしくは場所における音響信号を抽出する音響信号抽出部130(音響信号抽出手段)、指向性デジタルフィルタ処理を行って抽出された仮想リファレンス信号を作成するための仮想リファレンス信号作成部140(仮想リファレンス信号作成手段)、CPU(セントラル・プロセッシング・ユニット、中央処理装置)やMPU(マイクロ・プロセッシング・ユニット)等である制御部150(特定音源除去手段)、LCDディスプレイ等の表示装置やプリンタやプロッタや波形出力機等である出力部160(出力手段)とを主に備えている。
なお、これらの音響信号を抽出するデータ及び仮想リファレンス信号の作成は、サーバー100が、音響センサー200−1〜200−nにより検出されたデータを取得しても、別のセンサ等や情報サイト等の情報を直接ネットワーク5から取得するようにしても、記憶媒体を介して直接取得するようにしてもよい。
さらに具体的に説明すると、入力部110は、LANインターフェイス等であり、また、キーボードやポインティングデバイスや光学・磁気スキャナ等の入力手段も含む。これにより、入力部110は、音響センサー200−1〜200−nからのデータや、予め測定員が測定したデータ等を入力することができる。さらに、入力されたセンサー200−1〜200−nのデータについて、測定員が音響信号データの種類等を入力するためのユーザインターフェイスも備えていてもよい。
記憶部120は、RAMやROMやフラッシュメモリやHDD等である。記憶部120は、音響センサー200−1〜200−nから入力された音響信号データや、予め測定員が測定した音響信号データ、ビームフォーミング法や近距離ホログラフィ等の指向性デジタルフィルタ処理で用いるアルゴリズム、特定音源除去結果等のプログラムや必要なデータ等を記憶しておくことができる。
また、音響信号抽出部130と仮想リファレンス信号作成部140は、専用の演算用DSP(デジタル・シグナル・プロセッサ)や物理演算専用演算装置やGPU(Graphics Processing Unit)等のリアルタイムに演算可能な演算器を用いるのが好適である。なお、音響信号抽出部130と仮想リファレンス信号作成部140の機能を、制御部150の演算機能を用いて実現してもよい。
制御部150は、実際に以下の特定音源除去処理を行う際の制御と演算を行う構成部位である。このために、記憶部120のROMやHDD等に記憶しているプログラムに従って、A/D変換器で変換されたデジタル信号である音響信号データに対して各種の制御と演算の処理を実行する。
[特定音源除去の概念]
図3の特定音源除去結果の概念図に示すように、本発明では、除去したい音であるマスカーを判別して除去することによって、浮き出る音であるマスキーを抽出する。マスカーはマスクする音であり、典型的には強い音圧レベルを示す主要な音源であるが解析を行う上では除去したい音である。マスキーはマスクされる音で典型的には主要な音源の影響に埋もれているが騒音対策のターゲットとしたい音を指す。横軸は方位角及び縦軸は仰角を示す。
図3上段は、マスカーを除去する前のマスカー及びマスキーを示したものである。マスカーはホワイトノイズ(+20dB)であり、マスキーはホワイトノイズであり、どちらも中心周波数1kHzの1/1オクターブバンドである。図3下段は、図3上段で示したマスカーを取り除いた後の音源表示結果を示したものである。マスカーを取り除くことによって、隠れていたマスキーが浮き出てくることが分かる。
本発明の特定音源除去方法の概念を図4の2入力システムを用いて説明する。Xはマスカーの入力信号、Xm/rはマスキーの入力信号、Xはマイクロホンの出力信号、Lrmはマスカーからマイクロホン出力までの伝達関数、Srrはマスカーのオートスペクトラム、Srmはマスカーとマイクロホン出力のクロススペクトラムと定義する。マイクロホン出力すなわちマイクロホンが収録する音の信号は、伝達関数Lrmで表される経路を通るマスカーの信号とマスキーの信号の和である。したがって、マスキーを抽出するには、マイクロホンの出力信号から伝達関数Lrmを通るマスカーの信号を差し引いて求める。図4下段にマスキーの信号を求める式を示す。
[特定音源除去処理]
特定音源除去処理は、リファレンス信号を得るためのマイクロホンを必要とせずに時間領域での仮想リファレンス信号を作成でき、任意の音響信号の強調や分離を可能にすることで、対象となる騒音現象を簡単かつ正確に計測・評価して、騒音低減するような対策を効果的かつ簡単に実施するための有効な手段である。しかし、この特定音源除去処理では、マスカーの到来方向もしくは場所を人手により指定しなければならなかった。そこで、以下の処理で仮想リファレンス信号の抽出を人手による除去処理を必要とせずに行うことを考案した。
本発明の特定音源除去処理は、図5に示すように大きく音響信号測定工程S10、音源信号抽出工程S11、特定音源除去工程S12、特定音源の除去は全て終了したかを判定する工程S13から構成される。
[音響信号測定工程]
PCT/JP2003/010851及びPCT/JP2008/050632に記載した音源識別測定装置及び実装するソフトウェアを用いて行った音響信号測定工程S10を説明する。
本実施形態の説明では、音響信号測定工程S10で用いるマイクロホンアレイは、1セットのみであり、マイクロホンを31個使用する場合を示す。なお、マイクロホンの数は、多ければ多いほど音源識別結果の精度と安定性が向上するが、マイクロホンの数は音源識別を行うべき次元に応じた必要最低限以上の数であれば音源識別は可能である。マイクロホンアレイは、利用範囲及び手法、解析で取りうる座標系によって適宜変更される。なお、マイクロホンアレイの形状は、平面形状、二次元形状、三次元形状及び任意の形状でもよい。ちなみに、平面形状は、もっとも広く利用されており、近距離音響ホログラフィ及びビームフォーミングに以前より広く採用されている。また、三次元形状は、球面形状及び円筒形状等が思い浮かぶが、これらのマイクロホンアレイは球面座標系及び円筒座標系で見れば一種の二次元形状マイクロホンアレイである。任意形状は、オブジェクトの形状に沿って設置するため、自由度が高い反面、マイクロホンの位置を厳密に知る必要がある。以下、具体的に、制御部150等で行う各マイクロホンにより取り込まれた音響信号の特定音源除去処理の流れを示す。いずれにしても、近距離音響ホログラフィ及びビームフォーミングのアルゴリズムは、マイクロホンアレイの形状により適宜変更する必要がある。
[音源信号抽出工程]
PCT/JP2003/010851及びPCT/JP2008/050632に記載した音源識別測定装置及び実装するソフトウェアを用いて行った音源信号抽出工程S11を説明する。ただし、特定の方向から到来もしくは場所における音響信号は一般にビームフォーミング、近距離音響ホログラフィ等の演算で抽出することができるが、任意のアルゴリズム、装置及び実装するソフトウェアを用いることができることは言うまでもない。ここではPCT/JP2003/010851及びPCT/JP2008/050632に記載したビームフォーミングに基づくアルゴリズムを例にして説明する。
実装するソフトウェアは、デジタル信号に変換された音圧信号を指向性デジタルフィルタを用いて、音源分離を行う指向性デジタルフィルタ処理を行う。この処理を一般的にビームフォーミングと呼ぶ。この指向性デジタルフィルタはあらゆる方向に同時に存在する音源を分離するためのフィルタであって、マイクロホンアレイの形状、サイズやマイクロホンの位置、周波数、分離方向といったパラメータに応じて定められ、音圧信号、電気信号、そしてA/D変換装置で変換されたデジタル信号に対して数値計算によって行われる。このビームフォーミング演算は、演算可能なあらゆる方向に渡って指向性を変化させ、同時に複数の方向に音源があっても各音源信号を抽出して分離する。
具体的には、図6に示すように、音源信号抽出工程S11では、時間範囲の決定(ステップS110)、時間周波数分析(ステップS120)、音源探査(ステップS130)を備えている。以下で各ステップを詳細に説明する。
(ステップS110)
まず、音響信号抽出部130は、時間範囲の決定を行う。音響信号抽出部130は、音の到来方向と強度解析を行うための時間範囲を決定する。ここでは、音の到来方向と強度解析とを行う解析区間として、取得した音響信号データの時間波形の中で、目的音源からの音が含まれている時間範囲を抽出する。
(ステップS120)
次に、音響信号抽出部130は、時間周波数分析を行う。音響信号抽出部130は、任意の音響センサー200−1〜200−nから取得した音響信号データの交流波形の時間周波数の分析を行う。測定されている騒音が時間変化に乏しく定常的である場合、時間周波数分析の結果の各時刻のデータを平均化してもよい。騒音が非定常である場合は、当該音が含まれる時刻を時間周波数分析の結果から特定する。
(ステップS130)
次に、音響信号抽出部130は、音源探査を行う。音響信号抽出部130は、解析区間において音源識別測定装置による音源探査を実施し、単位時間毎の音の到来方向(複数)とその強度(同時刻の音に対する寄与度)を求める。ここでも騒音が定常的である場合には、平均化されたスペクトラムから音源の強度が求まる。
上記のように、複数の音響センサー200−1〜200−nにより取り込まれたそれぞれの音響信号の振幅特性と、位相特性とを演算処理で求めた後、それらの信号情報とバッフル周辺の音場解析情報とを統合し、特定方向からの到来音を強調する演算処理を全方位に渡って行い、音源からの音の到来方向を演算処理により特定することで、全方位に渡る音源からの音の到来方向の特定と、音源の音の強さの推定とを一度に行う。このような制御部150による演算処理により、音源からの音の到来方向の解析と音源の音の強さの推定とが行われると、その演算処理結果が音の強さ分布として出力部160の表示装置にカラーで表示してもよい。図7は、音源識別測定装置の球バッフルマイクロホンに配設されている複数のマイクロホンと複数の受光素子とから得られた音圧レベルと画像とを合成したものである。表示装置により表示される音の強さをカラーで表示した一例である。また、図7中に示すXは、除去対象とするマスカー信号の一例であり、ソフトウェアを用いてXを抽出している操作の一例である。
音源信号抽出工程S11で抽出した信号を仮想リファレンス信号として、以下の特定音源除去工程S12で用いる。
[特定音源除去工程]
図8に示した31入力システムにおける特定音源除去工程S12を示す概念図を用いて説明をする。マスカーとマスキーが混じっている音を31本の音源識別測定装置のマイクロホンで収録する。マイクロホンでは時間波形を収録し、それらの周波数応答X〜X31を求めるために周波数分析を行う。周波数分析は典型的にはFFT処理である。次に、取り除きたいマスカーの周波数応答Xを求めるために、音源識別測定装置では予めある方向に対する信号の強調機能を用いてマスカーの抽出を行い、これを仮想リファレンス信号とする。つまり、マスカーの信号が仮想リファレンス信号と等価と見なすのである。これによって、マスカーと各マイクの間の伝達関数Lr1〜Lr31を計算し、各マイクの出力X〜X31からそれぞれに対応するマスカー(Lr1〜Lr31)を差し引いて、各マイクにおけるマスキー(X1/r〜X31/r)を抽出する。この後、求めたマスキーを指向性デジタルフィルタ処理で解析し、最終的に分析結果を可視化して出力する。
具体的には、図9に示すように、特定音源除去工程S12では、仮想リファレンス信号の作成(ステップS170)、特定の音源を除去して出力表示(ステップS180)を備えている。以下で各ステップを詳細に説明する。
(ステップS170)
仮想リファレンス信号作成部140は、仮想リファレンス信号の作成を行う。仮想リファレンス信号作成部140は、上記音源信号抽出工程で抽出した音響信号である音源探査結果に対して、指向性デジタルフィルタ処理をして仮想リファレンス信号を作成する。本実施の形態では、指向性デジタルフィルタ処理として用いるアルゴリズムは、ビームフォーミング法(Beam−Forming:BF)であり、マイクロホンアレイはBF用の1セットのみ必要である。また、近距離音響ホログラフィ(Nearfield Acoustic Holography:NAH)を使ってマイクロホンアレイ近傍の音圧もしくは粒子速度を予測し、それを仮想リファレンスとして用いることも可能である。
BFは、音波伝搬のモデルに一種の近似が用いられているため、音源からマイクロホンアレイが波長に比べて離れた遠方場の解析で利用されることが多い。音源の分解性能は、マイクロホンアレイのサイズ及び周波数に依存し、マイクロホンアレイが大きく、周波数が高いほど分解能が高くなる。一方、NAHは数学的な厳密性が高く近似が少ないため、音源の近傍場での解析で利用できる。NAHは波動方程式から比較的近似が少ない定式化が用いられており、指向性応答を計算するBFに比べ、マイクロホンアレイ近傍の音圧及び粒子速度を推定できることが大きな違いである。音源の分解性能は周波数に依存せず、周波数が低くても高い分解能で分析できるが、一般的にBFでは指向性応答が計算できる高周波域での計算は難しい。
このように本発明では物理的なリファレンスセンサーを利用する代わりに、仮想リファレンス信号としてBFで得られた指向性音圧やNAHで推定された音圧乃至は粒子速度を利用する。つまりこの場合、リファレンス信号を得るためのマイクロホンは不要となる。この仮想リファレンス信号を使い、BFやNAHの計算を再帰的に繰り返すこともできる。これらの信号の影響を取り除いた結果を得るのが特定音除去演算である。
(ステップS180)
次に、出力部160は、特定の音源を除去して出力表示を行う。出力部160は、取得した仮想リファレンス信号を利用して、各々のリファレンス信号に相関の高い結果であるパーシャルフィールドを計算ステップに従って繰り返し表示する。ここでは画面上の2次元座標に対応したメッシュ状に区切った区分毎に出力を行い、出力部160の表示装置に白黒やカラー等のコンターで表示する。また、音響センサーと同様に設置したCCDやCMOS等の受光素子で撮影した画像と合成して音源を可視化して表示してもよい。
本発明の実施の形態1では、リファレンス信号として、追加マイクロホンや振動ピックアップ等の物理的な追加のセンサーを利用する代わりに、ビームフォーミングで得られた指向性信号や近距離音響ホログラフィで予測された音圧乃至は粒子速度を、仮想的なリファレンス信号として利用する。このようにして、リファレンス信号を得るためのマイクロホンアレイは不要となる。完全にリファレンス信号を計測用のマイクロホンアレイのみで得ることができるため、本発明では、対象機器に様々な騒音発生要因が考えられる際、マイクロホンや加速度ピックアップなどのリファレンスセンサーを対象や問題の候補となる機器の近傍に設置できないといった問題も解決できる。したがって、2セットのマイクロホンアレイを用いる手法における物理的な煩雑さの問題を解決する。
また、従来の手法では算出が難しかった「時間領域でのリファレンス信号」を作成することができるため、そのリファレンス信号はビームフォーミングでの利用ばかりではなく、近距離音響ホログラフィ等その他の音源探査手法にも適用可能である。更には音源信号をエンジニアが聴くことができることにより、解析対象の音源を確認することが出来る点も大きな特徴となっている。
そして、得られたリファレンス信号を利用して、周波数や音の到来方向もしくは場所等に応じて複数の仮想リファレンス信号を作成し、それに対応したパーシャルフィールドが計算できる。また、逆にそのリファレンス信号の影響を含まない、もしくはリファレンス信号の影響を取り除いた音源除去フィールド(Eliminated Field)も計算できる。このようにして得られたリファレンス信号が、他の音源に比べて物理的に非常に大きなエネルギーを持っていた場合、その影響するパーシャルフィールドを取り除くことは、マスクされている他の小さな騒音現象が容易に発見できる事を意味する。すなわち、十分なS/N比がなく検出又は対策したい音の物理的エネルギーが他の音に比べて極端に小さい場合、他の音に埋もれて分離が難しく、対象となる騒音現象を簡単に計測・評価できないという問題も解消される。また、音源除去を何回も行うことで、エネルギーの大きい音源からその影響を取り除くことができるため、マスクされていた第2,第3、、、の音源を見出すことができることも特徴である。また、様々な現象が同時に収録されている音から特定の成分を取り除くことで、埋もれていた他の音を実際に聴くことができ、故障診断等の情報として生かすことができる。
このような仮想リファレンス信号を数学的な観点から見れば、マイクロホンアレイそれぞれの素子からの信号をフィルタリングした結果の和となり、線形な演算であるため、リファレンス信号はすべてのマイクロホンに対して一部相関がある信号になる。しかし、最も重要なのは、仮想リファレンス信号が特定の方向や場所に強い相関を持つ信号となる点である。
[特定音源の除去は全て終了したかの判定]
特定音源の除去は全て終了したかを判定する工程S13は、特定音源の除去は全て終了したか否かを判定する。全て終了した場合(YES)には以降の演算は行わない。全て終了していない場合(NO)には、音源信号抽出工程S11及び音源信号除去工程S12を再度行う。
[リファレンス信号の有無による特定音源除去処理の相違]
なお、リファレンス信号の有無で特定音源除去処理は異なってくる。
リファレンス信号がない場合には、音場にあるすべての音源の影響を計算した結果であるトータルフィールド(Total Field)を計算して表示する。
リファレンス信号がある場合には、リファレンス信号に相関のある(コヒーレントな)成分だけを抜き出して解析を行う。これによって、各々のリファレンス信号に相関の高い結果のみを解析した結果であるパーシャルフィールド(Partial Field)を計算して表示が可能になる。また、リファレンス信号に関連のない(インコヒーレントな)成分を抜き出して解析した結果である音源除去フィールド(Eliminated Field)を計算して表示が可能となる。このようにすると、弱い音源信号の強調も可能となる。
BFやNAHでのリファレンス信号の利用としては、定常的な音を対象とする場合、非定常な音を対象とする場合の双方が考えられる。
定常的な音を対象とする場合には、マイクロホンアレイでの計測の必要はない。1chリファレンスセンサー及び計測用センサーで入力系を構成し、計測用センサーを対象物体の周辺に移動させてその座標及び音圧をリファレンスセンサーと同時サンプリングで計測できればよい。また、リファレンスセンサーは、当該信号を忠実にピックアップできるセンサー種類(マイクロホン、振動ピックアップ等)及び設置場所であればよい。複数の要因からの寄与が大きくなる場所でのセンサーの設置は分離が難しくなるため、一般的に避けられている。この場合に得られるのは、リファレンスセンサーの信号に相関があるパーシャルフィールドのみである。この場合はポスト処理で仮想リファレンス信号を抽出することはできるものの、本発明の特徴である時間領域で仮想リファレンス信号は抽出できず、周波数領域での処理に限定される。
また、非定常な音を対象とする場合には、マイクロホンアレイ及びリファレンスセンサーが必要であり、同時サンプリングがされる。リファレンスセンサーの設置に関しては、定常的な音の場合と同様であるが、リファレンスセンサーを適切な位置に設置するのが難しいのは前述したとおりである。
リファレンス信号を高温の物体の近傍に設置したい場合等、取付け場所に制約があってリファレンス設置が難しい場合は、本発明で示したように特定音源除去処理のプロセスに従い、仮想リファレンス信号を作成することができる。
<第2の実施の形態>
次に、図10を参照して、本発明の第2の実施の形態に係る音源表示システムのサーバー101について説明する。
サーバー101を用いた音源表示システムの構成は、図1に示した第1の実施の形態に係る音源表示システムXと同様であり、サーバー101の制御構成のみが異なっている。
このサーバー101においては、音響信号のクロススペクトラム行列計算部170(音響信号のクロススペクトラム行列計算手段)が追加されている点がサーバー100と異なっている。なお、この他の同じ符号の構成要素については、サーバー100と同様である。
音響信号のクロススペクトラム行列計算部170は、音響信号のクロススペクトラム行列の計算を行うためのDSPやCPU等の演算器である。また、上述の音響信号抽出部130と仮想リファレンス信号作成部140と同様に、制御部150の演算機能を用いて実現してもよい。
本発明の第2の実施の形態に係るサーバー101においては、この音響信号のクロススペクトラム行列計算部170を用いて、マイクロホンアレイで計測された音響信号のクロススペクトラム行列を計算する。続いてクロススペクトラム行列のランク(階数)を推定する。この演算は、典型的には特異値分解を使って行われる。このランクに関する情報から特定音除去演算回数の上限を決めることができる。これにより最も妥当と考えられる音源が影響の大きい順番に示され、かつそれらの音源の影響を取り除いた結果を自動的に得ることができる。なお自動的とは、ユーザーが目視により任意に仮想リファレンスを設置することなく、且つ任意の音源を除去する上限回数が収録された音響信号の状態に応じて自動的に設定されることを意味する。
なお、これらの追加する音響信号のクロススペクトラム行列計算のデータは、サーバー101が、音響センサー200−1〜200−nにより検出されたデータを取得しても、別のセンサ等や情報サイト等の情報を直接ネットワーク5から取得するようにしても、記憶媒体を介して直接取得するようにしてもよい。
[自動化した特定音源除去処理]
特定の場所ないしは方向に対応した仮想リファレンス信号を抽出する場合には、その設置場所もしくは方向が問題となる。この設置場所はユーザーが任意に設定することができ、特定の単独の音源の影響のみが卓越する場所に設置することが望ましい。しかし、実際にユーザーが誤った場所に仮想リファレンスを設置することは十分考えられる。誤った場所に仮想リファレンスが設置された場合には、仮想リファレンスと特定の音源信号間のコヒーレンスが低下するため、抽出されたパーシャルフィールドは、特定の音源の影響を代表するものではなくなってしまう。このように仮想リファレンスの設置は、個人の技量に依存し特定音源除去の再現性が担保されていなかった。そこで、以下の処理で仮想リファレンス信号の抽出を人手による除去処理を必要とせずに行うことを考案した。
本発明の自動化した特定音源除去処理は、図11に示すように大きく音響信号測定工程S20、音源信号抽出工程S21、特定音源除去工程S22、特定音源の除去は全て終了したかを判定する工程S23から構成される。
具体的には、音響信号測定工程S20は、第1の実施の形態で示した音響信号測定工程S10と同様の処理を行う。
また、図12に示すように、音源信号抽出工程S21は、時間範囲の決定(ステップS210)、時間周波数分析(ステップS220)、音源探査(ステップS230)、及び暗騒音の音圧レベルを推定(ステップS261)を備える。
また、図13に示すように、特定音源除去工程S22は、仮想リファレンス信号の作成(ステップS270)、音響信号のクロススペクトラム行列計算(ステップS271)、及び特定の音源を除去して出力表示(ステップS280)を備える。
また、特定音源の除去は全て終了したかを判定する工程S23は、第1の実施の形態で示した特定音源の除去は全て終了したかを判定する工程S13と同様の処理を行う。
また、図14に示すように、音響信号のクロススペクトラム行列計算(ステップS271)は、特定の音源の影響を取り除いた後の残差エネルギーを計算(ステップS2711)、残差が示す音源情報のうち寄与が最も大きい場所に再度リファレンスを設置(ステップS2712)、仮想リファレンスの位置及び方向のテーブルを作成(ステップS2713)、音源の並び替え(ステップS2714)、残差エネルギーが暗騒音レベルよりも小さいかを判定(ステップS2715)、及び結果の取得(ステップS2716)を備える。以下で各ステップを詳細に説明する。
ステップS210はステップS110と、ステップS220はステップS120と、ステップS230はステップS130と第1の実施の形態で示したように同様の処理を行う。
(ステップS261)
音響信号抽出部130は、暗騒音の音圧レベルの推定を行う。音響信号抽出部130は、マイクロホンアレイでの測定時に、暗騒音の音圧レベルを推定する。これは、暗雑音に比べて極端に小さいエネルギーの音源は発見することは一般的に困難であるためで、暗騒音の音圧レベルは、繰り返し行う特定音除去回数の上限を設定するために用いる。また、一般的に暗騒音は実際の測定の前後で確認のために測定することが多く、これを利用できる。
ステップS270はステップS170と第1の実施の形態で示したように同様の処理を行う。
(ステップS271)
音響信号のクロススペクトラム行列計算部170は、音響信号のクロススペクトラム行列計算を行う。音響信号のクロススペクトラム行列計算部170は、音響信号測定後に音源探査計算の前にマイクロホンアレイで計測された音響信号のクロススペクトラム行列を計算する。そして、クロススペクトラム行列のランク(階数)を典型的には特異値分解を用いて推定する。クロススペクトラム行列のランクrと音場内にある無相関な音源の数Nとはr≦Nの関係がある(Kompella et al. Mechanical Systems and Signal Processing (1994) 8(4), 363−380)。したがって、繰り返し行った場合の特定音除去演算の上限回数はr回以内とすることができる。
ステップS280はステップS180と第1の実施の形態で示したように同様の処理を行う。
図14で示すように、具体的には、音響信号のクロススペクトラム行列計算(ステップS271)では、さらに以下の手順に従って特定音除去演算を行う。
(ステップS2711)
音響信号のクロススペクトラム行列計算部170は、残差エネルギーの計算を行う。音響信号のクロススペクトラム行列計算部170は、全フィールドの結果のうち、寄与が最も大きい場所(全体のピーク位置)に仮想リファレンスを設置し、特定音除去演算を行なう。
(ステップS2712)
音響信号のクロススペクトラム行列計算部170は、特定音除去演算を行った後の残差が示す音源情報のうち寄与が最も大きい場所に再度リファレンスの設置を行う。音響信号のクロススペクトラム行列計算部170は、残差エネルギーの平均がステップS2711で計算された暗騒音レベルより大きく、かつ演算回数がr回以内の場合に限り、残差が示す音源情報のうち寄与が最も大きい場所に再度仮想リファレンスを設置し、残差を計算する。
(ステップS2713)
音響信号のクロススペクトラム行列計算部170は、仮想リファレンスの位置及び方向のテーブルを作成する。音響信号のクロススペクトラム行列計算部170は、ステップS2711及びステップS2712で繰り返し抽出した仮想リファレンスの位置及び方向のテーブルを作成する。以下テーブルの例(球面音源識別測定装置で測定して、BFで解析した場合)を示す。
(ステップS2714)
音響信号のクロススペクトラム行列計算部170は、音源の並び替えを行う。音響信号のクロススペクトラム行列計算部170は、ステップS2711からステップS2713の順番で作成した特定音源除去の順序は、ピークの音圧レベルを示す箇所に仮想リファレンスを設置するため、寄与の大きい音源から順番に抽出しているかという観点から言うと必ずしも正しくない可能性がある。最も測定結果に影響を与える主要な音源は、抽出後(減算後)の残差のエネルギーが最も小さくなるものである。従って、それぞれの音源のうち、以下の順序で音源を並び替える。
(1)全フィールドから仮想リファレンスの影響をそれぞれ減算し、残差のエネルギーが最も小さいものを第1の仮想リファレンス、すなわち最も影響が大きい音源とする。
(2)同様の手順で第2,第3、、、の音源も同様に定める。
(ステップS2715)
音響信号のクロススペクトラム行列計算部170は、残差のエネルギーが暗騒音レベルよりも小さいかを判定する。音響信号のクロススペクトラム行列計算部170は、ステップS2714で音源を並び替えた後に、残差のエネルギーが暗騒音レベルよりも小さいかを判定し、小さい場合(YES)には以降の演算は行わない。大きい場合(NO)には、ステップS2711に戻り、繰り返し音源を求める計算を行う。
(ステップS2716)
音響信号のクロススペクトラム行列計算部170は、計算結果を取得する。そして、上記の手順により最も妥当と考えられる音源が影響の大きい順番に自動的に示され、かつそれらの音源の影響を取り除いた結果を自動的に得ることができる。
これによって、仮想リファレンスが最適でない位置に置かれる可能性が低くなり、再現性が担保され信頼性を高めることが可能となる。また、音源除去回数の上限を設定することによって、効率的に特定音源除去処理を行うことが可能となった。
以下の実施例により、本願発明をさらに説明する。しかし、本実施例により、本願発明が、限定的に解釈されるものではない。
図15では、実施例1〜4で行った実験条件を示す。図16左では、模式的に示すように、無響室において2つの音源がある。図16右では、実際の実験を行った際の、音源識別測定装置と音源の位置を示す。
(実施例1)
左側のマスカーを+20dBのホワイトノイズとし、右側のマスキーをホワイトノイズとした場合に、本発明を用いてマスカーの除去を試みる。
図17〜20は、音源間の開き角を変更したものであり、マスカーがホワイトノイズ(+20dB)であり、マスキーがホワイトノイズである場合に、マスカーの除去が正しく行うことができるか調べた。
図17は、音源間の開き角が30度であり、マスカーはホワイトノイズ(+20dB)であり、マスキーはホワイトノイズであり、どちらも中心周波数1kHzの1/1オクターブバンドである場合の解析結果の例を示す図である。
図18は、音源間の開き角が60度であり、マスカーはホワイトノイズ(+20dB)であり、マスキーはホワイトノイズであり、どちらも中心周波数1kHzの1/1オクターブバンドである場合の解析結果の例を示す図である。
図19は、音源間の開き角が90度であり、マスカーはホワイトノイズ(+20dB)であり、マスキーはホワイトノイズであり、どちらも中心周波数1kHzの1/1オクターブバンドである場合の解析結果の例を示す図である。
図20は、音源間の開き角が180度であり、マスカーはホワイトノイズ(+20dB)であり、マスキーはホワイトノイズであり、どちらも中心周波数1kHzの1/1オクターブバンドである場合の解析結果の例を示す図である。
図17〜20の解析結果の例から、除去前は左側が強いが除去後は右側が強く表示されており、マスカーよりもマスキーの方が強く表示されている。これより、左側のマスカーを+20dBのホワイトノイズとし、右側のマスキーをホワイトノイズとした場合には、音源間の開き角に関わらずマスカーの除去が正しく行われている。
(実施例2)
左側のマスカーを+20dBのホワイトノイズとし、右側のマスキーを純音とした場合に、本発明を用いてマスカーの除去を試みる。
図21〜24は、音源間の開き角を変更したものであり、マスカーがホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーが1kHzの純音場合に、マーカーの除去が正しく行うことができるか調べた。
図21は、音源間の開き角が30度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーは1kHzの純音である場合の解析結果の例を示す図である。
図22は、音源間の開き角が60度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーは1kHzの純音であるの場合の解析結果の例を示す図である。
図23は、音源間の開き角が90度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーは1kHzの純音である場合の解析結果の例を示す図である。
図24は、音源間の開き角が180度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーは1kHzの純音である場合の解析結果の例を示す図である。
図21〜24の解析結果の例から、除去前は左側が強いが除去後は右側が強く表示されており、マスカーよりもマスキーの方が強く表示されている。これより、左側のマスカーを+20dBのホワイトノイズとし、右側のマスキーを純音とした場合には、音源間の開き角に関わらずマスカーの除去が正しく行われている。
(実施例3)
左側のマスカーを+20dBのホワイトノイズとし、右側のマスキーをクリック音または短音とした場合に、本発明を用いてマスカーの除去を試みる。
図25〜28は、音源間の開き角を変更したものであり、マスカーがホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーがクリック音または短音である場合に、マーカーの除去が正しく行うことができるか調べた。
図25は、音源間の開き角が30度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図26は、音源間の開き角が60度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図27は、音源間の開き角が90度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図28は、音源間の開き角が180度であり、マスカーはホワイトノイズ(+20dB)であって中心周波数1kHzの1/1オクターブバンドであり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図25〜28の解析結果の例から、除去前は左側が強いが除去後は右側が強く表示されており、マスカーよりもマスキーの方が強く表示されている。これより、左側のマスカーを+20dBのホワイトノイズとし、右側のマスキーをクリック音または短音とした場合には、音源間の開き角に関わらずマスカーの除去が正しく行われている。
(実施例4)
左側のマスカーを+20dBの純音とし、右側のマスキーをクリック音または短音とした場合に、本発明を用いてマスカーの除去を試みる。
図29〜32は、音源間の開き角を変更したものであり、マスカーが1kHzの純音(+20dB)であり、マスキーがクリック音または短音である場合に、マーカーの除去が正しく行うことができるか調べた。
図29は、音源間の開き角が30度であり、マスカーは1kHzの純音(+20dB)であり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図30は、音源間の開き角が60度であり、マスカーは1kHzの純音(+20dB)であり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図31は、音源間の開き角が90度であり、マスカーは1kHzの純音(+20dB)であり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図32は、音源間の開き角が180度であり、マスカーは1kHzの純音(+20dB)であり、マスキーはクリック音または短音である場合の解析結果の例を示す図である。
図29〜32の解析結果の例から、除去前は左側が強いが除去後は右側が強く表示されており、マスカーよりもマスキーの方が強く表示されている。これより、左側のマスカーを+20dBの純音とし、右側のマスキーをクリック音または短音とした場合には、音源間の開き角に関わらずマスカーの除去が正しく行われている。
(実施例5)
自動車の車室内騒音の典型的なテストの一つとして行なわれるのが、シャシダイナモメーターを使った台上試験である。実際の走行を模擬したエンジン回転と負荷を与え、車両の挙動を測定することができるが、騒音の評価目的でも広く利用されている。ここでは、加速エンジン音を対象とした試験の例を示す。
この試験では乗用車をシャシダイナモメーターのローラー上に設置する。ローラーの表面はスリップ防止面でカバーされているが、その凹凸は顕著なロードノイズ(タイヤと路面の接触によって生じる騒音)を発生するものではない。この場合、自動車を運転状態にすれば、加速時のエンジン負荷を実現でき、その上での騒音が評価可能になる。ここではギアを3速に固定し、エンジンを3000rpmに保持した状態での測定結果である。マイクロホンアレイは助手席に設置している。
図33は、特定のリファレンス信号に依存しないトータルフィールドの計算結果を写真上に重ねて表示したもので、周波数は800Hzである。この場合であれば、エンジン音がダッシュパネルから透過して車室内に影響しているところがわかる。この図で示されたピークが主要な騒音寄与を示しているが、ダッシュパネルからの放射音の影響を除去できれば次に問題となっている場所を追加実験なしに指し示すことができる。このダッシュパネルのピーク(図34画面9の白丸参照)に本発明の特定音源除去を適用すると図34を得る。図34は、Aピラー(ドアミラーが付いている部分からルーフに向かって立ち上がる柱上の構造部品)部分からの騒音寄与を示している。図34からAピラー部分の騒音寄与(図35画面1の白丸参照)を除去したものが図35である。
このように自動車騒音においても、本発明を用いれば主要な音源(マスカー)を除去することで隠れていた音源(マスキー)を発見できる。
(実施例6)
最適な位置もしくは最適でない位置に抽出ポイントをユーザーが置いた場合の比較を示すために、実施例5と同様の事例で、音源識別測定装置を用いて音源識別測定装置の周囲に存在する車室内騒音の特定音源除去処理を行った例を示す。以下、図面を参照して車室内騒音の特定音源除去処理を行った解析結果の例を示す。
図36〜38は、音源識別測定装置を用いて音源識別測定装置の全方向に存在する車室内騒音の音圧レベルと実際の車室の画像とを合成して示した解析結果の例である。解析結果の例は、音源の位置として最適な位置もしくは最適でない位置に抽出ポイントをユーザーが置いた場合の比較を示す。
図36は、音源除去処理を行う前の音圧レベルと実際の車室の画像とを合成して表示している。図37は、最適な位置に抽出ポイントをユーザーが置いた場合(図37画面9の白丸参照)に音源除去処理を行った結果の例を示す。図38は、最適でない位置に抽出ポイントをユーザーが置いた場合(図38画面1の白丸参照)に音源除去処理を行った結果の例を示す。
図37に示すように、ユーザーが最適な位置に抽出ポイントを置いた場合には、画面中に表れている音源の除去が適切になされている。一方、図38に示すように、ユーザーが最適でない位置に抽出ポイントを置いた場合には、画面中に表れている音源の除去が適切になされておらず、多くのピークが特定音源除去演算の結果である図38に現れている。このようにユーザー自身が音源の位置を指定して除去を行う場合には、最適な位置にポイントしないと適切な結果を得ることができない。
また本発明を用いれば、ユーザーが抽出ポイントを指定することなく正確な特定音源除去処理を自動的に行うことが可能である。この手順に従えば実施例5のプロセスを自動化でき、実施例5と同様の結果が得られる。この例では、800Hzのクロススペクトラム行列のランクは3であり、暗騒音レベルは15dBであった。実際、実施例5で特定音源除去を2回行なった後の残差エネルギーは12dBであり、暗騒音と比較してもこれ以上の特定音除去は困難であることがわかる。つまり、本発明内の自動化手法を用いても、実施例5と同様の結果が得られることは明白である。
なお、上記実施の形態の構成、解析及び測定は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
また、上記実施の形態の構成、解析及び測定で示した処理工程は、当業者にとって実際の処理の一部または全部を行い、若しくはその処理工程・ステップの順番を変更しても、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明の実施の形態1に係る特定音源表示システムの構成図である。 本発明の実施の形態1に係るサーバーの制御構成図である。 本発明の実施の形態1に係る特定音源除去結果の概念図である。 本発明の実施の形態1に係る特定音源除去の概念図である。 本発明の実施の形態1に係る特定音源除去処理を示す図である。 本発明の実施の形態1に係る音源信号抽出工程を示す図である。 本発明の実施の形態1に係る特定音源除去処理の概念図である。 本発明の実施の形態1に係る特定音源除去工程を示す概念図である。 本発明の実施の形態1に係る特定音源除去工程を示す図である。 本発明の実施の形態2に係るサーバーの制御構成図である。 本発明の実施の形態2に係る特定音源除去処理を示す図である。 本発明の実施の形態2に係る音源信号抽出工程を示す図である。 本発明の実施の形態2に係る特定音源除去工程を示す図である。 本発明の実施の形態2に係る音響信号のクロススペクトラム行列計算を示す図である。 実施例1〜4で行った実験条件を示す図である。 実施例1〜4で行った実験の模式図と実際の測定時の写真である。 実施例1の音源間の開き角が30度での解析結果の例を示す図である。 実施例1の音源間の開き角が60度での解析結果の例を示す図である。 実施例1の音源間の開き角が90度での解析結果の例を示す図である。 実施例1の音源間の開き角が180度での解析結果の例を示す図である。 実施例2の音源間の開き角が30度での解析結果の例を示す図である。 実施例2の音源間の開き角が60度での解析結果の例を示す図である。 実施例2の音源間の開き角が90度での解析結果の例を示す図である。 実施例2の音源間の開き角が180度での解析結果の例を示す図である。 実施例3の音源間の開き角が30度での解析結果の例を示す図である。 実施例3の音源間の開き角が60度での解析結果の例を示す図である。 実施例3の音源間の開き角が90度での解析結果の例を示す図である。 実施例3の音源間の開き角が180度での解析結果の例を示す図である。 実施例4の音源間の開き角が30度での解析結果の例を示す図である。 実施例4の音源間の開き角が60度での解析結果の例を示す図である。 実施例4の音源間の開き角が90度での解析結果の例を示す図である。 実施例4の音源間の開き角が180度での解析結果の例を示す図である。 実施例5の音源除去処理を行う前の車室内騒音の解析結果の例を示す図である。 実施例5のAピラー部分からの騒音寄与の解析結果の例を示す図である。 実施例5のAピラー部分からの騒音寄与を除去した解析結果の例を示す図である。 実施例6の音源除去処理を行う前の車室内騒音の解析結果の例を示す図である。 実施例6のユーザーが最適な位置に抽出ポイントを置いた場合の解析結果の例を示す図である。 実施例6のユーザーが最適でない位置に抽出ポイントを置いた場合の解析結果の例を示す図である。
符号の説明
5 ネットワーク
100、101 サーバー
110 入力部
120 記憶部
130 音響信号抽出部
140 仮想リファレンス作成部
150 制御部
160 出力部
170 音響信号のクロススペクトラム行列計算部
200−1〜200−n 音響センサー
X 音源表示システム

Claims (10)

  1. 音源分離及び表示方法であって、
    複数の音響センサーを用いて音響信号を測定する音響信号測定工程と、
    測定された音響信号から単一もしくは複数の音源を識別処理し、特定の到来方向もしくは特定の場所における音源信号を抽出する音源信号抽出工程と、
    該音源信号抽出工程で抽出した信号を仮想リファレンス信号とし、該仮想リファレンス信号に対して相関がある成分を測定された音響信号から分離することで特定の音源の影響を測定された音響信号から除去し、特定の音源の影響が除去分離された信号に対して再度単一もしくは複数の音源の識別処理を行い、音源の識別処理結果の中から特定の音源の影響のみを除去する特定音源除去工程とを備えて、
    分離された音源を表示できることを特徴とする音源分離及び表示方法。
  2. 前記音源信号抽出工程及び前記特定音源除去工程は、複数回行うことを特徴とする請求項1に記載の音源分離及び表示方法。
  3. 前記特定音源除去工程は、仮想リファレンス信号を作成するために特定の到来方向もしくは特定の音源の位置を推定して、複数の音源の影響の強さを算出することを特徴とする請求項1又は2に記載の音源分離及び表示方法。
  4. 前記特定音源除去工程は、音響信号のクロススペクトラム行列に対して、無相関な音源の数に関連する行列のランクを推定し、除去回数の上限を決定することを特徴とする請求項1乃至3の何れかに記載の音源分離及び表示方法。
  5. 音響センサーと同様に設置した受光素子で撮影した画像と合成して音源を可視化することを特徴とする請求項1乃至4の何れかに記載の音源分離及び表示方法。
  6. 音源分離及び表示システムであって、
    複数の音響センサーを用いて音響信号を測定する音響信号測定手段と、
    測定された音響信号から単一もしくは複数の音源を識別処理し、特定の到来方向もしくは特定の場所における音源信号を抽出する音源信号抽出手段と、
    該音源信号抽出手段で抽出した信号を仮想リファレンス信号とし、該仮想リファレンス信号に対して相関のある成分を測定された音響信号から分離することで特定の音源の影響を測定された音響信号から除去し、特定の音源の影響が除去分離された信号に対して再度単一もしくは複数の音源の識別処理を行い、音響の識別処理結果の中から特定の音源の影響のみを除去する特定音源除去手段と
    分離された音源を表示できることを特徴とする音源分離及び表示システム。
  7. 前記音源信号抽出手段及び前記特定音源除去手段は、複数回行われることを特徴とする請求項6に記載の音源分離及び表示システム。
  8. 前記特定音源除去手段は、仮想リファレンス信号を作成するために特定の音波の到来方向もしくは特定の音源の位置を推定して、複数の音源の影響の強さを算出する手段を特徴とする請求項6又は7に記載の音源分離及び表示システム。
  9. 前記特定音源除去手段は、音響信号のクロススペクトラム行列に対して、無相関な音源の数に関連する行列のランクを推定し、除去回数の上限を決定する手段を特徴とする請求項6乃至8の何れかに記載の音源分離及び表示システム。
  10. 音響センサーと同様に設置した受光素子で撮影した画像と合成して音源を可視化する手段を特徴とする請求項6乃至9の何れかに記載の音源分離及び表示システム。
JP2008298650A 2008-05-30 2008-11-21 音源分離及び表示方法並びにシステム Pending JP2010011433A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008298650A JP2010011433A (ja) 2008-05-30 2008-11-21 音源分離及び表示方法並びにシステム
PCT/JP2009/059885 WO2009145310A1 (ja) 2008-05-30 2009-05-29 音源分離及び表示方法並びにシステム
US12/993,440 US20110075860A1 (en) 2008-05-30 2009-05-29 Sound source separation and display method, and system thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008143079 2008-05-30
JP2008298650A JP2010011433A (ja) 2008-05-30 2008-11-21 音源分離及び表示方法並びにシステム

Publications (1)

Publication Number Publication Date
JP2010011433A true JP2010011433A (ja) 2010-01-14

Family

ID=41377179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008298650A Pending JP2010011433A (ja) 2008-05-30 2008-11-21 音源分離及び表示方法並びにシステム

Country Status (3)

Country Link
US (1) US20110075860A1 (ja)
JP (1) JP2010011433A (ja)
WO (1) WO2009145310A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011008704A1 (de) 2010-01-21 2011-09-01 Daido Tokushuko Kabushiki Kaisha Dünnfilm-Magnetsensor und Verfahren zu seiner Herstellung
WO2014013924A1 (ja) * 2012-07-19 2014-01-23 日東紡音響エンジニアリング株式会社 騒音識別装置及び騒音識別方法
JP2016057295A (ja) * 2014-09-04 2016-04-21 アイシン精機株式会社 サイレン信号源の検出、認識及び位置特定
JP2016532105A (ja) * 2013-07-22 2016-10-13 ブリュール アンド ケーア サウンド アンド バイブレーション メジャーメント アクティーゼルスカブ 広周波数帯域音響ホログラフィ
KR102438701B1 (ko) * 2021-04-12 2022-09-01 한국표준과학연구원 마이크로폰 어레이를 이용한 음성신호 제거방법 및 제거장치
KR20220139040A (ko) * 2021-04-07 2022-10-14 한국표준과학연구원 음원 분리 및 음향 시각화 방법 및 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830792B2 (en) * 2011-04-18 2014-09-09 Microsoft Corporation Mobile device localization using audio signals
CN104081334B (zh) * 2011-11-30 2018-10-26 诺基亚技术有限公司 用于音频反应ui信息的装置和方法以及显示器
DE102013000684B3 (de) * 2013-01-11 2014-01-23 Klippel Gmbh Anordnung und Verfahren zur holografischen Bestimmung des Direktschalles akustischer Quellen
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
KR20150024650A (ko) * 2013-08-27 2015-03-09 삼성전자주식회사 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법 및 장치
US9544687B2 (en) * 2014-01-09 2017-01-10 Qualcomm Technologies International, Ltd. Audio distortion compensation method and acoustic channel estimation method for use with same
EP2988302A1 (en) 2014-08-21 2016-02-24 Patents Factory Ltd. Sp. z o.o. System and method for separation of sound sources in a three-dimensional space
US9595251B2 (en) 2015-05-08 2017-03-14 Honda Motor Co., Ltd. Sound placement of comfort zones
CN109429147B (zh) * 2017-08-30 2021-01-05 美商富迪科技股份有限公司 电子装置与电子装置的控制方法
US11795032B2 (en) 2018-11-13 2023-10-24 Otis Elevator Company Monitoring system
CN113063490B (zh) * 2021-03-12 2022-03-01 北京科技大学 一种基于声压和质点振速双面测量的声场分离方法
CN113253197B (zh) * 2021-04-26 2023-02-07 西北工业大学 一种用于发动机及其部件噪声源指向性识别的方法
WO2023149499A1 (ja) * 2022-02-04 2023-08-10 日立建機株式会社 ノイズ算出装置及び音収集システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286562A (ja) * 2003-03-20 2004-10-14 East Japan Railway Co 移動体のノイズ測定装置、方法及びプログラム
JP2005077731A (ja) * 2003-08-29 2005-03-24 Univ Waseda 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2929525B2 (ja) * 1996-08-12 1999-08-03 西松建設株式会社 騒音・振動測定方法
EP1544635B1 (en) * 2002-08-30 2012-01-18 Nittobo Acoustic Engineering Co.,Ltd. Sound source search system
KR100511205B1 (ko) * 2003-01-14 2005-08-31 한국과학기술원 음향 홀로그래피를 이용한 개별 음원의 음장 분리 방법
US7636448B2 (en) * 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286562A (ja) * 2003-03-20 2004-10-14 East Japan Railway Co 移動体のノイズ測定装置、方法及びプログラム
JP2005077731A (ja) * 2003-08-29 2005-03-24 Univ Waseda 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011008704A1 (de) 2010-01-21 2011-09-01 Daido Tokushuko Kabushiki Kaisha Dünnfilm-Magnetsensor und Verfahren zu seiner Herstellung
US9392388B2 (en) 2012-07-19 2016-07-12 Nittobo Acoustic Engineering Co., Ltd. Noise identifying apparatus and noise identifying method using the same
JP2014020944A (ja) * 2012-07-19 2014-02-03 Nittobo Acoustic Engineering Co Ltd 騒音識別装置及び騒音識別方法
KR20150034720A (ko) * 2012-07-19 2015-04-03 닛토보 온쿄 엔지니어링 가부시키가이샤 소음 식별장치 및 소음 식별방법
GB2519267A (en) * 2012-07-19 2015-04-15 Nittobo Acoustic Engineering Co Ltd Noise identification device and noise identification method
WO2014013924A1 (ja) * 2012-07-19 2014-01-23 日東紡音響エンジニアリング株式会社 騒音識別装置及び騒音識別方法
KR102046204B1 (ko) * 2012-07-19 2019-11-18 니혼온쿄엔지니어링 가부시키가이샤 소음 식별장치 및 소음 식별방법
GB2519267B (en) * 2012-07-19 2020-02-12 Nittobo Acoustic Eng Co Ltd Noise identifying apparatus and noise identifying method using the same
JP2016532105A (ja) * 2013-07-22 2016-10-13 ブリュール アンド ケーア サウンド アンド バイブレーション メジャーメント アクティーゼルスカブ 広周波数帯域音響ホログラフィ
JP2016057295A (ja) * 2014-09-04 2016-04-21 アイシン精機株式会社 サイレン信号源の検出、認識及び位置特定
KR20220139040A (ko) * 2021-04-07 2022-10-14 한국표준과학연구원 음원 분리 및 음향 시각화 방법 및 시스템
KR102467948B1 (ko) * 2021-04-07 2022-11-18 한국표준과학연구원 음원 분리 및 음향 시각화 방법 및 시스템
KR102438701B1 (ko) * 2021-04-12 2022-09-01 한국표준과학연구원 마이크로폰 어레이를 이용한 음성신호 제거방법 및 제거장치

Also Published As

Publication number Publication date
US20110075860A1 (en) 2011-03-31
WO2009145310A1 (ja) 2009-12-03

Similar Documents

Publication Publication Date Title
WO2009145310A1 (ja) 音源分離及び表示方法並びにシステム
JP6061693B2 (ja) 異常診断装置およびこれを用いた異常診断方法
KR101282673B1 (ko) 음원 위치 추정 방법
Ginn et al. Noise source identification techniques: simple to advanced applications
US11385133B2 (en) Vibration and noise mapping system and method
EP3227704B1 (en) Method for tracking a target acoustic source
Vanwynsberghe et al. Design and implementation of a multi-octave-band audio camera for realtime diagnosis
JP2008236077A (ja) 目的音抽出装置,目的音抽出プログラム
Prezelj et al. A novel approach to localization of environmental noise sources: Sub-windowing for time domain beamforming
US11454694B2 (en) Wave source direction estimation apparatus, wave source direction estimation system, wave source direction estimation method, and wave source direction estimation program
JP4912612B2 (ja) 音響計測装置
Eret et al. Microphone arrays as a leakage detection tool in industrial compressed air systems
JP2015219138A (ja) 音源探査装置、音源探査方法、および音源探査プログラム
KR102316671B1 (ko) Cnn을 이용한 음향 처리방법
Fernandez Comesana et al. Measuring musical instruments directivity patterns with scanning techniques
Scharrer et al. Sound field classification in small microphone arrays using spatial coherences
JP2017207399A (ja) 音源探査装置及び音源探査方法
CN116309921A (zh) 基于cuda技术的延迟求和声成像并行加速方法
CN115278496A (zh) 用于麦克风阵列测量的稀疏声源辨识方法、系统
JP7184272B2 (ja) 収音データ表示システム、及び収音データ表示プログラム
RU2331893C1 (ru) Способ выделения дискретных составляющих в спектре сигнала и устройство для его осуществления
JP2023024023A (ja) 騒音源寄与解析装置、騒音源寄与解析方法、及び騒音源寄与解析プログラム
Bai et al. A two-stage noise source identification technique based on a farfield random parametric array
JP2011139409A (ja) 音響信号処理装置、音響信号処理方法、及びコンピュータプログラム
JP7026026B2 (ja) びりつき音源探査システムおよびくし型フィルタの設定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131001