JP5305743B2 - 音響処理装置及びその方法 - Google Patents

音響処理装置及びその方法 Download PDF

Info

Publication number
JP5305743B2
JP5305743B2 JP2008144215A JP2008144215A JP5305743B2 JP 5305743 B2 JP5305743 B2 JP 5305743B2 JP 2008144215 A JP2008144215 A JP 2008144215A JP 2008144215 A JP2008144215 A JP 2008144215A JP 5305743 B2 JP5305743 B2 JP 5305743B2
Authority
JP
Japan
Prior art keywords
sound
intensity
frequency component
output signal
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008144215A
Other languages
English (en)
Other versions
JP2009288215A (ja
Inventor
皇 天田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008144215A priority Critical patent/JP5305743B2/ja
Priority to US12/472,469 priority patent/US8120993B2/en
Publication of JP2009288215A publication Critical patent/JP2009288215A/ja
Application granted granted Critical
Publication of JP5305743B2 publication Critical patent/JP5305743B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/803Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • G01S3/8034Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics wherein the signals are derived simultaneously
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、ハンズフリー通話や音声認識等で用いられるアレー技術において、複数の受音装置の感度のバランスの変化に頑健な方向推定や音源分離を行うための音響処理装置及びその方法に関する。
近年、複数のマイクロホンを用いて、(1)特定の方向から到来する信号の強調、(2)到来方向が未知な場合にその方向を推定、(3)異なる方向から到来する複数の音源の分離を行うマイクロホンアレー技術の研究が盛んである。
この技術の第1の方法は、最も簡単なマイクロホンアレーの方法であって、遅延和アレーが挙げられる(非特許文献1参照)。この方法は、各マイクロホンの信号に所定の遅延を挿入し、加算処理を行うことで、事前に設定された方向から到来した信号のみが同位相で足し合わされ強調されるのに対し、その他の方向から到来した信号は位相が揃わず弱め合うという原理に基づき、特定の方向からの信号を強調、すなわち、その方向に指向性を形成している。
第2の方法としては、2つのマイクロホンから成るアレーに対して、左右いずれの方向に音源が存在するかを判定する場合や、左右の音が混合した信号からそれぞれの音を分離する場合に、2つのマイクロホンで受音した信号強度の比を指標として利用する方法がある。この方法は、音源の存在する側のマイクロホンの方が反対側のマイクロホンよりも大きな音を受音するという現象に基づいている。非特許文献2ではこの原理を利用した音源分離方法が紹介されている。
J.L. Flanagan, J.D.Johnston, R.Zahn and G.W.Elko,「Computer-steered microphone arrays for sound transduction in large rooms,」J.Acoust. Soc. Am., vol.78, no.5, pp.1508-1518, 1985 N.Roman, D.Wang, and G.Brown, 「Speech segregation based on sound localization,」 J.Acoust. Soc. Am., vol.114, no.4, pp.2236-2252, 2003
上記のような信号強度比に基づく方法は、左右のマイクロホン感度が同一であることが前提となっている。
しかし、実際にはマイクロホンの感度にはバラつきがあり、また経時変化も小さくはなく、常に同一感度を維持することは困難である。
そのため、パワー比の変動により音源方向推定や音源分離の性能が低下する問題点があった。
そこで、本発明では、マイクロホンなどの受音装置の感度にはバラつきがあり、また、経時変化があっても方向推定を行うことができる音響処理装置及びその方法を提供する。
本発明は、音源からの音を受音する複数の受音装置と、前記各受信装置の受音信号について、第1の方向に指向性を形成するフィルタ処理を行って第1の出力信号を求める第1ビームフォーマ部と、前記各受信装置の受音信号について、前記第1の方向とは異なる第2の方向に指向性を形成するフィルタ処理を行って第2の出力信号を求める第2ビームフォーマ部と、前記第1の出力信号の強度と前記第2の出力信号の強度とから強度比較情報を求める強度比較部と、前記強度比較情報に基づいて、前記音源の音源方向情報を推定する方向推定部と、前記各受信装置の受音信号のそれぞれについて、任意の周波数成分毎に分離する分離部と、を有し、前記第1ビームフォーマ部は、前記各受信装置の前記周波数成分毎の前記受音信号について前記第1の出力信号のそれぞれを求め、前記第2ビームフォーマ部は、前記各受信装置の前記周波数成分毎の受音信号について前記第2の出力信号のそれぞれを求め、前記強度比較部は、前記周波数成分毎の前記第1の出力信号の強度と前記周波数成分毎の前記第2の出力信号の強度とから、前記周波数成分毎の強度比較情報を求め、前記方向推定部は、前記周波数成分毎の前記強度比較情報に基づいて、前記周波数成分毎の前記音源方向情報を推定し、前記音源方向情報が、事前に設定された目的音源が存在する方向に近いほど値が大きくなる重み係数であり、前記重み係数に基づいて、前記周波数成分毎の前記受音信号を重み付け加算して、第3の出力信号を求める加算部をさらに有する、音響処理装置である。
本発明によれば、受音装置の感度にはバラつきがあり、また、経時変化があっても音源方向を推定できる。
以下、本発明の一実施形態の音響処理装置について図面に基づいて説明する。
(第1の実施形態)
第1の実施形態の音響処理装置について図1〜図3に基づいて説明する。
(1)音響処理装置の構成
図1は、本実施形態に係わる音響処理装置のブロック図を示す。
音響処理装置は、N個の受音装置101−1〜N、受音信号をフィルタ処理することで特定の方向から到来する信号をフィルタ処理によって強調出力する第1ビームフォーマ102−1及び第2ビームフォーマ102−2、その出力信号の強度であるパワーを算出する第1パワー算出部103−1及び第2パワー算出部103−2、その比を求めるパワー比算出部104で構成される。
第1ビームフォーマ102−1、第2ビームフォーマ102−2、第1パワー算出部103−1、第2パワー算出部103−2、パワー比算出部104は、コンピュータに記憶または伝送されたコンピュータ読み取り可能なプログラムによっても実施することが可能である。
(2)音響処理装置の動作原理
次に、音響処理装置の動作原理について順番に説明する。
受音装置101−1〜Nに入力された信号x1〜xNは、第1ビームフォーマ102−1と第2ビームフォーマ102−2に入力される。
ビームフォーマ102−1,102−2としては、遅延和アレー、または、Griffith-Jim 型アレーなど直接指向性を制御する方法がある。また、これ以外にもICA(Independent Component Analysis )のように信号の性質に基づき間接的に指向性を制御する方法などが利用可能である。
2つのビームフォーマ102−1,102−2は、事前に異なる方向に指向性を形成するように設計されている。すなわち、異なる方向を目的音方向(指向性を向ける方向)とするように事前に設計されている。図2に指向性の設定例を示す。
図2では、受音装置であるマイクロホンの数は2であり、2つのマイクロホン101−1,2を結ぶ直線上の合い反する方向をそれぞれ第1ビームフォーマ102−1の目的音方向と第2ビームフォーマ102−2の目的音方向を設定している。目的音方向はこれ以外でも互いに異なる方向であればいずれの方向でも構わない。
第1パワー算出部103−1、第2パワー算出部103−2では、2つのビームフォーマ102−1,102−2の出力のパワーをそれぞれ計算し、パワー比算出部104では2つのパワー比を算出し出力する。
従来は、信号の到来方向により生じるパワー比は音源方向推定や音源分離に用いられてきた。図2では音源Sから第1マイクロホン101−1までの距離r1の方が、第2マイクロホン101−1までの距離r2より短く、その結果、第1マイクロホン101−1の方に大きな音が受音される。したがって第1マイクロホン101−1と第2マイクロホン101−2でパワー比を観測することで、音源位置を知る手がかりを得ることができる。
しかしながら、実際のマイクロホンの感度にはバラつきがあり、また経時変化も小さくはなく、常に同一感度を維持することは困難である。そのためパワー比が音源位置の違いばかりではなくマイクロホン感度のアンバランスでも変化することになり、音源位置の推定制度を低下させる問題点があった。
本実施形態では、マイクロホン出力の比を直接とるのではなく、2つのビームフォーマ102−1,102−2の出力の比をとることで、マイクロホン感度のアンバランスに頑健なパワー比(ビームフォーマ出力パワー比)を得ることができ、音源方向や音源分離の性能をマイクロホン感度がアンバランスな状態でも維持することができる。
(3)実験
図3に、図2の状態で従来方法と本実施形態の音響処理装置を比較した実験結果を示す。
実験条件としては、第1マイクロホン101−1と第2マイクロホン101−2を用い、マイクロホン間隔をd=5cmに設定し、第1ビームフォーマ102−1を−90度方向(図2の上方向)、第2ビームフォーマ102−2を90度方向(図2の下方向)に目的音方向を設定し、1kHzの正弦波を発生する音源Sを第1マイクロホン101−1、第2マイクロホン101−2の中心から50cmの距離を保ちながら−90度から90度まで移動させた場合である。
(3−1)従来方法
まず、従来方法としては、第1マイクロホン101−1と第2マイクロホン101−2の出力パワーを用いる場合について図3(a)(b)に基づいて説明する。
第1マイクロホン101−1の出力パワー|X1|と第2マイクロホン101−2の出力パワー|X2|の比Rpowは、下記の式のようになる。
Figure 0005305743
但し、r1は第1マイクロホン101−1から音源Sまでの距離、r2は第2マイクロホン101−1から音源Sまでの距離、A1は第1マイクロホン101−1の感度、A2は第1マイクロホン101−1の感度である。
これにより、音源Sに近い側の第1マイクロホン101−1の出力の方が反対側よりも大きなパワーを持つことがわかる。なお、第1マイクロホン101−1の感度が正常な状態の出力パワーを実線、半分になった場合の出力パワーをの点線に示す。
一般的にマイクロホンの感度はばらつきや変動が大きく、1/2程度の感度の変化は珍しいことではない。
図3(b)はマイクロホン出力のパワー比を表している。実線が第1マイクロホン101−1の感度が正常な状態、点線は第1マイクロホン101−1の感度が半分になった場合である。
図3(a)(b)に示すように、マイクロホンの感度変化に対してパワー比の変動が大きく、パワー比から音源位置(方向)を推定することは難しい。
(3−2)本実施形態
次に、本実施形態の音響処理装置を用いた場合を図3(c)(d)に基づいて説明する。なお、ビームフォーマは遅延和方法を用いた。
図3(c)では2つのビームフォーマ(略して「BF」ともいう)の出力のパワーを示す。BFが−90度方向、BFが90度方向を目的音方向としている。
BFとBFの比RBFは、次のようになる。
Figure 0005305743
但し、ΔSは、音源位置による到達時間差、ΔAは、遅延和アレーによる遅延時間である。
図3(c)における実線は第1マイクロホン101−1の感度が正常な場合、点線は第1マイクロホン101−1の感度が半分になった場合を示す。
ここで注目すべきことは第1マイクロホン101−1の感度変化の影響が両方のビームフォーマに生じている点である。
その結果、図3(d)に示すビームフォーマ出力パワー比では、マイクロホン感度の変化が生じてもこれが相殺され、値がほぼ変らないパワー比(ビームフォーマ出力パワー比)が得られている。
(4)変更例1
上記の方法は、目的方向の異なる2つのビームフォーマの出力の強さが音源の位置により異なり、その違いがマイクロホン感度のアンバランスに頑健であることを利用している。したがって、強さの尺度としてビームフォーマの出力パワーの代りに、振幅を用いても同様の効果が得られる。
(5)変更例2
また、パワーや振幅はデシベルで表現など非線型なスケールを用いてもよい。
(6)変更例3
さらに、比ではなく差を用いても強度の違いを得ることができる。
(7)変更例4
本実施形態では2つのビームフォーマはそれぞれ90度、−90度方向を目的音方向としたが、必ずしもこの方向でなくても良い。
想定される音源位置が事前にある程度既知である場合、例えば自動車内など座席位置により話者の位置が制限されている場合、テレビ会議システムなどで、事前に別の方法で音源位置が測定されている場合などは、1つのビームフォーマがその方向に対して最大感度を、もう1つが最低感度を持つようにそれぞれ目的音方向を設定することで、話者の発話に対してビームフォーマ出力パワー比が最大値を持つように設計する方法なども考えられる。
また、実装上の理由、例えば時間領域での整数サンプル遅延に対応する角度が綺麗な角度に対応しない場合でも、その角度を用いても問題はない。
(8)変更例5
ビームフォーマ出力パワー比の計算のタイミングとしては次の方法がある。
第1は時間方向に離散化された信号のサンプル単位に行う方法、第2はこれを時間方向に平滑化して行う方法、第3は所定のサンプル数からなるフレーム内の平均値、中央値などの代表値を用いる方法である。
また、周波数領域で行う場合も、所定の分析窓を時々刻々ずらしながら得られる信号系列に対して、前記時間領域の場合と同様な方法が適用できる。
(第2の実施形態)
第2の実施形態の音響処理装置について図4に基づいて説明する。
(1)音響処理装置の構成
図4は、本実施形態に係わる音響処理装置のブロック図を示す。
本実施形態は、第1の実施形態の音響処理装置に加え、音源方向推定部105と方向情報辞書106を有している。
(2)音響処理装置の動作原理
次に、本実施形態の音響処理装置の動作原理について説明する。
パワー比算出部104の出力を得るまでは、第1の実施形態と同様のため説明を省略する。
音源方向推定部105では、パワー比算出部104で得られたビームフォーマ出力比と方向情報辞書106の情報に基づいて音源方向の推定を行う。
具体的には。方向情報辞書106には、例えば図3(d)の実線のような音源方向とビームフォーマ出力パワー比の対応表が格納されている。そして、音源方向推定部105では入力されたビームフォーマ出力パワー比を(図3(d)の縦軸に対応)を角度(同じく横軸)に変換し、これを音源方向として出力する。
(3)変更例
実際には厳密な角度情報まで必要ではなく、音源が右方向か左方向か程度の情報が必要な場合もある。その場合はビームフォーマ出力パワー比の正負を音源方向の左右に変換する情報を音源方向辞書106に格納しておけばよい。
このように、方向情報辞書106には、ビームフォーマ出力パワー比を音源方向に変換する情報を用途や必要な角度分解能に応じて格納しておいてもよい。
対応が解析的に表せる場合は対応表の代わりに数式を用いてもよい。
(4)効果
音源方向の推定方法の古典的な方法としてビームフォーマを−90度から90度まで目的方向を少しずつ変えながら出力を求め、その最大値を音源方向とする方法(ビームフォーマ法)がある。ビームフォーマ法の欠点は多数の目的方向に対してビームフォーマを適用するため計算量が多い点である。また、マイクロホン感度変化に対しては出力値が変化するため、事前に出力値を覚えておき計算を簡略化することも難しく、常に全方向に対する最大値探索が必要となる。
これに対し、本実施形態では、2方向のビームフォーマを適用するだけでよく計算量が少ない。また、ビームフォーマ出力の比(または差)を用いることでマイクロホン感度変化に対する出力値の変化を打ち消し、マイクロホン感度変化に頑健となりため、事前に求めた比のグラフを参照することで、音源位置をほぼ特定できる。
(第3の実施形態)
第3の実施形態の音響処理装置について図4に基づいて説明する。
(1)音響処理装置の構成
図5は、本実施形態に係わる音響処理装置のブロック図を示す。
本実施形態の音響処理装置は、受音装置101−1〜N、時間周波数変換部208、周波数選択部209、受音信号を周波数成分毎にフィルタ処理することで特定の方向から到来する信号を強調出力する第1ビームフォーマ202−1及び第2ビームフォーマ202−2、その出力信号のパワーを周波数成分毎に算出する第1パワー算出部203−1及び第2パワー算出部203−2、その比を周波数成分毎に求めるパワー比算出部204、方向情報辞書206を用いて音源方向を周波数成分毎に推定する音源方向推定部205、周波数成分毎の音源方向を1つの方向に統合する方向統合部207で構成される。
(2)音響処理装置の動作原理
次に、本実施形態の音響処理装置の動作原理について説明する。
動作の概要は第2の実施形態と同様であるが、本実施形態では信号を周波数単位に分割して処理している点が異なる。
(2−1)時間周波数変換部208
まず、時間周波数変換部208では、受音装置101−1〜Nで得た時間信号を離散フーリエ変換を用いて、それぞれ周波数領域の信号に変換する。窓長を2(L1−1)とすると通常L1個の周波数成分が得られる。
(2−2)周波数選択部209
次に、周波数選択部209では、以降の処理を適用する周波数成分を選択する。選択の基準としては音声信号のパワーの大きい周波数(例えば100Hz〜3kHz)を選ぶことで雑音の多い環境下で推定精度を上げることができる。
また、雑音の影響を受けやすい低域(例えば、100Hz以下)を削除することも推定精度向上に役立つ。
周波数成分の選択基準は目的とする信号から有効な成分を選ぶことであり、これ以外の選択方法も可能である。また、計算量削減等の理由で隣接する周波数成分を1つにまとめ、サブバンドとして処理することも可能である。
なお、全周波数成分を扱う場合は周波数成分選択部209は不要である。
(2−3)第1パワー算出部203−1、第2パワー算出部203−2
このようにして選ばれた各チャネルL2個ずつの周波数成分は、異なる方向に指向性を向けた第1ビームフォーマと第2ビームフォーマで周波数成分毎に処理され、各ビームフォーマから1チャネルの出力が周波数成分毎に出力され、第1パワー算出部203−1と第2パワー算出部203−2でそれぞれの周波数成分に関してパワーが算出され、パワー比算出部204に渡される。
ここでは、これまでの実施形態同様にパワー比が算出されるが、このときに隣接する周波数成分をまとめて平均値を求めてもよい。平均化を行うことでパワー比がより安定する。
(2−4)パワー比算出部204
パワー比算出部204からは、L3個の周波数成分のパワー比が出力される。平均化等の処理を行わない場合はL2=L3である。
(2−5)音源方向推定部205
音源方向推定部205では、それぞれの周波数成分に対して方向情報辞書に格納されているパワー比と音源方向の関係を用いて周波数成分毎に推定音源方向を出力する。
(2−6)方向統合部207
方向統合部207では、L3個の推定音源方向から所定数の音源方向を生成する。
その生成方法は、平均値や中央値や最頻値を用いるなどである。所定数が2以上の場合は得られた方向に対してクラスタリングを行い、方向を決定する場合もある。
また、周波数成分毎の方向で十分な場合は方向統合部207は不要である。例えば、周波数成分毎の推定音源方向にしたがって周波数成分を振り分けて複数話者の音声を分離する方法がその例である。
(第4の実施形態)
第4の実施形態の音響処理装置について図6に基づいて説明する。
(1)音響処理装置の構成
図6は、本実施形態に係わる音響処理装置のブロック図を示す。
本実施形態の音響処理装置は、受音装置101−1〜N、時間周波数変換部208、受音信号を周波数成分毎にフィルタ処理することで特定の方向から到来する信号を強調出力する第1ビームフォーマ02−1及び第2ビームフォーマ202−2、その出力信号のパワーを周波数成分毎に算出する第1パワー算出部203−1及び第2パワー算出部203−2、その比を周波数成分毎に求めるパワー比算出部204、パワー比に対応する重み係数を重み係数辞書303から選択する選択部304、各チャネルの周波数成分を重み付ける重み付け部305、加算部306、加算した出力を時間信号に戻す時間周波数逆変換部307とで構成される。
(2)音響処理装置の動作原理
次に、本実施形態の音響処理装置の動作原理について説明する。本実施形態は、ビームフォーマ出力パワー比を用いて特定方向の入力信号のみを強調出力するアレー処理を実現したものである。
時間周波数変換部208から出力される周波数成分からパワー比算出部204でビームフォーマ出力パワー比を求めるまでの手順は、第3の実施形態と同様である。
本実施形態では、ビームフォーマ出力パワー比を特徴量として選択部304で重み係数辞書303から重み係数を選択する。すなわち、重み係数辞書303は、前記特徴量と前記重み係数が対応して記憶されており、選択部304は特徴量に対応した重み係数を重み係数辞書303から選択する。そして、この重み係数は、音源が存在する方向に近いほど値が大きくなるような係数が設定されている。但し、この場合の音源が存在する方向とは、事前に設定された目的音源の方向を意味する。これにより、あらゆる音源を強調するのでなく、目的の音源のみを強調して、その方向を重みとして出力することができる。
重み係数は、重み付け部305でチャネル毎の周波数成分に乗じられ加算部306で足し合わされる。パワー比算出部304の出力は、周波数成分毎であるため、以降の処理も周波数成分単位で行われる。すなわち、k番目の周波数成分のパワー比がp(k)のとき、n番目の受音装置(チャネル番号n)のk番目の周波数成分に乗じる重み係数W(n,k)は、(1)式のようになる。

W(n,k)=F(n,k,p(k)) ・・・(1)

但し、F(n,k,p)はチャネル番号n、周波数成分kの重み係数辞書303から、特徴量(ここではビームフォーマ出力パワー比)がp(k)に対応する重み係数を選択する関数である。W(n,k)はチャネル番号nの重み付け部305−nにおいて入力信号X(n,k)に乗じられ、加算部306で加算され出力信号Y(k)を得る。これを下記の(2)式で表すと、
Figure 0005305743
となる。W(n,k)は、一般的には複素数である。Y(k)は時間周波数逆変換部307で時間信号に戻される。
重み係数辞書303は、特開2007−10897公報記載の方法で事前に求めておく。この特開2007−10897公報にも記載されているように特徴量はビームフォーマ出力パワー比以外のものとも組み合わせて多次元としてもよい。
また、第3の実施形態のように一部の周波数成分のみにビームフォーマ出力パワー比を用いてもよい。
また、重み付け加算は重みだけをフーリエ逆変換し時間信号と畳み込む表現も可能である。これは周波数領域での積が時間領域での畳み込みで表現されるという基本原理に基づくものである。
(変更例)
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
本発明の第1の実施形態に係わるブロック図である。 音源とマイクロホンの関係を示す図である。 ビームフォーマ出力パワー比の実験例である。 本発明の第2の実施形態に係わるブロック図である。 本発明の第3の実施形態に係わるブロック図である。 本発明の第4の実施形態に係わるブロック図である。
符号の説明
101−1〜N 受音装置
102−1 第1ビームフォーマ
102−2 第2ビームフォーマ
103−1 第1パワー算出部
103−2 第2パワー算出部
104 パワー比算出部

Claims (8)

  1. 音源からの音を受音する複数の受音装置と、
    前記各受信装置の受音信号について、第1の方向に指向性を形成するフィルタ処理を行って第1の出力信号を求める第1ビームフォーマ部と、
    前記各受信装置の受音信号について、前記第1の方向とは異なる第2の方向に指向性を形成するフィルタ処理を行って第2の出力信号を求める第2ビームフォーマ部と、
    前記第1の出力信号の強度と前記第2の出力信号の強度とから強度比較情報を求める強度比較部と、
    前記強度比較情報に基づいて、前記音源の音源方向情報を推定する方向推定部と
    前記各受信装置の受音信号のそれぞれについて、任意の周波数成分毎に分離する分離部と、
    を有し、
    前記第1ビームフォーマ部は、前記各受信装置の前記周波数成分毎の前記受音信号について前記第1の出力信号のそれぞれを求め、
    前記第2ビームフォーマ部は、前記各受信装置の前記周波数成分毎の受音信号について前記第2の出力信号のそれぞれを求め、
    前記強度比較部は、前記周波数成分毎の前記第1の出力信号の強度と前記周波数成分毎の前記第2の出力信号の強度とから、前記周波数成分毎の強度比較情報を求め、
    前記方向推定部は、前記周波数成分毎の前記強度比較情報に基づいて、前記周波数成分毎の前記音源方向情報を推定し、
    前記音源方向情報が、事前に設定された目的音源が存在する方向に近いほど値が大きくなる重み係数であり、
    前記重み係数に基づいて、前記周波数成分毎の前記受音信号を重み付け加算して、第3の出力信号を求める加算部をさらに有する、
    音響処理装置。
  2. 前記強度比較情報は、前記第1の出力信号と前記第2の出力信号の強度の比、または、差である、
    請求項1記載の音響処理装置。
  3. 前記方向推定部は、
    前記音源方向情報と前記強度比較情報との対応関係を予め記憶した記憶部を有し、
    前記求めた強度比較情報について前記記憶部に記憶した対応関係に基づいて前記音源方向情報を推定する、
    請求項1記載の音響処理装置。
  4. 前記方向推定部は、
    前記第1の出力信号の強度が、前記第2の出力信号の強度と比べて大きい場合は、前記第1の方向を前記音源方向を示す角度と推定し、
    前記第2の出力信号の強度が、前記第1の出力信号の強度と比べて大きい場合は、前記第2の方向を前記音源方向を示す角度と推定する、
    請求項2記載の音響処理装置。
  5. 前記分離した全ての周波数成分毎に、または、前記分離した周波数成分中の一部の周波数成分について、前記音源方向情報を推定する、
    請求項6記載の音響処理装置。
  6. 前記一部の周波数成分が、閾値より低域の周波数成分である、
    請求項7記載の音響処理装置。
  7. 音源からの音を受音する複数の受音装置の受音信号について、第1の方向に指向性を形成するフィルタ処理を行って第1の出力信号を求める第1ビームフォーマステップと、
    前記各受信装置の受音信号について、前記第1の方向とは異なる第2の方向に指向性を形成するフィルタ処理を行って第2の出力信号を求める第2ビームフォーマステップと、
    前記第1の出力信号の強度と前記第2の出力信号の強度とから強度比較情報を求める強度比較ステップと、
    前記強度比較情報に基づいて、前記音源の音源方向情報を推定する方向推定ステップと、
    前記各受信装置の受音信号のそれぞれについて、任意の周波数成分毎に分離する分離ステップと、
    を有し、
    前記第1ビームフォーマステップは、前記各受信装置の前記周波数成分毎の前記受音信号について前記第1の出力信号のそれぞれを求め、
    前記第2ビームフォーマステップは、前記各受信装置の前記周波数成分毎の受音信号について前記第2の出力信号のそれぞれを求め、
    前記強度比較ステップは、前記周波数成分毎の前記第1の出力信号の強度と前記周波数成分毎の前記第2の出力信号の強度とから、前記周波数成分毎の強度比較情報を求め、
    前記方向推定ステップは、前記周波数成分毎の前記強度比較情報に基づいて、前記周波数成分毎の前記音源方向情報を推定し、
    前記音源方向情報が、事前に設定された目的音源が存在する方向に近いほど値が大きくなる重み係数であり、
    前記重み係数に基づいて、前記周波数成分毎の前記受音信号を重み付け加算して、第3の出力信号を求める加算ステップをさらに有する、
    音響処理方法。
  8. 音源からの音を受音する複数の受音装置の受音信号について、第1の方向に指向性を形成するフィルタ処理を行って第1の出力信号を求める第1ビームフォーマ機能と、
    前記各受信装置の受音信号について、前記第1の方向とは異なる第2の方向に指向性を形成するフィルタ処理を行って第2の出力信号を求める第2ビームフォーマ機能と、
    前記第1の出力信号の強度と前記第2の出力信号の強度とから強度比較情報を求める強度比較機能と、
    前記強度比較情報に基づいて、前記音源の音源方向情報を推定する方向推定機能と、
    前記各受信装置の受音信号のそれぞれについて、任意の周波数成分毎に分離する分離機能と、
    を実現させ、
    前記第1ビームフォーマ機能は、前記各受信装置の前記周波数成分毎の前記受音信号について前記第1の出力信号のそれぞれを求め、
    前記第2ビームフォーマ機能は、前記各受信装置の前記周波数成分毎の受音信号について前記第2の出力信号のそれぞれを求め、
    前記強度比較機能は、前記周波数成分毎の前記第1の出力信号の強度と前記周波数成分毎の前記第2の出力信号の強度とから、前記周波数成分毎の強度比較情報を求め、
    前記方向推定機能は、前記周波数成分毎の前記強度比較情報に基づいて、前記周波数成分毎の前記音源方向情報を推定し、
    前記音源方向情報が、事前に設定された目的音源が存在する方向に近いほど値が大きくなる重み係数であり、
    前記重み係数に基づいて、前記周波数成分毎の前記受音信号を重み付け加算して、第3の出力信号を求める加算機能をさらに有する、
    をコンピュータにさせるための音響処理プログラム。
JP2008144215A 2008-06-02 2008-06-02 音響処理装置及びその方法 Expired - Fee Related JP5305743B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008144215A JP5305743B2 (ja) 2008-06-02 2008-06-02 音響処理装置及びその方法
US12/472,469 US8120993B2 (en) 2008-06-02 2009-05-27 Acoustic treatment apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008144215A JP5305743B2 (ja) 2008-06-02 2008-06-02 音響処理装置及びその方法

Publications (2)

Publication Number Publication Date
JP2009288215A JP2009288215A (ja) 2009-12-10
JP5305743B2 true JP5305743B2 (ja) 2013-10-02

Family

ID=41379638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008144215A Expired - Fee Related JP5305743B2 (ja) 2008-06-02 2008-06-02 音響処理装置及びその方法

Country Status (2)

Country Link
US (1) US8120993B2 (ja)
JP (1) JP5305743B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2581982C (en) 2004-09-27 2013-06-18 Nielsen Media Research, Inc. Methods and apparatus for using location information to manage spillover in an audience monitoring system
BR112012031656A2 (pt) * 2010-08-25 2016-11-08 Asahi Chemical Ind dispositivo, e método de separação de fontes sonoras, e, programa
CN102809742B (zh) 2011-06-01 2015-03-18 杜比实验室特许公司 声源定位设备和方法
US9632191B2 (en) * 2011-09-20 2017-04-25 Toyota Jidosha Kabushiki Kaisha Sound source detection device
JP5931661B2 (ja) * 2012-09-14 2016-06-08 本田技研工業株式会社 音源方向推定装置、音源方向推定方法、及び音源方向推定プログラム
US9021516B2 (en) 2013-03-01 2015-04-28 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by measuring a crest factor
US9118960B2 (en) 2013-03-08 2015-08-25 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by detecting signal distortion
US9191704B2 (en) 2013-03-14 2015-11-17 The Nielsen Company (Us), Llc Methods and systems for reducing crediting errors due to spillover using audio codes and/or signatures
US9197930B2 (en) * 2013-03-15 2015-11-24 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover in an audience monitoring system
EP3072315B1 (en) * 2013-11-22 2021-11-03 Apple Inc. Handsfree beam pattern configuration
JP2016049135A (ja) * 2014-08-28 2016-04-11 株式会社ユニバーサルエンターテインメント プレーヤトラッキング装置、ゲーミングマシン、および情報端末
US9945946B2 (en) * 2014-09-11 2018-04-17 Microsoft Technology Licensing, Llc Ultrasonic depth imaging
CN105590631B (zh) * 2014-11-14 2020-04-07 中兴通讯股份有限公司 信号处理的方法及装置
JP6515591B2 (ja) 2015-03-03 2019-05-22 富士ゼロックス株式会社 音声解析装置、音声解析システムおよびプログラム
US9924224B2 (en) 2015-04-03 2018-03-20 The Nielsen Company (Us), Llc Methods and apparatus to determine a state of a media presentation device
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
WO2017123814A1 (en) * 2016-01-14 2017-07-20 Knowles Electronics, Llc Systems and methods for assisting automatic speech recognition
JP6644959B1 (ja) * 2017-01-03 2020-02-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ビームフォーミングを使用するオーディオキャプチャ
CN111739553B (zh) * 2020-06-02 2024-04-05 深圳市未艾智能有限公司 会议声音采集、会议记录以及会议记录呈现方法和装置
WO2022102322A1 (ja) * 2020-11-11 2022-05-19 株式会社オーディオテクニカ 収音システム、収音方法及びプログラム
CN116490924A (zh) * 2020-11-11 2023-07-25 铁三角有限公司 声音采集系统、声音采集方法和程序
EP4152321A1 (en) * 2021-09-16 2023-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for narrowband direction-of-arrival estimation
CN114279557B (zh) * 2022-03-02 2022-05-17 山东卓朗检测股份有限公司 一种分布式声学检测设备及其检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05215833A (ja) * 1991-05-13 1993-08-27 Kyocera Corp 特定帯域音源の位置検知センサ
US5425000A (en) * 1993-12-16 1995-06-13 Hughes Aircraft Company Spatial rejection of direct blast interference in multistatic sonars
JPH07318631A (ja) * 1994-05-30 1995-12-08 Nec Eng Ltd 方位弁別システム
US5481505A (en) * 1995-05-15 1996-01-02 The United States Of America As Represented By The Secretary Of The Navy Tracking system and method
JP3522954B2 (ja) * 1996-03-15 2004-04-26 株式会社東芝 マイクロホンアレイ入力型音声認識装置及び方法
US6154552A (en) * 1997-05-15 2000-11-28 Planning Systems Inc. Hybrid adaptive beamformer
US5914912A (en) * 1997-11-28 1999-06-22 United States Of America Sonar array post processor
US6198693B1 (en) * 1998-04-13 2001-03-06 Andrea Electronics Corporation System and method for finding the direction of a wave source using an array of sensors
JP2002017720A (ja) * 2000-06-15 2002-01-22 Ge Medical Systems Global Technology Co Llc 信号処理方法および装置並びに画像撮影装置
US6424596B1 (en) * 2001-10-01 2002-07-23 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for reducing noise from near ocean surface sources
US8098844B2 (en) * 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
WO2007059255A1 (en) * 2005-11-17 2007-05-24 Mh Acoustics, Llc Dual-microphone spatial noise suppression
US7171008B2 (en) * 2002-02-05 2007-01-30 Mh Acoustics, Llc Reducing noise in audio systems
GB0324536D0 (en) * 2003-10-21 2003-11-26 Mitel Networks Corp Detecting acoustic echoes using microphone arrays
US7266044B2 (en) * 2004-12-17 2007-09-04 United States Of America Represented By The Secretary Of The Navy Method and apparatus for acoustic source tracking using a horizontal line array
EP1856948B1 (en) * 2005-03-09 2011-10-05 MH Acoustics, LLC Position-independent microphone system
JP5070873B2 (ja) * 2006-08-09 2012-11-14 富士通株式会社 音源方向推定装置、音源方向推定方法、及びコンピュータプログラム
JP4854533B2 (ja) * 2007-01-30 2012-01-18 富士通株式会社 音響判定方法、音響判定装置及びコンピュータプログラム

Also Published As

Publication number Publication date
US8120993B2 (en) 2012-02-21
JP2009288215A (ja) 2009-12-10
US20090296526A1 (en) 2009-12-03

Similar Documents

Publication Publication Date Title
JP5305743B2 (ja) 音響処理装置及びその方法
US10602267B2 (en) Sound signal processing apparatus and method for enhancing a sound signal
EP1983799B1 (en) Acoustic localization of a speaker
EP2146519B1 (en) Beamforming pre-processing for speaker localization
CN110085248B (zh) 个人通信中降噪和回波消除时的噪声估计
JP5197458B2 (ja) 受音信号処理装置、方法およびプログラム
KR101910679B1 (ko) 마이크로폰 어레이를 위한 잡음 적응형 빔 형성 기법
US8891785B2 (en) Processing signals
JP5007442B2 (ja) 発話改善のためにマイク間レベル差を用いるシステム及び方法
EP2063419B1 (en) Speaker localization
US9042573B2 (en) Processing signals
JP5543023B2 (ja) 目的音強調装置およびカーナビゲーションシステム
RU2760097C2 (ru) Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности
US9082411B2 (en) Method to reduce artifacts in algorithms with fast-varying gain
US20030097257A1 (en) Sound signal process method, sound signal processing apparatus and speech recognizer
KR20090037692A (ko) 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치
JP5772151B2 (ja) 音源分離装置、プログラム及び方法
JP2008236077A (ja) 目的音抽出装置,目的音抽出プログラム
JP6540730B2 (ja) 収音装置、プログラム及び方法、並びに、判定装置、プログラム及び方法
JP2007006253A (ja) 信号処理装置、マイクロフォンシステム、話者方向検出方法及び話者方向検出プログラム
KR20090037845A (ko) 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치
JP3154468B2 (ja) 受音方法及びその装置
JP5143802B2 (ja) 雑音除去装置、遠近判定装置と、各装置の方法と、装置プログラム
US11984132B2 (en) Noise suppression device, noise suppression method, and storage medium storing noise suppression program
JP5635024B2 (ja) 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R151 Written notification of patent or utility model registration

Ref document number: 5305743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371