JP2004078021A - 収音方法、収音装置、および収音プログラム - Google Patents
収音方法、収音装置、および収音プログラム Download PDFInfo
- Publication number
- JP2004078021A JP2004078021A JP2002240986A JP2002240986A JP2004078021A JP 2004078021 A JP2004078021 A JP 2004078021A JP 2002240986 A JP2002240986 A JP 2002240986A JP 2002240986 A JP2002240986 A JP 2002240986A JP 2004078021 A JP2004078021 A JP 2004078021A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- covariance
- sound source
- source position
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
【課題】受音位置、目的音源位置が未知であっても雑音の抑圧を可能とし、マイクロホンの自由な配置と、設置、移動を簡易にし、さらに雑音の移動等の環境変化に対する追従性能を高める。
【解決手段】有音・無音検出部１２はマイクロホン１１１〜１１Ｍで収音された受音信号から有音、無音を検出する。共分散行列計算部１３は受音信号からチャネル間の共分散行列を算出する。共分散行列記憶部１４は有音（無音）と判定された有音共分散（無音共分散）として記憶する。フィルタ計算部１５は記憶された有音共分散と無音共分散に基づき入力音声のパワーが最も大きいチャネルのフィルタ係数を計算する。マルチチャネルフィルタ部１６は前記フィルタ係数で前記チャネルの信号をフィルタリングする。
【選択図】 図１
【解決手段】有音・無音検出部１２はマイクロホン１１１〜１１Ｍで収音された受音信号から有音、無音を検出する。共分散行列計算部１３は受音信号からチャネル間の共分散行列を算出する。共分散行列記憶部１４は有音（無音）と判定された有音共分散（無音共分散）として記憶する。フィルタ計算部１５は記憶された有音共分散と無音共分散に基づき入力音声のパワーが最も大きいチャネルのフィルタ係数を計算する。マルチチャネルフィルタ部１６は前記フィルタ係数で前記チャネルの信号をフィルタリングする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は収音方法、装置、および収音プログラムに関する。
【０００２】
【従来の技術】
図９は特開２００２―６２８９５号公報に開示された従来例の収音装置のブロック図である。この収音装置はマイクロホン１１１〜１１Ｍと、有音・無音検出部１２と、マルチチャネルフィルタ部１６と、目的音源位置・受音位置設定部７１と、仮想目的音生成部７２と、フィルタ学習部７３を有している。マルチチャネルフィルタ部１６はフィルタ１６１〜１６Ｍと加算器１６２で構成される。
【０００３】
目的音源位置・受音位置設定部７１は目的音源位置と受音位置を設定する。仮想目的音生成部７２は、目的音源位置・受音位置設定部７１で設定された目的音源位置と受音位置から、目的音源位置からマイクロホンに到達した信号を仮想的に生成する。これは、目的音源位置と各受音位置間の遅延時間差を求め、白色雑音等の信号源にこの遅延を各々与えることにより生成できる。また、これと同時に、最適出力信号として、前記白色雑音等の信号源を一定時間遅延させただけの信号も生成する。次に、有音・無音区間検出部１２は、マイクロホン１１１〜１１Ｍで受音された信号より雑音のみが存在する無音区間を検出する。この検出があった期間のみ、フィルタ学習部７３は動作をする。フィルタ学習部７３は、マイクロホン１１１〜１１Ｍで受音された雑音信号の各々と、仮想目的音生成部７２で仮想的に生成された目的音がマイクロホンに到達した信号を各々加算し、これをマルチチャネルフィルタでフィルタリングした信号を求める。この信号が、仮想目的音生成部７２で生成された最適出力信号と等しくなるようにＮＬＭＳアルゴリズム等の適応アルゴリズムでマルチチャネルフィルタの係数を更新し、最適なフィルタ係数を求める。このフィルタ係数は、マルチチャネルフィルタ部１６にコピーされる。マルチチャネルフィルタ部１６は、マイクロホン１１１〜１１Ｍで受信された信号をフィルタ１６１１〜１６１Ｍでフィルタリングし、加算器１６２で加算した出力信号を出力する。
【０００４】
このように従来技術の収音方法では、あらかじめマイクロホン位置を計測しておく必要があり、目的音源位置もあらかじめ設定しておくことが必要である。また、フィルタを学習することが必要で、その収束も遅い。
【０００５】
次に、これから数式で使用する記号を定義する。サンプリング周期により離散化された時刻をｎとし、時刻ｎにｉ番目マイクロホン１１ｉで収音された信号をｘｉ（ｎ）とし、Ｌサンプル分を取り出して行列で表したものを
【０００６】
【外１】
【０００７】
とする。仮想目的音生成部７２で生成されるｉ番目のチャネルの仮想目的音受音信号をｕｉ（ｎ）として、Ｌサンプル分を取り出して行列で表したものを
【０００８】
【外２】
【０００９】
とする。また、仮想目的音生成部７２で生成される最適出力信号をν（ｎ−τ０）とする。マルチチャネルフィルタ部１６およびフィルタ学習部７３内のマルチチャネルフィルタの係数行列
【００１０】
【外３】
【００１１】
で表す。ただし、ｈｉ（ｎ−ｌ−１）は、時刻ｎにおけるｉ番目のマイクロホンに対するフィルタのｌタップ目のフィルタ係数を表す。フィルタ学習部７３内のマルチチャネルフィルタの出力信号をｙ（ｎ）と表し、これから、最適出力信号ν（ｎ−τ０）を減算したものをｅ（ｎ）と表す。
【００１２】
次に、マルチチャネルフィルタの収束解および修正式の導出を行う。
【００１３】
まず、ｅ（ｎ）の二乗平均を求める。この二乗平均誤差が小さくなれば、マイクロホンで受音した雑音成分のパワーが小さくなり、最適出力信号ν（ｎ−τ０）に近くなるので、この二乗平均誤差を最小とするフィルタが最適なフィルタとなる。
【００１４】
【数１】
【００１５】
雑音と仮想目的音は無相関であるので、式（１）は式（２）のように変形できる。
【００１６】
【数２】
【００１７】
適応フィルタ
【００１８】
【外４】
【００１９】
をＬタップのＦＩＲフィルタとして、式（２）をベクトル表記すれば、式（３）のようになる。
【００２０】
【数３】
【００２１】
ただし、仮想目的信号ｖ（ｎ）は、平均パワー
【００２２】
【外５】
【００２３】
の定常的な信号であるとし、また、
【００２４】
【外６】
【００２５】
である。
【００２６】
式（３）を最小化するフィルタが最適なフィルタであるので、式（３）を
【００２７】
【外７】
【００２８】
で偏微分し、０とおいて、極小点を求める。
【００２９】
【数４】
【００３０】
式（４）を
【００３１】
【外８】
【００３２】
について解けば、式（３）を最小化する最適フィルタ
【００３３】
【外９】
【００３４】
が求められる。
【００３５】
【数５】
【００３６】
式（５）の最適フィルタを求める方法として、ＬＭＳアルゴリズム、ＮＬＭＳアルゴリズム、射影アルゴリズムなどの適応アルゴリズムがある。今回はＮＬＭＳ法を例にとって修正式を示す。修正式は式（６）で表される。
【００３７】
【数６】
【００３８】
ただし、
【００３９】
【外１０】
【００４０】
は式（７）で表される。
【００４１】
【数７】
【００４２】
ただし、αは更新係数で０〜１の値を取る。
【００４３】
ここまでで、式（６）の修正式を用いて、式（５）の最適フィルタを求められることを示した。
【００４４】
次に、以上説明した従来装置の収束特性を図１０に示す。この図より、従来技術では、非常に収束が遅く最適フィルタまで収束していないことがわかる。この原因は、信号間の相関が高いためであり、特に低周波成分の収束が遅い。このため、従来技術では、環境の変化に対する追従性能が低く。十分な性能が得られない。
【００４５】
以上、従来技術では、受音位置、目的音源位置をあらかじめ設定しなくてはならず、マイクロホンの自由な配置や移動ができなく、またフィルタの学習にも時間がかかるので、雑音の移動等の環境の変化に対して追従性能が劣るという問題がある。
【００４６】
【発明が解決しようとする課題】
雑音を抑圧し、目的音をクリアに収音したい場合に、従来技術の収音方法では、あらかじめ受音位置を計測しておき、さらに目的音源位置もあらかじめ決めておかなくてはならず、マイクロホンの自由な配置、移動ができないという問題がある。また、従来技術の収音方法では、フィルタの学習に時間がかかるため、雑音の移動などの環境の変化に対する追従性能が低く、十分な性能が得られないという問題がある。
【００４７】
本発明の目的は、受音位置、目的音源位置が未知であっても雑音の抑圧を可能とし、マイクロホンの自由な配置と、設置、移動を簡易にし、さらに雑音の移動等の環境変化に対する追従性能を高める収音方法、装置、およびプログラムを提供することにある。
【００４８】
【課題を解決するための手段】
本発明の収音方法は、
複数の収音手段の各々で受音された受音信号から有音、無音を検出する有音・無音検出段階と、
収音手段の各々で受音された受音信号からチャネル間の共分散を算出する共分散計算段階と、
有音と判定された場合の共分散を有音共分散として、無音と判定された場合の共分散を無音共分散として記憶手段に逐次記憶する共分散記憶段階と、
記憶された有音共分散と無音共分散に基づき、入力音声のパワーが最も大きいチャネルのフィルタ係数を算出するフィルタ計算段階と、
前記フィルタ係数で、チャネル信号をフィルタリングするフィルタリング段階とを有する。
【００４９】
本発明は、有音・無音判定を行い、有音時のチャネル間（入力信号）の共分散と無音時のチャネル間（入力信号の）共分散に基づきチャネルごとのフィルタを算出し、このフィルタにより各チャネル入力信号をフィルタリングすることにより、雑音を抑圧した目的音を得るものである。
【００５０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００５１】
第１の実施形態
図１は本発明の第１の実施形態の収音装置のブロック図である。
【００５２】
本実施形態の収音装置はマイクロホン１１１〜１１Ｍと有音・無音検出部１２と共分散行列計算部１３と共分散行列記憶部１４とフィルタ計算部１５とマルチチャネルフィルタ部１６とにより構成される。
【００５３】
本実施形態は、位置がわからない目的音源から発せられた音を、位置がわからない複数のマイクロホンにより受音し、その信号から目的音を収音し、雑音を抑圧するフィルタ係数を求め、受音信号をフィルタリングすることにより雑音を抑圧した目的音を得るものである。
【００５４】
まず、有音・無音検出部１２は、マイクロホン１１１〜１１Ｍで収音された受音信号のパワーから有音区間、無音区間を検出する。例えば、それぞれの受音信号について、短時間平均パワー（０．１〜１ｓ程度）と長時間平均パワー（１ｓ〜１００ｓ程度）を求め、短時間平均パワーと長時間平均パワーの比が有音の閾値を超える場合に有音と判定し、無音の閾値未満の場合に無音と判定し、その判定結果が、すべての受音信号について有音であった場合を有音と判定し、すべて無音であった場合を無音と判定する。
【００５５】
次に、共分散行列計算部１３は、マイクロホン１１１〜１１Ｍで受音された受音信号のチャネル間共分散を求め、それを行列にする。有音・無音検出部１２で有音であった場合を目的音共分散行列
【００５６】
【外１１】
【００５７】
とし、無音であった場合を雑音共分散行列
【００５８】
【外１２】
【００５９】
とする。以下にその行列の求め方を示す。
【００６０】
まず、ｉ番目マイクロホンで受音された信号をｘｉ（ｔ）とし、それを周波数領域に変換したものをｘｉ（ω）とし、ｉ番目のマイクロホンで受音された信号とｊ番目のマイクロホンで受音された信号の共分散Ｒｉｊ（ω）を求めれば、式（８）となる。
【００６１】
【数８】
【００６２】
次に、共分散行列
【００６３】
【外１３】
【００６４】
は、式（９）で表される。
【００６５】
【数９】
【００６６】
有音・無音検出部１２で有音であった場合に、式（９）の共分散行列
【００６７】
【外１４】
【００６８】
を目的音共分散行列
【００６９】
【外１５】
【００７０】
とし、無音であった場合に雑音共分散行列
【００７１】
【外１６】
【００７２】
とする。
【００７３】
次に、共分散行列記憶部１４は、目的音共分散行列
【００７４】
【外１７】
【００７５】
と雑音共分散行列
【００７６】
【外１８】
【００７７】
を記憶する。
【００７８】
次に、フィルタ計算部１５は、目的音を収音し、雑音を抑圧するフィルタを計算する。まず、マルチチャネルフィルタ部１６のｉ番目のチャネルのフィルタ１６１ｉを周波数領域に変換したものをＨｉ（ω）とし、それを行列にしたものを式（１０）に示す
【００７９】
【外１９】
【００８０】
とする。
【００８１】
【数１０】
【００８２】
また、マイクロホンで受音された信号を周波数変換したものを行列にしたのを式（１１）に示す
【００８３】
【外２０】
【００８４】
とする。
【００８５】
【数１１】
【００８６】
有音・無音検出部１２で有音であった場合に、式（９）の行列を目的音行列
【００８７】
【外２１】
【００８８】
とし、無音であった場合に雑音行列
【００８９】
【外２２】
【００９０】
とする。
【００９１】
最適なフィルタは、目的音行列
【００９２】
【外２３】
【００９３】
と雑音行列
【００９４】
【外２４】
【００９５】
をフィルタ
【００９６】
【外２５】
【００９７】
でフィルタリングした信号が所望の信号となっていればよい。所望の信号を、最も目的音が大きなパワーで入力されているマイクロホンで受音した目的音信号ＸＳｍａｘ（ω）とすれば、最適なフィルタは式（１２）の関係となる。
【００９８】
【数１２】
【００９９】
次に、式（１１）を最小二乗解でフィルタ
【０１００】
【外２６】
【０１０１】
について解けば、式（１３）となる。
【０１０２】
【数１３】
【０１０３】
ただし、
【０１０４】
【外２７】
【０１０５】
は、最も目的音が大きなパワーで入力されているマイクロホンを選択するための行列であり、
【０１０６】
【外２８】
【０１０７】
の対角成分のパワーが最大である行だけが１であり、それ以外はすべて０である。Ｍ行１列の行列である。これは式（１４）で表される。
【０１０８】
【数１４】
【０１０９】
ｃは雑音の抑圧量と、目的音の劣化量を調整する定数であり、これを大きくすれば、雑音の消去量が大きくなり、小さくすれば目的音の劣化量が小さくなる。
【０１１０】
ここまでで式（１３）により、雑音を抑圧する最適なフィルタを求める式を導出した。また、式（１３）は、共分散行列記憶部１４で記憶されている目的音共分散行列
【０１１１】
【外２９】
【０１１２】
と雑音共分散行列
【０１１３】
【外３０】
【０１１４】
のみから求めることができる。
【０１１５】
式（１３）により求められた最適なフィルタは、マルチチャネルフィルタ部１６にコピーされ、マイクロホンの受音信号をフィルタリングすることで、雑音を抑圧した目的音を得ることができる。
【０１１６】
次に、本実施形態の有効性を示すために、図２にシミュレーション結果を示す。マイクロホン、目的音源、雑音源の配置は図３に示すとおりであり、部屋の残響は４００ｍｓである。このときの目的音源、雑音源からの周波数応答（残響を含む）を図２に示す。この図より雑音は約１５ｄＢ低減していることがわり、本実施形態が有効であることが確認できる。
【０１１７】
以上説明したように、本実施形態では、目的音源位置、マイクロホン位置がわからなくても、雑音を抑圧した目的音を得ることができる。さらに、式（１３）により直接フィルタを求めることができ、学習の必要がないので、雑音の移動や、目的音の移動等の環境の変動に対して、瞬時に追従することができる。
【０１１８】
第２の実施形態
図４は本発明の第２の実施形態の収音装置のブロック図である。
【０１１９】
第２の実施形態は、図１の第１の実施形態に受音位置設定部２１と音源位置検出部２２と音源位置記憶部２３と収音位置設定部２４とを追加した例である。
【０１２０】
受音位置設定部２１は、あらかじめ計測したマイクロホン１１１〜１１Ｍの位置を記憶する。音源位置推定部２２は、有音・無音検出部１２で有音と検出された場合にマイクロホン１１１〜１１Ｍで受音された信号と、受音位置設定部２１で記憶されているマイクロホンの位置とから音源位置を検出する。検出された音源位置は音源位置記憶部２３に記憶される。共分散計算部１３は、マイクロホン１１１〜１１Ｍで受音された受音信号の共分散を求め、それを行列にする。有音・無音検出部１２で有音であった場合を、ｋ番目音源の共分散行列
【０１２１】
【外３１】
【０１２２】
とし、無音であった場合を雑音共分散行列
【０１２３】
【外３２】
【０１２４】
とする。共分散行列記憶部１４は、音源の共分散行列
【０１２５】
【外３３】
【０１２６】
と雑音共分散行列
【０１２７】
【外３４】
【０１２８】
を記憶する。次に、収音位置設定部２４は、音源位置記憶部２３に記憶されている音源位置に、収音したい音源位置と収音したくない音源位置を設定する。設定の方法は、例えば検出された複数の音源位置を画面に表示し、その中から収音したい音源位置と、収音したくない音源位置をユーザが設定するという方法や、あらかじめ収音したい範囲と収音したくない範囲を決めておき、それで判定する方法などがある。次に、フィルタ計算部１５は、収音したい音源位置の音を収音し、収音したくない音源位置の音および雑音を抑圧するフィルタを計算する。計算されたフィルタはマルチチャネルフィルタ部１６にコピーされ、出力信号が求められる。
【０１２９】
以下、本実施形態を詳細に説明する。
【０１３０】
まず、音源位置推定部２２（特願２００２―２２３９２３に記載）は、例えば以下の方法で実現される。
【０１３１】
Ｍ個のマイクロホンがあると想定し、ｉ番目のマイクロホンとｊ番目のマイクロホンで受音された信号より求められる受音信号間遅延時間差をτｉｊとする。受音信号間遅延時間差は、信号間の相互相関を求め、その最大ピーク位置から求めることができる。次に、ｍ番目の受音位置
【０１３２】
【外３５】
【０１３３】
、ｎ推定音源位置を
【０１３４】
【外３６】
【０１３５】
と表す。これらの位置から求められる推定受音信号間遅延時間差
【０１３６】
【外３７】
【０１３７】
は式（１５）で表される。
【０１３８】
【数１５】
【０１３９】
ただし、ｃは音速である。
【０１４０】
次に、受音信号間遅延時間差
【０１４１】
【外３８】
【０１４２】
に音速ｃを乗じ、距離に換算したものを、それぞれ受音位置間距離差
【０１４３】
【外３９】
【０１４４】
とし、測定値
【０１４５】
【外４０】
【０１４６】
の二乗平均誤差
【０１４７】
【外４１】
【０１４８】
を求めれば、式（１６）となる。
【０１４９】
【数１６】
【０１５０】
式（１６）の二乗平均誤差
【０１５１】
【外４２】
【０１５２】
を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定音源位置を求めることができる。ただし、式（１６）は非線形連立方程式となっており、解析的に解くことは困難であり、ここでは、逐次修正を用いた数値解析により求めることとする。
【０１５３】
式（１６）を最小化する推定音源位置
【０１５４】
【外４３】
【０１５５】
を求めるには、ある点における勾配を求め、誤差が小さくなる方向に推定音源位置を修正していき、勾配が０となる点を求めればよいので、修正式は式（１７）のようになる。
【０１５６】
【数１７】
【０１５７】
ただし、αは修正のステップサイズ、
【０１５８】
【外４４】
【０１５９】
は、ｕ回修正後の
【０１６０】
【外４５】
【０１６１】
を表し、ｇｒａｄは勾配を表し、式（１８）〜式（２２）で表される。
【０１６２】
【数１８】
【０１６３】
以上、式（１７）を繰り返し計算することで、誤差が最小となる推定音源位置を求めることができる。
【０１６４】
次に、フィルタ係数計算部１５について説明する。
【０１６５】
まず、共分散行列の求め方については、第１の実施形態と同様であるので説明を省略する。
【０１６６】
まず、共分散行列記憶部１４で記憶されている音源に対する共分散行列を
【０１６７】
【外４６】
【０１６８】
とし、雑音共分散行列を
【０１６９】
【外４７】
【０１７０】
とする。音源に対する共分散行列
【０１７１】
【外４８】
【０１７２】
のうち、収音したい音源に対する共分散行列を
【０１７３】
【外４９】
【０１７４】
とし、収音したくない音源痛いする共分散行列を
【０１７５】
【外５０】
【０１７６】
とする。
【０１７７】
次に、第１の実施形態と同様にしてフィルタ
【０１７８】
【外５１】
【０１７９】
の最適解を求めれば、式（２３）となる。
【０１８０】
【数１９】
【０１８１】
ただし、
【０１８２】
【外５２】
【０１８３】
は、最もその音源に近いマイクロホンを選択するための行列であり、音源位置記憶部２３で記憶されている音源位置と、受音位置設定部２１の受音位置から、マイクロホンと音源間の距離を計算し、その音源に最も近いマイクロホンの行だけが１であり、それ以外はすべて０であるＭ行１列の行列である。これは、式（２４）で表される。
【０１８４】
【数２０】
【０１８５】
ａｍ、ｂｎ、ｃは、それぞれ収音したい音源の劣化量、収音したくない音の抑圧量、雑音の抑圧量を調整する定数であり、ａｍを大きくすれば、収音したい音源の劣化量が減少し、ｂｎを大きくすれば、収音したくない音源の抑圧量が増加し、ｃを大きくすれば雑音の抑圧量が増加する。
【０１８６】
ここまでで、雑音を抑圧する最適なフィルタを求める式を導出した。
【０１８７】
以上説明したように、本実施形態では、マイクロホン位置が既知であれば、任意の音源と雑音を抑圧し、収音したい目的音だけを収音することができる。さらに、式（２３）により直接フィルタを求めることができ、学習の必要がないので、雑音の移動や、目的音の移動等の環境の変動に対して、瞬時に追従することができる。
【０１８８】
これら以外の部分に関しては、第１の実施形態と同じであるので、説明を省略する。
【０１８９】
第３の実施形態
図５は本発明の第３の実施形態の収音装置のブロック図である。第３の実施形態は、第１の実施形態に音源位置・受音位置検出部３１と音源位置・受音位置記憶部３２と収音位置設定部２４とを追加した例である。
【０１９０】
音源位置・受音位置検出部３１（特願２００２―２２３９２３に記載）はマイクロホン１１１〜１１Ｍで受音された信号から音源位置・受音位置を検出する。音源位置、受音位置記憶部３２は、音源位置・受音位置検出部３１で検出された音源位置・受音位置を記憶する。収音位置設定部２４は、音源位置・受音位置記憶部３２に記憶されている音源位置に、収音したい音源位置と収音したくない音源位置を設定する。設定の方法は、例えば、検出された複数の音源位置を画面に表示し、その中から収音したい音源位置と、収音したくない音源位置をユーザーが設定するという方法や、あらかじめ収音したい範囲と収音したくない範囲を決めておき、それで判定する方法などがある。次に、フィルタ計算部１５では、収音したい音源位置の音を収音し、収音したくない音源位置の音および雑音を抑圧するフィルタを計算する。計算の方法は第２の実施形態と同じであるので省略する。計算されたフィルタはマルチチャネルフィルタ部１６にコピーされ、出力信号が求められる。
【０１９１】
以下に音源位置・受音位置検出の方法の例を示す。
【０１９２】
Ｍ個のマイクロホンとＮ個の音源があると想定し、ｋ番目音源から音が発せられている場合に、ｉ番目のマイクロホンとｊ番目のマイクロホンで受音された信号より求められる受音信号間遅延時間差をτｉｊｋとする。次に、ｍ番目の推定受音位置を
【０１９３】
【外５３】
【０１９４】
、ｎ番目の推定音源位置を
【０１９５】
【外５４】
【０１９６】
と表す。ただし、受音位置および音源位置のすべてが未知であるので、位置を推定する前に、座標の基準位置を設ける必要がある。ここでは、１番目受音位置を原点として、２番目受音位置と３番目受音位置とを通る平面をｘ−ｙ平面として座標を定義する。このようにすれば、
【０１９７】
【外５５】
【０１９８】
となり、これらは定数となる。
【０１９９】
これらの位置から求められる推定受音信号間遅延時間差
【０２００】
【外５６】
【０２０１】
は、式（２５）で表される。
【０２０２】
【数２１】
【０２０３】
ただし、ｃは音速である。
【０２０４】
次に、受音信号間遅延時間差
【０２０５】
【外５７】
【０２０６】
に音速ｃを乗じ、距離に換算したものを、それぞれ受音位置間距離差
【０２０７】
【外５８】
【０２０８】
とし、測定値
【０２０９】
【外５９】
【０２１０】
の二乗平均誤差
【０２１１】
【外６０】
【０２１２】
を求めれば、式（２６）となる。
【０２１３】
【数２２】
【０２１４】
式（２６）の二乗平均誤差
【０２１５】
【外６１】
【０２１６】
を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定受音位置、推定音源位置を求めることができる。ただし、式（２６）は非線形連立方程式となっており、解析的に解くことは困難であり、ここでは、逐次修正を用いた数値解析により求めることとする。式（２６）を最小化する推定受音位置
【０２１７】
【外６２】
【０２１８】
と、推定音源位置
【０２１９】
【外６３】
【０２２０】
を求めるには、ある点における勾配を求め、誤差が小さくなる方向に推定受音位置と推定音源位置を修正していき、勾配が０になる点を求めればよいので、修正式は式（２７）のようになる。
【０２２１】
【数２３】
【０２２２】
ただし、αは修正のステップサイズ
【０２２３】
【外６４】
【０２２４】
は、ｕ回修正後の
【０２２５】
【外６５】
【０２２６】
を表し、ｇｒａｄは勾配を表し、式（２８）〜（３５）で表される。
【０２２７】
【数２４】
【０２２８】
初期位置を設定し、式（２７）の修正式を用いて繰り返し計算することにより、推定受音位置、推定音源位置を求めることができる。
【０２２９】
以上説明したように、本実施形態では、音源位置、受音位置が未知であっても、任意の音源と雑音を抑圧し、収音したい目的音だけを収音することができる。さらに、学習をせずに直接フィルタを求めることができるので、雑音の移動や、目的音の移動等の環境の変動に対して、瞬時に追従することができる。
【０２３０】
これら以外の部分に関しては、第１の実施形態または第２の実施形態と同じであるので、説明を省略する。
【０２３１】
第４の実施形態
図６は本発明の第４の実施形態の収音装置のブロック図である。第４の実施形態は、第１から第３の実施形態において、共分散行列計算部１３をＦＦＴ部１３１１〜１３１Ｍとスペクトル乗算部１３２とにより実現する例である。
【０２３２】
ＦＦＴ部１３１１〜１３１Ｍは、マイクロホン１１１〜１１Ｍにより受音された 信号を各々周波数領域に変換する。スペクトル乗算部１３２は、周波数領域に変換された受音信号をチャネル間で乗算し、共分散行列を求める。
【０２３３】
共分散行列は式（３６）、式（３７）により表される。
【０２３４】
【数２５】
【０２３５】
ただし、Ｘｉ（ω）は、ｉ番目のマイクロホンで受音された信号を周波数領域に変換したものであり、Ｒｉｊ（ω）はｉ番目のマイクロホンで受音された信号とｊ番目マイクロホンで受音された信号の共分散であり、＊は共役を表す。
【０２３６】
以上により、共分散行列を求めることができる。
【０２３７】
これら以外の部分に関しては、第１から第３の実施形態と同じであるので、説明を省略する。
【０２３８】
第５の実施形態
図７は本発明の第５の実施形態の収音装置のブロック図である。第５の実施形態は、第１から第３の実施形態において、共分散行列計算部１３をＦＦＴ部１３１１〜１３１Ｍとスペクトル乗算部１３２と白色化部１３３とにより実現する例である。
【０２３９】
ＦＦＴ部１３１１〜１３１Ｍは、マイクロホン１１１〜１１Ｍにより受音された信号を各々周波数領域に変換する。スペクトル乗算部１３２は、周波数領域に変換された受音信号をチャネル間で乗算し、共分散行列を求める。白色化部１３３は、共分散行列を周波数領域で白色化（フラット）にする。
【０２４０】
白色化された共分散行列は式（３８）、式（３９）により表される。
【０２４１】
【数２６】
【０２４２】
ただし、Ｘｉ（ω）は、ｉ番目マイクロホンで受音された信号を周波数領域に変換したものであり、
【０２４３】
【外６６】
【０２４４】
はｉ番目のマイクロホンで受音された信号とｊ番目のマイクロホンで受音された信号の共分散を白色化したものであり、ＲＫＫ（ω）は、白色化前の共分散行列の対角成分のうち最もパワーの大きい対角成分、または、その音源と最も近いマイクロホンに対応する共分散行列の対角成分であり、＊は共役を表す。
【０２４５】
以上により、白色化された共分散行列を求めることができる。これにより、音源や雑音の周波数特性に依存しないフィルタの計算ができ、音源や雑音の周波数特性が変化してもフィルタが変化しない安定した収音が行える。
【０２４６】
これら以外の部分に関しては、第１から第３の実施形態と同じであるので、説明を省略する。
【０２４７】
第６の実施形態
図８は本発明の第６の実施形態の収音装置のブロック図である。第６の実施形態は、第１から第３の実施形態において、共分散行列計算部１３をＦＦＴ部１３１１〜１３１Ｍとスペクトル乗算部１３２と雑音共分散記憶部１３４と減算部１３５と白色化部１３３とにより実現した例である。
【０２４８】
ＦＦＴ部１３１１〜１３１Ｍは、マイクロホン１１１〜１１Ｍにより受音された信号を各々周波数領域に変換する。スペクトル乗算部１３２は、周波数領域に変換された受音信号をチャネル間で乗算し、共分散行列を求める。雑音共分散記憶部１３４は雑音区間の共分散行列を記憶する。減算部１３５は、有音区間の共分散行列から、記憶された雑音共分散行列を減算する。白色化部１３３は、減算器出力の共分散行列を周波数領域で白色化（フラット）にする。
【０２４９】
これにより、音源に対する共分散行列の雑音成分を除去することができ、音源に対する共分散行列を正確に求めることができる。また、白色化により、音源や雑音の周波数特性に依存しないフィルタの計算ができ、音源や雑音の周波数特性が変化してもフィルタが変化しない安定した収音が行える。
【０２５０】
これら以外の部分に関しては、第１から第３の実施形態と同じであるので、説明を省略する。
【０２５１】
なお、以上説明した本発明の収音方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【０２５２】
【発明の効果】
以上説明したように、本発明によれば、有音・無音判定を行い、有音時のチャネル間（入力信号の）共分散と無音時のチャネル間（入力信号の）共分散に基づきチャネルごとのフィルタを算出し、このフィルタにより各チャネル入力信号をフィルタリングすることにより、雑音、収音したくない音源の信号を抑圧し、収音したい音源の信号を収音することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の収音装置を示すブロック図である。
【図２】本発明のシミュレーション結果を示す図である。
【図３】マイクロホン、目的音源、雑音源の配置図である。
【図４】本発明の第２の実施形態の収音装置を示すブロック図である。
【図５】本発明の第３の実施形態の収音装置を示すブロック図である。
【図６】本発明の第４の実施形態の収音装置を示すブロック図である。
【図７】本発明の第５の実施形態の収音装置を示すブロック図である。
【図８】本発明の第６の実施形態の収音装置を示すブロック図である。
【図９】従来例の収音装置を示すブロック図である。
【図１０】図８の従来の収音装置における収束特性を示す図である。
【符号の説明】
１１１〜１１Ｍ マイクロホン
１２ 有音・無音検出部
１３ 共分散行列計算部
１４ 共分散行列記憶部
１５ フィルタ計算部
１６ マルチチャネルフィルタ部
２１ 受音位置設定部
２２ 音源位置検出部
２３ 音源位置記憶部
２４ 収音位置設定部
３１ 音源位置・受音位置検出部
３２ 音源位置・受音位置記憶部
１３１１〜１３１Ｍ ＦＦＴ部
１３２ スペクトル乗算部
１３３ 白色化部
１３４ 雑音共分散記憶部
１３５ 減算部
１６１１〜１６１Ｍ フィルタ
１６２ 加算器部
【発明の属する技術分野】
本発明は収音方法、装置、および収音プログラムに関する。
【０００２】
【従来の技術】
図９は特開２００２―６２８９５号公報に開示された従来例の収音装置のブロック図である。この収音装置はマイクロホン１１１〜１１Ｍと、有音・無音検出部１２と、マルチチャネルフィルタ部１６と、目的音源位置・受音位置設定部７１と、仮想目的音生成部７２と、フィルタ学習部７３を有している。マルチチャネルフィルタ部１６はフィルタ１６１〜１６Ｍと加算器１６２で構成される。
【０００３】
目的音源位置・受音位置設定部７１は目的音源位置と受音位置を設定する。仮想目的音生成部７２は、目的音源位置・受音位置設定部７１で設定された目的音源位置と受音位置から、目的音源位置からマイクロホンに到達した信号を仮想的に生成する。これは、目的音源位置と各受音位置間の遅延時間差を求め、白色雑音等の信号源にこの遅延を各々与えることにより生成できる。また、これと同時に、最適出力信号として、前記白色雑音等の信号源を一定時間遅延させただけの信号も生成する。次に、有音・無音区間検出部１２は、マイクロホン１１１〜１１Ｍで受音された信号より雑音のみが存在する無音区間を検出する。この検出があった期間のみ、フィルタ学習部７３は動作をする。フィルタ学習部７３は、マイクロホン１１１〜１１Ｍで受音された雑音信号の各々と、仮想目的音生成部７２で仮想的に生成された目的音がマイクロホンに到達した信号を各々加算し、これをマルチチャネルフィルタでフィルタリングした信号を求める。この信号が、仮想目的音生成部７２で生成された最適出力信号と等しくなるようにＮＬＭＳアルゴリズム等の適応アルゴリズムでマルチチャネルフィルタの係数を更新し、最適なフィルタ係数を求める。このフィルタ係数は、マルチチャネルフィルタ部１６にコピーされる。マルチチャネルフィルタ部１６は、マイクロホン１１１〜１１Ｍで受信された信号をフィルタ１６１１〜１６１Ｍでフィルタリングし、加算器１６２で加算した出力信号を出力する。
【０００４】
このように従来技術の収音方法では、あらかじめマイクロホン位置を計測しておく必要があり、目的音源位置もあらかじめ設定しておくことが必要である。また、フィルタを学習することが必要で、その収束も遅い。
【０００５】
次に、これから数式で使用する記号を定義する。サンプリング周期により離散化された時刻をｎとし、時刻ｎにｉ番目マイクロホン１１ｉで収音された信号をｘｉ（ｎ）とし、Ｌサンプル分を取り出して行列で表したものを
【０００６】
【外１】
とする。仮想目的音生成部７２で生成されるｉ番目のチャネルの仮想目的音受音信号をｕｉ（ｎ）として、Ｌサンプル分を取り出して行列で表したものを
【０００８】
【外２】
とする。また、仮想目的音生成部７２で生成される最適出力信号をν（ｎ−τ０）とする。マルチチャネルフィルタ部１６およびフィルタ学習部７３内のマルチチャネルフィルタの係数行列
【００１０】
【外３】
で表す。ただし、ｈｉ（ｎ−ｌ−１）は、時刻ｎにおけるｉ番目のマイクロホンに対するフィルタのｌタップ目のフィルタ係数を表す。フィルタ学習部７３内のマルチチャネルフィルタの出力信号をｙ（ｎ）と表し、これから、最適出力信号ν（ｎ−τ０）を減算したものをｅ（ｎ）と表す。
【００１２】
次に、マルチチャネルフィルタの収束解および修正式の導出を行う。
【００１３】
まず、ｅ（ｎ）の二乗平均を求める。この二乗平均誤差が小さくなれば、マイクロホンで受音した雑音成分のパワーが小さくなり、最適出力信号ν（ｎ−τ０）に近くなるので、この二乗平均誤差を最小とするフィルタが最適なフィルタとなる。
【００１４】
【数１】
雑音と仮想目的音は無相関であるので、式（１）は式（２）のように変形できる。
【００１６】
【数２】
適応フィルタ
【００１８】
【外４】
をＬタップのＦＩＲフィルタとして、式（２）をベクトル表記すれば、式（３）のようになる。
【００２０】
【数３】
ただし、仮想目的信号ｖ（ｎ）は、平均パワー
【００２２】
【外５】
の定常的な信号であるとし、また、
【００２４】
【外６】
である。
【００２６】
式（３）を最小化するフィルタが最適なフィルタであるので、式（３）を
【００２７】
【外７】
で偏微分し、０とおいて、極小点を求める。
【００２９】
【数４】
式（４）を
【００３１】
【外８】
について解けば、式（３）を最小化する最適フィルタ
【００３３】
【外９】
が求められる。
【００３５】
【数５】
式（５）の最適フィルタを求める方法として、ＬＭＳアルゴリズム、ＮＬＭＳアルゴリズム、射影アルゴリズムなどの適応アルゴリズムがある。今回はＮＬＭＳ法を例にとって修正式を示す。修正式は式（６）で表される。
【００３７】
【数６】
ただし、
【００３９】
【外１０】
は式（７）で表される。
【００４１】
【数７】
ただし、αは更新係数で０〜１の値を取る。
【００４３】
ここまでで、式（６）の修正式を用いて、式（５）の最適フィルタを求められることを示した。
【００４４】
次に、以上説明した従来装置の収束特性を図１０に示す。この図より、従来技術では、非常に収束が遅く最適フィルタまで収束していないことがわかる。この原因は、信号間の相関が高いためであり、特に低周波成分の収束が遅い。このため、従来技術では、環境の変化に対する追従性能が低く。十分な性能が得られない。
【００４５】
以上、従来技術では、受音位置、目的音源位置をあらかじめ設定しなくてはならず、マイクロホンの自由な配置や移動ができなく、またフィルタの学習にも時間がかかるので、雑音の移動等の環境の変化に対して追従性能が劣るという問題がある。
【００４６】
【発明が解決しようとする課題】
雑音を抑圧し、目的音をクリアに収音したい場合に、従来技術の収音方法では、あらかじめ受音位置を計測しておき、さらに目的音源位置もあらかじめ決めておかなくてはならず、マイクロホンの自由な配置、移動ができないという問題がある。また、従来技術の収音方法では、フィルタの学習に時間がかかるため、雑音の移動などの環境の変化に対する追従性能が低く、十分な性能が得られないという問題がある。
【００４７】
本発明の目的は、受音位置、目的音源位置が未知であっても雑音の抑圧を可能とし、マイクロホンの自由な配置と、設置、移動を簡易にし、さらに雑音の移動等の環境変化に対する追従性能を高める収音方法、装置、およびプログラムを提供することにある。
【００４８】
【課題を解決するための手段】
本発明の収音方法は、
複数の収音手段の各々で受音された受音信号から有音、無音を検出する有音・無音検出段階と、
収音手段の各々で受音された受音信号からチャネル間の共分散を算出する共分散計算段階と、
有音と判定された場合の共分散を有音共分散として、無音と判定された場合の共分散を無音共分散として記憶手段に逐次記憶する共分散記憶段階と、
記憶された有音共分散と無音共分散に基づき、入力音声のパワーが最も大きいチャネルのフィルタ係数を算出するフィルタ計算段階と、
前記フィルタ係数で、チャネル信号をフィルタリングするフィルタリング段階とを有する。
【００４９】
本発明は、有音・無音判定を行い、有音時のチャネル間（入力信号）の共分散と無音時のチャネル間（入力信号の）共分散に基づきチャネルごとのフィルタを算出し、このフィルタにより各チャネル入力信号をフィルタリングすることにより、雑音を抑圧した目的音を得るものである。
【００５０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００５１】
第１の実施形態
図１は本発明の第１の実施形態の収音装置のブロック図である。
【００５２】
本実施形態の収音装置はマイクロホン１１１〜１１Ｍと有音・無音検出部１２と共分散行列計算部１３と共分散行列記憶部１４とフィルタ計算部１５とマルチチャネルフィルタ部１６とにより構成される。
【００５３】
本実施形態は、位置がわからない目的音源から発せられた音を、位置がわからない複数のマイクロホンにより受音し、その信号から目的音を収音し、雑音を抑圧するフィルタ係数を求め、受音信号をフィルタリングすることにより雑音を抑圧した目的音を得るものである。
【００５４】
まず、有音・無音検出部１２は、マイクロホン１１１〜１１Ｍで収音された受音信号のパワーから有音区間、無音区間を検出する。例えば、それぞれの受音信号について、短時間平均パワー（０．１〜１ｓ程度）と長時間平均パワー（１ｓ〜１００ｓ程度）を求め、短時間平均パワーと長時間平均パワーの比が有音の閾値を超える場合に有音と判定し、無音の閾値未満の場合に無音と判定し、その判定結果が、すべての受音信号について有音であった場合を有音と判定し、すべて無音であった場合を無音と判定する。
【００５５】
次に、共分散行列計算部１３は、マイクロホン１１１〜１１Ｍで受音された受音信号のチャネル間共分散を求め、それを行列にする。有音・無音検出部１２で有音であった場合を目的音共分散行列
【００５６】
【外１１】
とし、無音であった場合を雑音共分散行列
【００５８】
【外１２】
とする。以下にその行列の求め方を示す。
【００６０】
まず、ｉ番目マイクロホンで受音された信号をｘｉ（ｔ）とし、それを周波数領域に変換したものをｘｉ（ω）とし、ｉ番目のマイクロホンで受音された信号とｊ番目のマイクロホンで受音された信号の共分散Ｒｉｊ（ω）を求めれば、式（８）となる。
【００６１】
【数８】
次に、共分散行列
【００６３】
【外１３】
は、式（９）で表される。
【００６５】
【数９】
有音・無音検出部１２で有音であった場合に、式（９）の共分散行列
【００６７】
【外１４】
を目的音共分散行列
【００６９】
【外１５】
とし、無音であった場合に雑音共分散行列
【００７１】
【外１６】
とする。
【００７３】
次に、共分散行列記憶部１４は、目的音共分散行列
【００７４】
【外１７】
と雑音共分散行列
【００７６】
【外１８】
を記憶する。
【００７８】
次に、フィルタ計算部１５は、目的音を収音し、雑音を抑圧するフィルタを計算する。まず、マルチチャネルフィルタ部１６のｉ番目のチャネルのフィルタ１６１ｉを周波数領域に変換したものをＨｉ（ω）とし、それを行列にしたものを式（１０）に示す
【００７９】
【外１９】
とする。
【００８１】
【数１０】
また、マイクロホンで受音された信号を周波数変換したものを行列にしたのを式（１１）に示す
【００８３】
【外２０】
とする。
【００８５】
【数１１】
有音・無音検出部１２で有音であった場合に、式（９）の行列を目的音行列
【００８７】
【外２１】
とし、無音であった場合に雑音行列
【００８９】
【外２２】
とする。
【００９１】
最適なフィルタは、目的音行列
【００９２】
【外２３】
と雑音行列
【００９４】
【外２４】
をフィルタ
【００９６】
【外２５】
でフィルタリングした信号が所望の信号となっていればよい。所望の信号を、最も目的音が大きなパワーで入力されているマイクロホンで受音した目的音信号ＸＳｍａｘ（ω）とすれば、最適なフィルタは式（１２）の関係となる。
【００９８】
【数１２】
次に、式（１１）を最小二乗解でフィルタ
【０１００】
【外２６】
について解けば、式（１３）となる。
【０１０２】
【数１３】
ただし、
【０１０４】
【外２７】
は、最も目的音が大きなパワーで入力されているマイクロホンを選択するための行列であり、
【０１０６】
【外２８】
の対角成分のパワーが最大である行だけが１であり、それ以外はすべて０である。Ｍ行１列の行列である。これは式（１４）で表される。
【０１０８】
【数１４】
ｃは雑音の抑圧量と、目的音の劣化量を調整する定数であり、これを大きくすれば、雑音の消去量が大きくなり、小さくすれば目的音の劣化量が小さくなる。
【０１１０】
ここまでで式（１３）により、雑音を抑圧する最適なフィルタを求める式を導出した。また、式（１３）は、共分散行列記憶部１４で記憶されている目的音共分散行列
【０１１１】
【外２９】
と雑音共分散行列
【０１１３】
【外３０】
のみから求めることができる。
【０１１５】
式（１３）により求められた最適なフィルタは、マルチチャネルフィルタ部１６にコピーされ、マイクロホンの受音信号をフィルタリングすることで、雑音を抑圧した目的音を得ることができる。
【０１１６】
次に、本実施形態の有効性を示すために、図２にシミュレーション結果を示す。マイクロホン、目的音源、雑音源の配置は図３に示すとおりであり、部屋の残響は４００ｍｓである。このときの目的音源、雑音源からの周波数応答（残響を含む）を図２に示す。この図より雑音は約１５ｄＢ低減していることがわり、本実施形態が有効であることが確認できる。
【０１１７】
以上説明したように、本実施形態では、目的音源位置、マイクロホン位置がわからなくても、雑音を抑圧した目的音を得ることができる。さらに、式（１３）により直接フィルタを求めることができ、学習の必要がないので、雑音の移動や、目的音の移動等の環境の変動に対して、瞬時に追従することができる。
【０１１８】
第２の実施形態
図４は本発明の第２の実施形態の収音装置のブロック図である。
【０１１９】
第２の実施形態は、図１の第１の実施形態に受音位置設定部２１と音源位置検出部２２と音源位置記憶部２３と収音位置設定部２４とを追加した例である。
【０１２０】
受音位置設定部２１は、あらかじめ計測したマイクロホン１１１〜１１Ｍの位置を記憶する。音源位置推定部２２は、有音・無音検出部１２で有音と検出された場合にマイクロホン１１１〜１１Ｍで受音された信号と、受音位置設定部２１で記憶されているマイクロホンの位置とから音源位置を検出する。検出された音源位置は音源位置記憶部２３に記憶される。共分散計算部１３は、マイクロホン１１１〜１１Ｍで受音された受音信号の共分散を求め、それを行列にする。有音・無音検出部１２で有音であった場合を、ｋ番目音源の共分散行列
【０１２１】
【外３１】
とし、無音であった場合を雑音共分散行列
【０１２３】
【外３２】
とする。共分散行列記憶部１４は、音源の共分散行列
【０１２５】
【外３３】
と雑音共分散行列
【０１２７】
【外３４】
を記憶する。次に、収音位置設定部２４は、音源位置記憶部２３に記憶されている音源位置に、収音したい音源位置と収音したくない音源位置を設定する。設定の方法は、例えば検出された複数の音源位置を画面に表示し、その中から収音したい音源位置と、収音したくない音源位置をユーザが設定するという方法や、あらかじめ収音したい範囲と収音したくない範囲を決めておき、それで判定する方法などがある。次に、フィルタ計算部１５は、収音したい音源位置の音を収音し、収音したくない音源位置の音および雑音を抑圧するフィルタを計算する。計算されたフィルタはマルチチャネルフィルタ部１６にコピーされ、出力信号が求められる。
【０１２９】
以下、本実施形態を詳細に説明する。
【０１３０】
まず、音源位置推定部２２（特願２００２―２２３９２３に記載）は、例えば以下の方法で実現される。
【０１３１】
Ｍ個のマイクロホンがあると想定し、ｉ番目のマイクロホンとｊ番目のマイクロホンで受音された信号より求められる受音信号間遅延時間差をτｉｊとする。受音信号間遅延時間差は、信号間の相互相関を求め、その最大ピーク位置から求めることができる。次に、ｍ番目の受音位置
【０１３２】
【外３５】
、ｎ推定音源位置を
【０１３４】
【外３６】
と表す。これらの位置から求められる推定受音信号間遅延時間差
【０１３６】
【外３７】
は式（１５）で表される。
【０１３８】
【数１５】
ただし、ｃは音速である。
【０１４０】
次に、受音信号間遅延時間差
【０１４１】
【外３８】
に音速ｃを乗じ、距離に換算したものを、それぞれ受音位置間距離差
【０１４３】
【外３９】
とし、測定値
【０１４５】
【外４０】
の二乗平均誤差
【０１４７】
【外４１】
を求めれば、式（１６）となる。
【０１４９】
【数１６】
式（１６）の二乗平均誤差
【０１５１】
【外４２】
を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定音源位置を求めることができる。ただし、式（１６）は非線形連立方程式となっており、解析的に解くことは困難であり、ここでは、逐次修正を用いた数値解析により求めることとする。
【０１５３】
式（１６）を最小化する推定音源位置
【０１５４】
【外４３】
を求めるには、ある点における勾配を求め、誤差が小さくなる方向に推定音源位置を修正していき、勾配が０となる点を求めればよいので、修正式は式（１７）のようになる。
【０１５６】
【数１７】
ただし、αは修正のステップサイズ、
【０１５８】
【外４４】
は、ｕ回修正後の
【０１６０】
【外４５】
を表し、ｇｒａｄは勾配を表し、式（１８）〜式（２２）で表される。
【０１６２】
【数１８】
以上、式（１７）を繰り返し計算することで、誤差が最小となる推定音源位置を求めることができる。
【０１６４】
次に、フィルタ係数計算部１５について説明する。
【０１６５】
まず、共分散行列の求め方については、第１の実施形態と同様であるので説明を省略する。
【０１６６】
まず、共分散行列記憶部１４で記憶されている音源に対する共分散行列を
【０１６７】
【外４６】
とし、雑音共分散行列を
【０１６９】
【外４７】
とする。音源に対する共分散行列
【０１７１】
【外４８】
のうち、収音したい音源に対する共分散行列を
【０１７３】
【外４９】
とし、収音したくない音源痛いする共分散行列を
【０１７５】
【外５０】
とする。
【０１７７】
次に、第１の実施形態と同様にしてフィルタ
【０１７８】
【外５１】
の最適解を求めれば、式（２３）となる。
【０１８０】
【数１９】
ただし、
【０１８２】
【外５２】
は、最もその音源に近いマイクロホンを選択するための行列であり、音源位置記憶部２３で記憶されている音源位置と、受音位置設定部２１の受音位置から、マイクロホンと音源間の距離を計算し、その音源に最も近いマイクロホンの行だけが１であり、それ以外はすべて０であるＭ行１列の行列である。これは、式（２４）で表される。
【０１８４】
【数２０】
ａｍ、ｂｎ、ｃは、それぞれ収音したい音源の劣化量、収音したくない音の抑圧量、雑音の抑圧量を調整する定数であり、ａｍを大きくすれば、収音したい音源の劣化量が減少し、ｂｎを大きくすれば、収音したくない音源の抑圧量が増加し、ｃを大きくすれば雑音の抑圧量が増加する。
【０１８６】
ここまでで、雑音を抑圧する最適なフィルタを求める式を導出した。
【０１８７】
以上説明したように、本実施形態では、マイクロホン位置が既知であれば、任意の音源と雑音を抑圧し、収音したい目的音だけを収音することができる。さらに、式（２３）により直接フィルタを求めることができ、学習の必要がないので、雑音の移動や、目的音の移動等の環境の変動に対して、瞬時に追従することができる。
【０１８８】
これら以外の部分に関しては、第１の実施形態と同じであるので、説明を省略する。
【０１８９】
第３の実施形態
図５は本発明の第３の実施形態の収音装置のブロック図である。第３の実施形態は、第１の実施形態に音源位置・受音位置検出部３１と音源位置・受音位置記憶部３２と収音位置設定部２４とを追加した例である。
【０１９０】
音源位置・受音位置検出部３１（特願２００２―２２３９２３に記載）はマイクロホン１１１〜１１Ｍで受音された信号から音源位置・受音位置を検出する。音源位置、受音位置記憶部３２は、音源位置・受音位置検出部３１で検出された音源位置・受音位置を記憶する。収音位置設定部２４は、音源位置・受音位置記憶部３２に記憶されている音源位置に、収音したい音源位置と収音したくない音源位置を設定する。設定の方法は、例えば、検出された複数の音源位置を画面に表示し、その中から収音したい音源位置と、収音したくない音源位置をユーザーが設定するという方法や、あらかじめ収音したい範囲と収音したくない範囲を決めておき、それで判定する方法などがある。次に、フィルタ計算部１５では、収音したい音源位置の音を収音し、収音したくない音源位置の音および雑音を抑圧するフィルタを計算する。計算の方法は第２の実施形態と同じであるので省略する。計算されたフィルタはマルチチャネルフィルタ部１６にコピーされ、出力信号が求められる。
【０１９１】
以下に音源位置・受音位置検出の方法の例を示す。
【０１９２】
Ｍ個のマイクロホンとＮ個の音源があると想定し、ｋ番目音源から音が発せられている場合に、ｉ番目のマイクロホンとｊ番目のマイクロホンで受音された信号より求められる受音信号間遅延時間差をτｉｊｋとする。次に、ｍ番目の推定受音位置を
【０１９３】
【外５３】
、ｎ番目の推定音源位置を
【０１９５】
【外５４】
と表す。ただし、受音位置および音源位置のすべてが未知であるので、位置を推定する前に、座標の基準位置を設ける必要がある。ここでは、１番目受音位置を原点として、２番目受音位置と３番目受音位置とを通る平面をｘ−ｙ平面として座標を定義する。このようにすれば、
【０１９７】
【外５５】
となり、これらは定数となる。
【０１９９】
これらの位置から求められる推定受音信号間遅延時間差
【０２００】
【外５６】
は、式（２５）で表される。
【０２０２】
【数２１】
ただし、ｃは音速である。
【０２０４】
次に、受音信号間遅延時間差
【０２０５】
【外５７】
に音速ｃを乗じ、距離に換算したものを、それぞれ受音位置間距離差
【０２０７】
【外５８】
とし、測定値
【０２０９】
【外５９】
の二乗平均誤差
【０２１１】
【外６０】
を求めれば、式（２６）となる。
【０２１３】
【数２２】
式（２６）の二乗平均誤差
【０２１５】
【外６１】
を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定受音位置、推定音源位置を求めることができる。ただし、式（２６）は非線形連立方程式となっており、解析的に解くことは困難であり、ここでは、逐次修正を用いた数値解析により求めることとする。式（２６）を最小化する推定受音位置
【０２１７】
【外６２】
と、推定音源位置
【０２１９】
【外６３】
を求めるには、ある点における勾配を求め、誤差が小さくなる方向に推定受音位置と推定音源位置を修正していき、勾配が０になる点を求めればよいので、修正式は式（２７）のようになる。
【０２２１】
【数２３】
ただし、αは修正のステップサイズ
【０２２３】
【外６４】
は、ｕ回修正後の
【０２２５】
【外６５】
を表し、ｇｒａｄは勾配を表し、式（２８）〜（３５）で表される。
【０２２７】
【数２４】
初期位置を設定し、式（２７）の修正式を用いて繰り返し計算することにより、推定受音位置、推定音源位置を求めることができる。
【０２２９】
以上説明したように、本実施形態では、音源位置、受音位置が未知であっても、任意の音源と雑音を抑圧し、収音したい目的音だけを収音することができる。さらに、学習をせずに直接フィルタを求めることができるので、雑音の移動や、目的音の移動等の環境の変動に対して、瞬時に追従することができる。
【０２３０】
これら以外の部分に関しては、第１の実施形態または第２の実施形態と同じであるので、説明を省略する。
【０２３１】
第４の実施形態
図６は本発明の第４の実施形態の収音装置のブロック図である。第４の実施形態は、第１から第３の実施形態において、共分散行列計算部１３をＦＦＴ部１３１１〜１３１Ｍとスペクトル乗算部１３２とにより実現する例である。
【０２３２】
ＦＦＴ部１３１１〜１３１Ｍは、マイクロホン１１１〜１１Ｍにより受音された 信号を各々周波数領域に変換する。スペクトル乗算部１３２は、周波数領域に変換された受音信号をチャネル間で乗算し、共分散行列を求める。
【０２３３】
共分散行列は式（３６）、式（３７）により表される。
【０２３４】
【数２５】
ただし、Ｘｉ（ω）は、ｉ番目のマイクロホンで受音された信号を周波数領域に変換したものであり、Ｒｉｊ（ω）はｉ番目のマイクロホンで受音された信号とｊ番目マイクロホンで受音された信号の共分散であり、＊は共役を表す。
【０２３６】
以上により、共分散行列を求めることができる。
【０２３７】
これら以外の部分に関しては、第１から第３の実施形態と同じであるので、説明を省略する。
【０２３８】
第５の実施形態
図７は本発明の第５の実施形態の収音装置のブロック図である。第５の実施形態は、第１から第３の実施形態において、共分散行列計算部１３をＦＦＴ部１３１１〜１３１Ｍとスペクトル乗算部１３２と白色化部１３３とにより実現する例である。
【０２３９】
ＦＦＴ部１３１１〜１３１Ｍは、マイクロホン１１１〜１１Ｍにより受音された信号を各々周波数領域に変換する。スペクトル乗算部１３２は、周波数領域に変換された受音信号をチャネル間で乗算し、共分散行列を求める。白色化部１３３は、共分散行列を周波数領域で白色化（フラット）にする。
【０２４０】
白色化された共分散行列は式（３８）、式（３９）により表される。
【０２４１】
【数２６】
ただし、Ｘｉ（ω）は、ｉ番目マイクロホンで受音された信号を周波数領域に変換したものであり、
【０２４３】
【外６６】
はｉ番目のマイクロホンで受音された信号とｊ番目のマイクロホンで受音された信号の共分散を白色化したものであり、ＲＫＫ（ω）は、白色化前の共分散行列の対角成分のうち最もパワーの大きい対角成分、または、その音源と最も近いマイクロホンに対応する共分散行列の対角成分であり、＊は共役を表す。
【０２４５】
以上により、白色化された共分散行列を求めることができる。これにより、音源や雑音の周波数特性に依存しないフィルタの計算ができ、音源や雑音の周波数特性が変化してもフィルタが変化しない安定した収音が行える。
【０２４６】
これら以外の部分に関しては、第１から第３の実施形態と同じであるので、説明を省略する。
【０２４７】
第６の実施形態
図８は本発明の第６の実施形態の収音装置のブロック図である。第６の実施形態は、第１から第３の実施形態において、共分散行列計算部１３をＦＦＴ部１３１１〜１３１Ｍとスペクトル乗算部１３２と雑音共分散記憶部１３４と減算部１３５と白色化部１３３とにより実現した例である。
【０２４８】
ＦＦＴ部１３１１〜１３１Ｍは、マイクロホン１１１〜１１Ｍにより受音された信号を各々周波数領域に変換する。スペクトル乗算部１３２は、周波数領域に変換された受音信号をチャネル間で乗算し、共分散行列を求める。雑音共分散記憶部１３４は雑音区間の共分散行列を記憶する。減算部１３５は、有音区間の共分散行列から、記憶された雑音共分散行列を減算する。白色化部１３３は、減算器出力の共分散行列を周波数領域で白色化（フラット）にする。
【０２４９】
これにより、音源に対する共分散行列の雑音成分を除去することができ、音源に対する共分散行列を正確に求めることができる。また、白色化により、音源や雑音の周波数特性に依存しないフィルタの計算ができ、音源や雑音の周波数特性が変化してもフィルタが変化しない安定した収音が行える。
【０２５０】
これら以外の部分に関しては、第１から第３の実施形態と同じであるので、説明を省略する。
【０２５１】
なお、以上説明した本発明の収音方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【０２５２】
【発明の効果】
以上説明したように、本発明によれば、有音・無音判定を行い、有音時のチャネル間（入力信号の）共分散と無音時のチャネル間（入力信号の）共分散に基づきチャネルごとのフィルタを算出し、このフィルタにより各チャネル入力信号をフィルタリングすることにより、雑音、収音したくない音源の信号を抑圧し、収音したい音源の信号を収音することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の収音装置を示すブロック図である。
【図２】本発明のシミュレーション結果を示す図である。
【図３】マイクロホン、目的音源、雑音源の配置図である。
【図４】本発明の第２の実施形態の収音装置を示すブロック図である。
【図５】本発明の第３の実施形態の収音装置を示すブロック図である。
【図６】本発明の第４の実施形態の収音装置を示すブロック図である。
【図７】本発明の第５の実施形態の収音装置を示すブロック図である。
【図８】本発明の第６の実施形態の収音装置を示すブロック図である。
【図９】従来例の収音装置を示すブロック図である。
【図１０】図８の従来の収音装置における収束特性を示す図である。
【符号の説明】
１１１〜１１Ｍ マイクロホン
１２ 有音・無音検出部
１３ 共分散行列計算部
１４ 共分散行列記憶部
１５ フィルタ計算部
１６ マルチチャネルフィルタ部
２１ 受音位置設定部
２２ 音源位置検出部
２３ 音源位置記憶部
２４ 収音位置設定部
３１ 音源位置・受音位置検出部
３２ 音源位置・受音位置記憶部
１３１１〜１３１Ｍ ＦＦＴ部
１３２ スペクトル乗算部
１３３ 白色化部
１３４ 雑音共分散記憶部
１３５ 減算部
１６１１〜１６１Ｍ フィルタ
１６２ 加算器部
Claims (8)
- 複数の収音手段の各々で受音された受音信号から有音、無音を検出する有音・無音検出段階と、
前記収音手段の各々で受音された受音信号からチャネル間の共分散を算出する共分散計算段階と、
有音と判定された場合の前記共分散を有音分散として、無音と判定された場合の前記共分散を無音共分散として記憶手段に逐次記憶する共分散記憶段階と、
前記記憶された有音共分散と無音共分散に基づき、入力音声のパワーが最も大きいチャネルのフィルタ係数を算出するフィルタ計算段階と、
前記フィルタ係数で前記チャネルの信号をフィルタリングするフィルタリング段階とを有する収音方法。 - 複数の収音手段の各々で受音された受音信号から有音、無音を検出する有音・無音検出手段と、
前記収音手段の各々で受音された受音信号からチャネル間の共分散を算出する共分散計算手段と、
有音と判定された場合の前記共分散を有音共分散として、無音と判定された場合の前記共分散を無音共分散として記憶手段に逐次記憶する共分散記憶手段と、
前記記憶された有音共分散と無音共分散に基づき、入力音声のパワーが最も大きいチャネルのフィルタ係数を算出するフィルタ計算手段と、
前記フィルタ係数で前記チャネルの信号をフィルタリングするフィルタ手段とを有する収音装置。 - 複数の収音手段の各々で受音された受音信号から有音、無音を検出する有音・無音検出手段と、
前記収音手段の位置を記憶する受音位置設定手段と、
前記有音・無音検出手段の検出結果が有音である場合に、前記収音手段の各々で受音された受音信号と、受音位置設定手段で設定された受音位置とから音源位置を検出する音源位置検出手段と、
前記音源位置検出手段で検出された音源位置を記憶する音源位置記憶手段と、
前記音源位置記憶手段に記憶されている音源位置から、収音したい音源位置と、収音したくない音源位置を設定する収音位置設定手段と、
前記収音手段の各々で受音された受音信号からチャネル間の共分散を算出する共分散計算手段と、
有音と判定された場合の前記共分散を前記各音源位置ごとに有音共分散として、無音と判定された場合の前記共分散を無音共分散として記憶手段に逐次記憶する共分散記憶手段と、
前記記憶された有音共分散と無音共分散に基づき、収音したい音源位置のそれぞれに最も近い収音手段に対応するチャネルのフィルタ係数を算出するフィルタ計算手段と、
前記フィルタ係数で前記チャネルの信号をフィルタリングするフィルタ手段とを有する収音装置。 - 複数の収音手段の各々で受音された受音信号から有音、無音を検出する有音・無音検出手段と、
前記有音・無音検出手段の検出結果が有音である場合に、前記収音手段の各々で受音された受音信号から音源位置と受音位置を検出する音源位置・受音位置検出手段と、
前記音源位置・受音位置検出手段で検出された音源位置と受音位置を記憶する音源位置・受音位置記憶手段と、
前記音源位置・受音位置記憶手段で記憶されている音源位置から、収音したい音源位置と、収音したくない音源位置を設定する収音位置設定手段と、
前記収音手段の各々で受音された受音信号からチャネル間の共分散を算出する共分散行列計算手段と、
有音と判定された場合の前記共分散を前記各音源位置ごとに有音共分散として、無音と判定された場合の前記共分散を無音共分散として記憶手段に逐次記憶する共分散記憶手段と、
前記記憶された有音共分散と無音共分散に基づき、収音したい音源位置のそれぞれに最も近い収音手段に対応するチャネルのフィルタ係数を算出するフィルタ計算手段と、
前記フィルタ係数で前記チャネルの受音信号をフィルタリングするフィルタ手段とを有する収音装置。 - 前記共分散計算手段が、
複数の収音手段の各々で受音された受音信号を周波数領域に変換するＦＦＴ手段と、
周波数領域に変換された信号の各々を周波数成分ごとに乗算し、共分散行列を求めるスペクトル乗算手段とを含む、請求項２から４のいずれか１項に記載の収音装置。 - 前記共分散計算手段が、
複数の収音手段の各々で受音された受音信号を周波数領域に変換するＦＦＴ手段と、
周波数領域に変換された信号の各々を周波数成分ごとに乗算し、共分散行列を求めるスペクトル乗算手段と、
前記共分散行列のうち、対角成分で最もパワーの大きい対角成分、またはその音源に最も近い収音手段に対応する対角成分の周波数特性がフラットとなるようなゲインを、周波数成分ごとに行列に乗算する白色化手段とを含む、請求項２から４のいずれか１項に記載の収音装置。 - 前記共分散計算手段が、
複数の収音手段の各々で受音された受音信号を周波数領域に変換するＦＦＴ手段と、
周波数領域に変換された信号の各々を周波数成分ごとに乗算し、共分散行列を求めるスペクトル乗算手段と、
前記有音・無音区間検出手段で無音が検出された場合に、前記共分散行列を時間平均し記憶する雑音共分散記憶手段と、
前記有音・無音検出手段で有音が検出された場合に、前記共分散行列から、前記雑音共分散記憶手段で記憶されている雑音の共分散行列を減算する減算手段と、
前記減算手段の出力である共分散行列のうち、対角成分で最もパワーの大きい対角成分、またはその音源に最も近い収音手段に対応する対角成分の周波数特性がフラットとなるようなゲインを周波数成分ごとに行列に乗算する白色化部とを含む、請求項２から４のいずれか１項に記載の収音装置。 - 複数の収音手段の各々で受音された受音信号から有音、無音を検出する有音・無音検出手順と、
前記収音手段の各々で受音された受音信号からチャネル間の共分散を算出する共分散計算手順と、
有音と判定された場合の前記共分散を有音共分散として、無音と判定された場合の前記共分散を無音共分散として記憶手段に逐次記憶する共分散記憶手順と、
前記で記憶された有音共分散と無音共分散に基づき、入力音声のパワーが最も大きいチャネルのフィルタ係数を算出するフィルタ計算手順と、
前記フィルタ係数で前記チャネルの信号をフィルタリングするフィルタリング手順とをコンピュータに実行させるための収音プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002240986A JP3878892B2 (ja) | 2002-08-21 | 2002-08-21 | 収音方法、収音装置、および収音プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002240986A JP3878892B2 (ja) | 2002-08-21 | 2002-08-21 | 収音方法、収音装置、および収音プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004078021A true JP2004078021A (ja) | 2004-03-11 |
| JP3878892B2 JP3878892B2 (ja) | 2007-02-07 |
Family
ID=32023615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002240986A Expired - Lifetime JP3878892B2 (ja) | 2002-08-21 | 2002-08-21 | 収音方法、収音装置、および収音プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3878892B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005136709A (ja) * | 2003-10-30 | 2005-05-26 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法、装置、プログラム、および記録媒体 |
| WO2006064699A1 (ja) * | 2004-12-17 | 2006-06-22 | Waseda University | 音源分離システムおよび音源分離方法、並びに音響信号取得装置 |
| JP2009037032A (ja) * | 2007-08-02 | 2009-02-19 | Nippon Telegr & Teleph Corp <Ntt> | 信号抽出装置、その方法、およびそのプログラム |
| JPWO2008004499A1 (ja) * | 2006-07-03 | 2009-12-03 | 日本電気株式会社 | 雑音抑圧の方法、装置、及びプログラム |
| JP2010054728A (ja) * | 2008-08-27 | 2010-03-11 | Hitachi Ltd | 音源抽出装置 |
| JP2010114829A (ja) * | 2008-11-10 | 2010-05-20 | Yamaha Corp | 信号処理装置およびプログラム |
| WO2011004503A1 (ja) * | 2009-07-08 | 2011-01-13 | 株式会社日立製作所 | 雑音除去装置及び雑音除去方法 |
| US8271110B2 (en) | 2005-02-28 | 2012-09-18 | Nec Corporation | Sound source supply apparatus and sound source supply method |
| US10094862B2 (en) | 2016-08-30 | 2018-10-09 | Fujitsu Limited | Sound processing device and sound processing method |
| WO2020026726A1 (ja) | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 集音拡声装置、その方法、およびプログラム |
| WO2020027061A1 (ja) | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 会話サポートシステム、その方法、およびプログラム |
| CN115881151A (zh) * | 2023-01-04 | 2023-03-31 | 广州市森锐科技股份有限公司 | 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质 |
-
2002
- 2002-08-21 JP JP2002240986A patent/JP3878892B2/ja not_active Expired - Lifetime
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005136709A (ja) * | 2003-10-30 | 2005-05-26 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法、装置、プログラム、および記録媒体 |
| WO2006064699A1 (ja) * | 2004-12-17 | 2006-06-22 | Waseda University | 音源分離システムおよび音源分離方法、並びに音響信号取得装置 |
| US8213633B2 (en) | 2004-12-17 | 2012-07-03 | Waseda University | Sound source separation system, sound source separation method, and acoustic signal acquisition device |
| US8271110B2 (en) | 2005-02-28 | 2012-09-18 | Nec Corporation | Sound source supply apparatus and sound source supply method |
| JPWO2008004499A1 (ja) * | 2006-07-03 | 2009-12-03 | 日本電気株式会社 | 雑音抑圧の方法、装置、及びプログラム |
| US10811026B2 (en) | 2006-07-03 | 2020-10-20 | Nec Corporation | Noise suppression method, device, and program |
| JP5435204B2 (ja) * | 2006-07-03 | 2014-03-05 | 日本電気株式会社 | 雑音抑圧の方法、装置、及びプログラム |
| JP2009037032A (ja) * | 2007-08-02 | 2009-02-19 | Nippon Telegr & Teleph Corp <Ntt> | 信号抽出装置、その方法、およびそのプログラム |
| JP2010054728A (ja) * | 2008-08-27 | 2010-03-11 | Hitachi Ltd | 音源抽出装置 |
| JP2010114829A (ja) * | 2008-11-10 | 2010-05-20 | Yamaha Corp | 信号処理装置およびプログラム |
| JP5382745B2 (ja) * | 2009-07-08 | 2014-01-08 | 株式会社日立製作所 | 雑音除去装置及び雑音除去方法 |
| WO2011004503A1 (ja) * | 2009-07-08 | 2011-01-13 | 株式会社日立製作所 | 雑音除去装置及び雑音除去方法 |
| US10094862B2 (en) | 2016-08-30 | 2018-10-09 | Fujitsu Limited | Sound processing device and sound processing method |
| WO2020026726A1 (ja) | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 集音拡声装置、その方法、およびプログラム |
| WO2020027061A1 (ja) | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 会話サポートシステム、その方法、およびプログラム |
| CN115881151A (zh) * | 2023-01-04 | 2023-03-31 | 广州市森锐科技股份有限公司 | 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3878892B2 (ja) | 2007-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9210504B2 (en) | Processing audio signals | |
| JP4104626B2 (ja) | 収音方法及び収音装置 | |
| US8824693B2 (en) | Processing audio signals | |
| CN1926911B (zh) | 啸叫抑制装置、程序、集成电路及啸叫抑制方法 | |
| US8238569B2 (en) | Method, medium, and apparatus for extracting target sound from mixed sound | |
| US20170140771A1 (en) | Information processing apparatus, information processing method, and computer program product | |
| JP6019969B2 (ja) | 音響処理装置 | |
| JP5919516B2 (ja) | 多入力雑音抑圧装置、多入力雑音抑圧方法、プログラムおよび集積回路 | |
| JP4532576B2 (ja) | 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム | |
| US20070088544A1 (en) | Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset | |
| JP2010232717A (ja) | 受音信号処理装置、方法およびプログラム | |
| KR101581885B1 (ko) | 복소 스펙트럼 잡음 제거 장치 및 방법 | |
| CN111048061B (zh) | 回声消除滤波器的步长获取方法、装置及设备 | |
| GB2571371A (en) | Signal processing for speech dereverberation | |
| JP2004078021A (ja) | 収音方法、収音装置、および収音プログラム | |
| JP4422662B2 (ja) | 音源位置・受音位置推定方法、その装置、そのプログラム、およびその記録媒体 | |
| US11039242B2 (en) | Audio capture using beamforming | |
| JP4119328B2 (ja) | 収音方法、その装置、そのプログラム、およびその記録媒体。 | |
| JPH09261792A (ja) | 受音方法及びその装置 | |
| JP3756828B2 (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
| JP2003309493A (ja) | 反響低減方法、反響低減装置、反響低減プログラム | |
| JP4051325B2 (ja) | 話者位置検出方法、装置、プログラム、および記録媒体 | |
| JP4478045B2 (ja) | エコー消去装置、エコー消去方法、エコー消去プログラムおよびその記録媒体 | |
| CN113611322A (zh) | 一种语音信号去混响方法及装置 | |
| JP2014150368A (ja) | エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040729 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040729 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040729 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3878892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |