JP2014072708A - 収音装置及びプログラム - Google Patents
収音装置及びプログラム Download PDFInfo
- Publication number
- JP2014072708A JP2014072708A JP2012217315A JP2012217315A JP2014072708A JP 2014072708 A JP2014072708 A JP 2014072708A JP 2012217315 A JP2012217315 A JP 2012217315A JP 2012217315 A JP2012217315 A JP 2012217315A JP 2014072708 A JP2014072708 A JP 2014072708A
- Authority
- JP
- Japan
- Prior art keywords
- target area
- microphone array
- sound
- area sound
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】マイクロホンアレイの位置を調整することなく、目的エリア音のみを強調することができるようにする。
【解決手段】本発明は、複数のマイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成し、各マイクロホンアレイのビームフォーマ後の出力で、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正し、各ビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために補正係数を算出し、補正係数を用いて各ビームフォーマ出力を補正してスペクトル減算して目的エリア方向に存在する非目的エリア音を抽出し、その後非目的エリア音を各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する。
【選択図】 図1
【解決手段】本発明は、複数のマイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成し、各マイクロホンアレイのビームフォーマ後の出力で、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正し、各ビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために補正係数を算出し、補正係数を用いて各ビームフォーマ出力を補正してスペクトル減算して目的エリア方向に存在する非目的エリア音を抽出し、その後非目的エリア音を各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する。
【選択図】 図1
Description
本発明は、収音装置及びプログラムに関し、例えば、特定のエリアの音を強調し、それ以外のエリアの音を抑制する収音装置及びプログラムに適用し得るものである。
特定の方向に存在する音(音声や音響;以下、音声及び音響をまとめて音響と呼ぶこともある)を強調し、それ以外の音を抑圧する技術として、マイクロホンアレイを用いたビームフォーマ(以下、BF)がある。ここで、ビームフォーマとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である(非特許文献1参照)。
BFは加算型と減算型の大きく2つの種類に分けられる。特に減算型BFは、加算型BFに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。減算型BFの代表的な手法として、スペクトル減算法(Spectral Subtraction;以下SS)を用いたBFが挙げられる(非特許文献2参照)。
図15は、マイクロホン数が2個の場合のSSに係る構成を示すブロック図である。図15において、2個のマイクロホン11及びマイクロホン12の間の距離をdとし、マイクロホン11及びマイクロホン12の正面から目的音源Tへの角度をθLとする。SSでは、まず遅延器13が目的方向θLからマイクロホン11及びマイクロホン12に到来する信号の時間差τLを算出し、遅延を加えることにより目的音源方向の音信号の位相を合わせる。なお、他の方向からの音は遅延器13を介しても位相は揃わず強調されない。時間差τLは下記(1)式により算出される。式(1)において、cは音速、Diは遅延量である。
ここで、目的音源Tがマイクロホン11とマイクロホン12の中心に対してマイクロホン11の方向に存在する場合、マイクロホン11の入力に対し遅延処理を行う。その後、加算器14が(2)式に従い加算処理を行い、減算器15が(3)式に従い減算処理を行う。これにより、加算処理により目的音源方向の音が強調され、また減算処理により目的音源方向以外の音が抽出される。なお、加算処理及び減算処理は、周波数領域でも同様に行うことができ、その場合(2)式、(3)式はそれぞれ式(4)式、(5)式に変更される。図15では、(4)式、(5)式に従った加算処理及び減算処理を行う場合を例示している。
加算処理及び減算処理されたデータを用いてスペクトル減算器16が(6)式に従い処理を行うことにより、目的音源方向の音を強調し、それ以外の音を抑圧することができる。βはSSの強度を変更するための係数である。
実環境では、ある特定のエリアの音(以下、目的エリア音)だけを収音したい場合、そのエリアの周囲に多数の雑音(以下、非目的エリア音)が存在する状況が考えられる。通常BFは、上下左右へ直線的にしか指向性を形成することができない。それ故、図16に示すように目的エリアと同方向に非目的エリア音源が存在する場合、目的エリア音だけでなく非目的エリア音まで強調してしまう問題が存在する。
この課題を解決するために、特許文献1の記載技術は、2個のマイクロホンアレイを用いて、別々の位置から各マイクロホンアレイの指向性をBFにより目的エリア方向、目的エリア以外の方向に向け、各方向から到来する音のレベル差から目的エリア音を推定し強調する手法を提案している。
浅野太著,"音のアレイ信号処理 −音源の定位・追跡と分離",社団法人 日本音響学会,コロナ社,2011年2月25日発行
矢頭隆,森戸誠,山田圭,小川哲司,"正方形マイクロホンアレイによる音源分離技術(<特集>音声認識技術の実用化への取り組み)",一般社団法人情報処理学会,情報処理51(11),pp.1410−1416,2010年
しかしながら、特許文献1の記載技術では、マイクロホンアレイを目的エリアから等間隔の距離に配置しなければならない制限がある。つまり、例えば2個のマイクロホンアレイ1及びマイクロホンアレイ2を配置させるとき、マイクロホンアレイ1から目的エリアへの距離と、マイクロホンアレイ2から目的エリアへの距離を等しくする必要がある。このため、目的エリアを変更する場合、変更の毎に、マイクロホンアレイを配置し直さなければならない問題が生じ得る。また、特許文献1の記載技術は、加算型BFに基づいているため、1個のマイクロホンアレイを構成するためのマイクロホンを多数設けることが必要となる。
そのため、少ないマイクロホンでマイクロホンアレイを構成することができ、マイクロホンアレイの位置を調整することなく、目的エリアが非目的エリア音源に囲まれている状況でも、目的エリア音のみを強調することができる収音装置及びプログラムが求められている。
かかる課題を解決するために、第1の本発明は、(1)複数のマイクロホンアレイと、(2)各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部と、(3)各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部と、(4)各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、各マイクロホンアレイのビームフォーマ出力間の振幅スペクトルの比率の最頻値もしくは中央値を算出し、補正係数とする目的エリア音パワー補正係数算出部と、(5)目的エリア音パワー補正係数算出部で算出した補正係数を用い、各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部とを備えることを特徴とする収音装置である。
第2の本発明は、(1)複数のマイクロホンアレイと、(2)各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部と、(3)各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部と、(4)各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、各マイクロホンアレイのビームフォーマ出力のパワーの差の2乗を最も小さくする係数を算出し、補正係数とする目的エリア音パワー補正係数算出部と、(5)目的エリア音パワー補正係数算出部で算出した補正係数を用い、各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部とを備えることを特徴とする収音装置である。
第3の本発明は、複数のマイクロホンアレイからの信号が与えられるコンピュータを、(1)各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部、(2)各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部、(3)各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、各マイクロホンアレイのビームフォーマ出力間の振幅スペクトルの比率の最頻値もしくは中央値を算出し、補正係数とする目的エリア音パワー補正係数算出部、(4)目的エリア音パワー補正係数算出部で算出した補正係数を用い、各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部として機能させることを特徴とする収音プログラムである。
第4の本発明は、複数のマイクロホンアレイからの信号が与えられるコンピュータを、(1)各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部、(2)各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部、(3)各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、各マイクロホンアレイのビームフォーマ出力のパワーの差の2乗を最も小さくする係数を算出し、補正係数とする目的エリア音パワー補正係数算出部、(4)目的エリア音パワー補正係数算出部で算出した補正係数を用い、各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部として機能させることを特徴とする収音プログラムである。
本発明によれば、少ないマイクロホンでマイクロホンアレイを構成することができ、マイクロホンアレイの位置を調整することなく、目的エリアが非目的エリア音源に囲まれている状況でも、目的エリア音のみを強調することができる。
(A)第1〜第4の実施形態に共通する技術思想
第1〜第4の実施形態では、まず目的エリアを含む空間内に複数のマイクロホンアレイを任意に配置し、BFにより目的エリア方向へ指向性ビームを形成する。例として2個のマイクロホンアレイの指向性ビームを目的エリアに向けたときのイメージを図17に示す。この状態では、各マイクロホンアレイ1、2のBFの指向性には目的エリア音方向の非目的エリア音成分が含まれている。しかし、目的エリアは、全てのマイクロホンアレイ1、2の指向性ビームに含まれている。そのため、目的エリア音成分は、図18(a)、(c)に示すように、全BFの出力信号に同じ割合、分布で含まれることになる。それと比較し非目的エリア音1、2の成分は、図18(b)、(d)に示すように、各マイクロホンアレイ1、2のBF出力信号毎に異なっている。第1〜第4の実施形態は、このような特徴を利用するものである。
第1〜第4の実施形態では、まず目的エリアを含む空間内に複数のマイクロホンアレイを任意に配置し、BFにより目的エリア方向へ指向性ビームを形成する。例として2個のマイクロホンアレイの指向性ビームを目的エリアに向けたときのイメージを図17に示す。この状態では、各マイクロホンアレイ1、2のBFの指向性には目的エリア音方向の非目的エリア音成分が含まれている。しかし、目的エリアは、全てのマイクロホンアレイ1、2の指向性ビームに含まれている。そのため、目的エリア音成分は、図18(a)、(c)に示すように、全BFの出力信号に同じ割合、分布で含まれることになる。それと比較し非目的エリア音1、2の成分は、図18(b)、(d)に示すように、各マイクロホンアレイ1、2のBF出力信号毎に異なっている。第1〜第4の実施形態は、このような特徴を利用するものである。
つまり、一方のマイクロホンアレイ1のBF出力信号からマイクロホンアレイ2のBF出力信号をSSすると、図18(e)において重なっている目的エリア音成分は消去される。このとき、非目的エリア音1と非目的エリア音2の成分は重ならないため、非目的エリア音1のみを抽出することができる。抽出した非目的エリア音1の成分をマイクロホンアレイ1のBF出力信号から更にSSすることにより、最終的に目的エリア音を抽出することができる。
この手法により目的エリア音を抽出するためには、各BF出力信号に目的エリア音成分のパワーが同じ大きさで含まれることが前提となる。しかし、通常、各BF出力信号の目的エリア音成分のパワーは、目的エリアと各マイクロホンアレイ1、2との距離の違いや、マイクロホンアレイ1及び2の間のゲインの違いによって変わってくる。
そこで、第1及び第2の実施形態では、まず各BF出力信号間で振幅スペクトルの比を求め、その比率の最頻値を算出する。前述のとおり、目的エリア音成分は、全てのBF出力信号に同じ割合、分布で含まれているため、目的エリア音成分の周波数では、比率が全て同じになる。逆に非目的エリア音成分は、各BF出力信号で異なるので比率にはばらつきがある。この特性から、全ての周波数毎の比率に対して最頻値を求めれば、その値がそのまま、各BF出力信号の目的エリア音成分のパワーが等しくなるように補正する係数となる。図19は、各マイクロホンアレイ1、2のBF出力信号間の振幅スペクトルの比率をヒストグラムで示した説明図である。図19(A)は、各マイクロホンアレイ1、2が目的エリアから等距離に配置されている場合である。目的エリアからの距離が同じため、入力される目的エリア音成分のパワーはほぼ等しく、比率の最頻値は1に近い値となっている。図19(B)は、マイクロホンアレイ1よりもマイクロホンアレイ2の方が目的エリアに近い場合である。目的エリアに近いマイクロホンアレイ2の方が目的エリア音成分のパワーが大きいため、比率の最頻値は1より小さい値となっていることが分かる。またパワー補正係数は、中央値を最頻値の近似として算出し求めることもできる。図19(A)及び(B)から分かるように、比率の分布は単峰であるので、中央値は最頻値と近い値になる。以上のように、第1及び第2の実施形態では、各BF出力信号間の振幅スペクトルの比率の最頻値もしくは中央値をパワー補正係数として算出する。算出したパワー補正係数を用い、各BF出力信号に含まれる目的エリア音成分のパワーが全て等しくなるように補正した後、上記手法により目的エリア音を抽出する。
また、第3及び第4の実施形態では、まず各BF出力信号のパワーの差の2乗が最小になる値を算出し、この最小値を目的エリア音成分のパワー補正係数とする。各BF出力信号の目的エリア音成分の分布は正規化すると同じになるため、各BF後のパワーの差が最小になったときが、目的エリア音成分のパワーが一致した状態であると考えられる。算出したパワー補正係数を用い、各BF出力信号に含まれる目的エリア音成分のパワーが全て等しくなるように補正した後、上記手法により目的エリア音を抽出する。
(B)第1の実施形態
以下では、本発明に係る収音装置及びプログラムの第1の実施形態を、図面を参照しながら詳細に説明する。
以下では、本発明に係る収音装置及びプログラムの第1の実施形態を、図面を参照しながら詳細に説明する。
(B−1)第1の実施形態の構成
図1は、第1の実施形態に係る収音装置の構成を示すブロック図である。収音装置10Aにおける、デジタル信号に変換された後の処理構成を、CPUと、CPUが実行するプログラムで実現することもできるが、機能的には、図1で表すことができる。
図1は、第1の実施形態に係る収音装置の構成を示すブロック図である。収音装置10Aにおける、デジタル信号に変換された後の処理構成を、CPUと、CPUが実行するプログラムで実現することもできるが、機能的には、図1で表すことができる。
図1において、第1の実施形態に係る収音装置10Aは、マイクロホンアレイ1、マイクロホンアレイ2、データ入力部3、指向性形成部4、マイクロホンアレイ間遅延補正部5、目的エリア音パワー補正係数算出部6、目的エリア音抽出部7を備える。
マイクロホンアレイ1は、目的エリアが存在する空間の、目的エリアを指向できる場所に配置される。マイクロホンアレイ1は、2個以上のマイクロホンから構成され、各マイクロホンにより音響を収音し、音響信号を当該収音装置10Aのデータ入力部3に入力するものである。
マイクロホンアレイ2は、マイクロホンアレイ1と同様の構成を有するものであり、マイクロホンアレイ1と異なる場所に配置される。
マイクロホンアレイ1、2を構成する複数個のマイクロホンの配置はBFを実行できる配置であれば良く、例えば、横一列、縦一列、十字状又は格子状のいずれかであっても良い。また、マイクロホンアレイの配置数は、2個以上であっても良い。
データ入力部3は、マイクロホンアレイ1、2で収音された音響信号をアナログ信号からデジタル信号(データ)に変換するものである。
指向性形成部4は、全てのマイクロホンアレイ1、2からの出力信号に基づいてBFにより目的エリアに向けた指向性ビームを形成するものである。BFは、加算型の遅延和法、減算型のSSなど各種手法を適用することができる。また、ターゲットとする目的エリアの範囲に応じて、指向性形成部4は指向性の強度を変更できる。
マイクロホンアレイ間遅延補正部5は、各マイクロホンアレイ1、2のBF後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到達するように、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正するものである。
目的エリア音パワー補正係数算出部6は、各BF後のデータに含まれる目的エリア音成分のパワーを全て同じ大きさにするための補正係数を算出するものである。
目的エリア音抽出部7は、目的エリア音パワー補正係数算出部6で算出した補正係数により補正した各BF出力データをSSし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、目的エリア音抽出部7は、抽出した非目的エリア音を、各BF出力データからSSすることにより目的エリア音を抽出して出力するものである。
図2は、目的エリア音抽出部7の構成を示すブロック図である。ここで、マイクロホンアレイ1、2のBF後の出力データをX1(n)、X2(n)とし、各BF出力データに対するパワー補正係数をα1(n)、α2(n)とする。また、マイクロホンアレイ1からみた目的エリア方向に存在する非目的エリア音成分をN1(n)とし、マイクロホンアレイ2からみた目的エリア方向に存在する非目的エリア音成分をN2(n)とする。
この場合、目的エリア音抽出部7は、マイクロホンアレイ2のBF出力データX2にパワー補正係数α1(n)を掛けてSSを行い、マイクロホンアレイ1のBF出力データX1(n)に含まれる目的エリア方向の非目的エリア音成分N1(n)を抽出する。さらに、目的エリア音抽出部7は、マイクロホンアレイ1のBF出力データX1(n)に対しN1(n)をSSし、目的エリア音成分Y1(n)を抽出する。
目的エリア音成分Y2(n)についても同様に、目的エリア音抽出部7は、マイクロホンアレイ1のBF出力データX1にパワー補正係数α2(n)を掛けてSSを行い、マイクロホンアレイ2のBF出力データX2(n)に含まれる目的エリア方向の非目的エリア音成分N2(n)を抽出する。さらに、目的エリア音抽出部7は、マイクロホンアレイ2のBF出力データX2(n)に対しN2(n)をSSし、目的エリア音成分Y2(n)を抽出する。
(B−2)第1の実施形態の動作
次に、第1の実施形態に係る収音装置10Aの処理を説明する。図3は、第1の実施形態に係る収音装置10Aの処理を示すフローチャートである。
次に、第1の実施形態に係る収音装置10Aの処理を説明する。図3は、第1の実施形態に係る収音装置10Aの処理を示すフローチャートである。
目的エリアがある空間に存在する各種の音源からの音響は、マイクロホンアレイ1、2を構成するマイクロホンによって収音され、マイクロホンアレイ1、2で取得した音響信号がデータ入力部3に入力し、音響信号がデジタル信号に変換される(S1)。
指向性形成部4は、全てのマイクロホンアレイ1、2の出力に対し、BFによって目的エリア方向へ指向性を形成する(S2)。
マイクロホンアレイ間遅延補正部5は、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正する(S3)。
マイクロホンアレイ間遅延補正部5は、まず目的エリアの位置とマイクロホンアレイの位置から、各マイクロホンアレイへの目的エリア音の到達時間を算出する。そして、最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。マイクロホンアレイ間遅延補正部5によるこの操作により、任意に配置した各マイクロホンアレイ1、2の出力データを同時に扱うことが可能となる。
目的エリア音パワー補正係数算出部6は、各マイクロホンアレイ1、2からのBF後の出力データに含まれる目的エリア音成分のパワーを全て同じにするための目的エリア音パワー補正係数を算出する(S4)。
パワー補正係数を求めるために、目的エリア音パワー補正係数算出部6は、まず各BF出力データX1、X2間で振幅スペクトルの比率を求める。この際、指向性形成部4でBFを時間領域で行なっている場合には、各BF出力データを周波数領域に変換する。そして、目的エリア音パワー補正係数算出部6は、求めた比率から最頻値を算出し、その値をパワー補正係数とする((7)、(8)式)。または、目的エリア音パワー補正係数算出部6は、比率の中央値を算出し、パワー補正係数とすることもできる((9)、(10)式)。
ここで、X1k(n)、X2k(n)はマイクロホンアレイ1、2のBF後の出力データ、Nは周波数ビンの総数、kは周波数、α1(n)、α2(n)は各BF出力に対するパワー補正係数である。目的エリア音パワー補正係数算出部6は、パワー補正係数を全て求める必要はなく、一方を求めたらもう一方を、その逆数としてもよい。つまり、目的エリア音パワー補正係数算出部6がα1(n)を求めたら、もう一方のα2(n)については、α2(n)=1/α1(n)とすることができる。
目的エリア音抽出部7は、目的エリア音パワー補正係数算出部6で算出したパワー補正係数により補正した各BF出力データをSSし、目的エリア方向に存在する非目的エリア音を抽出する(S5)。さらに、目的エリア音抽出部7は、抽出した非目的エリア音を各BFの出力からSSすることにより目的エリア音を抽出する(S6)。マイクロホンアレイ1からみた目的エリア方向に存在する非目的エリア音N1(n)を抽出するには、(11)式に示すように、マイクロホンアレイ1のBF出力X1(n)からマイクロホンアレイ2のBF出力X2(n)にパワー補正係数α2を掛けたものをSSする。同様に(12)式に従い、マイクロホンアレイ2からみた目的エリア方向に存在する非目的エリア音N2(n)を抽出する。
その後、目的エリア音抽出部7は、(13)式、(14)式に従い、各BF出力データから非目的エリア音をSSすることにより目的エリア音を抽出する。(13)式、(14)式のγ1(n)、γ2(n)はSS時の強度を変更するための係数である。
第1の実施形態の効果を示すために以下の実験を行った。
図4は、マイクロホンアレイ1、2と音源の配置を示したものである。収音対象のエリアを一辺が2mの正方形とし、収音対象エリアを4つの区画に分けた。その内3つのエリアに、目的エリア音源1個と、非目的エリア音源を2個配置した。音源は全てヒトの声であり、これらをほぼ同じ音量で同時に再生し、マイクロホンアレイで録音した。マイクロホンアレイは2台使用し、それぞれ正面方向に目的エリア音源と非目的エリア音源が重なるように配置する。
図4(A)の配置パターン1では、各マイクロホンアレイ1、2に対し、目的エリア音源を非目的エリア音源の手前に配置した。また図4(B)の配置パターン2では、目的エリア音源を非目的エリア音源の奥に配置した。各マイクロホンアレイ1、2は、同数のマイクロホンから構成され、1台のマイクロホンアレイに使用したマイクロホンの数は2個とした。マイクロホン間隔は全て3cmとした。録音したデータを用い、本発明方式とマイクロホンアレイ単独でのBFの非目的エリア音の抑圧量を、計算機シミュレーションにより比較した。BFの手法は既存の減算型BF(非特許文献2参照)を用いた。
非目的エリア音をどの程度抑圧できるのかをNoise Reduction Rate(NRR)を用いて評価した。
図5は、それぞれの配置パターンでの非目的エリア音の抑圧量を示したものである。図5(A)の配置パターン1では、本発明方式は、マイクロホンアレイ単独のBFに比べ、約3dB非目的エリア音の抑圧量が大きい。図5(B)の配置パターン2においても、本発明方式の方が、マイクロホンアレイ単独のBFよりも約3.6dB大きく抑圧できている。このように本実施形態によれば、目的エリア方向に存在する非目的エリア音を抑圧することができる。
(B−3)第1の実施形態の効果
第1の実施形態によれば、各BFの出力に含まれる目的エリア音成分の大きさを補正することにより目的エリア音を抽出するため、各マイクロホンアレイの位置を調整することなく、目的エリアが非目的エリア音源に囲まれている状況でも目的エリア昔のみを強調することができる。つまり複数のマイクロホンアレイを異なる方向に一度配置するだけで目的エリア音のみを強調することができる。
第1の実施形態によれば、各BFの出力に含まれる目的エリア音成分の大きさを補正することにより目的エリア音を抽出するため、各マイクロホンアレイの位置を調整することなく、目的エリアが非目的エリア音源に囲まれている状況でも目的エリア昔のみを強調することができる。つまり複数のマイクロホンアレイを異なる方向に一度配置するだけで目的エリア音のみを強調することができる。
また、第1の実施形態によれば、指向性形成部が形成する指向性を変更することができるので、複数のマイクロホンアレイの位置などを変更することなく、目的エリアの変更にも容易に対応することができる。
さらに、第1の実施形態によれば、減算型BFを使用することができるため、1個のマイクロホンアレイを、少ないマイクロホンで構成することができる。
(C)第2の実施形態
第1の実施形態では、目的エリア音が抽出されたデータは、マイクロホンアレイの数だけ出力される。エリア収音装置を使用する際、これらのデータの中から最終的に1つのデータを選択して出力する状況が想定される。
第1の実施形態では、目的エリア音が抽出されたデータは、マイクロホンアレイの数だけ出力される。エリア収音装置を使用する際、これらのデータの中から最終的に1つのデータを選択して出力する状況が想定される。
そこで第2の実施形態は、目的エリアと各マイクロホンアレイの距離や、目的エリア音と非目的エリア音のSNの比を特徴量として利用し、最も目的エリア音が強調されているデータを選択する出力データ選択部を備える。
以下、本発明に係る収音装置及びプログラムの第2の実施形態を、図面を参照して説明する。
(C−1)第2の実施形態の構成
図6は、第2の実施形態に係る収音装置の構成を示すブロック図である。図6において、第2の実施形態に係る収音装置10Bは、マイクロホンアレイ1、マイクロホンアレイ2、データ入力部3、指向性形成部4、マイクロホンアレイ間遅延補正部5、目的エリア音パワー補正係数算出部6、目的エリア音抽出部7、出力データ選択部8を備える。
図6は、第2の実施形態に係る収音装置の構成を示すブロック図である。図6において、第2の実施形態に係る収音装置10Bは、マイクロホンアレイ1、マイクロホンアレイ2、データ入力部3、指向性形成部4、マイクロホンアレイ間遅延補正部5、目的エリア音パワー補正係数算出部6、目的エリア音抽出部7、出力データ選択部8を備える。
第2の実施形態に係る収音装置10Bは、第1の実施形態で説明した構成要素に加えて、目的エリア音抽出部7の後段に出力データ選択部8を備える。
出力データ選択部8は、目的エリア音抽出部7の出力の中から、目的エリアと各マイクロホンアレイ1、2との距離もしくはSN比を、目的エリア音強調の指標とし、最も目的エリア音が強調されているデータを選択するものである。
(C−2)第2の実施形態の動作
次に、第2の実施形態に係る収音装置10Bの処理を説明する。図7は、第2の実施形態に係る収音装置10Bの処理を示すフローチャートである。図7において、S1〜S6の処理は図3のS1〜S6の処理と同様である。
次に、第2の実施形態に係る収音装置10Bの処理を説明する。図7は、第2の実施形態に係る収音装置10Bの処理を示すフローチャートである。図7において、S1〜S6の処理は図3のS1〜S6の処理と同様である。
出力データ選択部8は、目的エリア音抽出部7で目的エリア音を抽出した複数個のデータから、最も目的エリア音が強調されているデータを選択する(S7)。
出力データ選択部8は、目的エリア音強調の指標を、目的エリアとマイクロホンアレイ1、2との間の距離として、距離が最も近いものを出力データとして選択する。もしくは、SN比(この場合はYi(n)/Ni(n))を目的エリア音強調の指標とし、出力データ選択部8は最もSN比が良いものを選択する。さらに、出力データ選択部8は、これらの指標を組み合わせて選択することもできる。
(C−3)第2の実施形態の効果
第2の実施形態によれば、第1の実施形態の効果に加えて、複数存在する目的エリア音が抽出されたデータの中から、最も目的エリア音が強調されたデータを選択し、出力することが可能になる。
第2の実施形態によれば、第1の実施形態の効果に加えて、複数存在する目的エリア音が抽出されたデータの中から、最も目的エリア音が強調されたデータを選択し、出力することが可能になる。
(D)第1及び第2の実施形態の変形実施形態
上記第1及び第2の実施形態では、マイクロホンアレイが2個の場合を示したが、マイクロホンアレイは3個以上あってもよい。この場合において(7)〜(14)の各数式は、以下の様に拡張できる。ここでMはマイクロホンアレイの総数である。
上記第1及び第2の実施形態では、マイクロホンアレイが2個の場合を示したが、マイクロホンアレイは3個以上あってもよい。この場合において(7)〜(14)の各数式は、以下の様に拡張できる。ここでMはマイクロホンアレイの総数である。
(E)第3の実施形態
以下では、本発明に係る収音装置及びプログラムの第3の実施形態を、図面を参照して詳細に説明する。
以下では、本発明に係る収音装置及びプログラムの第3の実施形態を、図面を参照して詳細に説明する。
(E−1)第3の実施形態の構成
図8は、第3の実施形態に係る収音装置の構成を示すブロック図である。収音装置10Cにおける、デジタル信号に変換された後の処理構成を、CPUと、CPUが実行するプログラムで実現することもできるが、機能的には、図8で表すことができる。
図8は、第3の実施形態に係る収音装置の構成を示すブロック図である。収音装置10Cにおける、デジタル信号に変換された後の処理構成を、CPUと、CPUが実行するプログラムで実現することもできるが、機能的には、図8で表すことができる。
第3の実施形態に係る収音装置10Cは、マイクロホンアレイ1、マイクロホンアレイ2、データ入力部3、指向性形成部4、マイクロホンアレイ間遅延補正部5、目的エリア音パワー補正係数算出部9、目的エリア音抽出部7を備える。
マイクロホンアレイ1は、目的エリアが存在する空間の、目的エリアを指向できる場所に配置される。マイクロホンアレイ1は、2個以上のマイクロホンから構成され、各マイクロホンにより音響を収音し、音響信号を当該収音装置10Aのデータ入力部3に入力するものである。
マイクロホンアレイ2は、マイクロホンアレイ1と同様の構成を有するものであり、マイクロホンアレイ1と異なる場所に配置される。
マイクロホンアレイ1、2を構成する複数個のマイクロホンの配置はBFを実行できる配置であれば良く、例えば、横一列、縦一列、十字状又は格子状のいずれかであっても良い。また、マイクロホンアレイの配置数は、2個以上であっても良い。
データ入力部3は、マイクロホンアレイ1、2で収音された音響信号をアナログ信号からデジタル信号(データ)に変換するものである。
指向性形成部4は、全てのマイクロホンアレイ1、2からの出力信号に基づいてBFにより目的エリアに向けた指向性ビームを形成するものである。BFは、加算型の遅延和法、減算型のSSなど各種手法を適用することができる。また、ターゲットとする目的エリアの範囲に応じて、指向性形成部4は指向性の強度を変更できる。
マイクロホンアレイ間遅延補正部5は、各マイクロホンアレイ1、2のBF後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到達するように、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正するものである。
目的エリア音パワー補正係数算出部9は、各BF後のデータに含まれる目的エリア音成分のパワーを全て同じ大きさにするためのパワー補正係数を算出するものである。つまり、目的エリア音パワー補正係数算出部9は、各マイクロホンアレイ1、2のBF出力のパワーの差の2乗を最も小さくする係数を算出し、これをパワー補正係数とする。
目的エリア音抽出部7は、目的エリア音パワー補正係数算出部9で算出したパワー補正係数により補正した各BF出力データをSSし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、目的エリア音抽出部7は、抽出した非目的エリア音を、各BF出力データからSSすることにより目的エリア音を抽出して出力するものである。
図2は、目的エリア音抽出部7の構成を示すブロック図である。ここで、マイクロホンアレイ1、2のBF後の出力データをX1(n)、X2(n)とし、各BF出力データに対するパワー補正係数をα1(n)、α2(n)とする。また、マイクロホンアレイ1からみた目的エリア方向に存在する非目的エリア音成分をN1(n)とし、マイクロホンアレイ2からみた目的エリア方向に存在する非目的エリア音成分をN2(n)とする。
この場合、目的エリア音抽出部7は、マイクロホンアレイ2のBF出力データX2にパワー補正係数α1(n)を掛けてSSを行い、マイクロホンアレイ1のBF出力データX1(n)に含まれる目的エリア方向の非目的エリア音成分N1(n)を抽出する。さらに、目的エリア音抽出部7は、マイクロホンアレイ1のBF出力データX1(n)に対しN1(n)をSSし、目的エリア音成分Y1(n)を抽出する。
目的エリア音成分Y2(n)についても同様に、目的エリア音抽出部7は、マイクロホンアレイ1のBF出力データX1にパワー補正係数α2(n)を掛けてSSを行い、マイクロホンアレイ2のBF出力データX2(n)に含まれる目的エリア方向の非目的エリア音成分N2(n)を抽出する。さらに、目的エリア音抽出部7は、マイクロホンアレイ2のBF出力データX2(n)に対しN2(n)をSSし、目的エリア音成分Y2(n)を抽出する。
(E−2)第3の実施形態の動作
次に、実施形態に係る収音装置の動作を説明する。図9は、第3の実施形態に係る収音装置10Cの処理を示すフローチャートである。
次に、実施形態に係る収音装置の動作を説明する。図9は、第3の実施形態に係る収音装置10Cの処理を示すフローチャートである。
目的エリアがある空間に存在する各種の音源からの音響は、マイクロホンアレイ1、2を構成するマイクロホンによって収音され、マイクロホンアレイ1、2で取得した音響信号がデータ入力部3に入力し、音響信号がデジタル信号に変換される(S1)。
指向性形成部4は、全てのマイクロホンアレイ1、2の出力に対し、BFによって目的エリア方向へ指向性を形成する(S2)。
マイクロホンアレイ間遅延補正部5は、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を補正する(S3)。
マイクロホンアレイ間遅延補正部5は、まず目的エリアの位置とマイクロホンアレイの位置から、各マイクロホンアレイへの目的エリア音の到達時間を算出する。そして、最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。マイクロホンアレイ間遅延補正部5によるこの操作により、任意に配置した各マイクロホンアレイ1、2の出力データを同時に扱うことが可能となる。
目的エリア音パワー補正係数算出部9は、マイクロホンアレイ1、2からの各BF出力データに含まれる目的エリア音成分のパワーを全て同じにするためのパワー補正係数を算出する。この際、目的エリア音パワー補正係数算出部9は、各マイクロホンアレイ1、2のBF後の出力の差が最も小さくなるように目的エリア音パワー補正係数を更新する(S14)。
図10は、目的エリア音パワー補正係数算出部9の構成を示すブロック図である。目的エリア音パワー補正係数算出部9は、パワー補正係数を求めるために、(19)式、(20)式に従い、2個のマイクロホンアレイ1、2のBF後出力のパワーの差の2乗した評価関数の値を算出する。この際、指向性形成部4でBFを時間領域で行なっている場合は、目的エリア音パワー補正係数算出部9はBF後出力データを周波数領域に変換する。
ここで、X1k(n)、X2k(n)はマイクロホンアレイ1、2のBF後出力データ、Nは周波数ビンの総数、kは周波数、α1(n)、α2(n)は各BF出力に対するパワー補正係数である。
目的エリア音パワー補正係数算出部9は、評価関数J1(n),J2(n)の値が最も小さくなるように、(21)式、(22)式に従い、パワー補正係数α1(n)、α2(n)を更新する。ρは学習係数である。計算量を減らすために、目的エリア音パワー補正係数算出部9は、一方のパワー補正係数を先に求め、他方のパワー補正係数を、一方のパワー補正係数の逆数としても良い。
目的エリア音抽出部7は、目的エリア音パワー補正係数算出部6で算出した補正係数により補正した各BF出力データをSSし、目的エリア方向に存在する非目的エリア音を抽出する(S5)。さらに、目的エリア音抽出部7は、抽出した非目的エリア音を各BFの出力データからSSすることにより目的エリア音を抽出する(S6)。
マイクロホンアレイ1からみた目的エリア方向に存在する非目的エリア音N1(n)を抽出するには、(11)式に示すように、マイクロホンアレイ1のBF出力X1(n)からマイクロホンアレイ2のBF出力X2(n)にパワー補正係数α2を掛けたものをSSする。同様に(12)式に従い、マイクロホンアレイ2からみた目的エリア方向に存在する非目的エリア音N2(n)を抽出する。
その後、目的エリア音抽出部7は、(13)式、(14)式に従い、各BF出力データから非目的エリア音をSSすることにより目的エリア音を抽出する。(13)式、(14)式のγ1(n)、γ2(n)はSS時の強度を変更するための係数である。
第3の実施形態の効果を示すために以下の実験を行った。
図11は、マイクロホンアレイ1、2と音源の配置を示したものである。収音対象のエリアを一辺が2mの正方形とし、収音対象エリアを4つの区画に分けた。その内3つのエリアに、目的エリア音源1個と、非目的エリア音源を2個配置した。音源は全てヒトの声であり、これらをほぼ同じ音量で同時に再生し、マイクロホンアレイで録音した。マイクロホンアレイは2台使用し、それぞれ正面方向に目的エリア音源と非目的エリア音源が重なるように配置する。
図11(A)の配置パターン1では、各マイクロホンアレイ1、2に対し、目的エリア音源を非目的エリア音源の手前に配置した。また図11(B)の配置パターン2では、目的エリア音源を非目的エリア音源の奥に配置した。各マイクロホンアレイ1、2は、同数のマイクロホンから構成され、1台のマイクロホンアレイに使用したマイクロホンの数は2個とした。マイクロホン間隔は全て3cmとした。録音したデータを用い、本発明方式とマイクロホンアレイ単独でのBFの非目的エリア音の抑圧量を、計算機シミュレーションにより比較した。BFの手法は既存の減算型BF(非特許文献2参照)を用いた。
非目的エリア音をどの程度抑圧できるのかをNoise Reduction Rate(NRR)を用いて評価した。
図12は、それぞれの配置パターンでの非目的エリア音の抑圧量を示したものである。図12(A)の配置パターン1では、本発明方式は、マイクロホンアレイ単独のBFに比べ、約4dB非目的エリア音の抑圧量が大きい。図12(B)の配置パターン2においても、本発明方式の方が、マイクロホンアレイ単独のBFよりも約5.5dB大きく抑圧できている。このように、第3の実施形態によれば、目的エリア方向に存在する非目的エリア音を抑圧することができる。
(E−3)第3の実施形態の効果
第3の実施形態によれば、各BFの出力に含まれる目的エリア音成分の大きさを補正することにより目的エリア音を抽出するため、各マイクロホンアレイの位置を調整することなく、目的エリアが非目的エリア音源に囲まれている状況でも目的エリア昔のみを強調することができる。つまり複数のマイクロホンアレイを異なる方向に一度配置するだけで目的エリア音のみを強調することができる。
第3の実施形態によれば、各BFの出力に含まれる目的エリア音成分の大きさを補正することにより目的エリア音を抽出するため、各マイクロホンアレイの位置を調整することなく、目的エリアが非目的エリア音源に囲まれている状況でも目的エリア昔のみを強調することができる。つまり複数のマイクロホンアレイを異なる方向に一度配置するだけで目的エリア音のみを強調することができる。
また、第3の実施形態によれば、指向性形成部が形成する指向性を変更することができるので、複数のマイクロホンアレイの位置などを変更することなく、目的エリアの変更にも容易に対応することができる。
さらに、第3の実施形態によれば、減算型BFを使用することができるため、1個のマイクロホンアレイを、少ないマイクロホンで構成することができる。
(F)第4の実施形態
第3の実施形態では、目的エリア音が抽出されたデータは、マイクロホンアレイの数だけ出力される。エリア収音装置を使用する際、これらのデータの中から最終的に1つのデータを選択して出力する状況が想定される。そこで第4の実施形態は、目的エリアと各マイクロホンアレイの距離や、目的エリア音と非目的エリア音のSNの比を特徴量として利用し、最も目的エリア音が強調されているデータを選択する出力データ選択部を備える。
第3の実施形態では、目的エリア音が抽出されたデータは、マイクロホンアレイの数だけ出力される。エリア収音装置を使用する際、これらのデータの中から最終的に1つのデータを選択して出力する状況が想定される。そこで第4の実施形態は、目的エリアと各マイクロホンアレイの距離や、目的エリア音と非目的エリア音のSNの比を特徴量として利用し、最も目的エリア音が強調されているデータを選択する出力データ選択部を備える。
以下、本発明による収音装置及びプログラムの第4の実施形態を図面を参照して説明する。
(F−1)第4の実施形態の構成
図13は、第4の実施形態に係る収音装置の構成を示すブロック図である。図13において、第4の実施形態に係る収音装置10Dは、マイクロホンアレイ1、マイクロホンアレイ2、データ入力部3、指向性形成部4、マイクロホンアレイ間遅延補正部5、目的エリア音パワー補正係数算出部9、目的エリア音抽出部7、出力データ選択部8を備える。
図13は、第4の実施形態に係る収音装置の構成を示すブロック図である。図13において、第4の実施形態に係る収音装置10Dは、マイクロホンアレイ1、マイクロホンアレイ2、データ入力部3、指向性形成部4、マイクロホンアレイ間遅延補正部5、目的エリア音パワー補正係数算出部9、目的エリア音抽出部7、出力データ選択部8を備える。
第4の実施形態に係る収音装置10Dは、第3の実施形態で説明した構成要素に加えて、目的エリア音抽出部7の後段に出力データ選択部8を備える。
出力データ選択部8は、目的エリア音抽出部7の出力の中から、目的エリアと各マイクロホンアレイ1、2との距離もしくはSN比を、目的エリア音強調の指標とし、最も目的エリア音が強調されているデータを選択するものである。
(F−2)第4の実施形態の動作
次に、第4の実施形態に係る収音装置10Dの処理を説明する。図14は、第4の実施形態に係る収音装置10Dの処理を示すフローチャートである。図14において、S1、S2、S3、S14、S5、S6の処理は図9のS1、S2、S3、S14、S5、S6の処理と同様である。
次に、第4の実施形態に係る収音装置10Dの処理を説明する。図14は、第4の実施形態に係る収音装置10Dの処理を示すフローチャートである。図14において、S1、S2、S3、S14、S5、S6の処理は図9のS1、S2、S3、S14、S5、S6の処理と同様である。
出力データ選択部8は、目的エリア音抽出部7で目的エリア音を抽出した複数個のデータから、最も目的エリア音が強調されているデータを選択する(S7)。
出力データ選択部8は、目的エリア音強調の指標を、目的エリアとマイクロホンアレイ1、2との間の距離として、距離が最も近いものを出力データとして選択する。もしくは、SN比(この場合はYi(n)/Ni(n))を目的エリア音強調の指標とし、出力データ選択部8は最もSN比が良いものを選択する。さらに、出力データ選択部8は、これらの指標を組み合わせて選択することもできる。
(F−3)第4の実施形態の効果
第4の実施形態によれば、第3の実施形態の効果に加えて、複数存在する目的エリア音が抽出されたデータの中から、最も目的エリア音が強調されたデータを選択し、出力することが可能になる。
第4の実施形態によれば、第3の実施形態の効果に加えて、複数存在する目的エリア音が抽出されたデータの中から、最も目的エリア音が強調されたデータを選択し、出力することが可能になる。
(G)第3及び第4の実施形態の変形実施形態
上記第3及び第4の実施形態では、マイクロホンアレイが2つのものを示したが、マイクロホンアレイは3個以上あってもよい。この場合において(19)〜(22)の各数式は、以下の様に拡張できる。ここでMはマイクロホンアレイの総数である。
上記第3及び第4の実施形態では、マイクロホンアレイが2つのものを示したが、マイクロホンアレイは3個以上あってもよい。この場合において(19)〜(22)の各数式は、以下の様に拡張できる。ここでMはマイクロホンアレイの総数である。
(H)他の実施形態
上記各実施形態では、マイクロホンアレイが捕捉して得た音響信号をリアルタイムに処理するものを示したが、マイクロホンアレイが捕捉して得た音響信号を記憶媒体に記憶させ、その後、記憶媒体から読み出して処理して目的エリア音の強調信号を得るようにしても良い。このように記憶媒体を利用する場合には、マイクロホンアレイが設定されている場所と、強調処理をする場所とが離れていても良い。同様に、リアルタイムに処理する場合にも、マイクロホンアレイが設定されている場所と、強調処理する場所とが離れていても良く、通信により信号を遠隔地に供給するようにしても良い。以上のような記憶媒体や通信を利用したりする場合も、本発明の「収音装置」の概念に含まれるものとする。
上記各実施形態では、マイクロホンアレイが捕捉して得た音響信号をリアルタイムに処理するものを示したが、マイクロホンアレイが捕捉して得た音響信号を記憶媒体に記憶させ、その後、記憶媒体から読み出して処理して目的エリア音の強調信号を得るようにしても良い。このように記憶媒体を利用する場合には、マイクロホンアレイが設定されている場所と、強調処理をする場所とが離れていても良い。同様に、リアルタイムに処理する場合にも、マイクロホンアレイが設定されている場所と、強調処理する場所とが離れていても良く、通信により信号を遠隔地に供給するようにしても良い。以上のような記憶媒体や通信を利用したりする場合も、本発明の「収音装置」の概念に含まれるものとする。
10A、10B、10C、10D…収音装置、
1…マイクロホンアレイ、2…マクロホンアレイ、3…データ入力部、
4…指向性形成部、5…マイクロホンアレイ間遅延補正部、
6及び9…目的エリア音パワー補正係数算出部、7…目的エリア音抽出部。
1…マイクロホンアレイ、2…マクロホンアレイ、3…データ入力部、
4…指向性形成部、5…マイクロホンアレイ間遅延補正部、
6及び9…目的エリア音パワー補正係数算出部、7…目的エリア音抽出部。
Claims (5)
- 複数のマイクロホンアレイと、
上記各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部と、
上記各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと上記各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部と、
上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、上記各マイクロホンアレイのビームフォーマ出力間の振幅スペクトルの比率の最頻値もしくは中央値を算出し、補正係数とする目的エリア音パワー補正係数算出部と、
上記目的エリア音パワー補正係数算出部で算出した補正係数を用い、上記各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部と
を備えることを特徴とする収音装置。 - 複数のマイクロホンアレイと、
上記各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部と、
上記各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと上記各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部と、
上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、上記各マイクロホンアレイのビームフォーマ出力のパワーの差の2乗を最も小さくする係数を算出し、補正係数とする目的エリア音パワー補正係数算出部と、
上記目的エリア音パワー補正係数算出部で算出した補正係数を用い、上記各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部と
を備えることを特徴とする収音装置。 - 上記目的エリア音抽出部の出力の中から、目的エリアと上記各マイクロホンアレイの距離もしくはSN比を目的エリア音強調の指標とし、最も目的エリア音が強調されているデータを選択する出力データ選択部を備えることを特徴とする請求項1又は2に記載の収音装置。
- 複数のマイクロホンアレイからの信号が与えられるコンピュータを、
上記各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部、
上記各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと上記各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部、
上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、上記各マイクロホンアレイのビームフォーマ出力間の振幅スペクトルの比率の最頻値もしくは中央値を算出し、補正係数とする目的エリア音パワー補正係数算出部、
上記目的エリア音パワー補正係数算出部で算出した補正係数を用い、上記各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部
として機能させることを特徴とする収音プログラム。 - 複数のマイクロホンアレイからの信号が与えられるコンピュータを、
上記各マイクロホンアレイの出力に対し、ビームフォーマによって目的エリア方向へ指向性を形成する指向性形成部、
上記各マイクロホンアレイのビームフォーマ後の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと上記各マイクロホンアレイの距離の違いにより発生する遅延を補正するマイクロホンアレイ間遅延補正部、
上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするために、上記各マイクロホンアレイのビームフォーマ出力のパワーの差の2乗を最も小さくする係数を算出し、補正係数とする目的エリア音パワー補正係数算出部、
上記目的エリア音パワー補正係数算出部で算出した補正係数を用い、上記各マイクロホンアレイのビームフォーマ出力を補正し、それぞれをスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部
として機能させることを特徴とする収音プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012217315A JP5482854B2 (ja) | 2012-09-28 | 2012-09-28 | 収音装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012217315A JP5482854B2 (ja) | 2012-09-28 | 2012-09-28 | 収音装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014072708A true JP2014072708A (ja) | 2014-04-21 |
JP5482854B2 JP5482854B2 (ja) | 2014-05-07 |
Family
ID=50747533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012217315A Active JP5482854B2 (ja) | 2012-09-28 | 2012-09-28 | 収音装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5482854B2 (ja) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015171030A (ja) * | 2014-03-07 | 2015-09-28 | 沖電気工業株式会社 | 収音装置及びプログラム |
JP2017022468A (ja) * | 2015-07-07 | 2017-01-26 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US9781508B2 (en) | 2015-01-05 | 2017-10-03 | Oki Electric Industry Co., Ltd. | Sound pickup device, program recorded medium, and method |
JP2017183902A (ja) * | 2016-03-29 | 2017-10-05 | 沖電気工業株式会社 | 収音装置及びプログラム |
JP6241520B1 (ja) * | 2016-08-31 | 2017-12-06 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US20170374463A1 (en) * | 2016-06-27 | 2017-12-28 | Canon Kabushiki Kaisha | Audio signal processing device, audio signal processing method, and storage medium |
JP6260666B1 (ja) * | 2016-09-30 | 2018-01-17 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US9911428B2 (en) | 2016-03-31 | 2018-03-06 | Fujitsu Limited | Noise suppressing apparatus, speech recognition apparatus, and noise suppressing method |
EP3291229A1 (en) * | 2016-08-30 | 2018-03-07 | Fujitsu Limited | Sound processing program, sound processing device, and sound processing method |
US10085087B2 (en) | 2017-02-17 | 2018-09-25 | Oki Electric Industry Co., Ltd. | Sound pick-up device, program, and method |
JP2019068133A (ja) * | 2017-09-28 | 2019-04-25 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US10375499B2 (en) | 2016-06-29 | 2019-08-06 | Canon Kabushiki Kaisha | Sound signal processing apparatus, sound signal processing method, and storage medium |
JP2019161400A (ja) * | 2018-03-12 | 2019-09-19 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019169855A (ja) * | 2018-03-23 | 2019-10-03 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019169854A (ja) * | 2018-03-23 | 2019-10-03 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019169800A (ja) * | 2018-03-22 | 2019-10-03 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019176328A (ja) * | 2018-03-28 | 2019-10-10 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US10511927B2 (en) | 2016-10-25 | 2019-12-17 | Canon Kabushiki Kaisha | Sound system, control method of sound system, control apparatus, and storage medium |
US10547961B2 (en) | 2016-10-25 | 2020-01-28 | Canon Kabushiki Kaisha | Signal processing apparatus, signal processing method, and storage medium |
JP2020039055A (ja) * | 2018-09-04 | 2020-03-12 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
CN111131616A (zh) * | 2019-12-28 | 2020-05-08 | 科大讯飞股份有限公司 | 基于智能终端的音频共享方法及相关装置 |
JP2020167530A (ja) * | 2019-03-29 | 2020-10-08 | 沖電気工業株式会社 | 収音装置、収音プログラム及び収音方法 |
JP2021092695A (ja) * | 2019-12-11 | 2021-06-17 | 本田技研工業株式会社 | 音源分離装置、音源分離方法、およびプログラム |
US11095979B2 (en) | 2019-03-20 | 2021-08-17 | Oki Electric Industry Co., Ltd. | Sound pick-up apparatus, recording medium, and sound pick-up method |
JP2021125851A (ja) * | 2020-02-07 | 2021-08-30 | 沖電気工業株式会社 | 収音装置、収音プログラム及び収音方法 |
US11127396B2 (en) | 2018-09-28 | 2021-09-21 | Oki Electric Industry Co., Ltd. | Sound acquisition device, computer-readable storage medium and sound acquisition method |
US11825264B2 (en) | 2019-07-29 | 2023-11-21 | Oki Electric Industry Co., Ltd. | Sound pick-up apparatus, storage medium, and sound pick-up method |
JP7529064B1 (ja) | 2023-01-19 | 2024-08-06 | 沖電気工業株式会社 | 収音装置、収音プログラム、収音方法、判定装置、判定プログラム及び判定方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010026485A (ja) * | 2008-06-19 | 2010-02-04 | Nippon Telegr & Teleph Corp <Ntt> | 収音装置、収音方法、収音プログラム、記録媒体 |
-
2012
- 2012-09-28 JP JP2012217315A patent/JP5482854B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010026485A (ja) * | 2008-06-19 | 2010-02-04 | Nippon Telegr & Teleph Corp <Ntt> | 収音装置、収音方法、収音プログラム、記録媒体 |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015171030A (ja) * | 2014-03-07 | 2015-09-28 | 沖電気工業株式会社 | 収音装置及びプログラム |
US9781508B2 (en) | 2015-01-05 | 2017-10-03 | Oki Electric Industry Co., Ltd. | Sound pickup device, program recorded medium, and method |
JP2017022468A (ja) * | 2015-07-07 | 2017-01-26 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US9866957B2 (en) | 2015-07-07 | 2018-01-09 | Oki Electric Industry Co., Ltd. | Sound collection apparatus and method |
US9986332B2 (en) | 2016-03-29 | 2018-05-29 | Oki Electric Industry Co., Ltd. | Sound pick-up apparatus and method |
JP2017183902A (ja) * | 2016-03-29 | 2017-10-05 | 沖電気工業株式会社 | 収音装置及びプログラム |
US9911428B2 (en) | 2016-03-31 | 2018-03-06 | Fujitsu Limited | Noise suppressing apparatus, speech recognition apparatus, and noise suppressing method |
US20170374463A1 (en) * | 2016-06-27 | 2017-12-28 | Canon Kabushiki Kaisha | Audio signal processing device, audio signal processing method, and storage medium |
US10219076B2 (en) | 2016-06-27 | 2019-02-26 | Canon Kabushiki Kaisha | Audio signal processing device, audio signal processing method, and storage medium |
US10375499B2 (en) | 2016-06-29 | 2019-08-06 | Canon Kabushiki Kaisha | Sound signal processing apparatus, sound signal processing method, and storage medium |
US10094862B2 (en) | 2016-08-30 | 2018-10-09 | Fujitsu Limited | Sound processing device and sound processing method |
EP3291229A1 (en) * | 2016-08-30 | 2018-03-07 | Fujitsu Limited | Sound processing program, sound processing device, and sound processing method |
JP2018037844A (ja) * | 2016-08-31 | 2018-03-08 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
WO2018042773A1 (ja) * | 2016-08-31 | 2018-03-08 | 沖電気工業株式会社 | 収音装置、記録媒体及び方法 |
JP6241520B1 (ja) * | 2016-08-31 | 2017-12-06 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2018056902A (ja) * | 2016-09-30 | 2018-04-05 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP6260666B1 (ja) * | 2016-09-30 | 2018-01-17 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US10511927B2 (en) | 2016-10-25 | 2019-12-17 | Canon Kabushiki Kaisha | Sound system, control method of sound system, control apparatus, and storage medium |
US10547961B2 (en) | 2016-10-25 | 2020-01-28 | Canon Kabushiki Kaisha | Signal processing apparatus, signal processing method, and storage medium |
US10085087B2 (en) | 2017-02-17 | 2018-09-25 | Oki Electric Industry Co., Ltd. | Sound pick-up device, program, and method |
JP2019068133A (ja) * | 2017-09-28 | 2019-04-25 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
WO2019176153A1 (ja) * | 2018-03-12 | 2019-09-19 | 沖電気工業株式会社 | 収音装置、記憶媒体及び方法 |
JP7067146B2 (ja) | 2018-03-12 | 2022-05-16 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019161400A (ja) * | 2018-03-12 | 2019-09-19 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019169800A (ja) * | 2018-03-22 | 2019-10-03 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP7067173B2 (ja) | 2018-03-22 | 2022-05-16 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019169854A (ja) * | 2018-03-23 | 2019-10-03 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019169855A (ja) * | 2018-03-23 | 2019-10-03 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP7040198B2 (ja) | 2018-03-23 | 2022-03-23 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US10880642B2 (en) | 2018-03-28 | 2020-12-29 | Oki Electric Industry Co., Ltd. | Sound pick-up apparatus, medium, and method |
JP2019176328A (ja) * | 2018-03-28 | 2019-10-10 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2020039055A (ja) * | 2018-09-04 | 2020-03-12 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US11127396B2 (en) | 2018-09-28 | 2021-09-21 | Oki Electric Industry Co., Ltd. | Sound acquisition device, computer-readable storage medium and sound acquisition method |
US11095979B2 (en) | 2019-03-20 | 2021-08-17 | Oki Electric Industry Co., Ltd. | Sound pick-up apparatus, recording medium, and sound pick-up method |
JP2020167530A (ja) * | 2019-03-29 | 2020-10-08 | 沖電気工業株式会社 | 収音装置、収音プログラム及び収音方法 |
US11825264B2 (en) | 2019-07-29 | 2023-11-21 | Oki Electric Industry Co., Ltd. | Sound pick-up apparatus, storage medium, and sound pick-up method |
JP2021092695A (ja) * | 2019-12-11 | 2021-06-17 | 本田技研工業株式会社 | 音源分離装置、音源分離方法、およびプログラム |
CN111131616A (zh) * | 2019-12-28 | 2020-05-08 | 科大讯飞股份有限公司 | 基于智能终端的音频共享方法及相关装置 |
JP2021125851A (ja) * | 2020-02-07 | 2021-08-30 | 沖電気工業株式会社 | 収音装置、収音プログラム及び収音方法 |
JP7529064B1 (ja) | 2023-01-19 | 2024-08-06 | 沖電気工業株式会社 | 収音装置、収音プログラム、収音方法、判定装置、判定プログラム及び判定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5482854B2 (ja) | 2014-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5482854B2 (ja) | 収音装置及びプログラム | |
JP6187626B1 (ja) | 収音装置及びプログラム | |
JP6065028B2 (ja) | 収音装置、プログラム及び方法 | |
JP6065030B2 (ja) | 収音装置、プログラム及び方法 | |
JP4897519B2 (ja) | 音源分離装置,音源分離プログラム及び音源分離方法 | |
JP6131989B2 (ja) | 収音装置、プログラム及び方法 | |
JP5772151B2 (ja) | 音源分離装置、プログラム及び方法 | |
JP5494699B2 (ja) | 収音装置及びプログラム | |
JP6763332B2 (ja) | 収音装置、プログラム及び方法 | |
JP6540730B2 (ja) | 収音装置、プログラム及び方法、並びに、判定装置、プログラム及び方法 | |
JP5648760B1 (ja) | 収音装置及びプログラム | |
JP6436180B2 (ja) | 収音装置、プログラム及び方法 | |
JP2016163135A (ja) | 収音装置、プログラム及び方法 | |
JP6182169B2 (ja) | 収音装置、その方法及びプログラム | |
JP2009134102A (ja) | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 | |
JP2019068133A (ja) | 収音装置、プログラム及び方法 | |
JP6863004B2 (ja) | 収音装置、プログラム及び方法 | |
JP6241520B1 (ja) | 収音装置、プログラム及び方法 | |
JP6260666B1 (ja) | 収音装置、プログラム及び方法 | |
JP6065029B2 (ja) | 収音装置、プログラム及び方法 | |
JP6908142B1 (ja) | 収音装置、収音プログラム、及び収音方法 | |
JP6879340B2 (ja) | 収音装置、収音プログラム、及び収音方法 | |
JP6624256B1 (ja) | 収音装置、プログラム及び方法 | |
JP2017181761A (ja) | 信号処理装置及びプログラム、並びに、ゲイン処理装置及びプログラム | |
JP6885483B1 (ja) | 収音装置、収音プログラム及び収音方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5482854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |