JP2019054344A - フィルタ係数算出装置、収音装置、その方法、及びプログラム - Google Patents

フィルタ係数算出装置、収音装置、その方法、及びプログラム Download PDF

Info

Publication number
JP2019054344A
JP2019054344A JP2017175898A JP2017175898A JP2019054344A JP 2019054344 A JP2019054344 A JP 2019054344A JP 2017175898 A JP2017175898 A JP 2017175898A JP 2017175898 A JP2017175898 A JP 2017175898A JP 2019054344 A JP2019054344 A JP 2019054344A
Authority
JP
Japan
Prior art keywords
filter coefficient
vector
coefficient calculation
sound
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017175898A
Other languages
English (en)
Other versions
JP6815956B2 (ja
Inventor
江村 暁
Akira Emura
暁 江村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017175898A priority Critical patent/JP6815956B2/ja
Publication of JP2019054344A publication Critical patent/JP2019054344A/ja
Application granted granted Critical
Publication of JP6815956B2 publication Critical patent/JP6815956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】マイクロホン信号からターゲット音をよりクリアに抽出するためのフィルタ係数ベクトルを求める。【解決手段】フィルタ係数算出装置は、Nを2以上の整数の何れかとし、N個のマイクロホンからなるマイクロホンアレーにおける音源方向に対するステアリングベクトルをもとに、ターゲット音を無歪みで出力するという拘束条件のもとで、マイクロホンアレーの周波数領域のNチャネルマイクロホン信号にフィルタ係数ベクトルを適用して得られる値が疎になるようにフィルタ係数ベクトルを求める。【選択図】図3

Description

本発明は、複数のマイクロホンを用いてビームを形成するビームフォーミング技術を用いた収音装置、収音装置において用いるフィルタ係数を算出するフィルタ係数算出装置、その方法、及びプログラムに関する。
複数のマイクロホンを音場に設置してマルチチャネルのマイクロホン信号を取得し、そこからターゲットとする音声や音(以下、ターゲット音ともいう)をクリアに、ノイズやその他音声(以下、非ターゲット音ともいう)をできる限り取り除いて、取り出す技術のニーズが近年高まっている。そのために、複数のマイクロホンをもちいてビームを形成するビームフォーミング技術が近年さかんに研究開発されている。
ビームフォーミング技術では、図1のようにN個のマイクロホン91−n(ただし、n=1,2,…,N)で収音した各マイクロホン信号yn(t)にフィルタリング部92−nにおいてフィルタを適用する。なお、tは時刻を示すインデックスである。次に、加算部93においてフィルタリング部92−nの出力値の総和をとる。求めた総和を収音装置の出力信号z(t)として出力する。このような構成により雑音を大幅に減らし、ターゲット音をより明瞭に取り出すことができる。このようなビームフォーミングのフィルタを求める方法として、minimum variance distortionless response法(MVDR法)がよく使われる(非特許文献1参照)。
図2を用いて、MVDR法を説明する。なお、以下では、周波数fにおいて目的音源に対する各マイクロホンの応答a(f)(ステアリングベクトル)が既知であると想定している。非特許文献2では、マイクロホン信号からa(f)を相対的に推定する方法が示されており、この想定は妥当である。
マイクロホンアレイからのNチャネルマイクロホン信号yn(t)(1≦n≦N)はフレームごとに短時間フーリエ変換部107において短時間フーリエ変換される。その周波数f、フレームlでの変換結果を
Figure 2019054344
のようにベクトル化して扱う。このNチャネルマイクロホン信号y(f,l)は、
y(f,l)=x(f,l)+v(f,l) (2)
のようにターゲット音の直接波のマルチチャネル信号x(f,l)と、反射残響成分および雑音のマルチチャネル信号v(f,l)からなる。
相関行列算出部101では、Nチャネルマイクロホン信号y(f,l)の周波数fでの空間相関行列を
R(f,l)=E[y(f,l)yH(f,l)] (3)
で算出する。ただしE[ ]は期待値をとることを意味する。またyH(f,l)は、y(f,l)を転置し複素共役をとったベクトルである。実際の処理では通常E[ ]の代わりに短時間平均を用いる。
ステアリングベクトル決定部102では、非特許文献2等の方法により、ステアリングベクトルa(f)を決める。非特許文献2で推定したa(f)を用いる場合、参照マイクロホンが収音する目的音源の音がターゲット音となる。
アレーフィルタ推定部104では、次の拘束条件つき最適化問題を解いて、フィルタ係数ベクトル(すなわちN次元複素数ベクトル)h(f,l)を求める。
h(f,l)=arg min hH(f,l)R(f,l)h(f,l) (4)
拘束条件
hH(f,l)a(f)=1
上記の最適化問題は、周波数fにおいてターゲット音を無歪みで出力するという拘束条件のもとで、フィルタ係数ベクトルh(f,l)をNチャネルマイクロホン信号y(f,l)に適用した際に得られる値のパワーが最小になるようにフィルタ係数ベクトルh(f,l)を求めている。
アレーフィルタリング部105では、次式により、推定されたフィルタ係数ベクトルh(f,l)をマイクロホン信号y(f,l)に適用する。
z(f,l)=hH(f,l)y(f,l) (5)
これにより、ターゲット音以外の成分を極力抑えてターゲット音を取り出すことができる。全周波数での処理結果を短時間逆フーリエ変換部108において短時間逆フーリエ変換することで、ターゲット音を取り出すことができる。
D. H. Johnson, D. E. Dudgeon, "Array Signal Processing", Prentice Hall, 1993. S. Araki, H. Sawada, and S. Makino," Blind speech separation in a meeting situation with maximum SNR beamformer", in proc. IEEE Int. Conf. Acoust. Speech Signal Process. (ICASSP2007), 2007, pp. 41-44.
上記のMVDR法によりターゲット音がクリアに抽出されるためには、相関行列が高精度に推定されている必要がある。しかしながら、実際に処理に使われる相関行列は、有限のサンプルから短時間平均をもちいて算出されている。そのために相関行列の各要素の値は真値と完全に一致するわけではなく、一定のばらつき(分散)をもってしまう。統計学上、サンプル数を増加させることで、この分散を小さくすることは可能だが0にはできない。
真の相関行列からフィルタ係数ベクトルを求めることができれば、理想的な収音ビームを形成できる。しかしながら、実際には推定誤差のある相関行列からマイクロホンアレイのフィルタ係数ベクトルが求められる。このフィルタ係数が形成する収音ビームは理想の収音ビームからズレが生じ、雑音や残響の抑え込みが本来より弱くなる。そのため、理想的な収音ビームのようにはターゲット音をクリアに抽出できない。この場合、スペクトルグラムでフィルタの出力信号をみると、ターゲット音成分のないところでも、残響音の成分や雑音の成分が重畳してしまう。
そこで本発明では、マイクロホン信号からターゲット音を従来よりクリアに抽出するためのフィルタ係数ベクトルを求めるフィルタ係数算出装置、求めたフィルタ係数ベクトルを用いる収音装置、その方法、及びプログラムを提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、フィルタ係数算出装置は、Nを2以上の整数の何れかとし、N個のマイクロホンからなるマイクロホンアレーにおける音源方向に対するステアリングベクトルをもとに、ターゲット音を無歪みで出力するという拘束条件のもとで、マイクロホンアレーの周波数領域のNチャネルマイクロホン信号にフィルタ係数ベクトルを適用して得られる値が疎になるようにフィルタ係数ベクトルを求める。
上記の課題を解決するために、本発明の他の態様によれば、フィルタ係数算出方法は、Nを2以上の整数の何れかとし、N個のマイクロホンからなるマイクロホンアレーにおける音源方向に対するステアリングベクトルをもとに、ターゲット音を無歪みで出力するという拘束条件のもとで、マイクロホンアレーの周波数領域のNチャネルマイクロホン信号にフィルタ係数ベクトルを適用して得られる値が疎になるようにフィルタ係数ベクトルを求める。
本発明によれば、マイクロホン信号からターゲット音を従来よりクリアに抽出することができるという効果を奏する。
従来技術に係る収音装置の機能ブロック図。 従来技術に係るMVDR法を説明するための図。 第一、第二及び第三実施形態に係る収音装置の機能ブロック図。 第一、第二及び第三実施形態に係る収音装置の処理フローの例を示す図。 第二実施形態に係るステアリングベクトル決定部の機能ブロック図。 第二実施形態に係るステアリングベクトル決定部の処理フローの例を示す図。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態>
図3は第一実施形態に係る収音装置の機能ブロック図を、図4はその処理フローを示す。
以下、N個のマイクロホン91−n(n=1,2,…,N)からなるマイクロホンアレイの出力信号(以下、Nチャネルマイクロホン信号ともいう)yn(t)を対象とし、そのNチャネルマイクロホン信号yn(t)から、ターゲット音をとりだす収音装置について説明する。この例では、マイクロホン91−nは無指向性のマイクロホン素子からなる。
収音装置200は、Nチャネルマイクロホン信号yn(t)を入力とし、ターゲット音を取り出し、出力信号z(t)とし、出力する。
収音装置200は、短時間フーリエ変換部107と、ステアリングベクトル決定部102と、アレーフィルタ推定部204と、アレーフィルタリング部105と、短時間逆フーリエ変換部108とを含む。
収音装置200は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。収音装置200は、例えば、中央演算処理装置の制御のもとで各処理を実行する。収音装置200に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。収音装置200の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。収音装置200が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
<短時間フーリエ変換部107>
短時間フーリエ変換部107は、Nチャネルの時間領域のマイクロホン信号yn(t)を入力とし、フレームl(エル)毎に周波数領域のマイクロホン信号Yn(f,l)に短時間フーリエ変換し(S107)、出力する。その周波数f、フレームlでの変換結果を
Figure 2019054344
のようにベクトル化して扱う。
<ステアリングベクトル決定部102>
ステアリングベクトル決定部102は、ステアリングベクトルa(f)を求め(S102)、出力する。ステアリングベクトルの決定方法には様々な公知の技術を利用できる。例えば、ステアリングベクトル決定部102は、Nチャネルの周波数領域のマイクロホン信号y(f,l)を入力とし、非特許文献2の方法により、ステアリングベクトルa(f)を求める。
<アレーフィルタ推定部204>
アレーフィルタ推定部204は、Nチャネルの周波数領域のマイクロホン信号y(f,l)とステアリングベクトルa(f)とを入力とし、ステアリングベクトルa(f)をもとに、以下の拘束条件付き最適化問題を解いて、フィルタ係数ベクトルh(f,l)を求め(S204)、出力する。
Figure 2019054344
拘束条件
hH(f,l)a(f)=1
ただし、|・|1は、ベクトル各成分の絶対値の総和すなわちL1ノルムを取ることを意味する。従来の最適化では、2乗ノルムすなわちL2ノルムを用いるコスト関数が良く使われてきた。本実施形態では、L2ノルムの代わりにL1ノルムを用いてコスト関数を最適化することで、スパースなベクトル、すなわち、0を多く含むベクトルが得られる。L1ノルムを用いてコスト関数を最適化する方法は、近年、圧縮センシングの分野で知られている(参考文献1参照)。
(参考文献1)田中利幸、「圧縮センシングの数理」、IEICE Fundamental Review, vol. 4, no. 1, pp. 39-47, 2010
上記の最適化問題では、周波数fごとに、ターゲット音(参照マイクロホンが収音する目的音源の音)を無歪みで出力するという拘束条件のもとで、Lフレーム分のNチャネルの周波数領域のマイクロホン信号y(f,l-L+1),y(f,l-L+2),…,y(f,l)にフィルタ係数ベクトルh(f,l)を適用して得られる値(例えば、hH(f,l)y(f,l-L+1),hH(f,l)y(f,l-L+2),…,hH(f,l)y(f,l))が疎になるようにフィルタ係数ベクトルh(f,l)を求めている。スペクトルグラム上で信号成分のスパース化をかけることで、雑音成分や残響成分を抑えることが可能となる。なお、フレーム数Lは、1以上の整数の何れかとし、例えば、100前後の値に設定することがのぞましい。また、フィルタ係数ベクトルh(f,l)は、適切なタイミングで推定し、出力すればよく、例えば、Lフレームの分のNチャネルの周波数領域のマイクロホン信号y(f,l)を蓄積しておき0.5〜1秒ごとにフィルタ係数ベクトルh(f,l)を求める構成としてもよい。
<アレーフィルタリング部105>
アレーフィルタリング部105は、Nチャネルの周波数領域のマイクロホン信号y(f,l)とフィルタ係数ベクトルh(f,l)とを入力とし、次式のようにNチャネルマイクロホン信号y(f,l)にフィルタ係数ベクトルh(f,l)を適用し、周波数領域の出力信号z(f,l)を求め(S105)、出力する。
z(f,l)=hH(f,l)y(f,l) (5)
<短時間逆フーリエ変換部108>
短時間逆フーリエ変換部108は、周波数領域の出力信号z(f,l)を入力とし、全周波数での処理結果を短時間逆フーリエ変換し(S108)、時間領域の出力信号z(t)を得、出力する。
<効果>
以上の構成により、Nチャネルマイクロホン信号からターゲット音を従来よりクリアに抽出することができる。
<変形例>
本実施形態では、収音装置として説明したが、アレーフィルタ推定部のみからなるフィルタ係数算出装置であっても、マイクロホン信号からターゲット音を従来よりクリアに抽出するためのフィルタ係数を求めることができる。また、収音装置は、アレーフィルタ推定部とアレーフィルタリング部のみを含む構成としてもよい。別装置からNチャネルの周波数領域のマイクロホン信号y(f,l)とステアリングベクトルa(f)とを受け取り、周波数領域の出力信号z(f,l)を求め、別装置に出力する構成としてもよい。
なお、本実施形態では、N個の無指向性のマイクロホンからなるマイクロホンアレイのマイクロホン信号yn(t)を入力としているが、必ずしも無指向性である必要はない。また、あるマイクロホン素子の指向性と他のマイクロホン素子の指向性とは、同一であってもよいし、異なってもよい。
<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
図3は第二実施形態に係る収音装置の機能ブロック図を、図4はその処理フローを示す。
収音装置300は、ステアリングベクトル決定部102に代えてステアリングベクトル決定部302を含む。
<ステアリングベクトル決定部302>
図5はステアリングベクトル決定部302の機能ブロック図を、図6はその処理フローの例を示す。
ステアリングベクトル決定部302は、Nチャネルの周波数領域のマイクロホン信号y(f,l)を入力とし、ステアリングベクトルa(f)を求め(S302)、出力する。本実施形態では、ステアリングベクトル決定部302は、ノイズ・到来波分解部3021及びターゲット方向判定部3022を含む。
<ノイズ・到来波分解部3021>
ノイズ・到来波分解部3021は、Nチャネルマイクロホン信号y(f,l)の空間相関行列R(f,l)から、周波数fにおける複数到来波の強度および各マイクロホンのノイズパワーを推定し(S3021)、出力する。
例えば、ノイズ・到来波分解部3021は、周波数領域のマイクロホン信号y(f,l)を入力とし、周波数f、フレームlにおけるマイクロホン信号y(f,l)を用いて、その空間相関行列R(f,l)を算出する。例えば、次式により算出する。
R(f,l)=E[y(f,l)y(f,l)H] (22)
ただしE[ ]は期待値をとることを意味する。また、y(f,l)Hは、y(f,l)を転置し複素共役をとったベクトルである。実際の処理では通常E[ ]の代わりに短時間平均を用いる。
そして、ノイズ・到来波分解部3021は、空間相関行列R(f,l)からK個の方向からの到来波の強度の推定値pk(f,l)及び各マイクロホン信号Yn(f,l)に含まれるノイズパワーの推定値qn(f,l)を求め(S3021)、pk(f,l)及びqn(f,l)を対角成分とする対角行列V(f,l)を出力する。ただし、kを到来方向のインデックスとし、平面波の到来可能方向としてK方向を想定し、k=1,2,…,Kとする。よって、対角行列V(f,l)は、以下のように表される。
Figure 2019054344
なおK>Nである。強度の推定値pk(f,l)及びノイズパワーの推定値qn(f,l)の推定方法として、例えば、参考文献2の方法をもちいることができる。
(参考文献2)P. Stoica, P. Babu, and J. Li, "SPICE A sparse covariance-based estimation method for array processing", IEEE Transactions on signal processing, vol. 59, no. 2, 2011, 629-638.
この方法では、あらかじめ平面波の到来可能方向としてK方向(>N)を想定する。周波数fにおいて、k番目の方向から振幅1の平面波がマイクロホンアレイに到達したとき、その各マイクロホンのレスポンス(出力信号)をak(f)=[ak,1(f) ak,2(f) … ak,N(f)]Tとする。ak(f)をk番目の方向に対するステアリングベクトルともいう。ak,n(f)は、周波数fにおいて、k番目の方向からの到来する振幅1の平面波に対するn番目のマイクロホンのレスポンス(出力信号)を表す。なお、ak(f)は、収音に先立ち予め求めておく。だだし、ak(f)は、実験(実測)やシミュレーションにより予め求めてもよいし、計算による理論値を用いてもよい。K個のレスポンスベクトルak(f)とN×N単位行列INからなる行列
A(f)H=[a1(f) a2(f) … aK(f) IN] (23)
を用いて、参考文献2では
R(f,l)=A(f)HV(f,l)A(f) (24)
の形に行列R(f,l)を行列A(f)H、対角行列V(f,l)と行列A(f)の積に分解する。この分解により、対角行列V(f,l)に含まれるk番目の方向からの平面波の強度の推定値pk(f,l)と、n番目のマイクロホン91−nのノイズパワーの推定値qn(f,l)とが得られる。なお実際には、上記の分解は、
||(A(f)HV(f,l)A(f))-1/2(R(f,l)-A(f)HV(f,l)A(f))R(f,l)-1/2||2 (25)
を最小にする対角行列V(f,l)を求めることに対応する。なお、この式(25)で||x||は行列xのフロベニウスノルムをとることを意味する。
<ターゲット方向判定部3022>
ターゲット方向判定部3022は、ターゲット音の到来方向の推定値ktを求め(S3022)、推定値ktに対応するステアリングベクトルa(f)=akt(f)を出力する。例えば、ターゲット方向判定部3022は、対角行列V(f,l)を入力とし、対角行列V(f,l)に含まれる各到来方向kの強度の推定値pk(f,l)を用いて、強度が所定の値より大きい方向をターゲット音の到来方向と判定し、判定結果(到来方向の推定値)ktを求める。この例では、ターゲット方向判定部3022は、音声パワーが集中している帯域100〜500Hzの強度の推定値pk(f,l)を用いてターゲット音の到来方向の推定値ktを求める。この帯域で各到来方向kの強度は
Figure 2019054344
になる。この例では、f0は100Hz、f1は500Hzに相当する。b(k,l)がピークを取る方向kpeakを、フレームlでのターゲット音の到来方向(以下、ターゲット音方向ともいう)の候補とする。そして、b(k,l)の最大値をbmaxとし、ピーク値がbmax×α以上の値を持つピークの位置をターゲット音方向ktとして抽出する。ターゲット音方向ktは複数の場合もあるし1つの場合もある。αとしては、例えば-12dB〜-6dBの範囲の値をもちいればよい。ターゲット音の到来方向の推定値ktに対応するステアリングベクトルa(f)=akt(f)、つまり、行列A(f)H=[a1(f) a2(f) … aK(f) IN]の第kt列のベクトルを出力する。
アレーフィルタ推定部204は、第一実施形態と同様の処理を行う。ただし、ターゲット音方向ktが複数の場合には、各ターゲット音方向ktに対してフィルタ係数ベクトルhkt(f,l)を求めればよい。
<効果>
このような構成とすることで、第一実施形態と同様の効果を得ることができる。なお、本実施形態では、空間相関行列を算出し、利用しているが、空間相関行列はターゲット音の到来方向を推定するために利用しているのであって、フィルタ係数ベクトルを求める最適化問題に利用しているのではない。そのため、推定誤差のある相関行列からマイクロホンアレイのフィルタ係数ベクトルが求め、理想の収音ビームからズレが生じ、雑音や残響の抑え込みが本来より弱くなるという問題は生じない。
<第三実施形態>
第一実施形態と異なる部分を中心に説明する。
第一実施形態のアレーフィルタ推定部204は、ノルムの大きいフィルタ係数ベクトルh(f,l)を推定することがある。このようなフィルタ係数ベクトルh(f,l)は、ターゲット音やノイズの特性変動への感度が高くなり、現実の信号に対して雑音抑圧性能や非ターゲット音抑圧性能が劣化してしまう場合がある。
この劣化を防止するために、フィルタ係数ベクトルh(f,l)のノルムを一定量以下に設定する仕組みを導入する。
図3は第三実施形態に係る収音装置の機能ブロック図を、図4はその処理フローを示す。
収音装置400は、アレーフィルタ推定部204に代えてアレーフィルタ推定部404を含む。
<アレーフィルタ推定部404>
アレーフィルタ推定部404は、Nチャネルの周波数領域のマイクロホン信号y(f,l)とステアリングベクトルa(f)とを入力とし、ステアリングベクトルa(f)をもとに、以下の拘束条件付き最適化問題を解いて、フィルタ係数ベクトルh(f,l)を求め(S404)、出力する。
Figure 2019054344
拘束条件
hH(f,l)a(f)=1
Figure 2019054344
ただし||h(f,l)||はベクトルh(f,l)の2乗ノルムをとることを意味する。またλは事前に指定するパラメータであり、10前後の値が設定される。つまり、上記の最適化問題では、周波数fごとに、ターゲット音を無歪みで出力し、かつ、フィルタ係数ベクトルh(f,l)のノルムが所定の値以下であるというという拘束条件のもとで、Lフレーム分のNチャネルの周波数領域のマイクロホン信号y(f,l-L+1),y(f,l-L+2),…,y(f,l)にフィルタ係数ベクトルh(f,l)を適用して得られる値が疎になるようにフィルタ係数ベクトルh(f,l)を求めている。
<効果>
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、ノルムの大きいフィルタ係数ベクトルh(f,l)を推定することを防ぎ、雑音抑圧性能や非ターゲット音抑圧性能の劣化を抑えることができる。なお、本実施形態と第二実施形態を組合せてもよい。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. Nを2以上の整数の何れかとし、N個のマイクロホンからなるマイクロホンアレーにおける音源方向に対するステアリングベクトルをもとに、ターゲット音を無歪みで出力するという拘束条件のもとで、マイクロホンアレーの周波数領域のNチャネルマイクロホン信号にフィルタ係数ベクトルを適用して得られる値が疎になるように前記フィルタ係数ベクトルを求める、
    フィルタ係数算出装置。
  2. 請求項1のフィルタ係数算出装置であって、
    fを周波数番号とし、lをフレーム番号とし、Lを1以上の整数の何れかとし、周波数領域のNチャネルマイクロホン信号をy(f,l)とし、フィルタ係数ベクトルをh(f,l)とし、hH(f,l)をh(f,l)を転置し複素共役をとったベクトルとし、ステアリングベクトルをa(f)とし、ベクトルAのL1ノルムを|A|1とし、
    Figure 2019054344
    拘束条件
    hH(f,l)a(f)=1
    により、フィルタ係数ベクトルh(f,l)を求める、
    フィルタ係数算出装置。
  3. 請求項1または請求項2のフィルタ係数算出装置であって、
    前記拘束条件は、
    ターゲット音を無歪みで出力し、かつ、フィルタ係数ベクトルのノルムが所定の値以下であるという条件を含む、
    フィルタ係数算出装置。
  4. 請求項3のフィルタ係数算出装置であって、
    fを周波数番号とし、lをフレーム番号とし、Lを1以上の整数の何れかとし、周波数領域のNチャネルマイクロホン信号をy(f,l)とし、フィルタ係数ベクトルをh(f,l)とし、hH(f,l)をh(f,l)を転置し複素共役をとったベクトルとし、ステアリングベクトルをa(f)とし、ベクトルAのL1ノルムを|A|1とし、ベクトルAのL2ノルムを||A||とし、λを所定のパラメータとし、
    Figure 2019054344
    拘束条件
    hH(f,l)a(f)=1
    Figure 2019054344
    により、フィルタ係数ベクトルh(f,l)を求める、
    フィルタ係数算出装置。
  5. 請求項1から請求項4の何れかのフィルタ係数算出装置を含む収音装置であって、
    マイクロホンアレーの周波数領域のNチャネルマイクロホン信号に前記フィルタ係数ベクトルを適用して周波数領域の出力信号z(f,l)を求めるアレーフィルタリング部を含む、
    収音装置。
  6. Nを2以上の整数の何れかとし、N個のマイクロホンからなるマイクロホンアレーにおける音源方向に対するステアリングベクトルをもとに、ターゲット音を無歪みで出力するという拘束条件のもとで、マイクロホンアレーの周波数領域のNチャネルマイクロホン信号にフィルタ係数ベクトルを適用して得られる値が疎になるように前記フィルタ係数ベクトルを求める、
    フィルタ係数算出方法。
  7. 請求項6のフィルタ係数算出方法を含む収音方法であって、
    マイクロホンアレーの周波数領域のNチャネルマイクロホン信号に前記フィルタ係数ベクトルを適用して周波数領域の出力信号z(f,l)を求めるアレーフィルタリングステップを含む、
    収音方法。
  8. 請求項1から請求項4の何れかのフィルタ係数算出装置、または、請求項5の収音装置としてコンピュータを機能させるためのプログラム。
JP2017175898A 2017-09-13 2017-09-13 フィルタ係数算出装置、その方法、及びプログラム Active JP6815956B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017175898A JP6815956B2 (ja) 2017-09-13 2017-09-13 フィルタ係数算出装置、その方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017175898A JP6815956B2 (ja) 2017-09-13 2017-09-13 フィルタ係数算出装置、その方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019054344A true JP2019054344A (ja) 2019-04-04
JP6815956B2 JP6815956B2 (ja) 2021-01-20

Family

ID=66013821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017175898A Active JP6815956B2 (ja) 2017-09-13 2017-09-13 フィルタ係数算出装置、その方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6815956B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021161437A1 (ja) * 2020-02-13 2021-08-19
CN113628634A (zh) * 2021-08-20 2021-11-09 随锐科技集团股份有限公司 一种指向信息引导的实时语音分离方法和装置
CN113782046A (zh) * 2021-09-09 2021-12-10 清华大学 一种用于远距离语音识别的麦克风阵列拾音方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021161437A1 (ja) * 2020-02-13 2021-08-19
WO2021161437A1 (ja) * 2020-02-13 2021-08-19 日本電信電話株式会社 音源分離装置、音源分離方法、およびプログラム
CN113628634A (zh) * 2021-08-20 2021-11-09 随锐科技集团股份有限公司 一种指向信息引导的实时语音分离方法和装置
CN113628634B (zh) * 2021-08-20 2023-10-03 随锐科技集团股份有限公司 一种指向信息引导的实时语音分离方法和装置
CN113782046A (zh) * 2021-09-09 2021-12-10 清华大学 一种用于远距离语音识别的麦克风阵列拾音方法及系统

Also Published As

Publication number Publication date
JP6815956B2 (ja) 2021-01-20

Similar Documents

Publication Publication Date Title
JP7434137B2 (ja) 音声認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体
US20210089967A1 (en) Data training in multi-sensor setups
US10123113B2 (en) Selective audio source enhancement
Xiao et al. Speech dereverberation for enhancement and recognition using dynamic features constrained deep neural networks and feature adaptation
EP2884491A1 (en) Extraction of reverberant sound using microphone arrays
JP2007526511A (ja) 周波数領域で多重経路多チャネル混合信号のブラインド分離のための方法及びその装置
JP6987075B2 (ja) オーディオ源分離
JP6594839B2 (ja) 話者数推定装置、話者数推定方法、およびプログラム
JP2017505461A (ja) いくつかの入力オーディオ信号の残響を除去するための信号処理の装置、方法、およびコンピュータプログラム
JP6225245B2 (ja) 信号処理装置、方法及びプログラム
JP6815956B2 (ja) フィルタ係数算出装置、その方法、及びプログラム
CN110610718A (zh) 一种提取期望声源语音信号的方法及装置
US9966081B2 (en) Method and apparatus for synthesizing separated sound source
Herzog et al. Direction preserving wiener matrix filtering for ambisonic input-output systems
CN113345465B (zh) 语音分离方法、装置、设备及计算机可读存储介质
CN117782625A (zh) 车辆故障声学检测方法、系统、控制装置及存储介质
JP6517124B2 (ja) 雑音抑圧装置、雑音抑圧方法、およびプログラム
JP2022500710A (ja) 音響源用の結合音源定位及び分離方法
Dam et al. Source separation employing beamforming and SRP-PHAT localization in three-speaker room environments
JP2018191255A (ja) 収音装置、その方法、及びプログラム
Dehghan Firoozabadi et al. A novel nested circular microphone array and subband processing-based system for counting and DOA estimation of multiple simultaneous speakers
JP2013113866A (ja) 残響除去方法、残響除去装置、プログラム
JP6114053B2 (ja) 音源分離装置、音源分離方法、およびプログラム
JP6989031B2 (ja) 伝達関数推定装置、方法及びプログラム
Toma et al. Efficient Detection and Localization of Acoustic Sources with a low complexity CNN network and the Diagonal Unloading Beamforming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201223

R150 Certificate of patent or registration of utility model

Ref document number: 6815956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150