JP2012523731A - センサーアレイに最適なモーダルビームフォーマ - Google Patents
センサーアレイに最適なモーダルビームフォーマ Download PDFInfo
- Publication number
- JP2012523731A JP2012523731A JP2012504077A JP2012504077A JP2012523731A JP 2012523731 A JP2012523731 A JP 2012523731A JP 2012504077 A JP2012504077 A JP 2012504077A JP 2012504077 A JP2012504077 A JP 2012504077A JP 2012523731 A JP2012523731 A JP 2012523731A
- Authority
- JP
- Japan
- Prior art keywords
- array
- beamformer
- signal
- beam pattern
- spherical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
最適化されたセンサーアレイ用のモーダルビームフォーマが開示されている。ビームフォーマのビームパターンを形成する方法では、 ビームフォーマにおいて、センサーアレイから入力信号が受信され、これらの入力信号が球面調和関数ドメインに分解され、 球面調和関数に重み付け係数が付与され、 これらを組み合わせて出力信号が形成され、また、重み付け係数が、ある与えられた一組の入力パラメータに対して凸最適化演算を用いて最適化される。多重主ローブ生成、均一および不均一副ローブ制御、自動ヌルステアリング、ロバストネスおよびホワイトノイズ利得に対する二次錐計画法制約を形成するための公式が提供されている。
【選択図】図18
【選択図】図18
Description
本発明はビームフォーミングに関するものである。
ビームフォーミングとは、アレイ状に配置された複数のセンサーからの入力を組み合わせるための技術のことである。アレイ状に配置されたセンサーの各々は、その場所に応じて異なる信号を生成し、これらの信号はシーン全体を表すものである。これらの信号を異なる方法で組み合わせることによって、たとえば各受信信号に対し異なる重み付け係数を付与するまたは異なるフィルタを使用することによって、シーンの異なる側面を強調するおよび/または抑制することができる。具体的にいえば、アレイの指向性については、ある方向に対する重み付けを大きくすることにより選択された方向に対してアレイの感度をより高くすることができる。
ビームフォーミングは、電磁波および音波に適用することができ、たとえばレーダおよびソナーに用いられている。センサーアレイは、用途および使用される波長に応じて実質的にいかなるサイズまたは形状をとることもできる。簡単な用途では、1次元の線形アレイで十分である場合もある。複雑な用途では、2次元または3次元のアレイが必要となる場合もある。最近では、ビームフォーミングは、3次元(3D)での音響受信、室内音響学のための音場解析、ビデオ・テレコンファレンスでの音声受信、到来方向推定ならびに騒音制御の用途の分野で用いられている。これらの用途の場合、十分な3D音響解析を実現するために、3次元のアレイ状に並べられた複数のマイクロホンが必要となる。
3次元アレイの可能な配置のうち、球面アレイがとくに興味深い。というのは、他の標準的なアレイの幾何学構造に比べてより柔軟な3次元ビームパターンの合成が可能となるとともに、球面調和関数ドメインの数学的フレームワークを用いてアレイ処理を行うことができるからである。通常、球面アレイは、その表面に複数のセンサーが分配されている球体の形態をとっている。最も一般的な実施形態としては、複数のセンサーが物理的な球体の表面上に配置されている「剛球」、および表面が単に概念上のものでしかなく、複数のセンサーがこの概念上の表面の位置に他の手段によって保持されている「開球」が含まれている。2重開球(一方が他方の内側に位置する同心円状に並べられた概念上の2つの球面にセンサーが配置されている)、球殻アレイ(概念上の2つの球面の間に、すなわち2つの球面により形成されるシェル内にセンサーが配置されている)、カーディオイドマイクロホンを備えた単一開球および半球の如き他の構成も適切な実施形態である。これらはすべて、音場を分解して球面調和関数を形成するために用いることができる。
与えられたアレイ(たとえば、音響用途の場合、マイクロホンもしくはハイドロホン、または無線通信用途の場合、アンテナからなるアレイ)の場合、アレイ内のセンサーの各々に付与される重み付けにより、そのアレイの「ビームパターン」が定義されることになる。しかしながら、通常、アレイの1つ以上の部分が他の部分よりも大きな重み付けがなされる場合、ビームパターンには、受信強度が高く、信号利得が高い領域を示す「ローブ」と、入射波が著しく減衰される、受信強度の低い領域を示す「ヌル」とが形成される。ローブおよびヌルの配置は、センサーに付与された重みおよびセンサーの物理的な配置に依存する。しかしながら、通常、ビームパターンには、最も強く信号を受信する方向の「主」ローブ(すなわち、ビームパターンの一次マキシマム)およびビームパターンの二次(または、他の)マキシマムである1つ以上の「副」ローブが含まれる。ローブとローブとの間にはヌルが形成される。
音響用途では、聴覚情景解析のこと考えれば、この場合の問題は、あるソース(たとえば、あなたに話しかけている友達)の話を聞こうとするとともに、ある干渉ソース(たとえば、あなたの隣でなされている他の会話)からの音を無視するまたは遮ろうとすることが望まれるカクテルパーティ問題にたとえることができる。それと同時に、一般的にパーティの暗騒音を無視するまたは遮ることも望まれる。同様に、マイクロホンアレイにおけるビームフォーミング問題は、所望のソースにアレイの受信力を集中させるとともに、干渉ソースおよび暗騒音の影響を最小限に抑えることである。
これらの問題は、2つの部屋がマイクロホンアレイおよびラウドスピーカにより通信可能にリンクされている、すなわち各部屋が音を拾い上げて他の部屋へ音声信号として送信するマイクロホンアレイと、他の部屋から受信される信号を変換して音を発生するラウドスピーカとを備えているテレコンファレンスの如き用途において非常に重要である。任意の与えられた時間において、一方の部屋(近い方)には、音声を拾い上げなければならない一人以上の話者、通信の相手(遠い方)からの音を生じるラウドスピーカの如き理想的には遮断されなければならない干渉ソース、ならびにたとえば空調機のノイズまたはエコーおよび話者および/またはラウドスピーカに起因する反響音のような暗騒音が存在しうる。
一般的に、この問題は、「ビームステアリング」として知られているプロセスによって解決しようとされている。「ビームステアリング」では、ビームパターンの主ローブが目的信号の方向に向けられるとともに、ビームパターンのヌル(ノッチとしても知られている)が、干渉信号の方向に向けられる(「ヌルステアリング」)ようになっている。
一般的に、副ローブは、所望の信号より強いものを受信するビームパターンの領域を表わしている。すなわち副ローブは、ビームパターンの望まれないローカルマキシマムのことである。副ローブは避けられないが、重み付け係数の適切な選択によって、副ローブのサイズを調製することができる。
さらに、1を超える目的信号方向がある場合、ビームパターンに複数の主ローブを形成することが可能である。調製することが望ましいビームパターンの他の特徴には、主ローブのビーム幅、ロバストネス、すなわち異常な入力または予期しない入力に持ちこたえるシステムの能力、およびアレイ信号利得(すなわち、信号対ノイズ比(SNR)の利得)が含まれる。
ほとんどの環境では、聴覚情景は常に変化している。目的の信号が行き来し、干渉ソースからの信号が行き来し、信号の方向が変化し、振幅ノイズレベルが高くなる。これらの状況では、理想的には変化する状況にセンサーアレイが適応できる必要がある。たとえば、センサーアレイは、移動する目的信号を追尾するようにビームパターンの主ローブを移動させる必要がある。または、センサーアレイは、新規の干渉ソースを打ち消すための新規のヌルを形成する必要がある。同様に、干渉ソースが消滅した場合、システムの制約を変更してさらに最適な解を得ることが可能となる。したがって、これらの状況では、センサーアレイは適応性を有したものである必要がある。すなわち、センサーアレイは、制約を再評価し、最適化問題を解きなおし、新しい最適解を見つけることができるようになしてある必要がある。さらに、聴覚情景が急速に変わるような状況、たとえばテレコンファレンスのような場合、その間ずっと人々が会話を始めたり止めたりしており、目的信号ソースおよび干渉ソースが絶えず数と方向において変化しているので、理想的には、ビームフォーマは実時間で動作可能である必要がある。
この分野では、複数の研究が成されてきている。いくつかの具体例を挙げると、マイヤーおよびエルコは、下記の文献において、ルック方向に対して対称となっており、ビームパターンの形状を変更することなく3Dスペースで向きを変えることが可能な球面マイクロホンアレイビームパターン設計を用いた音場球面調和関数分解の応用および解析について報告している。
[ジェー・マイヤー(J.Meyer)およびジー・エルコ(G.Eiko)、「音場の正規直交分解に基づいた高度にスケーリング可能な球面マイクロホンアレイ(A highly scalable spherical microphone array based on an orthonomal decomposition of the soundfield)」、ICASSP会報、第2巻、ページ1781〜1784、2002年5月]
また、WO2006/110230をさらに参照されたい。これらの研究に対する展開として、ラファリーは、下記の文献において、一般的に用いられている遅延和型ビームパターン設計法を球面マイクロホンアレイに適用した。
[ビー・ラファリー(B.Rafaely)、「位相モード対遅延和型の球面マイクロホンアレイ処理(Phase−mode versus delay−and−sum sphericalmicrophone array processing)」、IEEE信号プロセスレター(IEEE Signal Process.Lett.)、第12巻、10号、ページ713〜716、2005年10月]
すなわちアレイ重みを用いて、単一の平面波に起因する自由音場マイクロホンでの遅れを補償した。このアプローチでは、高いロバストネスが得られたが、低周波数での指向性の減少が犠牲になった。他の研究では、ラファリーらは、下記の文献において、音場の指向性の解析を向上させるために古典的なドルフ・チェビシェフ(Dolph−Chebyshev)パターン設計アプローチ用いて、与えられた主ローブ幅およびアレイ位数(array order)において副ローブの調製も達成した。
[ビー・ラファリー(B.Rafaely)、エー・コレッツ(A.Koretz)、アール・ウィニック(R.Winik)、エム・アグモン(M.Agmon)、「室内音響解析を向上させるための球面マイクロホンアレイビームパターン設計」、室内音響学国際シンポジウム会報、ページS42、2007年9月]
リーおよびデュラスワミは、下記の文献において、ビームパターン合成にホワイトノイズ利得(WNG)制約を課することにより、実用化に役立つビームフォーミング指向性とロバストネスとの間のバランスを見出すためのアレイ重み付け最適化方法を報告している。
[ジー・ワイ・リー(Z.Y.Li)およびアール・デュラスワミ(R.Duraiswami)、「ビームフォーミングのための球面マイクロホンアレイの柔軟で最適なデザイン」、オーディオ・スピーチ・言語プロセスIEEE会議録、第15巻、2号、ページ702〜714、2007年2月]
上述の研究では対称なビームパターンだけが想定されているが、ラファリーは、下記の文献において、ビームパターン設計法を球面マイクロホンアレイの非対称なケースまで適用範囲を広げた。
[ビー・ラファリー、「指向性のあるルームインパルス応答の解析のための複数のヌルを備えた球面マイクロホンアレイ」、ICASSP会報、ページ281〜284、2008年4月]
このアプローチは、スペースドメインおよび球面調和関数ドメインの両方で定式化されていることに加えて、多重ヌルステアリング手法を含んでいる。多重ヌルステアリング手法では、固定ヌルが、ビームパターンに形成され、信号対ノイズ比を向上させるために、既知の外部ビーム方向から入ってくる干渉に向けて方向付けされるようになっている。
[ジェー・マイヤー(J.Meyer)およびジー・エルコ(G.Eiko)、「音場の正規直交分解に基づいた高度にスケーリング可能な球面マイクロホンアレイ(A highly scalable spherical microphone array based on an orthonomal decomposition of the soundfield)」、ICASSP会報、第2巻、ページ1781〜1784、2002年5月]
また、WO2006/110230をさらに参照されたい。これらの研究に対する展開として、ラファリーは、下記の文献において、一般的に用いられている遅延和型ビームパターン設計法を球面マイクロホンアレイに適用した。
[ビー・ラファリー(B.Rafaely)、「位相モード対遅延和型の球面マイクロホンアレイ処理(Phase−mode versus delay−and−sum sphericalmicrophone array processing)」、IEEE信号プロセスレター(IEEE Signal Process.Lett.)、第12巻、10号、ページ713〜716、2005年10月]
すなわちアレイ重みを用いて、単一の平面波に起因する自由音場マイクロホンでの遅れを補償した。このアプローチでは、高いロバストネスが得られたが、低周波数での指向性の減少が犠牲になった。他の研究では、ラファリーらは、下記の文献において、音場の指向性の解析を向上させるために古典的なドルフ・チェビシェフ(Dolph−Chebyshev)パターン設計アプローチ用いて、与えられた主ローブ幅およびアレイ位数(array order)において副ローブの調製も達成した。
[ビー・ラファリー(B.Rafaely)、エー・コレッツ(A.Koretz)、アール・ウィニック(R.Winik)、エム・アグモン(M.Agmon)、「室内音響解析を向上させるための球面マイクロホンアレイビームパターン設計」、室内音響学国際シンポジウム会報、ページS42、2007年9月]
リーおよびデュラスワミは、下記の文献において、ビームパターン合成にホワイトノイズ利得(WNG)制約を課することにより、実用化に役立つビームフォーミング指向性とロバストネスとの間のバランスを見出すためのアレイ重み付け最適化方法を報告している。
[ジー・ワイ・リー(Z.Y.Li)およびアール・デュラスワミ(R.Duraiswami)、「ビームフォーミングのための球面マイクロホンアレイの柔軟で最適なデザイン」、オーディオ・スピーチ・言語プロセスIEEE会議録、第15巻、2号、ページ702〜714、2007年2月]
上述の研究では対称なビームパターンだけが想定されているが、ラファリーは、下記の文献において、ビームパターン設計法を球面マイクロホンアレイの非対称なケースまで適用範囲を広げた。
[ビー・ラファリー、「指向性のあるルームインパルス応答の解析のための複数のヌルを備えた球面マイクロホンアレイ」、ICASSP会報、ページ281〜284、2008年4月]
このアプローチは、スペースドメインおよび球面調和関数ドメインの両方で定式化されていることに加えて、多重ヌルステアリング手法を含んでいる。多重ヌルステアリング手法では、固定ヌルが、ビームパターンに形成され、信号対ノイズ比を向上させるために、既知の外部ビーム方向から入ってくる干渉に向けて方向付けされるようになっている。
アージェンチエリら(Argentier et al)による以下の文献では、凸最適化技法が用いられ、その問題が球面調和関数フレームワークを用いて解析されたが、波動場は球面調和関数へ分解されなかった。
[「ロボット工学における近接場または遠距離場のスピーカ配置のためのモーダル解析に基づくビームフォーミング」、2006年IEEE/RSJ知能ロボットおよびシステムに関する国際会議会報、ページ866〜871]
しかしながら、球面調和関数ドメインビームフォーミングに関する上述の研究では、任意の外部ビーム方向から入ってくる動的な干渉を抑制するために、複数の深いヌルが、それに適応して、ビームパターン内に形成され、方向付けできるようにはなっていなかった。このような干渉抑制は、ビデオコンファレンスまたはテレコンファレンスの用途におけるスピーチ強化および多重チャネル音響エコーキャンセレーションにおいて、ならびに指向性ルームインパルス応答解析(すなわち、インパルスの生成および反射解析による部屋の音響解析)において望まれることが多い。これに加えて、上述の研究は、副ローブ制御制約およびロバストネス制約の如き多重ビームフォーミングの性能パラメータを単一の最適化アルゴリズムに有効に含めることができなかったので、これらの相互に関連するパラメータすべてに対する大域的(グローバル)最適解を得ることは今日までできなかった。
[「ロボット工学における近接場または遠距離場のスピーカ配置のためのモーダル解析に基づくビームフォーミング」、2006年IEEE/RSJ知能ロボットおよびシステムに関する国際会議会報、ページ866〜871]
しかしながら、球面調和関数ドメインビームフォーミングに関する上述の研究では、任意の外部ビーム方向から入ってくる動的な干渉を抑制するために、複数の深いヌルが、それに適応して、ビームパターン内に形成され、方向付けできるようにはなっていなかった。このような干渉抑制は、ビデオコンファレンスまたはテレコンファレンスの用途におけるスピーチ強化および多重チャネル音響エコーキャンセレーションにおいて、ならびに指向性ルームインパルス応答解析(すなわち、インパルスの生成および反射解析による部屋の音響解析)において望まれることが多い。これに加えて、上述の研究は、副ローブ制御制約およびロバストネス制約の如き多重ビームフォーミングの性能パラメータを単一の最適化アルゴリズムに有効に含めることができなかったので、これらの相互に関連するパラメータすべてに対する大域的(グローバル)最適解を得ることは今日までできなかった。
主な困難は、最適化アルゴリズムが集中的に多数の計算をすることを必要としているということである。テレコンファレンスのような上述の用途が消費者向けの用途であるので、アルゴリズムは、容易に入手可能な消費者レベルの計算能力で合理的な時間内に実行可能でなければならない。さらに特筆すべきことは、これらの用途が実時間に基づくものであるので、実時間において適応性があることが必要となることである。したがって、実時間動作を維持しながら、所望のパラメータすべてを最適化するのは非常に困難なことである。実時間動作のための要件はセンサーアレイの用途に応じて変わりうる。しかしながら、テレコンファレンスのような音声を拾い上げる用途では、センサーアレイは、聴覚情景の動的変化に同一の速度で適合して行くことができなければならない。人々が一度に数秒間話す傾向があるので、ビームパターンを再最適化するために数秒(最大約5秒)しか必要とならないビームフォーマが有用である。しかしながら、好ましくは、いわれたことをなにも逃さないように、システムが、一秒程度の時間スケールでビームパターンを再最適化する(すなわち、最適な重み付けを再計算する)ことができる必要がある。最も好ましくは、システムは、新規な信号ソース(たとえば、新規なスピーカ)が検出されると可及的速やかに、ビームフォーマがその方向に対する適切なアレイ利得を提供することを担保するように、一秒間に数回重み付けを再最適化することができる必要がある。
いうまでもなく、ムーアの法則によれば計算能力がいまだ指数関数的に増大していっているので、計算能力の進歩が必要な計算を行なう時間を急速に減少させており、将来的には、実時間に基づく用途では、再最適化が著しく速い速度で実行されるであろうことが期待される。
与えられたシナリオにおいてビームパターンの選択に影響を与えるパラメータが複数存在するので、これらのパラメータのうちの1つに対する最適解が必ずしもその他のパラメータにとって最適なものであるとは限らない。したがって、それらの間で妥協点を見出さなければならない。これらの要因の間で最良の(最適な)妥協点を見つけることは、システムの要件に左右される。これらは、最適化問題における制約として定式化することができる。たとえば、システムがある指向性を有することが必要とされる場合もあれば、または選択されたしきい値を超える利得を得ることを必要とされる場合もある。これに代えて、副ローブがあるしきい値未満であることを必要とされる場合もあれば、システムがあるロバストネスを有していることを必要とされる場合もある。上述のように、最適化は集中的に多数の計算をするプロセスであり、制約を加えるたびに、集中的にさらに多くの数の計算をすることになる。したがって、実際問題として、最適解を合理的な時間内に見つけようとする場合、1以上の制約をシステムに課すことは通常実行不可能なことである。
今日まで行なわれてきた研究では、最適化アルゴリズムは1つまたは2つの制約だけに制限されていた。場合によっては、複数の制約がそれぞれ別個に1つずつ個々のステージで解かれるようになっていたが、大域的な最適解を得ることはできなかった。
複数の制約をシステムに課して、球面アレイにとっての大域的に最適なビームパターンを見出す方法を提供する必要性が依然としてある。
本発明の第一の態様によれば、ビームフォーマのビームパターンを形成する方法では、 ビームフォーマが、センサーアレイから入力信号を受信し、これらの入力信号を球面調和関数ドメインに分解し、球面調和関数に重み付け係数を付与し、これらを組み合わせて出力信号を形成し、これらの重み付け係数が、ある与えられた一組の入力パラメータに対して凸最適化演算を用いて最適化される。
目的関数および制約を凸関数として表すことによって、凸最適化技術を用いることが可能となる。凸最適化は、グローバルミニマムが存在するならばグローバルミニマムを見つけることができ、さらに、数値法を用いてグローバルミニマムを迅速にかつ効率的に見つけることができることを担保するという利点を有している。
従来の研究では、周波数に依存しない規則的なまたは不規則なビームパターンを容易に形成するため、アレイ重み付け設計アプローチでは、周波数に依存するコンポーネントを分離するために、球面調和関数ドメインにおいて(下記に詳細に説明されている)モード振幅bn(ka)反転が用いられる。しかしながら、bn(ka)は、あるka値およびn値が小さな値であり、その反転は、実際の実施にあたって、ビームフォーマのロバストネスを劣化させる恐れがある。本発明では、直接的により一般的な重みを最適化フレームのターゲットとすることにより、最適化問題を、凸最適化問題として、すなわち目的関数および制約がすべて凸関数である最滴化問題として定式化することができるようになる。 上述のように、凸最適化演算の利点は、最適化変数の最適値を素早く見つけることができる高速(すなわち、高速計算可能な)数値ソルバーが存在するということにある。さらに、上述のように、凸最適化演算の結果は、常に局地的(ローカル)な最適解ではなく大域的(グローバル)な最適解をもたらす。したがって、上述のように定式化することにより、本発明にかかるビームフォーマは、複数の制約が課された場合であっても、実時間で、アレイビームパターンを適応的に最適化することができる。
凸最適化技術は従来から知られているものである。凸最適化問題を解くためのさまざまな数値法およびソフトウェアツールも従来から知られている。しかしながら、凸最適化は、目的関数および最適化する制約がすべて凸関数である場合にしか用いることができない。ある関数fが凸関数であるためには次の条件が満たされたければならない。すなわち、すべてのx、yおよびa、bにおいて、f(ax+by)≦af(x)+bf(y)である。この式で、a+b=1であり、a≧0であり、b≧0である。したがって、与えられた最適化問題を凸最適化技術を用いて解くことは必ず可能であるとは限らない。まず、最適化問題は、凸最適化演算を適用することができるように定式化されなければならない。換言すれば、最小化する必要のあるシステム特性を考え、それを凸関数として定式化しなければならない。さらに、最適化問題における制約すべてを、凸の等式/不等式または線形等式として定式化しなければならない。ビームフォーミング問題を凸最適化演算問題として定式化することによって、本発明において、複数の制約が課されたビームフォーミング問題の実時間の解を高速で計算することを可能とする複数の非常に効率的なアルゴリズムを用いることができるようになる。
好ましくは、センサーアレイは、センサーが概念上の球面上に配置されている球面アレイである。このような配置が対称であると処理が簡単なものとなる。本発明では、複数の異なる球面センサーアレイ配置を用いることが可能である。好ましくは、センサーアレイは、開球アレイ、剛球アレイ、半球アレイ、2重開球アレイ、球殻アレイおよびカーディオイドマイクロホンを備えた単一開球アレイからなる群から選択される1形態を有している。
アレイサイズは、用途および用いられる波長に応じて大きく変わりうる。しかしながら、音声を拾い上げる用途で用いられるマイクロホンアレイの場合、センサーアレイは、約8cmと約30cmとの間の大きな寸法を有していることが好ましい。球面アレイの場合、最大寸法は直径のことである。大きな球体は、低周波をうまく扱うことができる利点を有しているが、高周波での空間エイリアシングを回避するためには、2つのマイクロホンの間の距離が最高周波数の波長の半分よりも小さい必要がある。したがって、マイクロホンの数が有限である場合、球体が小さいということは、マイクロホンとマイクロホンとの間の距離が短く、空間エイリアシングの問題が少ないということを意味する。いうまでもなく、5〜100MHzの周波数を想定しうる超音波イメージングの如き高周波用途では、センサーアレイサイズは著しく小さくなる。同様に、ソナー用途では、アレイサイズは著しく大きくなる場合もある。
好ましくは、センサーアレイはアレイ状に並べられるマイクロホン(マイクロホンアレイ)のことである。マイクロホンアレイは、複数の音声を拾い上げる用途、テレコンファレンス用途およびテレプレゼンス用途において、異なるスピーカの声を他の干渉ノイズおよび暗騒音から分離して選択的に増幅するために用いることができる。本明細書に記載の具体例はテレコンファレンスにおけるマイクロホンアレイに関するものであるが、いうまでもなく、本発明は、ビームフォーミングの基本技術に関するものであり、音楽のレコーディングの如き他のオーディオ分野や他の分野、たとえば位置検出または通信のための水面下ハイドロホンアレイなどのソナー、およびセンサー用のアンテナを備えたレーダの如き無線周波数用途にも同様に適用可能である。
好ましい実施形態では、最適化問題、および任意選択的に制約は、センサーアレイの出力を最小限に抑えること、副ローブレベルを最小限に抑えること、主ローブ領域のひずみを最小限に抑えること、およびホワイトノイズ利得を最大化することのうちの1つ以上を満たすように定式化される。これらの要件のうちの1つ以上をビームフォーマの入力パラメータとして選択することができる。さらに、これらの要件のうちのいずれかを最適化問題として定式化することができる。また、要件のうちのいずれかを最適化問題のさらなる制約として定式化することができる。たとえば、最適化問題を、副ローブレベルを最小限に抑えることを条件として、アレイの出力電力を最小限に抑えるように定式化することができ、または、最適化問題を、主ローブ領域のひずみを最小限に抑えることを条件として、副ローブレベルを最小限に抑えるように定式化することができる。所望ならば、個々のビームフォーミング問題に応じて、複数の制約を課すようにしてもよい。
いくつかの好ましい実施形態では、最適化問題は、アレイ出力を最小限に抑えることとして定式化される。これは、システムに課される任意の制約を条件として全域的に最小限に抑えられるパラメータである。したがって、これとは反対に、ビームパターンのある与えられた領域(方向)に制約がない場合、最適化アルゴリズムは、その領域におけるアレイ利得の出力をそのアレイ利得を削減することにより削減しようとする。このことは、利得が必要とされる領域以外のすべての領域で可能なだけ利得を最小限に抑えるという一般的な利点を有している。
好ましくは、入力パラメータは、ビームパターンに主ローブを形成するように、指定された方向のアレイ利得をある与えられたレベルに維持するという要件を含んでいる。上述のように利得を削減する最適化アルゴリズムの一般的な傾向として、指定方向において利得をある与えられたレベルに維持するという要件により、ビームパターンに主ローブ(すなわち、高い利得の領域、すなわち信号を減衰するのではなく信号を増幅する領域)が存在することが担保される。
さらに好ましくは、入力パラメータは、ビームパターンに複数の主ローブを形成するように、複数の指定された方向のアレイ利得をある与えられたレベルに維持するという要件を含んでいる。換言すれば、複数の方向のアレイの利得を選択されたレベルに維持するように、複数の制約を課することよりアレイの指向性が最適化される。このようにして、センサーアレイのビームパターンに複数の主ローブを形成することができ、また、複数の信号ソース方向に対して、その他の方向よりも高い利得が提供することができるようになる。
さらに好ましくは、ビームパターンに異なるレベルの複数の主ローブを形成するように、複数の指定された方向に対して必要な利得レベルが提供される。換言すれば、最適化制約は、異なる方向に異なるレベルの信号メンテナンス(すなわち、アレイ利得)を課すようなものである。たとえば、一方の方向に対して他方の方向よりも高いレベルまたは低いレベルにアレイ利得を維持することができる。このようにして、ビームフォーマは、複数の信号ソースに集中し、それと同時に、それらの信号のレベルを等しくすることができるようになる。たとえば、拾い上げることが必要な3つの信号ソースがあり、3つの信号のうちの2つの信号が3番目の信号よりも強度が高い場合、システムは、ビームパターンに3つの主ローブを形成し、弱い信号に向けられているローブが、強い信号に向けられているローブよりも高い利得を有するようにすることにより、弱いソースを増幅して3つのソースの信号強度を等しくするようにできる。
好ましくは、ビームフォーマは、凸制約として1つ以上の要件を定式化する。さらに好ましくは、ビームフォーマは、線形等式制約として1つ以上の要件を定式化する。このようにして制約を定式化すると、最適化問題は、凸最適化問題のサブセットである二次錘計画法問題となる。二次錘計画法問題の数値解法は詳細に研究されており、また、複数の高速かつ効率的なアルゴリズムが凸二次錘計画法問題の解くのに利用可能となっている。
好ましくは、ビームフォーマは、指定された方向からセンサーアレイに入射する単位強度平面波に対するセンサーアレイ出力が前もって決められている定数と等しいという要件として、1つ以上の主ローブ要件を定式化する。換言すれば、ビームフォーミングパターンは、アレイ出力が指定の方向から入射する平面波に対して特定の利得を提供するように抑制される、 この制約の形態は、線形の等式であるので、上記のように二次錘計画法問題に適用することができる。
本発明の好ましい実施形態では、入力パラメータは、ビームパターンにヌルを形成するように、指定された方向のアレイ利得がある与えられたレベル未満であるという要件を含んでいる。換言すれば、ビームフォーマ最適化問題は、少なくとも一つの方向のアレイ利得が選択されたしきい値未満であるという最適化制約を条件としている。このことにより、ビームパターンの副ローブ領域の最小化を可能とするので、システムの二次マキシマムのサイズが限定される。さらに、このことにより、ビームパターンに「ノッチ」を形成することが可能となり、干渉信号を遮断するために選択された方向に対する利得がとくに低くされる。
さらに好ましくは、入力パラメータは、ビームパターンに複数のヌルを形成するように、複数の指定された方向のアレイ利得がある与えられたレベル未満であるという要件を含んでいる。換言すれば、ビームフォーマ最適化問題は、複数の方向のアレイ利得が対応するしきい値未満であるという最適化制約を条件とするものである。このようにして、複数のヌルをビームパターンに形成することができるので、複数の干渉ソースを抑制することが可能となる。
さらに好ましくは、ビームパターンに異なる深さの複数のヌルを形成するように、最大利得レベルが複数の指定された方向の各々に対して課される。このようにして、異なるレベルの制約をビームパターンの異なる領域に課することができるようになる。たとえば、副ローブをおおむねあるレベル未満に維持することはできるものの、干渉信号を遮断するためにノッチまたはヌルを望む領域には、もっと厳しい制約が課せられる。必要なところだけに最も厳しい制約を課すことにより、ビームパターンの自由度に影響を与えることを少なくし、ビームパターンのその他の部分をより均一に最小化する。
好ましくは、ビームフォーマは、1つ以上の副ローブ要件を凸制約として定式化する。さらに好ましくは、ビームフォーマは、1つ以上副ローブ要件を二次錘制約として定式化する。上記のように、このようにして制約を定式化すると、最適化問題は、凸最適化問題のサブセットである二次錘計画法問題となる。二次錘計画法問題の数値解法は詳細に研究されており、また、複数の高速かつ効率的なアルゴリズムが凸二次錘計画法問題を解くのに利用可能となっている。
最も好ましくは、ビームフォーマは、指定された方向からセンサーアレイに入射する単位強度平面波に対するアレイ出力の強度が前もって決められている定数未満であるという要件として1つ以上の副ローブ要件を定式化する。上記のように、この制約の形態は、凸不等式であるので、上記のような二次錘計画法問題に適用することができる。
好ましくは、入力パラメータは、ビームパターンが、指定されたレベルのロバストネスを有しているという要件を含んでいる。所望のソース信号を拾い上げるということが重大な用途では、単なる軽微なズレ、ランダムノイズまたは他の予期しない干渉によりシステムが故障することのないように担保されていることが望ましい。換言すれば、システムがある程度までエラーに対する回復力があることが望まれる。好ましくは、ロバストネスのレベルは、重み付け係数を有するベクトルのノルム上の制限として指定される。さらに好ましくは、ノルムはユークリッドノルムである。下記にさらに詳細に記載されているように、重み付け係数ベクトルのノルムを最小限に抑えることは、アレイのホワイトノイズ利得を最大化するので、システムのロバストネスを向上させることになる。
好ましくは、重み付け係数は二次錐計画法によって最適化される。上述のように、二次錐計画法は、詳細に研究されてきている凸最適化のサブセットであり、そのような問題を素早く解くための高速かつ効率的なアルゴリズムが利用可能となっている。複数の制約がシステムに課されたとしても、このような数値アルゴリズムは最適化問題のグローバルミニマムに非常に速く収束することができる。
好ましくは、1つ以上の重み付け係数が、位数(order)nの各球面調和関数に対して最適化されるが、各位数の球面調和関数内では、重み付け係数が、位数nのすべての次数(degree)m=−n〜次数m=nにおいて共通である。このようにして重み付け係数の数を減らすことによって、ビームパターンは、ルック方向に対して回転対称であることに限定される。しかしながら、このようなビームパターンは複数の状況において有益であり、また、係数の数を削減することにより、最適化問題が単純化され、より速く解を算出することが可能となる。
好ましい実施形態によっては、入力信号は、球面調和関数ドメインへ分解される前に、周波数ドメインに変換される場合もある。好ましい実施形態によっては、ビームフォーマは、周波数ドメイン信号が狭帯域周波数ビンに分割される広帯域ビームフォーマであり、各ビンは、これらの周波数ビンが再結合されて広帯域出力を形成する前に、別々に最適化さて、重み付けされる。他の好ましい実施形態では、入力信号は時間ドメインで処理され、また、重み付け係数は、球面調和関数信号に適用される有限インパルス応答フィルタのタップ重みである。
処理ドメインの選択は、個々のシナリオ(すなわち、個々のビームフォーミング問題)の状況に依存する。たとえば、受信されて処理されるであろう予測周波数スペクトルにより、時間ドメインと周波数ドメインとの間の選択が影響を受けることになる。というのは、一方のドメインの方がよりよい解を与え、計算がより効率的であるからである。
時間ドメインでの処理は状況によっては非常に有効である。というのは、時間ドメインは、本来的に広帯域であるからである。したがって、このように実施すると、最適化前に周波数ドメインへフーリエ変換するための集中的な高速計算や、最適化後に時間ドメインへ戻すための逆のフーリエ変換をするための集中的な高速計算を実行する必要がなくなる。また、広帯域の解を得るために入力を複数の狭帯域周波数ビンに分割する必要もなくなる。もっと正確にいえば、すべての重み付け係数を求めるために単一の最適化問題を解くだけでよくなる。いくつかの実施形態では、重み付け係数は、有限インパルス応答(FIR)フィルタのタップ重みの形態を取っている。
原則として、ビームフォーミングの性能の観点からすると、時間ドメインにおける実施および周波数ドメインにおける実施は、FIR長さがFFT長さと等しい場合には、同一のビームフォーミング性能を与えることができる。時間ドメインは、実際の実施においては、FFTおよび逆FFTを必要としないという、周波数ドメインよりも重要な利点を有している。しかしながら、最適化の複雑さの観点からすると、FIRとFFTとが同一の長さLを有していると仮定した場合、単一の最適化によって、1組のFIR(各チャネル毎にL個のFIR係数)を最適化する計算の複雑さは、L個のサブバンド最適化によって、1組のアレイ重み(すなわち、各チャネル毎に単一の重み)を最適化することに比べればはるかに大きいと考えられる。したがって、各アプローチは異なる状況において長所を有しうる。
第二の態様によれば、本発明は、各センサーが信号を生成するように構成されているアレイ状に並べられた複数のセンサーと、入力信号を球面調和関数ドメインへ分解し、分解された前記信号を出力するように構成された球面調和関数分解手段と、分解された信号に付与される重み付け係数を1組の入力パラメータに基づいて凸最適化を用いて計算するように構成されている重み付け係数計算手段と、計算された重み付け係数と分解された信号を組み合わせて出力信号を形成する出力形成手段とを備えている。
このようなビームフォーマは、上述のビームフォーミング方法の利点をすべて実現する。さらに、ビームフォーミング方法に関して上述された好ましい特徴はすべて、このビームフォーマの実施形態にも当てはまる。上述のように、時間ドメインでの実施では、出力形成手段は、複数の有限インパルス応答フィルタを有するものとしてもよい。
好ましくは、ビームフォーマは、信号追跡手段をさらに備えており、当該信号追跡手段は、センサーからの信号を評価して所望の信号ソースの方向および不要な干渉ソースの方向を判断するように構成されている。このようなアルゴリズムは、同一のデータを用いて、ビームフォーミング最適化アルゴリズムと並行して動作することができる。位置推定アルゴリズムは、目的信号の方向および干渉ソースの方向を見つけ、ビームフォーマは、ソース信号を増幅し干渉信号を減衰するための適切なビームパターンを形成する。
上述のように、この記載は、主に球面調和関数ドメインでの信号処理に関するものである。しかしながら、本明細書に記載の技術は、他のドメイン、とくにスペースドメインにも適用可能である。一部の用途において、凸最適化がスペースドメイン処理に用いられているが、球面アレイの最適化問題を定式化することもさらなる発明概念であると考えられる。したがって、本発明のさらなる態様によれば、球面センサーアレイのためのビームフォーマのビームパターンを形成する方法であって、ビームフォーマが、センサーアレイから入力信号を受信し、これらの信号に重み付け係数を付与し、これらを組み合わせて出力信号を形成し、これらの重み付け係数が、ある与えられた一組の入力パラメータに対して凸最適化を用いて最適化される。本発明者らは、球面調和関数ドメインに関連して開発した技術および式をスペースドメイン内における球面アレイの処理にも適用可能である点、したがって、本発明により、スペースドメインにおいて実時間で複数の制約含む最適化を実行することも可能である点を認識している。
本発明のさらなる態様によれば、ビームフォーマのビームパターンを形成する方法であって、ビームフォーマが、センサーアレイから入力信号を受信し、これらの入力信号に重み付け係数を付与し、これらを組み合わせて出力信号を形成し、これらの重み付け係数が、ビームパターンに複数の主ローブを形成するように、複数の指定された方向のアレイ利得をある与えられたレベルに維持するという制約を条件として、ある与えられた一組の入力パラメータに対して凸最適化を用いて最適化され、各要件が、指定された方向からセンサーアレイに入射する単位強度平面波に対するセンサーアレイの出力が前もって決められている定数と等しいという要件として定式化される。
上述のように、この記載により導かれるこれらの方法の適用可能性についていえば、システムを実用化できなくなるほど遅くすることなく、最適化問題に複数の制約を課することが可能となる。したがって、本発明の技術および式を用いると、複数のヌル形成およびステアリング制約、ロバストネス制約および主ローブビーム幅制約を課すのと同時に、複数の主ローブの形成および指向性制約を課すことが可能となる。
好ましくは、ビームフォーマは実時間または疑似実時間で動作することができる。いうまでもなく、環境(たとえば、オーディオ用途における音響環境)が固定されている場合、実行時間中にアレイ重みを更新する必要はない。もっと正確にいえば、単一の組の最適化された重みを、前もって(たとえば、システム起動時または校正指令時に)算出しておくことができ、また、その算出された重みを動作中に変更する必要がない。しかしながら、この構成では、本発明のすべての特徴が利用されているわけではない。したがって、センサーアレイは、環境および制約の変化に合わせて最適化問題を解きなおすことにより、最適な重みを動的に変更するようになしてあることが好ましい。上述のように、システムは、実時間または疑似実時間でアレイ重みを再最適化できることが好ましい。実時間の定義は用途によってさまざまである。しかしながら、この記載では、実時間とは、アレイが、1秒間で、アレイ重みを再最適化して新規の最適化されたビームパターンを形成することができることを意味する。疑似実時間とは、最適化にかかる時間が最大約5秒までであることを意味する。このような疑似実時間は、環境の動力学がそれほど急速に変わらない状況、たとえばソースの数および方向がまれにしか変わらない講義中の音響のような場合には有用となりうる。
実時間または疑似実時間における運用では、最適化演算は、重み付けを徐々にかつ連続的に更新するためにバックグラウンド内で実行されることが好ましい。それに代えて、いくつかの状況に対する複数の組の重みを前もって算出してメモリーに格納するようにしておいてもよい。そして、環境の変化にともなって、最も適切な組の重みをシステムに搭載するようにすればよい。しかしながら、いうまでもなく、この実施形態は、実時間における実際の最適化のために本発明の能力および速度を十分に活用しているわけではない。
本発明にかかるビームフォーマは、スペースドメインおよび球面調和関数ドメインにおいて良好に動作することができる。ドメインの選択は、アレイの個々の用途、アレイの幾何学形状、アレイが取り扱うと考えられる信号の特性、および必要となる処理タイプに依存する。一般的にスペースドメインおよび球面調和関数ドメインが最も有用であるが、他のドメイン(たとえば、円筒調和関数ドメイン)も同様に用いられてもよい。それに加えて、処理を周波数ドメインで行ってもよいしまたは時間ドメインで行ってもよい。具体的にいえば、球面調和関数分解をともなう時間ドメイン処理も同様に有用である。したがって、センサー信号が、一組の正規直交基底関数へ分解されて、さらに処理されることが好ましい。最も好ましくは、正規直交基底関数は、球面調和関数、すなわち球面座標系の波動方程式の解であり、波動場分解が球面フーリエ変換によって行なわれる。球面調和関数ドメインは、球面アレイまたは略球面アレイにとくに適している。
さらなる態様によれば、本発明は、センサーアレイのビームフォーマのビームパターンを最適化する方法であって、複数のセンサーからの複数の入力信号が、重み付けされ、組み合わされて、アレイ出力信号を形成し、これらのセンサーの重みが、これらのセンサーの重みの凸関数としてアレイ出力を表現し、1つ以上の制約を条件として出力を最小限に抑えることによって、最適化され、1つ以上の制約が、センサーの重みの凸関数の等式および/または不平等として表現される。
明らかなように、本発明の方法がビームフォーミング問題の一般解を提供する。複数の制約を単一の最適化問題に同時に課し、1つの大域的最適解を得ることができる。しかしながら、課される制約が少ない場合、上術の従来の研究の結果を繰り返すことができる。したがって、本発明は、最適化問題に対するより一般的な解と見なすことができる。
下記に、本システムの好ましい形態についてのさらに詳細な解析を説明する。
通常、空間オーバサンプリング(spatial over−sampling)が現実的には用いられるので、次の解析では、より効率的と考えられる球面調和関数ドメイン処理にフォーカスが与えられる。しかしながら、いうまでもなく、球面調和関数ドメイン重み付け関数に関して記載される技術をスペースドメイン解析に同様に適用し、類似の凸最適化問題としてもよい。
背景資料の導出および有用な結果を本出願の付属資料として添付しておく。下記の説明に記載の式番号は付録資料の式番号からの連続番号である。
従来の研究から、周波数に依存しない規則的または不規則なビームパターンを容易に形成するために、アレイ重み付けアプローチでは、球面調和関数ドメインにおけるbn(ka)の反転が利用され、周波数に依存するコンポーネントが分離される。しかしながら、bn(ka)があるka値およびn値において小さな値を有し、その反転が実際の実施においてロバストネスを劣化させるので、より一般的な重みであるw*(k)tが最適化フレームワークの直接目標となる。
次のセクションでは、付属資料で導出された結果を行列式を用いて発展させ、本発明の凸最適化問題および対応する制約が導出される。
次の表記法が用いられる。
この表記法を用いて、次の式を得ることができる。
(14)は次のようにベクトル表記法で書くことができる:
次の記載では、最適化問題が、ビーム方向以外から入ってくる干渉を抑えるためにアレイ出力を最小限に抑えるとともに、主ローブ方向からの信号を維持し、副ローブを制御するものとして定式化されている。さらに、ビームフォーマのロバストネスを向上させるために、アレイ重みのノルムを指定された定数に制限するために、ホワイトノイズ利得制約が課される。
アレイ出力は次の式で与えられる:
H(ka、Ω)により表される指向性パターンは、すべての目標角度からの単位入力信号に対するアレイ応答の関数である。したがって、次の式で表される:
ここで、ノイズ場の特別なケースである等方性ノイズ、すなわち球面上に均一に分配されるノイズを想定する。パワースペクトル密度
を有している等方性ノイズというのは、全方向から球面に入ってくる相関関係のない均一なパワー密度
を有している無数の平面波が存在しているものと考えることができる。したがって、すべての方向に対して共分散行列を積分することにより、等方性ノイズ共分散行列は次の式で与えられる:
実際の用途では、正確な共分散行列R(ω)は入手不可能である。したがって、式(24)の代わりに、標本共分散行列が用いられる。標本共分散行列は次の式で与えられる:
アレイ利得G(k)は、アレイ出力での信号対ノイズ比(SNR)の、入力センサーでのSNRに対する比率であると定義されている:
アレイの性能の一般的な尺度は指向性である。指向係数D(k)、すなわち指向利得は、等方性ノイズに対するアレイ利得として解釈することができる。(27)の中のQをQisoで交換することにより次の指向係数が与えられる。
ビームフォーマの能力を評価しうる性能尺度が複数ある。一般的に用いられているアレイの性能尺度は、指向性、アレイ利得、ビーム幅、副ローブレベルおよびロバストネスである。
これらの相反する性能尺度間のトレードオフはビームフォーマ設計最適化問題を意味する。本発明にかかる方法では、最適化問題は、目的信号(SOI)の無歪制約(すなわち、ビームパターンに主ローブを形成すること)と共に、任意の数の他の所望の制約、たとえば副ローブ制約およびロバストネス制約を条件として、出力を最小限に抑えることに向けられる。アレイ重みベクトルw(k)を最適化変数とすると、多重制約ビームフォーミング最適化問題を次のように定式化することが可能となる:
ワイトノイズ利得(WNG)は次の式で与えられる:
隣接している方向の応答と応答との間の相関関係に起因して、Ωl∈ΘSL、l=1、...、Lの方向の有限数の格子点を用いて副ローブ領域ΩSLを近似することができる。Lの選択は必要とされる近似の精度によって決まる。
(23)および(31)を用いると、(29)は次のように表される:
二次錐計画法は、一組の二次錘制約および一組の線形等式制約を条件として、線形関数を最小化する一般的な凸計画法問題の下位分類である。この問題は次のように記載することができる:
上述の(32)に記載の最適化問題において、便宜上、一時的に独立変数ω、kを除外し、
したがって、この最適化問題は、1組の二次錘制約および一組の線形等式制約を条件として、線形関数を最小限に抑える凸二次錐計画法(SOCP)問題として定式化されることが分かる。これは、より一般的な凸計画法問題の下位分類である。SOCP問題は、計算可能であり、既知の数値ソルバーを用いて効率的に解を求めることができる問題である。このような数値ソルバーの一例がMATLABで使用可能なSeDuMiソルバー(http://sedumi.ie.lehigh.edu/)である。存在するならば、SOCP問題のグローバル最適数値解が保証される。すなわち、SOCP問題にグローバル最小値が存在するならば、数値ソルバーのアルゴリズムはそれを確実に見つける。さらに、これらの技術が高速計算可能であるので、実時間での最適化を維持しつつ、最適化問題に複数の制約を含めることができる。SOCPは、一般的な凸最適化より計算がより効率的であので、実時間用途に非常に好適である。
計算の複雑さに関していえば、上述の(32.3)で導出されたSOCP問題を解決するために内点法が用いられる場合、双対性ギャップ(duality gap)をそれ自体の一定の割合に削減させるための反復回数は、
(この式で、項「1」は等式制約(equality consraint)によるものである)により上方で境界され、また、反復毎の計算量は
である。
最適化問題(32.2)の場合、反復毎の計算量は
であり、反復回数は
である。通常、アルゴリズムは反復回数10未満で収束する(最適化分野において広く認められている事実)。
本発明の好ましい実施形態について説明する前に特筆すべき点は、上記の解析はすべて、信号ソースが、遠距離場にあり、そのためアレイに入射する平面波として近似可能であるという仮定に基づいているということである。
さらに特筆すべき点は、解析が狭帯域ビームフォーマ設計に基づいているということである。広帯域ビームフォーマは、周波数帯域をより狭い周波数ビンに分解し、狭帯域ビームフォーマにより各ビンを処理することによって簡単に実現することができる。
時間ドメインで実施される場合、広帯域ビームフォーマを達成するためには、適切な時間遅延および重みを各副帯域(sub−band)のセンサーの各々に課してビームパターンを形成するが、またはそれに代えて、FIRおよび重み付け方法(FIR−and−weight method)を用いて時間ドメインの広帯域ビームフォーミングを達成することができる。しかしながら、周波数ドメインで実施される場合、それぞれの狭い周波数ビンについて、複素数重み(complex weight)が各センサーに付与される。上記の記載は、周波数ドメインでの実施にフォーカスを与え、各周波数ついて複素数重みを最適化している。時間ドメインでの実施についての詳細な説明は下記になされている。
上記のアプローチは、周波数ドメインにおける信号モデルに基づいており、このモデルでは、複素数値のモーダル変換およびアレイ処理が用いられている。スピーチ用途およびオーディオ用途において非常に重要な広帯域ビームフォーマを実現するために、広帯域アレイ信号が、離散的フーリエ変換(DFT)を用いてより狭い周波数ビンへ分解され、次いで各周波数ビンが狭帯域ビームフォーミングアルゴリズムを用いて独立して処理され、次いで、広帯域出力信号が離散的逆フーリエ変換を用いて生成される。周波数ドメインでの実施がブロック化処理でなされるので、それに付随する時間遅れのため、時間が重要となる(time−critical)スピーチ用途およびオーディオ用途には適さない場合もある。
古典的エレメント−スペースアレー処理(element space array processing)では、フィルタ・アンド・サム構造(filter−and−sum structure)を用いて広帯域ビームフォーマを時間ドメインで具象化することができることは周知のことである、フィルタ・アンド・サム構造では、ひとそろいの有限インパルス応答(FIR)フィルタをセンサーの出力部に設け、フィルタ出力を合計して最終出力時系列を形成するようになしてある。時間ドメインでフィルタ・アンド・サムを具象化する主な利点は、新規のスナップショットが到着する毎に、実行時にビームフォーマを更新することができるということである。フィルタ・アンド・サムビームフォーマ設計のキーポイントは、所望のビームフォーミング性能を達成するためにFIRフィルタのタップ重みをどのように計算するかということである。
また、球面アレイモーダルビームフォーミングを実数値モーダル変換およびフィルタ・アンド・サムビームフォーミング構造を用いて時間ドメインで具象化することができる。WO03/061336は、球面アレイモーダルビームフォーマを時間ドメインで具象化するための新規な球面調和関数フレームワーク内の構造を提案している。この具体例では、信号処理チャネルの数が著しく削減され、球面調和関数の実数部分および虚数部分が、時間ドメイン広帯域信号を実数値球面調和関数ドメインへ変換するための球面フーリエ変換の基礎として用いられ、ビームフォーマのルック方向がビームパターン形状から巧妙に分離可能となっている。周波数に依存しないビームパターンを達成するために、WO03/061336では、各信号チャンネルの周波数依存コンポーネントを分離するために逆フィルタを用いることが提案されているが、このような種類の逆フィルタリングは、システムのロバストネスを損傷する恐れがある(ジェー・マイヤーおよびジー・エルコ、「音場の正規直交分解に基づいた高度にスケーリング可能な球面マイクロホンアレイ」、ICASSP会報、第2巻、ページ1781〜1784、2002年5月)。さらに、このようなフィルタ・アンド・サムモーダルビームフォーミング構造に関する系統的な性能解析フレームワークが定式化されていないので、指向性係数、副ローブレベル、ロバストネスなどの如きすべての相反する広帯域ビームフォーミング性能尺度を効果的に制御することができない。
ここで、時間ドメインで具象化される広帯域モーダルビームフォーミングフレームワークを説明する。この技術は、フィルタ・アンドサムモーダルビームフォーミングス構造を修正したものに基づいている。アレイ応答、等方性ノイズおよび空間ホワイトノイズの両方に対するビームフォーマ出力および主ローブ空間応答変化(MSRV)のための表現を、FIRフィルタタップ重みについて導き出す。複数の相反する性能尺度(たとえば、指向性指数、ロバストネス、副ローブレベル、主ローブ応答変化など)間の適切なトレードオフを実現するために、FIRフィルタタップ重み設計問題が、複数の制約を有する計算可能な最適化問題として定式化される。
それに加えて、ここに記載の構成で、ステアリングユニットについて説明する。ステアリングユニットにより信号処理チャネルの数が削減され、また、古典的エレメントスペースアレイ処理と比較して、モーダルビームフォーミングアプローチは計算という点においてより効率的である。ステアリングユニットは、ルック方向に対して回転対称となるビームパターンを形成することにより、計算の複雑さを減少させている。上述の非対称ビームパターンほど一般的ではないものの、このような構造はいまだに有用であることが多い。しかしながら、いうまでもなく、ステアリングユニットが下記の時間ドメインビームフォーマの主要なコンポーネントではなく、また、より一般的なビームパターン形成が望まれる場合には、ステアリングユニットが省略されてもよい。
下記では、周波数ドメインアプローチのために先に導出した結果のうちのいくつかが改めて定式化され、ビームステアリングユニットが加えられる。s番目のマイクロホンで受信される時系列がxs(t)であり、周波数ドメイン表記がx(f、Ω)であると仮定する。x(f、Ω)の離散的球面フーリエ変換(球面フーリエ係数)が次のように与えられる:
各マイクロホンがw*(f、Ωs)で表される重みを有していると仮定する。 y(f)で表されるアレイ出力を次のように計算することができる:
先の場合と同様に、次の表記が用いられる:
(T6)をベクトル表記法で書き直すことができる。
アレイ出力は次の式で与えられる:
B(f、Ω)により表される指向性パターンは、すべての目標角度からの単位入力信号に対するアレイ応答の関数である。したがって、
ルック方向Ω0に対して回転対称であるビームパターンを形成するために、アレイ重みは次の式で表される:
(T6)において(T12)を用いると、次の式が得られる:
(T10)において(T12)、(5)および(7)を用いると、次の式が与えられる:
ロバストネスは、アレイの性能の重要な尺度であり、ホワイトノイズ利得(WNG)によって定量化される。すなわちホワイトノイズに対するアレイ利得のことである。(T11)を用い、
であると仮定すると、WNGは次の式で与えられる:
最大DIモーダルビームフォーマおよび最大WNGモーダルビームフォーマの場合、次の式が得られる:
ここまでのところ、モーダル変換モおよびビームフォーミングの数理解析が複素数球面調和関数(complex spherical harmonics)について説明されている。次に、広帯域モーダルビームフォーマの時間ドメインでの具象化について検討する。時間ドメインで実施する場合、実数値係数がより適切であるので、球面調和関数ドメインデータの実数部分および虚数部分を用いることができる。
s番目のマイクロホンで受信されるサンプリングされた広帯域時系列がxs(l)=xs(t)|t=lTであり、この式で、Tsがサンプリング間隔であると仮定する。(T5)と同様に、
が周波数に依存しないと想定すると、広帯域球面調和関数ドメインデータは次の式で与えられる:
フィルタ・アンド・サム構造は、古典的エレメントスペースアレイ処理における広帯域ビームフォーミングで用いられている。古典的エレメントスペースアレイ処理では、各センサーがFIRフィルタに供給し、フィルタ出力が合計されビームフォーマ出力時系列を生じる。古典的アレイ処理の類似性を用いて、フィルタ・アンド・サム構造をモーダルビームフォーマに適用することができる。すなわち、ステアリングユニットの出力部にひとそろいの実数値FIRフィルタが設けられ、これらのフィルタが、広帯域周波数バンドの複素数重み(complex wrighting)cn(f)の役割をなす。ステアリングユニットを備えたモーダルビームフォーマの利点は、M個のフィルタを必要とする古典的エレメントスペースビームフォーマとは対照的に、N+1個のFIRフィルタしか必要としないので、計算が効率的であるということである。M≧(N+1)2であることに留意されたい。特筆すべき点は、ステアリングユニットは本発明の任意選択な構成要素であり、用いられない場合、(N+1)2個の球面調和関数(
)の各々についてFIRフィルタが用いられるということである。
hnを、位数nの球面調和関数に対応するFIRフィルタのインパルス応答であるとする、すなわちhn=[hn1、hn2、...、hnL]T、n=0、...、Nであるとする。ここで、LはFIRフィルタの長さである。(T13)に対してフーリエ逆変換を行ない、動作周波数バンド上のフィルタの応答をcn(f)にほぼ等しいと想定すると、
により表される時間ドメインビームフォーマ出力を次の2つの式で与えることができる:
ここで、Re(・)およびIm(・)はそれぞれ実数部および虚数部を表しており、
(T20)において(3)を用いると、次の式が与えられる:
インパルス応答hnを備えたFIRフィルタの複素周波数応答は次の式で与えられる:
η=e-j2πfT0とする。周波数fでの次数nの球面調和関数に対応するパターン生成ユニットの総合重み関数は、次の式で与えられる:
αs=4π/Mである場合、(T6)のアレイ出力振幅は、古典的アレイ処理
よりも4π/M倍だけ大きいことに留意されたい。したがって、球面調和関数ドメインの無歪制約は次のようになる:
マイクロホンアレイに等方性ノイズだけが入射する特別なケースを想定する。Rb(f)が等方性ノイズ共分散行列Qbiso(f)と交換された(T9)が用いられ、Pisoout(ω)で表される等方性ノイズのみのビームフォーマ出力が得られる。
ここで、bc(ka)=[b0(ka)、b1(ka)、b2(ka)、...、bN(ka)]Tである。
(T23)を用い、
であると表すと、次の式が与えられる:
fLおよびfUがそれぞれ下限周波数および上限周波数である周波数バンド[fL、fU]を占める広帯域等方性ノイズの場合、その広帯域共分散行列
を、領域[fL、fU]においてfに対して積分することにより得ることができる:
空間ホワイトノイズが周波数バンド[fL、fU]にわたって平坦なスペクトル
を有していると仮定する。広帯域等方性ノイズのみのビームフォーマ出力は次のようになる:
主ローブ空間応答変化(MSRV)は、次のように定義される:
fk∈[fL、fU](k=1,2、...、K)、Θj∈ΘML(j=1,2、...、NML)およびΘi∈ΘSL(i=1,2、...、NSL)をそれぞれ周波数バンド[fL、fU]、主ローブ領域ΘMLおよび副ローブ領域ΘSLを近似する選択された(均一または非均一)格子であるとする。NMLK×1列ベクトルBγMSRVおよびNSLK×1列ベクトルBSLが定義され、それぞれの項目が次のように与えられる:
ビームフォーマの能力を評価するための性能尺度が複数存在する。一般的に用いられているアレイの性能尺度は指向性、MSRV、副ローブレベルおよびロバストネスである。これらの相反する性能尺度間のトレードオフはビームフォーマ設計最適化問題を意味する。広帯域球面調和関数ドメインビームパターンB(f、Ω)(T25)、広帯域等方性ノイズのみのビームフォーマ出力
(T34)、広帯域ホワイトノイズ利得BWNG(T37)、主ローブ空間応答変化ベクトルγMSRV(T40)および副ローブ挙動ベクトルBSL(T41)を定式化した後、広帯域モーダルビームフォーマのための最適アレイパターン合成問題を次のように定式化することができる:
(T42)は、ビームフォーミングの目的に応じて適切な最適化問題を定式化するために用いることができる一般的な式として与えられている。たとえば、4つの関数(l=1、2、3、4)のうちのいずれかを目的関数として用い、その他の関数のうちのいずれかを制約(関数)として用いることができる。l=1の場合、最適化問題は、アレイの出力を最小限に抑えることとして定式化される。l=2の場合、最適化問題は、主ローブ領域のひずみを最小限に抑えることである。l=3の場合、最適化問題は、副ローブレベルを最小限に抑えることであり、l=4の場合、最適化問題は、ホワイトノイズ利得(ロバストネス)を最大化させることである。それぞれの場合において、最適化問題を他の制約のうちのいずれかまたはすべてを条件として定式化することができる。たとえば、l=2を目的関数とし、l=1、l=3およびl=4を最適化問題のさらなる制約として、最適化問題を定式化することができる。このようにして、このビームフォーマを非常に柔軟なものにすることができることが分かる。
この構成では、フィルタタップ重みが、与えられた一組の入力パラメータについて、凸最適化により最適化される。センサーアレイからの入力信号が球面調和関数ドメインへ分解され、次いで、分解された球面調和関数コンポーネントが、FIRタップ重みにより重み付けされた後、組み合わせられて出力信号を形成する。
特筆すべき点は、この記載では、ほとんど電話コンファレンスに関する具体例が提供されているが、本発明は、電話コンファレンス用途に制限されるわけではないということである。もっと正確にいえば、本発明は、他の技術分野にも同様に適用可能なビームフォーミング方法に関するものである。これらには、非常に複雑な聴覚情景のうちのある領域を強調または非強調することが望まれる、高性能周辺音響システムおよび音楽録音システムのためのアンビソニックス(ambisonics)が含まれる。このような用途には、とくに本発明にかかる多重主ローブ指向性およびレベル制御ならびにそれと同時の選択肢である複数の副ローブ制約が適用可能である。
同様に、本発明のビームフォーマを、音声帯域用途よりも著しく高いまたは低い周波数に適用することができる。たとえば、通信および位置確認のためのハイドロホンアレイを備えたソナーシステムは、低周波数で動作するようになっている傾向があるものの、超音波ドランスデューサが通常5〜30MHzの周波数範囲で動作するような超音波用途であっても本発明にかかるビームフォーマから恩恵を受ける。超音波ビームフォーミングは、多重指向性の迅速な選択および干渉の迅速な抑制により高い品質のイメージが提供されうる医療イメージング、断層撮影法などの用途において用いることができる。超音波は、患者のイメージングが呼吸および心臓の鼓動からの定常的な動きならびに不随意運動から影響を受ける実時間スピードおいて非常に効果的である。
また、本発明は縦波音波の解析に限定されるものではない。ビームフォーミングは、センサーがアンテナである電磁波放射に対しても適用可能である。具体的にいえば、無線周波数用途において、レーダシステムはビームフォーミングから非常に恩恵を受けることができる。いうまでもなく、これらのシステムは、ビームパターンの実時間適応をさらに必要とする。たとえば相当の速度で移動している複数の航空機を追跡する場合、実時間において複数の主ローブを形成することは非常に有益である。
さらに、本発明の用途には、地震探査、たとえば石油探査が含まれる。この分野では、ルック方向が非常に具体的であり、かつ正確であることが重要である。したがって、広大な土地を網羅しなければならないような場合、主ローブ幅および指向性制約を速く課することにより、このようなシステムが高速で動作することが可能となる。
したがって、1つの好ましい実施形態では、本発明は、上述のようなビームフォーマを備えており、センサーアレイはアレイ状に並べられているハイドロホンである。
他の好ましい実施形態では、本発明は、上述のようなビームフォーマを備えており、センサーアレイはアレイ状に並べられている超音波トランスデューサである。
他の好ましい実施形態では、本発明は、上述のようなビームフォーマを備えており、センサーアレイはアレイ状に並べられているアンテナである。好ましい実施形態によっては、これらのアンテナは無線周波数アンテナである。
いうまでもなく、本発明にかかるビームフォーマは、大部分がソフトウェとして実現され、このソフトウェアがコンピューティングデバイス(これは、たとえば一般的なパーソナルコンピュータ(PC)であってもよいし、もしくはメインフレームコンピュータであってもよい)により実行されるようになっていてもよいし、これが特別に設計されプログラムされたROM(読み取り専用メモリ)であってもよいし、または、これがフィールドプログラマブルゲートアレイ(FPGA)で実現されてもよい。このようなデバイスでは、ソフトウェアは、あらかじめ搭載されていてもよいし、データキャリアによってもしくはネットワークを通じた転送によってシステムへ転送されてもよい。インターネットの如き広域ネットワークに接続されているシステムは、ソフトウェアの新バージョンをダウンロードして、それを更新するように構成されていてもよい。
したがって、さらなる態様によれば、本発明は、ソフトウェア製品を提供し、このソフトウェア製品がコンピュータにより実行されると、コンピュータに上述の方法のステップを実行させる。ソフトウェア製品はデータキャリアであってもよい。それに代えて、ソフトウェア製品は、リモート位置から送信される信号を含んでいてもよい。
本発明の他の態様によれば、物理的キャリアの形態を有しているソフトウェア製品を製造する方法は、データキャリアにインストラクションを格納することを含み、当該インストラクションがコンピュータにより実行されると、当該コンピュータが上述の方法を実行する。
本発明のさらに他の態様によれば、ソフトウェア製品をリモート位置へ、当該リモート位置のコンピュータへデータを送信することによって送る方法は、データがインストラクションを含み、当該インストラクションがコンピュータによって実行されると、当該コンピュータが上述の方法を実行する。
下記に、添付の図面を参照しながら、本発明の好ましい実施形態を例示のみを意図して記載する。
まず図18を参照すると、M個のマイクロホンからなる球状マイクロホンアレイ用のビームフォーミングシステムとして、本発明にかかるシステムの好ましい実施形態が概略的に示されている。
複数のマイクロホン10(図18において概略的に示されているが、実際には球面アレイ状に配置される)は、それぞれアレイのまわりの環境から音波を受信し、これらを電気信号へ変換するようになしてある。M個のマイクロホンの各々からの信号は、ステージ11において、まずM個のプリアンプ、M個のADC(アナログ−ディジタル変換器)およびM個の校正フィルタによって処理される。次いで、これらの信号はすべてステージ20へ送信され、ここで、データが高速フーリエ変換アルゴリズムによりM個の周波数ビンチャネルへと分割される。次いで、これらはステージ12へ送信され、ここで、球面フーリエ変換(spherical Fourie transform)が行われる。ここでは、信号が位数Nの球面調和関数ドメインに変換される。すなわち、位数(order)n=0、...、Nおよび次数(degree)m=−n、...、nの(N+1)2個の球面調和関数の各々に対して球面調和関数係数が生成される。
球面調和関数ドメイン情報が、制約定式化のためにステージ13へ送られ、最適化後ビームパターン合成のためにステージ16へと送られる。ステージ13では、システムの所望のパラメータが、調整可能パラメータステージ14から入力される。図示されているように、入力することができる所望のパラメータには、信号のルック方向、主ローブ幅(14a)、ロバストネス(14b)、所望の副ローブレベルおよび副ローブ領域(14c)ならびに所望のヌルロケーションおよびヌル深さ(14d)が含まれる。
ステージ13では、ステージ12から球面調和関数ドメイン信号情報と組み合わせられた、ビームパターンのための所望の入力パラメータが受け取られ、これらを、凸最適化に適した凸二次最適化制約式(convex quatratic optimization constraints)へと定式化される。制約は、自動ヌルステアリング、主ローブ制御、副ローブ制御およびロバストネスに関して定式化される。次いで、これらの制約は、ステージ15へ送られる。ステージ15は、内点法または二次錐計画法の如き数値最適化アルゴリズムを実行するための凸最適化ソルバーであり、ここで、入力される制約の下で最適なビームパターンを提供するために球面調和関数係数に適用される最適重み付け係数が求められる。特筆すべき点は、スペースドメインでは、球面調和関数ドメインへの変換が行われず、最適化された重み付け係数が入力信号に直接適用されるということである。
次いで、これらの求められた重み付け係数がステージ16へ送られる。ステージ16では、これらの係数がステージ12からのデータと加重和(weighted sum)として組み合わせられ、ステージ17で、最終的に、単一チャネル逆高速フーリエ変換が実行され、アレイ出力信号が形成される。
ここで、本発明の現実的な実施を説明する。図19では、本発明がテレコンファレンスを想定して実施されている。2つの会議室30aおよび30bが示されている。各部屋には、三次元で音声を取り込むための球面マイクロホンアレイ32a、32bと、一組のラウドスピーカ34a、34bとを備えているテレコンファレンス用のシステムが装備されている。各部屋には、その角に4つのスピーカが設けられているように示されているが、いうまでもなく、他の構成も同様に有効である。また、各部屋は、マイクロホンアレイのまわりのさまざまな位置に、3人の話者36a、36bが存在していることが示されている。マイクロホンアレイは、ビームフォーマおよびそれに付随するコントローラ38a、38bに接続されている。ビームフォーマおよびそれに付随するコントローラは、マイクロホンアレイ32a、bのために最適なビームパターンを生成するための最適化アルゴリズムを実行するようになしてある。
動作時、3人の話者34aのうちの一人が話し、その他の人が黙っていると想定する。コントローラ38aがソース信号を検出し、ビームフォーマを制御して部屋30a内のマイクロホンアレイ32aのビームフォーミングパターンを生成することにより話者36aの方向に主ローブ(すなわち、高利得領域)を形成し、かつ、その他の方向に対するアレイ利得を最小限に抑える。
部屋30bでは、ビームフォーマ38bは、ラウドスピーカ34bの各々からの音響ソースを干渉ソースとして検出する。これらの方向からの音を最小限に抑えることは、2部屋間のフィードバックループの回避に望ましいことである。
ここで、部屋30b内の話者36bが部屋30a内の人と話し始めると、部屋30b内のビームフォーマは、直ちにその話者の方向に沿って主ローブを形成して彼または彼女の声が部屋30aまで安全に送られることを担保するようにしなければならない。同様に、部屋30a内のビームフォーマ38aは、部屋30bのフィードバックを回避するために、ビームパターンにおいて、ラウドスピーカ34aの方向に対して深いヌルを直ちに形成しなければならない。
ビームフォーマ38a、38bが複数の主ローブおよび複数の深いヌルを形成することができ、実時間中にこれらの指向性を制御することができるので、話者のうちの一人が会話中に部屋の中を歩き回り始めたとしても、このシステムが故障してしまうことはない。オフィスを通り過ぎていく警察のサイレンの如き予期しない干渉であっても、実時間中に深いヌルの指向性を制御することにより対処することができる。同時に、ビームフォーマ38a、38bは、ビルディングの空調機の送風機の如き一般的な背景ノイズの影響を最小限に抑えるよう、適用される制約条件の境界内にアレイ出力を抑えるようになしてある。
このシステムは、全二重送信、騒音削減、残響除去、およびアコースティックエコーキャンセレーションなどの機能を備えた高品質な3D空間オーディオ機器を提供する。
A.特別なケース
次に上記の最適化問題(32)のいくつかの特別なケースを考え、これらを従来の研究結果と比較する。
特別なケース1
指向性が最大であり、WNGまたは副ローブ制御がない。このことは、(24)においてε=0、ζ=0、
、Q(ω)=Qiso(ω)とすることにより定式化される。このことにより、R(ω)=Qiso(ω)となり、また、(32)内の2つの不等式制約が常にアクティブではない(制約がない)ので無視することができる。
A.特別なケース
次に上記の最適化問題(32)のいくつかの特別なケースを考え、これらを従来の研究結果と比較する。
特別なケース1
指向性が最大であり、WNGまたは副ローブ制御がない。このことは、(24)においてε=0、ζ=0、
指向係数を等方性ノイズに対するアレイ利得として解釈することができるので、この場合の最適化問題は指向係数を最大化することになる。
この場合の最適化問題は、古典的なアレイ処理におけるカポン(Capon)ビームフォーマに類似し、(32)の解は容易に導出される。
(31)および(28)において(35)を用いると下記の式が得られる:
特別なケース2
WNGが最大であり、指向性おおび副ローブ制御がない。これは、次のように定式化される。R(ω)=I、この式で、Iは恒等行列であり、ε=∞であり、ζ=0である。
明らかに、このケースの最適化問題は、重み付けベクトルのノルムを最小化すること、またはホワイトノイズ利得を最大化することになる。
(33)内のQisoがIにより交換されると、このケースの解は下記の式となる:
さらに、(31)および(28)において(38)を用いると、下記の式が得られる。
N→∞の場合、(40)内の総和が(4π)2に接近するので、遅延和型アレイは、周波数に依存しない定数である、Mに等しいWNGを達成する。これは、古典的アレイ処理において周知の結果である。
特別なケース3
指向性およびWNGが制御され、副ローブが制御されない。このケースは、ε=0の基準によって定式化される。
特別なケース3
指向性およびWNGが制御され、副ローブが制御されない。このケースは、ε=0の基準によって定式化される。
この場合最適化問題は、ホワイトノイズ利得制約(または、ノルム制約)ロバストカポンビームフォーミング問題に類似した形態を有する。
ζ=WNG2である場合、対応する解は特別なケース2で説明されたような遅延和型アレイであるということを確認するのは容易なことである。さらに、R(ω)=Qiso(ω)であり、ζの値を(0,WNG2]の範囲で調製すると、純粋な位相モードと遅延和型球面アレイ処理との間のトレードオフを得ることができる。
本発明にかかる下記の好ましい実施形態は、上述のビームフォーマのシミュレーションであり、その性能を説明および評価するために用いられる。図1〜図7のシミュレーションでは、位数N=4の開球アレイを想定しており、また、マイクロホンの数がM=(N+1)2の数であると仮定している。
本明細書に記載のシミュレーションはすべて、消費者等級のコンピュータ設備、たとえばCPU速度が2.4GHzで、RAMが2GBであるノート型PCを用いて行われたものである。これらのシミュレーションは、MATLABを用いて行われ、各狭帯域シミュレーションついて約2〜5秒を要した。いうまでもなく、MATLABコードは、数理解析およびシミュレーションのために設計されたハイレベルプログラミング言語であり、最適化アルゴリズムが、Cまたはアセンブリー言語の如き低レベルプログラミング言語に実装された場合、またはこれらがフィールドプログラマブルゲートアレイに実装された場合、その速度が著しく高まることが期待できる。
B.純粋な位相モードと遅延和型アレイとの間のトレードオフ
R(ω)=Qiso(ω)であり、ε=∞であるとする。最適化問題(32)はノルム制約最大DIビームフォーミング問題となる。球面アレイ構造は三次元対称性を提供する。一般性を失うことなく、ルック方向がΩ0=[0°、0°]であると仮定する。ある与えられたζの値に対して、kaの関数としてこの最適化問題を解いて重みベクトルw(k)を求め、それらを(28)および(31)に代入してDIおよびWNGを得る。図1および図2は、それぞれDIおよびWNGを、ζが0,M/2,M/4およびWNG2である場合ついて、kaの関数として示している。ζ=0の場合およびζ=WNG2の場合は、それぞれ純粋位相モードアレイおよび遅延和型アレイに対応している。ζ=M/2の場合およびζ=M/4の場合は、理想的な最大WNGであるMと比較して、それぞれWNGが3dBおよび6dBだけ低下したロバストビームフォーマに対応している。
B.純粋な位相モードと遅延和型アレイとの間のトレードオフ
R(ω)=Qiso(ω)であり、ε=∞であるとする。最適化問題(32)はノルム制約最大DIビームフォーミング問題となる。球面アレイ構造は三次元対称性を提供する。一般性を失うことなく、ルック方向がΩ0=[0°、0°]であると仮定する。ある与えられたζの値に対して、kaの関数としてこの最適化問題を解いて重みベクトルw(k)を求め、それらを(28)および(31)に代入してDIおよびWNGを得る。図1および図2は、それぞれDIおよびWNGを、ζが0,M/2,M/4およびWNG2である場合ついて、kaの関数として示している。ζ=0の場合およびζ=WNG2の場合は、それぞれ純粋位相モードアレイおよび遅延和型アレイに対応している。ζ=M/2の場合およびζ=M/4の場合は、理想的な最大WNGであるMと比較して、それぞれWNGが3dBおよび6dBだけ低下したロバストビームフォーマに対応している。
図2は、ノルム制約ビームフォーマが、ある与えられたしきい値を超えるWNGを生じ、良好なロバストネスを実現できることを示している。2つのノルム制約ビームフォーマのDI、すなわちζ=M/2およびζ=M/4が、遅延和型ビームフォーマのものよりもはるかに高い。これらのDIが、純粋位相モードビームフォーマのものより小さいが、取得可能である。しかしながら、後者のものは、実社会での適用の際に遭遇するどのような小さなランダムアレイ誤差(random array errors)に対しても非常に敏感であるために、取得可能でないことが多い。これに加えて、純粋位相モードビームフォーマに関する図2のka=3.14およびka=4.50において観察される2つのWNGの値が非常に低いことについては、開球アレイにおける周知の問題であって、剛球アレイを用いることによりこの問題は回避される。要約すると、この具体例では、ノルム制約ビームフォーミングが純粋位相モードと遅延和型アレイとの間の有用なトレードオフを提供しうることが明示されている。
さらに、ζ=M/2およびζ=M/4の場合、重み付けベクトルノルム制約がka=4およびka=5のあたりでインアクティブとなることが分かる。このことは、これらの領域あたりでは、純粋位相モードビームフォーマが既に相当なWNGを提供しているという事実に起因している。したがって、これらの領域あたりでは、これらの2つのビームフォーマは純粋位相モードビームフォーマと同一となる。
図3には、ノルム制約ビームフォーマのDIが、ka=1、2、3および4に対応する周波数について、WNGの関数として示されている。高周波数において、アレイが良好なWNG−DI性能を有していることが分かる。低周波数では、アレイのWNG−DI性能が著しく劣化している。
ka=3に対応する周波数に関して、3つのビームフォーマ、すなわち遅延和型ビームフォーマ、純粋位相モードビームフォーマ、ノルム制約ビームフォーマの三次元アレイパターンが、ζ=M/4の場合についで、(23)により計算されている。図4に、これらの結果が示されており、この図には、ルック方向のパターンの振幅が1(または、0dB)に等しくなるように、正規化係数M/4πが含まれている。このケースの場合のアレイパターンがルック方向に対して対称となっていることが分かる。また、ノルム制約ビームフォーマが遅延和型ビームフォーマに比べて狭い主ローブを形成することも分かる。また、これらのビームフォーマのDIおよびWNGの値も複数の図に示されている。図4(c)内のWNGは正確に10log10(M/4)=7.96dBとなっている。
図5では、ζ=M/4の場合に関して、遅延和型(DAS)ビームフォーマおよびノルム制約ビームフォーマの指向性パターンが、高さの関数として、ka=1、2および4に対応する周波数について比較されている。 純粋位相モードビームフォーマの指向性パターンが周波数に依存しないこと、図2により示唆されているように、ka=4においてζ=M/4である場合に、ノルム制約ビームフォーマのものと同一であることは注目に値する。
C干渉が除去されるロバストビームフォーミング
上述の特別なケース3を考える。ノイズが等方性ノイズであると仮定する。信号および干渉が(0°、0°)および(−90°、60°)からアレイに入り、各センサーの信号(干渉)対ノイズ比がそれぞれ0dBおよび30dBであと仮定する。また、正確な共分散が、知られており、理論的なアレイ共分散行列R(ω)(24)によって表されると仮定する。
C干渉が除去されるロバストビームフォーミング
上述の特別なケース3を考える。ノイズが等方性ノイズであると仮定する。信号および干渉が(0°、0°)および(−90°、60°)からアレイに入り、各センサーの信号(干渉)対ノイズ比がそれぞれ0dBおよび30dBであと仮定する。また、正確な共分散が、知られており、理論的なアレイ共分散行列R(ω)(24)によって表されると仮定する。
このケースの場合、最適化問題は、ノルム制約ロバストカポンビームフォーミング問題となり、指向性の低下を犠牲にして高アレイ利得を得るビームフォーマに帰着する。
図6は、ζ=M/4およびka=3という値の場合に得られるアレイパターンが示されている 予想通り、アレイパターンは、干渉の到着方向に対してヌルが深くなっている。このケースの場合のアレイパターンは、図4に示されている純粋位相モードビームフォーマおよび遅延和型ビームフォーマによるものとは異なり、ルック方向に対してもはや対称ではなくなっている。
D.副ローブが制御され、干渉が除去されるロバストビームフォーミング
図4および図6には、ka=3におけるこれらのアレイパターンの副ローブレベルがほぼ−13.2dBから−16.3dBであることが示されている。このような値は、ほとんどの用途では高すぎて、予期しないまたは急に生じる干渉に対する性能が著しく劣化してしまう恐れがある。このような状況での用途のために副ローブが制御されるビームフォーマについでの具体例を検討する。
D.副ローブが制御され、干渉が除去されるロバストビームフォーミング
図4および図6には、ka=3におけるこれらのアレイパターンの副ローブレベルがほぼ−13.2dBから−16.3dBであることが示されている。このような値は、ほとんどの用途では高すぎて、予期しないまたは急に生じる干渉に対する性能が著しく劣化してしまう恐れがある。このような状況での用途のために副ローブが制御されるビームフォーマについでの具体例を検討する。
R(ω)=Qiso(ω)の場合の等方性ノイズをまず仮定し、ka=3であり、ζ=M/4であり、ε=0.1であるケース、すなわち所望の副ローブレベルが−20dBであるケースを考える。 副ローブ領域が、ΩSL={(θ、φ)|θ≧45°}として定義される。(32)の最適化問題の解は、副ローブが制御されるノルム制約最大DIビームフォーマである。図7(a)には、得られたアレイパターンが示されている。指定されている副ローブレベルは−20dB未満である。
ここで、副ローブ制御に加えて、深さが−40dBでありかつ幅が30°である、(60°、270°)方向のノッチを形成することを考える。このケース場合、所望の副ローブ構造は方向に依存する。図7(b)には、所望のノッチ領域にε=0.01を設定し、それと同時にその他の副ローブ領域ではε=0.1を維持して、最適化問題を解くことによって得られたアレイパターンが示されている。所定のノッチが形成され、−20dBという低い副ローブレベルが維持されていることが分かる。
上述のCに記載されているシナリオを検討する。副ローブを−20dB未満に、すなわちε=0.1となるように制御したいと仮定する。その他のパラメータをCで用いられたものと同一のままにする。ビームフォーマ重み付けベクトルを最適化問題(32)を解くことにより求める。図7(c)には、得られたアレイパターンが示されている。図4(a)と比較して、干渉の入ってくる方向に対してヌルであることに加えて、この方法による副ローブが厳密に−20dB未満であることが分かる。
剛球アレイの下記のシミュレーションでは、位数がN=4であり、複数の主ローブ制約が課され、非均一副ローブ制約が課されている。ビームパターンに複数の主ローブを形成するためには、該当する方向に、非ひずみ制約が課されなければならない。非均一副ローブ制御の場合、副ローブ領域のすべての標本点(sampling points)がある与えられたしきい値未満であることを必要とすることに代えて、副ローブ方向の各々に異なるしきい値を課すことができるようにすることができる。たとえば、干渉方向に対しては強い制約を課すようにし、その他の方向にはそれよりも弱いしきい値を課すようにすることができる。これらのさらなる制約(K個の主ローブ制約およびL個の副ローブ制約)を用いると、最適化問題(32)は次のよう書き換えることができる:
このビームフォーマの性能を評価するために、さらなるシミュレーションが用いられる。位数がN=4であり、M=(N+1)2である剛球アレイを考える。単一の主ローブの場合についてのルック方向が[0°、0°]であり、ka=3であり、各センサーの信号対ノイズ比および干渉対ノイズ比が0dBおよび30dBであり、WNG制約が8dBに設定されていると仮定する。図8(a)には、副ローブ領域がΩSL={(θ、φ)|θ≧45°}として定義され、副ローブレベルが−20dB未満であるアレイパターンが示されている。図8(b)には、非均一副ローブ制御の性能が示されている。(60°、270°)の方向に、深さが−40dBで、幅が30°のノッチが形成され、また、その他の副ローブレベルが今までと同様に−20dBで維持されている。
図9(a)では、2つの干渉が(60°、190°)および(90°、260°)からアレイに入り、次いで、副ローブが−20dB未満に厳密に抑えられた状態で、ヌルが、干渉の入ってくる方向に対して自動的に形成・方向付けされていることが分かる。図9(b)には、複数の主ローブ形成の性能、副ローブ−が20dBに制御された状態での自動ヌルステアリングの性能が示されており、この図では、3つの干渉が(0°、0°)、(45°、90°)および(50°、270°)からアレイに入ってくる状態で、2つの所望の信号が(40°、0°)および(40°、180°)からアレイに入ってくることが仮定されている また、図8および図9に関して、実際の指向性指数(DI)およびWNG値が計算されている。
次の解析では、部屋に設けられたコンパクトな球面マイクロホンアレイが想定されている。信号ソースがすべてアパーチャの遠方界に設けられていると仮定し(その結果、これらの信号ソースをアレイ上に入射する平面波で近似しうる)、部屋内での初期段階での反射は点光源としてモデル化され、遅い段階dでの反射は等方性ノイズとしてモデル化される。ここで、L+D個のソース信号がΩ1Ω2、...、ΩL、ΩL+1、...、ΩL+Dの方向からの球面に入って来ること、また、ノイズが存在することを仮定する。次いで、各マイクロホン位置のスペースドメイン音圧は次のように書くことができる:
x(ka、Ωs)の球面フーリエ変換は次の式で与えられる:
次いで、アレイ処理をスペースドメイン内または球面調和関数ドメイン内で行なうことができ、またアレイ出力y(ka)が以下の式で計算される:
一部の実施形態の場合と同様に、次の実施形態にかかるビームフォーマでは、複数の主ローブ方向が維持され、副ローブレベルが制御されるが、ビーム方向外からくる干渉を順応的に抑制するためにアレイ出力が最小限に抑えられるようになしてある。さらに、システムのロバストネスを向上させる目的で、重み付けノルム制約(すなわち、ホワイトノイズ利得制御)も用いられ、アレイの重み付けノルムをある選択されたしきい値に制限するようになしてある。
Ωl=Ω1、Ω2、...、ΩLの方向からくるL個の所望の信号が良好に取り込まれ、均一にされることを担保するために、以下のL×(N+1)2マニホルド行列と、
上述の実施形態と同様に、すべての副ローブをしきい値未満に厳格に抑えることを担保するために、次のような一組の二次不等制約を定式化することができる。
上記の実施形態でのように、適応する主ローブの形成および多重のヌルステアリングは、さまざまな制約を適用しながら、実行時間においてアレイ出力を最小限に抑えることにより達成される。(22)において先に述べたように、アレイ出力は次の式で求められる:
ここで、変数ξの導入によって、最適化問題を次のように再定式化することができる:
これを(46)、(47)および(50)と組み合わせることにより、(32)の最適化問題を次のように表すことができる:
上述の式から分かるように、重み付けベクトルノルム制約は、ζを分母に置いているのではなく、しきい値δを分子に置いて表されている。次のシミュレーションは、用いられているδの値が示されている。
次のシミュレーションでは、r=5cmの剛球がM=(N+1)2個のマイクロホンによりサンプリングされ、また、ka=3であると想定する。各マイクロホンの信号対ノイズ比および干渉対ノイズ比はそれぞれ0dBおよび30dBである。副ローブ領域を離散化するために、5°の均一なグリッドが用いられる。他に指定がない限り、便宜上、適応ビームフォーミングの具体例では、理論的なデータ共分散行列R(ω)が用いられる。
単一ビーム(L=1)の場合、位数がN=4であり、ルック方向が[0°、0°]であり、WNG制約が8dB(δ=0.159)に設定されていると仮定する。 図10(a)には、副ローブが制御されず、適応ヌルステアリング制約がない、(51)を用いた標準的な単一ビームパターンの合成が示されている。図10(b)には、不均一副ローブ制御の性能が示されている。主要な副ローブ領域が、副ローブレベルが均一に−20dB)未満であり(εj=0.01)、ΩSL={(θ、φ)|θ≧45°}であるとして定義されている。ノッチが、(60°、270°)の方向であり、深さが−40dB(εj=0.0001)であり、幅が30°であると定義されている。図11(a)では、ノッチが取り除かれ、2つの干渉が[60°、190°]および[90°、260°]からアレイに入ってくることが仮定され、ヌルが自動的に形成され、干渉の入ってくる方向に向けられ、副ローブが−20dB未満に厳密に維持されていることが分かる。すべての単一ビームのケースについて実際のWNGおよび指向性指数(DI)の値が計算されていることに留意されたい。
図10(b)では、主ローブが少し幅広くなっており、また、DIが、副ローブが制御されないものよりも0.3dBだけ低くなっている。しかしながら、これらの犠牲は実用化の際には受け入れ可能である。劣化の理由は、ビームフォーミング性能パラメータ、すなわちビーム幅、副ローブレベル、DIおよびロバストネスがすべて相互に関連しているからである。本明細書に記載のアルゴリズムは、これらの相反する複数の目的間において適切な妥協点を提供する。
多重ビームの例(L=3)の場合、より多くの自由度を得るためにN=5のアレイ位数(array order)が用いられている。3つの所望の信号が[60°、0°][60°、120°]および[60°、240°]からアレイに入ってくると仮定されている。 図11(b)には、A1、2、3=1であり、δ=4である多重ビームの形成性能が示されている。図12(a)には、[0°、0°][65°、60°]、[65°、180°]および[65°、300°]から干渉が入ってくると仮定し、適応ヌルステアリングが行われ、−20dBの副ローブ制御が行われる多重ビーム受理可能性能が示されている。次に、第二の所望の信号の振幅が他の2つの信号よりも6dBだけ低いと想定し、音レベルを同等にするために、A2=2に設定し、δ=1に設定する。図12(b)には、ビームパターンが示されており、第二の主ローブ方向から入ってくる信号に対して約6dBの振幅増強が得られることが示されている。
図13〜図17には、本発明にかかる最適ビームフォーマの利点を示すさらなるシミュレーションが示されている。図13は、ロバストネス制約は行われているが副ローブ制御は行われていない四位数(4th order)標準ビームパターンが示されている。対照的に、図14には、ロバストネス制約および副ローブ制御制約が行われている本発明にかかる四位数最適ビームパターンが示されている。主ローブは+Z軸から45°の領域にある。図15には、ロバストネス制約が行われ、副ローブ制御が行われ、方向(50、90)から入ってくる干渉に対して深いヌルステアリングが行われている、本発明に従って形成された四位数最適ビームパターンが示されている。
図16には、該当する信号の方向に対する6つの無歪制約が行われてビームパターンに6つの主ローブが形成されている、本発明に従って形成される最適多重主ローブビームパターンが示されている。図17には、該当する信号の方向に対する6つの無歪制約が行われ、(0、0)でヌルが形成され、下半球側にある副ローブが制御されている、本発明に従って形成された最適多重主ローブビームパターンが示されている。
時間ドメインの例
下記には、広帯域モーダルビームフォーマのためのアレイパターン合成に対する時間ドメインアプローチの性能を例示するためにいくつかの数値の例が説明されている。
時間ドメインの例
下記には、広帯域モーダルビームフォーマのためのアレイパターン合成に対する時間ドメインアプローチの性能を例示するためにいくつかの数値の例が説明されている。
下記で検討する具体例では、半径が4.2cmであり、M=32個のマイクロホンが切頭20面体の面の中央に設けられている剛球アレイが想定されている。音場分解のために位数N=4が用いられ、αs≡4π/Mである。サンプリング周波数はfs=14700Hzである。周波数バンド[fL、fU]は、K=51個の周波数グリッド、fk=fL・10lg(fU/fL)*(k-1)/(K-1)、k=1,2,...、Kを用いて離散化される。FIRフィルタの長さはL=65である。とくに明記されていない限り、ΘML=[0°:2°:40°]およびΘSL=[48°:2°:180°]であることが仮定され、このことは、方向を離散化するために2°の均一なグリッドが用いられることを意味する。
T.A.最大ロバストネス設計
式(T42)を参照し、fL=500Hz、fU=5000Hzであると仮定する。l=4、μ1=∞、μ2=∞、μ3=∞とする。最適化問題は次の式で表される。
T.A.最大ロバストネス設計
式(T42)を参照し、fL=500Hz、fU=5000Hzであると仮定する。l=4、μ1=∞、μ2=∞、μ3=∞とする。最適化問題は次の式で表される。
(T25)を用いて、ビームパターンが、周波数および角度の関数として計算され、グリッド上の周波数および角度の点で表されている。図22(c)には、得られたビームパターンが示されている。この図には正規化係数M/4πが含まれているので、ルック方向のビームパターンの振幅は1(または0dB)に等しい。
DIおよびWNGがそれぞれ(T38)および(T15)を用いて計算される。比較のために、周波数ドメイン最大WNGモーダルビームフォーマのDIおよびWNGも計算される。図22(d)は、さまざまな周波数で得られた結果が示されている。
T.B.最大指向性設計
l=1,μ2=∞、μ3=∞、μ4=∞とする。最適化問題(T42)は最大指向性設計問題となる。得られたビームフォーマは、時間ドメイン最大指向性(TDMD)モーダルビームフォーマと呼ばれる。
T.B.最大指向性設計
l=1,μ2=∞、μ3=∞、μ4=∞とする。最適化問題(T42)は最大指向性設計問題となる。得られたビームフォーマは、時間ドメイン最大指向性(TDMD)モーダルビームフォーマと呼ばれる。
fL=500Hz、fU=5000Hzであると仮定する。図23(a)、図23(b)、図23(c)および図23(d)には、それぞれ得られたFIRフィルタh0、h1、...、hN、重み付け関数
、ビームパターン、ならびにDIおよびWNGが示されている。これらの図には、比較のため、周波数ドメイン最大DIモーダルビームフォーマの重み付け関数[cn(fk)]MDI(T16)、DIおよびWNGがさらに示されている。最大指向性設計を用いた時間ドメインモーダルビームフォーマの重み付けが、周波数バンド[fL,fU]内において、周波数ドメインのものに近似することが分かる。
図22(a)、図22(b)、図22(d)と比較すると、FIRフィルタの係数、ひいてはTDMDビームフォーマの得られた重み付け関数が非常に大きく、また、低周波数におけるWNGが小さすぎることが分かる。これらはすべて、このビームフォーマがロバストネスを欠いていることを示唆している。
T.C.ロバストネス制御を伴う最大指向性
ビームフォーマのロバストネスを向上させるためには、広帯域ホワイトノイズ利得制約を課す必要がある。このことは、l=1,μ2=∞、μ3=∞、μ4がユーザパラメータであるとして定式化することができる。得られたビームフォーマは、時間ドメインロバスト最大指向性(TDRMD)モーダルビームフォーマと呼ばれる。
T.C.ロバストネス制御を伴う最大指向性
ビームフォーマのロバストネスを向上させるためには、広帯域ホワイトノイズ利得制約を課す必要がある。このことは、l=1,μ2=∞、μ3=∞、μ4がユーザパラメータであるとして定式化することができる。得られたビームフォーマは、時間ドメインロバスト最大指向性(TDRMD)モーダルビームフォーマと呼ばれる。
fL=500Hz、fU=5000Hz、μ4=4π/Mであると仮定する。 図24(a)、図24(b)、図24(c)および図24(d)には、それぞれ、得られたFIRフィルタh0、h1、...、hN、重み付け関数
、ビームパターン、ならびにDIおよびWNGが示されている。
図24(d)から、このビームフォーマのWNGが−3dBよりも高く、低周波では、図23に示されるような最大指向性設計のものよりもはるかに高いことが分かる。このビームフォーマのDIは、図22に示されるような最大ロバストネス設計のものよりもはるかに高い。したがって、これらの結果から、この設計が指向性とロバストネスとの間の良好なトレードオフを提供していることが分かる。
T.D.周波数に依存しないビームフォーマ
周波数に依存しない広帯域ビームパターンの合成を仮定する。帯域幅を2オクターブ削減するので、fL=1250Hz、fU=5000Hzとなる。l=1、μ2=10-1.5・4π/M、q1=2,μ3=∞、μ4=2π/M、ΘML=[0°:2°:180°]とする。図25には、結果が示されている。期待された、周波数に依存しないビームパターンが得られ、WNGが適度であることが分かる。
T.E.多数の制約を伴う最適ビームフォーマ
fL=1250Hz、fU=5000Hzであると仮定する。l=1、μ2=0.1・4π/M、q1=2,μ3=10-14/20・4π/M、q2=∞、μ4=10-4/10・4π/M、ΘML=[0°:2°:40°]、ΘSL=[48°:2°:180°]とする。図26には得られた結果が示されている。制約がすべて担保され、また、複数の性能尺度間のトレードオフが得られている。
実験結果
MHアコースティックスからのEigenmike(登録商標)マイクロホンアレイは、半径が4.2cmの剛球アレイであり、32個のマイクロホンが、切頭20面体の面の中心に設けられている。実験は、75Hzまで無響になっている無響室で行なわれた。また、Eigenmike(登録商標)は録音用のために無響室の中心に配置された。ラウドスピーカが、ほぼ(20°、180°)の方向に向かってEigenmike(登録商標)マイクロホンアレイから1.5メートル離して設けられ、掃引周波数コサイン信号(100Hz〜5kHzまでの範囲)を生じさせるために用いられた。音は、14.7kHzのサンプリング周波数で、サンプル当たり16ビットで、Eigenmike(登録商標)マイクロホンアレイにより録音された。
T.D.周波数に依存しないビームフォーマ
周波数に依存しない広帯域ビームパターンの合成を仮定する。帯域幅を2オクターブ削減するので、fL=1250Hz、fU=5000Hzとなる。l=1、μ2=10-1.5・4π/M、q1=2,μ3=∞、μ4=2π/M、ΘML=[0°:2°:180°]とする。図25には、結果が示されている。期待された、周波数に依存しないビームパターンが得られ、WNGが適度であることが分かる。
T.E.多数の制約を伴う最適ビームフォーマ
fL=1250Hz、fU=5000Hzであると仮定する。l=1、μ2=0.1・4π/M、q1=2,μ3=10-14/20・4π/M、q2=∞、μ4=10-4/10・4π/M、ΘML=[0°:2°:40°]、ΘSL=[48°:2°:180°]とする。図26には得られた結果が示されている。制約がすべて担保され、また、複数の性能尺度間のトレードオフが得られている。
実験結果
MHアコースティックスからのEigenmike(登録商標)マイクロホンアレイは、半径が4.2cmの剛球アレイであり、32個のマイクロホンが、切頭20面体の面の中心に設けられている。実験は、75Hzまで無響になっている無響室で行なわれた。また、Eigenmike(登録商標)は録音用のために無響室の中心に配置された。ラウドスピーカが、ほぼ(20°、180°)の方向に向かってEigenmike(登録商標)マイクロホンアレイから1.5メートル離して設けられ、掃引周波数コサイン信号(100Hz〜5kHzまでの範囲)を生じさせるために用いられた。音は、14.7kHzのサンプリング周波数で、サンプル当たり16ビットで、Eigenmike(登録商標)マイクロホンアレイにより録音された。
図27(a)の上側プロットおよび下側プロットには、それぞれ2つの典型的なマイクロホン(すなわち、日の当たる側にある13番のマイクロホンおよび日の当たらない側にある31番のマイクロホン)で受信された信号が示されている。上側プロットに示されている信号の短時間フーリエ変換を用いたスペクトログラムが、中央プロットに示されている。
サブセクションT.A.で示されるTDMRモーダルビームフォーマが用いられている。到来(入ってくる)方向、すなわち(20°、180°)にビームが向けられる場合のビームフォーマの時系列出力およびスペクトログラムが、それぞれ、図27(b)の上側プロットおよび中央プロットに示されている。図27(b)の下側プロットには、到来方向から60°ズラされている他の方向(80°180°)にビームが向けられる場合の時系列出力が示されている。
サブセクションT.B.およびT.C.に記載のTDMDモーダルビームフォーマおよびTDRMDモーダルビームフォーマを同一のマイクロホンアレイデータに適用する。上述のプロセスが繰り返えされる。これら2つの方法を用いた場合の図27(b)と同様の結果が、それぞれ図27(c)および図27(d)に示されている。
図27(b)、図27(c)および図27(d)の上側プロットをについて説明する。TDMRDビームフォーマの出力がTDMRビームフォーマのものと類似していることが分かる。しかしながら、TDMDビームフォーマの場合、低周波数における大きさがはるかに大きい。この理由は、低周波数における重み付けノルムが非常に大きく、期待されるアレイ応答ベクトルと実際のアレイ応答ベクトルと間のミスマッチが僅かであっても出力が大きくなるからである。換言すれば、このビームフォーマは少しのミスマッチに対しても非常に敏感であるということである。
図27(b)の下側プロットを図27(d)の下側プロットと比較すると、TDMRビームフォーマの時系列の大きさが、とくに低周波数において、TDRMDビームフォーマのものよりはるかに大きく、前者のビーム幅が後者のビーム幅よりも広いことを意味していることが分かる。このことは、図22および図24に示されているビームパターンからも見出すことができる。したがって、図27に記載の結果から、TDRMDビームフォーマが指向性とロバストネスとの間の良好なトレードオフを提供していることが分かる。
上記の実施例は、球面調和関数ドメインの広帯域モーダルビームフォーマを実数値時間ドメイン(real−valued time−domain)で具象化したものである。これらの実施例に記載の広帯域モーダルビームフォーマはモーダル変換ユニットと、ステアリングユニットと、パターン作成ユニットとを備えている。ステアリングユニットは、任意選択的なものであり、ルック方向に対して回転対称ではないビームパターンの作成が必要な場合には省略することができる。パターン作成ユニットは、ステアリング方向に依存せず、フィルタ和構造(filter−and−sum structure)を用いて実現される。優れた球面調和関数フレームワークは、従来のエレメントスペース基づいたアプローチ(element−space based approach)に比べて演算がより効率的な最適化アルゴリズムおよび実現スキームに結びつく。広帯域アレイ応答、等方性ノイズおよび空間ホワイトノイズに対するビームフォーマ出力および主ローブ空間応答変化はすべて、FIRフィルタのタップ重みの関数として表されている。FIRフィルタ設計問題は、多重制約問題として定式化されており、このことにより、得られるビームフォーマが、指向性、主ローブ空間応答変化、副ローブレベルおよびロバストネスの如き相反する複数のアレイ性能尺度間の適切なトレードオフを提供することができることが担保されることになる。
上述のすべてから理解することができるように、二次錘計画法ソルバーを用いて効率的に解くことできる多重制約凸最適化問題として最適化問題を定式化することによって、球面マイクロホンアレイの最適ビームフォーマ設計の問題が取り組まれている。得られたビームフォーマが、指向性指数、ロバストネス、アレイ利得、副ローブレベル、主ローブ幅などの如き複数の性能尺度間の適切なトレードオフを提供し、異なるローブ/領域の利得制約を変えながら、複数の主ローブの形成および干渉の回避のために、適応する複数のヌルを形成することができることが実証されている。このアプローチによって柔軟な設計ツールが提供されることは明白である。というのは、このアプローチが以前に学習された遅延和型ビームフォーマ、および特別なケースとして純粋位相モードビームフォーマを包含するとともに、もっと複雑な最適化問題を許容可能な時間枠内で解決することを可能とするからである。
添付資料
下記のセクションでは、球面フーリエ変換および球面調和関数に基づいたビームフォーミングの背景が説明してあり、この明細書において用いられているいくつかの結果が導出されている。
添付資料
下記のセクションでは、球面フーリエ変換および球面調和関数に基づいたビームフォーミングの背景が説明してあり、この明細書において用いられているいくつかの結果が導出されている。
標準直交座標系(x、y、z)および球面座標系(r、θ、φ)が用いられている。
ここでは、仰角および方位角(アジマス)は、+z軸および+x軸から測定されたラジアン単位で表される角度変位をz=0の面に投影したものである。Ω0=(θ0、φ0)の方向から半径aの球体に入ってくる単位強度の平面波を想定する。この用途では、時間係数exp(iωt)が抑制される。ここで、iは
であり、ωは時間角周波数(temporal radian frequency)である。
波数kについての球体表面における観測点での総合音圧波は、球面調和関数を用いて次のように書くことができる:
球面調和関数は、波動方程式、または球座標のヘルムホルツの式の解である。これらは、次の式で求められる:
単位球面上で2乗積分可能な関数(squared integrable function)pの球面調和関数分解または球面フーリエ変換は、pnmで表され、その逆変換と共に次のそれぞれ対応する式で求められる:
x(ka、Ωs)の球面フーリエ変換は、次の式で求められる。
アレイ処理は、アレイ入力信号とアレイ重み付け関数との積を全球面にわたって積分することにより、または球面調和関数ドメインにおいて同様の重み付けおよび総和を行うことにより、スペースドメインまたは球面調和関数ドメインのどちらにおいてでも処理することができる。アパーチャ重み付け関数をwで表すことにより、アレイ出力は、アレイ入力信号と複素共役重み関数(complex conjugated weighting function)w*との積の球面全体にわたる積分として求められる。
実際問題として、音圧は、マイクロホン位置Ωsで空間的にサンプリングされる。ここで、s=1、...、Mであり、Mはマイクロホンの数である。マイクロホン位置は次の離散的正規直交性条件(discrete orthnormality condition)を満たす必要がある:
有限数の数のマイクロホンが球面をサンプリングする場合、位数Nの球面調和関数は、空間エイリアシング を回避するために、M≧(N+1)2を満たす必要があることに留意されたい。換言すれば、位数Nが与えられた場合、マイクロホンの数Mは少なくとも(N+1)2でなければならない。
x(ka、Ωs)の離散球面フーリエ変換(球面フーリエ係数)およびその逆変換はそれぞれ対応する次の式で求められる:
これに対応するアレイ出力は次の式により計算することができる:
球面フーリエ変換に対する重み付けのパルゼバル関係を用いると、次の式が得られる:
Claims (35)
- ビームフォーマのビームパターンを形成する方法であって、
前記ビームフォーマが、
センサーアレイから入力信号を受信し、
前記入力信号を球面調和関数ドメインに分解し、
前記球面調和関数に重み付け係数を付与し、
これらを組み合わせて出力信号を形成し、
これらの重み付け係数が、凸最適化演算によって、ある与えられた一組の入力パラメータに対して最適化される、方法。 - 前記センサーアレイが、センサー位置が概念上の球面に配置される球面アレイである、請求項1に記載の方法。
- 前記センサーアレイが、開球アレイ、剛球アレイ、半球アレイ、2重開球アレイ、球殻アレイ、およびカーディオイドマイクロホンを備えた単一開球アレイからなる群から選択される形態を有している、請求項2に記載の方法。
- 前記センサーアレイが、音声帯域用途に設計され、約8cm〜約30cmの最大寸法を有している、請求項1,2または3に記載の方法。
- 前記センサーアレイがマイクロホンアレイである、請求項1乃至4のうちのいずれか一項に記載の方法。
- 最適化問題、および任意選択的に制約が、前記センサーアレイの出力を最小限に抑えること、副ローブレベルを最小限に抑えること、主ローブ領域のひずみを最小限に抑えること、およびホワイトノイズ利得を最大化することのうちの1つ以上として定式化されている、請求項1乃至5のうちのいずれか一項に記載の方法。
- 前記最適化問題が、前記センサーアレイの出力を最小限に抑えることとして定式化されている、請求項1乃至6のうちのいずれか一項に記載の方法。
- 前記一組の入力パラメータが、前記ビームパターンに主ローブを形成するように、指定された方向の前記アレイ利得をある与えられたレベルに維持するという要件を含んでいる、請求項1乃至7のうちのいずれか一項に記載の方法。
- 前記一組の入力パラメータが、前記ビームパターンに複数の主ローブを形成するように、複数の指定された方向の前記アレイ利得をある与えられたレベルに維持するという要件を含んでいる、請求項8に記載の方法。
- 前記ビームパターンに異なるレベルの複数の主ローブを形成するように、前記複数の指定された方向に対して必要な利得レベルが提供される、請求項9に記載の方法。
- 前記ビームフォーマが、凸制約として前記要件または各要件を定式化する、請求項8、9または10に記載の方法。
- 前記ビームフォーマが、線形等式制約として前記要件または各要件を定式化する、請求項11に記載の方法。
- 前記ビームフォーマが、前記指定された方向から前記センサーアレイに入射する単位強度平面波に対する前記アレイ出力が前もって決められている定数と等しいという要件として、前記要件または各要件を定式化する、請求項12に記載の方法。
- 前記一組の入力パラメータが、前記ビームパターンにヌルを形成するように、指定された方向の前記アレイ利得をある与えられたレベル未満にするという要求を含んでいる、請求項1乃至13のうちのいずれか一項に記載の方法。
- 前記一組の入力パラメータが、前記ビームパターンに複数のヌルを形成するように、複数の指定された方向の前記アレイ利得をある与えられたレベル未満にするという要件を含んでいる、請求項14に記載の方法。
- 前記ビームパターンに異なる深さの複数のヌルを形成するように、前記複数の指定された方向の各々に対して最大利得レベルが提供される、請求項15に記載の方法。
- 前記ビームフォーマが、凸制約として前記要件または各要件を定式化する、請求項14、15または16に記載の方法。
- 前記ビームフォーマが、二次錘制約として前記要件または各要件を定式化する、請求項17に記載の方法。
- 前記ビームフォーマが、前記指定された方向から前記センサーアレイに入射する単位強度平面波に対する前記アレイ出力の強度が前もって決められている定数未満であるという要件として、前記要件または各要件を定式化する、請求項18に記載の方法。
- 前記一組の入力パラメータが、指定されたレベルのロバストネスを前記ビームパターンが有しているという要求を含んでいる、請求項1乃至19のうちのいずれか一項に記載の方法。
- 前記指定されたレベルのロバストネスが、前記重み付け係数を含むベクトルのノルムに対する制限として指定される、請求項20に記載の方法。
- 前記ノルムがユークリッドノルムである、請求項21に記載の方法。
- 前記重み付け係数が、二次錐計画法によって最適化される、請求項1乃至22のうちのいずれか一項に記載の方法。
- 位数nの各球面調和関数に対して1つ以上の重み付け係数が最適化されるが、各位数の球面調和関数内で、前記1つ以上の重み付け係数が、前記位数nのすべての次数m=−n〜次数m=nまでにおいて共通である、請求項1乃至23のうちのいずれか一項に記載の方法。
- 前記一組の入力信号が、前記球面調和関数ドメインへ分解される前に、周波数ドメインに変換される、請求項1乃至24のうちのいずれか一項に記載の方法。
- 前記ビームフォーマが、周波数ドメイン信号が狭帯域周波数ビンに分割される広帯域ビームフォーマであり、各狭帯域周波数ビンが別々に最適化さ、重み付けされてから、これらの狭帯域周波数ビンが再結合されて広帯域出力を形成する、請求項25に記載の方法。
- 前記一組の入力信号が、時間ドメインで処理され、また、前記重み付け係数が、前記球面調和関数信号に適用される有限インパルス応答フィルタのタップ重みである、請求項1乃至24のうちのいずれか一項に記載の方法。
- ビームフォーマであって、
各センサーが信号を生成するように構成されたアレイ状に並べられているセンサーと、
入力信号を球面調和関数ドメインへ分解し、分解された前記信号を出力するように構成された球面調和関数分解手段と、
1組の入力パラメータに基づいて、前記分解された信号に付与される重み付け係数を凸最適化演算を用いて計算するように構成された重み付け係数計算手段と、
計算された前記重み付け係数と前記分解された信号を組み合わせて出力信号を形成する出力形成手段とを備えてなる、ビームフォーマ。 - 信号追跡手段をさらに備えており、該信号追跡手段が、前記センサーからの前記信号を評価して所望の信号ソースの方向および不要な干渉ソースの方向を判断するように構成されてなる、請求項28に記載のビームフォーマ。
- ビームフォーマのビームパターンを形成する方法であって、
前記ビームフォーマが、
センサーアレイから入力信号を受信し、
前記信号に重み付け係数を付与し、
これらを組み合わせて出力信号を形成し、
前記重み付け係数が、前記ビームパターンに複数の主ローブを形成するように、複数の指定された方向のアレイ利得をある与えられたレベルに維持するという制約条件下で、ある与えられた一組の入力パラメータに対して凸最適化演算によって最適化され、
各要件が、指定された方向から前記センサーアレイに入射する単位強度平面波に対する前記センーアレイの出力が前もって決められている定数と等しいという要件として定式化される、方法。 - コンピュータ上で実行されると、請求項1乃至27または30のうちのいずれか一項に記載のステップを実行するように構成されてなる、ソフトウェア製品。
- 前記ソフトウェア製品がデータキャリアである、請求項31に記載のソフトウェア製品。
- 前記ソフトウェア製品が、リモート位置から送信される信号を含む、請求項31に記載のソフトウェア製品。
- 物理的キャリアの形態を有しているソフトウェア製品を製造する方法であって、前記データキャリアにインストラクションを格納することを含み、該インストラクションがコンピュータにより実行されると、該コンピュータが請求項1乃至27または30のうちのいずれか一項に記載の方法を実行する、方法。
- ソフトウェア製品をリモート位置へ、該リモート位置のコンピュータへデータを送信することによって送る方法であって、前記データがインストラクションを含み、該インストラクションが前記コンピュータによって実行されると、該コンピュータが請求項1乃至27または30のうちのいずれか一項に記載の方法を実行する、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB0906269.6A GB0906269D0 (en) | 2009-04-09 | 2009-04-09 | Optimal modal beamformer for sensor arrays |
GB0906269.6 | 2009-04-09 | ||
PCT/GB2010/000730 WO2010116153A1 (en) | 2009-04-09 | 2010-04-09 | Optimal modal beamformer for sensor arrays |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012523731A true JP2012523731A (ja) | 2012-10-04 |
Family
ID=40750450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012504077A Pending JP2012523731A (ja) | 2009-04-09 | 2010-04-09 | センサーアレイに最適なモーダルビームフォーマ |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120093344A1 (ja) |
EP (1) | EP2417774A1 (ja) |
JP (1) | JP2012523731A (ja) |
CN (1) | CN102440002A (ja) |
GB (1) | GB0906269D0 (ja) |
WO (1) | WO2010116153A1 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014501064A (ja) * | 2010-10-25 | 2014-01-16 | クゥアルコム・インコーポレイテッド | マルチマイクロフォンを用いた3次元サウンド獲得及び再生 |
JP2014116820A (ja) * | 2012-12-11 | 2014-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 音場収音再生装置、方法、およびプログラム |
JP2014150417A (ja) * | 2013-02-01 | 2014-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 音場収音再生装置、方法及びプログラム |
JP2014171163A (ja) * | 2013-03-05 | 2014-09-18 | Nippon Telegr & Teleph Corp <Ntt> | 音場収音再生装置、方法及びプログラム |
JP2014535232A (ja) * | 2011-11-11 | 2014-12-25 | トムソン ライセンシングThomson Licensing | 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置 |
JP2014535231A (ja) * | 2011-11-11 | 2014-12-25 | トムソン ライセンシングThomson Licensing | 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置 |
US9031256B2 (en) | 2010-10-25 | 2015-05-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control |
JP2016082414A (ja) * | 2014-10-17 | 2016-05-16 | 日本電信電話株式会社 | 収音装置 |
JP2016126022A (ja) * | 2014-12-26 | 2016-07-11 | アイシン精機株式会社 | 音声処理装置 |
WO2018167921A1 (ja) * | 2017-03-16 | 2018-09-20 | 三菱電機株式会社 | 信号処理装置 |
KR102134028B1 (ko) * | 2019-09-23 | 2020-07-14 | 한화시스템 주식회사 | 완전 디지털 능동 배열 레이다의 빔 설계 방법 |
JPWO2021024475A1 (ja) * | 2019-08-08 | 2021-02-11 | ||
JPWO2021024474A1 (ja) * | 2019-08-08 | 2021-02-11 | ||
US11994605B2 (en) | 2019-04-24 | 2024-05-28 | Panasonic Intellectual Property Corporation Of America | Direction of arrival estimation device, system, and direction of arrival estimation method |
Families Citing this family (99)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306496B (zh) * | 2011-09-05 | 2014-07-09 | 歌尔声学股份有限公司 | 一种多麦克风阵列噪声消除方法、装置及系统 |
US10021508B2 (en) | 2011-11-11 | 2018-07-10 | Dolby Laboratories Licensing Corporation | Method and apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an ambisonics representation of the sound field |
US9313590B1 (en) * | 2012-04-11 | 2016-04-12 | Envoy Medical Corporation | Hearing aid amplifier having feed forward bias control based on signal amplitude and frequency for reduced power consumption |
US9119012B2 (en) | 2012-06-28 | 2015-08-25 | Broadcom Corporation | Loudspeaker beamforming for personal audio focal points |
CN102857852B (zh) * | 2012-09-12 | 2014-10-22 | 清华大学 | 一种声场定量重现控制系统的扬声器回放阵列控制信号的处理方法 |
US9264799B2 (en) * | 2012-10-04 | 2016-02-16 | Siemens Aktiengesellschaft | Method and apparatus for acoustic area monitoring by exploiting ultra large scale arrays of microphones |
US9078057B2 (en) | 2012-11-01 | 2015-07-07 | Csr Technology Inc. | Adaptive microphone beamforming |
EP2757811B1 (en) * | 2013-01-22 | 2017-11-01 | Harman Becker Automotive Systems GmbH | Modal beamforming |
US9736609B2 (en) * | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
US10178489B2 (en) | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
US9609452B2 (en) | 2013-02-08 | 2017-03-28 | Qualcomm Incorporated | Obtaining sparseness information for higher order ambisonic audio renderers |
US20140278380A1 (en) * | 2013-03-14 | 2014-09-18 | Dolby Laboratories Licensing Corporation | Spectral and Spatial Modification of Noise Captured During Teleconferencing |
US20140270219A1 (en) * | 2013-03-15 | 2014-09-18 | CSR Technology, Inc. | Method, apparatus, and manufacture for beamforming with fixed weights and adaptive selection or resynthesis |
US20140358565A1 (en) | 2013-05-29 | 2014-12-04 | Qualcomm Incorporated | Compression of decomposed representations of a sound field |
US9466305B2 (en) * | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
US9640179B1 (en) * | 2013-06-27 | 2017-05-02 | Amazon Technologies, Inc. | Tailoring beamforming techniques to environments |
WO2015013058A1 (en) * | 2013-07-24 | 2015-01-29 | Mh Acoustics, Llc | Adaptive beamforming for eigenbeamforming microphone arrays |
US9591404B1 (en) * | 2013-09-27 | 2017-03-07 | Amazon Technologies, Inc. | Beamformer design using constrained convex optimization in three-dimensional space |
CN104768100B (zh) * | 2014-01-02 | 2018-03-23 | 中国科学院声学研究所 | 用于环形阵的时域宽带谐波域波束形成器及波束形成方法 |
US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
US9489955B2 (en) | 2014-01-30 | 2016-11-08 | Qualcomm Incorporated | Indicating frame parameter reusability for coding vectors |
US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
US10770087B2 (en) | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
AU2015292238B2 (en) * | 2014-07-23 | 2020-05-21 | The Australian National University | Planar sensor array |
US9536531B2 (en) * | 2014-08-01 | 2017-01-03 | Qualcomm Incorporated | Editing of higher-order ambisonic audio data |
TWI584657B (zh) * | 2014-08-20 | 2017-05-21 | 國立清華大學 | 一種立體聲場錄音以及重建的方法 |
DE102015203600B4 (de) * | 2014-08-22 | 2021-10-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | FIR-Filterkoeffizientenberechnung für Beamforming-Filter |
US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
US10061009B1 (en) | 2014-09-30 | 2018-08-28 | Apple Inc. | Robust confidence measure for beamformed acoustic beacon for device tracking and localization |
JP6399516B2 (ja) * | 2014-11-27 | 2018-10-03 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 無線通信システム、制御装置、最適化方法、無線通信装置およびプログラム |
CN104483665B (zh) * | 2014-12-18 | 2017-03-22 | 中国电子科技集团公司第三研究所 | 一种被动声传感器阵列的波束形成方法及系统 |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US10775476B2 (en) | 2015-05-18 | 2020-09-15 | King Abdullah University Of Science And Technology | Direct closed-form covariance matrix and finite alphabet constant-envelope waveforms for planar array beampatterns |
CN104993859B (zh) * | 2015-08-05 | 2018-07-06 | 中国电子科技集团公司第五十四研究所 | 一种适用于时间异步环境下的分布式波束赋形方法 |
US9967081B2 (en) * | 2015-12-04 | 2018-05-08 | Hon Hai Precision Industry Co., Ltd. | System and method for beamforming wth automatic amplitude and phase error calibration |
EP3188504B1 (en) | 2016-01-04 | 2020-07-29 | Harman Becker Automotive Systems GmbH | Multi-media reproduction for a multiplicity of recipients |
JP6905824B2 (ja) | 2016-01-04 | 2021-07-21 | ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー | 非常に多数のリスナのための音響再生 |
EP3226581B1 (en) | 2016-03-31 | 2020-06-10 | Harman Becker Automotive Systems GmbH | Automatic noise control for a vehicle seat |
FR3050601B1 (fr) * | 2016-04-26 | 2018-06-22 | Arkamys | Procede et systeme de diffusion d'un signal audio a 360° |
US10063987B2 (en) | 2016-05-31 | 2018-08-28 | Nureva Inc. | Method, apparatus, and computer-readable media for focussing sound signals in a shared 3D space |
ITUA20164622A1 (it) * | 2016-06-23 | 2017-12-23 | St Microelectronics Srl | Procedimento di beamforming basato su matrici di microfoni e relativo apparato |
US11717255B2 (en) | 2016-08-05 | 2023-08-08 | Cimon Medical As | Ultrasound blood-flow monitoring |
JP7061604B2 (ja) * | 2016-08-05 | 2022-04-28 | サイモン メディカル アーエス | 超音波血流モニタ方法 |
TWI609363B (zh) * | 2016-11-23 | 2017-12-21 | 驊訊電子企業股份有限公司 | 主動降噪校正系統與揚聲裝置 |
US10015588B1 (en) * | 2016-12-20 | 2018-07-03 | Verizon Patent And Licensing Inc. | Beamforming optimization for receiving audio signals |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
JP7051876B6 (ja) | 2017-01-27 | 2023-08-18 | シュアー アクイジッション ホールディングス インコーポレイテッド | アレイマイクロホンモジュール及びシステム |
CN106950569B (zh) * | 2017-02-13 | 2019-03-29 | 南京信息工程大学 | 基于序贯回归方法的多阵元合成孔径聚焦波束形成方法 |
US10182290B2 (en) * | 2017-02-23 | 2019-01-15 | Microsoft Technology Licensing, Llc | Covariance matrix estimation with acoustic imaging |
CN108735228B (zh) * | 2017-04-20 | 2023-11-07 | 斯达克实验室公司 | 语音波束形成方法及系统 |
JP6811510B2 (ja) * | 2017-04-21 | 2021-01-13 | アルパイン株式会社 | 能動型騒音制御装置及び誤差経路特性モデル補正方法 |
US10083006B1 (en) * | 2017-09-12 | 2018-09-25 | Google Llc | Intercom-style communication using multiple computing devices |
CN107966677B (zh) * | 2017-11-16 | 2021-04-13 | 黑龙江工程学院 | 一种基于空间稀疏约束的圆阵模态域方位估计方法 |
CN108170888B (zh) * | 2017-11-29 | 2021-05-25 | 西北工业大学 | 基于最小化加权向量动态范围的波束图综合设计方法 |
CN108225536B (zh) * | 2017-12-28 | 2019-09-24 | 西北工业大学 | 基于水听器幅度与相位自校准的稳健自适应波束形成方法 |
US10721559B2 (en) | 2018-02-09 | 2020-07-21 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for audio sound field capture |
CN108156545B (zh) * | 2018-02-11 | 2024-02-09 | 北京中电慧声科技有限公司 | 一种阵列麦克风 |
CN108387882B (zh) * | 2018-02-12 | 2022-03-01 | 西安电子科技大学 | 一种基于二阶锥优化理论的mtd滤波器组设计方法 |
US10339912B1 (en) * | 2018-03-08 | 2019-07-02 | Harman International Industries, Incorporated | Active noise cancellation system utilizing a diagonalization filter matrix |
US10692515B2 (en) * | 2018-04-17 | 2020-06-23 | Fortemedia, Inc. | Devices for acoustic echo cancellation and methods thereof |
CN108761466B (zh) * | 2018-05-17 | 2022-03-18 | 国网内蒙古东部电力有限公司检修分公司 | 波束域广义旁瓣相消超声成像方法 |
US11523212B2 (en) | 2018-06-01 | 2022-12-06 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
CN109104683B (zh) * | 2018-07-13 | 2021-02-02 | 深圳市小瑞科技股份有限公司 | 一种双麦克风相位测量校正的方法及校正系统 |
CN112889296A (zh) | 2018-09-20 | 2021-06-01 | 舒尔获得控股公司 | 用于阵列麦克风的可调整的波瓣形状 |
US11109133B2 (en) | 2018-09-21 | 2021-08-31 | Shure Acquisition Holdings, Inc. | Array microphone module and system |
CN110031083A (zh) * | 2018-12-31 | 2019-07-19 | 瑞声科技(新加坡)有限公司 | 一种噪音总声压级测量方法、系统及计算机可读存储介质 |
US11190871B2 (en) | 2019-01-29 | 2021-11-30 | Nureva, Inc. | Method, apparatus and computer-readable media to create audio focus regions dissociated from the microphone system for the purpose of optimizing audio processing at precise spatial locations in a 3D space |
CN109669172B (zh) * | 2019-02-21 | 2022-08-09 | 哈尔滨工程大学 | 基于主瓣内强干扰抑制的弱目标方位估计方法 |
CN113841419A (zh) | 2019-03-21 | 2021-12-24 | 舒尔获得控股公司 | 天花板阵列麦克风的外壳及相关联设计特征 |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
JP2022526761A (ja) | 2019-03-21 | 2022-05-26 | シュアー アクイジッション ホールディングス インコーポレイテッド | 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置 |
CN110211601B (zh) * | 2019-05-21 | 2020-05-08 | 出门问问信息科技有限公司 | 一种空域滤波器参数矩阵的获取方法、装置及系统 |
WO2020237206A1 (en) | 2019-05-23 | 2020-11-26 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
US11302347B2 (en) | 2019-05-31 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
JP2022545113A (ja) | 2019-08-23 | 2022-10-25 | シュアー アクイジッション ホールディングス インコーポレイテッド | 指向性が改善された一次元アレイマイクロホン |
US12028678B2 (en) | 2019-11-01 | 2024-07-02 | Shure Acquisition Holdings, Inc. | Proximity microphone |
WO2021092740A1 (en) * | 2019-11-12 | 2021-05-20 | Alibaba Group Holding Limited | Linear differential directional microphone array |
CN111313949B (zh) * | 2020-01-14 | 2023-04-28 | 南京邮电大学 | 一种阵列流形误差条件下方向调制信号鲁棒性的设计方法 |
CN111243568B (zh) * | 2020-01-15 | 2022-04-26 | 西南交通大学 | 一种凸约束自适应回声消除方法 |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
US11450304B2 (en) | 2020-03-02 | 2022-09-20 | Raytheon Company | Active towed array surface noise cancellation using a triplet cardioid |
US10945090B1 (en) * | 2020-03-24 | 2021-03-09 | Apple Inc. | Surround sound rendering based on room acoustics |
CN111580078B (zh) * | 2020-04-14 | 2022-09-09 | 哈尔滨工程大学 | 基于融合模态闪烁指数的单水听器目标识别方法 |
USD944776S1 (en) | 2020-05-05 | 2022-03-01 | Shure Acquisition Holdings, Inc. | Audio device |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
CN111553095B (zh) * | 2020-06-09 | 2024-03-19 | 南京航空航天大学 | 基于序列二阶锥算法的时间调制阵列边带抑制方法 |
CN112017680B (zh) * | 2020-08-26 | 2024-07-02 | 西北工业大学 | 一种去混响方法及装置 |
CN112162266B (zh) * | 2020-09-28 | 2022-07-22 | 中国电子科技集团公司第五十四研究所 | 一种基于凸优化理论的共形阵二维波束优化方法 |
US11696083B2 (en) | 2020-10-21 | 2023-07-04 | Mh Acoustics, Llc | In-situ calibration of microphone arrays |
CN112949100B (zh) * | 2020-11-06 | 2023-02-28 | 中国人民解放军空军工程大学 | 一种机载雷达抗主瓣干扰的方法 |
WO2022165007A1 (en) * | 2021-01-28 | 2022-08-04 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
CN113938173B (zh) * | 2021-10-20 | 2024-02-09 | 深圳市畅电科技有限公司 | 一种星地融合网络中联合广播和单播的波束赋形方法 |
CN114245265B (zh) * | 2021-11-26 | 2022-12-06 | 南京航空航天大学 | 一种具有波束指向自校正能力的多项式结构波束形成器设计方法 |
CN114280544B (zh) * | 2021-12-02 | 2023-06-27 | 电子科技大学 | 一种基于松弛优化的最小过渡带宽度方向图赋形方法 |
CN114584895B (zh) * | 2022-05-07 | 2022-08-05 | 之江实验室 | 一种用于波束成形的声学收发阵列排布方法和装置 |
CN116611223B (zh) * | 2023-05-05 | 2023-12-19 | 中国科学院声学研究所 | 一种结合白噪声增益约束的精确阵列响应控制方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030147539A1 (en) * | 2002-01-11 | 2003-08-07 | Mh Acoustics, Llc, A Delaware Corporation | Audio system based on at least second-order eigenbeams |
GB0229059D0 (en) * | 2002-12-12 | 2003-01-15 | Mitel Knowledge Corp | Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle |
-
2009
- 2009-04-09 GB GBGB0906269.6A patent/GB0906269D0/en not_active Ceased
-
2010
- 2010-04-09 JP JP2012504077A patent/JP2012523731A/ja active Pending
- 2010-04-09 WO PCT/GB2010/000730 patent/WO2010116153A1/en active Application Filing
- 2010-04-09 EP EP10716594A patent/EP2417774A1/en not_active Withdrawn
- 2010-04-09 CN CN201080020705XA patent/CN102440002A/zh active Pending
- 2010-04-09 US US13/263,461 patent/US20120093344A1/en not_active Abandoned
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014501064A (ja) * | 2010-10-25 | 2014-01-16 | クゥアルコム・インコーポレイテッド | マルチマイクロフォンを用いた3次元サウンド獲得及び再生 |
US9031256B2 (en) | 2010-10-25 | 2015-05-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control |
US9552840B2 (en) | 2010-10-25 | 2017-01-24 | Qualcomm Incorporated | Three-dimensional sound capturing and reproducing with multi-microphones |
JP2014535232A (ja) * | 2011-11-11 | 2014-12-25 | トムソン ライセンシングThomson Licensing | 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置 |
JP2014535231A (ja) * | 2011-11-11 | 2014-12-25 | トムソン ライセンシングThomson Licensing | 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置 |
JP2014116820A (ja) * | 2012-12-11 | 2014-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 音場収音再生装置、方法、およびプログラム |
JP2014150417A (ja) * | 2013-02-01 | 2014-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 音場収音再生装置、方法及びプログラム |
JP2014171163A (ja) * | 2013-03-05 | 2014-09-18 | Nippon Telegr & Teleph Corp <Ntt> | 音場収音再生装置、方法及びプログラム |
JP2016082414A (ja) * | 2014-10-17 | 2016-05-16 | 日本電信電話株式会社 | 収音装置 |
JP2016126022A (ja) * | 2014-12-26 | 2016-07-11 | アイシン精機株式会社 | 音声処理装置 |
WO2018167921A1 (ja) * | 2017-03-16 | 2018-09-20 | 三菱電機株式会社 | 信号処理装置 |
JPWO2018167921A1 (ja) * | 2017-03-16 | 2019-11-07 | 三菱電機株式会社 | 信号処理装置 |
US11994605B2 (en) | 2019-04-24 | 2024-05-28 | Panasonic Intellectual Property Corporation Of America | Direction of arrival estimation device, system, and direction of arrival estimation method |
JPWO2021024475A1 (ja) * | 2019-08-08 | 2021-02-11 | ||
JPWO2021024474A1 (ja) * | 2019-08-08 | 2021-02-11 | ||
WO2021024474A1 (ja) * | 2019-08-08 | 2021-02-11 | 日本電信電話株式会社 | Psd最適化装置、psd最適化方法、プログラム |
WO2021024475A1 (ja) * | 2019-08-08 | 2021-02-11 | 日本電信電話株式会社 | Psd最適化装置、psd最適化方法、プログラム |
JP7173355B2 (ja) | 2019-08-08 | 2022-11-16 | 日本電信電話株式会社 | Psd最適化装置、psd最適化方法、プログラム |
JP7173356B2 (ja) | 2019-08-08 | 2022-11-16 | 日本電信電話株式会社 | Psd最適化装置、psd最適化方法、プログラム |
KR102134028B1 (ko) * | 2019-09-23 | 2020-07-14 | 한화시스템 주식회사 | 완전 디지털 능동 배열 레이다의 빔 설계 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN102440002A (zh) | 2012-05-02 |
US20120093344A1 (en) | 2012-04-19 |
EP2417774A1 (en) | 2012-02-15 |
GB0906269D0 (en) | 2009-05-20 |
WO2010116153A1 (en) | 2010-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012523731A (ja) | センサーアレイに最適なモーダルビームフォーマ | |
Elko | Differential microphone arrays | |
Yan et al. | Optimal modal beamforming for spherical microphone arrays | |
US9591404B1 (en) | Beamformer design using constrained convex optimization in three-dimensional space | |
Elko | Superdirectional microphone arrays | |
Teutsch et al. | Acoustic source detection and localization based on wavefield decomposition using circular microphone arrays | |
CA2499033C (en) | A system and method for beamforming using a microphone array | |
Elko | Microphone array systems for hands-free telecommunication | |
Elko et al. | Microphone arrays | |
Rafaely et al. | Spherical microphone array beamforming | |
Huang et al. | Robust and steerable Kronecker product differential beamforming with rectangular microphone arrays | |
Zhao et al. | On the design of 3D steerable beamformers with uniform concentric circular microphone arrays | |
Tager | Near field superdirectivity (NFSD) | |
Niwa et al. | Optimal microphone array observation for clear recording of distant sound sources | |
Sun et al. | Space domain optimal beamforming for spherical microphone arrays | |
Sun et al. | Robust spherical microphone array beamforming with multi-beam-multi-null steering, and sidelobe control | |
Teutsch | Wavefield decomposition using microphone arrays and its application to acoustic scene analysis | |
McDonough et al. | Microphone arrays | |
Barnov et al. | Spatially robust GSC beamforming with controlled white noise gain | |
Wang et al. | Microphone array beamforming based on maximization of the front-to-back ratio | |
Nordholm et al. | Performance limits of the broadband generalized sidelobe cancelling structure in an isotropic noise field | |
Niwa et al. | Diffused sensing for sharp directivity microphone array | |
US10204638B2 (en) | Integrated sensor-array processor | |
Hao et al. | An improved underwater acoustic positioning algorithm based on dithering technology | |
Elko et al. | Adaptive beamformer for spherical eigenbeamforming microphone arrays |