JP2014501064A - マルチマイクロフォンを用いた３次元サウンド獲得及び再生 - Google Patents

Abstract

マルチマイクロフォンセットアップを使用する３次元録音及び再生のためのシステム、方法、装置、及び機械可読媒体について説明する。

Description

[0002]本開示は、オーディオ信号処理に関する。

米国特許法第１１９条に基づく優先権の主張
本特許出願は、２０１０年１０月２５日に出願され、本出願の譲受人に譲渡された「THREE-DIMENSIONAL SOUND CAPTURING AND REPRODUCING WITH MULTI-MICROPHONES」と題する仮出願第６１／４０６，３９６号の優先権を主張する。また、本特許出願は、２０１１年３月２２日に出願され、本出願の譲受人に譲渡された「MULTI-MICROPHONE SETUP AND PROCESSING SCHEME FOR WIDE STEREO AND SURROUND SOUND RECORDING」と題する仮出願第６１／４６６，４３２号の優先権を主張する。

[0003]一般的構成によるオーディオ信号処理の方法は、記録された聴覚シーンを局在化可能音源（localizable sources）の第１のカテゴリーと周囲音の第２のカテゴリーとに分解することと、局在化可能音源の各々の方向の指示を記録することとを含む。また、特徴を読み取る機械にそのような方法を実行させる有形特徴を有するコンピュータ可読記憶媒体（例えば、非一時的媒体）が開示される。一般的構成によるオーディオ信号処理のための装置は、記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解するための手段と、局在化可能音源の各々の方向の指示を記録するための手段とを含む。別の一般的構成によるオーディオ信号処理のための装置は、記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解するように構成された空間選択フィルタと、局在化可能音源の各々の方向の指示を記録するように構成された方向推定器とを含む。

セルラーテレフォニーのための代表的なハンドセット上のマイクロフォン配置を示す図。 ユーザインターフェース入力に基づくマイクロフォン／ビームフォーマ選択の方法のフローチャート。 マイクロフォンペアの空間選択性の領域を示す図。 ２次元において所望の記録方向を選択するためのユーザインターフェースを示す図。 アクティブノイズ消去（ＡＮＣ）を実行するように構成されたヘッドセットの周りに定義された可能な空間セクタを示す図。 ３マイクロフォン構成を示す図。 ２つの局在化可能音源（シンガー及びドラム）と非定位周囲との場合の概念図。 音源方向及び／又は数を推定するために位相差の分布を使用する例を示す図。 音源方向及び／又は数を推定するために複数のビームフォーマを使用する例を示す図。 ４マイクロフォンセットアップを使用した空間符号化のための全方向及び１次獲得を示す図。 ポータブル通信機器の一例の前面図及び背面図。 ブロードサイド方向から到着する音源信号を記録する場合を示す図。 ブロードサイド方向から到着する音源信号を記録する別の場合を示す図。 エンドファイアビームを合成する場合を示す図。 前方中央、前方左、前方右、後方左、及び後方右方向におけるビームのプロットの例を示す図。 後方右空間的方向の信号を取得するための処理の例を示す図。 ３つのマイクロフォンのアレイをもつ２マイクロフォンペアＢＳＳを使用するヌルビームフォーミング手法を示す図。 前方右方向についての結果を取得するために前方及び右方向におけるビームが合成される例を示す図。 図１６に示したような手法のためのヌルビームの例を示す図。 ４つのマイクロフォンのアレイをもつ４チャネルＢＳＳを使用するヌルビームフォーミング手法を示す図。 コーナー方向ＦＬ、ＦＲ、ＢＬ、及びＢＲについての４つのフィルタのセットのビームパターンの例を示す図。 モバイルスピーカーデータに関して学習されたＩＶＡ収束（converged）フィルタビームパターンの例を示す図。 改良されたモバイルスピーカーデータに関して学習されたＩＶＡ収束フィルタビームパターンの例を示す図。 エンドファイアビームを合成する方法のフローチャート。 一般的デュアルペア（dual-pair）の場合の方法のフローチャート。 ３マイクロフォンの場合の図２３Ｂの方法の実施形態を示す図。 ４つのマイクロフォンのアレイをもつ４チャネルＢＳＳを使用する方法のフローチャート。 複数の全方向性マイクロフォンを使用して記録された信号から５．１チャネル記録を与えるため、及びヘッドフォンを使用してそのような記録を再生するためのシステムを示す図。 ＢＳＳフィルタバンクの部分ルーティング図。 ２×２フィルタバンクのルーティング図。 アレイＲ１００の実施形態Ｒ２００のブロック図。 アレイＲ２００の実施形態Ｒ２１０のブロック図。 一般的構成によるマルチマイクロフォンオーディオ感知機器Ｄ１０のブロック図。 機器Ｄ１０の実施形態である通信機器Ｄ２０のブロック図。

[0038]それの文脈によって明確に限定されない限り、「信号」という用語は、本明細書では、ワイヤ、バス、又は他の伝送媒体上に表されたメモリ位置（又はメモリ位置のセット）の状態を含む、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「発生（generating）」という用語は、本明細書では、計算（computing）又は別様の生成（producing）など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「計算（calculating）」という用語は、本明細書では、複数の値からの計算（computing）、評価、平滑化、及び／又は選択など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「取得（obtaining）」という用語は、計算（calculating）、導出、（例えば、外部機器からの）受信、及び／又は（例えば、記憶要素のアレイからの）検索など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「選択（selecting）」という用語は、２つ以上のセットのうちの少なくとも１つ、及び全てよりも少数を識別、指示、適用、及び／又は使用することなど、それの通常の意味のいずれをも示すのに使用される。「備える（comprising）」という用語は、本明細書及び特許請求の範囲において使用される場合、他の要素又は動作を除外しない。「に基づく」（「ＡはＢに基づく」など）という用語は、（ｉ）「から導出される」（例えば、「ＢはＡの先駆け（precursor）である」）、（ｉｉ）「少なくとも〜に基づく」（例えば、「Ａは少なくともＢに基づく」）、及び特定の文脈で適当な場合に、（ｉｉｉ）「に等しい」（例えば、「ＡはＢに等しい」）という場合を含む、それの通常の意味のいずれをも示すのに使用される。同様に、「に応答して」という用語は、「少なくとも〜に応答して」を含む、それの通常の意味のいずれをも示すのに使用される。

[0039]マルチマイクロフォンオーディオ感知機器のマイクロフォンの「位置(location)」への言及は、文脈によって別段に規定されていない限り、マイクロフォンの音響的に敏感な面の中心の位置を示す。「チャネル」という用語は、特定の文脈に応じて、時々、信号経路を示すのに使用され、また他のときには、そのような経路によって搬送される信号を示すのに使用される。別段に規定されていない限り、「一連」という用語は、２つ以上のアイテムのシーケンスを示すのに使用される。「対数」という用語は、１０を底とする対数を示すのに使用されるが、他の底へのそのような演算の拡張は本開示の範囲内である。「周波数成分」という用語は、（例えば、高速フーリエ変換によって生成される）信号の周波数領域表現のサンプル、又は信号のサブバンド（例えば、バーク尺度又はメル尺度サブバンド）など、信号の周波数又は周波数帯域のセットのうちの１つを示すのに使用される。

[0040]別段に規定されていない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示する（その逆も同様）ことをも明確に意図し、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する（その逆も同様）ことをも明確に意図する。「構成」という用語は、それの特定の文脈によって示されるように、方法、装置、及び／又はシステムに関して使用され得る。「方法」、「プロセス」、「手順(procedure)」、及び「技術(technique)」という用語は、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「装置」及び「機器」という用語も、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「要素」及び「モジュール」という用語は、一般に、より大きい構成の一部分を示すのに使用される。それの文脈によって明確に限定されない限り、「システム」という用語は、本明細書では、「共通の目的を果たすために相互作用する要素のグループ」を含む、それの通常の意味のいずれをも示すのに使用される。また、文書の一部分の参照によるいかなる組込みも、その部分内で参照される用語又は変数の定義が、その文書中の他の場所、及び組み込まれた部分中で参照される図に現れた場合、そのような定義を組み込んでいることを理解されたい。

[0041]本明細書で説明する方法は、獲得された信号を一連のセグメントとして処理するように構成され得る。典型的なセグメント長は約５又は１０ミリ秒から約４０又は５０ミリ秒にわたり、セグメントは、重複しても（例えば、隣接するセグメントが２５％又は５０％だけ重複する）、重複しなくてもよい。１つの特定の例では、上記信号は、１０ミリ秒の長さをそれぞれ有する一連の重複しないセグメント又は「フレーム」に分割される。また、そのような方法によって処理されるセグメントは、異なる演算によって処理されるより大きいセグメントのセグメント（即ち、「サブフレーム」）であり得、又はその逆も同様である。

[0042]今日では、フェイスブック、ツイッターなど、急速に成長するソーシャルネットワーキングサービスを通して個人情報の迅速な交換が経験されている。同時に、テキストだけでなく、マルチメディアデータをもすでにサポートしている、ネットワーク速度及び記憶容量の顕著な増大も認められる。この環境では、個々の聴覚エクスペリエンスのより現実的な没入型交換のために３次元（３Ｄ）オーディオを獲得し、再生するための重要な必要性が認められる。

[0043]３次元オーディオ再生は、ヘッドフォン又はラウドスピーカーアレイを使用して実行されてきた。しかしながら、オンライン制御可能性がなく、従って正確な音像を再生することのロバストネスが制限される。頭部伝達関数（ＨＲＴＦ：head-related transfer function）に基づくヘッドフォン再生の場合、音像は、一般にユーザの頭部内で定位されるので、深さ及び広さ（spaciousness）知覚が制限され得る。

[0044]マルチマイクロフォンベースのオーディオ処理アルゴリズムが最近、音声通信を向上させるコンテキストにおいて開発されてきた。本開示は、１つ以上のそのようなアルゴリズムと組み合わされ得るマルチマイクロフォントポロジに基づく３Ｄオーディオのための幾つかの固有の特徴について説明する。これらの特徴について、記録の観点から、及び再生の観点から以下で説明する。

[0045]これらの特徴は、３Ｄオーディオの全経路をサポートするために使用され得、サブカテゴリー分類された特徴を以下に記載する。記録の観点では、方向情報とともに再生するために使用される、モノラルオーディオチャネルを送信するための指向性確保を扱う。再生の観点では、同じくマルチマイクロフォントポロジとともに、ロバストで忠実な音像再構成の方法を導入する。

[0046]図１に、異なる音源方向のために構成可能なマイクロフォンアレイジオメトリを有する機器の３つの異なる図を示す。使用事例に応じて、機器のマイクロフォンの異なる組合せ（例えば、ペア）は、異なる音源方向において空間選択オーディオ記録をサポートするように選択され得る。例えば、図１を参照すると、（例えば、カメラレンズが機器の背面にある）ビデオカメラ状況において、前後マイクロフォンペア（例えば、マイクロフォン２及び４、マイクロフォン２及び３、マイクロフォン５及び４）は、前方方向と後方方向とを記録するために（即ち、カメラポイント方向に、及びそれから離れるようにビームをステアリングするために）、手動又は自動で構成され得る左及び右方向選好を用いて使用され得る。前後軸に直交する方向における録音の場合、マイクロフォンペア（１、２）は、別のオプションである。

[0047]様々な設計方法（即ち、ＭＶＤＲ、ＬＣＭＶ、フェーズドアレイなど）が与えられれば、異なるビームフォーマデータバンクが、様々なマイクロフォン組合せのためにオフラインで計算され得る。使用中に、これらのビームフォーマのうちの所望の１つが、現在の使用事例要件に応じてユーザインターフェース中のメニューを介して選択され得る。図２Ａに、タスクＴ１１０とタスクＴ１２０とを含むそのような方法の概念フローチャートを示す。タスクＴ１１０は、（例えば、自動的に及び／又はユーザインターフェースを介して選択されるように）１つ以上の好適なサウンド獲得方向を指定し、タスクＴ１２０は、指定された指向性を与えるビームフォーマとマイクロフォンアレイ（例えば、ペア）との組合せを選択する。図３に、記録方向を選択するためのユーザインターフェースの例を示す。

[0048]図４に、ボイス獲得及び／又はアクティブノイズ消去（ＡＮＣ）などの適用例をサポートする３つのマイクロフォンを含むステレオヘッドセットについて関係する使用事例の図を示す。そのような適用例では、（図４、全方向性マイクロフォンを使用する）この３マイクロフォン構成を使用して記録するための、頭部の周りの異なるセクタが定義され得る。

[0049]３次元オーディオ獲得はまた、図５に示す３マイクロフォン構成など、専用マイクロフォンセットアップを用いて実行され得る。そのような構成は、ビデオ記録機器Ｄ４００など、記録機器にコードを介して又はワイヤレスに接続され得る。機器Ｄ４００は、機器方向性の検出と、選択されたオーディオ記録方向に応じたマイクロフォンＭＬ１０、ＭＲ１０、及びＭＣ１０の間のペアの選択とのための本明細書で説明する装置を含み得る。代替構成では、マイクロフォンＭＣ１０は記録機器上に位置する。

[0050]自動シーン分析及び分解の能力を与えることが望ましいことがある。機器のユーザが好適なオーディオ記録方向を指定しなかった、又はさもなければそのような知識が利用不可能であった場合、そのような能力が望ましいことがある。

[0051]自動シーン分析及び分解の一例では、聴覚シーンが２つの主要なカテゴリーに分解される。第１の主要なカテゴリーは局在化可能音源である。そのような音源からの信号成分は、それぞれの推定された到着方向に応じて設計（例えば、オフラインで計算）及び選択され得る好適なビームフォーマを使用して獲得され得る。各局在化可能音源の記録は、音源の到着方向と、対応するモノフォニックオーディオ信号とを記録することを含み得る。記録された信号の再生中に、これらの音源は、適切な指向性情報と合成され得る。

[0052]記録されているシーンに応答して、既知の方向に方向性されるビームフォーマの出力を比較することによって、到着方向（ＤＯＡ）の推定が実行され得る。追加又は代替として、方向推定器は、マイクロフォンチャネルの１つ以上のペアの対応する周波数成分間の位相差を計算するように構成され得る（到着方向は位相差と周波数との間の比によって示される）。追加又は代替として、方向推定器は、マイクロフォンチャネルの１つ以上のペアのレベル（例えば、エネルギー差）間の差を計算するように構成され得る。

[0053]定位音源信号は、別々に、又は組み合わせて再生され得る。空間モノフォニック音源が再生側で最終的に混合される場合は、分離要件が緩和され得る。例えば、記録中の、１つ以上の他の指向性音源のわずか６ｄＢだけの抑制でも、十分な程度の分離を与えると見なされ得る。

[0054]第２の主要なカテゴリーは、獲得された非定位可能周囲である。そのような周囲は、例えば、記録された信号から、定位音源からの成分を減算することによる残差として取得され得る。周囲信号は、再生においてはサラウンドラウドスピーカーを用いてさらに処理され得、又はヘッドフォンリスニングの場合は拡散され得る。

[0055]そのような自動分析及び分解は、シーン中で定位される、ユーザ定義の数の支配的音源によって誘導され得る。しかしながら、所望の数の支配的音源が利用可能でない場合、それはまた（例えば、到着方向情報の分析に基づいて）自動的に決定され得る。図６に、マイクロフォンアレイに対して異なる到着方向θに配置された２つの局在化可能音源（シンガー及びドラム）の概念図を示す。

[0056]（例えば、図７に示す）一例では、定位音源の数は、周波数範囲にわたる各方向から到着する周波数成分の数を示すヒストグラム中のピークの数に応じて計算される。（例えば、図８に示す）別の例では、定位音源の数は、異なる方向に方向性されるビームフォーマのセットのうちのビームフォーマの数に応じて計算され、記録されているシーンに応答するそれらの出力は、閾値を上回る（代替的に、少なくとも等しい）。

[0057]一般に、遠端ユーザは、ステレオヘッドセット（例えば、適応ノイズ消去又はＡＮＣヘッドセット）を使用して、記録された空間音を聴くと仮定される。しかしながら、他の適用例では、３つ以上の空間的方向を再生することが可能なマルチラウドスピーカーアレイが、遠端において利用可能であり得る。そのような使用事例をサポートするために、記録中に同時に２つ以上のマイクロフォン／ビームフォーマ組合せを可能にすることが望ましいことがある。

[0058]マルチマイクロフォンアレイは、１つ以上の音源方向の各々についてモノフォニック音を生成するために空間選択フィルタとともに使用され得る。しかしながら、そのようなアレイは、２次元又は３次元において空間オーディオ符号化をサポートするためも使用され得る。本明細書で説明するマルチマイクロフォンアレイでサポートされ得る空間オーディオ符号化方法の例としては、５．１サラウンド、７．１サラウンド、ドルビーサラウンド、ドルビープロロジック、又は他の位相振幅行列ステレオフォーマット、ならびにドルビーデジタル、ＤＴＳ又はディスクリートマルチチャネルフォーマット、及び波動場合成がある。５チャネル符号化の一例としては、左チャネル、右チャネル、中央チャネル、左サラウンドチャネル、及び右サラウンドチャネルがある。

[0059]本明細書で説明するマルチマイクロフォンアレイでサポートされ得る空間オーディオ符号化方法の例には、アンビソニックＢフォーマット又は高次アンビソニックフォーマットなど、特殊マイクロフォンとの使用が最初に意図され得る方法がある。例えば、アンビソニック符号化方式の処理されたマルチチャネル出力は、測定点の３次元テイラー展開であり、それは図９に示すように３次元的に配置されたマイクロフォンアレイを使用して、少なくとも１次まで近似され得る。マイクロフォンが多くなると、近似次数が増加され得る。

[0060]没入型サウンドエクスペリエンスをユーザに伝えるために、サラウンド録音は、一般に単独で、又はビデオテープ録画と併せて行われる。サラウンド録音は、概して、単方向マイクロフォンを使用する別個のマイクロフォンセットアップを必要とし、単方向マイクロフォンは、一般に別々にクリップオンされる必要があり、従って、ポータブルオーディオ感知機器（例えば、スマートフォン又はタブレット）に適さない。本開示では、空間フィルタ処理と組み合わされる複数の全方向性マイクロフォンに基づく代替方式が提示される。この解決法は、複数の使用事例をサポートするためにスマートフォン又はタブレット上に埋め込まれた全方向性マイクロフォンに基づく。従って、ビデオテープ録画適用例をサポートするために、かさばる単方向マイクロフォンセットアップが必要とされない。

[0061]スマートフォン又はタブレット機器上で複数の音チャネルを記録するために、ワイドステレオの場合は２つのマイクロフォンが、サラウンドサウンドの場合は適切なマイクロフォン軸をもつ少なくとも３つの全方向性マイクロフォンが使用される。これらのチャネルは、順にペアで処理されるか、又は所望のルック方向において特定の空間ピックアップパターンを有するように設計されたフィルタを用いて全て同時にフィルタ処理される。空間エイリアシングにより、マイクロフォン間距離は、パターンが最も関係する周波数帯域において有効であるように選定され得る。発生されたステレオ又は５．１出力チャネルは、没入型サウンドエクスペリエンスを生じるために、サラウンドサウンドセットアップにおいて再生され得る。

[0062]図１０に、ポータブル通信機器（例えば、スマートフォン）の一例の前面図及び背面図を示す。前面マイクロフォン２及び背面マイクロフォン４のアレイは、ステレオ録音を行うために使用され得る１つの典型的なデュアルマイクロフォン構成であり、幾つか他のペアアレイ（例えば、（１、２）（３、４）（１、４））も可能である。機器の保持位置に依存し得る、音源に対するマイクロフォンの異なる位置は、空間フィルタ処理を使用して強調され得るステレオ効果を生じる。（例えば、ビデオテープ録画中に）コメンテータと記録されているシーンとの間にステレオ像を作成するために、（図１の側面図に示すように）機器の厚さの距離をもつ前面マイクロフォン２と背面マイクロフォン４とを使用するエンドファイアペアリングを使用することが望ましいことがある。しかしながら、（図１の背面図に示すように）ｚ軸方向の距離をもつエンドファイアペアリングを生じるために、同じマイクロフォンを異なる保持位置において使用することもできることに留意されたい。後者の場合、シーンに向かうステレオ像を生じることができる（例えば、シーンの左から来る音が、左から来る音として捕捉される）。

[0063]図１１に、ブロードサイド方向から到着する音源信号を記録するために、機器の厚さの距離をもつ前面マイクロフォン２と背面マイクロフォン４とのエンドファイアペアリングを使用する場合を示す。この例では、２つのマイクロフォンの座標は、（ｘ＝０，ｙ＝０，ｚ＝０）及び（ｘ＝０，ｙ＝０．１０，ｚ＝−０．０１）である。ｙ＝０面に沿ったエリアはブロードサイド方向におけるビームを示し、（ｘ＝０，ｙ＝−０．５，ｚ＝０）周辺のエリアはエンドファイア方向におけるヌルビームを示すように、ステレオビームフォーミングが適用される。コメンテータがブロードサイド方向から（例えば、機器の背面に）話しているとき、マイクロフォンペアの軸の周りの回転に対するあいまいさにより、そのコメンテータのボイスと機器の前面のシーンからの音とを区別することが困難であることがある。その結果、コメンテータのボイスをシーンから分離するステレオ効果が強化されない。

[0064]図１２に、ブロードサイド方向から到着する音源信号を記録するために、機器の厚さの距離をもち、マイクロフォン座標が図１１の場合と同じである前面マイクロフォン２と背面マイクロフォン４とのエンドファイアペアリングを使用する別の場合を示す。この例では、ユーザの（例えば、コメンテータの）ボイスが１つのチャネルにおいてヌルアウトされるように、ビームは（点（ｘ＝０，ｙ＝−０．５，ｚ＝０）を通る）エンドファイア方向に方向性される。ビームは、ヌルビームフォーマ又は別の手法を使用して形成され得る。例えば、独立成分分析（ＩＣＡ）又は独立ベクトル解析（ＩＶＡ）など、ブラインド音源分離（ＢＳＳ）手法は、ヌルビームフォーマよりもワイドなステレオ効果を与えることができる。テープに記録されたシーン自体に、よりワイドなステレオ効果を与えるために、（図１の背面図に示すように）ｚ軸方向の距離をもつ同じマイクロフォンのエンドファイアペアリングを使用すれば十分であり得ることに留意されたい。

[0065]ブロードサイド保持位置にある機器の場合、元の記録と比較してステレオ効果を強化するために、（例えば、図１２及び図１３に示すように）左側及び右側へのエンドファイアビームを合成することが望ましいことがある。そのような処理は、（例えば、マイクロフォン間隔をシミュレートするために）チャネル間遅延を加算することをも含み得る。そのような遅延は、空間における共通の基準点に対して両方のビームフォーマの出力遅延を正規化するのに役立ち得る。ステレオチャネルがヘッドフォンを介して再生されるとき、遅延を操作することで、好適な方向に空間像を回転するのを助けることもできる。機器は、（例えば、「SYSTEMS, METHODS, APPARATUS, AND COMPUTER-READABLE MEDIA FOR ORIENTATION-SENSITIVE RECORDING CONTROL」と題する米国特許出願第１３／ＸＸＸ，ＸＸＸ号、代理人整理番号第１０２９７８Ｕ１号に記載されているように）加速度計、磁力計、及び／又は保持位置を示すジャイロスコープを含み得る。図２３Ａに、そのような方法のフローチャートを示す。

[0066]機器がエンドファイア保持位置にあるとき、記録が、ワイドステレオ効果を与えることをすでに予想されることがある。この場合、（例えば、ヌルビームフォーマ又はＩＣＡ又はＩＶＡなど、ＢＳＳソリューションを使用する）空間フィルタ処理は、その効果をわずかしか強化し得ない。

[0067]デュアルマイクロフォンの場合、上記で説明したように、ステレオ記録されたファイルが、（例えば、ユーザのボイスと記録されたシーンとの分離を高めるために）空間フィルタ処理を介して強化され得る。３つ以上のチャネルに信号をアップミックスするためなど、（例えば、サラウンドサウンドの場合）獲得されたステレオ信号から幾つかの異なる指向性チャネルを発生させることが望ましいことがある。例えば、（例えば、５．１サラウンドサウンド方式の場合）チャネルごとに５つのスピーカーのアレイのうちの異なる１つを使用して信号が再生され得るように、信号を５チャネルにアップミックスすることが望ましいことがある。そのような手法は、アップミックスされたチャネルを取得するために、対応する方向における空間フィルタ処理を適用することを含み得る。そのような手法は、アップミックスされたチャネル（例えば、ドルビーサラウンドのバージョン）にマルチチャネル符号化方式を適用することをも含み得る。

[0068]記録のために３つ以上のマイクロフォンが使用される場合は、空間フィルタ処理及び異なるマイクロフォン組合せを使用して、複数の方向（例えば、５．１規格に従って、５つの方向）において記録し、記録された信号を（例えば、５つのラウドスピーカーを使用して）再生することが可能である。そのような処理は、アップミックスすることなしに実行され得る。

[0069]図１に、３つ以上のマイクロフォンを有するポータブル通信機器（例えば、スマートフォン）の一例の前面図、背面図、及び側面図を示す。特定のルック方向における強化された識別を取得するために、異なるマイクロフォンペアからのビーム及び／又はヌルビームを合成することが望ましいことがある。マルチチャネル記録の１つの手法は、前後マイクロフォンペア（例えば、マイクロフォン２及び３）及び左右マイクロフォンペア（例えば、マイクロフォン１及び２）を使用して、５つの異なるルック方向における２次元ビームを設計することを含む。図１４に、前方中央（ＦＣ）、前方左（ＦＬ）、前方右（ＦＲ）、後方左（ＢＬ）、及び後方右（ＢＲ）方向におけるそのようなビームのプロットの例を示す。Ｘ、Ｙ及びＺ軸はこれらのプロットの全てにおいて同様に方向性され（各範囲の中央は０であり、両極端は＋／−０．５であり、Ｘ軸は右に増大し、Ｙ軸は左のほうへ増大し、Ｚ軸は上部のほうへ増大する）、暗いエリアは上述のようにビーム又はヌルビーム方向を示す。各プロットのためのビームは、以下の点、即ち、（ｚ＝０）、ＦＣについては（ｘ＝０，ｙ＝＋０．５）、ＦＲについては（ｘ＝＋０．５，ｙ＝＋０．５）、ＢＲについては（ｘ＝＋０．５，ｙ＝−０．５）、ＢＬについては（ｘ＝−０．５，ｙ＝−０．５）、及びＦＬについては（ｘ＝−０．５，ｙ＝＋０．５）を通ってダイレクトされる。

[0070]空間フィルタ処理技術の有効性は、小さいマイクロフォン間間隔、空間エイリアシング、高周波数における散乱などのファクタに応じて、帯域通過範囲に制限され得る。一例では、信号は、空間フィルタ処理の前に（例えば、８ｋＨｚのカットオフ周波数で）低域フィルタ処理される。

[0071]単一点音源からの音が獲得されている場合、そのようなビームフォーミングを他の方向から到着する信号のマスキングで補完することは、所望のマスキング効果を達成するために必要なアグレッシブネスのレベルにおける非直接経路信号及び／又は可聴歪みの強い減衰につながり得る。そのようなアーティファクトは、高精細度（ＨＤ）オーディオのために望ましくないことがある。一例では、ＨＤオーディオは４８ｋＨｚのサンプリングレートで記録される。そのようなアーティファクトを緩和するために、積極的に空間フィルタ処理された信号を使用する代わりに、各チャネルの処理された信号のエネルギープロファイルのみを使用し、マスキング前に元の入力信号又は空間処理済み出力に、各チャネルのエネルギープロファイルに応じたゲインパンニングルールを適用することが望ましいことがある。音イベントは、一般に時間周波数マップにおいて非常に僅かであるので、複数音源の場合でも、そのようなポストゲインパンニング方法を使用することが可能であることに留意されたい。図１５に、後方右空間的方向の信号を取得するための処理の例を示す。プロットＡ（振幅対時間）は、元のマイクロフォン記録を示す。プロットＢ（振幅対時間）は、マイクロフォン信号を（８ｋＨｚのカットオフ周波数で）低域フィルタ処理し、マスキングとともに空間フィルタ処理を実行した結果を示す。プロットＣ（大きさ対時間）は、プロットＢにおける信号のエネルギーに基づく、関係する空間エネルギー（例えば、２乗サンプル値の和）を示す。プロットＤ（状態対時間）は、低周波数空間フィルタ処理によって示されるエネルギー差に基づくパンニングプロファイルを示し、プロットＥ（振幅対時間）は、４８ｋＨｚでパンニングされた出力を示す。

[0072]デュアルマイクロフォンペアの場合、１つのペアのための少なくとも１つのビームと、他のペアのための少なくとも２つの異なる方向におけるビームとを設計することが望ましいことがある。ビームは、（例えば、ＩＣＡ又はＩＶＡなど、ＢＳＳ手法を用いて）設計又は学習され得る。これらのビームの各々は、（例えば、サラウンド録音のために）記録の異なるチャネルを取得するために使用され得る。

[0073]図１６に、３つのマイクロフォンのアレイをもつ２マイクロフォンペアＢＳＳ（例えば、ＩＣＡ又はＩＶＡ）を使用するヌルビームフォーミング手法を示す。前方及び後方方向のために、マイクロフォンペア（２、３）が使用される。左及び右方向のために、マイクロフォンペア（１、２）が使用される。２つのマイクロフォンペアの軸は直交又は少なくとも実質的に直交している（例えば、直交から５、１０、１５、又は２０度以下である）ことが望ましいことがある。

[0074]チャネルのうちの幾つかは、２つ以上のビームを組み合わせることによって生成され得る。図１７は、前方右方向についての結果を取得するために前方及び右方向におけるビームが合成される例を示す。前方左、後方右、及び／又は後方左方向についての結果が同様にして取得され得る。この例では、そのような方法で重複するビームを組み合わせることが、他の位置から到着した信号よりも対応するコーナーから到着した信号が６ｄＢ大きい信号を与える。図２３Ｂに、一般的デュアルペアの場合のそのような方法のフローチャートを示す。図２３Ｃに、３マイクロフォンの場合の図２３Ｂの方法の実施形態を示す。空間における共通の基準点に対する両方のビームフォーマの出力遅延を正規化するために、チャネル間遅延を適用することが望ましいことがある。「左右エンドファイアペア」及び「前後エンドファイアペア」が合成されるとき、マイクロフォンアレイの重心に基準点を設定することが望ましいことがある。そのような演算は、２つのペア間の遅延が調整された、所望のコーナー位置における最大化された放射（beaming）をサポートし得る。

[0075]図１８に、図１６に示した手法のためのヌルビームの例を示し、そのヌルビームは、ＭＶＤＲビームフォーマ、又は機器及び１つ（又は複数）の音源の相対位置が固定されるシナリオで学習される集束ＢＳＳ（例えば、ＩＣＡ又はＩＶＡ）フィルタを使用して設計され得る。これらの例では、図示された周波数ビンの範囲は、０ｋＨｚ〜８ｋＨｚの帯域に対応する。空間ビームパターンが相補型であることがわかり得る。また、これらの例では左右ペアのマイクロフォン間の間隔と前後ペアのマイクロフォン間の間隔とが異なるために、空間エイリアシングがこれらのビームパターンに及ぼす影響が異なることがわかり得る。

[0076]空間エイリアシングのために、マイクロフォン間距離に応じて、獲得された信号の全周波数範囲よりも小さい範囲に（例えば、上述のように０ｋＨｚ〜８ｋＨｚの範囲に）ビームを適用することが望ましいことがある。低周波数コンテンツが空間フィルタ処理された後に、空間遅延、処理遅延、及び／又は利得整合のための幾つかの調整を用いて、高周波数コンテンツが再加算され得る。また、幾つか（例えば、ハンドヘルド機器形状ファクタ）の場合には、いずれにせよ指向性のいくらかの損失が、マイクロフォンの間隔制限により予想され得るので、中間周波数範囲のみ（例えば、２００Ｈｚ又は５００Ｈｚまでのみ）をフィルタ処理することが望ましいことがある。

[0077]非線形位相歪みの幾つかの種類が存在する場合（通常、常に存在する）、同じＤＯＡに従って全ての周波数に対して同じ遅延に基づく標準ビーム／ヌルフォーミング技術が、非線形位相歪みによって引き起こされる幾つかの周波数上の遅延差により、十分に機能できないことがある。しかしながら、本明細書で説明する方法に基づくＩＶＡは、音源分離に基づいて動作し、従って、同じＤＯＡに対して遅延差が存在する場合でさえ、そのような方法が良好な結果を生成することが予想され得る。そのようなロバストネスは、サラウンド処理係数を取得するためのＩＶＡを使用することの潜在的な利点であり得る。

[0078]空間フィルタ処理が、いくらのカットオフ周波数（例えば、８ｋＨｚ）より上で行われない場合、最終ＨＤ信号を与えることは、元の前方／後方チャネルを高域フィルタ処理することと、８ｋＨｚ〜２４ｋＨｚの帯域を再加算することとを含み得る。そのような演算は、空間及び高域フィルタ処理遅延について調整することを含み得る。また、（例えば、空間分離効果を混乱させないように）８〜２４ｋＨｚ帯域の利得を調整することが望ましいことがある。図１５に示す例は、時間領域においてフィルタ処理されたが、本明細書で説明した手法の他の領域（例えば、周波数領域）におけるフィルタ処理への適用が、明確に企図され、本明細書によって開示される。

[0079]図１９に、４つのマイクロフォンのアレイをもつ４チャネルＢＳＳ（例えば、ＩＣＡ又はＩＶＡ）を使用するヌルビームフォーミング手法を示す。４つのマイクロフォンの様々なペアのうちの少なくとも２つの軸が、直交し、少なくとも実質的に直交している（例えば、直交から５、１０、１５、又は２０度以下である）ことが望ましいことがある。そのような４マイクロフォンフィルタは、コーナー方向へのビームパターンを生じるためにデュアルマイクロフォンペアリングに加えて使用され得る。一例では、フィルタは、ＩＶＡ及びトレーニングデータを使用して学習され、得られた集束ＩＶＡフィルタは、５．１サラウンドサウンドにおいてそれぞれの５つのチャネル方向（ＦＬ、ＦＣ、ＦＲ、ＢＲ、ＢＬ）の各々の信号を生成するために、４つの記録されたマイクロフォン入力に適用される固定フィルタとして実施される。５つのスピーカーを十分に活用するために、例えば、次のルール

を使用して前方中央チャネルＦＣが取得され得る。図２４に、そのような方法のフローチャートを示す。図２６に、そこで１≦ｎ≦４の場合、マイクロフォンｎが列ｎ中のフィルタに入力を与え、出力チャネルの各々が対応する行中のフィルタの出力の和であるフィルタバンクの部分ルーティング図を示す。

[0080]そのような学習プロセスの一例では、独立音源が、４つの指定された位置（例えば、４マイクロフォンアレイの周りの４つのコーナー位置ＦＬ、ＦＲ、ＢＬ、及びＢＲ）の各々に配置され、アレイは、４チャネル信号を獲得するために使用される。獲得された４チャネル出力の各々が、全ての４つの音源の混合であることに留意されたい。次いで、ＢＳＳ技術（例えば、ＩＶＡ）が、４つの独立音源を分離するために適用される。収束の後、分離された４つの独立音源、ならびに基本的にターゲットコーナーのほうへビーミングし、他の３つのコーナーのほうへヌリングする収束フィルタセットを取得する。

[0081]図２０に、コーナー方向ＦＬ、ＦＲ、ＢＬ、及びＢＲについての４つのフィルタのそのようなセットのビームパターンの例を示す。ランドスケープ記録モードの場合、フィルタを取得及び適用することは、２つの前面マイクロフォン及び２つの背面マイクロフォンを使用することと、アレイに対して固定位置にある音源のための４チャネルＩＶＡ学習アルゴリズムを実行することと、収束フィルタを適用することとを含み得る。

[0082]ビームパターンは、収集された混合データに応じて変動し得る。図２１に、モバイルスピーカーデータに関して学習されたＩＶＡ収束フィルタビームパターンの例を示す。図２２に、改良されたモバイルスピーカーデータに関して学習されたＩＶＡ収束フィルタビームパターンの例を示す。これらの例は、ＦＲビームパターンを除いて、図２１に示した例と同じである。

[0083]ＩＶＡを使用して４マイクロフォンフィルタをトレーニングするプロセスは、所望の方向に放射（beaming）することだけでなく、干渉方向を無効化(nulling)することをも含む。例えば、前方左（ＦＬ）方向へのビームを含み、前方右（ＦＲ）、後方左（ＢＬ）、及び後方右（ＢＲ）方向に無効化する問題に、ＦＬ方向のためのフィルタは絞られる。厳密なマイクロフォンアレイの配列（geometry）がすでに既知である場合、そのようなトレーニング演算は決定論的に行われ得る。代替的に、ＩＶＡプロセスはリッチトレーニングデータを用いて実行され得、１つ以上のオーディオソース（例えば、音声、楽器など）が各コーナーに配置され、４マイクロフォンアレイによって獲得される。この場合、トレーニングプロセスは、マイクロフォン構成にかかわらず（即ち、マイクロフォン配列に関する情報の必要なしに）１回実行され得、フィルタは、特定のアレイ構成のために後で固定され得る。アレイが、投影２次元（ｘ−ｙ）平面内に４つのマイクロフォンを含む限り、この学習処理の結果は、４つのコーナーフィルタの適切なセットを生成するために適用され得る。アレイのマイクロフォンが２つの直交する又はほぼ直交する（例えば、１５度以内の直交である）軸において構成される限り、そのようなトレーニングされたフィルタは、特定のマイクロフォンアレイ構成の制約なしにサラウンド音像を記録するために使用され得ることに明確に留意されたい。例えば、２つの軸が直交に非常に近接している場合、３マイクロフォンアレイで十分であり、各軸上のマイクロフォン間の間隔間の比は重要ではない。

[0084]上述のように、低周波数を空間的に処理し、高周波数項をパスすることによって、広帯域（例えば、ＨＤ）信号が取得され得る。しかしながら、計算量の増加が特定の設計にとって重大な問題でない場合は、全周波数領域の処理が、代わりに実行され得る。４マイクロフォンＩＶＡ手法は放射（beaming）よりも無効化(nulling)に絞られるので、高周波数項におけるエイリアシングの効果は低減される。ヌルエイリアシングは、放射方向においてまれな周波数でのみ起こるので、特に小さいインターマイクロフォン間距離の場合、放射方向における周波数領域の大部分が、ヌルエイリアシングによって影響を受けないままである。より大きいマイクロフォン間距離の場合は、無効化が実際にランダム化されるので、効果はちょうど未処理の高周波数項をパスする場合と同様である。

[0085]小さいフォームファクタ（例えば、ハンドヘルド機器）の場合、良好な結果をサポートするにはマイクロフォン間隔が小さすぎ、より高い周波数における性能が損なわれることがあるので、空間フィルタ処理を低周波数において実行することを回避することが望ましいことがある。同様に、高周波数は一般にすでに指向性があり、フィルタ処理は、空間エイリアシング周波数より上の周波数に対して効果がないことがあるので、空間フィルタ処理を高周波数において実行することを回避することが望ましいことがある。

[0086]４つ未満のマイクロフォンが使用される場合、（例えば、不十分な自由度により）３つの他のコーナーにおいてヌルを形成することが困難であり得る。この場合、図１７、図２３Ｂ、及び図２３Ｃに関して上記で説明したエンドファイアペアリングなど、代替を使用することが望ましいことがある。

[0087]本明細書は、（例えば、図２５の中央から左への経路に示す）複数の全方向性マイクロフォンを使用して記録された信号から５．１チャネル記録を与えることの開示を含む。複数の全方向性マイクロフォンを使用して獲得された信号から両耳録音(binaural recording)を形成することが望ましいことがある。例えば、ユーザ側に５．１チャネルサラウンドシステムがない場合、サラウンドサウンドシステムを用いて実際の音響空間にいるという経験をユーザが有することができるように、５．１チャネルをステレオバイノーラル録音にダウンミックスすることが望ましいことがある。また、この能力は、ユーザがスポットでシーンを記録している間、ユーザがサラウンド記録を監視すること、及び／又は記録されたビデオ及びサラウンドサウンドをホームシアターシステムの代わりにステレオヘッドセットを使用してユーザのモバイル機器上で再生することができるオプションを与えることができる。

[0088]一般的なリビングルーム空間において、指定された位置（ＦＬ、ＦＲ、Ｃ、ＢＬ（又はサラウンド左）、及びＢＲ（又はサラウンド右））に位置するラウドスピーカーを通して再生されるように意図された、全方向性マイクロフォンからの指向性音源を有することができる。（例えば、図２５において中央から右への経路に示す）ヘッドフォンのみを用いてこの状況を再生する１つの方法は、所望の音響空間において各ラウドスピーカーから各耳の内部にあるマイクロフォンへのバイノーラルインパルス応答（ＢＩＲ）（例えば、バイノーラル伝達関数）を測定するオフラインプロセスである。ＢＩＲは、ラウドスピーカーのアレイと２つの耳との間のあらゆる音源受信機ペアについて、各ラウドスピーカーからの直接経路ならびに反射経路を含む、音響経路情報を符号化する。小さいマイクロフォンを現実の人間の耳の内部に配置するか、又はシリコーン耳をもつＨｅａｄ ａｎｄ Ｔｏｒｓｏ Ｓｉｍｕｌａｔｏｒ（ＨＡＴＳ、Ｂｒｕｅｌ ａｎｄ Ｋｊａｅｒ、デンマーク）などのダミーヘッドを使用し得る。

[0089]バイノーラル再生の場合、測定されたＢＩＲは、指定されたラウドスピーカー位置の各指向性音源を用いて畳み込まれる。全ての指向性音源をＢＩＲと畳み込んだ後、結果は耳記録ごとに加算される。人間の耳によって獲得された左及び右の信号を複製し、ヘッドフォンを介して再生され得る２つのチャネル（例えば、左及び右）が最終結果である。全方向性マイクロフォンのアレイからの５．１サラウンド発生が、そのアレイからバイノーラル再生への経由点として実際に使用されることに留意されたい。従って、この方式は、経由点がどのように発生されるかに応じて一般化され得る。例えば、アレイによって獲得された信号からより指向的な音源を生じる場合、それらの音源を、所望のラウドスピーカー位置から耳への適宜に測定されたＢＩＲをもつ通過点として使用することができる。

[0090]音響信号を受信するように構成された２つ以上のマイクロフォンのアレイＲ１００を有するポータブルオーディオ感知機器内で、本明細書で説明する方法を実行することが望ましいことがある。そのようなアレイを含むように実装され得、オーディオ記録及び／又はボイス通信適用例のために使用され得るポータブルオーディオ感知機器の例には、電話ハンドセット（例えば、セルラー電話ハンドセット）、有線又はワイヤレスヘッドセット（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセット）、ハンドヘルドオーディオ及び／又はビデオレコーダ、オーディオ及び／又はビデオコンテンツを記録するように構成されたパーソナルメディアプレーヤ、携帯情報端末（ＰＤＡ）又は他のハンドヘルドコンピューティング機器、及びノートブックコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、又は他のポータブルコンピューティング機器がある。ポータブルコンピューティング機器の種類は現在、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、ウルトラポータブルコンピュータ、タブレットコンピュータ、モバイルインターネット機器、スマートブック、及びスマートフォンなどの名称を有する機器を含む。そのような機器は、表示器スクリーンを含む上部パネルと、キーボードを含み得る下部パネルとを有し得、２つのパネルは、二つ折り(clamshell)又は他のヒンジ結合関係で接続され得る。そのような機器は、上表面にタッチスクリーン表示器を含むタブレットコンピュータとして同様に実施され得る。そのような方法を実行し、アレイＲ１００のインスタンスを含むように構築され得、オーディオ記録及び／又はボイス通信適用例のために使用され得るオーディオ感知機器の他の例には、セットトップボックス並びにオーディオ及び／又はビデオ会議機器がある。

[0091]図２９Ａに、一般的構成によるマルチマイクロフォンオーディオ感知機器Ｄ１０のブロック図を示す。機器Ｄ１０は、本明細書で開示するマイクロフォンアレイＲ１００の実施形態のうちのいずれかのインスタンスを含み、本明細書で開示するオーディオ感知機器のいずれも機器Ｄ１０のインスタンスとして実施され得る。機器Ｄ１０は、本明細書で開示する方法の実施形態を実行することによってマルチチャネルオーディオ信号ＭＣＳを処理するように構成された装置Ａ１００をも含む。装置Ａ１００は、ソフトウェアとの、及び／又はファームウェアとのハードウェア（例えば、プロセッサ）の組合せとして実施され得る。

[0092]図２９Ｂに、機器Ｄ１０の実施形態である通信機器Ｄ２０のブロック図を示す。機器Ｄ２０は、装置Ａ１００を含むチップ又はチップセットＣＳ１０（例えば、移動局モデム（ＭＳＭ）チップセット）を含む。チップ／チップセットＣＳ１０は、１つ以上のプロセッサを含み得る。チップ／チップセットＣＳ１０は、アレイＲ１００の処理要素（例えば、以下で説明するオーディオ前処理段ＡＰ１０の要素）をも含み得る。チップ／チップセットＣＳ１０は、無線周波（ＲＦ）通信信号を受信し、ＲＦ信号内で符号化されたオーディオ信号を復号し再生するように構成された、受信機と、装置Ａ１００によって生成された処理済み信号に基づくオーディオ信号を符号化し、符号化オーディオ信号を記述しているＲＦ通信信号を送信するように構成された、送信機とを含み得る。例えば、チップ／チップセットＣＳ１０の１つ以上のプロセッサは、符号化オーディオ信号が雑音低減信号に基づくように、マルチチャネル信号の１つ以上のチャネルに対して上記で説明した雑音低減演算を実行するように構成され得る。

[0093]アレイＲ１００の各マイクロフォンは、全方向、双方向、又は単方向（例えば、カージオイド）である応答を有し得る。アレイＲ１００において使用され得る様々なタイプのマイクロフォンには、（限定はしないが）圧電マイクロフォン、ダイナミックマイクロフォン、及びエレクトレットマイクロフォンがある。ハンドセット又はヘッドセットなど、ポータブルボイス通信のための機器では、アレイＲ１００の隣接するマイクロフォン間の中心間間隔は一般に約１．５ｃｍ〜約４．５ｃｍの範囲内であるが、ハンドセット又はスマートフォンなどの機器では（例えば、１０ｃｍ又は１５ｃｍまでの）より広い間隔も可能であり、タブレットコンピュータなどの機器では（例えば、２０ｃｍ、２５ｃｍ又は３０ｃｍ以上までの）さらに広い間隔が可能である。アレイＲ１００のマイクロフォンは、（一様又は非一様なマイクロフォン間隔をもつ）線に沿って、又は代替的に、それらの中心が２次元形状（例えば、三角形）又は３次元形状の頂点に存在するように構成され得る。

[0094]マイクロフォンは、より一般的には、音以外の放射又は放出に敏感なトランスデューサとして実施され得ることに明確に留意されたい。１つのそのような例では、マイクロフォンペアは、超音波トランスデューサ（例えば、１５、２０、２５、３０、４０、又は５０キロヘルツ以上よりも大きい音響周波数に敏感なトランスデューサ）のペアとして実施される。

[0095]マルチマイクロフォンオーディオ感知機器の動作中、アレイＲ１００はマルチチャネル信号を生成し、各チャネルは、音響環境に対するマイクロフォンのうちの対応する１つの応答に基づく。単一のマイクロフォンを使用して獲得され得るよりも音響環境の完全な表現を集合的に与えるために、対応するチャネルが互いに異なるように、１つのマイクロフォンが別のマイクロフォンよりも直接的に特定の音を受信し得る。

[0096]アレイＲ１００は、マルチチャネル信号ＭＣＳを生成するために、マイクロフォンによって生成された信号に対して１つ以上の処理演算を実行することが望ましいことがある。図２８Ａに、（限定はしないが）インピーダンス整合、アナログデジタル変換、利得制御、及び／又はアナログ及び／又はデジタル領域におけるフィルタ処理を含み得る、１つ以上のそのような演算を実行するように構成されたオーディオ前処理段ＡＰ１０を含むアレイＲ１００の実施形態Ｒ２００のブロック図を示す。

[0097]図２８Ｂに、アレイＲ２００の実施形態Ｒ２１０のブロック図を示す。アレイＲ２１０は、アナログ前処理段Ｐ１０ａとアナログ前処理段Ｐ１０ｂとを含むオーディオ前処理段ＡＰ１０の実施形態ＡＰ２０を含む。一例では、段Ｐ１０ａ及びＰ１０ｂはそれぞれ、対応するマイクロフォン信号に対して（例えば、５０、１００、又は２００Ｈｚのカットオフ周波数をもつ）高域フィルタ処理演算を実行するように構成される。

[0098]アレイＲ１００は、マルチチャネル信号をデジタル信号として、即ち、サンプルのシーケンスとして生成することが望ましいことがある。アレイＲ２１０は、例えば、対応するアナログチャネルをサンプリングするようにそれぞれ構成されたアナログデジタル変換器（ＡＤＣ）Ｃ１０ａ及びＣ１０ｂを含む。音響適用例の典型的なサンプリングレートには、８ｋＨｚ、１２ｋＨｚ、１６ｋＨｚ、及び約８ｋＨｚ〜約１６ｋＨｚの範囲内の他の周波数があるが、約４４ｋＨｚも使用され得る。この特定の例では、アレイＲ２１０はまた、マルチチャネル信号ＭＣＳの対応するチャネルＭＣＳ−１、ＭＣＳ−２を生成するために、対応するデジタル化チャネル上で１つ以上の前処理演算（例えば、エコー消去、雑音低減、及び／又はスペクトル整形）を実行するようにそれぞれ構成されたデジタル前処理段Ｐ２０ａ及びＰ２０ｂを含む。図２８Ａ及び図２８Ｂは２チャネル実施形態を示しているが、同じ原理が任意の数のマイクロフォンとマルチチャネル信号ＭＣＳの対応するチャネルとに拡張され得ることを理解されよう。

[0099]本明細書で開示した方法及び装置は、概して任意の送受信及び／又はオーディオ感知適用例、特にそのような適用例のモバイル又は場合によってはポータブルインスタンスにおいて適用され得る。例えば、本明細書で開示した構成の範囲は、符号分割多元接続（ＣＤＭＡ）オーバージエアインターフェースを採用するように構成されたワイヤレステレフォニー通信システム中に常駐する通信機器を含む。とはいえ、本明細書で説明した特徴を有する方法及び装置は、有線及び／又はワイヤレス（例えば、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、及び／又はＴＤ−ＳＣＤＭＡ）送信チャネルを介したボイスオーバＩＰ（ＶｏＩＰ）を採用するシステムなど、当業者に知られている広範囲の技術を採用する様々な通信システムのいずれにも常駐し得ることが、当業者には理解されよう。

[00100]本明細書で開示した通信機器は、パケット交換式であるネットワーク（例えば、ＶｏＩＰなどのプロトコルに従ってオーディオ送信を搬送するように構成された有線及び／又はワイヤレスネットワーク）及び／又は回線交換式であるネットワークにおける使用に適応され得ることが明確に企図され、本明細書によって開示される。また、本明細書で開示した通信機器は、狭帯域符号化システム（例えば、約４又は５キロヘルツの可聴周波数範囲を符号化するシステム）での使用、及び／又は全帯域広帯域符号化システム及びスプリットバンド広帯域符号化システムを含む、広帯域符号化システム（例えば、５キロヘルツを超える可聴周波数を符号化するシステム）での使用に適応され得ることが明確に企図され、本明細書によって開示される。

[00101]説明した構成の上記の提示は、本明細書で開示する方法及び他の構造を当業者が製造又は使用できるように与えたものである。本明細書で図示及び説明したフローチャート、ブロック図、及び他の構造は例にすぎず、これらの構造の他の変形態も本開示の範囲内である。これらの構成に対する様々な変更が可能であり、本明細書で提示した一般原理は他の構成にも同様に適用され得る。従って、本開示は、上記に示した構成に限定されるものではなく、原開示の一部をなす、出願した添付の特許請求の範囲を含む、本明細書において任意の方法で開示した原理及び新規の特徴に一致する最も広い範囲が与えられるべきである。

[00102]情報及び信号は、多種多様な技術及び技術のいずれかを使用して表され得ることを当業者なら理解されよう。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、及びシンボルは、電圧、電流、電磁波、磁界又は磁性粒子、光場又は光学粒子、又はそれらの任意の組合せによって表され得る。

[00103]本明細書で開示する構成の実施形態の重要な設計要件は、圧縮されたオーディオ又はオーディオビジュアル情報（例えば、本明細書で識別される例の１つなどの圧縮形式に従って符号化されるファイル又はストリーム）の再生などの計算集約的適用例、若しくは広帯域通信（例えば、１２、１６、又は４４ｋＨｚなど、８キロヘルツよりも高いサンプリングレートにおけるボイス通信）の適用例では特に、（一般に百万命令毎秒又はＭＩＰＳで測定される）処理遅延及び／又は計算複雑性を最小にすることを含み得る。

[00104]マルチマイクロフォン処理システムの目的は、全体で１０〜１２ｄＢの雑音低減を達成すること、所望のスピーカーの移動中にボイスレベル及びカラーを保持すること、アグレッシブな雑音除去、音声の残響除去の代わりに雑音が背景に移動されたという知覚を得ること、及び／又はよりアグレッシブな雑音低減のための後処理のオプションを可能にすることを含み得る。

[00105]本明細書で開示する装置の実施形態の様々な要素は、意図された適用例に好適であると考えられる、ソフトウェアとの、及び／又はファームウェアとのハードウェアの任意の組合せで実施できる。例えば、そのような要素は、例えば、同じチップ上に、又はチップセット中の２つ以上のチップ間に常駐する電子機器及び／又は光機器として作製され得る。そのような機器の一例は、トランジスタ又は論理ゲートなどの論理要素の固定アレイ又はプログラマブルアレイであり、これらの要素のいずれも１つ以上のそのようなアレイとして実装され得る。これらの要素のうちの任意の２つ以上、さらには全てが、同じ１つ以上のアレイ内に実装され得る。そのような１つ以上のアレイは、１つ以上のチップ内（例えば、２つ以上のチップを含むチップセット内）に実装され得る。

[00106]本明細書で開示した装置の様々な実施形態の１つ以上の要素は、全体又は一部を、マイクロプロセッサ、組込みプロセッサ、ＩＰコア、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＡＳＳＰ（特定用途向け標準製品）、及びＡＳＩＣ（特定用途向け集積回路）などの論理要素の１つ以上の固定アレイ又はプログラマブルアレイ上で実行するように構成された命令の１つ以上のセットとしても実施され得る。本明細書で開示した装置の実施形態の様々な要素のいずれも、１つ以上のコンピュータ（例えば、「プロセッサ」とも呼ばれる、命令の１つ以上のセット又はシーケンスを実行するようにプログラムされた１つ以上のアレイを含む機械）としても実施され得、これらの要素のうちの任意の２つ以上、さらには全てが、同じそのような１つ以上のコンピュータ内に実装され得る。

[00107]本明細書で開示したプロセッサ又は処理するための他の手段は、例えば、同じチップ上に、又はチップセット中の２つ以上のチップ間に常駐する１つ以上の電子機器及び／又は光機器として作製され得る。そのような機器の一例は、トランジスタ又は論理ゲートなどの論理要素の固定アレイ又はプログラマブルアレイであり、これらの要素のいずれも１つ以上のそのようなアレイとして実施され得る。そのような１つ以上のアレイは、１つ以上のチップ内（例えば、２つ以上のチップを含むチップセット内）に実装され得る。そのようなアレイの例には、マイクロプロセッサ、組込みプロセッサ、ＩＰコア、ＤＳＰ、ＦＰＧＡ、ＡＳＳＰ、及びＡＳＩＣなど、論理要素の固定アレイ又はプログラマブルアレイがある。本明細書で開示したプロセッサ又は処理するための他の手段は、１つ以上のコンピュータ（例えば、命令の１つ以上のセット又はシーケンスを実行するようにプログラムされた１つ以上のアレイを含む機械）あるいは他のプロセッサとしても実施され得る。本明細書で説明したプロセッサは、プロセッサが組み込まれている機器又はシステム（例えば、オーディオ感知機器）の別の演算に関係するタスクなど、指向性符号化プロシージャに直接関係しないタスクを実行するか又は命令の他のセットを実行するために使用することが可能である。また、本明細書で開示した方法の一部はオーディオ感知機器のプロセッサによって実行され、その方法の別の一部は１つ以上の他のプロセッサの制御下で実行されることが可能である。

[00108]本明細書で開示した構成に関して説明した様々な例示的なモジュール、論理ブロック、回路、及びテストならびに他の動作は、電子ハードウェア、コンピュータソフトウェア、又はその両方の組合せとして実施され得ることを、当業者なら諒解されよう。そのようなモジュール、論理ブロック、回路、及び動作は、本明細書で開示した構成を生成するように設計された、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ又はＡＳＳＰ、ＦＰＧＡ又は他のプログラマブル論理機器、個別ゲート又はトランジスタ論理、個別ハードウェア構成要素、あるいはそれらの任意の組合せを用いて実装又は実行され得る。例えば、そのような構成は、少なくとも部分的に、ハード有線回路として、特定用途向け集積回路へと作製された回路構成として、又は不揮発性記憶装置にロードされるファームウェアプログラム、又は汎用プロセッサ若しくは他のデジタル信号処理ユニットなどの論理要素のアレイによって実行可能な命令である機械可読コードとしてデータ記憶媒体からロードされるか又はデータ記憶媒体にロードされるソフトウェアプログラムとして実施され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であり得る。プロセッサはまた、コンピューティング機器の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ以上のマイクロプロセッサ、又は任意の他のそのような構成として実施され得る。ソフトウェアモジュールは、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読取り専用メモリ）、フラッシュＲＡＭなどの不揮発性ＲＡＭ（ＮＶＲＡＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は当技術分野で知られている任意の他の形態の記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサに一体化され得る。プロセッサ及び記憶媒体はＡＳＩＣ中に常駐し得る。ＡＳＩＣはユーザ端末内に常駐し得る。代替として、プロセッサ及び記憶媒体は、ユーザ端末中に個別構成要素として常駐し得る。

[00109]本明細書で開示した様々な方法は、プロセッサなどの論理要素のアレイによって実行され得、本明細書で説明した装置の様々な要素は、そのようなアレイ上で実行するように設計されたモジュールとして実施され得ることに留意されたい。本明細書で使用する「モジュール」又は「サブモジュール」という用語は、ソフトウェア、ハードウェア又はファームウェアの形態でコンピュータ命令（例えば、論理式）を含む任意の方法、装置、機器、ユニット又はコンピュータ可読データ記憶媒体を指すことができる。複数のモジュール又はシステムは１つのモジュール又はシステムに合成され得、１つのモジュール又はシステムは、同じ機能を実行する複数のモジュール又はシステムに分離され得ることを理解されたい。ソフトウェア又は他のコンピュータ実行可能命令で実施されるとき、プロセスの要素は本質的に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを用いて関連するタスクを実行するコードセグメントである。「ソフトウェア」という用語は、ソースコード、アセンブリ言語コード、機械コード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理要素のアレイによって実行可能な命令の１つ以上のセット又はシーケンス、及びそのような例の任意の組合せを含むことを理解されたい。プログラム又はコードセグメントは、プロセッサ可読媒体に記憶され得、又は搬送波に埋め込まれたコンピュータデータ信号によって伝送媒体又は通信リンクを介して送信され得る。

[00110]本明細書で開示した方法、方式、及び技術の実施形態は、（例えば、本明細書に記載する１つ以上のコンピュータ可読媒体中で）論理要素のアレイ（例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、又は他の有限状態機械）を含む機械によって読取り可能及び／又は実行可能な命令の１つ以上のセットとしても有形に実施され得る。「コンピュータ可読媒体」という用語は、情報を記憶又は転送することができる、揮発性、不揮発性、取外し可能及び取外し不可能な媒体を含む、任意の媒体を含み得る。コンピュータ可読媒体の例は、電子回路、半導体メモリ機器、ＲＯＭ、フラッシュメモリ、消去可能ＲＯＭ（ＥＲＯＭ）、フロッピー（登録商標）ディスケット又は他の磁気記憶装置、ＣＤ−ＲＯＭ／ＤＶＤ又は他の光記憶装置、ハードディスク、光ファイバー媒体、無線周波（ＲＦ）リンク、又は所望の情報を記憶するために使用され得、アクセスされ得る、任意の他の媒体を含む。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバー、エアリンク、電磁リンク、ＲＦリンクなどの伝送媒体を介して伝播することができるどんな信号をも含み得る。コードセグメントは、インターネット又はイントラネットなどのコンピュータネットワークを介してダウンロードされ得る。いずれの場合も、本開示の範囲は、そのような実施形態によって限定されると解釈すべきではない。

[00111]本明細書で説明した方法のタスクの各々は、ハードウェアで直接実施され得るか、プロセッサによって実行されるソフトウェアモジュールで実施され得るか、又はその２つの組合せで実施され得る。本明細書で開示した方法の実施形態の典型的な適用例では、論理要素のアレイ（例えば、論理ゲート）は、この方法の様々なタスクのうちの１つ、複数、さらには全てを実行するように構成される。タスクのうちの１つ以上（場合によっては全て）は、論理要素のアレイ（例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、又は他の有限状態機械）を含む機械（例えば、コンピュータ）によって読取り可能及び／又は実行可能であるコンピュータプログラム製品（例えば、ディスク、フラッシュメモリカード又は他の不揮発性メモリカード、半導体メモリチップなど、１つ以上のデータ記憶媒体など）に埋め込まれたコード（例えば、命令の１つ以上のセット）としても実施され得る。本明細書で開示した方法の実施形態のタスクは、２つ以上のそのようなアレイ又は機械によっても実行され得る。これら又は他の実施形態では、タスクは、セルラー電話など、ワイヤレス通信用の機器、又はそのような通信機能を有する他の機器内で実行され得る。そのような機器は、（例えば、ＶｏＩＰなどの１つ以上のプロトコルを使用して）回線交換及び／又はパケット交換ネットワークと通信するように構成され得る。例えば、そのような機器は、符号化フレームを受信及び／又は送信するように構成されたＲＦ回路を含み得る。

[00112]本明細書で開示した様々な方法は、ハンドセット、ヘッドセット、又は携帯情報端末（ＰＤＡ）などのポータブル通信機器によって実行され得、本明細書で説明した様々な装置は、そのような機器内に含まれ得ることが明確に開示される。典型的なリアルタイム（例えば、オンライン）適用例は、そのようなモバイル機器を使用して行われる電話会話である。

[00113]１つ以上の例示的な実施形態では、本明細書で説明した動作は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実施され得る。ソフトウェアで実装する場合、そのような動作は、１つ以上の命令又はコードとしてコンピュータ可読媒体に記憶され得るか、又はコンピュータ可読媒体を介して送信され得る。「コンピュータ可読媒体」という用語は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を可能にするいかなる媒体をも含む通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、（限定はしないが、ダイナミック又はスタティックＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、及び／又はフラッシュＲＡＭを含み得る）半導体メモリ、若しくは強誘電体メモリ、磁気抵抗メモリ、オボニックメモリ、高分子メモリ、又は相変化メモリなどの一連の記憶要素、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置機器、若しくは所望のプログラムコードを命令又はデータ構造の形態で、コンピュータによってアクセスされ得る有形構造に記憶するために使用され得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及び／又はマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、若しくは他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及び／又はマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピーディスク（disk）及びブルーレイディスク（商標）（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ Ａｓｓｏｃｉａｔｉｏｎ、カリフォルニア州ユニヴァーサルシティー）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）はデータをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

[00114]本明細書で説明した音響信号処理装置は、幾つかの動作を制御するために音声入力を受容し、又は背景雑音から所望の雑音を分離することから利益を得ることがある、通信機器などの電子機器に組み込まれ得る。多くの適用例では、複数の方向から発生した背景音から明瞭な所望の音を強調又は分離することから利益を得ることがある。そのような適用例は、ボイス認識及び検出、音声強調及び分離、ボイスアクティブ化制御などの機能を組み込んだ電子機器又はコンピューティング機器におけるヒューマンマシンインターフェースを含み得る。限られた処理機能のみを与える機器に適したそのような音響信号処理装置を実装することが望ましいことがある。

[00115]本明細書で説明したモジュール、要素、及び機器の様々な実施形態の要素は、例えば、同じチップ上に又はチップセット中の２つ以上のチップ間に常駐する電子機器及び／又は光機器として作製され得る。そのような機器の一例は、トランジスタ又はゲートなど、論理要素の固定アレイ又はプログラマブルアレイである。本明細書で説明した装置の様々な実施形態の１つ以上の要素は、全体又は一部が、マイクロプロセッサ、組込みプロセッサ、ＩＰコア、デジタル信号プロセッサ、ＦＰＧＡ、ＡＳＳＰ、及びＡＳＩＣなど、論理要素の１つ以上の固定アレイ又はプログラマブルアレイ上で実行するように構成された命令の１つ以上のセットとしても実施され得る。

[00116]本明細書で説明した装置の実施形態の１つ以上の要素は、その装置が組み込まれている機器又はシステムの別の動作に関係するタスクなど、装置の動作に直接関係しないタスクを実施するために、又は装置の動作に直接関係しない命令の他のセットを実行するために使用されることが可能である。また、そのような装置の実施形態の１つ以上の要素は、共通の構造（例えば、異なる要素に対応するコードの部分を異なる時間に実行するために使用されるプロセッサ、異なる要素に対応するタスクを異なる時間に実施するために実行される命令のセット、又は、異なる要素向けの動作を異なる時間に実施する電子機器及び／又は光機器の構成）を有することが可能である。

[00116]本明細書で説明した装置の実施形態の１つ以上の要素は、その装置が組み込まれている機器又はシステムの別の動作に関係するタスクなど、装置の動作に直接関係しないタスクを実施するために、又は装置の動作に直接関係しない命令の他のセットを実行するために使用されることが可能である。また、そのような装置の実施形態の１つ以上の要素は、共通の構造（例えば、異なる要素に対応するコードの部分を異なる時間に実行するために使用されるプロセッサ、異なる要素に対応するタスクを異なる時間に実施するために実行される命令のセット、又は、異なる要素向けの動作を異なる時間に実施する電子機器及び／又は光機器の構成）を有することが可能である。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ オーディオ信号処理の方法であって、記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解することと、前記局在化可能音源の各々の方向の指標を記録することと、を備える、方法。
［２］ 前記方法が、記録された前記指標の中から記録方向を選択することを備える、請求項１に記載の方法。
［３］ 前記方法が、前記局在化可能音源の数を決定することを備え、各音源の到着方向を推定することを含む、請求項１及び２のいずれか１項に記載の方法。
［４］ 前記方法が、記録されたマルチチャネル信号を３次元オーディオ符号化方式に従って符号化することを備える、［１］から［３］のいずれか１に記載の方法。
［５］ 前記３次元オーディオ符号化方式が、アンビソニック方式及び波動場合成方式のうちの少なくとも１つである、［４］に記載の方法。
［６］ 第１のフィルタ処理された信号を取得するために１つのエンドファイア方向においてビームを適用することと、第２のフィルタ処理された信号を取得するために他のエンドファイア方向においてビームを適用することと、前記第１のフィルタ処理された信号を前記第２のフィルタ処理された信号の遅延バージョンと合成することと、を備える、［１］から［５］のいずれか１に記載の方法。
［７］ 前記方法が、第１のフィルタ処理された信号を取得するために１つのエンドファイア方向においてビームを適用することと、第２のフィルタ処理された信号を取得するために他のエンドファイア方向においてビームを適用することと、合成信号を取得するために前記第１及び第２のフィルタ処理された信号を合成することと、を備え、前記第１及び第２のフィルタ処理された信号の各々が、少なくとも２つのチャネルを有し、前記合成信号の１つのチャネルが、前記合成信号の別のチャネルに対して遅延させられる、［１］から［５］のいずれか１に記載の方法。
［８］ 前記合成することより前に、前記第１のフィルタ処理された信号の１つのチャネルを前記第１のフィルタ処理された信号の別のチャネルに対して遅延させ、前記第２のフィルタ処理された信号の１つのチャネルを前記第２のフィルタ処理された信号の別のチャネルに対して遅延させることを備える、請求項７に記載の方法。
［９］ 前記合成信号の１つのチャネルを前記合成信号の別のチャネルに対して遅延させることを備える、請求項７に記載の方法。
［１０］ 第１の空間フィルタ処理された信号を取得するために、マイクロフォンの第１のペアによって生成された信号に、第１の方向においてビームを有するフィルタを適用することと、第２の空間フィルタ処理された信号を取得するために、マイクロフォンの前記第１のペアとは異なるマイクロフォンの第２のペアによって生成された信号に、前記第１の方向とは異なる第２の方向においてビームを有するフィルタを適用することと、前記第１及び第２の方向とは異なる第３の方向において音源に対応する出力信号を取得するために、前記第１及び第２の空間フィルタ処理された信号を合成することと、を備える、［１］から［５］のいずれか１に記載の方法。
［１１］ マイクロフォンの前記第１のペアの軸が、マイクロフォンの前記第２のペアの軸に少なくとも実質的に直交する、［１０］に記載の方法。
［１２］ アレイ中の複数のマイクロフォンの各々について、対応する入力チャネルを記録することと、複数のルック方向の各々について、対応する出力チャネルを取得するために、対応するマルチチャネルフィルタを複数の前記記録された入力チャネルに適用することと、を備え、前記マルチチャネルフィルタの各々が、前記対応するルック方向においてビームを適用し、前記複数のルック方向のうちの他のルック方向においてヌルビームを適用する、［１］から［５］のいずれか１に記載の方法。
［１３］ 前記複数のマイクロフォンの第１のペアの前記軸が、前記複数のマイクロフォンの第２のペアの前記軸に対して直交から１５度以下である、［１２］に記載の方法。
［１４］ 前記複数のマイクロフォンが少なくとも４つである、［１２］及び［１３］のいずれか１に記載の方法。
［１５］ 前記複数のルック方向が少なくとも４つである、［１２］から［１４］のいずれか１に記載の方法。
［１６］ 前記方法が、バイノーラル録音を生成するために前記複数の出力チャネルを処理することを備え、前記処理が、前記複数の出力チャネルの各々について、対応する両耳信号を取得するために、対応する両耳インパルス応答を前記出力チャネルに適用することを含み、前記両耳録音が前記両耳信号の和に基づく、［１２］から［１５］のいずれか１に記載の方法。
［１７］ 前記方法が、ポータブルオーディオ感知機器の方向性に基づいて記録方向を選択することを備える、［１］に記載の方法。
［１８］ 前記フィルタを適用することが、低い閾値と高い閾値との間の周波数に制限され、前記低い閾値及び高い閾値のうちの少なくとも１つが、マイクロフォン間の距離に基づく、［１０］に記載の方法。
［１９］ オーディオ信号処理のための装置であって、記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解するための手段と、前記局在化可能音源の各々の方向の指標を記録するための手段と、を備える、装置。
［２０］ 前記装置が、記録された前記指標の中から記録方向を選択するための手段を備える、［１９］に記載の装置。
［２１］ 前記装置が、各音源の到着方向を推定するための手段を含む、局在化可能音源の数を決定するための手段を備える、［１９］及び［２０］のいずれか１に記載の装置。
［２２］ 前記装置が、記録されたマルチチャネル信号を３次元オーディオ符号化方式に従って符号化するための手段を備える、［１９］から［２１］のいずれか１に記載の装置。
［２３］ 前記３次元オーディオ符号化方式が、アンビソニック方式及び波動場合成方式のうちの少なくとも１つである、［２２］に記載の装置。
［２４］ 第１のフィルタ処理された信号を取得するために１つのエンドファイア方向にビームを適用するための手段と、第２のフィルタ処理された信号を取得するために他のエンドファイア方向にビームを適用するための手段と、前記第１のフィルタ処理された信号を前記第２のフィルタ処理された信号の遅延バージョンと合成するための手段と
を備える、［１９］から［２３］のいずれか１に記載の装置。
［２５］ 第１のフィルタ処理された信号を取得するために１つのエンドファイア方向にビームを適用するための手段と、第２のフィルタ処理された信号を取得するために他のエンドファイア方向にビームを適用するための手段と、合成信号を取得するために前記第１及び第２のフィルタ処理された信号を合成するための手段とを備え、前記第１及び第２のフィルタ処理された信号の各々が、少なくとも２つのチャネルを有し、前記合成信号の１つのチャネルが、前記合成信号の別のチャネルに対して遅延させられる、［１９］から［２３］のいずれか１に記載の装置。
［２６］ 前記装置が、前記合成することより前に、前記第１のフィルタ処理された信号の１つのチャネルを前記第１のフィルタ処理された信号の別のチャネルに対して遅延させ、前記第２のフィルタ処理された信号の１つのチャネルを前記第２のフィルタ処理された信号の別のチャネルに対して遅延させるための手段を備える、［２５］に記載の装置。
［２７］ 前記装置が、前記合成信号の１つのチャネルを前記合成信号の別のチャネルに対して遅延させるための手段を備える、［２５］に記載の装置。
［２８］ 第１の空間フィルタ処理された信号を取得するために、マイクロフォンの第１のペアによって生成された信号に、第１の方向にビームを有するフィルタを適用するための手段と、第２の空間フィルタ処理された信号を取得するために、マイクロフォンの前記第１のペアとは異なるマイクロフォンの第２のペアによって生成された信号に、前記第１の方向とは異なる第２の方向においてビームを有するフィルタを適用するための手段と、前記第１及び第２の方向とは異なる第３の方向に音源に対応する出力信号を取得するために、前記第１及び第２の空間フィルタ処理された信号を合成するための手段と、を備える、［１９］から［２３］いずれか１に記載の装置。
［２９］ マイクロフォンの前記第１のペアの軸が、マイクロフォンの前記第２のペアの軸に少なくとも実質的に直交する、［２８］に記載の装置。
［３０］ アレイ中の複数のマイクロフォンの各々に、対応する入力チャネルを記録するための手段と、対応する出力チャネルを取得するために、複数のルック方向の各々に、対応するマルチチャネルフィルタを複数の前記記録された入力チャネルに適用するための手段と、を備え、前記マルチチャネルフィルタの各々が、前記対応するルック方向にビームを適用し、前記複数のルック方向のうちの他のルック方向にヌルビームを適用する、［１９］から［２３］のいずれか１に記載の装置。
［３１］ 前記複数のマイクロフォンの第１のペアの前記軸が、前記複数のマイクロフォンの第２のペアの前記軸に対して直交から１５度以下である、［３０］に記載の装置。
［３２］ 前記複数のマイクロフォンが少なくとも４つである、［３０］及び［３１］のいずれか１に記載の装置。
［３３］ 前記複数のルック方向が少なくとも４つである、［３０］から［３２］のいずれか１に記載の装置。
［３４］ 前記装置が、バイノーラル録音を生成するために前記複数の出力チャネルを処理するための手段を備え、前記処理が、前記複数の出力チャネルの各々について、対応するバイノーラル信号を取得するために、対応する両耳インパルス応答を前記出力チャネルに適用することを含み、前記バイノーラル録音が前記バイノーラル信号の和に基づく、［３０］から［３３］のいずれか１に記載の装置。
［３５］ 前記装置が、ポータブルオーディオ感知機器の方向性に基づいて記録方向を選択するための手段を備える、［１９］に記載の装置。
［３６］ 前記ビームを適用するための前記手段が、低い閾値と高い閾値との間の周波数のみに前記ビームを適用するように構成され、前記低い閾値及び高い閾値のうちの少なくとも１つが、マイクロフォン間の距離に基づく、［２４］に記載の装置。
［３７］ オーディオ信号処理のための装置であって、記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解するように構成された空間選択フィルタと、前記局在化可能音源の各々の方向の指標を記録するように構成された方向推定器と、を備える、装置。
［３８］ 機械によって読み取られたとき、前記機械に［１］から［１４］のいずれか１に記載の方法を実行させる有形特徴を備える機械可読記憶媒体。
［３９］ 対応する複数の固定収束フィルタを発生させるために複数のフィルタをトレーニングすることと、前記分解することを実行するために、前記記録された聴覚シーンに前記固定収束フィルタを適用することと、を含む、［１］から［１８］のいずれか１に記載の方法。

Claims (39)

1. オーディオ信号処理の方法であって、
   記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解することと、
   前記局在化可能音源の各々の方向の指標を記録することと、
   を備える、方法。
2. 前記方法が、記録された前記指示の中から記録方向を選択することを備える、請求項１に記載の方法。
3. 前記方法が、前記局在化可能音源の数を決定することを備え、各音源の到着方向を推定することを含む、請求項１及び２のいずれか１項に記載の方法。
4. 前記方法が、記録されたマルチチャネル信号を３次元オーディオ符号化方式に従って符号化することを備える、請求項１から３のいずれか１項に記載の方法。
5. 前記３次元オーディオ符号化方式が、アンビソニック方式及び波動場合成方式のうちの少なくとも１つである、請求項４に記載の方法。
6. 第１のフィルタ処理された信号を取得するために１つのエンドファイア方向においてビームを適用することと、
   第２のフィルタ処理された信号を取得するために他のエンドファイア方向においてビームを適用することと、
   前記第１のフィルタ処理された信号を前記第２のフィルタ処理された信号の遅延バージョンと合成することと、
   を備える、請求項１から５のいずれか１項に記載の方法。
7. 前記方法が、
   第１のフィルタ処理された信号を取得するために１つのエンドファイア方向においてビームを適用することと、
   第２のフィルタ処理された信号を取得するために他のエンドファイア方向においてビームを適用することと、
   合成信号を取得するために前記第１及び第２のフィルタ処理された信号を合成することと、
   を備え、
   前記第１及び第２のフィルタ処理された信号の各々が、少なくとも２つのチャネルを有し、
   前記合成信号の１つのチャネルが、前記合成信号の別のチャネルに対して遅延させられる、
   請求項１から５のいずれか１項に記載の方法。
8. 前記合成することより前に、前記第１のフィルタ処理された信号の１つのチャネルを前記第１のフィルタ処理された信号の別のチャネルに対して遅延させ、前記第２のフィルタ処理された信号の１つのチャネルを前記第２のフィルタ処理された信号の別のチャネルに対して遅延させることを備える、請求項７に記載の方法。
9. 前記合成信号の１つのチャネルを前記合成信号の別のチャネルに対して遅延させることを備える、請求項７に記載の方法。
10. 第１の空間フィルタ処理された信号を取得するために、マイクロフォンの第１のペアによって生成された信号に、第１の方向においてビームを有するフィルタを適用することと、
    第２の空間フィルタ処理された信号を取得するために、マイクロフォンの前記第１のペアとは異なるマイクロフォンの第２のペアによって生成された信号に、前記第１の方向とは異なる第２の方向においてビームを有するフィルタを適用することと、
    前記第１及び第２の方向とは異なる第３の方向において音源に対応する出力信号を取得するために、前記第１及び第２の空間フィルタ処理された信号を合成することと、
    を備える、請求項１から５のいずれか１項に記載の方法。
11. マイクロフォンの前記第１のペアの軸が、マイクロフォンの前記第２のペアの軸に少なくとも実質的に直交する、請求項１０に記載の方法。
12. アレイ中の複数のマイクロフォンの各々について、対応する入力チャネルを記録することと、
    複数のルック方向の各々について、対応する出力チャネルを取得するために、対応するマルチチャネルフィルタを複数の前記記録された入力チャネルに適用することと、
    を備え、
    前記マルチチャネルフィルタの各々が、前記対応するルック方向においてビームを適用し、前記複数のルック方向のうちの他のルック方向においてヌルビームを適用する、
    請求項１から５のいずれか１項に記載の方法。
13. 前記複数のマイクロフォンの第１のペアの前記軸が、前記複数のマイクロフォンの第２のペアの前記軸に対して直交から１５度以下である、請求項１２に記載の方法。
14. 前記複数のマイクロフォンが少なくとも４つである、請求項１２及び１３のいずれか１項に記載の方法。
15. 前記複数のルック方向が少なくとも４つである、請求項１２から１４のいずれか１項に記載の方法。
16. 前記方法が、バイノーラル録音を生成するために前記複数の出力チャネルを処理することを備え、
    前記処理が、前記複数の出力チャネルの各々について、対応する両耳信号を取得するために、対応する両耳インパルス応答を前記出力チャネルに適用することを含み、
    前記両耳録音が前記両耳信号の和に基づく、請求項１２から１５のいずれか１項に記載の方法。
17. 前記方法が、ポータブルオーディオ感知機器の方向性に基づいて記録方向を選択することを備える、請求項１に記載の方法。
18. 前記フィルタを適用することが、低い閾値と高い閾値との間の周波数に制限され、
    前記低い閾値及び高い閾値のうちの少なくとも１つが、マイクロフォン間の距離に基づく、
    請求項１０に記載の方法。
19. オーディオ信号処理のための装置であって、
    記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解するための手段と、
    前記局在化可能音源の各々の方向の指標を記録するための手段と、
    を備える、装置。
20. 前記装置が、記録された前記指標の中から記録方向を選択するための手段を備える、請求項１９に記載の装置。
21. 前記装置が、各音源の到着方向を推定するための手段を含む、局在化可能音源の数を決定するための手段を備える、請求項１９及び２０のいずれか１項に記載の装置。
22. 前記装置が、記録されたマルチチャネル信号を３次元オーディオ符号化方式に従って符号化するための手段を備える、請求項１９から２１のいずれか１項に記載の装置。
23. 前記３次元オーディオ符号化方式が、アンビソニック方式及び波動場合成方式のうちの少なくとも１つである、請求項２２に記載の装置。
24. 第１のフィルタ処理された信号を取得するために１つのエンドファイア方向にビームを適用するための手段と、
    第２のフィルタ処理された信号を取得するために他のエンドファイア方向にビームを適用するための手段と、
    前記第１のフィルタ処理された信号を前記第２のフィルタ処理された信号の遅延バージョンと合成するための手段と
    を備える、請求項１９から２３のいずれか１項に記載の装置。
25. 第１のフィルタ処理された信号を取得するために１つのエンドファイア方向にビームを適用するための手段と、
    第２のフィルタ処理された信号を取得するために他のエンドファイア方向にビームを適用するための手段と、
    合成信号を取得するために前記第１及び第２のフィルタ処理された信号を合成するための手段と
    を備え、
    前記第１及び第２のフィルタ処理された信号の各々が、少なくとも２つのチャネルを有し、
    前記合成信号の１つのチャネルが、前記合成信号の別のチャネルに対して遅延させられる、
    請求項１９から２３のいずれか１項に記載の装置。
26. 前記装置が、前記合成することより前に、前記第１のフィルタ処理された信号の１つのチャネルを前記第１のフィルタ処理された信号の別のチャネルに対して遅延させ、前記第２のフィルタ処理された信号の１つのチャネルを前記第２のフィルタ処理された信号の別のチャネルに対して遅延させるための手段を備える、請求項２５に記載の装置。
27. 前記装置が、前記合成信号の１つのチャネルを前記合成信号の別のチャネルに対して遅延させるための手段を備える、請求項２５に記載の装置。
28. 第１の空間フィルタ処理された信号を取得するために、マイクロフォンの第１のペアによって生成された信号に、第１の方向にビームを有するフィルタを適用するための手段と、
    第２の空間フィルタ処理された信号を取得するために、マイクロフォンの前記第１のペアとは異なるマイクロフォンの第２のペアによって生成された信号に、前記第１の方向とは異なる第２の方向においてビームを有するフィルタを適用するための手段と、
    前記第１及び第２の方向とは異なる第３の方向に音源に対応する出力信号を取得するために、前記第１及び第２の空間フィルタ処理された信号を合成するための手段と、
    を備える、請求項１９から２３いずれか１項に記載の装置。
29. マイクロフォンの前記第１のペアの軸が、マイクロフォンの前記第２のペアの軸に少なくとも実質的に直交する、請求項２８に記載の装置。
30. アレイ中の複数のマイクロフォンの各々に、対応する入力チャネルを記録するための手段と、
    対応する出力チャネルを取得するために、複数のルック方向の各々に、対応するマルチチャネルフィルタを複数の前記記録された入力チャネルに適用するための手段と、
    を備え、
    前記マルチチャネルフィルタの各々が、前記対応するルック方向にビームを適用し、前記複数のルック方向のうちの他のルック方向にヌルビームを適用する、請求項１９から２３のいずれか１項に記載の装置。
31. 前記複数のマイクロフォンの第１のペアの前記軸が、前記複数のマイクロフォンの第２のペアの前記軸に対して直交から１５度以下である、請求項３０に記載の装置。
32. 前記複数のマイクロフォンが少なくとも４つである、請求項３０及び３１のいずれか１項に記載の装置。
33. 前記複数のルック方向が少なくとも４つである、請求項３０から３２のいずれか１項に記載の装置。
34. 前記装置が、バイノーラル録音を生成するために前記複数の出力チャネルを処理するための手段を備え、
    前記処理が、前記複数の出力チャネルの各々について、対応するバイノーラル信号を取得するために、対応する両耳インパルス応答を前記出力チャネルに適用することを含み、
    前記バイノーラル録音が前記バイノーラル信号の和に基づく、請求項３０から３３のいずれか１項に記載の装置。
35. 前記装置が、ポータブルオーディオ感知機器の方向性に基づいて記録方向を選択するための手段を備える、請求項１９に記載の装置。
36. 前記ビームを適用するための前記手段が、低い閾値と高い閾値との間の周波数のみに前記ビームを適用するように構成され、
    前記低い閾値及び高い閾値のうちの少なくとも１つが、マイクロフォン間の距離に基づく、請求項２４に記載の装置。
37. オーディオ信号処理のための装置であって、
    記録された聴覚シーンを局在化可能音源の第１のカテゴリーと周囲音の第２のカテゴリーとに分解するように構成された空間選択フィルタと、
    前記局在化可能音源の各々の方向の指示を記録するように構成された方向推定器と、
    を備える、装置。
38. 機械によって読み取られたとき、前記機械に請求項１から１４のいずれか１項に記載の方法を実行させる有形特徴を備える機械可読記憶媒体。
39. 対応する複数の固定収束フィルタを発生させるために複数のフィルタをトレーニングすることと、
    前記分解することを実行するために、前記記録された聴覚シーンに前記固定収束フィルタを適用することと、
    を含む、請求項１から１８のいずれか１項に記載の方法。

Images