[0071]通信デバイスの例は、携帯電話基地局又はノード、アクセスポイント、無線ゲートウェイ及び無線ルータを含む。通信デバイスは、幾つかの工業規格、例えば、第3世代パートナーシッププロジェクト(3GPP)ロングタームエボリューション(Long Term Evolution)(LTE)規格に準拠して動作することができる。通信デバイスが準拠することができる規格のその他の例は、米国電気電子学会(IEEE)802.11a、802.11b、802.11g、802.11n及び/又は802.11ac(例えば、ワイヤレスフィデリティ(Wireless Fidelity)又は“Wi−Fi”)規格、IEEE802.16(例えば、マイクロ波アクセスのための世界的運用可能性又は“WiMAX”)規格及びその他を含む。幾つかの規格では、通信デバイスは、ノードB、エボルブドノードB、等と呼ばれることもある。ここにおいて開示されるシステム及び方法のうちの一部は、1つ以上の規格に関して説明される一方で、これは本開示の適用範囲を制限すべきではなく、これらのシステム及び方法は、数多くのシステム及び/又は規格に適用することができる。
[0072]幾つかの通信デバイス(例えば、アクセス端末、クライアントデバイス、クライアント局、等)は、その他の通信デバイスと無線通信することができる。幾つかの通信デバイス(例えば、無線通信デバイス)は、モバイルデバイス、移動局、加入者局、クライアント、クライアント局、ユーザ装置(UE)、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット、等と呼ぶことができる。通信デバイスの追加例は、ラップトップ又はデスクトップコンピュータ、携帯電話、スマートフォン、無線モデム、電子リーダー、タブレットデバイス、ゲームシステム、等を含む。これらの通信デバイスの一部は、上述される1つ以上の工業規格に準拠して動作することができる。従って、一般的用語“通信デバイス”は、工業規格により様々な呼称で説明される通信デバイスを含むことができる(例えば、アクセス端末、ユーザ装置、遠隔端末、アクセスポイント、基地局、ノードB、エボルブドノードB、等)。
[0073]幾つかの通信デバイスは、通信ネットワークへのアクセスを提供することが可能であることができる。通信ネットワークの例は、電話ネットワーク(例えば、“ランドライン”ネットワーク、例えば、公衆交換電話網(PSTN)又は携帯電話ネットワーク)、インターネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、等を含み、ただしこれらに限定されない。
[0074]文脈上明示で限定されないかぎり、用語“信号”は、ここでは、通常の意味のいずれかを示すために使用され、ワイヤ、バス、又はその他の送信媒体上で表される1つのメモリ記憶場所(又はメモリ記憶場所の組)の状態を含む。文脈上明示で限定されないかぎり、用語“生成する”は、ここでは、通常の意味のうちのいずれかを示すために使用され、例えば、計算する又はその他の方法で生成する。文脈上明示で限定されないかぎり、用語“計算する”は、ここでは、通常の意味のうちのいずれかを示すために使用され、例えば、計算する、導き出す、(例えば、外部デバイスから)受信する、及び/又は(例えば、記憶要素のアレイから)取り出す。文脈上明示で限定されないかぎり、用語“選択する”は、通常の意味のうちのいずれかを示すために使用され、例えば、識別する、指示する、適用する、及び/又は2つ以上から成る組のうちの少なくとも1つ、及びすべてよりも少ないことを使用する。用語“備える”が本説明及び請求項において使用される場合は、その他の要素又は動作を除外しない。用語“〜に基づく”(例えば、“AはBに基づく”)は、通常の意味のうちのいずれかを示すために使用され、事例(i)“〜から導き出された”(例えば、“BはAの先駆である”)、(ii)“少なくとも〜に基づく”(例えば、“Aは少なくともBに基づく”)、及び特定の文脈において該当する場合は、(iii)“〜に等しい”(例えば、“AはBに等しい”)を含む。同様に、用語“〜に応答して”は、通常の意味のうちのいずれかを示すために使用され、“少なくとも〜に応答して”を含む。
[0075]多マイクロフォンオーディオセンシングデバイスのマイクロフォンの“位置”への言及は、文脈上別記されないかぎり、マイクロフォンの音響上の感度面の中心の位置を示す。用語“チャネル”は、特定の文脈により、あるときには信号経路を示すために及びあるときには該経路によって搬送される信号を示すために使用される。別の記述がないかぎり、“一連の”は、2つ以上の項目のシーケンスを示すために使用される。用語“対数”は、底が10の対数を示すために使用されるが、その他の底への該演算の拡張は、本開示の適用範囲内である。用語“周波数成分”は、信号の周波数又は周波数帯域の組の中の1つ、例えば、(例えば、高速フーリエ変換によって生成された)信号の周波数領域のサンプル又は信号のサブバンド(例えば、バークスケール(Bark scale)又はメルスケール(mel scale)サブバンド)を示すために使用される。
[0076]別に示されないかぎり、特定の特徴を有する装置の動作の開示は、類似の特徴を有する方法を開示することも明示で意図され(逆も同様)、特定の構成による装置の動作の開示は、類似の構成により方法を開示することも明示で意図される(逆も同様)。用語“構成”は、特定の文脈によって示される方法、装置及び/又はシステムを参照して使用することができる。用語“方法”、“プロセス”、“手順”、及び“技法”は、特定の文脈によって別に示されないかぎり一般的に及び互換可能な形で使用される。用語“装置”及び“デバイス”も、特定の文脈によって別に示されないかぎり一般的に及び互換可能な形で使用される。用語“要素”及び“モジュール”は、典型的には、より大きい構成の一部を示すために使用される。文脈によって明示で限定されないかぎり、用語“システム”は、ここでは、普通の意味のうちいずれかを示すために使用され、“共通の目的のために働く要素のグループ”を含む。文書の一部の引用による組み入れは、その部分内で引用される項目又は変形の定義も組み入れると理解されるものとし、該定義は、文書内の別の場所に現れ、図は、組み入れられた部分において引用される。
[0077]ここにおいて説明される方法は、キャプチャされた信号を一連のセグメントとして処理するように構成することができる。典型的なセグメントの長さは、約5又は10ミリ秒乃至約40又は50ミリ秒の範囲内であり、セグメントは、オーバーラップすること(例えば、隣接するセグメントと25%又は50%オーバーラップ)又はオーバーラップしないことができる。1つの特定の例では、信号は、一連のオーバーラップしないセグメントすなわち“フレーム”に分割され、各々は、10ミリ秒の長さを有する。該方法によって処理されるセグメントは、異なる動作によって処理されるより大きいセグメントのセグメント(すなわち、“サブフレーム”)であることもでき、逆も同様である。今日では、急成長中のソーシャルネットワークサービス、例えば、Facebook(登録商標)、Twitter、等を通じての個人情報の即座の交換を経験中である。同時に、ネットワーク速度及び記憶の著しい成長もみられており、既にテキストだけでなくマルチメディアデータもサポートしている。このような環境において、個人の聴覚に関する経験のより現実的で没入型の交換のために三次元(3D)オーディオをキャプチャ及び再生する重要な必要性が存在する。リアルタイムのセルラー通信システムでは、3Dオーディオをキャプチャ、圧縮及び送信する能力は現在は利用可能でない。難点のうちの1つは、3Dオーディオ信号のキャプチャである。3Dオーディオ情報がどのようにキャプチャされ、及びそれをどのようにして録音することができるかについて説明するために、米国特許出願番号13/280,303、Attorney Docket No.102978U2、“THREE-DIMENSIONAL SOUND CAPTURING AND REPRODUCING WITH MULTI-MICROPHONES”(複数のマイクロフォンによる三次元サウンドのキャプチャ及び再生)(出願日:2011年10月24日)において記述される技法のうちの幾つかをここにおいて使用することもできる。しかしながら、この出願は、リアルタイムセルラー通信システムにおいてみられるスピーチコーデックと3Dオーディオをどのようにして結合することができるかを説明することによって、以前に開示された能力を拡張している。
[0078]最初に、3Dオーディオのキャプチャが説明される。幾つかの実装においては、可聴情報を記録することができる。ここおいて説明される可聴情報は、1つ以上の独立したスピーチコーデックによって圧縮して1つ以上のオーバー・ザ・エアチャネルで送信することもできる。
[0079]図1は、異なる音源方向に関する構成可能なマイクロフォン104a−eアレイ幾何形状を有する無線通信デバイス102の3つの異なる図を示す。無線通信デバイス102は、イヤピース108と、1つ以上の拡声器110a−bとを含むことができる。使用事例に依存して、異なるソース方向における空間選択性オーディオ録音をサポートするためにデバイス102のマイクロフォン104a−eの異なる組み合わせ(例えば、対)を選択することができる。例えば、ビデオカメラの状況では(例えば、無線通信デバイス102の裏面上にカメラのレンズ106を有する)、前方向及び後ろ方向を録音するために(すなわち、カメラのレンズ106内にビームを投入する及びカメラのレンズ106からビームを遠ざけるために)前−後マイクロフォン104a−e対(例えば、第1のマイクロフォン104a及び第4のマイクロフォン104d、第1のマイクロフォン104a及び第5のマイクロフォン11104e又は第3のマイクロフォン104c及び第4のマイクロフォン104d)を使用することができ、手動又は自動で構成することができる左右方向の選好を有する。前後軸に直交する方向の録音に関しては、マイクロフォン104a−e対(例えば、第1のマイク104a及び第2のマイク104b)は、他の任意選択肢であることができる。さらに、3Dオーディオを圧縮及び送信するために構成可能なマイクロフォン104a−e配列幾何形状を使用することもできる。
[0080]ある範囲の設計法(すなわち、最小分散型ビームフォーマ(MVDR)、線形拘束付最小分散型(LCMV)、フェーズドアレイ(phased array)、等)が与えられている場合に様々なマイクロフォン104a−e組み合わせに関して異なるビームフォーマデータバンクをオフラインで計算することができる。使用中は、現在の使用事例の要求に依存してユーザインタフェース内のメニューを通じてこれらのビームフォーマのうちの希望される1つを選択することができる。
[0081]図2Aは、該方法200に関する概念的フローチャートを示す。最初に、無線通信デバイス102は、(例えば、自動的に及び/又はユーザインタフェースを介して選択された)1つ以上の好ましいサウンドキャプチャ方向を得る201ことができる。次に、無線通信デバイス102は、ビームフォーマ及び指定された方向性を提供するマイクロフォンアレイ(例えば、対)の組み合わせを選択することができる203。指定された方向性は、1つ以上のスピーチコーデックと組み合わせて使用することもできる。
[0082]図2Bは、一対のマイクロフォン204a−bに関する空間的選択性の領域を示す。例えば、第1の空間205aは、第1のマイクロフォン204a及び第2のマイクロフォン204bを用いてエンドファイアビーム形成を適用することによってオーディオを集中することができる空間を表すことができる。同様に、第2の空間205bは、第2のマイクロフォン204b及び第1のマイクロフォン204aを用いてエンドファイアビーム形成を適用することによってオーディオを集中することができる空間を表すことができる。
[0083]図3は、無線通信デバイス302のユーザインタフェース312の例を示す。上述されるように、幾つかの実装においては、録音方向は、ユーザインタフェース312を介して選択することができる。例えば、ユーザインタフェース312は、1つ以上の録音方向を表示することができる。ユーザは、ユーザインタフェース312を介して、希望される録音方向を選択することができる。幾つかの例では、ユーザインタフェース312は、ユーザがより多くのビットで圧縮することを希望する特定の方向と関連付けられたオーディオ情報を選択するために使用することもできる。幾つかの実装においては、無線通信デバイス302は、イヤピース308と、1つ以上の拡声器310a−bと、1つ以上のマイクロフォン304a−cと、を含むことができる。
[0084]図4は、3つのマイクロフォン404a−cを含むことができるステレオヘッドセット414a−bに関する関連する使用事例を示す。例えば、ステレオヘッドセット414a−bは、中央のマイクロフォン404aと、左マイクロフォン404bと、右マイクロフォン404cと、を含むことができる。マイクロフォン404a−cは、用途、例えば、ボイスキャプチャ及び/又はアクティブノイズキャンセレーション(ANC)、をサポートすることができる。該用途に関しては、この3つのマイクロフォンの構成を用いて(図4,無指向性マイクロフォンを用いて)録音するために頭部周囲の異なるセクタ416a−d(すなわち、後のセクタ416a、左のセクタ416b、右のセクタ416c及び前のセクタ416d)を定義することができる。
[0085]三次元オーディオキャプチャは、特殊化されたマイクロフォンセットアップ、例えば、図5に示される3マイクロフォン504a−c配置、を用いて行うこともできる。該配置は、コード518を介して又は無線で録音デバイス520に接続することができる。録音デバイス520は、デバイス520の方位を検出するための及び選択された録音方向によりマイクロフォン504a−cの間での(すなわち、中央のマイクロフォン504a、左マイクロフォン504b及び右マイクロフォン504cの中からの)対の選択のためのここにおいて説明される装置を含むことができる。代替配置では、中央のマイクロフォン504aは、録音デバイス520上に配置することができる。同様に、この使用事例は、3Dオーディオを圧縮及び送信するために使用することができる。
[0086]一般的には、一番奥のユーザがステレオヘッドセット(例えば、適応型雑音キャンセレーションすなわちANCヘッドセット)を用いて録音された空間音を聴くと仮定される。しかしながら、その他の用途では、3つ以上の空間方向を再生することが可能なマルチ拡声器アレイを一番奥において利用可能である。該使用事例をサポートするために、3Dオーディオ信号の録音、又はキャプチャ中に2つ以上のマイクロフォン/ビームフォーマの組み合わせを3Dオーディオの圧縮及び送信のために同時に使用できるようにするのが望ましいであろう。
[0087]1つ以上のソース方向の各々に関してモノラルサウンドを生成するために多マイクロフォンアレイを空間的選択性フィルタとともに使用することができる。しかしながら、該アレイは、二次元又は三次元での空間オーディオ符号化をサポートするために使用することもできる。ここにおいて説明される多マイクロフォンアレイを用いてサポートすることができる空間オーディオ符号化法の例は、5.1サラウンド、7.1サラウンド、ドルビーサラウンド、ドルビープロロジック(Dolby Pro−Logic)、又はその他の位相−振幅行列ステレオフォーマット、ドルビーデジタル、DTS又はディスクリートマルチチャネルフォーマット、及び波動場合成を含む。5チャネル符号化の一例は、左、右、中央、左サラウンド、及び右サラウンド制御チャネルを含む。
[0088]図6は、4つのマイクロフォンの604a−d構成を用いて空間コーディングに関するファーストオーダーキャプチャリング(first order capturing)の近似値を求める(approximate)ための無指向性マイクロフォン604a−d配置を示す。ここにおいて説明される多マイクロフォン604a−dアレイを用いてサポートすることができる空間オーディオ符号化法の例は、特殊マイクロフォン604a−d、例えば、Ambisonic Bフォーマット又はより高いオーダーのAmbisonicフォーマット、とともに使用することが元来は意図される方法を含むこともできる。例えば、Ambisonic符号化方式の処理されたマルチチャネル出力は、測定点における三次元テイラー展開を含むことができ、それは、図6において描かれるように、三次元配置されたマイクロフォンアレイを用いて少なくとも第1のオーダーまでの近似値を求めることができる。マイクロフォン数がこれよりも多い場合は、近似値を求めるオーダーを上げることができる。一例により、第2のマイクロフォン7604bは、z方向に距離Δz分だけ第1のマイクロフォン604aから分離させることができる。第3のマイクロフォン604cは、y方向に距離Δy分だけ第1のマイクロフォン604aから分離させることができる。第4のマイクロフォン604dは、x方向に距離Δx分だけ第1のマイクロフォン604aから分離させることができる。
[0089]没入型の(immersive)サウンド経験をユーザに伝えるために、サラウンドサウンド録音は、独立型であること又はビデオテープ録画と関連させることができる。サラウンドサウンド録音は、単一指向性マイクロフォン604a−dを用いた別個のマイクロフォン構成を使用することができる。この例では、1つ以上の単一指向性マイクロフォン604a−dを別々にクリップオン(clip on)することができる。本開示では、空間フィルタリングと組み合わされた複数の無指向性マイクロフォン604a−dに基づく代替方式が提示される。この構成の例では、スマートフォン又はタブレットに埋め込まれた1つ以上の無指向性マイクロフォン604a−dは、複数の録音用途をサポートすることができる。例えば、ワイドステレオのために2つのマイクロフォン604a−dを使用することができ、及び、該当するマイクロフォン604a−d軸を有する少なくとも3つの無指向性マイクロフォン604a−dをサラウンドサウンドのために使用することができ、スマートフォン又はタブレットデバイス上で複数のサウンドチャネルを録音するために使用することができる。これらのチャネルは、対で処理すること又は希望されるルック方向に特定の空間的ピックアップパターンを有するように設計されたフィルタで同時にフィルタリングすることができる。空間エイリアシング(aliasing)に起因して、最も適切な周波数帯域においてパターンが有効であるようにマイクロフォン間の距離を選択することができる。生成されたステレオ又は5.1出力チャネルは、没入型サウンド経験を生成するためにサラウンドサウンドセットアップにおいて再生することができる。
[0090]図7は、無線通信デバイス702(例えば、スマートフォン)の一例の前面図及び裏面図を示す。ステレオ録音を行うために前のマイクロフォン704a及び第1の後のマイクロフォン704cを使用することができる。その他のマイクロフォン704対の例は、第1のマイクロフォン704a(前部)及び第2のマイクロフォン704b(後部)と、第3のマイクロフォン704c(後部)及び第4のマイクロフォン704d(後部)と、第2のマイクロフォン704b(前部)及び第4のマイクロフォン704d(後部)とを含む。ソースに対するマイクロフォン704a−dの異なる位置は、デバイス702の保持位置に依存し、空間フィルタリングを用いて強調することができるステレオ効果を作り出すことができる。録画中(例えば、ビデオテープに録画中)のコメンテーターとシーンとの間のステレオ画像を生成するために、(図1の側面図において示されるように)デバイスの厚さの距離を有する第1のマイクロフォン704a(前部)及び第3のマイクロフォン704c(後部)を用いてエンドファイアペアリングを使用するのが望ましい。しかしながら、同じマイクロフォン704a−dを異なる保持位置で使用することもでき及び(図1の背面図において示されるように)z軸方向への距離を有するエンドファイアペアリングを生成することができることに注目すること。後者の場合は、シーンに向けてのステレオ画像を生成することができる(例えば、シーン内の左から来る音は、左からの着信音としてキャプチャされる)。幾つかの実装においては、無線通信デバイスは、イヤピース708、1つ以上の拡声器710a−b及び/又はカメラレンズ706を含むことができる。
[0091]図8は、ブロードサイド方向から到着するソース信号を録音するためにデバイス702の厚さの距離を有する第1のマイクロフォン704a(前部)及び第3のマイクロフォン704c(後部)のエンドファイアペアリングを使用する事例を示す。この事例では、X軸874は右に行くほど大きくなり、Y軸は、左に行くほど大きくなり、Z軸は、上に行くほど大きくなる。この例では、2つのマイクロフォン704a、704cの座標は、(x=0、y=0、z=0)及び(x=0、y=0.10、z=−0.01)であることができる。ステレオビーム形成を適用することができ、従って、y=0面に沿ったエリアは、ブロードサイド方向のビームを示すことができ、(x=0、y−0.5、z=0)のエリアは、エンドファイア方向のヌルビーム(nullbeam)を示すことができる。コメンテーターがブロードサイド方向から(例えば、デバイス702の裏面内に)話しているときには、マイクロフォン704a、704c対の軸の周囲の回転に関する曖昧さに起因して、コメンテーターの声をデバイス702の前面におけるシーンからの音と区別するのは困難である可能性がある。この例では、コメンテーターの声をシーンから分離させるステレオ効果をエンハンスすることができない。
[0092]図9は、ブロードサイド方向から到着するソース信号を録音するためにデバイス702の厚さの距離を有する第1のマイクロフォン704a(前部)及び第3のマイクロフォン704c(後部)のエンドファイアペアリングを使用する他の事例を示し、マイクロフォン704a(前部)、704c(後部)座標は、図8と同じであることができる。この事例では、X軸974は右に行くほど大きくなり、Y軸976は、左に行くほど大きくなり、Z軸978は、上に行くほど大きくなる。この例では、ビームは、(点(x=0、y=−0.5、z=0)を通じて)エンドファイア方向に方位を向けることができ、従って、ユーザ(例えば、コメンテーター)の声は、1つのチャネルではヌルアウト(null out)することができる。ビームは、ヌルビームフォーマ又は他のアプローチ法を用いて形成することができる。例えば、ブラインドソース分離(BSS)アプローチ法、例えば、独立コンポーネント解析(ICA)又は独立ベクトル解析(IVA)、は、ヌルビームフォーマよりも広いステレオ効果を提供することができる。テープ録画されたシーン自体に関するより広いステレオ効果を提供するために、(例えば、図1の背面図において示されるように)z軸978方向への距離を有する同じマイクロフォン704a、704cのエンドファイアペアリングを使用すれば十分である。
[0093]図10は、エンドファイアビームを結合する事例を示した図である。この事例では、X軸1074は右に行くほど大きくなり、Y軸1076は、左に行くほど大きくなり、Z軸1078は、上に行くほど大きくなる。無線通信デバイス702がブロードサイド保持位置にある状態では、オリジナルの録音と比較してステレオ効果を高めるために(図9及び10において示されるように)左側及び右側のエンドファイアビームを結合するのが望ましい。該処理は、(例えば、マイクロフォンのスペースをシミュレーションするために)チャネル間遅延を加えることも含むことができる。該遅延は、空間内の共通の基準点に合わせて両方のビームフォーマの出力遅延を正規化するのに役立つことができる。ステレオチャネルがヘッドフォンで再生されるときに、遅延を操作することは、空間画像を好ましい方向に回転させるのに役立つこともできる。デバイス702は、(米国特許出願番号13/280,211、Attorney Docket No.102978U1“SYSTEMS, METHODS, APPARATUS AND COMPUTER-READABLE MEDIA FOR ORIENTATION-SENSITIVE RECORDING CONTROL”(方位の影響を受けやすい録音制御のためのシステム、方法、装置及びコンピュータによって読み取り可能な媒体)において説明されるように)保持位置を示す加速度計、磁力計及び/又はジャイロスコープを含むことができる。以下において論じられる図20は、該方法のフローチャートを示す。
[0094]デバイスがエンドファイア保持位置にあるときには、録音は、ワイドなステレオ効果を提供することができる。この場合は、(例えば、ヌルビームフォーマ又はBSSソリューション、例えば、ICA又はIVAを用いた)空間フィルタリングが効果をわずかに高めることができる。
[0095]デュアルマイクロフォン事例では、上述されるように(例えば、ユーザの声及び録画されたシーンの分離を増大させるために)空間フィルタリングを通じてステレオ録音されたファイルをエンハンスすることができる。例えば、信号を3つ以上のチャネルにアップミックス(upmix)するために、(例えば、サラウンドサウンドに関する)キャプチャされたステレオ信号から幾つかの異なる指向性チャネルを生成することが望ましいであろう。例えば、各チャネルに関する5つのスピーカーのアレイのうちの異なる1つを用いて再生することができるように(例えば、5.1サラウンドサウンド方式に関して)5つのチャネルまで信号をアップミックスするのが望ましいであろう。該アプローチ法は、アップミックスされたチャネルを得るために対応する方向に空間フィルタリングを適用することを含むことができる。該アプローチ法は、アップミックスされたチャネル(例えば、ドルビーサウンドのバージョン)に多チャネル符号化方式を適用することも含むことができる。
[0096]3つ以上のマイクロフォン704a−dが録音のために使用される事例に関しては、空間フィルタリング及び異なるマイクロフォン704a−dの組み合わせを用いて複数の方向(例えば、5.1規格による5つの方向)に録音し、次に、(例えば、5つの拡声器を用いて)録音された信号を再生することが可能である。該処理は、アップミキシングなしで実施することができる。
[0097]図11は、前中央(FC)1180方向、前左(FL)1182方向、前右(FR)1184方向、後左(BL)11876方向及び後右(BR)1188方向における該ビームに関する図の例を示す。これらの図ではX軸、Y軸、及びZ軸は方位が同様であり(各範囲の中央はゼロであり、両端は±0.5であり、X軸は右に行くほど大きくなり、Y軸は、左に行くほど大きくなり、Z軸は、上に行くほど大きくなる)、暗いエリアは、記載されようにビーム又はヌルビーム方向を示す。各図に関するビームは、次の点(z=0)を通じて向けられる。すなわち、前中央(FC)1180の場合は(x=0、y=+0.5)、前右(FR)1184の場合は(x=+0.5、y=+0.5)、後右(BR)1188の場合は(x=+0.5、y=−0.5)、後左(BL)1186の場合は(x=−0.5、y=−0.5)、前左(FL)1182の場合は(x=−0.5、y=+0.5)。
[0098]4つの異なる方向(FR1184、BR1188、BL1186、FL1182)と関連付けられたオーディオ信号は、無線通信デバイス702のスピーチコーデックを用いて圧縮することができる。受信機側では、異なる指向性音と関連付けられた4つの再構築されたオーディオ信号を再生又は復号するユーザに関する中央音をFR1184チャネル、BR1188チャネル、BL1186チャネル、FL1182チャネルの組み合わせによって生成することができる。異なる方向と関連付けられたこれらのオーディオ信号は、無線通信デバイス702を用いてリアルタイムで圧縮及び送信することができる。4つの独立したソースの各々は、ある低帯域周波数(LB)からある上方の帯域の周波数(UB)まで圧縮及び送信することができる。
[0099]空間フィルタリング技法の有効性は、小さいマイクロフォン間のスペース、空間エイリアシング及び高周波数での散乱、等の要因に依存してバンドパス範囲に限定される可能性がある。一例では、信号は、空間フィルタリング前に(例えば、8kHzのカットオフ周波数で)ローパスフィルタリングすることができる。
[00100]単一の点源からの音がキャプチャされる事例に関しては、その他の方向から到着する信号のマスキングによって該ビーム形成を補完することは、希望されるマスキング効果を達成するために必要な積極性のレベルでの非直接経路信号の強力な減衰及び/又は可聴歪みに結び付くことがある。該アーティファクトは、高精細度(HD)オーディオにとっては望ましくない。一例では、HDオーディオは、48kHzのサンプリングレートで録音することができる。該アーティファクトを軽減するために、積極的に空間フィルタリングされた信号を使用する代わりに、各チャネルに関して処理されたエネルギープロフィールのみを使用すること及びマスキング前にオリジナルの入力信号又は空間処理された出力における各チャネルに関するエネルギープロフィールにより利得パンニング規則(gain panning rule)を適用することが望ましい。時間−周波数マップではサウンドイベントはまばら(sparse)であるため、複数のソースの事例でさえも該ポストゲインパンニング法を使用可能であることに注目すること。
[00101]図12は、後右空間方向に関する信号を得るための処理例を示す。図A1290(振幅対時間)は、オリジナルのマイクロフォン録音を示す。図B1292(振幅対時間)は、(8kHzのカットオフ周波数で)マイクロフォン信号をローパスフィルタリングし及びマスキングを用いて空間フィルタリングを行う結果を示す。図C1294(大きさ対時間)は、図B1292での信号のエネルギーに基づいた該当する空間エネルギーを示す(例えば、サンプル値の平方の和)。図D1296(状態対時間)は、低周波数空間フィルタリングによって示されるエネルギー差に基づくパンニングプロフィールを示し、図E1298(振幅対時間)は、48kHzのパンニングされた出力を示す。
[00102]デュアルマイク対の事例に関しては、1つの対に関しては少なくとも1つのビームを、他方の対に関しては異なる方向に少なくとも2つのビームを設計するのが望ましい。これらのビームは、(例えば、ブラインドソース分離アプローチ法、例えば、独立したコンポーネント解析又は独立したベクトル解析、を用いて)設計又は学習することができる。これらのビームの各々は、(例えば、サラウンドサウンド録音に関する)録音の異なるチャネルを得るために使用することができる。
[00103]図13は、3つのマイクロフォン1304a−cのアレイを有する2マイクロフォン対ブラインドソース分離(例えば、独立したコンポーネント解析又は独立したベクトル解析)を用いたヌルビーム形成アプローチ法を示す。前部及び後部のローカライズ可能な音源1380a、1380bに関しては、第2のマイク1304b及び第3のマイク1304cを使用することができる。左及び右のローカライズ可能な音源1380c、1380dに関しては、第1のマイク1304a及び第2のマイク1304bを使用することができる。2つのマイクロフォン1304a−c対の軸は、直交であること又は少なくとも実質的に直交であること(直交から5°、10°、15°又は20°以内)ことが望ましい。
[00104]チャネルのうちの一部は、ビームのうちの2つ以上を結合することによって生成することができる。図14は、前右方向に関する結果を得るために前ビーム1422a及び右ビーム1422b(すなわち、前方向及び右方向のビーム)を結合することができる例を示す。ビームは、1つ以上のマイクロフォン1404a−c(例えば、第1のマイク1404a、第2のマイク1404b及び第3のマイク1404c)によって録音することができる。前左、後右、及び/又は後左方向に関する結果も同じ方法で得ることができる。この例では、そのような形でオーバーラップしているビーム1422a−dを結合することは、その他の位置から到着する信号に関してよりも対応する角から到着する信号に関してのほうが6dB大きい信号を提供することができる。幾つかの実装においては、後ヌルビーム1422c及び左ヌルビーム1422dを形成することができる(すなわち、左方向及び後方向のビームはヌルであることができる)。幾つかの事例では、空間内の共通の基準点に合わせて両方のビームフォーマの出力遅延を正規化するためにチャネル間遅延を適用することができる。“左−右エンドファイア対”及び“前−後エンドファイア対”が結合されるときには、基準点をマイクロフォン1404a−cアレイの重心に設定するのが望ましい。該動作は、2つの対間の調整された遅延によって希望される角位置での最大化されたビーミングをサポートすることができる。
[00105]図15は、図13において例示されるアプローチ法に関する前1501、後1503、左1505及び右1507方向でのヌルビームの例を示す。最小分散歪みなし応答ビームフォーマ又は収束(converged)ブラインドソース分離(例えば、独立したコンポーネント解析又は独立したベクトル解析)を用いて設計することができるビームは、デバイス702及び音源(又はソース)の相対位置が固定されているシナリオで学習されたフィルタ。これらの例では、示される周波数ビンの範囲は、0乃至8kHzの帯域に対応する。空間的ビームパターンは補完的であることがわかる。さらに、これらの例における左−右の対のマイクロフォン1304a−cと前部−後部対のマイクロフォン1304a−cの間のスペースが異なることに起因して、空間エイリアシングはこれらのビームパターンに異なった影響を与えることもわかる。
[00106]空間エイリアシングに起因して、マイクロフォン間の距離に依存して、キャプチャされた信号の周波数範囲全体未満に(例えば、上述される0乃至8kHzの範囲に)ビームを適用することが望ましい。低周波数コンテンツが空間フィルタリングされた後は、高周波数コンテンツを戻すことができ、空間遅延、処理遅延及び/又は利得マッチングに関してある程度の調整が行われる。幾つかの事例では(例えば、ハンドヘルドデバイスフォームファクタ(form factor)、いずれにせよマイクロフォンのスペース上の限界に起因して指向性のある程度の損失を予想することができるため、中間範囲の周波数のみ(例えば、200又は500Hzのみまで)をフィルタリングすることが同じく望ましいであろう。
[00107]何らかの種類の非線形位相歪みが存在する場合は、同じ到着方向(DOA)により全周波数に関して同じ遅延に基づいた標準的なビーム/ヌル形成技法は、非線形位相歪みが原因で生じる幾つかの周波数における差動遅延に起因して、性能が不良になることがある。しかしながら、ここにおいて説明される独立したベクトル解析に基づく方法は、ソース分離に基づいて動作し、従って、該方法は、同じ到着方向に関する差動遅延が存在する場合でも良好な結果が得られることを予想することができる。該ロバストネス(robustness)は、サラウンド処理係数を入手するために独立したベクトル解析を使用するという潜在的な利点であることができる。
[00108]あるカットオフ周波数(例えば、8kHz)の上方で空間フィルタリングが行われない事例に関しては、最終的な高精細度信号を提供することは、オリジナルの前部/後部チャネルをハイパスフィルタリングすることと、8乃至24kHzの帯域を戻すことと、を含むことができる。該動作は、空間及びハイパスフィルタリング遅延に関して調整することを含むことができる。さらに、(例えば、空間分離の効果を混同しないようにするために)8乃至24kH帯域の利得を調整することも望ましい。図12に示される例は、時間領域でフィルタリングすることができるが、ここにおいて説明されるアプローチ法をその他の領域(例えば、周波数領域)におけるフィルタリングに適用することが明示で企図され、ここによって開示される。
[00109]図16は、4つのマイクロフォン1604a−dのアレイを有する4チャネルブラインドソース分離(例えば、独立したコンポーネント解析又は独立したベクトル解析)を用いたヌルビーム形成アプローチ法を示す。4つのマイクロフォン1604a−dの様々な対のうちの少なくとも2つの軸は、直交であること又は実質的に直交であること(例えば、直交から5°、10°、15°又は20°以内)ことが望ましい。該4マイクロフォン1604a−dフィルタは、角方向へのビームパターンを生成するためにデュアルマイクロフォンペアリングに加えて使用することができる。一例では、これらのフィルタは、独立したベクトル解析及びトレーニングデータを用いて学習することができ、その結果得られる収束独立ベクトル解析フィルタは、5.1サラウンドサウンドにおける各々の5つのチャネル方向(FL、FC、FR、BR、BL)に関する信号を生成するために4つの録音されたマイクロフォン1604a−d入力に適用された固定フィルタとして実装される。5つのスピーカーを100%利用するためには、例えば、次の方程式、すなわち、(FL+FR)/√2、を用いて前−中央チャネルFCを得ることができる。以下において説明される図23は、該方法に関するフローチャートを示す。以下において説明される図25は、該フィルタバンクに関する部分的なルーティング図を示し、マイクnは列n内のフィルタへの入力を提供し、1≦n≦4であり、出力チャネルの各々は、対応する行内のフィルタの出力の和である。
[00110]該学習プロセスの一例では、4つのマイクロフォン1604a−dのアレイの周囲の4つの各々の指定された位置(例えば、4つの角の位置FL、FR、BL及びBR)の各々に独立した音源が置かれ、アレイは、4チャネル信号をキャプチャするために使用される。キャプチャされた4チャネル出力の各々は、すべての4つのソースの混合であることに注目すること。次に、4つの独立したソースを分離するためにブラインドソース分離技法(独立ベクトル解析)を適用することができる。コンバージェンス(convergence)後は、分離された4つの独立したソース、及び、基本的にターゲットの角の方にビームが向かい、その他の3つの角の方にヌルする収束(converged)フィルタセットを得ることができる。
[00111]図17は、角方向前左(FL)1709、前右(FR)1711、後左(BL)1713及び後右(BR)1715に関する4つのフィルタの該組に関するビームパターンの例を示す。ランドスケープ(landscape)録音モードに関して、フィルタを入手及び適用することは、2つの前部マイクロフォン及び2つの後部マイクロフォンを使用することと、アレイに対する固定位置のソースに関する4チャネル独立ベクトル解析学習アルゴリズムを実行することと、収束フィルタを適用することと、を含むことができる。
[00112]ビームパターンは、取得された混合データに依存して変化することができる。図18は、後左(BL)1817方向、後右(BR)1819方向、前左(FL)1821方向及び前右方向(FR)1823方向においてモバイルスピーカーデータに関して学習された独立ベクトル解析収束フィルタビームパターンの例を示す。図19は、後左(BL)1917方向、後右(BR)1919方向、前左(FL)1921方向及び前右方向(FR)1923方向においてリファインされたモバイルスピーカーデータに関して学習された独立ベクトル解析収束フィルタビームパターンの例を示す。これらの例は、図18に示されるのと同じであるが、前右ビームパターンを除く。
[00113]独立ベクトル解析を用いて4マイクロフォンフィルタをトレーニングするプロセスは、希望される方向へのビームだけでなく、干渉方向をヌル化(null)することも含むことができる。例えば、前左(FL)方向に関するフィルタは、前左(FL)方向へのビームを含み、前右(FR)、後左(BL)及び後右(BR)方向にヌル化するソリューションに向けて収束される。該トレーニング動作は、正確なマイクアレイ幾何が既に知られている場合は決定論的に行うことができる。代替として、独立ベクトル解析プロセスは、豊富なトレーニングデータを用いて行うことができ、ここで、1つ以上の音源(例えば、話声、楽器、等)は、各角に配置され、4マイクロフォンアレイによってキャプチャされる。この事例では、トレーニングプロセスは、マイクロフォン構成にかかわらず(すなわち、マイクロフォン幾何に関する情報の必要性なしに)1回実施することができ、フィルタは、のちに特定のアレイ構成に関して固定することができる。アレイが投影された二次元(x−y)平面内に4つのマイクロフォンを含むかぎり、この学習処理の結果は、4つのコーナーフィルタの適切な組を生成するために適用することができる。アレイのマイクロフォンが2つの直交軸又はほぼ直交の軸(例えば、直交から15°以内)内に配置されている場合は、該トレーニングされたフィルタは、特定のマイクロフォンアレイ構成の制約なしにサラウンドサウンド画像を記録するために使用することができる。例えば、2つの軸が直交に非常に近い場合は3マイクロフォンアレイで十分であることができ、各軸上のマイクロフォン間の分離間の比率は重要でない。
[00114]上記のように、低周波数を空間処理し、高周波数ターム(frequency term)をパスすることによって高精細度信号を得ることができる。しかしながら、計算の複雑化が特定の設計にとって重大な懸念事項でない場合は、周波数領域全体の処理を代わりに行うことができる。4マイクロフォン独立ベクトル解析アプローチ法は、ビーミング(beaming)よりもヌリング(nulling)により焦点を合わせているため、高周波数タームにおけるエイリアシングの影響を低減させることができる。ヌルエイリアシングは、ビーミング方向では稀な頻度しか発生せず、従って、ビーミング方向における周波数領域のほとんどは、特にマイクロフォン間の距離が小さい場合は、ヌルエイリアシングによる影響を受けないことができる。マイクロフォン間の距離がより大きい場合は、ヌリングは実際にはランダム化し、従って、その影響は、処理されない高周波数タームをパスする事例と同様である。
[00115]小さいフォームファクタ(例えば、ハンドヘルドデバイス102)に関しては、マイクロフォンのスペースが小さすぎて良い結果をサポートすることができず、高周波数における性能が損なわれるおそれがあるため、低周波数で空間フィルタリングを行うのは避けるのが望ましいであろう。同様に、高周波数は典型的には既に指向性であり、空間エイリアシング周波数を上回る周波数に関してはフィルタリングは有効でないことがあるため、高周波数で空間フィルタリングを行うのは避けるのが望ましいであろう。
[00116]3つ以下のマイクロフォンが使用される場合は、(例えば、不十分な自由度に起因して)3つのその他の角においてヌルを形成するのは困難なことがある。この場合は、代替策、例えば、図14、21、及び22に関して説明されるエンドファイアペアリング、を使用するのが望ましいであろう。
[00117]図20は、エンドファイアビームを結合するための方法2000のフローチャートを示す。一例では、無線通信デバイス102は、1つのエンドファイア方向にビームを適用する2002ことができる。無線通信デバイス102は、他方のエンドファイア方向にビームを適用する2004ことができる。幾つかの例では、マイクロフォン104a−e対は、エンドファイア方向にビームを適用することができる。次に、無線通信デバイス102は、フィルタリングされた信号を結合する2006ことができる。
[00118]図21は、一般的なデュアルペアマイクロフォン事例においてビームを結合するための方法2100のフローチャートを示す。一例では、第1のマイクロフォン104a−e対は、第1の方向にビームを適用する2102ことができる。第2のマイクロフォン104a−e対は、第2の方向にビームを適用する2104ことができる。次に、無線通信デバイス102は、フィルタリングされた信号を結合する2106ことができる。
[00119]図22は、3つのマイクロフォンの事例においてビームを結合する方法2200のフローチャートを示す。この例では、第1のマイクロフォン104a及び第2のマイクロフォン104bは、第1の方向にビームを適用する2202ことができる。第2のマイクロフォン104b及び第3のマイクロフォン104cは、第2の方向にビームを適用する2204ことができる。次に、無線通信デバイス102は、フィルタリングされた信号を結合する無線通信デバイス102は、フィルタリングされた信号を結合する2206ことができる。エンドファイアビームフォームの各対は、+90°及び−90°の焦点エリアを有することができる。一例として、前(前−後対の+90)左(左−右対の+90)を有するために、+90°焦点エリアを有する2つのエンドファイアビームフォームの組み合わせを使用することができる。
[00120]図23は、4チャネルブラインドソース分離を用いた4つのマイクロフォン2304a−d(例えば、第1のマイクチャネル2304a、第2のマイクチャネル2304b、第3のマイクチャネル2304c及び第4のマイクチャネル2304d)のアレイのブロック図である。マイクロフォン2304a−dチャネルは、各々、4つのフィルタ2324a−dの各々に結合することができる。5つのスピーカーを100%利用するために、前中央チャネル2304eは、例えば、第1のフィルタ2324a及び第2のフィルタ2324bの出力を介して、前右チャネル2304a及び左チャネル2304bを結合することによって得ることができる。
[00121]図24は、ブラインドソース分離フィルタバンク2426に関する部分的ルーティング図を示す。前左(FL)方向、前右(FR)方向、後左(BL)方向及び後右(BR)方向においてオーディオ信号を生成するために4つのマイクロフォン2404(例えば、第1のマイク2404a、第2のマイク2404b、第3のマイク2404c及び第4のマイク2404d)をフィルタバンク2426に結合することができる。
[00122]図25は、2×2フィルタバンク2526に関するルーティング図を示す。前左(FL)方向、前右(FR)方向、後左(BL)方向及び後右(BR)方向においてオーディオ信号を生成するために4つのマイクロフォン2504(例えば、第1のマイク2504a、第2のマイク2504b、第3のマイク2504c及び第4のマイク2504d)をフィルタバンク2526に結合することができる。2×2フィルタバンクの出力部では、3−Dオーディオ信号FL、FR、BR及びBLが出力されることに注目すること。図23において示されるように、その他のフィルタのうちの2つ(第1及び第2のフィルタ)の組み合わせから中央チャネルを再生することができる。
[00123]本説明は、複数の無指向性マイクロフォン2504a−dを用いて録音された信号から5.1チャネル録音を提供する開示を含む。複数の無指向性マイクロフォン2504a−dを用いてキャプチャされた信号からバイオーラル録音を生成することが望ましい。例えば、ユーザ側からの5.1チャネルサラウンドシステムが存在しない場合は、ユーザがサラウンドサウンドシステムを有する実際の音響空間内に存在する経験を有することができるようにするために5.1チャネルをステレオバイオーラル録音にダウンミックスすることが望ましいであろう。さらに、この能力は、ユーザがその場でシーンを録画しながらサラウンド録音をモニタリングすること及び/又はホームシアターシステムの代わりにステレオヘッドセットを用いて自己のモバイルデバイスにおいて録画された映像及びサラウンドサウンドを再生することができる任意選択肢を提供することができる。
[00124]ここにおいて説明されるシステム及び方法は、居間空間内の指定された位置(FL、FR、C、BL(又はサラウンド左)、及びBR(又はサラウンド右)に配置された拡声器を通じて再生されることが意図される無指向性マイクロフォン250a−dのアレイからの指向性音源を提供することができる。ヘッドフォンを用いてこの状況を再生する1つの方法は、希望される音響空間内の各耳の内部に配置されたマイクロフォン250a−dへの各拡声器からバイオーラルインパルス応答(BIR)(例えば、バイオーラル伝達関数)を測定するオフラインプロセスを含むことができる。バイオーラルインパルス応答は、拡声器のアレイ間のすべてのソース受信機対及び2つの耳に関する音響経路情報を符号化することができ、各拡声器からの直接経路及び反射経路を含む。本物の人間の耳の内部に小さいマイクロフォン2504a−dを配置すること、又はシリコン製の耳を有するダミーの頭部、例えば、頭部・胸部シミュレータ(例えば、HATS、Bruel and Kjaer、DK)を使用することができる。
[00125]バイオーラル再生に関して、測定されたバイオーラルインパルス応答は、指定された拡声器位置に関する各指向性音源を畳み込むことができる。すべての指向性ソースにバイオーラルインパルス応答を畳み込んだ後は、各耳の録音に関して結果を合計することができる。この事例では、人間の耳によって捕らえられた左右の信号を複製する2つのチャネル(例えば、左右)は、ヘッドフォンを通じて再生することができる。無指向性マイクロフォン2504a−dのアレイからの5.1サラウンド生成は、アレイからバイオーラル再生までの経由点(via−point)として使用することができる。従って、この方式は、その経由点がどのように生成されるかに依存して一般化することができる。例えば、アレイによってキャプチャされた信号からさらなる指向性ソースが生成され、それらは、希望される拡声器位置から耳までの適宜測定されたバイオーラルインパルス応答との経由点として使用することができる。
[00126]ここにおいて説明される方法は、音響信号を受け取るように構成された2つ以上のマイクロフォン2504a−dのアレイを有するポータブルなオーディオセンシングデバイス(audio sensing device)内で実行するのが望ましいであろう。該アレイを含むために実装することができ及び録音及び/又は音声通信用途のために使用することができるポータブルなオーディオセンシングデバイスの例は、電話ハンドセット(例えば、携帯電話ハンドセット)、有線又は無線のヘッドセット(例えば、Bluetooth(登録商標)ヘッドセット)、ハンドヘルドオーディオ及び/又はビデオレコーダ、オーディオ及び/又はビデオコンテンツを記録するように構成されたパーソナルメディアプレーヤー、パーソナルデジタルアシスタント(PDA)又はその他のハンドヘルドコンピューティングデバイス、ノートブックコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、又はその他のポータブルなコンピューティングデバイスを含む。ポータブルなコンピューティングデバイスのクラスは、現在は、ラップトップコンピュータ、ノードブックコンピュータ、ネットブックコンピュータ、ウルトラポータブルコンピュータ、タブレットコンピュータ、モバイルインターネットデバイス、スマートブック及びスマートフォン等の名前を有するデバイスを含む。該デバイスは、表示画面を含むトップパネル及びキーボードを含むことができるボトムパネルを有することができ、2つのパネルは、クラムシェル方式で又はその他のヒンジ方式で接続することができる。該デバイスは、表面にタッチ画面式ディスプレイを含むタブレットコンピュータとして同様に実装することができる。該方法を実行するために及びアレイ例を含むために構築することができ及び録音及び/又は音声通信用途のために使用することができるオーディオセンシングデバイスのその他の例は、セットトップボックスと、オーディオ及び/又はビデオ会議装置と、を含む。
[00127]図26Aは、一般的構成による多マイクロフォンオーディオセンシングデバイス2628のブロック図を示す。オーディオセンシングデバイス2628は、ここにおいて開示されるマイクロフォンアレイ2630の実装の例を含むことができる。オーディオセンシングデバイス2628は、ここにおいて開示される方法のうちの1つ以上の実装を行うことによって多チャネルオーディオ信号(MCS)を処理するように構成することができる装置2632を含むこともできる。装置2632は、ハードウェア(例えば、プロセッサ)とソフトウェア及び/又はファームウェアの組み合わせとして実装することができる。
[00128]図26Bは、デバイス2628の実装であることができる通信デバイス2602のブロック図を示す。無線通信デバイスデバイス2602は、装置2632を含むチップ又はチップセット2634(例えば、モバイルステーションモデム(MSM)チップセット)を含むことができる。チップ/チップセット2634は、1つ以上のプロセッサを含むことができる。チップ/チップセット2634は、アレイ2630の処理要素(例えば、以下で説明されるオーディオ前処理段階の要素)を含むこともできる。チップ/チップセット2634は、無線周波数(RF)通信信号を受信するように及びRF信号内で符号化されたオーディオ信号を復号及び再生するように構成することができる受信機と、装置2632によって生成された処理された信号に基づくことができるオーディオ信号を符号化するように及び符号化されたオーディオ信号を記述するRF通信信号を送信するように構成することができる送信機と、を含むこともできる。例えば、チップ/チップセット2634の1つ以上のプロセッサは、符号化されたオーディオ信号が雑音の低減された信号に基づくようにするために多チャネル信号の1つ以上のチャネルに関して上述されるような雑音低減動作を行うように構成することができる。
[00129]アレイ2630の各マイクロフォンは、無指向性、双指向性、又は単一指向性(例えば、カーディオイド)である応答を有することができる。アレイ2630内で使用することができる様々なタイプのマイクロフォンは、(限定することなしに)圧電マイクロフォンと、ダイナミックマイクロフォンと、エレクトレットマイクロフォンと、を含むことができる。ポータブル音声通信用デバイス、例えば、ハンドセット又はヘッドセット、では、アレイ2630の隣接するマイクロフォン間の中心間スペースは、約1.5cmから約4.5cmの範囲内であることができるが、ハンドセット又はスマートフォン、等のデバイスではより大きいスペース(えば、最大で10又は15cm)も可能であり、タブレットコンピュータ、等のデバイスではさらに大きいスペース(例えば、最大で20、25又は30cm)が可能である。アレイ2630のマイクロフォンは、(均一の又は非均一のマイクロフォンスペースを有する状態で)線に沿って配置することができ、又は、代替として、それらの中心が二次元(例えば、三角形)又は三次元形状の頂点にくるようにすることができる。
[00130]マイクロフォンは、より一般的には、音以外の放射線又は放出線に敏感なトランスデューサとして実装できることが明記される。1つの該例では、マイクロフォン対は、一対の超音波トランスデューサ(例えば、15、20、25、30、40又は50キロヘルツよりも大きい音響周波数に敏感なトランスデューサ)として実装することができる。
[00131]多マイクロフォンオーディオセンシングデバイス2628の動作中は、アレイ2630は、マルチチャネル信号を生成し、各チャネルは、音響環境に対するマイクロフォンの対応する1つの応答に基づく。1つのマイクロフォンは、他のマイクロフォンよりも直接特定の音を受け取ることができ、従って、対応するチャネルは、単一のマイクロフォンを使用してキャプチャすることができるよりも完全な音響環境の表現を総合して提供するために互いに異なる。幾つかの実装においては、チップセット2634は、1つ以上のマイクロフォン2604a−b、拡声器2610、1つ以上のアンテナ2603a−b、ディスプレイ2605及び/又はキーパッド2607に結合することができる。
「00132」図27Aは、1つ以上の動作を実行するように構成されたマイクロフォン270a−bのアレイ2730のブロック図である。アレイ2730は、多チャネル信号を生成するためにマイクロフォン270a−bによって生成された信号に関して1つ以上の処理動作を行うことが望ましい。アレイ2730は、(限定することなしに)インピーダンスマッチング、アナログ−デジタル変換、利得制御、及び/又はアナログ及び/又はデジタル領域におけるフィルタリングを含むことができる1つ以上の該動作を行うように構成されたオーディオ前処理段階2736を含むことができる。
[00133]図27Bは、1つ以上の動作を行うように構成されたマイクロフォンアレイ2730の他のブロック図である。アレイ2730は、アナログ前処理段階2738a及び2738bを含むことができるオーディオ前処理段階2736を含むことができる。一例では、段階2738a及び2738bは、各々、対応するマイクロフォン信号に関して(例えば、50、100、又は20Hzのカットオフ周波数を用いて)ハイパスフィルタリング動作を行うように構成することができる。
[00134]アレイ2730は、多チャネル信号をデジタル信号として、すなわち、サンプルのシーケンスとして、生成するのが望ましい。例えば、アレイ2730は、対応するアナログチャネルをサンプリングするために各々配置されるアナログ−デジタル変換器(ADC)2740a及び2740bを含むことができる。音響用途に関する典型的なサンプリングレートは、8kHz、12kHz、16kHz、及び約8乃至16kHzの範囲のその他の周波数を含むことができるが、約44kHzという高いサンプリングレートも使用することができる。この特定の例では、アレイ2730は、多チャネル信号MCSの対応するチャネルMCS−1、MCS−2を生成するために対応するデジタル化されたチャネルに関して1つ以上の前処理動作(例えば、エコーキャンセレーション、雑音低減、及び/又はスペクトル整形)を行うように各々構成されるデジタル前処理段階2742a及び2742bを含むこともできる。図27A及び27Bは、2チャネル実装を示すが、任意の数のマイクロフォン2704a−b及び多チャネル信号MCSの対応するチャネルにまで同じ原理を拡張できることが理解される。
[00135]埋没型オーディオ再生に関する現在のフォーマットは、(a)バイオーラル3D、(b)トランスオーラル3Dと、(c)5.1/7.1サラウンドサウンドと、を含む。バイオーラル及びトランスオーラル3Dに関する両方とも、典型的には、ステレオチャネル/信号のみが送信される。サラウンドサウンドに関しては、ステレオのみ以上の信号を送信することができる。本開示は、サラウンドサウンドに関してステレオ以上を送信するためのモバイルデバイスで使用されるコーディング方式を提案する。
[00136]現在のシステムは、Journal of Audio Eng. Soci. Vol. 57、No.9, 2009 Septemberからの図1に例示されるように“Bフォーマットオーディオ”を送信することができる。Bフォーマットオーディオは、4つのチャネルを有する1つの経由点を有し、特別な録音セットアップを要求する。その他のシステムは、音声通信ではなく、放送に焦点が合わせされる。
[00137]現在のシステム及び方法は、リアルタイム通信システムで使用される4つの経由点を有し、経由点は、サラウンドサウンドシステムの4つの角(例えば、前左、前右、後左及び後右)の各々において存在することができる。これらの4つの角の音を送信することは、まとめて又は独立して行うことができる。これらの構成では、あらゆる数のスピーチコーデックを用いて4つのオーディオ信号を圧縮することができる。幾つかの事例では、録音セットアップ(例えば、Bフォーマットオーディオで使用されるそれ)は必要ないことがある。z軸は省略することができる。そうしても、情報は依然として人間の耳によって識別することができるため信号を劣化させない。
[00138]新しいコーディング方式は、主にスピーチコーデックに固有の歪みに限定されるそれを有する圧縮を提供することができる。最終的なオーディオ出力は、可能な拡声器の設置に関して内挿することができる。さらに、それは、その他のフォーマット、例えば、Bフォーマット(z軸、及びバイオーラル録音を除く)とコンパチブルであることができる。さらに、新しいコーディング方式は、4つのオーディオ信号が相関関係にないことができるため、ほとんどのモバイルデバイスのオーディオ経路内に配置されたスピーチコーデックとタンデムで機能するエコーキャンセラの使用によって利益を得ることができる。
[00139]現在のシステム及び方法は、リアルタイム通信の課題に対処することができる。幾つかの例では、ある下方帯域(LB)の周波数からある上方帯域(UB)の周波数(例えば、[LB、UB])までの周波数帯域を個々のチャネルとして送信することができる。ナイキスト周波数までのある上方帯域(UB)の周波数の上方では(例えば、[UB,NF])、利用可能なチャネル容量に依存して異なるチャネルを送信することができる。例えば、4つのチャネルが利用可能である場合は、4つのオーディオチャネルを送信することができる。2つのチャネルが利用可能である場合は、前部の2つのチャネル及び後部の2つのチャネルを平均化した後に前部及び後部チャネルを送信することができる。1つのチャネルが利用可能である場合は、すべてのマイクロフォン入力の平均を送信することができる。幾つかの構成では、チャネルは送信されず、スペクトル帯域複製に類似する技法を用いて低帯域(例えば、[LB、UB])から高帯域(例えば、[UB、NF])を生成することができる。下方帯域の周波数(LB)を下回る帯域(例えば、[0、LB])に関しては、すべてのマイクロフォン入力の平均を送信することができる。
[00140]幾つかの例では、オーディオ信号の符号化は、選択的符号化を含むことができる。例えば、ユーザが1つの特定の指向性ソース(例えば、ユーザの声)を送信することを希望する場合は、無線通信デバイスは、その他のチャネルのダイナミックレンジを最小化し及びその他の方向のエネルギーを低下させることによって、その方向に関してより多くのコーディングビットリソースを割り当てることができる。さらに加えて又は代替として、無線通信デバイスは、ユーザが特定の指向性ソース(例えば、ユーザの声)に関心を有する場合は2つ以上のチャネルを送信することができる。
[00141]図28は、1つ以上のオーディオ信号2844a−dの周波数帯域のチャートを示す。オーディオ信号2844a−dは、異なる方向から受信されたオーディオ信号を表すことができる。例えば、1つのオーディオ信号2844aは、サラウンドサウンドシステムにおいて前左(FL)方向からのオーディオ信号であることができ、他のオーディオ信号2844bは、後左(BL)方向からのオーディオ信号であることができ、他のオーディオ信号2844cは、前右(FR)方向からのオーディオ信号であることができ、他のオーディオ信号2844dは、後右(BR)方向からのオーディオ信号であることができる。
[00142]幾つかの構成により、オーディオ信号2844a−dは、1つ以上の帯域に分割することができる。例えば、前左のオーディオ信号2844aは、帯域1A 2846a、帯域1B 2876a、帯域2A 2878a、帯域2B 2880a、及び帯域2C 2882aに分割することができる。その他のオーディオ信号2844b−dも同様に分割することができる。ここで使用される場合において、用語“帯域1B”は、ある低帯域周波数(LB)とある上方の帯域の周波数(UB)との間にある周波数帯域(例えば、[LB、UB])を意味することができる。オーディオ信号2844a−dの帯域は、1つ以上のタイプの帯域を含むことができる。例えば、オーディオ信号2844aは、1つ以上の狭帯域信号を含むことができる。幾つかの実装においては、狭帯域信号は、帯域1A 2846a−dと、帯域1B 2876a−dの一部分(例えば、帯域1B 2876a−dのうちの4kHz未満の部分)と、を含むことができる。換言すると、ある上方の帯域の周波数(UB)が4kHzよりも大きい場合は、帯域1B 2876a−dは、狭帯域信号よりも大きいことができる。その他の実装においては、狭帯域信号は、帯域1A 2846a−dと、帯域1B2876a−dと、帯域2A 2878a−dの一部分(例えば、帯域2A 2876a−dのうちの4kHz未満の部分)と、を含むことができる。オーディオ信号2844aは、1つ以上の非狭帯域信号(例えば、帯域2A 2878a−dの一部分(4kHzよりも大きい部分)、帯域2B 2882a及び帯域2C 2882a)を含むこともできる。ここで使用される場合において、用語“非狭帯域”は、狭帯域でない信号(例えば、広帯域信号、超広帯域信号および全帯域信号)を意味する。
[00143]帯域の範囲は、次の通りであることができる。すなわち、帯域1A 2846a−dは、0乃至200Hzであることができる。幾つかの実装においては、帯域1A 2846a−dの上方範囲は、最大で約500Hzであることができる。帯域1B 2876a−dは、帯域1A 2846a−dの最大周波数(例えば、200Hz又は500Hz)乃至約6.4kHzであることができる。帯域2A 2878a−dは、帯域1B 2876a−dの最大範囲(例えば、6.4kHz)乃至約8kHzであることができる。帯域2B 2880a−dは、帯域2A 2878a−dの最大範囲(例えば、8kHz)乃至約16kHzであることができる。帯域2C 2880a−dは、帯域2B 2880a−dの最大範囲(例えば、約16kHz)乃至約24kHzであることができる。
[00144]幾つかの実装においては、帯域1B 2876a−dの上方範囲は、限定されることなしに、マイクロフォンの幾何学的配置と、マイクロフォンの機械的設計(例えば、単一指向性マイクロフォン対無指向性マイクロフォン)と、を含む1つ以上の要因に依存することができる。例えば、帯域1B 2876a−dの上方範囲は、マイクロフォンが接近させて配置されるときとマイクロフォンが遠く離れて配置されるときとで異なることができる。この実装では、帯域1B 2876a−dからその他の帯域(例えば、帯域2A−C2878a−d、2880a−d、2882a−d)を導き出すことができる。
[00145]帯域1B 2876a−dの上方境界までの周波数範囲は、狭帯域信号(例えば、最大で4kHz)であること又は狭帯域限度(例えば、6.4kHz)よりもわずかに高いことができる。上述されるように、帯域1B 2876a−dの上方境界が狭帯域信号(例えば、4kHz)よりも小さい場合は、帯域2A 2878a−dの一部分は、狭帯域信号を含むことができる。それと比較して、帯域1B 2876a−dの上方境界が狭帯域信号(例えば、4kHz)よりも大きい場合は、帯域2A 2878a−dは、狭帯域信号を含むことができない。帯域2A 2878a−dの上方境界(例えば、8kHz)までの周波数範囲の一部分は、広帯域信号(例えば、4akHzよりも大きい部分)であることができる。帯域2B 2880a−dの上方境界(例えば、16kHz)までの周波数範囲は、超広帯域信号であることができる。帯域2C 2882a−dの上方境界(例えば、24kHz)までの周波数範囲は、全帯域信号であることができる。
[00146]ネットワークの利用可能性、及びモバイルデバイス102内で利用可能なスピーチコーデックの利用可能性に依存して、コーデックの異なる構成を使用することができる。圧縮が関わっている場合は、オーディオコーデックとスピーチコーデックが時々区別される。スピーチコーデックは、ボイスコーデックと呼ぶことができる。オーディオコーデック及びスピーチコーデックは、異なる圧縮方式を有しており、圧縮量は、2つの間で大きく異なることができる。オーディオコーデックのほうがより良い忠実度を有しているが、オーディオ信号2844a−dを圧縮するときにより多くのビットを要求する。従って、圧縮比(すなわち、コーデック内の入力信号のビット数とコーデックの出力信号のビット数の比)は、スピーチコーデックよりもオーディオコーデックに関してより小さいことができる。従って、セル(複数の基地局によって網羅されたエリア)内のオーバー・ザ・エア帯域幅に関する制約事項に起因して)、スピーチパケットを送信するために要求されたビット数が望ましくなかったため、より古い2G(第2世代)及び3G(第3世代)通信システムでは声を送信するために使用されなかった。その結果、2G及び3G通信システムでは、1つのモバイルデバイスから他のモバイルデバイスへ声チャネルでオーバー・ザ・エアで圧縮された話声を送信するためにスピーチコーデックが使用されてきている。
[00147]モバイルデバイスにはオーディオコーデックが存在しているが、オーディオパケットの送信、すなわち、オーディオコーデックによるオーディオの圧縮に関する記述、は、オーバー・ザ・エアデータチャネルに関して行われている。オーディオコーデックの例は、MPEG−2/AAC Stereoと、MPEG−4 BSAC Stereoと、Real Audioと、SBC Bluetoothと、WMAと、WMA 10 Proと、を含む。これらのオーディオコーデックは、3Gシステム内のモバイルデバイスで使われているが、圧縮されたオーディオ信号は、オーバー・ザ・エアで、リアルタイムで、トラフィックチャネル又は声チャネルを通じて送信されなかった。スピーチコーデックは、オーディオ信号を圧縮し、リアルタイムで、オーバー・ザ・エアで送信するために使用される。スピーチコーデックの例は、AMR狭帯域スピーチコーデック(5.15kbp)、AMR広帯域スピーチコーデック(8.85Kbps)、G.729ABスピーチコーデック(8kbps)、GSM(登録商標)−EFRスピーチコーデック(12.2kbps)、GSM−FRスピーチコーデック(13kbps)、GSM−HRスピーチコーデック(5.6kpbs)、EVRC−NB、EVRC−WBを含む。圧縮された話声(又はオーディオ)は、ボコーダパケット内でパッケージ化され、トラフィックチャネルでオーバー・ザ・エアで送信される。スピーチコーデックは、ボコーダと呼ばれることもある。オーバー・ザ・エアで送信される前に、ボコーダパケットは、より大きいパケット内に挿入される。2G及び3G通信では、声は、声チャネルで送信されるが、声は、VOIP(ボイス−オーバーIP)を用いてデータチャネルで送信することもできる。
[00148]オーバー・ザ・エア帯域幅に依存して、上方帯域(UB)周波数とナイキスト周波数(NF)との間の信号を符号化するために様々なコーデック方式を使用することができる。これらの方式の例は、図29乃至33において提示される。
[00149]図29Aは、4つの全帯域コーデック2948a−dを用いた第1の構成に関する1つの可能な方式を例示する。上述されるように、オーディオ信号2944a−dは、異なる位置から受信されたオーディオ信号2944a−d(例えば、前左オーディオ信号2944a、後左オーディオ信号2944b、前右オーディオ信号2944c及び後右オーディオ信号2944d)を代表することができる。同様に、上述されるように、オーディオ信号2944a−dは、1つ以上の帯域に分割することができる。全帯域コーデック2948a−dを使用した場合、オーディオ信号2944aは、帯域1A 2946aと、帯域1B 2976aと、帯域2A−2C 2984aとを含むことができる。幾つかの事例では、帯域の周波数範囲は、以前に説明されたそれらであることができる。
[00150]この例では、各オーディオ信号2944a−dは、オーディオ信号2944a−dの様々な帯域の圧縮及び送信のために全帯域コーデック2948a−dを使用することができる。例えば、ある低帯域周波数(LB)及びある上方の帯域の周波数(UB)によって定義される周波数範囲内にある各オーディオ信号2944a−dの帯域(例えば、帯域1B 2976a−dを含む)をフィルタリングすることができる。この構成により、ある上方の帯域の周波数(UB)よりも大きくナイキスト周波数よりも小さい周波数を含む帯域に関しては(例えば、帯域2A−2C、2984a−d)、希望される角位置2944a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。同様に、ある低帯域の周波数(LB)よりも小さい周波数を含む帯域(例えば、帯域1A 2946a−d)に関しては、希望される角位置2944a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。幾つかの構成では、希望される角位置2944a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することは、マイクロフォンチャネル間での固有の遅延及び利得差をキャプチャするため、帯域2A−2C 2984a−dに関する指定された方向を表すことができる。幾つかの例では、希望される位置に最も近いマイクロフォンをキャプチャすることとフィルタリングされた範囲との間の相違点は、指向性の影響はフィルタリングされた周波数領域と比較してそれほど大きくないということである。
[00151]図29Bは、4つの超広帯域コーデック2988a−dを用いた第1の構成に関する1つの可能な方式を例示する。超広帯域コーデック2988a−dを用いた場合は、オーディオ信号2944a−dは、帯域1A 2946a−dと、帯域1B 2976a−dと、帯域2A−2B 2986a−dと、を含むことができる。
[00152]この例では、ある低帯域周波数(LB)及びある上方の帯域の周波数(UB)によって定義される周波数範囲内にある各オーディオ信号2944a−dの帯域(例えば、帯域1B 2976a−dを含む)をフィルタリングすることができる。この構成により、ある上方の帯域の周波数(UB)よりも大きくナイキスト周波数よりも小さい周波数を含む帯域(例えば、帯域2A−2B、2986a−d)に関しては、希望される角位置2944a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。同様に、ある低帯域の周波数(LB)よりも小さい周波数を含む帯域(例えば、帯域1A 2946a−d)に関しては、希望される角位置2944a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。
[00153]図29Cは、4つの広帯域コーデック2900a−dを用いた第1の構成に関する1つの可能な方式を例示する。広帯域コーデック2900a−dを用いた場合は、オーディオ信号2944a−dは、帯域1A 2946a−dと、帯域1B 2976a−dと、帯域2A 2986a−dと、を含むことができる。
[00154]この例では、ある低帯域周波数(LB)及びある上方の帯域の周波数(UB)によって定義される周波数範囲内にある各オーディオ信号2944a−dの帯域(例えば、帯域1B 2976a−dを含む)をフィルタリングすることができる。この構成により、ある上方の帯域の周波数(UB)よりも大きくナイキスト周波数よりも小さい周波数を含む帯域(例えば、帯域2A、2978a−d)に関しては、希望される角位置2944a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。同様に、ある低帯域の周波数(LB)よりも小さい周波数を含む帯域(例えば、帯域1A 2946a−d)に関しては、希望される角位置2944a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。
[00155]図30Aは、2つコーデック3094a−dがオーディオ信号を平均化している第2の構成に関する1つの可能な方式を例示する。幾つかの例では、異なるオーディオ信号3044a−dに関して異なるコーデック3094a−dを使用することができる。例えば、前左オーディオ信号3044a及び後左オーディオ信号3044bは、全帯域コーデック3094a、3094b、をそれぞれ使用することができる。さらに、前右オーディオ信号3044c及び後右オーディオ信号3044dは、狭帯域コーデック3094c、3094dを使用することができる。図30Aは、2つの全帯域コーデック3094a、3094b、及び2つの狭帯域コーデック3094c、3094dを描いているが、コーデックのあらゆる組み合わせを使用することができ、現在のシステム及び方法は、図30Aにおいて描かれる構成によって制限されない。例えば、前右オーディオ信号3044cc及び後右オーディオ信号3044dは、図30Aにおいて描かれる狭帯域コーデック3094c−dの代わりに広帯域又は超広帯域コーデックを使用することができる。幾つかの例では、上方帯域周波数(UB)が狭帯域限度(例えば、4kHz)よりも大きい場合は、前右オーディオ信号3044c及び後右オーディオ信号3044dは、空間コーディング効果を向上させるために広帯域コーデックを使用することでき又はネットワークリソースが限られている場合は狭帯域コーデックを使用することができる。
[00156]この構成では、全帯域コーデック3094a、3094bは、前右オーディオ信号3044c及び後右オーディオ信号3044dのある上方境界よりも上の周波数範囲に関して1つ以上のオーディオ信号3044a−dを平均化することができる。例えば、全帯域コーデック3094a、3094bは、ある上方の帯域の周波数(UB)(例えば、帯域2A−2C3092a、3092b)よりも大きい周波数を含むオーディオ信号帯域を平均化することができる。同じ一般的方向から発生するオーディオ信号3044a−dは、まとめて平均化することができる。例えば、前左オーディオ信号3044a及び前右オーディオ信号3044cは、まとめて平均化することができ、後左オーディオ信号3044b及び後右オーディオ信号3044dはまとめて平均化することができる。
[00157]オーディオ信号3044a−dを平均化する例は、次のように与えられる。前左オーディオ信号3044a及び後左オーディオ信号3044bは、全帯域コーデック3094a、3094bを使用することができる。この例では、前右オーディオ信号3044c及び後右オーディオ信号3044dは、狭帯域コーデック3094c、3094dを使用することができる。この例では、全帯域コーデック3094a、3094bは、各々のオーディオ信号(例えば、前左オーディオ信号3044a及び後左オーディオ信号3044b)に関するある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、帯域1B 3076a−b)との間のフィルタリングされた帯域を含むことができる。全帯域コーデック3094a、3094bは、同様に指向されたオーディオ信号(例えば、前オーディオ信号3044a、3044c、及び後オーディオ信号3044a、3044b)のある上方の帯域の周波数(UB)(例えば、帯域2A−2C 3092a−b)の上方の周波数を含むオーディオ信号帯域を平均化することもできる。同様に、全帯域コーデック3094a、3094bは、ある低帯域周波数(LB)(例えば、帯域1A 3046a−b)の下方の帯域を含むことができる。
[00158]さらに、この例では、狭帯域コーデック3094c、3094dは、各々のオーディオ信号(例えば、前右オーディオ信号3044c、後右オーディオ信号3044d)に関するある低帯域周波数(LB)と4kHzの最大値とある上方の帯域の周波数(UB)(例えば、帯域1B 3076c、3076d)との間の周波数を含むフィルタリングされた帯域を含むことができる。狭帯域コーデック3094c、3094dは、各々のオーディオ信号(例えば、前右オーディオ信号3044c、後右オーディオ信号3044d)に関するある低帯域周波数(LB)の下方の帯域を含むこともできる。この例では、ある上方の帯域の周波数(UB)が4kHzよりも小さい場合は、希望される角位置3044a−dに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。
[00159]上述されるように、図30Aは2つの全帯域コーデック3094a、3094b及び2つの狭帯域コーデック3094c、3094dを描くが、コーデックのあらゆる組み合わせを使用可能である。例えば、2つの超広帯域コーデックが2つの全帯域コーデック3094a、3094bに取って代わることができる。
[00160]図30Bは、1つ以上のコーデック3094a−b、e−fがオーディオ信号を平均化している第2の構成に関する1つの可能な方式を例示する。この例では、前左オーディオ信号3044a及び後左オーディオ信号3044bは、全帯域コーデック3094a、3094bを使用することができる。この例では、前右オーディオ信号3044c及び後右オーディオ信号3044dは、広帯域コーデック3094e、3094fを使用することができる。この構成では、全帯域コーデック3094a、3094bは、上方境界より上方の周波数範囲部分に関する1つ以上のオーディオ信号3044a−dを平均化することができる。同じ一般的方向から発生するオーディオ信号3044a−dは、まとめて平均化することができる。例えば、前左オーディオ信号3044a及び前右オーディオ信号3044cは、まとめて平均化することができ、後左オーディオ信号3044b及び後右オーディオ信号3044dはまとめて平均化することができる。
[00161]この例では、全帯域コーデック3094a、3094bは、帯域1A 3046a−bと、帯域1B 3076a−bと、帯域2A 3078a−bと、平均化された帯域2B、2C 3092a−bと、を含むことができる。広帯域コーデック3094e、3094fは、各々のオーディオ信号(例えば、前右オーディオ信号3044c及び後右オーディオ信号3044d)に関するある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、帯域1B 3076c−d)との間の周波数を含むフィルタリングされた帯域を含むことができる。広帯域コーデック3094e、3094fは、帯域2A 3078c−dに関する最も近いマイクロフォン信号でキャプチャされたオリジナルのオーディオ信号を含むこともできる。最も近いマイクロフォン信号を符号化することによって、指向性は、マイクロフォンチャネル間での固有の時間差及びレベル差によって依然として符号化することができる(ただし、ある下方帯域周波数(LB)とある上方帯域周波数(UB)との間の周波数の空間処理ほどは劇的でない)。広帯域コーデック3094e、3094fは、各々のオーディオ信号(例えば、前右オーディオ信号3044c及び後右オーディオ信号3044d)に関するある低帯域周波数(LB)(例えば、帯域1A 3046c−d)の下方の帯域を含むこともできる。
[00162]図31Aは、コーデックのうちの1つ以上が1つ以上のオーディオ信号を平均化することができる第3の構成に関する1つの可能な方式を例示する。この構成における平均化の例は、次のように与えられる。前左オーディオ信号3144aは、全帯域コーデック3198aを使用することができる。後左オーディオ信号3144b、前右オーディオ信号3144c及び後右オーディオ信号3144dは、狭帯域コーデック3198b、3198c、3198dを使用することができる。
[00163]この例では、全帯域コーデック3198aは、オーディオ信号3144aに関するある低帯域周波数(LB)とある上方の帯域の周波数(UB)(帯域1B 3176a)との間の周波数を含むフィルタリングされた帯域を含むことができる。全帯域コーデック3198aは、オーディオ信号3144a−dのある上方の帯域の周波数(UB)(例えば、帯域2A−2C 3192a)の上方の周波数を含むオーディオ信号帯域を平均化することもできる。同様に、全帯域コーデック3198aは、ある低帯域周波数(LB)(例えば、帯域1A 3146a)の下方の帯域を含むことができる。
[00164]狭帯域コーデック3198b−dは、各々のオーディオ信号(例えば、3144b−d)に関するある低帯域周波数(LB)と4kHzの最大値とある上方の帯域の周波数(UB)(例えば、1B 3176b−d)との間の周波数を含むフィルタリングされた帯域を含むことができる。狭帯域コーデック3198b−dは、各々のオーディオ信号(例えば、3144b−d)に関するある低帯域周波数(LB)(例えば、帯域1A 3164b−d)の下方の周波数を含む帯域を含むこともできる。
[00165]図31Bは、非狭帯域コーデックのうちの1つ以上がオーディオ信号を平均化している第3の構成に関する1つの可能な方式を例示する。この例では、前左オーディオ信号3144aは、全帯域コーデック3198aを使用することができる。後左オーディオ信号3144b、前右オーディオ信号3144c及び後右オーディオ信号3144dは、広帯域コーデック3194e、3194f及び3194gを使用することができる。この構成では、全帯域コーデック3198aは、オーディオ信号3144a−dの周波数範囲の一部分(例えば、帯域2B−2C 3192a、3192b)に関する1つ以上のオーディオ信号3144a−dを平均化することができる。
[00166]この例では、全帯域コーデック3198aは、帯域1A 3146aと、帯域1B 3176aと、帯域2A 3178aと、帯域2B−2C 3192aとを含むことができる。広帯域コーデック3198e−gは、各々のオーディオ信号(例えば、3144b−d)に関するある低帯域周波数(LB)とある上方の帯域の周波数(UB)(帯域1B 3176b−d)との間の周波数を含むフィルタリングされた帯域を含むことができる。広帯域コーデック3198e−gは、ある上方の帯域の周波数(UB)(例えば、帯域2A 3178b−d)の上方の周波数に関する希望される角位置に最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を含むこともできる。広帯域コーデック3198e−gは、各々のオーディオ信号(例えば、3144b−d)に関するある低帯域周波数(LB)(例えば、帯域1A 3144b−d)の下方の周波数を含む帯域を含むこともできる。
[00167]図32は、4つの狭帯域コーデック3201a−dを示す。この例では、ある低帯域周波数(LB)と4kHzの最大値とある上方の帯域の周波数(UB)との間の周波数を含む帯域を、各オーディオ信号3244a−dに関してフィルタリングすることができる。ある上方の帯域の周波数(UB)が4kHzより小さい場合は、最大で4kHzのある上方の帯域の周波数(UB)よりも大きい周波数範囲に関して最も近いマイクロフォンからのオリジナルのオーディオ信号を符号化することができる。この例では、各オーディオ信号3244a−dに対応して、4つのチャネルを生成することができる。各チャネルは、そのオーディオ信号3244a−dに関するフィルタリングされた帯域を含むことができる(例えば、帯域1B 3276a−dの少なくとも一部分を含む)。狭帯域コーデック3201a−dは、各々のオーディオ信号(例えば、3244a−d)に関するある低帯域周波数(LB)(例えば、帯域1A 3246a−d)の下方の周波数を含む帯域を含むこともできる。
[00168]図33は、図29A、図29B又は図29Cの方式の4つの非狭帯域コーデックを用いてオーディオ信号パケット3376を生成及び受信するための方法3300を例示するフローチャートである。方法3300は、4つのオーディオ信号2944a−dを録音する3302ことを含むことができる。この構成では、4つのオーディオ信号2944a−dは、マイクロフォンアレイによって録音又はキャプチャすることができる。一例として、図26及び図27において例示されるアレイ2630、2730を使用することができる。録音されたオーディオ信号2944a−dは、オーディオが受信される方向に対応することができる。例えば、無線通信デバイス102は、4つの方向(例えば、前左2944a、後左2944b、前右2944c及び後右2944d)から来たオーディオ信号を録音することができる。
[00169]無線通信デバイス102は、オーディオ信号パケット3376を生成する3304ことができる。幾つかの実装においては、オーディオ信号パケット3376を生成する3304ことは、1つ以上のオーディオチャネルを生成することを含むことができる。例えば、図29Aのコーデック構成が考慮された場合、ある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、[LB、UB])との間に入るオーディオ信号の帯域をフィルタリングすることができる。幾つかの実装においては、これらの帯域をフィルタリングすることは、ブラインドソース分離(BSS)フィルタを適用することを含むことができる。その他の実装においては、低帯域周波数(LB)及び上方の帯域の周波数(UB)内に入るオーディオ信号2944a−dのうちの1つ以上は、結合して対にすることができる。ナイキスト周波数までの上方の帯域の周波数(UB)よりも大きい帯域に関して及び低帯域周波数(LB)よりも小さい帯域に関して、オリジナルのオーディオ信号2944a−dをフィルタリングされたオーディオ信号と結合してオーディオチャネル内に入れることができる。換言すると、(オーディオ信号2944a−dに対応する)オーディオチャネルは、ある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、帯域1B 2976a−d)との間のフィルタリングされた帯域と、ナイキスト周波数までのある上方の帯域の周波数(UB)(例えば、2A−2C 2984a)上方のオリジナルの帯域と、低帯域周波数(LB)(例えば、帯域1A 2946a−d)下方のオリジナルの帯域と、を含むことができる。
[00170]オーディオ信号パケット3376を生成する3304ことは、1つ以上の非狭帯域コーデックをオーディオチャネルに適用することを含むこともできる。幾つかの構成により、無線通信デバイス102は、オーディオチャネルを符号化するために図29A−Cにおいて描かれるコーデックの第1の構成の1つ以上を使用することができる。例えば、図29Aにおいて描かれるコーデックが考慮された場合、無線通信デバイス102は、各オーディオチャネルに関して全帯域コーデック2948a−dを用いて4つのオーディオチャネルを符号化することができる。代替として、図33の非狭帯域コーデックは、図29Bにおいて例示される超広帯域コーデック2988a−d、又は図29Cにおいて例示される広帯域コーデック2990a−dであることができる。コーデックのあらゆる組み合わせを使用することができる。
[00171]オーディオ信号パケット3376が生成された場合は、無線通信デバイス102は、オーディオ信号パケット3376を復号器に送信する3306ことができる。復号器は、オーディオ出力デバイス、例えば、無線通信デバイス102、に含めることができる。幾つかの実装においては、オーディオ信号パケット3376は、オーバー・ザ・エアで送信することができる。
[00172]復号器は、オーディオ信号パケット3376を受信する3308ことができる。幾つかの実装においては、オーディオ信号パケット3376を受信する3308ことは、受信されたオーディオ信号パケット3376を復号することを含むことができる。復号器は、第1の構成に従ってそうすることができる。上例から、復号器は、各オーディオチャネルに関して全帯域コーデックを用いてオーディオチャネルを復号することができる。代替として、復号器は、送信パケット3376がどのように生成されたかに依存して、超広帯域コーデック2988a−d又は広帯域コーデック2990a−dを使用することができる。
[00173]幾つかの構成では、オーディオ信号パケット3376を受信する3308ことは、前中央チャネルを再構築することを含むことができる。例えば、受信するオーディオ出力デバイスは、前中央オーディオチャネルを生成するために前左オーディオチャネル及び前右オーディオチャネルを結合することができる。
[00174]オーディオ信号パケット3376を受信する3308ことは、サブウーファーチャネルを再構築することを含むこともできる。これは、ローパスフィルタを通じてオーディオ信号2944a−dのうちの1つ以上を通すことを含むことができる。
[00175]受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する3310ことができる。幾つかの事例では、これは、サラウンドサウンド形式でオーディオ信号を再生することを含むことができる。その他の事例では、オーディオ信号は、ダウンミキシングし、ステレオ形式で再生することができる。
[00176]図34は、(例えば、図30A又は図30Bのいずれかからの)4つのコーデックを用いてオーディオ信号パケット3476を生成及び受信するための他の方法3400を示したフローチャートである。方法3400は、1つ以上のオーディオ信号3044a−dを録音する3402ことを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。無線通信デバイス102は、オーディオ信号パケット3476を生成することができる。幾つかの実装においては、オーディオ信号パケット3476を生成する3404ことは、1つ以上のオーディオチャネルを生成することを含むことができる。例えば、ある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、[LB、UB])内に入るオーディオ信号3044a−dの帯域をフィルタリングすることができる。幾つかの実装においては、これは、図33において説明されるように行うことができる。
「00177」幾つかの実装においては、(例えば、図30A又は30Bにおいて例示される4つのオーディオ信号3044a−dに対応する)4つの低帯域チャネルを生成することができる。低帯域チャネルは、オーディオ信号3044a−dの[0,8]kHz間の周波数を含むことができる。これらの4つの低帯域チャネルは、ある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、帯域1B 3076a−d)との間のフィルタリングされた信号、及び、最大8kHzのある上方の帯域の周波数(UB)よりも大きいオリジナルのオーディオ信号、及び4つのオーディオ信号3044a−dの低帯域周波数(LB)(例えば、帯域1A 3046a−d)の下方のオリジナルのオーディオ信号を含むことができる。同様に、平均化された前/後オーディオ信号に対応する、2つの高帯域チャネルを生成することができる。高帯域チャネルは、ゼロから24kHzまでの周波数を含むことができる。高帯域チャネルは、オーディオ信号3044a−dに関するある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、帯域1B 3076a−d)との間のフィルタリングされた信号、及び、最大8kHzのある上方の帯域の周波数(UB)よりも大きいオリジナルのオーディオ信号、及び低帯域周波数(LB)(例えば、4つのオーディオ信号3044a−dの帯域1A 3046a−d)の下方のオリジナルのオーディオ信号を含むことができる。高帯域チャネルは、8kHz超から24kHzまでの平均化されたオーディオ信号を含むこともできる。
[00178]オーディオ信号パケット3476を生成する3404ことは、1つ以上のコーデック3094a−fをオーディオチャネルに適用することを含むこともできる。幾つかの構成により、無線通信デバイス102は、オーディオチャネルを符号化するために図30A及び30Bにおいて描かれるコーデック3094a−fの第2の構成のうちの1つ以上を使用することができる。
[00179]例えば、図30Bにおいて描かれるコーデックが考慮された場合は、無線通信デバイス102は、全帯域コーデック3094a、3094bをそれぞれ用いて前左オーディオ信号3044a及び後左オーディオ信号3044bを符号化することができ及び広帯域コーデック3094c、3094bをそれぞれ用いて前右オーディオ信号3044c及び後右オーディオ信号3044dを符号化することができる。換言すると、4つのオーディオ信号パケット3476を生成することができる。全帯域コーデック3094a、3094bを用いるオーディオ信号3044a−d(例えば、前左オーディオ信号3044a及び後左オーディオ信号3044b)に対応するパケット3476に関して、パケット3476は、そのオーディオ信号3044a−d(例えば、オーディオ信号3044a、3044b)の低帯域チャネル(例えば、[0、8]kHzと、その一般的方向の平均化されたオーディオ信号3044a−d(例えば、前オーディオ信号3044a、3044c、及び後オーディオ信号3044b、3044d)の最大24kHz(例えば、全帯域コーデック3094a、3094bによって許容される最大周波数)の高帯域チャネルと、を含むことができる。広帯域コーデック3094e−fを用いるオーディオ信号3044a−d(例えば、前右オーディオ信号3044c及び後左オーディオ信号3044d)に対応するオーディオ信号パケット3476に関して、オーディオ信号パケット3476は、そのオーディオ信号3044a−d(例えば、オーディオ信号3044c、3044d)の低帯域チャネル(例えば、[0、8]kHz)を含むことができる。
[00180]オーディオ信号情報が生成された状態では、無線通信デバイス102は、オーディオ信号情報を送信する3406ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00181]復号器は、オーディオ信号情報を受信する3408ことができる。幾つかの実装においては、オーディオ信号情報を受信する3408ことは、受信されたオーディオ信号情報を復号することを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。図30Bのコーデック方式が考慮された場合、復号器は、全帯域コーデック3094a、3094bを用いて前左オーディオ信号3044a及び後左オーディオ信号3044bを復号することができ及び広帯域コーデック3094e、3094fを用いて前右オーディオ信号3044b及び後右オーディオ信号3044dを復号することができる。オーディオ出力デバイスは、(例えば、前右オーディオチャネルに関しては前左オーディオ信号の平均化された高帯域チャネルを用いて及び後右オーディオチャネルに関しては後左オーディオ信号の平均化された高帯域チャネルを用いて)全帯域ディオチャネルに含まれている平均化された高帯域チャネルの一部分(例えば、[8、24]kHz部分)を用いて高帯域オーディオチャネルの[8、24]kHz範囲を再構築することもできる。
[00182]幾つかの構成では、オーディオ信号情報を受信する3408ことは、前中央チャネルを再構築することを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00183]オーディオ信号情報を受信する3408ことは、サブウーファー信号を再構築することを含むこともできる。幾つかの実装においては、図33に関連して説明されるように行うことができる。
[00184]受信されたオーディオ信号は、オーディオ出力デバイスで再生する3410ことができる。幾つかの実装においては、図33に関連して説明されるように行うことができる。
[00185]図35は、(例えば、図31A又は図31Bのいずれかからの)4つのコーデックを用いてオーディオ信号パケット3576を生成及び受信するための他の方法3500を示したフローチャートである。方法3500は、1つ以上のオーディオ信号3144a−dを録音する3502ことを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00186]無線通信デバイス102は、オーディオ信号パケット3576を生成する3504ことができる。幾つかの実装においては、オーディオ信号パケット3576を生成する3504ことは、1つ以上のオーディオチャネルを生成することを含むことができる。例えば、ある低帯域周波数(LB)とある上方の帯域の周波数(UB)(例えば、帯域1B 3176a−d)内に入るオーディオ信号3144の帯域をフィルタリングすることができる。幾つかの実装においては、これは、図33において説明されるように行うことができる。
「00187」幾つかの実装においては、4つのオーディオ信号3144に対応する、4つの低帯域チャネルを生成することができる。幾つかの実装においては、これは、図34において説明されるように行うことができる。同様に、平均化されたオーディオ信号(例えば、前左オーディオ信号3144a、後左オーディオ信号3144b、前右オーディオ信号3144c及び後右オーディオ信号3144d)に対応する、高帯域チャネルを生成することができる。幾つかの実装においては、これは、図34において説明されるように行うことができる。
[00188]オーディオ信号パケット3576を生成する3504ことは、1つ以上のコーデック3198a−gをオーディオチャネルに適用することを含むこともできる。幾つかの構成により、無線通信デバイス102は、オーディオチャネルを符号化するために図31A及び31Bにおいて描かれるコーデック3198a−gの第3の構成のうちの1つ以上を使用することができる。例えば、図31Bにおいて描かれるコーデックが考慮される場合、無線通信デバイス102は、全帯域コーデック3198aを用いて前左オーディオ信号3144aを符号化することができ及び広帯域コーデック3198e、広帯域コーデック3198f及び広帯域コーデック3198gをそれぞれ用いて後左オーディオ信号3144b、前右オーディオ信号3144c及び後右オーディオ信号3144dを符号化することができる。換言すると、4つのオーディオ信号パケット3576を生成することができる。
[00189]全帯域コーデック3198aを用いるオーディオ信号3144aに対応するパケット3576に関して、パケット3576は、そのオーディオ信号3144aの低帯域チャネルと、平均化されたオーディオ信号3144a−dの最大24kHz(例えば、全帯域コーデック3198aによって許容される最大周波数)の高帯域チャネルと、を含むことができる。広帯域コーデック3198e−gを用いるオーディオ信号3144a−dに対応するオーディオ信号パケット3576に関して、オーディオ信号パケット3576は、そのオーディオ信号3144a−d(例えば、オーディオ信号3144b−d)の低帯域チャネルと、最大8kHzのある上方の帯域の周波数(UB)よりも大きいオリジナルのオーディオ信号とを含むことができる。
[00190]オーディオ信号情報が生成された状態では、無線通信デバイス102は、オーディオ信号情報を送信する3506ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00191]復号器は、オーディオ信号情報を受信する3508することができる。幾つかの実装においては、オーディオ信号情報を受信する3508ことは、受信されたオーディオ信号情報を復号することを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。オーディオ出力デバイスは、全帯域オーディオチャネルにおいて含まれている平均化された高帯域チャネルの一部分(例えば、[8、24]kHz部分)を用いて広帯域オーディオチャネルの[8、24]kHzの範囲を再構築することもできる。
[00192]幾つかの構成では、オーディオ信号情報を受信する3508ことは、前中央チャネルを再構築することを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00193]オーディオ信号情報を受信する3508ことは、サブウーファー信号を再構築することを含むこともできる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00194]受信されたオーディオ信号は、オーディオ出力デバイスで再生する3510ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00195]図36は、符号化すべき(例えば、図29A、図29B又は図29Cからの)4つの狭帯域コーデック及び復号すべき4つの広帯域コーデック又は狭帯域コーデックのいずれかの組み合わせを用いてオーディオ信号パケット3676を生成及び受信するための他の方法3600を示したフローチャートである。方法3600は、1つ以上のオーディオ信号2944を録音する3602ことを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00196]無線通信デバイス102は、オーディオ信号パケット3676を生成する3604ことができる。オーディオ信号パケット3676を生成する3604ことは、1つ以上のオーディオチャネルを生成することを含むことができる。幾つかの実装においては、これは、図33において説明されるように行うことができる。
[00197]オーディオ信号パケット3676を生成する3604ことは、図29A−Cにおいて描かれるように、1つ以上の非狭帯域コーデックをオーディオチャネルに適用することを含むこともできる。例えば、無線通信デバイス102は、オーディオチャネルを符号化するために、図29Bにおいて描かれる広帯域コーデック2988a−dを使用することができる。
[00198]オーディオ信号パケット3676が生成された状態で、無線通信デバイス102は、オーディオ信号パケット2676を復号器に送信する3606ことができる。幾つかの実装においては、これは、図33において説明されるように行うことができる。
[00199]復号器は、オーディオ信号パケット3676を受信する3608ことができる。幾つかの実装においては、オーディオ信号パケット3676を受信する3608ことは、受信されたオーディオ信号パケット3676を復号することを含むことができる。復号器は、オーディオ信号パケット3676を復号するために1つ以上の広帯域コーデック又は1つ以上の狭帯域コーデックを使用することができる。オーディオ出力デバイスは、広帯域チャネルの帯域幅拡張を用いて受信されたオーディオ信号パケット3676に基づいてオーディオチャネルの[8、24]kHz範囲を再構築することもできる。この例では、上方帯域周波数(UB)からナイキスト周波数への送信は必要ない。この範囲は、スペクトル帯域複製(SBR)に類似する技法を用いて低帯域周波数から上方帯域周波数(UB)範囲まで生成することができる。例えば、低帯域周波数(LB)の下方の帯域は、例えば、マイクロフォン入力を平均化することによって送信することができる。
[00200]幾つかの構成では、オーディオ信号パケット3676を受信する3608ことは、前中央チャネルを再構築することを含むことができる。幾つかの実装においては、これは、図33において説明されるように行うことができる。
[00201]オーディオ信号パケット3676を受信する3608ことは、サブウーファーチャネルを再構築することもできる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する3310ことができる。幾つかの実装においては、これは、図33において説明されるように行うことができる。
[00202]コーディングビットは、特定の方向に基づいて割り当てること、又は分配することができる。この方向は、ユーザによって選択することができる。例えば、ユーザの声が来ている方向は、より多くのビットが割り当てられる、これは、その他のチャネルのダイナミックレンジを最小化し、その他の方向のエネルギーを低下させることによって行うことができる。さらに、異なる構成では、サラウンドサウンドの4つの角のエネルギー分布のビジュアル化を生成することができる。いずれの指向性音がより多くのビットが割り当てられるべきかのユーザ選択、すなわち、より良い音、又はより良い希望される音方向を有する、は、エネルギー分布のビジュアル化に基づいて選択することができる。この構成では、1つ又は2つのチャネルがより多くのビットで符号化されるが、1つ以上のチャネルが送信される。
[00203]図37は、オーディオ信号パケット3776を生成及び受信するための他の方法3700を例示したフローチャートであり、1つ又は2つのオーディオチャネルに関する符号化中の異なるビット割り当ては、ユーザ選択に基づくことができる。幾つかの実装においては、1つ又は2つのオーディオ信号に関する符号化中の異なるビット割り当ては、サラウンドサウンドシステムの4つの方向のエネルギー分布のビジュアル化と関連付けられたユーザ選択に基づくことができる。この実装では、4つの符号化されたソースは、オーバー・ザ・エアで送信される。
[00204]方法3700は、1つ以上のオーディオ信号2944を録音する3702ことを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。無線通信デバイス102は、オーディオ信号パケット3776を生成する3704ことができる。オーディオ信号パケット3776を生成する3704ことは、1つ以上のオーディオチャネルを生成することを含むことができる。幾つかの実装においては、これは、図33−36において説明されるように行うことができる。
[00205]オーディオ信号パケット3776を生成する3704ことは、4つの角のエネルギー分布のビジュアル化を生成することを含むこともできる(例えば、4つのオーディオ信号2944a−d)。このビジュアル化から、ユーザは、いずれの指向性音がより多くのビットを割り当てられるべきかを選択することができる(例えば、ユーザの声がどこから来ているか)。ユーザ選択(例えば、空間方向3878のインディケーション)に基づき、無線通信デバイス102は、コーデック(例えば、図29A−Cにおいて描かれるコーデック)の第1の構成のコーデックのうちの1つ又は2つにより多くのビットを適用することができる。オーディオ信号情報を生成する3704ことは、1つ以上の非狭帯域コーデックをオーディオチャネルに適用することを含むこともできる。幾つかの実装においては、これは、ユーザ選択について説明する図33において説明されるように行うことができる。
[00206]オーディオ信号パケット3776が生成された状態で、無線通信デバイス102は、オーディオ信号パケット3776を復号器に送信する3706ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。復号器は、オーディオ信号情報を受信する3708ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00207]受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する3710ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。同様に、ユーザが特定の指向性ソース(例えば、ユーザの声、又はユーザが焦点を合わせることに関心を有するその他の音)に関心を有する場合は1つ又は2つのチャネルの送信を行うことができる。この構成では、1つのチャネルが符号化されて送信される。
[00208]図38は、オーディオ信号パケット3876を生成及び受信するための他の方法3800を例示したフローチャートであり、ユーザ選択に基づいて1つのオーディオ信号が圧縮及び送信される。方法3800は、1つ以上のオーディオ信号2944a−dを録音する3802ことを含むことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00209]無線通信デバイス102は、オーディオ信号パケット3876を生成する3804ことができる。オーディオ信号パケット3876を生成する3804ことは、1つ以上のオーディオチャネルを生成することを含むことができる。幾つかの実装においては、これは、図33乃至36において説明されるように行うことができる。オーディオ信号パケット3876を生成する3804ことは、4つの角のエネルギー分布のビジュアル化を生成することを含むこともできる(例えば、4つのオーディオ信号2944a−d)。このビジュアル化から、ユーザは、いずれの指向性音(例えば、空間方向3878のインディケーション)が符号化及び送信されるべきかを選択することができる(例えば、ユーザの声がどこから来ているか)。オーディオ信号情報を生成する3804ことは、(図29A−Cにおいて描かれるように)非狭帯域コーデックを選択されたオーディオチャネルに適用することを含むこともできる。幾つかの実装においては、これは、ユーザ選択について説明する図33において説明されるように行うことができる。
[00210]オーディオ信号情報が生成された状態で、無線通信デバイス102は、オーディオ信号パケット3876を復号器に送信する3806ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。オーディオ信号パケット3876とともに、無線通信デバイスは、チャネル識別を送信する3806ことができる。
[00211]復号器は、オーディオ信号情報を受信する3808ことができる。幾つかの実装においては、これは、図33に関連して説明されるように行うことができる。
[00212]受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する3810ことができる。幾つかの実装においては、受信されたオーディオ信号は、図33に関連して説明されるように再生する3810ことができる。ユーザによって定義されたチャネルを符号化及び復号し、その他のチャネル出力をゼロにすることによって、多チャネル再生及び/又はヘッドフォンレンダリングシステムを用いてエンハンスされて専門化された出力を生成することができる。
[00213]図39は、コーデックの組み合わせの4つの構成3974a−dを備えるオーディオ信号パケット3376を生成する際に実装することができる無線通信デバイス3902の実装を例示したブロック図である。通信デバイス3902は、前述されたアレイ2630と同様のアレイ3930を含むことができる。アレイ3930は、前述されるマイクロフォンと同様の1つ以上のマイクロフォン3904a−dを含むことができる。例えば、アレイ3930は、4つの録音方向(例えば、前左、前右、後左及び後右)からオーディオ信号を受信する4つのマイクロフォン3904a−dを含むことができる。
[00214]無線通信デバイス3902は、マイクロフォンアレイ3930に結合されたメモリ3950を含むことができる。メモリ3950は、マイクロフォンアレイ3930によって提供されたオーディオ信号を受信することができる。例えば、メモリ3950は、4つの録音方向に関する1つ以上のデータセットを含むことができる。換言すると、メモリ3950は、前左マイクロフォン3904aオーディオ信号、前右マイクロフォン3904bオーディオ信号、後右マイクロフォン3904cオーディオ信号及び後左マイクロフォン3904dオーディオ信号に関するデータを含むことができる。
[00215]無線通信デバイス3902は、処理情報を受信するコントローラ3952を含むこともできる。例えば、コントローラ3952は、ユーザインタフェース内に入力されたユーザ情報を受信することができる。より具体的には、ユーザは、希望される録音方向を示すことができる。その他の例では、ユーザは、より多くの処理ビットを割り当てる1つ以上のオーディオチャネルを示すことができ、又は、ユーザは、いずれのオーディオチャネルを符号化及び送信すべきかを示すことができる。コントローラ3952は、帯域幅情報を受信することもできる。例えば、帯域幅情報は、オーディオ信号情報の送信のために無線通信デバイス3902に割り当てられた帯域幅(例えば、全帯域、超広帯域、広帯域及び狭帯域)をコントローラ3952に示すことができる。
[00216]コントローラ3952からの情報(例えば、ユーザ入力及び帯域幅情報)及びメモリ3950に格納された情報に基づき、通信デバイス3902は、オーディオチャネルに適用すべき特定の構成を、1つ以上のコーデック構成3974a−dから選択することができる。幾つかの実装においては、無線通信デバイスに存在するコーデック構成3974a−dは、図29A−Cの第1の構成と、図30A−Bの第2の構成と、図31A−Bの第3の構成と、図32の構成と、を含むことができる。例えば、無線通信デバイス3902は、オーディオチャネルを符号化するために図29Aの第1の構成を使用することができる。
[00217]図40は、オーディオ信号を圧縮するために図29A−Cの非狭帯域コーデックに類似する4つの非狭帯域コーデック4048a−dの構成4074を備える無線通信デバイス4002の実装を示したブロック図である。無線通信デバイス4002は、前述される要素に対応する、マイクロフォン4004a−dのアレイ4030、メモリ4050、コントローラ4052、又はこれらの要素の何らかの組み合わせを含むことができる。この実装においては、無線通信デバイス4002は、オーディオ信号パケット3376を符号化するために使用されるコーデック4048a−dの構成4074を含むことができる。例えば、無線通信デバイス4002は、オーディオ信号情報を符号化するために図29Bにおいて説明される1つ以上の広帯域コーデック2990a−dを含むこと及び実装することができる。代替として、全帯域コーデック2948a−d又は超広帯域コーデック2988a−dを使用することができる。無線通信デバイス4002は、オーディオ信号パケット4076a−d(例えば、FL、FR、BL及びBRパケット)を復号器に送信することができる。
[00218]図41は、コーデックの組み合わせの4つの構成4174a−dを備える通信デバイス4102の実装を示したブロック図であり、オリジナルのコーデックプリフィルタ4154を使用することができる。無線通信デバイス4102は、前述される要素に対応する、マイクロフォン4004a−dのアレイ4130、メモリ4150、コントローラ4152、又はこれらの要素の何らかの組み合わせを含むことができる。コーデックプリフィルタ4154は、何のオーディオ信号データがメモリに格納されているか、従って、いずれのデータが符号化及び送信されるかを制御するためにコントローラ4152からの情報を使用することができる。
[00219]図42は、コーデックの組み合わせの4つの構成4274a−dを備える通信デバイス4202の実装を示したブロック図であり、フィルタバンクアレイ4226の一部として任意選択のフィルタリングを行うことができる。無線通信デバイス4202は、前述される要素に対応する、マイクロフォン4204a−d、メモリ4250、コントローラ4252、又はこれらの要素の何らかの組み合わせを含むことができる。この実装では、フィルタバンクアレイ4226の一部として任意選択のフィルタリングを行うことができ、4226は、前述される対応する要素に類似することができる。
[00220]図43は、コーデックの組み合わせの4つの構成4374a−dを備える通信デバイス4302の実装を例示したブロック図であり、コーデック構成4374a−dのうちの1つによる符号化前に聴覚シーン(auditory scene)からの音源データを1つ以上のファイルからのデータとミックスすることができる。無線通信デバイス4302は、前述される要素に対応する、マイクロフォン4004a−dのアレイ4330、メモリ4350、及び/又はコントローラ4352、又はこれらの要素の何らかの組み合わせを含むことができる。幾つかの実装においては、無線通信デバイス4302は、1つ以上のミキサ4356a−dを含むことができる。1つ以上のミキサ4356a−dは、コーデック構成のうちの1つによる符号化前にオーディオ信号を1つ以上のファイルからのデータとミックスすることができる。
[00221]図44は、統合されたコーデックを用いて複数の指向性オーディオ信号を符号化するための方法4400を示したフローチャートである。方法4400は、無線通信デバイス102によって実行することができる。無線通信デバイス102は、複数の指向性オーディオ信号を録音する4402ことができる。複数の指向性オーディオ信号は、複数のマイクロフォンによって録音することができる。例えば、無線通信デバイス102に配置された複数のマイクロフォンは、前左方向、後左方向、前右方向、後右方向、又は何らかの組み合わせから指向性オーディオ信号を録音することができる。幾つの事例では、無線通信デバイス102は、例えば、ユーザインタフェース312を介して、ユーザ入力に基づいて複数の指向性オーディオ信号を録音する4402。
[00222]無線通信デバイス102は、複数のオーディオ信号パケット3376を生成する4404ことができる。幾つかの構成では、オーディオ信号パケット3376は、複数のオーディオ信号に基づくことができる。複数のオーディオ信号パケット3376は、平均化された信号を含むことができる。上述されるように、複数のオーディオ信号パケット3376を生成する4404ことは、複数のオーディオチャネルを生成することを含むことができる。例えば、複数の指向性オーディオ信号の一部分は、圧縮して複数のオーディオチャネルとしてオーバー・ザ・エアで送信することができる。幾つかの事例では、圧縮される指向性オーディオ信号の数は、送信されるオーディオチャネルの数と等しくないことができる。例えば、4つの指向性オーディオ信号が圧縮される場合、送信されるオーディオチャネルの数は、3に等しいことができる。オーディオチャネルは、1つ以上の指向性オーディオ信号に対応することができる。換言すると、無線通信デバイス102は、前左オーディオ信号に対応する前左オーディオチャネルを生成することができる。複数のオーディオチャネルは、フィルタリングされた1つの範囲の周波数(例えば、帯域1B)及びフィルタリングされない1つの範囲の周波数(例えば、帯域1A、2A、2B及び/又は2C)を含むことができる。
[00223]複数のオーディオ信号パケット3376を生成する4404ことは、コーデックをオーディオチャネルに適用することを含むこともできる。例えば、無線通信デバイス102は、全帯域コーデック、広帯域コーデック、超広帯域コーデック又は狭帯域コーデックのうちの1つ以上を複数のオーディオ信号に適用することができる。より具体的には、無線通信デバイス102は、低帯域の少なくとも1つの指向性オーディオ信号を圧縮することができ、及び高帯域の異なる指向性オーディオ信号を圧縮することができる。
[00224]幾つかの実装においては、複数のオーディオ信号パケット3376を生成する4404ことは、受信された入力に基づくことができる。例えば、無線通信デバイス102は、コーデックのビット割り当てを決定するためにユーザからの入力を受け取ることができる。幾つかの事例では、ビット割り当ては、圧縮されるべき方向のエネルギーのビジュアル化に基づくことができる。無線通信デバイス102は、指向性オーディオ信号を圧縮することと関連付けられた入力を受け取ることもできる。例えば、無線通信デバイス102は、いずれの指向性オーディオ信号を圧縮し(及びオーバー・ザ・エアで送信すべきか)に関するユーザからの入力を受け取ることができる。幾つかの事例では、入力は、いずれの指向性オーディオ信号がより良い音質を有するべきかを示すことができる。これらの例では、入力は、ユーザの手のジェスチャ、例えば、無線通信デバイスのディスプレイにタッチすることに基づくことができる。同様に、入力は、無線通信デバイスの動きに基づくことができる。
[00225]オーディオ信号パケット3376が生成された状態で、無線通信デバイス102は、複数のオーディオ信号パケット3376を復号器に送信する4406ことができる。無線通信デバイス102は、複数のオーディオ信号パケット3376をオーバー・ザ・エアで送信する4406ことができる。幾つかの構成では、復号器は、無線通信デバイス102、例えば、オーディオセンシングデバイス、に含められる。
[00226]図45は、オーディオ信号処理のための方法4500を例示したフローチャートである。方法4500は、無線通信デバイス102によって実行することができる。無線通信デバイス102は、聴覚シーンをキャプチャする4500ことができる。例えば、複数のマイクロフォンは、複数の指向性ソースからオーディオ信号をキャプチャすることができる。無線通信デバイス102は、各オーディオ信号の到着方向を推定することができる。幾つかの実装においては、無線通信デバイス102は、録音方向を選択することができる。録音方向を選択することは、ポータブルオーディオセンシングデバイス(例えば、無線通信デバイスのマイクロフォン)の方位に基づくことができる。さらに加えて又は代替で、録音方向を選択することは、入力に基づくことができる。例えば、ユーザは、より良い音質を有するべき方向を選択することができる。無線通信デバイス102は、聴覚シーンを少なくとも4つのオーディオ信号に分解する4504ことができる。幾つかの実装においては、オーディオ信号は、4つの独立した方向に対応する。例えば、第1のオーディオ信号は、前左方向に対応することができ、第2のオーディオ信号は、後左方向に対応することができ、第3のオーディオ信号は、前右方向に対応することができ、第4のオーディオ信号は、後右方向に対応することができる。無線通信デバイス102は、少なくとも4つのオーディオ信号を圧縮する4506こともできる。
[00227]幾つかの実装においては、聴覚シーンを分解する4504ことは、オーディオ信号を1つ以上の周波数範囲に分割することを含むことができる。例えば、無線通信デバイスは、オーディオ信号を第1の組の狭帯域周波数範囲及び第2の組の広帯域周波数範囲に分割することができる。さらに、無線通信デバイスは、狭帯域周波数範囲の組内にある第1の周波数帯域と関連付けられたオーディオサンプルを圧縮することができる。オーディオサンプルが圧縮された状態では、無線通信デバイスは、圧縮されたオーディオサンプルを送信することができる。
[00228]無線通信デバイス102は、第1のフィルタリングされた信号を得るために第1のエンドファイア方向にビームを適用することもできる。同様に、第2のエンドファイア方向の第2のビームは、第2のフィルタリングされた信号を生成することができる。幾つかの事例では、ビームは、低スレショルドと高スレショルドとの間の周波数に適用することができる。これらの事例では、スレショルド(低スレショルド又は高スレショルド)のうちの1つは、マイクロフォン間の距離に基づくことができる。
[00229]無線通信デバイスは、第1のフィルタリングされた信号を第2のフィルタリングされた信号の遅延バージョンと結合することができる。幾つかの事例では、第1及び第2のフィルタリングされた信号は、各々、2つのチャネルを有することができる。幾つかの事例では、フィルタリングされた信号(例えば、第1のフィルタリングされた信号及び第2のフィルタリングされた信号)の一方のチャネルは、他方のチャネルに対して遅延させることができる。同様に、結合された信号(例えば、第1のフィルタリングされた信号及び第2のフィルタリングされた信号の結合)は、互いに対して遅延させることができる2つのチャネルを有することができる。
[00230]無線通信デバイス102は、第1の空間フィルタリングされた信号を生成することができる。例えば、無線通信デバイス102は、第1の方向のビームを有するフィルタを第1の対のマイクロフォンによって生成された信号に適用することができる。同様に、無線通信デバイス102は、第2の空間フィルタリングされた信号を生成することができる。幾つかの事例では、第1の対のマイクロフォン(例えば、第1の空間フィルタリングされた信号を生成するために使用されるそれら)の軸は、第2の対のマイクロフォン(例えば、第2の空間フィルタリングされた信号を生成するために使用されるそれら)の軸と少なくとも実質的に直交であることができる。無線通信デバイス102は、出力信号を生成するために第1の空間フィルタリングされた信号及び第2の空間フィルタリングされた信号を結合することができる。出力信号は、第1の空間フィルタリングされた信号及び第2の空間フィルタリングされた信号の方向と異なる方向に対応することができる。
[00231]無線通信デバイスは、入力チャネルを録音することもできる。幾つかの実装においては、入力チャネルは、アレイ内の複数のマイクロフォンの各々に対応することができる。例えば、入力チャネルは、4つのマイクロフォンの入力に対応することができる。出力チャネルを得るために複数の多チャネルフィルタを入力チャネルに適用することができる。幾つかの事例では、多チャネルフィルタは、複数のルック方向に対応することができる。例えば、4つの多チャネルフィルタは、4つのルック方向に対応することができる。多チャネルフィルタを1つのルック方向に適用することは、その他のルック方向にヌルビームを適用することを含むことができる。幾つかの実装においては、複数のマイクロフォンのうちの第1の対の軸は、複数のマイクロフォンのうちの第2の対の軸と直交から15°未満であることができる。
[00232]上述されるように、複数の多チャネルフィルタを適用することは、出力チャネルを生成することができる。幾つかの事例では、無線通信デバイス102は、バイオーラル信号の合計に基づくバイオーラル録音を生成するために出力チャネルを処理することができる。例えば、無線通信デバイス102は、バイオーラルインバルス応答を出力チャネルに適用することができる。この結果、バイオーラル録音を生成するために使用することができるバイオーラル信号を得ることができる。
[00233]図46は、三次元オーディオを符号化するための方法4600を示したフローチャートである。方法4600は、無線通信デバイス102によって実行することができる。無線通信デバイス102は、複数のローカライズ可能な音源の空間方向のインディケーションを検出する4602ことができる。ここで使用される場合において、用語“ローカライズ可能な”は、特定の方向からの音源を意味する。例えば、ローカライズ可能な音源は、前左方向からのオーディオ信号であることができる。無線通信デバイス102は、ローカライズ可能な音源の数を決定することができる。これは、各ローカライズ可能な音源の到着方向を推定することを含むことができる。幾つかの事例では、無線通信デバイス102は、ユーザインタフェース312からのインディケーションを検出することができる。例えば、ユーザは、無線通信デバイス302のユーザインタフェース312からのユーザ入力に基づいて1つ以上の空間方向を選択することができる。ユーザ入力の例は、ユーザの手によるジェスチャを含む(例えば、無線通信デバイスのタッチ画面上、無線通信デバイスの動き)。
[00234]無線通信デバイス102は、ローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音する4604ことができる。例えば、無線通信デバイス102に配置された1つ以上のマイクロフォンは、前左、前右、後左及び/又は後右方向から来るオーディオ信号を録音する4604ことができる。
[00235]無線通信デバイス102は、複数のオーディオ信号を符号化する4606ことができる。上述されるように、無線通信デバイス102は、信号を符号化するためにあらゆる数のコーデックを使用することができる。例えば、無線通信デバイス102は、全帯域コーデックを用いて前左及び後左オーディオ信号を符号化する4606ことができ及び広帯域コーデックを用いて前右及び後右オーディオ信号を符号化する4606ことができる。幾つかの事例では、無線通信デバイス102は、三次元オーディオ符号化方式により多チャネル信号を符号化することができる。例えば、無線通信デバイス102は、複数のオーディオ信号を符号化する4606ために図29−32に関連して説明される構成方式のうちのいずれかを使用することができる。
[00236]無線通信デバイス102は、第1のフィルタリングされた信号を得るために第1のエンドファイア方向にビームを適用することもできる。同様に、第2のエンドファイア方向における第2のビームは、第2のフィルタリングされた信号を生成することができる。幾つかの事例では、ビームは、低スレショルドと高スレショルドとの間の周波数に適用することができる。これらの事例では、スレショルド(低スレショルド又は高スレショルド)のうちの1つは、マイクロフォン間の距離に基づくことができる。
[00237]無線通信デバイスは、第1のフィルタリングされた信号を第2のフィルタリングされた信号の遅延バージョンと結合することができる。幾つかの事例では、第1及び第2のフィルタリングされた信号は、各々、2つのチャネルを有することができる。幾つかの事例では、フィルタリングされた信号(例えば、第1のフィルタリングされた信号及び第2のフィルタリングされた信号)の一方のチャネルは、他方のチャネルに対して遅延させることができる。同様に、結合された信号(例えば、第1のフィルタリングされた信号及び第2のフィルタリングされた信号の結合)は、互いに対して遅延させることができる2つのチャネルを有することができる。
[00238]無線通信デバイス102は、第1の空間フィルタリングされた信号を生成することを含むことができる。例えば、無線通信デバイス102は、第1の方向のビームを有するフィルタを第1の対のマイクロフォンによって生成された信号に適用することができる。同様に、無線通信デバイス102は、第2の空間フィルタリングされた信号を生成することができる。幾つかの事例では、第1の対のマイクロフォン(例えば、第1の空間フィルタリングされた信号を生成するために使用されるそれら)の軸は、第2の対のマイクロフォン(例えば、第2の空間フィルタリングされた信号を生成するために使用されるそれら)の軸と少なくとも実質的に直交であることができる。無線通信デバイス102は、出力信号を生成するために第1の空間フィルタリングされた信号及び第2の空間フィルタリングされた信号を結合することができる。出力信号は、第1の空間フィルタリングされた信号及び第2の空間フィルタリングされた信号の方向と異なる方向に対応することができる。
[00239]無線通信デバイスは、入力チャネルを録音することもできる。幾つかの実装においては、入力チャネルは、アレイ内の複数のマイクロフォンの各々に対応することができる。例えば、入力チャネルは、4つのマイクロフォンの入力に対応することができる。出力チャネルを得るために複数の多チャネルフィルタを入力チャネルに適用することができる。幾つかの事例では、多チャネルフィルタは、複数のルック方向に対応することができる。例えば、4つの多チャネルフィルタは、4つのルック方向に対応することができる。多チャネルフィルタを1つのルック方向に適用することは、その他のルック方向にヌルビームを適用することを含むことができる。幾つかの実装においては、複数のマイクロフォンのうちの第1の対の軸は、複数のマイクロフォンのうちの第2の対の軸と直交から15°未満であることができる。
[00240]上述されるように、複数の多チャネルフィルタを適用することは、出力チャネルを生成することができる。幾つかの事例では、無線通信デバイス102は、バイオーラル信号の合計に基づくバイオーラル録音を生成するために出力チャネルを処理することができる。例えば、無線通信デバイス102は、バイオーラルインバルス応答を出力チャネルに適用することができる。この結果、バイオーラル録音を生成するために使用することができるバイオーラル信号を得ることができる。
[00241]図47は、コーデックを選択するための方法4700を示したフローチャートである。方法4700は、無線通信デバイス102によって実行することができる。無線通信デバイス102は、複数のオーディオ信号のエネルギープロフィールを決定する4702ことができる。無線通信デバイス102は、複数のオーディオ信号の各々におけるエネルギープロフィールを表示する4704ことができる。例えば、無線通信デバイス102は、前左、前右、後左及び後右のオーディオ信号のエネルギープロフィールを表示する4704ことができる。無線通信デバイス102は、エネルギープロフィールを選択する入力を検出する4706することができる。幾つかの実装においては、入力は、ユーザ入力に基づくことができる。例えば、ユーザは、図形表現に基づいて圧縮されるべき(例えば、指向性音に対応する)エネルギープロフィールを選択することができる。幾つかの例では、選択は、いずれの指向性オーディオ信号がより良い音質を有するべきかを示すインディケーションを反映させることができ、例えば、選択は、ユーザの声がやって来ている方向を反映させることができる。
[00242]無線通信デバイス102は、入力と関連付けられたコーデックを関連付ける4708ことができる。例えば、無線通信デバイス102は、ユーザによって選択された指向性オーディオ信号に関してより良い音質を生成するためにコーデックを関連付ける4708ことができる。無線通信デバイス102は、オーディオ信号パケットを生成するためにコーデックに基づいて複数のオーディオ信号を圧縮する4710ことができる。上述されるように、パケットは、オーバー・ザ・エアで送信することができる。幾つかの実装においては、無線通信デバイスは、チャネル識別を送信することもできる。
[00243]図48は、ビット割り当てを増大させるための方法4800を示したフローチャートである。方法4800は、無線通信デバイス102によって実行することができる。無線通信デバイス102は、複数のオーディオ信号のエネルギープロフィールを決定する4802ことができる。無線通信デバイス102は、複数のオーディオ信号の各々におけるエネルギープロフィールを表示する4804ことができる。例えば、無線通信デバイス102は、前左、前右、後左及び後右のオーディオ信号のエネルギープロフィールを表示する4804ことができる。無線通信デバイス102は、エネルギープロフィールを選択する入力を検出する4806することができる。幾つかの実装においては、入力は、ユーザ入力に基づくことができる。例えば、ユーザは、圧縮のためにより多くのビットが割り当てられるべき(例えば、指向性音に対応する)エネルギープロフィールを、図形表示に基づいて、選択することができる。幾つかの例では、選択は、いずれの指向性オーディオ信号がより良い音質を有するべきかを示すインディケーションを反映させることができ、例えば、選択は、ユーザの声がやって来ている方向を反映させることができる。
[00244]無線通信デバイス102は、入力と関連付けられたコーデックを関連付ける4808ことができる。例えば、無線通信デバイス102は、ユーザによって選択された指向性オーディオ信号に関してより良い音質を生成するためにコーデックを関連付ける4808ことができる。無線通信デバイス102は、入力に基づいてオーディオ信号を圧縮するために使用されるコーデックへのビット割り当てを増大させる4810をことができる。上述されるように、パケットは、オーバー・ザ・エアで送信することができる。
[00245]図49は、無線通信デバイス4902内に含めることができる幾つかのコンポーネントを例示する。上述される無線通信デバイスのうちの1つ以上は、図49に示される無線通信デバイス4902と同様に構成することができる。
[00246]無線通信デバイス4902は、プロセッサ4958を含む。プロセッサ4958は、汎用のシングル又はマルチチップマイクロプロセッサ(例えば、ARM)、専用マイクロプロセッサ(例えば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイ、等であることができる。プロセッサ4958は、中央処理装置(CPU)と呼ぶことができる。図49の無線通信デバイス4902では単一のプロセッサ4958のみが示されるが、代替構成では、プロセッサ4958の組み合わせ(ARM及びDSP)を使用可能である。
[00247]無線通信デバイス4958は、プロセッサ4958と電子的な通信状態にあるメモリ4956も含む(すなわち、プロセッサ4958は、メモリ4956から情報を読み取ること及び/又はメモリ4956に情報を書き込むことができる)。メモリ4956は、電子情報を格納することが可能な電子コンポーネントであることができる。メモリ4956は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、磁気ディスク記憶媒体、光学記憶媒体、RAM内のフラッシュメモリデバイス、プロセッサ4958とともに含まれる搭載メモリ、プログラマブル読み取り専用メモリ(PROM)、消去可能読み取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、レジスタ、等であることができ、それらの組み合わせを含む。
[00248]データ4960及び命令4962は、メモリ4956に格納することができる。命令4962は、1つ以上のプログラム、ルーチン、サブルーチン、関数、プロシージャ、コード、等を含むことができる。命令4962は、単一のコンピュータによって読み取り可能な文又は数多くのコンピュータによって読み取り可能な文を含むことができる。命令4962は、上述される方法のうちの1つ以上を実装するためにプロセッサ4958によって実行可能であることができる。命令4962を実行することは、メモリ4956に格納されるデータ4960の使用を含むことができる。図49は、プロセッサ4958内にローディングされる幾つかの命令4962a及びデータ4960aを例示し(それらは、メモリ4956内の命令4962及びデータ4960から来ることができる)。
[00249]無線通信デバイス4902は、無線通信デバイス4902と遠隔場所(例えば、通信デバイス、基地局、等)との間での信号の送信及び受信を可能にするための送信機4964と受信機4966とを含むこともできる。送信機4964及び受信機4966は、総称してトランシーバ4968と呼ぶことができる。アンテナ4970は、トランシーバ4968に電気的に結合することができる。無線通信デバイス4902は、複数の送信機4964、複数の受信機4966、複数のトランシーバ4968及び/又は複数のアンテナ4970を含むことができる(示されていない)。
[00250]幾つかの構成では、無線通信デバイス4902は、音響信号をキャプチャするための1つ以上のマイクロフォンを含むことができる。一構成では、マイクロフォンは、音響信号(例えば、声、話声)を電気又は電子信号に変換するトランスデューサであることができる。さらに加えて又は代替として、無線通信デバイス4902は、1つ以上のスピーカーを含むことができる。一構成では、スピーカーは、電気又は電子信号に音響信号に変換するトランスデューサであることができる。
[00251]無線通信デバイス4902の様々なコンポーネントを1つ以上のバスによってひとつに結合することができ、それらのバスは、電力バスと、制御信号バスと、状態信号バスと、データバスと、等を含むことができる。簡略化を目的として、様々なバスは、図49においてはバスシステム4972として例示される。
[00252]ここにおいて開示される方法及び装置は、概して、あらゆるトランシーバ及び/又はオーディオセンシング用途、特に、該用途のモバイル又はその他のポータブル例、において適用することができる。例えば、ここにおいて開示される構成の範囲は、符号分割多元接続(CDMA)オーバー・ザ・エアインタフェースを採用するように構成された無線テレフォニー通信システムに常駐する通信デバイスを含む。しかしながら、ここにおいて説明される特徴を有する方法及び装置は、当業者に知られる広範な技術を採用する様々な通信システム、例えば、有線及び/又は無線(例えば、CDMA、TDMA、FDMA、及び/又はTD−SCDMA)送信チャネルを通じてのVoice over IP(VoIP)を採用するシステム、内に常駐することができることが理解されるであろう。
[00253]ここにおいて開示される通信デバイスは、パケット交換型(例えば、VoIP、等のプロトコルによるオーディオ送信を搬送するように配置された有線及び/又は無線ネットワーク)及び/又は回線交換型であるネットワークでの使用のために好適化することができることが明示で企図され及びここによって開示される。さらに、ここにおいて開示される通信デバイスは、狭帯域コーディングシステム(例えば、約4又は5キロヘルツのオーディオ周波数範囲を符号化するシステム)における使用のために及び/又は広帯域コーディングシステム(例えば、5キロヘルツ超のオーディオ周波数を符号化するシステム)における使用のために好適化することができることが明示で企図され及びここによって開示される。
[00254]説明される構成に関する上記の提示は、当業者がここにおいて開示される方法及びその他の構造を製造又は使用するのを可能にするために提供される。ここにおいて示されて説明されるフローチャート、ブロック図、及びその他の構造は、例であるにすぎず、これらの構造のその他の変形も本開示の適用範囲内にある。これらの構成の様々な変更が可能であり、ここにおいて提示される一般原理は、その他の構成に対しても同様に適用することができる。以上のように、本開示は、ここにおいて示される構成に限定されることが意図されるものではなく、ここにおいて開示される原理及び斬新な特徴に一致する限りにおいて最も広範な適用範囲が認められるべきであり、オリジナルの開示の一部を成す、出願された添付請求項を含む。
[00255]当業者は、情報及び信号は様々な異なる技術及び技法のうちのいずれかを用いて表すことができることを理解するであろう。例えば、上記の説明全体を通じて参照されることがあるデータ、命令、コマンド、情報、信号、ビット及びシンボルは、電圧、電流、電磁波、磁場、磁粒子、光学場、光学粒子、又はそれらのあらゆる組合せによって表すことができる。
[00256]ここにおいて開示される構成の実装に関する重要な設計上の要求は、特に計算集約的な用途、例えば、圧縮されたオーディオ又はオーディオビジュアル情報(例えば、圧縮形式により符号化されたファイル又はストリーム、例えば、ここにおいて識別された例のうちの1つ)の再生又は広帯域通信(例えば、8キロヘルツよりも高いサンプリングレート、例えば、12、16、又は44kHzにおける声通信)に関する用途、に関して、処理遅延及び/又は計算上の複雑さを最小限にすることを含むことができる。
[00257]多マイクロフォン処理システムの最終目標は、10乃至12dBの全体的な雑音低減を達成すること、希望されるスピーカーの移動中に声のレベル及び色を保持すること、積極的な雑音除去、話声の残響除去の代わりに雑音が背景内に移動していることを知覚すること、及び/又はより攻撃的な雑音低減に関する後処理の任意選択肢を可能にすることと、を含むことができる。
[00258]ここにおいて開示される装置の実装の様々な要素は、意図される用途に適するとみなされるハードウェアとソフトウェアのあらゆる組み合わせ、及び/又はファームウェア内において具現化することができる。例えば、該要素は、例えば、同じチップ上またはチップセット内の2つ以上のチップ間に常駐する電子及び/又は光学デバイスとして製作することができる。該デバイスの一例は、論理的要素、例えば、トランジスタ又はロジックゲート、の固定された又はプログラマブルなアレイであり、これらのいずれの要素も、1つ以上の該アレイとして実装することができる。これらの要素のうちの2つ以上、さらには全部さえを同じアレイ又はアレイ(複数)内に実装することができる。該アレイ又はアレイ(複数)は、1つ以上のチップ内に(例えば、2つ以上のチップを含むチップセット内に)実装することができる。
[00259]ここにおいて開示される装置の様々な実装の1つ以上の要素は、論理的要素の1つ以上の固定された又はプログラマブルなアレイ、例えば、マイクロプロセッサ、埋め込みプロセッサ、IPコア、デジタル信号プロセッサ、FPGA(フィールドプログラマブルゲートアレイ)、ASSP(特定用途向け標準製品)、及びASIC(特定用途向け集積回路)、を実行するように編成された命令の1つ以上の組として全体又は一部を実装することもできる。ここにおいて開示される装置の実装の様々な要素のうちのいずれも、1つ以上のコンピュータ(例えば、命令の1つ以上の組又はシーケンスを実行するようにプログラミングされた1つ以上のアレイを含む機械であり、“プロセッサ”とも呼ばれる)として具現化することもでき、及び、これらの要素のうちの2つ以上、又は全部でさえも、同じ該コンピュータ又はコンピュータ(複数)内に実装することができる。
[00260]ここにおいて開示されるプロセッサ又はその他の処理手段は、例えば、同じチップ上またはチップセット内の2つ以上のチップ間に常駐する1つ以上の電子及び/又は光学デバイスとして製作することができる。該デバイスの一例は、論理的要素、例えば、トランジスタ又はロジックゲート、の固定された又はプログラマブルなアレイであり、これらのいずれの要素も、1つ以上の該アレイとして実装することができる。該アレイ又はアレイ(複数)は、1つ以上のチップ内に(例えば、2つ以上のチップを含むチップセット内に)実装することができる。該アレイの例は、論理的要素の固定された又はプログラマブルなアレイ、例えば、マイクロプロセッサ、埋め込みプロセッサ、IPコア、DSP、FPGA、ASSP及びASIC、を含む。ここにおいて開示されるプロセッサ又はその他の処理手段は、1つ以上のコンピュータ(例えば、命令の1つ以上の組又はシーケンスを実行するようにプログラミングされた1つ以上のアレイを含む機械)又はその他のプロセッサとして具現化することもできる。ここにおいて説明されるプロセッサは、指向性符号化手順に直接関連しないタスク又は命令のその他の組、例えば、プロセッサが埋め込まれているデバイス又はシステム(例えば、オーディオセンシングデバイス)の他の動作に関連するタスク、を実行するために使用することが可能である。さらに、ここにおいて開示される方法の一部は、オーディオセンシングデバイスのプロセッサによって実行すること及びその方法の他の部分は1つ以上のその他のプロセッサの制御下で実行することも可能である。
[00261]ここにおいて開示される構成と関係させて説明される様々な例示的なモジュール、論理的ブロック、回路、及び試験及びその他の動作は、電子ハードウェア、コンピュータソフトウェア又は両方の組み合わせとして実装することができることを当業者は評価するであろう。該モジュール、論理的ブロック、回路、及び動作は、ここにおいて開示される構成を生成するように設計された汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC又はASSP、FPGA又はその他のプログラマブルロジックデバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェアコンポーネント、又はそれらのあらゆる組み合わせを用いて実装又は実行することができる。例えば、該構成は、少なくとも部分的には、ハードワイヤド回路として、特定用途向け集積回路内に製作された回路構成として、非揮発性記憶装置内にローディングされたファームウェアプログラム又は機械によって読み取り可能なコードとしてデータ記憶媒体から又はデータ記憶媒体内にローディングされたソフトウェアプログラムとして、実装することができ、該コードは、論理的要素のアレイ、例えば、汎用プロセッサ又はその他のデジタル信号処理装置、によって実行可能な命令である。汎用プロセッサは、マイクロプロセッサであることができるが、代替においては、プロセッサは、どのような従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、例えば、DSPと、1つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、DSPコアと関連する1つ以上のマイクロプロセッサとの組合せ、又はその他のあらゆる適切な構成、として実装することも可能である。ソフトウェアモジュールは、RAM(ランダムアクセスメモリ)、ROM(読み取り専用メモリ)、非揮発性RAM(NVRAM)、例えば、フラッシュRAM、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、レジスタ、ハードディスク、取り外し可能なディスク、CD−ROM又は当業において知られるあらゆるその他の形態の記憶媒体、内に常駐することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出すこと及び記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替においては、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、ASIC内に常駐することができる。ASICは、ユーザ端末内に常駐することができる。代替においては、プロセッサ及び記憶媒体は、ユーザ端末内において個別コンポーネントとして常駐することができる。
[00262]ここにおいて開示される様々な方法は、プロセッサ、等の論理的要素のアレイによって実行することができること、及び、ここにおいて説明される装置の様々な要素は、該アレイにおいて実行するように設計されたモジュールとして実装することができることが注記される。ここで使用される場合において、用語“モジュール”又は“サブモジュール”は、ソフトウェア、ハードウェア又はファームウェアの形態のコンピュータ命令(例えば、論理式)を含むあらゆる方法、装置、デバイス、ユニット又はコンピュータによって読み取り可能なデータ記憶媒体を意味することができる。同じ機能を実行するために複数のモジュール又はシステムを結合させて1つのモジュール又はシステムに結合することができ又は1つのモジュール又はシステムを複数のモジュール又はシステムに分離することができることが理解されるべきである。ソフトウェア又はその他のコンピュータによって実行可能な命令において実装されるときには、プロセスの要素は、基本的には、例えば、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を用いて関連するタスクを実行するためのコードセグメントである。用語“ソフトウェア”は、ソースコード、アセンブリ言語コード、機械コード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理的要素のアレイによって実行可能な命令の1つ以上の組又はシーケンス、及び該例のあらゆる組み合わせを含むと理解されるべきである。プログラム又はコードセグメントは、プロセッサによって読み取り可能な媒体内に格納すること又は送信媒体又は通信リンクを通じて搬送波内において具現化されたコンピュータデータ信号によって送信することができる。
[00263]ここにおいて開示される方法、方式、及び技法の実装は、論理的要素のアレイ(例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、又はその他の有限状態マシン)を含む機械によって読み取り可能な及び/又は実行可能な命令の1つ以上の組として(例えば、ここにおいて記載される1つ以上のコンピュータによって読み取り可能な媒体において)有形で具現化することもできる。用語“コンピュータによって読み取り可能な媒体”は、情報を格納又は転送することができるあらゆる媒体を含むことができ、揮発性、非揮発性、取り外し可能又は取り外し不能な媒体を含む。コンピュータによって読み取り可能な媒体の例は、電子回路、半導体メモリデバイス、ROM、フラッシュメモリ、消去可能ROM(EROM)、フロッピー(登録商標)ディスケット、その他の磁気記憶装置、CD−ROM/DVD又はその他の光学的記憶装置、ハードディスク、光ファイバ媒体、無線周波数(RF)リンク、又は、希望され情報を格納するために使用することができ及びアクセスすることができるその他のあらゆる媒体を含むことができる。コンピュータデータ信号は、送信媒体、例えば、電子ネットワークチャネル、光ファイバ、空気、電磁、RFリンク、等、を通じて伝搬することができるあらゆる信号を含むことができる。コードセグメントは、コンピュータネットワーク、例えば、インターネット又はイントラネットを介してダウンロードすることができる。いずれの場合も、本開示の適用範囲は、該構成によって限定されると解釈されるべきでない。
[00264]ここにおいて説明される方法のタスクの各々は、ハードウェア内において、プロセッサによって実行されるソフトウェアモジュールにおいて、又はそれらの2つの組み合わせにおいて具現化することができる。ここにおいて開示される方法の実装の典型的な適用においては、論理的要素(例えば、論理的ゲート)のアレイは、方法の様々なタスクのうちの1つ、2つ以上さらには全部さえを実行するように構成される。これらのタスクのうちの1つ以上(可能な場合はすべて)は、論理的要素のアレイ(例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、又はその他の有限状態マシン)を含む機械(例えば、コンピュータ)によって読み取り可能な及び/又は実行可能なコンピュータプログラム製品(例えば、ディスク、フラッシュ又はその他の非揮発性メモリカード、半導体メモリチップ、等)において具現化されたコード(例えば、命令の1つ以上の組)として実装することもできる。ここにおいて開示される方法の実装のタスクは、2つ以上の該アレイ又は機械によって実行することもできる。これらの又はその他の実装では、タスクは、無線通信デバイス、例えば、携帯電話又は該通信能力を有するその他のデバイス、内で実行することができる。該デバイスは、(例えば、VoIP、等の1つ以上のプロトコルを用いる)回線交換型及び/又はパケット交換型ネットワークと通信するように構成することができる。例えば、該デバイスは、符号化されたフレームを受信するように構成されたRF回路を含むことができる。
[00265]ここにおいて開示される様々な方法は、ポータブル通信デバイス、例えば、ハンドセット、ヘッドセット又はポータブルデジタルアシスタント(PDA)、によって実行できること、及び、ここにおいて説明される様々な装置を該デバイス内に含めることができることが明示される。典型的なリアルタイム(例えば、オンライン)用途は、該モバイルデバイスを用いて行われる電話での会話である。
[00266]1つ以上の典型的な構成では、ここにおいて説明される動作は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、該動作は、コンピュータによって読み取り可能な媒体において1つ以上の命令又はコードとして格納すること又は送信することができる。用語“コンピュータによって読み取り可能な媒体”は、コンピュータ記憶媒体と通信媒体との両方を含み、1つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む。記憶媒体は、コンピュータによってアクセスすることができるあらゆる利用可能な媒体であることができる。例として、及び限定せずに、該コンピュータによって読み取り可能な媒体は、記憶要素のアレイ、例えば、(制限することなしに、ダイナミック又はスタティックRAM、ROM、EEPROM、及び/又はフラッシュRAMを含むことができる半導体メモリ、又は、強誘電性、磁気抵抗性、オボニック、ポリメリック、又は相変化メモリ、CD−ROM又はその他の光ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶デバイス、又は、コンピュータによってアクセス可能であることができる有形の構造で、命令又はデータ構造の形態で、希望されるプログラムコードを格納するために使用することができるその他のあらゆる媒体、を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン(DSL)、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、DSL、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザディスク(disc)と、光ディスク(disc)と、デジタルバーサタイルディスク(DVD)(disc)と、フロッピーディスク(disk)と、Blu−ray(登録商標) Disc(登録商標)(Blu−ray Disc Association、Universal City、CA)と、を含み、ここで、diskは、通常は磁気的にデータを複製し、discは、レーザを用いて光学的にデータを複製する。上記の組合せも、コンピュータによって読み取り可能な媒体の適用範囲に含められるべきである。
[00267]ここにおいて説明される音響信号処理装置は、幾つかの動作を制御するために話声入力を受け入れる電子デバイス内に組み入れることができ、又は、背景雑音、例えば、通信デバイス、からの希望される雑音の分離によって利益を得ることができる。多くの用途は、クリアな希望される音をエンハンスするか又は複数の方向から発生する背景雑音から分離することで利益を得ることができる。該用途は、諸能力、例えば、声の認識と検知、話声のエンハンスメントと分離、声によって起動される制御、等、を組み入れる電子デバイス又はコンピューティングデバイスにおいて人間−機械インタフェースを含めることができる。該音響信号処理装置は、限られた処理能力のみを提供するデバイスにおいて適切であるように実装するのが望ましいであろう。
[00268]ここにおいて説明されるモジュール、要素及びデバイスの様々な実装の要素は、例えば、同じチップ上に又はチップセット内の1つ以上のチップ間に常駐する電子及び/又は光学デバイスとして製作することができる。該デバイスの一例は、論理的要素、例えば、トランジスタ又はゲート、の固定された又はプログラマブルなアレイである。ここにおいて説明される装置の様々な実装の1つ以上の要素は、論理的要素の1つ以上の固定された又はプログラマブルなアレイ、例えば、マイクロプロセッサ、埋め込みプロセッサ、IPコア、デジタル信号プロセッサ、FPGA、ASSP及びASIC、において実行するように編成された命令の1つ以上の組として全体又は一部を実装することもできる。
[00269]ここにおいて説明される装置の実装の1つ以上の要素は、装置と直接関連していないタスク又は命令のその他の組を実行するために使用することが可能である。例えば、装置が埋め込まれているデバイス又はシステムの他の動作に関連するタスク。該装置の実装の1つ以上の要素は、共通の構造を有することも可能である(例えば、異なる時間に異なる要素に対応するコードの一部分を実行するために使用されるプロセッサ、異なる時間に異なる要素に対応するタスクを実行するために実行される命令の組、又は、異なる時間に異なる要素に関する動作を行う電子及び/又は光学デバイスの配置)。
[00270]上記の説明において、様々な用語に関連して参照数字が時々使用されている。用語が参照数字と関連して使用される場合は、これは、図のうちの1つ以上において示される特定の要素を指し示すことを意味する。用語が参照数字なしで使用され場合は、これは、特定の図に限定されずに一般的にその用語を指し示すことを意味する。
[00271]本開示により、モバイルデバイス内の回路は、複数のタイプの圧縮されたオーディオビットストリームに関連する信号変換コマンド及び添付データを受け取るように好適化することができる。同じ回路、異なる回路、又は同じ又は異なる回路の第2のセクションを、複数のタイプの圧縮されたオーディオビットストリームに関連する信号変換の一部として変換を行うように好適化することができる。第2のセクションは、有利なことに、第1のセクションに結合することができ、又は、それは、第1のセクションと同じ回路において具現化することができる。さらに、同じ回路、異なる回路、又は同じ又は異なる回路の第3のセクションを、複数のタイプの圧縮されたオーディオビットストリームに関連する信号変換の一部として補完的処理を行うように好適化することができる。第3のセクションは、有利なことに、第1及び第2のセクションに結合することができ、又は、それは、第1及び第2のセクションと同じ回路において具現化することができる。さらに、同じ回路、異なる回路、又は同じ又は異なる回路の第4のセクションを、上述される機能を提供する回路又は回路のセクションを制御するように好適化することができる。
[00272]表現“決定すること”は、非常に様々な行動を包含し、従って、“決定すること”は、算出すること、計算すること、処理すること、導き出すこと、調査すること、検索すること(例えば、テーブル、データベース又は他のデータ構造において検索すること)、確認すること、等を含むことができる。さらに、“決定すること”は、受信すること(例えば情報を受信すること)、アクセスすること(例えばメモリ内のデータにアクセスすること)、等を含むことができる。さらに、“決定すること”は、解決すること、選択すること、選ぶこと、確立すること、等を含むことができる。
[0008]方法は、アレイ(array)内の複数のマイクロフォンの各々に関して、対応する入力チャネルを録音することを含むことができる。方法は、複数のルック方向(look direction)の各々に関して、対応する出力チャネルを得るために対応する多チャネルフィルタを複数の録音された入力チャネルに適用することを含むこともできる。多チャネルフィルタの各々は、対応するルック方向にビームを及びその他のルック方向にヌルビーム(null beam)を適用することができる。方法は、バイノーラル録音を生成するために複数の出力チャネルを処理することを含むことができる。方法は、低スレショルドと高スレショルドとの間の周波数にビームを適用することを含むことができる。低スレショルド及び高スレショルドのうちの少なくとも1つは、マイクロフォン間の距離に基づく。
[00123]本説明は、複数の無指向性マイクロフォン2504a−dを用いて録音された信号から5.1チャネル録音を提供する開示を含む。複数の無指向性マイクロフォン2504a−dを用いてキャプチャされた信号からバイノーラル録音を生成することが望ましい。例えば、ユーザ側からの5.1チャネルサラウンドシステムが存在しない場合は、ユーザがサラウンドサウンドシステムを有する実際の音響空間内に存在する経験を有することができるようにするために5.1チャネルをステレオバイノーラル録音にダウンミックスすることが望ましいであろう。さらに、この能力は、ユーザがその場でシーンを録画しながらサラウンド録音をモニタリングすること及び/又はホームシアターシステムの代わりにステレオヘッドセットを用いて自己のモバイルデバイスにおいて録画された映像及びサラウンドサウンドを再生することができる任意選択肢を提供することができる。
[00124]ここにおいて説明されるシステム及び方法は、居間空間内の指定された位置(FL、FR、C、BL(又はサラウンド左)、及びBR(又はサラウンド右)に配置された拡声器を通じて再生されることが意図される無指向性マイクロフォン250a−dのアレイからの指向性音源を提供することができる。ヘッドフォンを用いてこの状況を再生する1つの方法は、希望される音響空間内の各耳の内部に配置されたマイクロフォン250a−dへの各拡声器からバイノーラルインパルス応答(BIR)(例えば、バイノーラル伝達関数)を測定するオフラインプロセスを含むことができる。バイノーラルインパルス応答は、拡声器のアレイ間のすべてのソース受信機対及び2つの耳に関する音響経路情報を符号化することができ、各拡声器からの直接経路及び反射経路を含む。本物の人間の耳の内部に小さいマイクロフォン2504a−dを配置すること、又はシリコン製の耳を有するダミーの頭部、例えば、頭部・胸部シミュレータ(例えば、HATS、Bruel and Kjaer、DK)を使用することができる。
[00138]新しいコーディング方式は、主にスピーチコーデックに固有の歪みに限定されるそれを有する圧縮を提供することができる。最終的なオーディオ出力は、可能な拡声器の設置に関して内挿することができる。さらに、それは、その他のフォーマット、例えば、Bフォーマット(z軸、及びバイノーラル録音を除く)とコンパチブルであることができる。さらに、新しいコーディング方式は、4つのオーディオ信号が相関関係にないことができるため、ほとんどのモバイルデバイスのオーディオ経路内に配置されたスピーチコーデックとタンデムで機能するエコーキャンセラの使用によって利益を得ることができる。
[00272]表現“決定すること”は、非常に様々な行動を包含し、従って、“決定すること”は、算出すること、計算すること、処理すること、導き出すこと、調査すること、検索すること(例えば、テーブル、データベース又は他のデータ構造において検索すること)、確認すること、等を含むことができる。さらに、“決定すること”は、受信すること(例えば情報を受信すること)、アクセスすること(例えばメモリ内のデータにアクセスすること)、等を含むことができる。さらに、“決定すること”は、解決すること、選択すること、選ぶこと、確立すること、等を含むことができる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] 三次元オーディオを無線通信デバイスによって符号化するための方法であって、
複数のローカライズ可能な音源の空間方向のインディケーションを検出することと、
前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音することと、
前記複数のオーディオ信号を符号化することと、を備える、方法。
[C2] 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくC1に記載の方法。
[C3] ローカライズ可能な音源の数を決定することと、
各ローカライズ可能な音源の到着方向を推定することと、をさらに備えるC1に記載の方法。
[C4] 三次元オーディオ符号化方式により多チャネル信号を符号化することをさらに備えるC1に記載の方法。
[C5] 第1のフィルタリングされた信号を得るために第1のエンドファイア方向にビームを適用することと、
第2のフィルタリングされた信号を得るために第2のエンドファイア方向にビームを適用することと、
前記第1のフィルタリングされた信号を前記第2のフィルタリングされた信号の遅延されたバージョンと結合することと、をさらに備えるC1に記載の方法。
[C6] 前記第1及び第2のフィルタリングされた信号の各々は、少なくとも2つのチャネルを有しており、前記フィルタリングされた信号のうちの一方は、前記他方のフィルタリングされた信号に対して遅延されるC5に記載の方法。
[C7] 前記第1のフィルタリングされた信号の第1のチャネルを前記第1のフィルタリングされた信号の第2のチャネルに対して遅延させることと、
前記第2のフィルタリングされた信号の第1のチャネルを前記第2のフィルタリングされた信号の第2のチャネルに対して遅延させることと、をさらに備えるC6に記載の方法。
[C8] 前記結合された信号の第1のチャネルを前記結合された信号の第2のチャネルに対して遅延させることをさらに備えるC6に記載の方法。
[C9] 第1の空間フィルタリングされた信号を得るためにマイクロフォンの第1の対によって生成された信号に第1の方向のビームを有するフィルタを適用することと、
第2の空間フィルタリングされた信号を得るためにマイクロフォンの第2の対によって生成された信号に第2の方向のビームを有するフィルタを適用することと、
出力信号を得るために前記第1及び第2の空間フィルタリングされた信号を結合することと、をさらに備えるC1に記載の方法。
[C10] アレイ内の複数のマイクロフォンの各々に関して、対応する入力チャネルを録音することと、
複数のルック方向の各々に関して、対応する出力チャネルを得るために複数の前記録音された入力チャネルに対応する多チャネルフィルタを適用することと、をさらに備え、
前記多チャネルフィルタの各々は、前記対応するルック方向にビームを及び他方のルック方向にヌルビームを適用するC1に記載の方法。
[C11] バイノーラル録音を生成するために前記複数の出力チャネルを処理することをさらに備えるC10に記載の方法。
[C12] 前記ビームをエンドファイア方向に適用することは、低スレショルドと高スレショルドとの間の周波数にビームを適用することを備え、前記低及び高スレショルドのうちの少なくとも1つは、マイクロフォン間の距離に基づくC5に記載の方法。
[C13] 無線通信デバイスによってコーデックを選択するための方法であって、
複数のオーディオ信号のエネルギープロフィールを決定することと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することと、
エネルギープロフィールを選択する入力を検出することと、
コーデックを前記入力と関連付けることと、
パケットを生成するために前記コーデックに基づいて前記複数のオーディオ信号を圧縮することと、を備える、方法。
[C14] 前記パケットをオーバー・ザ・エアで送信することをさらに備えるC13に記載の方法。
[C15] チャネル識別を送信することをさらに備えるC13に記載の方法。
[C16] 無線通信デバイスによってビット割り当てを増大させるための方法であって、
複数のオーディオ信号のエネルギープロフィールを決定することと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することと、
エネルギープロフィールを選択する入力を検出することと、
コーデックを前記入力と関連付けることと、
前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大させることと、を備える、方法。
[C17] 前記オーディオ信号の圧縮は、その結果として、4つのパケットがオーバー・ザ・エアで送信されるC16に記載の方法。
[C18] 三次元オーディオを符号化するための無線通信デバイスであって、
複数のローカライズ可能な音源の空間方向のインディケーションを検出する空間方向回路と、
前記空間方向回路に結合された録音回路と、
前記録音回路に結合された符号器と、を備え、前記録音回路は、前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音し、前記符号器は、前記複数のオーディオ信号を符号化する、無線通信デバイス。
[C19] 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくC18に記載の無線通信デバイス。
[C20] ローカライズ可能な音源の数を決定する音源決定回路と、
前記音源決定回路に結合された推定回路と、をさらに備え、前記推定回路は、各ローカライズ可能な音源の到着方向を推定するC18に記載の無線通信デバイス。
[C21] 前記推定回路に結合された符号化回路をさらに備え、前記符号化回路は、三次元オーディオ符号化方式により多チャネル信号を符号化するC18に記載の無線通信デバイス。
[C22] 前記分解回路に結合された第1のビーム適用回路と、
前記第1のビーム適用回路に結合された第2のビーム適用回路と、
前記第2のビーム適用回路及び前記第1のビーム適用回路に結合された結合回路と、をさらに備え、
前記第1のビーム適用回路は、第1のフィルタリングされた信号を得るために第1のエンドファィア方向にビームを適用し、
前記第2のビーム適用回路は、第2のフィルタリングされた信号を得るために第2のエンドファィア方向にビームを適用し、
前記結合回路は、前記第1のフィルタリングされた信号を前記第2のフィルタリングされた信号の遅延されたバージョンと結合する、C18に記載の無線通信デバイス。
[C23] 前記第1及び第2のフィルタリングされた信号の各々は、少なくとも2つのチャネルを有しており、前記フィルタリングされた信号のうちの一方は、前記他方のフィルタリングされた信号に対して遅延されるC22に記載の無線通信デバイス。
[C24] 前記分解回路に結合された遅延回路をさらに備え、前記遅延回路は、前記第1のフィルタリングされた信号の第2のチャネルに対して前記第1のフィルタリングされた信号の第1のチャネルを遅延させ及び前記第2のフィルタリングされた信号の第2のチャネルに対して前記第2のフィルタリングされた信号の第1のチャネルを遅延させるC23に記載の無線通信デバイス。
[C25] 前記遅延回路は、前記結合された信号の第2のチャネルに対して前記結合された信号の第1のチャネルを遅延させるC24に記載の無線通信デバイス。
[C26] 前記分解回路に結合されたフィルタ回路と、
前記フィルタ回路に結合された結合回路と、をさらに備え、前記フィルタ回路は、第1の空間フィルタリングされた信号を得るためにマイクロフォンの第1の対によって生成された信号に第1の方向へのビームを有するフィルタを適用し及び第2の空間フィルタリングされた信号を得るためにマイクロフォンの第2の対によって生成された信号に第2の方向へのビームを有するフィルタを適用し、
前記結合回路は、出力信号を得るために前記第1及び第2の空間フィルタリングされた信号を結合するC18に記載の無線通信デバイス。
[C27] 前記分解回路に結合された録音回路と、
前記録音回路に結合された多チャネルフィルタ回路と、をさらに備え、
前記録音回路は、アレイ内の複数のマイクロフォンの各々に関して、対応する入力チャネルを録音し、
前記多チャネルフィルタ回路は、複数のルック方向の各々に関して、対応する出力チャネルを得るために複数の前記録音されたチャネルに対応する多チャネルフィルタを適用し、
前記多チャネルフィルタの各々は、前記対応するルック方向にビームを及び前記他方のルック方向にヌルビームを適用するC18に記載の無線通信デバイス。
[C28] 前記多チャネルフィルタ回路に結合されたバイノーラル録音回路をさらに備え、前記バイノーラル録音回路は、バイノーラル録音を生成するために前記複数の出力チャネルを処理するC27に記載の無線通信デバイス。
[C29] 前記ビームをエンドファイア方向に適用することは、低スレショルドと高スレショルドとの間の周波数に前記ビームを適用することを備え、前記低及び高スレショルドのうちの少なくとも1つは、マイクロフォン間の距離に基づくC22に記載の無線通信デバイス。
[C30] コーデックを選択するための無線通信デバイスであって、
複数のオーディオ信号のエネルギープロフィールを決定するエネルギープロフィール回路と、
前記エネルギープロフィール回路に結合されたディスプレイと、
前記ディスプレイに結合された入力検出回路と、
前記入力検出回路に結合された関連付け回路と、
前記関連付け回路に結合された圧縮回路と、を備え、
前記ディスプレイは、前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示し、
前記入力検出回路は、エネルギープロフィールを選択する入力を検出し、
前記関連付け回路は、コーデックを前記入力と関連付け、
前記圧縮回路は、パケットを生成するために前記コーデックに基づいて前記複数のオーディオ信号を圧縮する、無線通信デバイス。
[C31] 前記圧縮回路に結合された送信機をさらに備え、前記送信機は、前記パケットをオーバー・ザ・エアで送信するC30に記載の無線通信デバイス。
[C32] 前記送信機は、チャネル識別を送信するC30に記載の無線通信デバイス。
[C33] ビット割り当てを増大させるための無線通信デバイスであって、
複数のオーディオ信号のエネルギープロフィールを決定するエネルギープロフィール回路と、
前記エネルギープロフィール回路に結合されたディスプレイと、
前記ディスプレイに結合された入力検出回路と、
前記入力検出回路に結合された関連付け回路と、
前記関連付け回路に結合されたビット割り当て回路と、を備え、
前記ディスプレイは、前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示し、
前記入力検出回路は、エネルギープロフィールを選択する入力を検出し、
前記関連付け回路は、コーデックを前記入力と関連付け、
前記ビット割り当て回路は、前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大させる、無線通信デバイス。
[C34] 前記オーディオ信号の圧縮は、その結果として、4つのパケットがオーバー・ザ・エアで送信されるC33に記載の無線通信デバイス。
[C35] 三次元オーディオを符号化するためのコンピュータプログラム製品であって、
命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を備え、前記命令は、
複数のローカライズ可能な音源の空間方向のインディケーションを検出することを無線通信デバイスに行わせるためのコードと、
前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音することを前記無線通信デバイスに行わせるためのコードと、
前記複数のオーディオ信号を符号化することを前記無線通信デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。
[C36] 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくC35に記載のコンピュータプログラム製品。
[C37] 前記命令は、三次元オーディオ符号化方式により多チャネル信号を符号化することを前記無線通信デバイスに行わせるためのコードをさらに備えるC35に記載のコンピュータプログラム製品。
[C38] コーデックを選択するためのコンピュータプログラム製品であって、命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を備え、前記命令は、
複数のオーディオ信号のエネルギープロフィールを決定することを無線通信デバイスに行わせるためのコードと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することを前記無線通信デバイスに行わせるためのコードと、
エネルギープロフィールを選択する入力を検出することを前記無線通信デバイスに行わせるためのコードと、
コーデックを前記入力と関連付けることを前記無線通信デバイスに行わせるためのコードと、
パケットを生成するために前記コーデックに基づいて前記複数のオーディオ信号を圧縮することを前記無線通信デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。
[C39] 前記命令は、前記パケットをオーバー・ザ・エアで送信することを前記無線通信デバイスに行わせるためのコードをさらに備えるC38に記載のコンピュータプログラム製品。
[C40] 前記命令は、チャネル識別を送信することを前記無線通信デバイスに行わせるためのコードをさらに備えるC38に記載のコンピュータプログラム製品。
[C41] ビットを増大させるためのコンピュータプログラム製品であって、
命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を備え、前記命令は、
複数のオーディオ信号のエネルギープロフィールを決定することを無線通信デバイスに行わせるコードと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することを前記無線通信デバイスに行わせるためのコードと、
エネルギープロフィールを選択する入力を検出することを前記無線通信デバイスに行わせるためのコードと、
コーデックを前記入力と関連付けることを前記無線通信デバイスに行わせるためのコードと、
前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大することを前記無線通信デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。
[C42] 前記オーディオ信号の圧縮は、その結果として、4つのパケットがオーバー・ザ・エアで送信されるC41に記載のコンピュータプログラム製品。
[C43] 三次元オーディオを符号化するための装置であって、
複数のローカライズ可能な音源の空間方向のインディケーションを検出するための手段と、
前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音するための手段と、
前記複数のオーディオ信号を符号化するための手段と、を備える、装置。
[C44] 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくC43に記載の装置。
[C45] 三次元オーディオ符号化方式により多チャネル信号を符号化するための手段をさらに備えるC43に記載の装置。
[C46] 無線通信デバイスによってコーデックを選択するための装置であって、
複数のオーディオ信号のエネルギープロフィールを決定するための手段と、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示するための手段と、
エネルギープロフィールを選択する入力を検出するための手段と、
コーデックを前記入力と関連付けるための手段と、
パケットを生成するため前記コーデックに基づいて前記複数のオーディオ信号を圧縮するための手段と、を備える、装置。
[C47] 前記パケットをオーバー・ザ・エアで送信するための手段をさらに備えるC46に記載の装置。
[C48] チャネル識別を送信するための手段をさらに備えるC13に記載の装置。
[C49] ビット割り当てを増大させるための装置であって、
複数のオーディオ信号のエネルギープロフィールを決定するための手段と、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示するための手段と、
エネルギープロフィールを選択する入力を検出するための手段と、
コーデックを前記入力と関連付けるための手段と、
前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大させるための手段と、を備える、装置。
[C50] 前記オーディオ信号の圧縮は、その結果として、4つのパケットがオーバー・ザ・エアで送信されるC49に記載の装置。