JP2022528138A - 空間オーディオレンダリングのためのシステムおよび方法 - Google Patents

空間オーディオレンダリングのためのシステムおよび方法 Download PDF

Info

Publication number
JP2022528138A
JP2022528138A JP2021559242A JP2021559242A JP2022528138A JP 2022528138 A JP2022528138 A JP 2022528138A JP 2021559242 A JP2021559242 A JP 2021559242A JP 2021559242 A JP2021559242 A JP 2021559242A JP 2022528138 A JP2022528138 A JP 2022528138A
Authority
JP
Japan
Prior art keywords
audio
speaker
spatial
network
drivers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021559242A
Other languages
English (en)
Inventor
クリストファー ジョン ストリンガー，
アフルーズ ファミリー，
ファビアン レン－ジャイルズ，
デイビッド ナラジョウスキ，
ジョシュア フィリップ ソング，
サム リーア サーシア，
ジョン モアランド，
プージャ パテル，
ペレ アイズコルベ アロチャ，
マシュー ブラウン，
バス オーディング，
ロバート ティルトン，
ジェイ スターリング コギン，
ラッセ ヴェッター，
ユアン－イー ファン，
ザヘリー ケネディ，
ショーン パトリック オブライエン，
ニック スダ，
スティーブン マンジャット，
ライアン マギー，
ヨアブ ベン－ハイム，
エイドリアン セスト，
マーク カリーノ，
アレックス チェイス，
ニコラス クヌードソン，
ネイサン ホイト，
クリストス キリアカキス，
マーク レイクス，
ライアン ミヘリック，
ニコラス トンプソン，
マシュー ロベッツ，
ラミー サデック，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Syng inc
Original Assignee
Syng inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Syng inc filed Critical Syng inc
Publication of JP2022528138A publication Critical patent/JP2022528138A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround

Abstract

本発明の実施形態による、空間オーディオをレンダリングするためのシステムおよび方法が、図示される。一実施形態は、ドライバの複数のセットであって、ドライバの各セットは、異なる方向に配向される、ドライバの複数のセットと、プロセッサシステム、オーディオプレーヤアプリケーションを含有する、メモリとを含み、オーディオプレーヤアプリケーションは、ネットワークインターフェースを介して、オーディオソースストリームをオーディオソースから取得し、オーディオソースを空間的にエンコーディングし、空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得し、ドライバ入力は、ドライバに、指向性オーディオを生成させるように、プロセッサシステムを構成する、一次ネットワーク接続スピーカを含む、空間オーディオシステムを含む。

Description

（関連出願の相互参照）
本願は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）下、「Ｓｙｓｔｅｍ ａｎｄ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｎｔｒｏｌ ａｎｄ Ｒｅｐｒｏｄｕｃｔｉｏｎ」と題され、２０１９年４月２日に出願された、米国仮特許出願第６２／８２８，３５７号、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｐａｔｉａｌ Ｍｕｌｔｉｍｅｄｉａ Ｓｏｕｒｃｅ Ｍａｎａｇｅｍｅｎｔ」と題され、２０１９年７月２５日号に出願された、米国仮特許出願第６２／８７８，６９６号、および「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｒｅｎｄｅｒｉｎｇ」と題され、２０１９年１１月１３日に出願された、米国仮特許出願第６２／９３５，０３４号の利益および優先権を主張する。米国仮特許出願第６２／８２８，３５７号、第６２／８７８，６９６号、および第６２／９３５，０３４号の開示は、参照することによってその全体として本明細書に組み込まれる。
本発明は、概して、空間オーディオレンダリング技法、すなわち、空間オーディオ再現技法および／またはモードビーム形成スピーカアレイを使用して、空間オーディオをレンダリングするためのシステムおよび方法に関する。
ラウドスピーカ、口語的には、「スピーカ」は、電気オーディオ入力信号またはオーディオ信号を対応する音に変換する、デバイスである。スピーカは、典型的には、エンクロージャ内に格納され、これは、複数のスピーカドライバを含有し得る。この場合、複数の個々のスピーカドライバを含有する、エンクロージャ自体が、スピーカと称され得、内側の個々のスピーカドライバは、したがって、「ドライバ」と称される。高周波数オーディオを出力する、ドライバは、多くの場合、「ツイータ」と称される。中域周波数オーディオを出力する、ドライバは、「ミッド」または「中域ドライバ」と称され得る。低周波数オーディオを出力する、ドライバは、「ウーファ」と称され得る。音の周波数を説明するとき、これらの３つの帯域は、一般に、「ハイ」、「ミッド」、および「ロー」と称される。ある場合には、ローは、「バス」とも称される。
オーディオトラックは、多くの場合、特定のスピーカ配列のためにミックスされる。最も基本的記録は、１つのスピーカ上の再現のために意図され、そのフォーマットは、ここでは「モノ」と呼ばれる。モノ記録は、単一オーディオチャネルを有する。ステレオフォニックオーディオ、口語的には、「ステレオ」は、既知の２つのスピーカ配列をステレオ再現のために記録およびエンコーディングされたオーディオ信号と結合させることによって、多指向性可聴奥行の錯覚を作成する、音再現の方法である。ステレオエンコーディングは、左チャネルと、右チャネルとを含有し、理想的聴取者が左スピーカおよび右スピーカから等距離の特定の点に存在すると仮定する。しかしながら、ステレオは、典型的には、２つのみの正面放音スピーカが使用されるため、限定された空間効果を提供する。２つより少ないまたはより多いラウドスピーカを使用したステレオは、それぞれ、ダウンミックスまたはアップミックスアーチファクトのいずれかに起因して、準最適レンダリングをもたらし得る。
ステレオの限界に挑戦し、それを補正するために、はるかに多数のスピーカおよび関連付けられるオーディオチャネルを要求する、没入型のフォーマットが、現在、存在する。これらのより多くのチャネル数フォーマットは、多くの場合、「サラウンド音」と称される。限定ではないが、５．１、７．１、７．１．４、１０．２、１１．１、および２２．２等、これらのフォーマットと関連付けられる、多くの異なるスピーカ構成が存在する。しかしながら、これらのフォーマットに関する問題は、それらが、正しく構成され、事前に規定された場所に設置されるための多数のスピーカを要求することである。スピーカが、その理想的場所からオフセットされる場合、オーディオレンダリング／再現は、有意に劣化し得る。加えて、多数のスピーカを採用する、システムは、多くの場合、より少ないスピーカのためにエンコーディングされたチャネルベースのサラウンド音オーディオをレンダリングするとき、スピーカの全てを利用しない。
オーディオ記録および再現技術は、絶えず、より高い忠実性体験を模索している。聴取者がミュージシャンとともに部屋の中に存在するかのように、音を再現する能力は、本産業が実現することを試みている、重要な展望となっている。しかしながら、今日まで、最高忠実性の空間的に正確な再現は、理想的聴取者場所に対して特定の配向で配列されなければならない、大型スピーカアレイという犠牲を伴っている。本明細書に説明されるシステムおよび方法は、空間オーディオ再現原理を空間オーディオレンダリングに適用することによって、これらの問題を改善し、付加的機能性を提供することができる。
本発明の実施形態による、空間オーディオをレンダリングするためのシステムおよび方法が、図示される。一実施形態は、ドライバの複数のセットであって、ドライバの各セットは、異なる方向に配向される、ドライバの複数のセットと、プロセッサシステムと、オーディオプレーヤアプリケーションを含有する、メモリとを含み、オーディオプレーヤアプリケーションは、ネットワークインターフェースを介して、オーディオソースストリームをオーディオソースから取得し、オーディオソースを空間的にエンコーディングし、空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得し、ドライバ入力は、ドライバに、指向性オーディオを生成させるように、プロセッサシステムを構成する、一次ネットワーク接続スピーカを含む、空間オーディオシステムを含む。
別の実施形態では、一次ネットワーク接続スピーカは、ドライバの３つのセットを含み、ドライバの各セットは、中間周波数ドライバと、ツイータとを含む。
さらなる実施形態では、一次ネットワーク接続スピーカはさらに、円形配列における３つのホーンであって、各ホーンは、中間周波数ドライバおよびツイータのセットによってフィードされる、３つのホーンを含む。
さらに別の実施形態では、一次ネットワーク接続スピーカはさらに、３つのホーンの円形配列と垂直に搭載される、一対の対向サブウーファドライバを含む。
なおもさらなる実施形態では、ドライバ入力は、ドライバに、モードビーム形成を使用して、指向性オーディオを生成させる。
さらに別の実施形態では、オーディオソースは、チャネルベースのオーディオソースであって、オーディオプレーヤアプリケーションは、チャネルベースのオーディオソースに基づいて、複数の空間オーディオオブジェクトを生成することによって、チャネルベースのオーディオソースを空間的にエンコーディングするように、プロセッサシステムを構成し、各空間オーディオオブジェクトは、場所を割り当てられ、関連付けられるオーディオ信号を有し、複数の空間オーディオオブジェクトの空間オーディオ表現をエンコーディングする。
さらに別の実施形態では、オーディオプレーヤアプリケーションは、空間的にエンコーディングされたオーディオソースをデコーディングし、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得し、複数の仮想スピーカのうちの少なくとも１つのためのオーディオ入力をデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することによって、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するように、プロセッサシステムを構成する。
別の付加的実施形態では、オーディオプレーヤアプリケーションは、複数の仮想スピーカのうちの少なくとも１つのためのオーディオ入力をデコーディングし、一次ネットワーク接続スピーカの場所に基づいて、複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をエンコーディングし、複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することによって、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するように、プロセッサシステムを構成する。
さらなる付加的実施形態では、オーディオプレーヤアプリケーションは、ドライバのセット毎に、フィルタを使用して、複数の仮想スピーカのうちの少なくとも１つのためのオーディオ入力をデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するように、プロセッサシステムを構成する。
別の実施形態では、その上、オーディオプレーヤアプリケーションは、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのための直接オーディオ入力のセットを取得し、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのための拡散オーディオ入力のセットを取得することによって、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得するように、プロセッサシステムを構成する。
さらなる実施形態では、その上、複数の仮想スピーカは、リング状に配列される、少なくとも８つの仮想スピーカを含む。
なおもさらに別の実施形態では、オーディオプレーヤアプリケーションは、一次アンビソニック表現と、より高次のアンビソニック表現と、ベクトルベースの振幅パンニング（ＶＢＡＰ）表現と、距離ベースの振幅パンニング（ＤＢＡＰ）表現と、Ｋ最近傍パンニング表現とから成る群から選択される、少なくとも１つの空間表現にオーディオソースを空間的にエンコーディングするように、プロセッサシステムを構成する。
さらに別のさらなる実施形態では、複数の空間オーディオオブジェクトはそれぞれ、チャネルベースのオーディオソースのチャネルに対応する。
さらに別の付加的実施形態では、チャネルベースのオーディオソースのチャネルの数を上回る、空間オーディオオブジェクトの数が、チャネルベースのオーディオソースのアップミックスを使用して取得される。
なおもさらに付加的実施形態では、複数の空間オーディオオブジェクトは、直接空間オーディオオブジェクトと、拡散空間オーディオオブジェクトとを含む。
さらに別の実施形態では、その上、オーディオプレーヤアプリケーションは、チャネルベースのオーディオソースのチャネルの数によって決定されたレイアウトに基づいて、所定の場所を複数の空間オーディオオブジェクトに割り当てるように、プロセッサシステムを構成する。
なおもさらなる実施形態では、その上、オーディオプレーヤアプリケーションは、ユーザ入力に基づいて、場所を空間オーディオオブジェクトに割り当てるように、プロセッサシステムを構成する。
さらに別の付加的実施形態では、オーディオプレーヤアプリケーションは、プログラム上経時的に変化する空間オーディオオブジェクトに場所を割り当てるように、プロセッサシステムを構成する。
なおもさらに付加的実施形態では、空間オーディオシステムはさらに、少なくとも１つの二次ネットワーク接続スピーカを含み、一次ネットワーク接続スピーカのオーディオプレーヤアプリケーションはさらに、少なくとも１つの二次ネットワーク接続スピーカ毎に、一次および少なくとも１つの二次ネットワーク接続スピーカのレイアウトに基づいて、空間的にエンコーディングされたオーディオソースをデコーディングし、オーディオストリームのセットを取得し、少なくとも１つの二次ネットワーク接続スピーカ毎に、オーディオストリームのセットを少なくとも１つの二次ネットワーク接続スピーカのそれぞれに伝送するように、プロセッサシステムを構成し、少なくとも１つの二次ネットワーク接続スピーカはそれぞれ、ドライバの複数のセットであって、ドライバの各セットは、異なる方向に配向される、ドライバの複数のセットと、プロセッサシステムと、二次オーディオプレーヤアプリケーションを含有する、メモリとを含み、二次オーディオプレーヤアプリケーションは、オーディオストリームのセットを一次ネットワーク接続スピーカから受信し、オーディオストリームのセットは、ドライバの複数のセット毎に、別個のオーディオストリームを含み、受信されたオーディオストリームのセットに基づいて、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得し、ドライバ入力は、ドライバに、指向性オーディオを生成させるように、プロセッサシステムを構成する。
さらに別の実施形態では、その上、一次ネットワーク接続スピーカおよび少なくとも１つの二次ネットワーク接続スピーカはそれぞれ、少なくとも１つのマイクロホンを含み、一次ネットワーク接続スピーカのオーディオプレーヤアプリケーションはさらに、オーディオ測距を使用して、一次および少なくとも１つの二次ネットワーク接続スピーカのレイアウトを決定するように、プロセッサシステムを構成する。
さらに別の実施形態では、その上、一次ネットワーク接続スピーカおよび少なくとも１つの二次スピーカは、水平線状に配列される、２つのネットワーク接続スピーカと、水平平面上の三角形として配列される、３つのネットワーク接続スピーカと、水平平面の上方に位置付けられる第４のネットワーク接続スピーカを伴う、水平平面上の三角形として配列される、３つのネットワーク接続スピーカとのうちの少なくとも１つを含む。
別の実施形態では、ネットワーク接続スピーカは、円形配列における３つのホーンであって、各ホーンは、中間周波数ドライバおよびツイータのセットによってフィードされる、３つのホーンと、３つのホーンの円形配列と垂直に搭載される、少なくとも１つのサブウーファドライバと、プロセッサシステムと、オーディオプレーヤアプリケーションを含有する、メモリと、ネットワークインターフェースとを含み、オーディオプレーヤアプリケーションは、ネットワークインターフェースを介して、オーディオソースストリームをオーディオソースから取得し、ドライバ入力を生成するように、プロセッサシステムを構成する。
さらなる実施形態では、少なくとも１つのサブウーファドライバは、一対の対向サブウーファドライバを含む。
さらに別の実施形態では、サブウーファドライバはそれぞれ、三軸カーボンフィバ織物を含む材料から構築される、ダイヤフラムを含む。
なおもさらなる実施形態では、ドライバ入力は、ドライバに、モードビーム形成を使用して、指向性オーディオを生成させる。
別の実施形態では、空間オーディオをオーディオソースからレンダリングする方法は、オーディオプレーヤアプリケーションによって構成される、プロセッサにおいて、オーディオソースストリームをオーディオソースから受信するステップと、オーディオプレーヤアプリケーションによって構成される、プロセッサを使用して、オーディオソースを空間的にエンコーディングするステップと、少なくとも、オーディオプレーヤアプリケーションによって構成される、プロセッサを使用して、空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するステップであって、ドライバの複数のセットはそれぞれ、異なる方向に配向され、ドライバ入力は、ドライバに、指向性オーディオを生成させる、およびドライバの複数のセットを使用して、空間オーディオをレンダリングするステップとを含む。
さらなる実施形態では、ドライバの複数のセットのうちのいくつかは、オーディオプレーヤアプリケーションによって構成される、プロセッサを含む、一次ネットワーク接続再生デバイス内に含有され、ドライバの複数のセットの残りは、少なくとも１つの二次ネットワーク接続再生デバイス内に含有され、少なくとも１つの二次ネットワーク接続再生デバイスはそれぞれ、一次接続再生デバイスとネットワーク通信する。
さらに別の実施形態では、空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するステップはさらに、オーディオプレーヤアプリケーションによって構成される、プロセッサを使用して、空間的にエンコーディングされたオーディオソースをデコーディングし、一次ネットワーク接続再生デバイスの個々のドライバのためのドライバ入力を取得するステップと、オーディオプレーヤアプリケーションによって構成される、プロセッサを使用して、空間的にエンコーディングされたオーディオソースをデコーディングし、少なくとも１つの二次ネットワーク接続再生デバイスのそれぞれのドライバのセット毎に、オーディオストリームを取得するステップと、少なくとも１つの二次ネットワーク接続スピーカ毎に、オーディオストリームのセットを少なくとも１つの二次ネットワーク接続スピーカのそれぞれに伝送するステップと、少なくとも１つの二次ネットワーク接続スピーカのそれぞれが、受信されたオーディオストリームのセットに基づいて、その個々のドライバのためのドライバ入力を生成するステップとを含む。
なおもさらなる実施形態では、オーディオソースは、チャネルベースのオーディオソースであって、オーディオソースを空間的にエンコーディングするステップはさらに、チャネルベースのオーディオソースに基づいて、複数の空間オーディオオブジェクトを生成するステップを含み、各空間オーディオオブジェクトは、場所を割り当てられ、関連付けられるオーディオ信号を有し、複数の空間オーディオオブジェクトの空間オーディオ表現をエンコーディングする。
さらに別の実施形態では、空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するステップはさらに、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得し、複数の仮想スピーカのオーディオ入力をデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するステップを含む。
さらに別の実施形態では、複数の仮想スピーカのオーディオ入力をデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するステップはさらに、一次ネットワーク接続スピーカの場所に基づいて、複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をエンコーディングするステップと、複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するステップとを含む。
別の付加的実施形態では、複数の仮想スピーカのオーディオ入力をデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するステップはさらに、ドライバのセット毎にフィルタを使用するステップを含む。
さらなる付加的実施形態では、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得するステップはさらに、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのための直接オーディオ入力のセットを取得するステップと、複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのための拡散オーディオ入力のセットを取得するステップとを含む。
別の実施形態では、その上、複数の仮想スピーカは、リング状に配列される、少なくとも８つの仮想スピーカを含む。
さらなる実施形態では、その上、オーディオソースを空間的にエンコーディングするステップは、一次アンビソニック表現、より高次のアンビソニック表現、ベクトルベースの振幅パンニング（ＶＢＡＰ）表現、距離ベースの振幅パンニング（ＤＢＡＰ）表現、およびＫ最近傍パンニング表現とから成る群から選択される、少なくとも１つの空間表現にオーディオソースを空間的にエンコーディングするステップを含む。
別の実施形態では、空間オーディオシステムは、少なくとも１つのオーディオ信号を備える、オーディオストリームを取得し、一次ネットワーク接続スピーカの物理的場所を説明する、場所データを取得し、少なくとも１つのオーディオ信号を空間表現に変換し、仮想スピーカレイアウトに基づいて、空間表現を変換し、一次ネットワーク接続スピーカのホーン毎に、別個のオーディオ信号を生成し、ホーン毎に、少なくとも１つのドライバを使用して、一次ネットワーク接続スピーカのホーンに対応する、別個のオーディオ信号を再生するように構成される、一次ネットワーク接続スピーカを含む。
さらなる実施形態では、空間オーディオシステムはさらに、少なくとも１つの二次ネットワーク接続スピーカを含み、一次ネットワーク接続スピーカはさらに、少なくとも１つの二次ネットワーク接続スピーカの物理的場所を説明する場所データを取得し、少なくとも１つの二次ネットワーク接続スピーカのホーン毎に、別個のオーディオ信号を生成し、別個のオーディオ信号毎に、別個のオーディオ信号をホーンと関連付けられる少なくとも１つの二次ネットワーク接続スピーカに伝送するように構成される。
さらに別の実施形態では、一次ネットワーク接続スピーカは、スーパー一次ネットワーク接続スピーカであって、スーパー一次ネットワーク接続スピーカはさらに、オーディオストリームを第２の一次ネットワーク接続スピーカに伝送するように構成される。
なおもさらなる実施形態では、一次ネットワーク接続スピーカは、他のネットワーク接続スピーカによって参加可能な無線ネットワークを確立することが可能である。
さらに別の実施形態では、一次ネットワーク接続スピーカは、制御デバイスによって制御可能である。
さらに別の実施形態では、制御デバイスは、スマートフォンである。
別の付加的実施形態では、一次ネットワーク接続スピーカは、オーディオ信号のメルスペクトログラムを生成し、メルスペクトログラムをオーディオ信号を可視化螺旋として可視化する際に使用するためのメタデータとして可視化デバイスに伝送することが可能である。
さらなる付加的実施形態では、生成された別個のオーディオ信号は、直接、ドライバを駆動するために使用されることができる。
別の実施形態では、その上、仮想スピーカレイアウトは、仮想スピーカのリングを含む。
さらなる実施形態では、その上、仮想スピーカのリングは、少なくとも８つの仮想スピーカを含む。
なおもさらに別の実施形態では、仮想スピーカレイアウト内の仮想スピーカは、規則的に離間される。
別の実施形態では、空間オーディオシステムは、第１の場所における第１のネットワーク接続スピーカと、第２の場所における第２のネットワーク接続スピーカとを含み、第１のネットワーク接続スピーカおよび第２のネットワーク接続スピーカは、少なくとも１つの音オブジェクトが、第１のモードビーム形成スピーカによって生成されたドライバ信号に基づいて、第１の場所および第２の場所と異なる場所にレンダリングされるように、同期して、オーディオ信号をレンダリングするように構成される。
さらなる実施形態では、空間オーディオシステムはさらに、第１および第２のネットワーク接続スピーカと同期して、オーディオ信号をレンダリングするように構成される、第３の場所における第３のネットワーク接続スピーカを含む。
さらに別の実施形態では、空間オーディオシステムはさらに、第１、第２、および第３のネットワーク接続スピーカと同期して、オーディオ信号をレンダリングするように構成される、第４の場所における第４のネットワーク接続スピーカを含み、第４の場所は、第１、第２、および第３の場所より高い高度にある。
なおもさらなる実施形態では、第１、第２、第３、および第４の場所は全て、部屋内にあって、第４のモードビーム形成スピーカは、部屋の天井に接続される。
別の実施形態では、空間オーディオシステムは、少なくとも１つのオーディオ信号を備える、オーディオストリームを取得し、一次ネットワーク接続スピーカの物理的場所を説明する、場所データを取得し、少なくとも１つのオーディオ信号を空間表現に変換し、仮想スピーカレイアウトに基づいて、空間表現を変換し、一次ネットワーク接続スピーカのホーン毎に、別個の一次オーディオ信号を生成し、複数の二次ネットワーク接続スピーカのホーン毎に、別個の二次オーディオ信号を生成し、各別個の二次オーディオ信号を、個別のホーンを備える、二次ネットワーク接続スピーカに伝送し、複数の二次ネットワーク接続スピーカと同期された方式において、ホーン毎に、少なくとも１つのドライバを使用して、一次ネットワーク接続スピーカのホーンに対応する、一次の別個のオーディオ信号を再生することが可能な一次ネットワーク接続スピーカを含む。
別の実施形態では、空間オーディオをレンダリングする方法は、一次ネットワーク接続スピーカを使用して、第１のフォーマットにおいてエンコーディングされたオーディオ信号を取得するステップと、一次ネットワーク接続スピーカを使用して、オーディオ信号を空間表現に変換するステップと、一次ネットワーク接続スピーカを使用して、空間表現に基づいて、複数のドライバ信号を生成するステップであって、各ドライバ信号は、ホーンと結合される、少なくとも１つのドライバに対応する、ステップと、複数のドライバ信号および対応する少なくとも１つのドライバを使用して、空間オーディオをレンダリングするステップとを含む。
さらなる実施形態では、本方法はさらに、複数のドライバ信号の一部を少なくとも１つの二次ネットワーク接続スピーカに伝送するステップと、同期された方式において、一次ネットワーク接続スピーカおよび少なくとも１つの二次ネットワーク接続スピーカを使用して、空間オーディオレンダリングするステップとを含む。
さらに別の実施形態では、本方法はさらに、オーディオ信号のメルスペクトログラムを生成するステップと、メルスペクトログラムをオーディオ信号を可視化螺旋として可視化する際に使用するためのメタデータとして可視化デバイスに伝送するステップを含む。
なおもさらなる実施形態では、複数のドライバ信号の生成は、仮想スピーカレイアウトに基づく。
さらに別の実施形態では、仮想スピーカレイアウトは、仮想スピーカのリングを含む。
さらに別の実施形態では、仮想スピーカのリングは、少なくとも８つの仮想スピーカを含む。
別の付加的実施形態では、仮想スピーカレイアウト内の仮想スピーカは、規則的に離間される。
さらなる付加的実施形態では、一次ネットワーク接続スピーカは、スーパー一次ネットワーク接続スピーカであって、本方法はさらに、オーディオ信号を第２の一次ネットワーク接続スピーカに伝送するステップと、第２の一次ネットワーク接続スピーカを使用して、オーディオ信号を第２の空間表現に変換するステップと、第２の一次ネットワーク接続スピーカを使用して、第２の空間表現に基づいて、第２の複数のドライバ信号を生成するステップであって、各ドライバ信号は、ホーンと結合される、少なくとも１つのドライバに対応する、ステップと、複数のドライバ信号および対応する少なくとも１つのドライバを使用して、空間オーディオをレンダリングするステップとを含む。
別の実施形態では、その上、第２の空間表現は、第１の空間表現と同じである。
さらなる実施形態では、その上、空間表現に基づいて、複数のドライバ信号を生成するステップはさらに、仮想スピーカレイアウトを使用するステップを含む。
なおもさらに別の実施形態では、仮想スピーカレイアウトは、仮想スピーカのリングを含む。
さらに別のさらなる実施形態では、仮想スピーカのリングは、少なくとも８つの仮想スピーカを含む。
さらに別の付加的実施形態では、仮想スピーカレイアウト内の仮想スピーカは、規則的に離間される。
別の実施形態では、ネットワーク接続スピーカは、複数のホーンであって、３つのホーンはそれぞれ、複数のドライバと嵌合される、複数のホーンと、一対の対向同軸ウーファとを含み、３つの複数のドライバは、空間オーディオをレンダリングすることが可能である。
さらなる実施形態では、各複数のドライバは、ツイータと、ミッドとを含む。
さらに別の実施形態では、ツイータおよびミッドは、同軸であって、同一方向に放音するように構成される。
なおもさらなる実施形態では、ツイータは、モードビーム形成スピーカの中心に対してミッドにわたって位置する。
さらに別の実施形態では、一対のウーファのうちの一方は、ウーファの中心を通るチャネルを含む。
さらに別の実施形態では、ウーファは、三軸カーボンフィバ織物から構築される、ダイヤフラムを含む。
別の付加的実施形態では、複数のホーンは、同一平面にあって、一対のウーファ内の第１のウーファは、正の方向にホーンの平面に対して垂直に放音するように構成され、一対のウーファ内の第２のウーファは、負の方向にホーンの平面に対して垂直に放音するように構成される。
さらなる付加的実施形態では、複数のホーンは、リング状に構成される。
別の実施形態では、その上、複数のホーンは、３つのホーンを含む。
さらなる実施形態では、その上、複数のホーンは、規則的に離間される。
なおもさらに別の実施形態では、ホーンは、単一コンポーネントを形成する。
さらに別のさらなる実施形態では、複数のホーンは、シールを２つのカバー間に形成する。
さらに別の付加的実施形態では、複数のドライバのための少なくとも１つの後方容積が、３つのホーン間に含有される。
なおもさらに付加的実施形態では、ネットワーク接続スピーカはさらに、スタンドに接続されるように構成される、ステムを含む。
さらに別の実施形態では、その上、ステムおよびスタンドは、バヨネット係止システムを使用して接続されるように構成される。
なおもさらなる実施形態では、その上、ステムは、再生制御信号をネットワーク接続スピーカに提供することが可能なリングを含む。
さらに別の付加的実施形態では、ネットワーク接続スピーカは、天井から吊架されるように構成される。
別の実施形態では、ラウドスピーカのためのホーンアレイは、リングが、半径方向対称性を維持しながら、複数のホーンを形成するように成型される、ユニボディリングを含む。
さらなる実施形態では、ホーンアレイは、３Ｄ印刷を使用して製造される。
さらに別の実施形態では、複数のホーンは、１２０度オフセットされた３つのホーンを含む。
別の実施形態では、オーディオ可視化方法は、オーディオ信号を取得するステップと、メルスペクトログラムをオーディオ信号から生成するステップと、１ピッチオフセットされた螺旋の各回旋上の点が、その個別のオクターブ内の同一音符を反映させるように、メルスペクトログラムを螺旋上にプロットするステップと、各音符の音量が、螺旋の外向き屈曲によって可視化されるように、振幅に基づいて、螺旋構造をワーピングさせるステップとを含む。
さらなる実施形態では、螺旋は、上方から可視化される。
さらに別の実施形態では、螺旋は、着色される。
なおもさらなる実施形態では、螺旋の各回旋は、螺旋の回旋毎に繰り返される色の範囲を使用して着色される。
さらに別の実施形態では、色の飽和は、螺旋の回旋毎に減少する。
さらに別の実施形態では、色の透明度は、螺旋の回旋毎に減少する。
別の付加的実施形態では、螺旋構造は、ワーピングされると、螺旋の軸に向かって軌跡から離れる。
別の実施形態では、ネットワーク接続スピーカを構築する方法は、複数の外向きに向いたホーンをリング状に構築するステップと、複数のドライバを各外向きに向いたホーンに嵌合させるステップと、１つのウーファが、リングの上方にあって、１つのウーファが、リングの下方にあるように、同軸の一対の対向して向いているウーファを嵌合させるステップとを含む。
さらなる実施形態では、複数の外向きに向いたホーンをリング状に構築するステップはさらに、複数の外向きに向いたホーンを単一コンポーネントとして加工するステップを含む。
さらに別の実施形態では、複数の外向きに向いたホーンは、付加製造を使用して構築される。
なおもさらなる実施形態では、構築方法はさらに、ロッドをウーファのうちの１つのダイヤフラムの中心を通して設置するステップを含む。
さらに別の実施形態では、ウーファが、ロッドをウーファ上のダイヤフラムの中心を通して収容するように、二重外周部を用いて構築される。
さらに別の実施形態では、各ウーファは、三軸カーボンフィバ織物から作製される、ダイヤフラムを含む。
別の付加的実施形態では、構築方法はさらに、複数のドライバが、リング、第１のカバー、および第２のカバーによって作成された容積内にあるように、第１のカバーをリングの上部にわたって嵌合させ、第２のカバーをリングの底部にわたって嵌合させるステップを含む。
さらなる付加的実施形態では、各ホーンは、複数のドライバ内の一意のツイータおよび一意のミッドと関連付けられる。
別の実施形態では、その上、構築方法はさらに、少なくとも１つのマイクロホンをリング上の各ホーン間に設置するステップを含む。
付加的実施形態および特徴は、部分的に、続く説明に記載され、部分的に、明細書の精査に応じて当業者に明白となるであろう、または本発明の実践によって習得され得る。本発明の性質および利点のさらなる理解は、明細書の残りの部分と、本開示の一部を形成する、図面とを参照することによって実現され得る。
説明および請求項は、本発明の例示的実施形態として提示され、本発明の範囲の完全な列挙として解釈されるべきではない、以下の図およびデータグラフを参照して、より完全に理解されるであろう。
図１Ａは、本発明のある実施形態による、空間オーディオシステムのための例示的系統図である。
図１Ｂは、本発明のある実施形態による、空間オーディオシステムのための例示的系統図である。
図１Ｃは、本発明のある実施形態による、ソース入力デバイスを含む、空間オーディオシステムのための例示的系統図である。
図２Ａは、本発明のある実施形態による、空間オーディオシステムのための例示的部屋のレイアウトである。
図２Ｂ－２Ｆは、本発明のある実施形態による、図２Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。 図２Ｂ－２Ｆは、本発明のある実施形態による、図２Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。 図２Ｂ－２Ｆは、本発明のある実施形態による、図２Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。 図２Ｂ－２Ｆは、本発明のある実施形態による、図２Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。 図２Ｂ－２Ｆは、本発明のある実施形態による、図２Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。
図２Ｇは、本発明のある実施形態による、図２Ａの例示的部屋のレイアウト内のセルの周囲の例示的二次アンビソニックスを図示する。
図３Ａは、本発明のある実施形態による、空間オーディオシステムのための例示的部屋のレイアウトを図示する。
図３Ｂは、本発明のある実施形態による、図３Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。
図４Ａは、本発明のある実施形態による、空間オーディオシステムのための例示的部屋のレイアウトを図示する。
図４Ｂは、本発明のある実施形態による、図４Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。
図５Ａは、本発明のある実施形態による、空間オーディオシステムのための例示的部屋のレイアウトを図示する。
図５Ｂは、本発明のある実施形態による、図５Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。
図６Ａは、本発明のある実施形態による、空間オーディオシステムのための例示的部屋のレイアウトを図示する。
図６Ｂは、本発明のある実施形態による、図６Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。
図７Ａは、本発明のある実施形態による、空間オーディオシステムのための例示的部屋のレイアウトを図示する。
図７Ｂは、本発明のある実施形態による、図７Ａの例示的部屋のレイアウト内のセルの周囲の例示的一次アンビソニックスを図示する。
図８Ａは、本発明のある実施形態による、セルを含有する、例示的家を図示する。
図８Ｂは、本発明のある実施形態による、種々のグループに編成される、例示的家を図示する。
図８Ｃは、本発明のある実施形態による、種々のゾーンに編成される、例示的家を図示する。
図８Ｄは、本発明のある実施形態による、セルを含有する、例示的家を図示する。
図９は、本発明のある実施形態による、空間オーディオシステムを図示する。
図１０は、本発明のある実施形態による、空間オーディオシステムを使用して音場をレンダリングするためのプロセスを図示する。
図１１は、本発明のある実施形態による、空間オーディオ制御および再現のためのプロセスを図示する。
図１２Ａ－１０Ｄは、本発明のある実施形態による、システムエンコーダおよびスピーカノードエンコーダ内の音オブジェクトの相対的位置を図示する。
図１３Ａ－１１Ｄは、本発明のある実施形態による、５．１チャネルオーディオを３つのセルにマッピングするための例示的プロセスを視覚的に図示する。 図１３Ａ－１１Ｄは、本発明のある実施形態による、５．１チャネルオーディオを３つのセルにマッピングするための例示的プロセスを視覚的に図示する。 図１３Ａ－１１Ｄは、本発明のある実施形態による、５．１チャネルオーディオを３つのセルにマッピングするための例示的プロセスを視覚的に図示する。 図１３Ａ－１１Ｄは、本発明のある実施形態による、５．１チャネルオーディオを３つのセルにマッピングするための例示的プロセスを視覚的に図示する。
図１４は、本発明のある実施形態による、音情報を処理するためのプロセスを図示する。
図１５は、本発明のある実施形態による、セルのドライバアレイ内のドライバのセットを図示する。
図１６は、本発明のある実施形態による、拡散および指向方式において、空間オーディオをレンダリングするためのプロセスを図示する。
図１７は、本発明のある実施形態による、仮想スピーカ設置をセルに伝搬するためのプロセスである。
図１８Ａは、本発明のある実施形態による、セルを図示する。
図１８Ｂは、本発明のある実施形態による、セルのハロのレンダリングである。
図１８Ｃは、本発明のある実施形態による、ハロの断面である。
図１８Ｄは、本発明のある実施形態による、ハロの単一ホーンのためのドライバの同軸整合の分解図を図示する。
図１８Ｅは、本発明のある実施形態による、ハロ内のホーン毎にソケット挿入されたドライバのセットを図示する。
図１８Ｆは、本発明のある実施形態による、ハロの水平断面である。
図１８Ｇは、本発明のある実施形態による、回路基板環帯およびセルのコアの筐体の底部部分を図示する。
図１８Ｈは、本発明のある実施形態による、ハロおよびコアの例証である。
図１８Ｉは、本発明のある実施形態による、ハロ、コア、およびクラウンの例証である。
図１８Ｊは、本発明のある実施形態による、ハロ、コア、クラウン、およびラングの例証である。
図１８Ｋおよび１６Ｌは、本発明のある実施形態による、対向ウーファを図示する。 図１８Ｋおよび１６Ｌは、本発明のある実施形態による、対向ウーファを図示する。
図１８Ｍおよび１６Ｎは、本発明のある実施形態による、対向ウーファの断面である。 図１８Ｍおよび１６Ｎは、本発明のある実施形態による、対向ウーファの断面である。
図１８Ｏは、本発明のある実施形態による、ステムを伴う、セルを図示する。
図１８Ｐは、本発明のある実施形態による、ステムの底部上の例示的コネクタを図示する。
図１８Ｑは、本発明のある実施形態による、セルの断面である。
図１８Ｒは、本発明のある実施形態による、セルの分解図である。
図１９Ａ－１７Ｄは、本発明の実施形態による、いくつかのスタンド変形上のセルを図示する。 図１９Ａ－１７Ｄは、本発明の実施形態による、いくつかのスタンド変形上のセルを図示する。 図１９Ａ－１７Ｄは、本発明の実施形態による、いくつかのスタンド変形上のセルを図示する。 図１９Ａ－１７Ｄは、本発明の実施形態による、いくつかのスタンド変形上のセルを図示する。
図２０は、本発明のある実施形態による、ステム上の制御リングを図示する。
図２１は、本発明のある実施形態による、ステムおよび制御リングの断面である。
図２２は、本発明のある実施形態による、制御リング回転の例証である。
図２３は、本発明のある実施形態による、回転を検出するための制御リング機構の一部の拡大図である。
図２４は、本発明のある実施形態による、制御リングクリックの例証である。
図２５は、本発明のある実施形態による、クリックを検出するための制御リング機構の一部の拡大図である。
図２６は、本発明のある実施形態による、制御リング垂直移動の例証である。
図２７は、本発明のある実施形態による、垂直移動を検出するための制御リング機構の一部の拡大図である。
図２８は、本発明のある実施形態による、二次平面上の回転を検出するための制御リング機構の一部の拡大図である。
図２９は、本発明のある実施形態による、バヨネットベースの係止システムを使用してステムをスタンドに係止するためのプロセスを視覚的に図示する。
図３０は、本発明のある実施形態による、バヨネットベースの係止システムの断面である。
図３１Ａおよび３１Ｂは、本発明のある実施形態による、バヨネットベースの係止システムのための係止および係止解除位置を図示する。
図３２は、本発明のある実施形態による、セル回路網を図示する、ブロック図である。
図３３は、本発明のある実施形態による、セルの例示的ハードウェア実装を図示する。
図３４は、本発明のある実施形態による、ソースマネージャを図示する。
図３５は、本発明のある実施形態による、位置マネージャを図示する。
図３６は、本発明のある実施形態による、空間内の音オブジェクトの設置を制御するための例示的ＵＩを図示する。
図３７Ａおよび３７Ｂは、本発明のある実施形態による、空間内の音オブジェクトの設置を制御し、分裂させるための例示的ＵＩを図示する。 図３７Ａおよび３７Ｂは、本発明のある実施形態による、空間内の音オブジェクトの設置を制御し、分裂させるための例示的ＵＩを図示する。
図３８は、本発明のある実施形態による、音オブジェクトの音量およびレンダリングを制御するための例示的ＵＩを図示する。
図３９は、本発明のある実施形態による、拡張現実環境内の音オブジェクトを図示する。
図４０は、本発明のある実施形態による、拡張現実環境内の音オブジェクトを図示する。
図４１は、本発明のある実施形態による、構成動作のための例示的ＵＩを図示する。
図４２は、本発明のある実施形態による、統合されたデジタル楽器のための例示的ＵＩを図示する。
図４３は、本発明のある実施形態による、波ピンニングを管理するための例示的ＵＩを図示する。
図４４は、本発明のある実施形態による、音オブジェクトの移動を追跡するための一連のＵＩ画面を図示する。
図４５は、本発明のある実施形態による、あらゆる場所におけるステレオの感覚を作成するための空間内のオーディオオブジェクトを概念的に図示する。
図４６は、本発明のある実施形態による、仮想ステージに対するオーディオオブジェクトの設置を概念的に図示する。
図４７は、本発明のある実施形態による、オーディオオブジェクトを３Ｄ空間内に設置するステップを概念的に図示する。
図４８は、本発明のある実施形態による、一次セルまたは二次セルとして作用するように構成され得る、セルのソフトウェアを概念的に図示する。
図４９は、本発明のある実施形態による、音サーバソフトウェア実装を概念的に図示する。
図５０は、本発明のある実施形態による、モノソースをエンコーディングするために利用され得る、空間エンコーダを図示する。
図５１は、本発明のある実施形態による、ソースエンコーダを図示する。
図５２は、本発明のある実施形態による、３つのホーンのセット毎のフィードに対応する3つのオーディオ信号に基づく個々のドライバフィードの生成を示す、グラフである。
図５３は、本発明のある実施形態による、スーパー一次セルを伴う階層内のオーディオデータ分布を図示する。
図５４は、本発明のある実施形態による、２つのスーパー一次セルを伴う階層内のオーディオデータ分布を図示する。
図５５は、本発明のある実施形態による、Ｗｉ－Ｆｉルータを経由したセル間の通信を伴う、スーパー一次セルを伴う階層内のオーディオデータ分布を図示する。
図５６は、本発明のある実施形態による、スーパー一次セルを伴わない、オーディオデータ分布を図示する。
図５７は、本発明のある実施形態による、一次セル選択プロセスのためのフローチャートである。
図５８Ａおよび５８Ｂは、それぞれ、本発明のある実施形態による、側面および上面の視点からの可視化螺旋を図示する。
図５９は、本発明のある実施形態による、螺旋ベースの可視化を図示する。
図６０は、本発明のある実施形態による、オーディオストリーム内の異なるトラックのための４つの螺旋ベースの可視化を図示する。
ここで図面に目を向けると、空間オーディオレンダリングのためのシステムおよび方法が、図示される。本発明の多くの実施形態による、空間オーディオシステムは、「セル」と称され得る、１つ以上のネットワーク接続スピーカを含む。いくつかの実施形態では、空間オーディオシステムは、恣意的オーディオソースを入力として受信し、空間内のセルの具体的数および設置に基づいて決定されるように、空間オーディオをレンダリングすることが可能である。このように、スピーカの具体的数および／または設置を仮定してエンコーディングされたオーディオソース（例えば、チャネルベースのサラウンド音オーディオフォーマット）は、オーディオ再現がスピーカレイアウトから結合解除されるように、再エンコーディングされることができる。再エンコーディングされたオーディオは、次いで、音場をレンダリングするために空間オーディオシステムに利用可能なセルの特定の数およびレイアウトに特有であるようにレンダリングされることができる。いくつかの実施形態では、空間オーディオの品質は、能動指向性制御を介して、指向性オーディオの使用を通して向上される。多くの実施形態では、空間オーディオシステムは、（限定ではないが）モードビーム形成を含む、技法を使用して、指向性オーディオの生成を有効にする、ドライバのアレイを含む、セルを採用する。このように、種々の空間オーディオフォーマットをレンダリングし得る、空間オーディオシステムが、単一セルのみを使用して構築され、付加的セルを伴って向上されることができる（潜在的に、経時的入手に起因して）。
上記に述べられたように、典型的チャネルベースのサラウンド音オーディオシステムの限界は、具体的数のスピーカおよびそれらのスピーカの事前に規定された設置に関する要件である。（限定ではないが）アンビソニック技法、ベクトルベースの振幅パンニング（ＶＢＡＰ）技法、距離ベースの振幅パンニング（ＤＢＡＰ）技法、およびｋ－最近傍パンニング（ＫＮＮパンニング）技法等の空間オーディオ再現技法が、チャネルベースのオーディオの限界に対処し得る、スピーカレイアウト独立オーディオフォーマットを提供するために開発された。音場再現技法としてのアンビソニックスの使用は、最初に、Ｇｅｒｚｏｎ， Ｍ．Ａ．， １９７３．Ｐｅｒｉｐｈｏｎｙ：Ｗｉｔｈ－ｈｅｉｇｈｔ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ， ２１（１）， ｐｐ．２－１０に説明された。アンビソニックスは、球面調和関数を使用して、音場の表現を有効にする。一次アンビソニックスは、一次球面調和関数を使用した音場の表現を指す。典型的一次アンビソニックエンコーディングによって生成された信号のセットは、多くの場合、「Ｂフォーマット」信号と称され、特定の原点場所における音圧に関するＷと、正面－マイナス－背面音圧勾配に関するＸと、左－マイナス－右音圧勾配に関するＹと、上－マイナス－下音圧勾配に関するＺと標識された成分を含む。Ｂフォーマットの重要な特徴は、それが音場のスピーカ独立表現であるということである。アンビソニックエンコーディングは、それらがスピーカ設置から独立するようにソース方向を反映させることを特徴とする。
従来の空間オーディオ再現システムは、概して、これらの空間オーディオ再現システムが、多くの場合、具体的スピーカ設置を伴う、多数のスピーカを要求するという点で、チャネルベースのサラウンド音オーディオシステムと類似制約によって限定される。例えば、音場のアンビソニック表現からの空間オーディオのレンダリングは、理想的には、円形上または球体の表面上で聴取者の周囲に均一に配列されるラウドスピーカのグループの使用を伴う。スピーカが、このように設置されると、アンビソニックデコーダは、スピーカ毎に、Ｂフォーマット信号の線形組み合わせを使用して、所望の音場を再作成するであろう、オーディオ入力信号を生成することができる。
本発明の多くの実施形態による、システムおよび方法は、１つ以上のオーディオソースを（限定ではないが）アンビソニック表現、ＶＢＡＰ表現、ＶＢＡＰ表現、ＤＢＡＰ表現および／またはｋＮＮパンニング表現等の空間オーディオ表現にエンコーディングすることによって、セルの恣意的数および／または設置を使用して、音場の生成を有効にする。いくつかの実施形態では、空間オーディオシステムは、ある数の空間オーディオオブジェクト作成するように、オーディオソースをデコーディングする。オーディオソースが、チャネルベースのオーディオソースである場合、各チャネルが、所望のサラウンド音スピーカレイアウトにおいて空間オーディオシステムによって設置された空間オーディオオブジェクトに割り当てられることができる。オーディオソースが、マスタ記録のセットであるとき、空間オーディオシステムは、各トラックに、帯域性能レイアウトテンプレートに基づいて、３Ｄ空間内に設置され得る、別個の空間オーディオオブジェクトを割り当てることができる。多くの実施形態では、ユーザは、いくつかのユーザ入力モダリティのいずれかを通して、空間オーディオオブジェクトの設置を修正することができる。いったんオーディオオブジェクトの設置が、決定されると、オーディオオブジェクトの空間エンコーディング（例えば、アンビソニックエンコーディング）が、作成されることができる。
種々の実施形態では、空間オーディオシステムは、一次セルおよび二次セルの階層を採用する。多くの実施形態では、一次セルは、それが統制する二次セルのために、空間エンコーディングを生成し、続いて、空間オーディオを別個のストリーム（またはストリームのセット）にデコーディングすることに関与する。これを行うために、一次セルは、オーディオソースを使用して、空間オーディオオブジェクトのセットを取得することができ、次いで、オーディオオブジェクトの空間表現を取得し、次いで、セルのレイアウトに基づいて、各オーディオオブジェクトの空間表現をデコーディングすることができる。一次セルは、次いで、それが統制する、各二次セルの場所および配向に基づいて、情報を再エンコーディングすることができ、エンコーディングされたオーディオストリームをその個別の二次セルにユニキャストすることができる。二次セルは、ひいては、その受信されたオーディオストリームをレンダリングし、ドライバ入力を生成することができる。
いくつかの実施形態では、空間エンコーディングは、ネスト化されたアーキテクチャ内で実施され、空間オブジェクトをアンビソニック表現にエンコーディングすることを伴う。多くの実施形態では、ネスト化されたアーキテクチャ内で実施される空間エンコーディングは、より高次のアンビソニックス（例えば、音場表現）、ＶＢＡＰ表現、ＤＢＡＰ表現、および／またはｋＮＮパンニング表現を利用する。容易に理解され得るように、種々の空間オーディオエンコーディング技法のいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、ネスト化されたアーキテクチャ内で利用されることができる。さらに、オーディオオブジェクトの空間表現が、デコーディングされ、オーディオ信号を個々のセルに提供する、具体的様式は、（限定ではないが）オーディオオブジェクトの数、仮想スピーカ（ネスト化されたアーキテクチャが仮想スピーカを利用する）の数、および／またはセルの数を含む、要因に依存し得る。
いくつかの実施形態では、空間オーディオシステムは、（限定ではないが）音響測距、および空間オーディオシステムと通信し得る、ユーザデバイスの一部である、カメラを使用した視覚的マッピングを含む、種々の測距技法を使用して、セル間の空間関係を決定することができる。多くの実施形態では、セルは、マイクロホンアレイを含み、配向および間隔の両方を決定することができる。いったんセル間の空間関係が、把握されると、本発明のいくつかの実施形態による、空間オーディオシステムは、セルレイアウトを利用して、そのネスト化されたエンコーディングアーキテクチャを構成することができる。多数の実施形態では、セルは、その物理的環境にマッピングすることができ、これはさらに、空間オーディオのエンコーディングおよび／またはデコーディングにおいて使用されることができる。例えば、セルは、部屋インパルス応答を生成し、その環境をマッピングすることができる。例えば、部屋インパルス応答は、壁、床、および／または天井までの距離を見出し、かつ部屋によって作成された音響問題を識別および／または補正するために使用され得る。容易に理解され得るように、種々の技法のいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、部屋インパルス応答を生成し、および／または空間オーディオレンダリングにおいて使用するための環境をマッピングするために利用されることができる。
上記に述べられたように、空間オーディオシステムは、（限定ではないが）モードビーム形成を含む、技法を利用して、指向性オーディオを生成する、セルを採用することができる。多くの実施形態では、一次セルは、それ自体とその統制される二次セルとの間の空間関係に関する情報を利用して、各具体的セル上での再生のために設計されるオーディオストリームを生成することができる。一次セルは、空間オーディオ再生を協調させるために、それが統制する各二次セルのドライバのセット毎に、別個のオーディオストリームをユニキャストすることができる。理解され得るように、伝送されるチャネルの数は、セルのドライバおよびホーンの数（例えば、３．１、５等）に基づいて修正されることができる。オーディオの空間制御を前提として、任意の数の異なる従来のサラウンド音スピーカレイアウト（または実際に任意の恣意的スピーカレイアウト）が、従来の空間オーディオレンダリングを使用して、類似音場を生産するために要求されるであろう、従来のスピーカの数より有意に少ない、セルの数を使用して、レンダリングされることができる。さらに、オーディオソースのチャネルのアップミックスおよび／またはダウンミックスが、ソースチャネルの数と異なり得る、オーディオオブジェクトの数をレンダリングするために利用されることができる。
種々の実施形態では、セルは、例えば、ユーザが、セルに対するその場所にかかわらず、ステレオオーディオシステムの焦点に存在するかのように、音内に「没入」されている聴覚的感覚を提供するために利用されることができる。多くの実施形態では、空間オーディオシステムによって生産された音場は、拡散音をレンダリングすることが可能なセルの使用を通して、音エネルギーを空間内でより均一に拡散させるように向上されることができる。いくつかの実施形態では、セルは、直接音対残響音の知覚される比率を制御するように、指向性オーディオをレンダリングすることによって、拡散オーディオを生成することができる。容易に理解され得るように、空間オーディオシステムが拡散オーディオを生成する、具体的様式は、空間オーディオシステムによって占有される空間の部屋音響および具体的用途の要件に依存し得る。
いくつかの実施形態では、空間オーディオを生成し得る、セルは、ドライバのアレイを含む。多くの実施形態では、ドライバのアレイは、水平リングの周囲に分散される。いくつかの実施形態では、セルはまた、（限定ではないが）垂直軸上に配向される２つの対向して向いているウーファ等の付加的ドライバを含むことができる。ある実施形態では、ドライバの水平リングは、水平に整合されたドライバの３つのセットを含むことができ、各セットは、ミッドドライバと、ツイータとを含み、本明細書では、「ハロ」と称される。いくつかの実施形態では、ミッドドライバおよびツイータの各セットは、ホーンにフィードし、円形ホーン配列が、指向性を向上させるために使用されることができる。ホーンの特定の形態は、使用される特定のドライバに従い得るが、ホーン構造は、本明細書では、「ハロ」と称される。多くの実施形態では、本ドライバ配列は、ハロと組み合わせて、モードビーム形成を使用して、オーディオビーム操向を有効にすることができる。容易に理解され得るように、異なる数およびタイプのドライバを有するセル、（限定ではないが）ドライバの四面体構成等のドライバの異なる設置を有するセル、水平および垂直ビーム形成の両方が可能なセル、および／または指向性オーディオを生産することが不可能なセルを含む、種々のセルのいずれかが、本発明の種々の実施形態による、空間オーディオシステム内で利用されることができる。
実際、本発明の多くの実施形態は、ウーファ、ミッドドライバ、および／またはツイータを含まない、セルを含む。種々の実施形態では、より小さい形状因子のセルが、電球ソケットの中に嵌合するようにパッケージ化されることができる。多数の実施形態では、複数のハロを伴う、より大きいセルが、構築されることができる。一次セルは、異なる音響性質および／またはドライバ／ホーン構成を有する、二次セルのためのオーディオストリームを生成するようにネゴシエートすることができる。例えば、２つのハロを伴う、より大きいセルは、６チャネルのオーディオを必要とし得る。
加えて、本発明の種々の実施形態による、空間オーディオシステムは、（限定ではないが）屋内空間、屋外空間、および（限定ではないが）乗用車等の車両の内部を含む、種々の環境のいずれか内に実装されることができる。いくつかの実施形態では、空間オーディオシステムは、作曲ツールおよび／または演奏用楽器として利用されることができる。容易に理解され得るように、本発明の多くの実施形態による、空間オーディオシステムの構造、設置、および／または使用は、具体的用途の要件に基づいて決定されることができる。
煩雑な配線要件を排除するために、多数の実施形態では、セルは、音場のレンダリングを協調させるために、他のセルと無線通信することが可能である。メディアが、ローカルソースから取得されることができるが、種々の実施形態では、セルは、ネットワークに接続し、メディアコンテンツおよび他の関連データを取得することが可能である。多くの実施形態では、ネットワーク接続ソース入力デバイスは、直接、再生のためのメディアコンテンツを提供する、デバイスに接続するために使用されることができる。さらに、セルは、その独自のネットワークを作成し、通信の間のトラフィックベースの待ち時間を低減させることができる。ネットワークを確立するために、セルは、通信および処理タスクを効率化するために、それらの間に階層を確立することができる。
空間オーディオシステムが、指向性オーディオを生成し得る、単一セルを含むとき、セルのドライバのためのオーディオ入力を生産する、空間オーディオシステムのネスト化されたアーキテクチャと関連付けられる、エンコーディングおよびデコーディングプロセスは、単一セルの処理システムによって実施されることができる。空間オーディオシステムが、複数のセルを利用して、音場を生産するとき、１つ以上のオーディオソースをデコーディングし、デコーディングされたオーディオソースを空間的にエンコーディングし、空間オーディオをデコーディングし、エリア内のセル毎に、それを再エンコーディングするステップと関連付けられる、処理は、典型的には、一次セルによってハンドリングされる。一次セルは、次いで、個々のオーディオ信号を各統制される二次セルにユニキャストすることができる。いくつかの実施形態では、セルは、それぞれ、一次セルを含む、セルの複数のセットによるオーディオソースの同期再生を協調させる、スーパー一次セルとして作用することができる。
しかしながら、いくつかの実施形態では、一次セルは、仮想スピーカのためのオーディオ信号を統制される二次セルに、空間レイアウトメタデータを１つ以上の二次セルに提供する。いくつかの実施形態では、空間レイアウトメタデータは、（限定ではないが）セル間の空間関係、セルと１つ以上のオーディオオブジェクトとの間の空間関係、１つ以上のセルと１つ以上の仮想スピーカ場所との間の空間関係、および／または部屋音響に関する情報を含む、情報を含むことができる。容易に理解され得るように、一次セルによって提供される具体的空間レイアウトメタデータは、主として、具体的空間オーディオシステム実装の要件によって決定される。二次セルの処理システムは、受信されたオーディオ信号および空間レイアウトメタデータを使用して、二次セルのドライバのためのオーディオ入力を生産することができる。
多くの実施形態では、空間オーディオシステムによる音場のレンダリングは、個々のセル上のタッチインターフェース、セル内に組み込まれる１つ以上のマイクロホンおよび／または、空間オーディオシステムと通信するように構成される別のデバイスによって検出される音声コマンド、および／またはモバイルデバイス、パーソナルコンピュータ、および／または他の形態の消費者電子デバイス上で実行されるアプリケーションソフトウェアを含む、いくつかの異なる入力モダリティのいずれかを使用して、制御されることができる。多くの実施形態では、ユーザインターフェースが、オーディオソースの選択および音場を選択されたオーディオソースからレンダリングするために利用されるセルの識別を有効にする。本発明の多くの実施形態による、空間オーディオシステムによって提供されるユーザインターフェースはまた、ユーザが、空間オーディオオブジェクトの設置を制御することを有効にすることができる。例えば、ユーザインターフェースは、ユーザがチャネルベースのサラウンド音オーディオソースからのオーディオチャネルを空間内に設置することを有効にする、モバイルデバイス上に提供されることができる。別の実施例では、ユーザインターフェースは、空間内の異なるミュージシャンおよび／または楽器に対応する、オーディオオブジェクトの設置を有効にしてもよい。
本発明の多くの実施形態による、オーディオオブジェクトが空間内で移動されることを有効にする空間オーディオシステムの能力は、空間オーディオシステムが、ユーザを追跡するように、音場をレンダリングすることを有効にする。一例として、オーディオは、仮想現実、複合現実、または拡張現実ヘッドセットを装着しているユーザの頭部姿勢を追跡するように、レンダリングされることができる。加えて、空間オーディオは、ビデオコンテンツを視聴するために使用されているタブレットコンピュータの配向を追跡するように、レンダリングされることができる。多くの実施形態では、空間オーディオオブジェクトの移動は、追跡されたユーザ／オブジェクトに依存するように、空間オーディオシステムによって生成されたオーディオソースの空間表現をパンニングすることによって達成される。容易に理解され得るように、空間オーディオシステムがオーディオオブジェクトを移動させ得る、単純性は、ユーザのための一連の没入型のオーディオ体験を有効にすることができる。実際、オーディオオブジェクトはさらに、直接、オーディオ信号を反映させる、可視化と関連付けられることができる。さらに、オーディオオブジェクトは、仮想「音空間」内に設置され、キャラクタ、オブジェクト、または知能を割り当てられ、音場としてレンダリングされる、双方向場面を作成することができる。一次セルは、オーディオ信号を処理し、可視化を提供するために使用される、可視化において使用するためのメタデータをデバイスに提供することができる。
空間オーディオシステムの多くの特徴およびそれらを実装するために利用され得るセルが、上記に紹介されるが、以下の議論は、空間オーディオシステムが実装され得る様式、および恣意的数および設置のセルを使用して、種々のオーディオソースから音場をレンダリングするために利用し得るプロセスの徹底調査を提供する。続く議論の多くは、空間オーディオシステムによる音場の生成の際にオーディオオブジェクトのアンビソニック表現の使用を参照する。しかしながら、空間オーディオシステムは、アンビソニック表現の使用に限定されないものと理解されたい。アンビソニック表現は、単に、本発明の多くの実施形態による、空間オーディオシステム内で利用され得る、空間オーディオ表現の実施例として説明される。（限定ではないが）ＶＢＡＰ表現、ＤＢＡＰ表現、および／またはより高いアンビソニック表現（例えば、音場表現）を含む、種々の空間オーディオ表現のいずれかが、本発明の種々の実施形態に従って実装される空間オーディオシステムを使用して、音場の生成の際に利用されることができることを理解されたい。
第１節：空間オーディオシステム
空間オーディオシステムは、１つ以上のセルの配列を利用して、所与の空間のために、空間オーディオをレンダリングする、システムである。セルは、（限定ではないが）屋内および屋外空間を含む、任意の数の異なる空間内に、種々の恣意的配列のいずれかにおいて設置されることができる。いくつかのセル配列は、その他より有利であるが、本明細書に説明される空間オーディオシステムは、不完全なセル設置にもかかわらず、高忠実性を伴って機能することができる。加えて、本発明の多くの実施形態による、空間オーディオシステムは、セルの数および／または設置が、オリジナルオーディオソースのエンコーディング内で利用されるスピーカの数および設置に関する仮定と対応し得ないという事実にもかかわらず、特定のセル配列を使用して、空間オーディオをレンダリングすることができる。多くの実施形態では、セルは、不完全な設置に適応するようにその再生を構成するために、その周囲をマッピングし、および／または相互に対するその相対的位置を決定することができる。多数の実施形態では、セルは、無線で通信し、多くの実施形態では、その独自のアドホック無線ネットワークを作成することができる。種々の実施形態では、セルは、外部システムに接続し、再生のためのオーディオを入手することができる。外部システムへの接続はまた、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、モノのインターネット（ＩｏＴ）デバイスの制御、デジタルアシスタントへのアクセス、デバイスの再生制御、および／または任意の他の機能性を含む、任意の数の代替機能のために使用されることができる。
本発明のある実施形態による、例示的空間オーディオシステムが、図１Ａに図示される。空間オーディオシステム１００は、セルのセット１１０を含む。図示される実施形態におけるセルのセットは、一次セル１１２と、二次セル１１４とを含む。しかしながら、多くの実施形態では、「一次」および「二次」セルの数は、動的であって、システムに追加されるセルの現在の数および／またはユーザが、空間オーディオシステムを構成している様式に依存する。多くの実施形態では、一次セルは、ネットワーク１２０に接続し、他のデバイスに接続する。多数の実施形態では、ネットワークは、インターネットであって、接続は、ルータを介して促進される。いくつかの実施形態では、セルは、ルータと、有線および／または無線ポートを介してインターネットに直接接続する能力とを含有する。一次セルは、ルータを通して、および／またはネットワーク１２０を経由して、通過されている、トラフィックの全体的量を低減させるために、アドホック無線ネットワークを作成し、他のセルに接続することができる。いくつかの実施形態では、多数のセルが、システムに接続されるとき、「スーパー一次」セルが、指定されることができ、これは、いくつかの一次セルの動作を協調させ、および／またはネットワーク１２０を経由したトラフィックをハンドリングする。多くの実施形態では、スーパー一次セルは、その独自のアドホックネットワークを介して、情報を種々の一次セルに発信することができ、これは、次いで、ひいては、関連情報を二次セルに発信する。それを経由して一次セルが二次セルと通信する、ネットワークは、スーパー一次セルによって確立されたものと同一および／または異なるアドホックネットワークであることができる。本発明のある実施形態による、スーパー一次セル１１６を利用する、例示的システムが、図１Ｂに図示される。スーパー一次セルは、一次セル１１７と通信し、これは、ひいては、その個別の二次セル１１８を統制する。スーパー一次セルは、その独自の二次セルを統制することができることに留意されたい。しかしながら、いくつかの実施形態では、セルは、極端に離れて位置し、アドホックネットワークを確立し得るが、代替手段を介して、既存のネットワーク１２０に接続することも可能であり得る。本状況では、一次セルおよび／またはスーパー一次セルは、直接、ネットワーク１２０を介して、通信してもよい。スーパー一次セルは、空間オーディオシステム内のセルの特定のサブセットに対する一次セルとして作用することができることを理解されたい。
再び図１Ａを参照すると、ネットワーク１２０は、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、上記に述べられたように、限定ではないが、インターネット、ローカルエリアネットワーク、広域ネットワーク、および／または任意の他のタイプのネットワークを含む、任意の形態のネットワークであることができる。さらに、ネットワークは、有線接続、無線接続、またはそれらの組み合わせを利用する、１つを上回るネットワークタイプから作製されることができる。同様に、セルによって確立されるアドホックネットワークは、任意のタイプの有線および／または無線ネットワークまたはそれらの任意の組み合わせであることができる。セル間の通信は、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、無線ローカルエリアネットワーキング技術（ＷＬＡＮ）、例えば、ＷｉＦｉ、イーサネット（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ、５Ｇ ＮＲ、および／または任意の他の無線通信技術を含む、任意の数の無線通信方法論を使用して確立されることができる。
セルのセットは、ネットワークを介して、メディアデータをメディアサーバ１３０から取得することができる。多数の実施形態では、メディアサーバは、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、Ｎｅｔｆｌｉｘ， Ｉｎｃ．（Ｌｏｓ Ｇａｔｏｓ， Ｃａｌｉｆｏｒｎｉａ）、Ｓｐｏｔｆｉｙ Ｔｅｃｈｎｏｌｏｇｙ Ｓ．Ａ．（Ｓｔｏｃｋｈｏｌｍ， Ｓｗｅｄｅｎ）、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ）、Ｈｕｌｕ， ＬＬＣ（Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ）、および／または任意の他のメディアストリーミングサービスプロバイダ等のメディアストリーミングサービスを提供する、第三者によって制御される。多数の実施形態では、セルは、メディアデータを、限定ではないが、携帯電話、テレビ、コンピュータ、タブレット、ネットワーク接続ストレージ（ＮＡＳ）デバイス、および／またはメディア出力が可能な任意の他のデバイスを含む、ローカルメディアデバイス１４０から取得することができる。メディアは、ネットワークを介して、メディアデバイスから取得される、または、多数の実施形態では、直接、直接接続を介して、セルによって取得されることができる。直接接続は、入／出力（Ｉ／Ｏ）インターフェースを通した有線接続、および／またはいくつかの無線通信技術のいずれかを使用した無線であることができる。
図示される空間オーディオシステム１００はまた、セル制御サーバ１５０を含むことができる（但し、必ずしも、必要があるわけではない）。多くの実施形態では、種々の音楽サービスのメディアサーバと空間オーディオシステム内のセルとの間の接続は、個々のセルによってハンドリングされる。いくつかの実施形態では、セル制御サーバは、セルとメディアサーバとの間に接続を確立することを補助することができる。例えば、セル制御サーバは、種々の第三者サービスプロバイダとのユーザアカウントの認証を補助し得る。種々の実施形態では、セルは、あるデータの処理をセル制御サーバにオフロードすることができる。例えば、音響測距に基づいて部屋をマッピングするステップは、データをセル制御サーバに提供することによって加速され得、これは、ひいては、セルに、部屋のマップおよび／または（限定ではないが）仮想スピーカレイアウトを含む他の音響モデル情報を返すことができる。多数の実施形態では、セル制御サーバは、限定ではないが、セルに、メディアコンテンツの特定の部分を再生するように指示する、音量を変化させる、メディアコンテンツの特定の部分を再生するために現在利用されているセルを変化させる、および／またはエリア内の空間オーディオオブジェクトの場所を変化させること等、セルを遠隔で制御するために使用される。しかしながら、セル制御サーバは、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、セル動作を修正する、任意の数の異なる制御タスクを実施することができる。異なるタイプのユーザインターフェースが、本発明の種々の実施形態による、空間オーディオシステムのために提供され得る、様式が、下記にさらに議論される。
多くの実施形態では、空間オーディオシステム１００はさらに、セル制御デバイス１６０を含む。セル制御デバイスは、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、携帯電話、テレビ、コンピュータ、タブレット、および／または任意の他のコンピューティングデバイスを含む、直接または間接的に、セルを制御することが可能な任意のデバイスであることができる。多数の実施形態では、セル制御デバイスは、コマンドをセル制御サーバに送信することができ、これは、ひいては、コマンドをセルに送信する。例えば、携帯電話は、セルラーネットワークを介して、インターネットに接続することによって、セル制御サーバと通信することができる。セル制御サーバは、携帯電話上で実行されるソフトウェアアプリケーションを認証することができる。加えて、セル制御サーバは、セルのセットへのセキュア接続を確立することができ、これは、命令を携帯電話へ／そこから通過させることができる。このように、セルのセキュア遠隔制御も、可能性として考えられる。しかしながら、多数の実施形態では、セル制御デバイスは、命令を提供するために、ネットワーク、アドホックネットワークのいずれかを介して、またはセルとの直接ピアツーピア接続を介して、セルに直接接続することができる。多くの実施形態では、セル制御デバイスはまた、メディアデバイスとして動作することができる。しかしながら、制御サーバは、空間オーディオシステムの必要なコンポーネントではないことに留意することが重要である。多数の実施形態では、セルは、直接、コマンドを受信し（例えば、セル上での物理的入力を通して、またはネットワーク化されたデバイスを介して）、それらのコマンドを他のセルに伝搬することによって、その独自の制御を管理することができる。
さらに、多数の実施形態では、ネットワーク接続ソース入力デバイスが、空間オーディオシステム内に含まれ、メディア入力を収集および協調させることができる。例えば、ソース入力デバイスは、テレビ、コンピュータ、メディアサーバ、または任意の数のメディアデバイスに接続してもよい。多数の実施形態では、ソース入力デバイスは、これらのメディアデバイスへの有線接続を有し、遅れを低減させる。本発明のある実施形態による、ソース入力デバイスを含む、空間オーディオシステムが、図１Ｃに図示される。ソース入力デバイス１７０は、オーディオデータおよび任意の他の関連メタデータをコンピュータ１８０および／またはテレビ１８２のようなメディアデバイスから集め、オーディオデータおよび関連メタデータをセルのクラスタ１９０内の一次セルにユニキャストする。しかしながら、ソース入力デバイスはまた、いくつかの構成では、一次またはスーパー一次セルとして作用することができることに留意することが重要である。さらに、任意の数の異なるデバイスが、ソース入力デバイスに接続することができ、それらは、セルの１つのみのクラスタと通信するように制限されない。実際、ソース入力デバイスは、本発明の実施形態の具体的用途の要件の必要に応じて、任意の数の異なるセルに接続することができる。
特定の空間オーディオシステムが、図１Ａおよび１Ｂに関して上記に説明されるが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、（限定ではないが）第三者メディアサーバへの接続を伴わない構成、異なるタイプのネットワーク通信を利用する構成、空間オーディオシステムがローカル接続を伴うセルおよび制御デバイスのみを利用する（例えば、インターネットに接続されない）構成、および／または任意の他のタイプの構成を含む、任意の数の異なる空間オーディオシステム構成が、利用されることができる。セルのセットのいくつかの異なる空間レイアウトが、下記に議論される。容易に理解され得るように、本発明の種々の実施形態による、システムおよび方法の特徴は、それらが、セルの具体的空間レイアウトに限定されないことである。故に、下記に説明される具体的空間レイアウトは、単に、本発明の多くの実施形態による、空間オーディオシステムが、ユーザが空間内に設置している具体的数およびレイアウトのセルに適切であるように、所与の空間オーディオソースをレンダリングし得る、フレキシブルな様式を例証するために提供される。
第２節：セル空間レイアウト
従来のスピーカ配列に優るセルの利点は、空間内のセルの具体的数および設置に適応するように、空間オーディオをレンダリングし得る、空間オーディオシステムを形成するその能力である。多くの実施形態では、セルは、空間オーディオを再現するための適切な方法を決定するために、相互を位置特定し、および／またはその周囲をマッピングすることができる。いくつかの実施形態では、セルは、ユーザインターフェースを介して、レンダリングされた音場の知覚される品質を改良し得る、提案される代替配列を生成することができる。例えば、携帯電話上にレンダリングされたユーザインターフェースは、特定の空間内のセルの設置および／または配向に関するフィードバックを提供し得る。セルの数が増加するにつれて、一般に、セルによって再現が可能な空間分解能も、増加する。しかしながら、空間に応じて、任意の付加的セルが、空間分解能を増加させない、または若干のみ増加させるであろう、閾値が、満たされ得る。
多くの異なるレイアウトが、可能性として考えられ、セルが、任意の数の異なる構成に適合することができる。種々の異なる例示的レイアウトが、下記に議論される。異なるレイアウトおよびそれらがもたらす体験の議論に続いて、音場がセルを使用して作成され得る、様式の議論が、下記の第３節に見出される。
ここで図２Ａに目を向けると、本発明のある実施形態による、モードビーム形成を使用して指向性オーディオを生成することが可能な単一セルが、部屋の中心に示される。多くの実施形態では、単一セルは、（限定ではないが）床上への静置、カウンタへの静置、スタンド上への搭載、または天井からの懸架を含む、場所に設置されることができる。図２Ｂ、２Ｃ、および２Ｄは、モードビーム形成技法を使用して、セルの周囲に位置付けられるドライバのアレイによって生成される、一次カーディオイドを表す。一次カーディオイドが、図示されるが、本発明の多くの実施形態による、セルはまた、（限定ではないが）スーパーカーディオイドおよびハイパーカーディオイドを含む、代替指向性パターンを生成することができる。単一セルが、単独で、モードビーム形成を実施することが可能な従来のスピーカのアレイに類似する原点としての単一セルを用いて、指向性オーディオを生成することが可能であって、また、図２Ｅにおける本発明のある実施形態に従って図示されるような音響環境に依存するように、複数のビームを生産することによって、直接音対残響オーディオの知覚される比率を制御することができる。セルは、壁、床、天井、および／または部屋内のオブジェクトに基づいて、音響反射をマッピングし、そのドライバ入力を修正し、拡散音を作成することができる。カーディオイドは、本発明のある実施形態による、３つのホーンを有する、ハロを含む、セルが、図２Ｆに図示されるように、セルによって生産された指向性パターンを操向し得る様式を反映させる。同様にセルによって生産され得る、いくつかのより高次の指向性パターンのうちの１つが、図２Ｇに図示される。
容易に理解され得るように、セルは、任意の特定の構成のドライバに限定されず、セルによって生成され得る指向性パターンも、本明細書に説明されるものに限定されない。例えば、カーディオイドが、上記の参照される図に示されるが、スーパーカーディオイドまたはハイパーカーディオイドも、ホーンおよび／またはドライバ配列に基づいて、加えて、またはカーディオイドの置換として、使用されることができる。スーパーカーディオイドは、約±１２０°にヌルを有し、これは、多くのハロに見出され得るように、±１２０°に配列されるホーンにおける減衰を低減させることができる。同様に、ハイパーカーディオイドもまた、±１２０°にヌルを有し、これは、１８０°におけるより大きいサイドローブを犠牲にして、さらにより良好な指向性を提供することができる。容易に理解され得るように、ミックスされたアンビソニックスを含む、異なるアンビソニックスが、本発明の実施形態の具体的用途の要件の必要に応じて、ホーンおよび／またはドライバ配列に応じて、使用されることができる。加えて、ドライバは、種々の指向性オーディオ生産技法のいずれかを使用して、指向性オーディオを生産することができる。
第２のセルを追加することによって、２つのセルは、増加された空間分解能を伴って、空間オーディオを生産するために、相互作用し始め、音生産を協調させることができる。部屋内のセルの設置は、セルが音を生産するようにそれ自体を構成する方法に影響を及ぼし得る。本発明のある実施形態による、部屋内で対角線上に設置された２つのセルの実施例が、図３Ａに図示される。図３Ｂに示されるように、セルは、音を相互に投影することができる。１つのみのカーディオイド波パターンが、セルあたり示されるが、セルは、複数のビームおよび／または指向性パターンを生産し、部屋全体を横断して、音場を操作することができる。本発明のある実施形態による、共有壁に対して２つのセルを伴う、代替配列が、図４Ａおよび図４Ｂに図示される。本構成では、不平衡設置に起因して、セルから最も離れた対向して向いている壁上の音量平衡に関する問題点が存在し得る。しかしながら、セルは、ドライバによって生産された音を適切に修正することによって、本配列の影響を減少させることができる。
セルは、必ずしも、部屋内の角に設置される必要はない。図５Ａおよび図５Ｂは、本発明のある実施形態による、２つのセルの設置を図示する。多くの状況では、これは、音響的に最適設置であることができる。しかしながら、部屋およびその中のオブジェクトに応じて、本構成においてセルを設置することが実践的ではない場合がある。さらに、セルは、特定の方向に面しているドライバとともに図示されているが、部屋に応じて、セルは、空間のためにより適切な配向に回転されることができる。多数の実施形態では、空間オーディオシステムおよび／または具体的セルは、そのユーザインターフェースを利用して、特定のセルが空間および／または他のセルに対する位置付けにより適切な設置を提供するように回転されることを提案することができる。
多数の実施形態では、いったん３つのセルが、同一空間内でネットワーク化されると、空間音オブジェクトの完全制御および再現が、少なくとも水平平面において達成されることができる。種々の実施形態では、部屋に応じて、等辺三角形配列が、利用されることができる。しかしながら、セルは、代替配列における音場の制御を維持するように適合および調節することが可能である。本発明のある実施形態による、各セルが、モードビーム形成を使用して、指向性オーディオを生産することが可能である、３セル配列が、図６Ａおよび６Ｂに図示される。頭上にセルを追加することによって、音場の付加的３Ｄ空間制御が、音場にわたって得られることができる。図７Ａおよび７Ｂは、本発明のある実施形態による、天井から懸架された付加的中心頭上にセルを伴う、３セルグループ化を図示する。
セルは、「グループ化」され、メディアの一部を空間的に再生するように連動して動作することができる。多くの場合、グループは、部屋内のセルの全てを含む。しかしながら、特に、非常に大空間内では、グループは、必ずしも、部屋内の全てのセルを含まない。グループはさらに、「ゾーン」に集約されることができる。ゾーンはさらに、グループ化されていない（または代替として、１のカーディナリティを伴う、その独自のグループ内で検討され得る）、単一セルを含むことができる。いくつかの実施形態では、ゾーン内の各グループは、メディアの同一部分を再生してもよいが、オブジェクトを異なるように空間的に位置特定してもよい。本発明のある実施形態による、セルの例示的家のレイアウトが、図８Ａに図示される。本発明のある実施形態による、例示的グループが、図８Ｂに図示され、例示的ゾーンは、図８Ｃに図示される。グループ化およびゾーンは、ユーザによって、リアルタイムで調節されることができ、セルは、動的に、そのグループ化に再適合することができる。容易に理解され得るように、セルは、物理的空間内の任意の恣意的構成において設置されることができる。本発明のある実施形態による、代替配列の非包括的実施例が、図８Ｄに示される。同様に、セルは、所望に応じて、ユーザによって、任意の恣意的配列においてグループ化されることができる。加えて、多くの空間オーディオシステム内で利用されるいくつかのセルは、指向性オーディオを生成することが不可能であるが、依然として、空間オーディオシステムの中に組み込まれてもよい。セルが、その位置付けにかかわらず、同期および制御可能様式において、空間オーディオレンダリングを実施することを有効にするためのプロセスが、下記に議論される。
第３節：空間オーディオレンダリング
空間オーディオは、従来、事前に規定された場所に位置するスピーカの静的アレイを用いてレンダリングされている。ある程度まで、アレイ内のより多くのスピーカは、従来、「より良好」であると考えられるが、消費者グレードシステムは、現在、５．１および７．１チャネルシステムに定着しており、これは、それぞれ、１つ以上のサブウーファと組み合わせて、５つのスピーカおよび７つのスピーカを使用する。現在、いくつかのメディアは、最大２２．２においてサポートされる（例えば、国際電気通信連合によって定義されるように、超高解像度テレビにおいて）。より高いチャネル音をより少ないスピーカ上で再生するために、オーディオ入力は、概して、存在するスピーカの数に合致するようにダウンミックスされるか、またはスピーカ配列に合致しないチャネルは、単に、ドロップされるかのいずれかである。本明細書に説明されるシステムおよび方法の利点は、オーディオソースをエンコーディングするために使用されるチャネルの数に基づいて、任意の数のオーディオオブジェクトを作成する能力である。例えば、３つのセルの配列は、５つのオーディオオブジェクトを部屋内に設置し、５つのオーディオオブジェクトを空間表現（例えば、（限定ではないが）Ｂフォーマット等のアンビソニック表現）にエンコーディングし、次いで、セルの数および設置に適切であるように、オリジナル５．１オーディオソースの空間表現をデコーディングすることにより、３つのセルを使用して、音場をレンダリングすることによって、５．１スピーカ配列の存在の聴覚的感覚を生成し得る（下記の議論参照）。多くの実施形態では、バスチャネルが、セル毎に、ドライバ信号にミックスされることができる。チャネルを空間オーディオオブジェクトとして取り扱う、プロセスは、任意の恣意的数のスピーカおよび／またはスピーカ配列に拡張する。このように、部屋内のより少ない物理的スピーカが、より多数のスピーカの効果を達成するために、利用されることができる。さらに、セルは、本効果を達成するために、精密に設置される必要はない。
従来のオーディオシステムは、典型的には、多くの場合、聴取者が置かれるべき、「スイートスポット」と称されるものを有する。多数の実施形態では、空間オーディオシステムは、彼らが空間内に位置する場所にかかわらず、聴取者が音によって囲繞されているかのように聞こえるように、部屋音響に関する情報を使用して、所与の空間内の直接音と残響音との間の知覚される比率を制御することができる。大部分の部屋は、非常に非拡散的であるが、空間レンダリング方法は、部屋をマッピングし、拡散オーディオをレンダリングするための適切な音場操作を決定するステップを伴い得る（下記の議論参照）。拡散音場は、典型的には、均一に分散された遅延において、均一に分散された方向からランダムに到着する音によって特徴付けられる。
多くの実施形態では、空間オーディオシステムは、部屋をマッピングする。セルは、限定ではないが、音響測距、マシンビジョンプロセスの適用、および／または３Ｄ空間マッピングを有効にする任意の他の測距方法を含む、部屋をマッピングするための種々の方法のいずれかを使用することができる。スマートフォンまたはタブレットＰＣ等の他のデバイスも、これらのマップを作成または拡張させるために利用されることができる。マッピングは、空間内のセルの場所、すなわち、壁、床、および／または天井設置、家具場所、および／または空間内の任意の他のオブジェクトの場所を含むことができる。いくつかの実施形態では、これらのマップは、特定の場所に調整され得る、スピーカ設置および／または配向推奨を生成するために使用されることができる。いくつかの実施形態では、これらのマップは、空間を横断する聴取者の場所および／または聴取者の場所の履歴に伴って、持続的に更新されることができる。下記にさらに議論されるように、本発明の多くの実施形態は、仮想スピーカレイアウトを利用して、空間オーディオをレンダリングする。いくつかの実施形態では、（限定ではないが）セル設置および／または配向情報、部屋音響情報、ユーザ／オブジェクト追跡情報のいずれかを含む、情報が、オーディオソースの空間表現（例えば、アンビソニック表現）をエンコーディングする、原点場所と、個々のセルにおけるドライバ入力の生成において使用するための仮想スピーカレイアウトとを決定するために利用されることができる。本発明のある実施形態による、空間オーディオシステムを使用して空間オーディオのレンダリングのための種々のシステムおよび方法が、下記にさらに議論される。
いくつかの実施形態では、アップミックスが、チャネルの数と異なる、オーディオオブジェクトの数を作成するために利用されることができる。いくつかの実施形態では、２つのチャネルを含有する、ステレオソースが、アップミックスされ、ある数の左（Ｌ）、中心（Ｃ）、および右（Ｒ）チャネルを作成することができる。いくつかの実施形態では、拡散オーディオチャネルもまた、アップミックスを介して、生成されることができる。アップミックスされるチャネルに対応する、オーディオオブジェクトが、次いで、（限定ではないが）図４５に概念的に図示されるように空間内のあらゆる場所におけるステレオの感覚を含む、種々の効果を作成するためのセルの数によって定義される、空間に対して設置されることができる。ある実施形態では、アップミックスが、オーディオオブジェクトを図４６に概念的に図示される仮想ステージに対して設置するために利用されることができる。いくつかの実施形態では、オーディオオブジェクトは、図４７に概念的に図示されるような３Ｄにおいて設置されることができる。設置オブジェクトの具体的実施例は、図４５－４７を参照して議論され、種々のオーディオオブジェクト（アップミックスを介して取得されない、空間オーディオシステムによって直接取得されるオーディオオブジェクトを含む）のいずれかが、本発明の種々の実施形態による具体的用途の要件の必要に応じて、空間オーディオをレンダリングする目的のために、種々の恣意的１Ｄ、２Ｄ、および／または３Ｄ構成のいずれかにおいて設置されることができる。種々の異なるオーディオソースからの空間オーディオのレンダリングは、下記にさらに議論される。さらに、図４５－４７を参照して上記に説明されるオーディオオブジェクト２Ｄまたは３Ｄレイアウトのいずれかが、本発明の種々の実施形態による、本明細書に説明される空間オーディオシステム内のオーディオのソースを選択および処理するためのプロセスのいずれかにおいて利用されることができる。
多くの実施形態では、空間オーディオシステムは、レンダリングするためのオーディオの１つ以上のソース間で選択し得る、ソースマネージャを含む。図９は、本明細書に開示される空間マルチメディアソース管理のための方法および装置の種々の側面に従って構成される、ソースマネージャ９０６を含む、空間オーディオシステム９００を図示する。上記に述べられたように、空間オーディオシステム９００は、セルを使用して、および／または複数のセルを使用して、実装されてもよい。ソースマネージャ９０６は、コンテンツ９０８を生成および管理し、情報９１０をレンダリングするために、ソースマネージャ９０６によって使用される、種々のデータおよび情報を含む、マルチメディア入力９０２を受信することができる。コンテンツ９０８は、マルチメディア入力９０２内のマルチメディアソースから選択される、空間的にレンダリングされることになる、エンコーディングされたオーディオを含むことができる。レンダリング情報９１０は、本明細書にさらに説明されるように、音が空間的に（遠隔測定）および音量（レベル）の両方で提示されるべき方法の観点から、コンテンツ９０８の再現のためのコンテキストを提供することができる。多くの実施形態では、ソースマネージャは、空間オーディオシステムにおけるセル内に実装される。いくつかの実施形態では、ソースマネージャは、空間オーディオシステム内のセルのうちの１つ以上のものと通信する、サーバシステム上に実装される。いくつかの実施形態では、空間オーディオシステムは、ソース（例えば、壁搭載テレビ）と最近セルから離れた場所におけるネットワーク接続ソース入力デバイスの接続を有効にする、ネットワーク接続ソース入力デバイスを含む。いくつかの実施形態では、ネットワーク接続ソース入力デバイスは、レンダリングするための選択されたソースを空間オーディオシステム９００内のセル上に指向し得る、ソースマネージャを実装する。
ユーザは、直接、ユーザ相互作用入力９０４を通して、空間オーディオシステム９００を制御してもよい。ユーザ相互作用入力９０４は、スマートフォン等の「スマートデバイス」上のアプリ上のグラフィカルユーザインターフェース（ＧＵＩ）、Ａｐｐｌｅ Ｉｎｃ．のＳｉｒｉ、Ａｍａｚｏｎ．ｃｏｍ Ｉｎｃ．のＡｌｅｘａ、またはＧｏｏｇｌｅ ＬＬＣ（Ｇｏｏｇｌｅ）からのＧｏｏｇｌｅアシスタント等の「仮想アシスタント」に発行されたコマンド等を通した音声入力、およびボタン、ダイヤル、およびノブ等の「従来的」物理的インターフェースを含む、ユーザインターフェースを通してユーザから受信されたコマンドを含んでもよい。ユーザインターフェースは、直接、または無線インターフェースを通して、例えば、それぞれ、ＩＥＥＥによってＩＥＥＥ８０２．１５．１およびＩＥＥＥ８０２．１１規格において公表された、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ無線規格を通して、ソースマネージャ９０６、一般には、空間オーディオシステム９００に結合されてもよい。空間オーディオシステム９００内で利用されるセルのうちの１つ以上のものはまた、タッチ（例えば、ボタンおよび／または容量タッチ）または音声ベースのユーザ相互作用入力９０４のうちの１つ以上のものを含むことができる。
ソースマネージャ９０６は、コンテンツ９０８およびレンダリング情報９１０をマルチメディアレンダリングエンジン９１２に提供することができる。マルチメディアレンダリングエンジン９１２は、コンテンツ９０８およびレンダリング情報９１０に基づいて、オーディオ信号および空間レイアウトメタデータ９１４をセル９１６－１－９１６－ｎのセットに生成することができる。多くの実施形態では、オーディオ信号は、具体的オーディオオブジェクトに対するオーディオ信号である。いくつかの実施形態では、オーディオ信号は、仮想スピーカオーディオ入力である。セルに提供される具体的空間レイアウトメタデータ９１４は、典型的には、オーディオ信号の性質（例えば、オーディオオブジェクトの場所および／または仮想スピーカの場所）に依存する。したがって、セル９１６－１－９１６－ｎのセットを使用して、マルチメディアレンダリングエンジン９１２は、レンダリング情報９１０に基づいて部屋内に分散される、複数の音オブジェクトを含み得る、コンテンツ９０８を再現し得る。本発明の種々の実施形態による、セルを使用して空間オーディオレンダリングを実施するための種々のアプローチが、下記にさらに議論される。
いくつかの実施形態では、マルチメディアレンダリングエンジン９１２によってセル９１６－１－９１６－ｎに提供される、オーディオ信号および（随意に）空間レイアウトメタデータ９１４は、セル毎に具体的に生成された別個のデータストリームを含んでもよい。セルは、オーディオ信号および（随意に）空間レイアウトメタデータ９１４を使用して、ドライバ入力を生成することができる。いくつかの実施形態では、マルチメディアレンダリングエンジン９１２は、個々のセル毎に、複数のオーディオ信号を生産することができ、各オーディオ信号は、異なる方向に対応する。セルが、複数のオーディオ信号を受信すると、セルは、複数のオーディオ信号を利用して、複数の方向のそれぞれに対応する、ドライバのセットのためのドライバ入力を生成することができる。例えば、３つの異なる方向に配向されるドライバの３つのセットを含む、セルは、セルがドライバの３つのセット毎にドライバ入力を生成するために利用し得る、３つのオーディオ信号を受信することができる。容易に理解され得るように、オーディオ信号の数は、ドライバのセットの数および／または本発明の種々の実施形態による具体的用途の要件に適切な他の要因に依存し得る。さらに、レンダリングエンジン９１２は、各セルに特有のオーディオ信号を生産し、また、同一バス信号を全てのセルに提供することができる。
上記に述べられたように、各セルは、異なるタイプのオーディオ変換器の１つ以上のセットを含んでもよい。例えば、セルはそれぞれ、１つ以上のバス、中域、およびツイータドライバを含む、ドライバのセットを使用して実装されてもよい。（限定ではないが）交差フィルタ等のフィルタが、オーディオ信号が、１つ以上のウーファにドライバ入力の生成の際に使用され得る、低域通過信号、１つ以上のミッドにドライバ入力の生成の際に使用され得る、帯域通過信号、および１つ以上のツイータにドライバ入力の生成の際に使用され得る、高域通過信号に分割され得るように使用されてもよい。容易に理解され得るように、異なるクラスのドライバへのドライバ入力を生成するために利用されるオーディオ周波数帯域は、具体的用途の要件の必要に応じて、重複することができる。さらに、任意の数のドライバおよび／または配向のドライバが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、セルを実装するために利用されることができる。
下記にさらに議論されるように、本発明の多くの実施形態による、空間オーディオシステムは、１つ以上のオーディオソースを空間的にレンダリングするための種々のプロセスを利用することができる。具体的プロセスは、典型的には、オーディオソースの性質、セルの数、セルのレイアウト、および空間オーディオシステムによって利用される具体的空間オーディオ表現およびネスト化されたアーキテクチャに依存する。図１０は、本発明のある実施形態による、空間オーディオシステムによって実装され得る、音場をレンダリングするための１つのプロセス１０００を図示する。１００２では、空間オーディオシステムが、複数のマルチメディアソース入力を受信する。１つ以上のコンテンツソースが、プロセッサ上で実行されるソース選択ソフトウェアプロセスによって選択および事前処理されてもよく、それと関連付けられるデータおよび情報は、エニュメレーション決定ソフトウェアプロセスに提供されることができる。
１００４では、レンダリングのために選択されたある数のソースが、エニュメレーション決定ソフトウェアプロセスによって決定される。エニュメレーション情報は、コンテンツソースの数の追跡を可能にする、位置管理ソフトウェアプロセスに提供されることができる。
１００６では、空間的にレンダリングされることになるコンテンツソース毎の位置情報が、位置管理ソフトウェアプロセスによって決定されることができる。上記に議論されるように、（限定ではないが）再生されているコンテンツのタイプ、ユーザまたは関連付けられるデバイスの位置情報、および／または履歴／予測される位置情報を含む、種々の要因が、コンテンツソースを空間的にレンダリングするために利用される、後続ソフトウェアプロセスに関連する位置情報を決定するために使用されてもよい。
１００８では、種々の位置における列挙されるコンテンツソース間の相互作用が、相互作用管理ソフトウェアプロセスによって決定されることができる。種々の相互作用は、（限定ではないが）コンテンツのタイプ、再生の位置および／またはユーザまたは関連付けられるデバイスの位置情報、および履歴／予測される相互作用情報を含む、（限定ではないが）上記に議論されるもの等の種々の要因に基づいて決定されてもよい。
１０１０では、（限定ではないが）コンテンツおよびレンダリング情報を含む、情報が、生成され、マルチメディアレンダリングエンジンに提供されることができる。
本開示の一側面では、１００６において決定された各コンテンツソースと関連付けられる再生の位置は、コンテンツソース間の相互作用が１００８において決定される前に生じ得る。これは、空間オーディオソースのレンダリングのより完全な管理を可能にすることができる。したがって、例えば、複数のコンテンツソースが、近接近して再生されている場合、相互作用／ミックスは、その位置近接度の認知に基づいて決定されてもよい。さらに、コンテンツソース毎の優先順位レベルもまた、考慮されてもよい。
本開示の種々の側面によると、プリセット／履歴情報内で受信された情報は、マルチメディアレンダリングエンジンに提供されるコンテンツおよびレンダリング情報に影響を及ぼすために、ソースマネージャによって使用されてもよい。情報は、ユーザ定義プリセットおよび種々のマルチメディアソースが以前にハンドリングされた方法の履歴を含んでもよい。例えば、ユーザは、特定のＨＤＭＩ（登録商標）入力を経由して受信された全てのコンテンツが居間等の特定の場所において再現されるというプリセットを定義してもよい。別の実施例として、履歴データは、ユーザが、常時、寝室内で時間アラームを再生することを示し得る。一般に、履歴情報は、マルチメディアソースがレンダリングされ得る方法をヒューリスティックに決定するために使用されてもよい。
ソースマネージャと、マルチメディアレンダリングエンジンとを含む、具体的空間オーディオシステムと、ソースマネージャおよびマルチメディアレンダリングエンジンを実装するためのプロセスとが、図９および１０を参照して上記に説明されるが、空間オーディオシステムは、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、種々のハードウェアおよび／またはソフトウェアプロセスのいずれかを利用して、オーディオソースを選択し、セルのセットを使用して、音場をレンダリングすることができる。本発明の種々の実施形態による、空間オーディオソースの表現をエンコーディングし、具体的セル構成に基づいて、表現をデコーディングすることによって、音場をレンダリングするためのプロセスが、下記にさらに議論される。
第４Ａ節：ネスト化されたアーキテクチャ
本発明の多くの実施形態による、空間オーディオシステムは、空間オーディオをレンダリングするために使用されているセルおよび／またはラウドスピーカの数および構成に適合し得るように、空間オーディオレンダリングを有効にするという点で、特定の利点を有し得る、ネスト化されたアーキテクチャを利用する。加えて、ネスト化されたアーキテクチャは、空間オーディオのレンダリングと関連付けられる処理を空間オーディオシステム内のいくつかのコンピューティングデバイスを横断して分散させることができる。空間オーディオシステム内のエンコーダおよびデコーダのネスト化されたアーキテクチャが実装される、具体的様式は、主として、所与の用途の要件に依存する。さらに、個々のエンコーダおよび／またはデコーダ機能は、セルを横断して分散されることができる。例えば、一次セルは、部分的に、セルデコーダの機能を実施して、セルに特有のオーディオストリームをデコーディングすることができる。一次セルは、次いで、これらのオーディオストリームを関連二次セルに提供することができる。二次セルは、次いで、オーディオストリームをドライバ信号に変換することによって、セルデコーディングプロセスを完了することができる。容易に理解され得るように、本発明の種々の実施形態による、空間オーディオシステムは、具体的用途の要件の必要に応じて、種々のネスト化されたアーキテクチャのいずれかを利用することができる。
いくつかの実施形態では、空間オーディオシステム内の一次セルは、レンダリングされているオーディオオブジェクト毎に、別個のオーディオ信号を空間的にエンコーディングする。上記に議論されるように、オーディオオブジェクトは、具体的用途の要件の必要に応じて、直接、空間オーディオシステムに提供される、ソースオーディオのチャネルを対応するオーディオオブジェクトにマッピングすることによって取得される、および／またはソースオーディオのチャネルをアップミックスし、対応するオーディオオブジェクトにマッピングすることによって取得されることができる。一次セルは、次いで、空間オーディオをレンダリングするために使用されているセルの場所に基づいて、オーディオオブジェクト毎に、空間オーディオ信号をデコーディングすることができる。所与のセルは、その具体的オーディオ信号を使用して、そのセルのための空間オーディオ信号をエンコーディングすることができ、これは、次いで、セルのドライバ毎に、信号を生成するようにデコーディングされることができる。
各オーディオオブジェクトが、別個に空間的にエンコーディングされるとき、ネットワーク内の一次セルによって伝送されるデータの量は、空間オブジェクトの数に伴って増加する。一次セルによって伝送されるデータの量がオーディオオブジェクトの数から独立する、別のアプローチは、一次セルが、全てのオーディオオブジェクトを単一空間表現に空間的にエンコーディングするものである。一次セルは、次いで、仮想スピーカのセットに対するオーディオオブジェクトの全ての空間表現をデコーディングすることができる。仮想スピーカの数および場所は、典型的には、空間オーディオをレンダリングするために使用されるセルの数および場所に基づいて決定される。しかしながら、多くの実施形態では、仮想スピーカの数は、セルの数に関係なく固定されるが、セルの数および場所に依存する、場所を有することができる。例えば、空間オーディオシステムは、あるユースケースでは、円形の円周の周囲に位置する、８つの仮想スピーカを利用することができる（セルの数に関係なく）。容易に理解され得るように、仮想スピーカの数は、グループ化されるセルの数および／またはソース内のチャネルの数に依存し得る。さらに、仮想スピーカの数は、８つを上回るまたはそれ未満であることができる。一次セルは、次いで、所与のセルに、そのセルと関連付けられた仮想スピーカの場所に基づいてデコーディングされたオーディオ信号のセットを提供することができる。仮想スピーカ入力は、仮想スピーカをオーディオオブジェクトとして取り扱い、仮想スピーカ場所に対するセルの位置に基づいて、空間エンコーディングを実施することによって、ドライバ入力のセットに変換されることができる。セルは、次いで、仮想スピーカの空間表現をデコーディングし、ドライバ入力を生成することができる。多くの実施形態では、セルは、フィルタのセットを使用して、受信された仮想スピーカ入力をドライバ入力のセットに効率的に変換することができる。いくつかの実施形態では、一次セルは、セル毎に、仮想スピーカ入力を、各オーディオ信号が具体的方向に対応する、オーディオ信号のセットにデコーディングすることを開始することができる。オーディオ信号のセットが、二次セルに提供されると、二次セルは、各オーディオ信号を利用して、音を特定の方向に投影するように配向されるドライバのセットのためのドライバ入力を生成することができる。
いくつかの実施形態では、ネスト化されたアーキテクチャ内で実施される空間エンコーディングは、空間オブジェクトをアンビソニック表現にエンコーディングするステップを伴う。多くの実施形態では、ネスト化されたアーキテクチャ内で実施される空間エンコーディングは、より高次のアンビソニックス（例えば、音場表現）、ベクトルベースの振幅パンニング（ＶＢＡＰ）表現、距離ベースの振幅パンニング（ＤＢＡＰ）、および／またはｋ－最近傍パンニング（ＫＮＮパンニング）表現を利用する。容易に理解され得るように、空間オーディオシステムは、複数の空間エンコーディングをサポートし得、（限定ではないが）オーディオソースの性質、セルの特定のグループのレイアウト、および／または空間オーディオシステムとのユーザ相互作用（例えば、空間オーディオオブジェクト設置および／または空間エンコーディング制御命令）を含む、要因に基づいて、いくつかの異なる空間オーディオエンコーディング技法間で選択することができる。容易に理解され得るように、種々の空間オーディオエンコーディング技法のいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、ネスト化されたアーキテクチャ内で利用されることができる。さらに、オーディオオブジェクトの空間表現が、デコーディングされ、オーディオ信号を個々のセルに提供する、具体的様式は、（限定ではないが）オーディオオブジェクトの数、仮想スピーカの数（ネスト化されたアーキテクチャが仮想スピーカを利用する場合）および／またはセルの数を含む、要因に依存し得る。
図１１は、異なるチャネルを空間音オブジェクトとして取り扱うことによって、オーディオソースのアンビソニックエンコーディングを作成するステップを伴う、空間オーディオ制御および再現のためのプロセス１１００を概念的に図示する。オーディオオブジェクトは、次いで、明確に異なる場所に設置され、オーディオオブジェクトの場所は、音場のアンビソニック表現を選択された原点場所に生成するために使用されることができる。図１１は、空間オーディオのアンビソニック表現を使用する、空間オーディオシステムのコンテキストにおいて説明されるが、図１１に図示されるものに類似するプロセスは、（限定ではないが）より高次のアンビソニックス（例えば、音場表現）、ＶＢＡＰ表現、ＤＢＡＰ表現、および／またはＫＮＮパンニング表現を含む、種々の空間オーディオ表現のいずれかを使用して実装されることができる。
プロセス１１００は、空間オーディオシステムによって実装されることができ、中間フォーマットへのオーディオレンダリング情報の変換を提供する、システムエンコーダ１１１２を伴うことができる。多くの実施形態では、変換プロセスは、コンテナファイルまたはコンテナファイルの一部からの１つ以上のオーディオトラックおよび／またはオーディオチャネルをエンコーディングする、エンコーディングされたオーディオデータを逆多重化するステップを伴うことができる。オーディオデータは、次いで、デコーディングされ、それぞれ、別個の音オブジェクトとして取り扱われ得る、複数の別個のオーディオ入力を作成することができる。一側面では、システムエンコーダ１１１２は、特定の環境のための音オブジェクトおよびその関連付けられる情報（例えば、位置）をエンコーディングすることができる。実施例は、（限定ではないが）チャネルベースのオーディオサラウンド音システムのための所望のスピーカレイアウト、バンド位置テンプレート、および／または楽器のセットのためのオーケストラテンプレートを含むことができる。
システムエンコーダ１１１２は、音オブジェクトを位置付け、またはマッピングし、パンナ等のある方式で動作してもよい。システムエンコーダ１１１２は、音情報１１０２内で音オブジェクトについての情報を受信し、一般化された形態において、これらの音オブジェクトをレンダリングすることができる。システムエンコーダ１１１２は、本明細書にさらに説明されるように、デコーダによって下流でハンドリングされる、任意の実装詳細（例えば、セルの数および／またはセルの設置および配向）に非依存型であることができる。加えて、システムエンコーダ１１１２は、（限定ではないが）チャネルベースの音情報、離散音オブジェクト、および／または音場を含む、種々のコンテンツおよびフォーマット内で音情報を受信してもよい。
図１２Ａは、システムエンコーダ１１１２の動作の種々の側面を説明するために使用され得る、システムエンコーダ１１１２による音オブジェクトの例示的マッピングを伴う、物理的空間１２００の概念表現を図示する。本開示の一側面では、システムエンコーダ１１１２は、位置情報が原点に対して定義される、座標系を使用して、音オブジェクトのマッピングを実施する。原点および座標系は、恣意的であってもよく、システムエンコーダ１１１２によって確立されることができる。図１２Ａに示されるような実施例では、システムエンコーダ１１１２は、概念表現内のデカルト座標系に関して、原点１２０２を場所［０，０］に確立し、座標系の４つの角は、［－１，－１］、［－１，１］、［１，－１］、および［１，１］である。システムエンコーダ１１１２に提供される音情報は、システムエンコーダ１１１２が概念表現内の場所［０，１］にマッピングする、音オブジェクトＳ１２１２を含む。図１２Ａに提供される実施例は、２次元におけるデカルト座標系の観点から表されるが、極性、円筒形、および球面座標系を含む、他の座標系および次元が、使用されてもよいことに留意されたい。本明細書の実施例で使用される座標系の特定の選択肢は、限定と見なされるべきではない。
ある場合には、システムエンコーダ１１１２は、システムエンコーダ１１１２の座標系の静的変換を適用し、限定ではないが、頭部搭載型ディスプレイ、携帯電話、タブレット、またはゲーム用コントローラを含む、外部再生または制御デバイスの初期配向に適合させてもよい。他の場合では、システムエンコーダ１１１２は、例えば、６自由度（６ＤＯＦ）システムから等、ユーザと関連付けられる遠隔測定データの一定ストリームを受信し、遠隔測定データの本ストリームを使用して、特定のレンダリングを維持するために、音オブジェクトを継続的に再位置付けしてもよい。
システムエンコーダ１１１２は、出力として、中間フォーマット（例えば、Ｂフォーマット）１１２２において、空間オーディオオブジェクトのアンビソニックエンコーディングを生成することができる。上記に述べられたように、（限定ではないが）二次および／またはより高次のアンビソニックスを表すことが可能なフォーマットを含む、他のフォーマットも、具体的用途の要件の必要に応じて、空間オーディオ情報を表すために利用されることができる。図１１では、音場情報は、音場情報１１２２として示され、これは、音オブジェクトＳ１２１２等の音オブジェクトについてのマッピング情報を含むことができる。
再び図１１を参照すると、システム１１００は、空間オーディオオブジェクトのアンビソニックエンコーディング１１２２をシステムエンコーダ１１１２から受信し、空間オーディオシステム１１００内のセル毎に、システムレベルアンビソニックデコーディングを提供するために使用され得る、システムデコーダ１１３２を含む。本開示の一側面では、システムデコーダ１１３２は、セルおよびその物理的レイアウトを認知し、システム１１００が、音情報１１０２を適切に処理し、特定のスピーカ配列および環境（例えば、部屋）を伴って、オーディオを再現することを可能にする。
図１２Ｂは、図１２Ａの概念表現に対応する、セルのグループのレイアウトのオーバーレイを含む、物理的空間の概念表現を図示する。セルのグループは、３つのセル、すなわち、セル１ １２７０＿ＳＮ１、セル２ １２７０＿ＳＮ２、およびセル３ １２７０＿ＳＮ３を含む。システムデコーダ１１３２は、システムエンコーダ１１１２によって実施されるマッピングと実際の物理的測定を適合させ、図１２Ｂに示される概念表現に達する。したがって、図１２Ｂに示される概念表現では、図１２Ａに示される概念表現の角は、場所［－Ｘ，－Ｙ］、［－Ｘ，Ｙ］、［Ｘ，－Ｙ］、および［Ｘ，Ｙ］に平行移動されており、ＸおよびＹは、物理的空間の物理的次元を表す。例えば、物理的空間が、２０メートル×１４メートルの部屋であると定義される場合、Ｘは、２０であり得、Ｙは、２０であり得る。音オブジェクトＳ１２１２は、場所［０，ｙ＿Ｓ］にマッピングされる。図１２Ｂに示されないが、セルの空間場所は、本発明の多くの実施形態による、空間オーディオシステム内で３次元において決定される。
システムデコーダ１１３２は、セルエンコーダ毎に、（限定ではないが）音オブジェクト毎のオーディオ信号および空間場所メタデータを含み得る、出力データストリームを生成することができる。いくつかの実施形態では、空間場所メタデータは、セルと、システムエンコーダ１１１２によって生成された空間オーディオオブジェクトのアンビソニック表現のアンビソニックデコーディングにおいてシステムデコーダ１１３２によって利用されるオーディオオブジェクトの場所との間の空間関係を説明する。図１１に示されるように、ｎ個のセルが存在する場合、システムデコーダ１１３２は、ｎ個の明確に異なるデータストリームを別個の出力１１４２としてｎ個のセルのそれぞれに提供してもよく、各データストリームは、具体的セルに関する音情報を含む。さらに、ｎ個のセル毎のデータストリームはそれぞれ、複数のオーディオストリームを含むことができる。上記に議論されるように、各オーディオストリームは、セルに対する方向に対応し得る。
システムエンコーダ１１１２に加え、システム１１００はまた、セルレベルにおけるエンコーダ機能性を含む。本開示の種々の側面によると、システム１１００は、図１１におけるセルエンコーダ１１５２－１－１１５２－ｎとして図示される、各セルと関連付けられる、第２のエンコーダを含むことができる。一側面では、セルエンコーダ１１５２－１－１１５２－ｎはそれぞれ、システムデコーダ１１３２から受信された音情報からその関連付けられるセルのためのセルレベルにおける音場情報を生成することに関与する。具体的には、セルエンコーダ１１５２－１－１１５２－ｎはそれぞれ、システムデコーダ１１３２からの出力１１４２から音情報を受信することができる。
セルエンコーダ１１５２－１－１１５２－ｎはそれぞれ、指向性および操向情報を含む、セルレベル音場表現出力を個別のセルデコーダに提供してもよい。本開示の一側面では、各セルエンコーダからのセルレベル音場表現出力は、システムの原点ではなく、その個別のセルに対する音場表現である。所与のセルエンコーダが、各音オブジェクトおよび／またはシステム原点に対するおよび／または相互に対する仮想スピーカおよびセルの場所に関する情報を利用して、セルレベル音場表現をエンコーディングすることができる。本情報から、セルエンコーダ１１５２－１－１１５２－ｎはそれぞれ、その関連付けられるセルから音オブジェクトＳ１２１２等の各音オブジェクトまでの距離および角度を決定してもよい。
図１２Ｃを参照すると、例えば、３つのセル（ｎ＝３）が存在する場合、セル１１２７０＿ＳＮ１のための第１のセルエンコーダ１１５２＿ＳＮ１が、ｎ－チャネル出力１１４２内の音情報を使用して、音オブジェクトＳ１２１２が、距離ｄ＿ＳＮ１において、セル１１２７０＿ＳＮ１に対して角度ｔｈｅｔａ＿ＳＮ１であることを決定し得る。同様に、それぞれ、セル２ １２７０＿ＳＮ２およびセル３ １２７０＿ＳＮ３と関連付けられる、第２のセルエンコーダ１１５２＿ＳＮ２および第３のセルエンコーダ１１５２＿ＳＮ３は、ｎ－チャネル出力１１４２内の音情報を使用して、これらのセルおよび音オブジェクトＳ１２１２のそれぞれからの距離および角度を決定し得る。本開示の一側面では、各セルエンコーダは、その関連付けられるチャネルのみをｎ－チャネル出力１１４２から受信してもよい。多くの実施形態では、類似プロセスは、セルに対する仮想スピーカの場所に基づいて、セルエンコーディングの間に実施される。
セルエンコーダ１１５２－１－１１５２－ｎの全てからのセルレベル音場表現出力は、集合的に、図１１では、セルレベル音場表現情報１１６２として図示される。
ｎ個のセルのそれぞれ内または単一一次セル上に位置し得る、セルエンコーダ１１５２－１－１１５２－ｎから受信されたセルレベル音場表現出力１１６２に基づいて、ローカルセルデコーダ１１７２－１－１１７２－ｎは、集合的に、変換器情報１１８２として図示される、オーディオをセル内に含有されるドライバにレンダリングすることができる。上記の実施例を継続すると、ドライバ１１９２－１－１１９２－ｎのグループはまた、個別のセルデコーダ１１７２－１－１１７２－ｎと関連付けられ、ドライバの１つのグループは、各セル、より具体的には、各セルデコーダと関連付けられる。セルのためのドライバのグループ内のドライバの配向および数は、実施例として提供され、その中に含有されるセルデコーダは、ラウドスピーカの任意の具体的配向または数に適合し得ることに留意されたい。さらに、セルは、単一ドライバを有することができ、空間オーディオシステム内の異なるセルは、異なるドライバのセットを有することができる。
本開示の一側面では、各セルデコーダは、各個別のセルの物理的ドライバ幾何学形状に基づいて、変換器情報を提供する。本明細書にさらに説明されるように、変換器情報は、セル内の各ドライバに特有の電気信号を生成するように変換されてもよい。例えば、セル１ １２７０＿ＳＮ１のための第１のセルデコーダは、セル１２９４＿Ｓ１、１２９４＿Ｓ２、および１２９４＿Ｓ３内のドライバ毎に、変換器情報を提供してもよい。同様に、第２のセルデコーダ１１７２＿ＳＮ２および第３のセルデコーダ１１７２＿ＳＮ３は、それぞれ、セル２ １２７０＿ＳＮ２およびセル３ １２７０＿ＳＮ３内のドライバ毎に、変換器情報を提供してもよい。
図１２Ｃに加え、図１２Ｄを参照すると、セル１ １２７０＿ＳＮ１が、音オブジェクトＳ１２１２を角度ｔｈｅｔａ＿ＳＮ１および距離ｄ＿ＳＮ１にレンダリングすることになる場合に、セル１ １２７０＿ＳＮ１は、第１のドライバ１２９４＿Ｓ１、第２のドライバ１２９４＿Ｓ２、および第３のドライバ１２９４＿Ｓ３として図示される、３つのドライバを含む場合、第１のセルデコーダ１１７２＿ＳＮ１は、変換器情報をこれらの３つのドライバのそれぞれに提供してもよい。容易に理解され得るように、セルデコーダによって生成された具体的信号は、主として、セルの構成に依存する。
アンビソニックスを使用して、恣意的オーディオソースから音場をレンダリングするための具体的プロセスの間、種々のオーディオ信号処理パイプラインのいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、複数のセルを使用して、オーディオソースのオリジナルエンコーディングにおいて利用されるチャネルの数および／またはスピーカレイアウト仮定から独立するように、音場をレンダリングするために利用されることができる。例えば、（限定ではないが）より高次のアンビソニックス（例えば、音場表現）、ＶＢＡＰ表現、ＤＢＡＰ、および／またはＫＮＮパンニング表現を含む、アンビソニック表現と組み合わせて、またはその代替として、他の空間オーディオ表現を採用する、ネスト化されたアーキテクチャが、利用されることができる。本発明の種々の実施形態による、空間オーディオ再現技法を利用して、次いで、ドライバ入力を生成するために、個々のセルによって利用される、仮想スピーカのセットのためのオーディオ入力を生成する、音場をレンダリングするための具体的プロセスが、下記にさらに議論される。
第４Ｂ節：仮想スピーカを利用する、ネスト化されたアーキテクチャ
本発明の種々の実施形態による、空間オーディオ再現技法は、ソースオーディオコンテンツのチャネルの数にかかわらず、ソースオーディオコンテンツの恣意的部分をセルの任意の恣意的配列上にレンダリングするために使用されることができる。例えば、５．１サラウンド音フォーマットにおいてエンコーディングされたソースオーディオは、通常、５つのスピーカおよび専用サブウーファを使用してレンダリングされる。しかしながら、本明細書に説明されるシステムおよび方法は、より少数のセルを使用して、同一コンテンツを同一品質においてレンダリングすることができる。ここで図１３Ａ－Ｄに目を向けると、本発明のある実施形態による、５．１チャネルオーディオを３つのセルにマッピングするために利用される、アンビソニックレンダリング技法の視覚的表現が、図示される。容易に理解され得るように、図１３Ａ－Ｄに示される実施例は、任意の恣意的数のセルに対する任意の恣意的数の入力チャネルに一般化可能である。さらに、チャネルベースのオーディオは、アップミックスおよび／またはダウンミックスされ、オーディオのエンコーディングで使用されるチャネルの数と異なる、ある数の空間オーディオオブジェクトを作成することができる。加えて、本明細書に説明されるプロセスは、空間オーディオのアンビソニック表現の使用に限定されない。
図１３Ａは、所望の５．１チャネルスピーカ構成を図示する。５．１フォーマットは、３つの前面スピーカと、２つの背面スピーカとを有し、前面および背面スピーカは、相互に向かって放音する。５．１チャネルスピーカ構成は、構成の中心における点がサラウンド音の焦点であるように設定される。本情報を使用して、仮想スピーカのリングが、同一焦点を伴って確立されることができる。本発明のある実施形態による、本仮想スピーカのリングが、図１３Ｂに図示される。本実施例では、８つの仮想スピーカが、インスタンス化されるが、数は、セルの数および／または所望の空間分離の程度に応じて、より多いまたはより少なくあることができる。多くの実施形態では、仮想スピーカのリングは、アンビソニックラウドスピーカアレイをエミュレートする。アンビソニックエンコーディングが、５．１チャネルスピーカシステムによって生成された音場に合致するであろう、同一音場を作成するために要求される、アンビソニック表現を計算することによって、５．１チャネルオーディオを仮想ラウドスピーカのリングにマッピングするために使用されることができる。アンビソニック表現を使用して、各仮想スピーカは、オーディオ信号を割り当てられることができ、これは、レンダリングされる場合、該音場を作成するであろう。代替空間オーディオレンダリング技法も、５．１チャネルオーディオを種々の空間オーディオ表現のいずれかにエンコーディングするために利用されることができ、これは、次いで、（限定ではないが）より高次のアンビソニックス（例えば、音場表現）、ＶＢＡＰ表現、ＤＢＡＰ表現、および／またはＫＮＮパンニング表現等の表現を使用して、仮想スピーカのアレイに基づいて、デコーディングされる。
音オブジェクトをレンダリングすることを有効にする、本発明の多くの実施形態において利用されるセルのモードビーム形成能力に起因して、仮想スピーカは、グループ内のセルに音オブジェクトとして割り当てられることができる。セルはそれぞれ、それらが割り当てられる、仮想スピーカと関連付けられるオーディオ信号を空間オーディオ表現にエンコーディングすることができ、これを、セルは、次いで、セル内に含有されるドライバを駆動するための信号のセットを取得するようにデコーディングすることができる。このように、セルは、集合的に、所望の音場をレンダリングすることができる。本発明のある実施形態による、５．１チャネルオーディオをレンダリングする、３つのセル配列が、図１３Ｃに図示される。いくつかの実施形態では、他のセルより高い水平平面上に位置する、空中セルが、アンビソニックスピーカアレイにより密接に近似するように導入されることができる。本発明のある実施形態による、空中セルを含む、例示的構成が、図１３Ｄに図示される。具体的実施例は、５．１チャネルソースおよび３または４つのセルを含むグループに基づいて、図１３Ａ－１３Ｄを参照して上記に説明されるが、１つ以上のセルのグループの恣意的構成によってレンダリングするための任意のチャネルの数（単一チャネルを含む）と１つ以上の空間オーディオオブジェクトの種々のマッピング（チャネルのアップミックスおよび／またはダウンミックスによるものを含む）のいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、本明細書に説明されるプロセスのいずれかに類似するプロセスを使用して、実施されることができる。
図１４は、本開示の種々の側面による、空間オーディオ制御および再現のためのシステムによって実装され得る、音情報を処理するための音情報プロセス１４００を図示する。１４１０では、音オブジェクトを含み得る、音情報が、システムエンコーダによって受信される。１４２０では、セル場所のマップが、取得されることができる。１４３０では、システムエンコーダが、オブジェクトのセットに関する音情報音を使用して、音場表現を作成する。一般に、システムエンコーダは、音オブジェクトの音場表現をシステムレベルで生成する。本開示の一側面では、システムレベル音場表現は、音オブジェクトの位置情報を音情報内に含む。例えば、システムエンコーダは、音情報内に含有される音オブジェクトをマッピングすることによって、音場情報を生成してもよい。音場情報は、全指向性成分ＸおよびＹである、成分Ｗと、適用可能である場合、Ｚとを含む、アンビソニック表現を利用してもよい。上記に述べられたように、（限定ではないが）より高次のアンビソニックス（例えば、音場表現）、ＶＢＡＰ表現、ＤＢＡＰ表現、および／またはＫＮＮパンニング表現を含む、代替空間オーディオ表現も、利用されることができる。位置情報は、システムエンコーダによって選択された原点に対して定義されることができ、これは、システムエンコーダが決定された原点を有するため、「システム原点」と称される。
１４４０では、システムデコーダが、本音情報を使用してシステムエンコーダによって生成されたシステムレベル音場表現を含む、音場情報を受信する。システムデコーダは、システムレベル音場表現と、システム内のセルのレイアウトおよび数の認知とを使用して、ｎ－チャネル出力の形態におけるセル毎出力を生成し得る。議論されるように、本開示の一側面では、ｎ－チャネル出力内の情報は、システム内のセルの数およびレイアウトに基づく。多くの実施形態では、デコーダは、セルのレイアウトを利用して、仮想スピーカのセットを定義し、仮想スピーカのセットのためのオーディオ入力のセットを生成する。所与のセルに提供される、ｎ－チャネル出力からの具体的チャネル出力は、仮想スピーカのセットのためのオーディオ入力およびそれらの仮想スピーカの場所に関する情報のうちの１つ以上のものを含むことができる。いくつかの実施形態では、一次セルは、仮想スピーカを利用して、セル毎に、オーディオ信号のセットをデコーディングする（例えば、一次セルは、仮想スピーカ１４６０毎に、音情報の表現に基づいて、セル信号を生成するための処理を実施する）。いくつかの実施形態では、特定のセルのためにデコーディングされた各オーディオ信号は、具体的方向に配向される、ドライバのセットに対応する。セルが、例えば、異なる方向に配向される、ドライバの３つのセットを有するとき、一次セルは、仮想スピーカのためのオーディオ信号の全てまたはサブセットから３つのオーディオ信号（ドライバのセット毎に１つ）をデコーディングすることができる。一次セルが、セル毎にオーディオ信号のセットをデコーディングするとき、これは、所与のセルに提供される、ｎ－チャネル出力である、これらの信号となる。
１４５０では、各セルエンコーダが、システムデコーダによって生成されたｎ－チャネル出力内の仮想スピーカのセットに関する音情報のｎ－チャネルのうちの１つを受信する。各セルエンコーダは、仮想スピーカへのオーディオ入力および仮想スピーカの場所からセルレベルにおいて音場表現情報を決定することができ、これは、本明細書でさらに議論されるように、個別のセルデコーダが、後に、それと関連付けられる１つ以上のドライバに関する適切な変換器情報を生成することを可能にすることができる。具体的には、セル内の各セルエンコーダは、集合的に、セルレベル音場表現情報と称され得る、出力内において、その音場表現情報をその関連付けられるセルデコーダにパスする。関連付けられるセルデコーダは、次いで、セルレベル音場表現情報をデコーディングし、個々のドライバ信号をドライバに出力１４６０することができる。本開示の一側面では、本セルレベル音場表現情報は、各セルから生成されたオーディオを減衰させるための情報として提供される。換言すると、信号は、それを特定の方向にバイアス（例えば、パンニング）するために、ある量だけ減衰されている。多くの実施形態では、仮想スピーカ入力は、直接、（限定ではないが）ＦＩＲフィルタのセット等のフィルタのセットを使用して、個々のドライバ信号に変換されることができる。容易に理解され得るように、フィルタを使用したドライバ信号の生成は、セルによってレンダリングされた空間オーディオオブジェクトの場所に関係なく、仮想スピーカ場所とセル場所との間の固定関係を考慮するように、ネスト化されたエンコーディングを実施し、仮想スピーカ入力をデコーディングするための効率的技法である。
いくつかの実施形態では、セルエンコーダおよびセルデコーダは、アンビソニックスを使用して、各セルによって生産された信号の指向性を制御することができる。いくつかの実施形態では、一次アンビソニックスが、仮想スピーカのセットのオーディオ入力に基づいて、具体的セルのためのオーディオ信号をエンコーディングおよび／またはデコーディングするためのプロセス内で利用される。いくつかの実施形態では、加重されたサンプリングデコーダが、セルのためのオーディオ信号のセットを生成するために利用される。いくつかの実施形態では、付加的付随ノイズ除去が、（限定ではないが）スーパーカーディオイドおよび／またはハイパーカーディオイドを含む、より高次のアンビソニックスを使用して、セルによって形成されるビーム内で取得される。このように、より高次のアンビソニックスに依拠する、デコーダの使用は、本発明の種々の実施形態による、空間オーディオシステム内で利用されるセルのドライバ（例えば、ホーン）のセット間でより高い指向性およびより少ないクロストークを達成することができる。いくつかの実施形態では、最大エネルギーベクトル規模の加重が、空間オーディオシステム内のセルのためにオーディオ信号をデコーディングするために利用される、より高次のアンビソニックデコーダを実装するために利用されることができる。容易に理解され得るように、種々の空間オーディオデコーダのいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、仮想スピーカ入力信号の数およびその場所に基づいて、セルのためのオーディオ信号を生成するために利用されることができる。
下記にさらに議論されるように、空間オーディオオブジェクトの知覚される距離および方向は、（限定ではないが）直接オーディオのパワー対セルまたはセルのグループに近接して位置する１人以上の聴取者によって知覚される拡散オーディオのパワーの比率を含む、音の特性を修正するように、セルによって生産されたオーディオの指向性および／または方向を修正することによって、制御されることができる。仮想スピーカを利用して、ネスト化されたアーキテクチャ内の具体的セルのために、オーディオ信号をデコーディングするための種々のプロセスが、上記に説明されるが、本明細書に説明されるセルデコーダに類似するセルデコーダが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、（限定ではないが）空間オーディオのエンコーディングにおいて、仮想スピーカの使用に依拠しない、および／または空間オーディオのエンコーディングにおいて、種々の異なる数および／または構成の仮想スピーカのいずれかに依拠する、空間オーディオシステムを含む、種々の空間オーディオシステムのいずれかにおいて利用されることができる。複数のネットワーク接続セルが、ネットワーク上に存在するとき、ネットワークを経由してフローするために必要とされるトラフィックの量を低減させることが、有益であり得る。これは、オーディオを同期させるために重要であり得る、待ち時間を低減させることができる。したがって、種々の実施形態では、一次セルは、仮想スピーカレイアウトに基づいて、空間表現をエンコーディングするステップと、空間表現デコーディングするステップとに関与することができる。一次セルは、次いで、ステップの残りのために、仮想スピーカのためのデコーディングされた信号を二次セルに伝送することができる。本方式では、ネットワークを横断して伝送されるべきオーディオ信号の最大数は、空間オーディオオブジェクトの数から独立し、代わりに、各セルに提供されることが所望される、仮想スピーカオーディオ信号の数に依存する。容易に理解され得るように、一次セル処理と二次セル処理との間の分割は、種々の利点および結果を伴って、任意の恣意的点において描かれることができる。
多くの実施形態では、セルのドライバアレイ内のドライバは、１つ以上のセットの中に配列されてもよく、これは、それぞれ、セルデコーダによって駆動されることができる。多数の実施形態では、各ドライバセットは、少なくとも１つのミッドと、少なくとも１つのツイータとを含有する。しかしながら、異なる数のドライバおよびクラスのドライバが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、全て１つのタイプのドライバを含む、ドライバセットを構成することができる。例えば、図１５は、本発明のある実施形態による、セルのドライバアレイ内のドライバのセットを図示する。セルデコーダ１５００は、ドライバアレイ１５１０を駆動し、これは、ミッド／高ドライバ１５１２－１の第１のセットと、ミッド／高ドライバ１５１２－２の第２のセットと、ミッド／高ドライバ１５１２－３の第３のセットを含む。各ドライバセットは、１つ以上のバス、中域、およびツイータスピーカ等の異なるタイプの１つ以上のオーディオ変換器を含んでもよい。本開示の一側面では、別個のオーディオ信号が、ラウドスピーカアレイ内のラウドスピーカセット毎に生成されてもよく、交差フィルタ等の帯域通過フィルタが、セルデコーダ１５００によって生成された変換器情報が、特定のドライバセット内の異なるタイプのドライバ毎に、異なる帯域通過信号に分割され得るように使用されてもよい。図示される実施形態では、ミッド／高ドライバセットはそれぞれ、ミッド１５１３－１と、ツイータ１５１３－２とを含む。多くの実施形態では、ドライバアレイはさらに、ウーファドライバセット１５１４を含む。多くの実施形態では、ウーファドライバセットは、２つのウーファを含む。しかしながら、無ウーファ、１つのウーファ、またはｎ個のウーファを含む、任意の数のウーファが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、利用されることができる。
いくつかの実施形態では、空間オーディオシステムによってレンダリングされた空間オーディオの知覚される品質は、指向性オーディオを使用して、レンダリングされた音場内の直接音対残響音の知覚される比率を制御することによって、向上されることができる。多くの実施形態では、増加された残響音は、ビームを壁および／または空間内の他の表面から反射するように指向するためのモードビーム形成を使用して達成される。このように、直接音と残響ノイズとの間の比率は、第１の方向における直接成分と、近隣の表面から反射するであろう、付加的方向における付加的間接オーディオ成分とを含む、オーディオをレンダリングすることによって制御されることができる。本発明のいくつかの異なる実施形態による、指向性オーディオを使用して没入型の空間オーディオを達成するために利用され得る、種々の技法が、下記に議論される。
ここで図１６に目を向けると、本発明のある実施形態による、拡散および指向方式において、空間オーディオをレンダリングするためのプロセスが、図示される。プロセス１６００は、オーディオファイルの全部または一部を取得するステップ（１６１０）と、セル場所マップを取得するステップ（１６２０）とを含む。本情報を使用して、直接オーディオ空間表現が、エンコーディングされる（１６３０）。直接表現は、（拡散音ではなく）直接音に関する情報を含むことができる。直接表現は、仮想スピーカレイアウトを使用して、デコーディングされることができ（１６４０）、次いで、出力は、真のセルレイアウトのためにエンコーディングされる（１６５０）。本エンコーディングされた情報は、ソースオーディオと関連付けられる音場の直接部分を生成するために使用され得る、空間オーディオ情報を含有することができる。実質的にリアルタイムで、距離スケーリングプロセスが、実施され（１６６０）、拡散空間表現が、エンコーディングされることができる（１６７０）。本拡散表現は、仮想スピーカレイアウトを使用して、デコーディングされ（１６８０）、真のセルレイアウトのためにエンコーディングされ（１６９０）、直接音と残響音との間の知覚される比率を制御することができる。拡散および直接表現は、所望の音場をレンダリングするために、セルによってデコーディングされることができる（１６９５）。
上記の議論から理解され得るように、（限定ではないが）空間内のセルの相対的位置および配向および空間の音響特性を含む、空間情報を決定する能力は、空間オーディオのレンダリングを大いに補助することができる。いくつかの実施形態では、測距プロセスが、セルの設置および配向および／またはその中にセルが設置される空間の種々の特性を決定するために利用される。本情報は、次いで、仮想スピーカ場所を決定するために利用されることができる。集合的に、（限定ではないが）セル、すなわち、空間を説明する空間データ、聴取者の場所、聴取者の履歴場所、および／または仮想スピーカ場所を含む、空間データは、空間場所メタデータと称され得る。本発明の種々の実施形態による、空間場所メタデータを生成し、空間場所メタデータの一部または全部を空間オーディオシステム内の種々のセルに配布するための種々のプロセスが、下記に説明される。
ここで図１７に目を向けると、本発明のある実施形態による、仮想スピーカ設置をセルに伝搬するためのプロセスが、図示される。プロセス１７００は、空間をマッピングするステップ（１７１０）を含む。上記に述べられたように、空間マッピングは、いくつかの技法のいずれかを使用して、セルおよび／または他のデバイスによって実施されることができる。種々の実施形態では、空間をマッピングするステップは、空間内の種々のオブジェクトおよび障壁の音響反射率を決定するステップを含む。
プロセス１７００はさらに、近傍のセルを位置特定するステップ（１７２０）を含む。多数の実施形態では、セルは、音響シグナリングを使用して、他のセルによって位置特定されることができる。セルはまた、ネットワーク接続カメラ（例えば、携帯電話カメラ）を使用した視覚的確認を介して、識別されることができる。いったん領域内のセルが、位置特定されると、グループが、構成されることができる（１７３０）。グループ内のスピーカの場所に基づいて、仮想スピーカ設置が、生成されることができる（１７４０）。仮想スピーカ設置は、次いで、他のセルに伝搬されることができる（１７５０）。多数の実施形態では、一次セルが、仮想スピーカ設置を生成し、設置を一次セルに接続される二次セルに伝搬する。多くの実施形態では、１つを上回る仮想スピーカ設置が、生成されることができる。例えば、（限定ではないが）Ｄｏｌｂｙ Ｌａｂｏａｔｏｒｉｅｓ， ｉｎｃによって開発されたようなＤｏｌｂｙ Ｄｉｇｉｔａｌ、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、およびＤｏｌｂｙ Ａｔｍｏｓを含む、種々のオーディオエンコーディングフォーマットと併せて推奨されるスピーカ設置を含む、従来の２、２．１、５．１、５．１．２、５．１．４、７．１、７．１．２、７．１．４、９．１．２、９．１．４、および１１．１スピーカ設置が、それらがより一般的であるように生成されてもよい。しかしながら、仮想スピーカ設置は、マップを使用して、オンザフライで生成されることができる。
上記に述べられたように、空間エンコーダおよび空間デコーダのネスト化されたアーキテクチャのコンポーネントは、種々の方法において、空間オーディオ内の個々のセル内に実装されることができる。本発明のある実施形態による、空間オーディオシステム内の一次セルまたは二次セルとして作用するように構成され得る、セルのソフトウェアが、図４８に概念的に図示される。セル４８００は、（限定ではないが）ハードウェアドライバを含む、一連のドライバと、（限定ではないが）ＵＳＢおよびＨＤＭＩ（登録商標）ドライバ等のインターフェースコネクタドライバとを含む。ドライバは、セル４８００のソフトウェアが、１つ以上のマイクロホンを使用して、オーディオ信号を捕捉し、セル内の１つ以上のドライバのためのドライバ信号を生成することを有効にする（例えば、デジタル／アナログコンバータを使用して）。容易に理解され得るように、セルによって利用される具体的ドライバは、主として、セルのハードウェアに依存する。
図示される実施形態では、オーディオおよびＭＩＤＩアプリケーションＤ＃４０２が、セルの処理システムおよびハードウェアドライバ上で実行される種々のソフトウェアプロセス間でパスされる情報を管理するために提供される。いくつかの実施形態では、オーディオおよびＭＩＤＩアプリケーションは、セルのドライバのセット上にレンダリングするために、オーディオ信号をデコーディングすることが可能である。セル上にレンダリングするためにオーディオをデコーディングするための本明細書に説明されるプロセスのいずれかは、下記に詳細に議論されるプロセス含む、オーディオおよびＭＩＤＩアプリケーションによって利用されることができる。
ハードウェアオーディオソースプロセス４８０４は、インターフェースコネクタドライバを介して、外部ソースとの通信を管理する。インターフェースコネクタドライバは、オーディオソースが、直接、セルに接続されることを有効にすることができる。オーディオ信号は、オーディオサーバ４８０６を使用して、ドライバとセルの処理システム上で実行される種々のソフトウェアプロセスとの間でルーティングされることができる。
上記に述べられたように、マイクロホンによって捕捉されたオーディオ信号は、（限定ではないが）較正、等化、測距、および／または音声コマンド制御を含む、種々のアプリケーションのために利用されることができる。図示される実施形態では、マイクロホンからのオーディオ信号は、オーディオサーバ４８０６を使用して、オーディオおよびＭＩＤＩアプリケーション４８０２からマイクロホンプロセッサ４８０８にルーティングされることができる。マイクロホンプロセッサは、（限定ではないが）較正、等化、および／または測距等、セルが空間オーディオを生成する様式と関連付けられる、機能を実施することができる。いくつかの実施形態では、マイクロホンが、音声コマンドを捕捉するために利用され、マイクロホンプロセッサが、マイクロホン信号を処理し、それらをワード検出および／または音声アシスタントクライアント４８１０に提供することができる。コマンドワードが、検出されると、音声アシスタントクライアント４８１０は、付加的処理のために、オーディオおよび／またはオーディオコマンドをクラウドサービスに提供することができる。音声アシスタントクライアント４８１０はまた、音声アシスタントクラウドサービスからの応答をセルのアプリケーションソフトウェアに提供することができる（例えば、音声コマンドをセルの制御にマッピングする）。セルのアプリケーションソフトウェアは、次いで、具体的音声コマンドの必要に応じて、音声コマンドを実装することができる。
いくつかの実施形態では、セルは、オーディオをネットワークオーディオソースから受信する。図示される実施形態では、ネットワークオーディオソースプロセス４８１２は、１つ以上の遠隔オーディオソースとの通信を管理するために提供される。ネットワークオーディオソースプロセスは、認証、ストリーミング、デジタル権利管理、および／またはセルがオーディオを受信および再生するために特定のネットワークオーディオソースによって実施するために要求される、任意の他のプロセスを管理することができる。下記にさらに議論されるように、受信されたオーディオは、ソースサーバプロセス４８１４を使用して、他のセルに転送される、または音サーバ４８１６に提供されることができる。
セルは、ソースサーバ４８１４を使用して、ソースを別のセルに転送することができる。ソースは、（限定ではないが）直接、コネクタを介してセルに接続される、オーディオソース、および／またはネットワークオーディオソースプロセス４８１２を介して、ネットワークオーディオソースから取得される、ソースであることができる。ソースは、第１のセルのグループ内の一次セルと第２のセルのグループ内の一次セルとの間で転送され、２つのセルのグループ間のソースの再生を同期させることができる。セルはまた、ソースサーバ４８１４を介して、１つ以上のソースを別のセルまたはネットワーク接続ソース入力デバイスから受信することができる。
音サーバ４８１６は、セル上のオーディオ再生を協調させることができる。セルが、一次セルとして構成されるとき、音サーバ４８１６はまた、二次セル上のオーディオ再生を協調させることができる。セルが、一次セルとして構成されるとき、ソースサーバ４８１６は、オーディオソースを受信し、ドライバを使用して、セル上にレンダリングするために、オーディオソースを処理することができる。容易に理解され得るように、種々の空間オーディオ処理技法のいずれかは、オーディオソースを処理し、空間オーディオオブジェクトを取得し、空間オーディオオブジェクトに基づいて、セルのドライバを使用して、オーディオをレンダリングするために利用されることができる。いくつかの実施形態では、セルソフトウェアは、ソースオーディオが空間オーディオオブジェクトを取得するために使用される、上記に説明される種々のネスト化されたアーキテクチャに類似する、ネスト化されたアーキテクチャを実装する。音サーバ４８１６は、特定のオーディオソースのために適切なソースオーディオオブジェクトを生成し、次いで、空間オーディオオブジェクトを空間的にエンコーディングすることができる。いくつかの実施形態では、オーディオソースは、すでに空間的にエンコーディングされている（例えば、アンビソニックフォーマットにおいてエンコーディングされている）可能性があり、したがって、音サーバ４８１６は、空間エンコーディングを実施する必要はない。音サーバ４８１６は、空間オーディオを仮想スピーカレイアウトにデコーディングすることができる。仮想スピーカのためのオーディオ信号が、次いで、音サーバによって、セルの場所および／またはグループ内のセルの場所に特有のオーディオ信号をデコーディングするために使用されることができる。いくつかの実施形態では、セル毎にオーディオ信号を取得するプロセスは、セルおよび／またはセルのグループ内の他のセルの場所に基づいて、仮想スピーカのオーディオ入力を空間的にエンコーディングするステップを伴う。セル毎の空間オーディオは、次いで、セル内に含まれるドライバのセット毎に、別個のオーディオ信号にデコーディングされることができる。いくつかの実施形態では、セルのためのオーディオ信号は、オーディオおよびＭＩＤＩアプリケーション４８０２に提供されることができ、これは、個々のドライバ入力を生成する。セルが、セルのグループ内の一次セルである場合、音サーバ４８１６は、ネットワークを経由して、二次セル毎に、オーディオ信号を伝送することができる。多くの実施形態では、オーディオ信号は、ユニキャストを介して伝送される。いくつかの実施形態では、オーディオ信号の一部は、ユニキャストされ、少なくとも１つの信号（例えば、グループ内の全てのセルによってレンダリングするために使用される、バス信号）は、マルチキャストされる。いくつかの実施形態では、音サーバ４８１６は、オーディオおよびＭＩＤＩアプリケーション４８０２によって、ハードウェアドライバを使用して、セルのドライバへの入力を生成するために利用される、直接および拡散オーディオ信号を生成する。直接および拡散信号はまた、音サーバ４８１６によって生成され、二次セルに提供されることができる。
セルが、二次セルであるとき、音サーバ４８０２は、一次セル上で生成され、ネットワークを介してセルに提供された、オーディオ信号を受信することができる。セルは、受信されたオーディオ信号をオーディオおよびＭＩＤＩアプリケーション４８０２にルーティングすることができ、これは、オーディオ信号がセル自体によって生成されたかのように、同一様式で個々のドライバ入力を生成する。
音サーバの種々の潜在的実装が、図４８を参照して上記に説明されるものに類似するセル、および／または本発明のある実施形態による、空間オーディオシステム内で利用され得る、種々の他のタイプのセルのいずれか内で利用されることができる。本発明のある実施形態による、空間オーディオシステム内のセル内で利用され得る、音サーバソフトウェア実装が、図４９に概念的に図示される。音サーバ４９００は、具体的用途の要件の必要に応じて、ソースグラフ４９０２を利用して、適切な空間エンコーダ４９０４への入力のために、特定のオーディオソースを処理する。いくつかの実施形態では、複数のソースが、ミックスされることができる。図示される実施形態では、ミックスエンジン４９０６が、ソースのそれぞれからの空間的にエンコーディングされたオーディオをミックスする。ミックスされた空間的にエンコーディングされたオーディオは、少なくとも、ローカルデコーダ４９０８に提供され、これは、空間的にエンコーディングされたオーディオを、セル内のドライバのセットのためのドライバ信号をレンダリングするために利用され得る、セルに特有のオーディオ信号にデコーディングする。ミックスされた空間的にエンコーディングされたオーディオ信号は、１つ以上の二次デコーダ４９１０に提供されることができる。各二次デコーダは、セルの場所および／またはその中にセルのグループが位置する環境のレイアウトに基づいて、空間的にエンコーディングされたオーディオを特定の二次セルに特有のオーディオ信号にデコーディングすることが可能である。このように、一次セルは、セルのグループ内のセル毎に、オーディオ信号を生成することができる。図示される実施形態では、二次送信プロセス４９１２が、オーディオ信号を、ネットワークを介して、二次セルに伝送するために利用される。
ソースグラフ４９０２は、オーディオの性質に応じて、種々の異なる方法において構成されることができる。いくつかの実施形態では、セルは、モノ、ステレオ、種々のマルチチャネルサラウンド音フォーマットのいずれか、および／またはアンビソニックフォーマットに従ってエンコーディングされたオーディオである、ソースを受信することができる。オーディオのエンコーディングに応じて、ソースグラフは、オーディオ信号またはオーディオチャネルをオーディオオブジェクトにマッピングすることができる。上記に議論されるように、受信されたソースは、アップミックスおよび／またはダウンミックスされ、オーディオソースによって提供されるオーディオ信号／オーディオチャネルの数と異なる、ある数のオーディオオブジェクトを作成することができる。オーディオが、アンビソニックフォーマットにおいてエンコーディングされると、ソースグラフは、オーディオソースを、直接、空間エンコーダに転送することが可能であり得る。いくつかの実施形態では、アンビソニックフォーマットは、空間エンコーダと互換性がない場合があり、オーディオソースは、空間エンコーダのために適切な入力である、アンビソニックフォーマットにおいて再エンコーディングされなければならない。容易に理解され得るように、空間エンコーダへの入力のためのソースを処理するためにソースグラフを利用する利点は、付加的ソースグラフが、具体的用途の要件の必要に応じて、付加的フォーマットをサポートするために展開され得ることである。
種々の空間エンコーダが、図４９に示される音サーバに類似する音サーバ内で利用されることができる。さらに、具体的セルは、（限定ではないが）オーディオソースのタイプ、セルの数、および／またはセルの設置のうちの任意の１つ以上のものを含む、要因に基づいて利用され得る、いくつかの異なる空間エンコーダを含んでもよい。例えば、利用される空間エンコーディングは、セルが、複数のセルが実質的に同一平面上にある構成において、またはセルのグループがまた、頭上に搭載される（例えば、天井に搭載される）少なくとも１つのセルを含むときの第２の構成においてグループ化されるかどうかに応じて、変動し得る。
本発明のある実施形態による、本明細書に説明される音サーバのいずれかにおいてモノソースをエンコーディングするために利用され得る、空間エンコーダが、図５０に概念的に図示される。空間エンコーダ５０００は、入力として、個々のモノオーディオオブジェクトと、オーディオオブジェクトの場所に関する情報とを受け取る。多くの実施形態では、場所情報は、２Ｄまたは３Ｄにおいて、システム原点に対するデカルトおよび／または動径座標で表されることができる。空間エンコーダ５０００は、距離エンコーダ５００２を利用して、オーディオオブジェクトによって生成された直接および拡散オーディオを表すために使用される信号を生成するためにエンコーディングする。図示される実施形態では、第１のアンビソニックエンコーダ５００４が、オーディオオブジェクトによって生成された直接オーディオのより高次のアンビソニック表現（例えば、二次アンビソニックおよび／または音場表現）を生成するために利用される。加えて、第２のアンビソニックエンコーダ５００６が、拡散オーディオのより高次のアンビソニック表現（例えば、二次アンビソニックおよび／または音場表現）を生成するために利用される。第１のアンビソニックデコーダ５００８は、直接オーディオのより高次のアンビソニック表現を仮想スピーカのセットのためのオーディオ入力にデコーディングする。第２のアンビソニックデコーダ５０１０は、拡散オーディオのより高次のアンビソニック表現を仮想スピーカのセットのためのオーディオ入力にデコーディングする。図５０に関して説明される空間エンコーダは、直接および拡散オーディオのより高次のアンビソニック表現を利用するが、空間エンコーダはまた、（限定ではないが）ＶＢＡＰ表現、ＤＢＡＰ表現、および／またはＫＮＮパンニング表現等の表現を使用することができる。
図５１に図示されるソースエンコーダから理解され得るように、ソースエンコーダと互換性があるフォーマットにおいて、アンビソニック的にエンコーディングされたソースは、別個のアンビソニックエンコーディングを要求しない。代わりに、ソースエンコーダ５１００は、距離エンコーダ５１０２を利用して、アンビソニックコンテンツのための直接および拡散オーディオを決定することができる。直接および拡散オーディオのアンビソニック表現は、次いで、デコーディングされ、仮想スピーカのセットのためのオーディオ入力を提供することができる。図示される実施形態では、第１のアンビソニックデコーダ５１０４が、直接オーディオのアンビソニック表現を仮想スピーカのセットのための入力にデコーディングし、第２のアンビソニックデコーダ５１０６が、拡散オーディオのアンビソニック表現を仮想スピーカのセットのための入力にデコーディングする。図５１に関する上記のソースエンコーダ議論は、アンビソニックエンコーディングを参照するが、空間オーディオの種々の表現のいずれかが、同様に、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、仮想スピーカのセットのために、直接および／または拡散入力にデコーディングされることができる。
上記に述べられたように、仮想スピーカオーディオ入力は、直接、デコーディングされ、１つ以上のドライバの１つ以上のセットのためのフィード信号を提供することができる。多くの実施形態では、ドライバの各セットは、異なる方向に配向され、仮想スピーカオーディオ入力が、セルによって生成された音場のアンビソニックまたは他の適切な空間表現を生成するために利用される。セルによって生成された音場の空間表現は、次いで、ドライバのセット毎に、フィード信号をデコーディングするために利用されることができる。以下の節は、ミッドおよびツイータドライバによってフィードされるハロの周界の周囲に分散された３つのホーンを有する、セルを含む、セルの種々の実施形態について議論する。セルはまた、一対の対向ウーファを含む。ホーンのそれぞれと関連付けられるドライバのセット毎のフィードに対応する３つのオーディオ信号に基づいて、個々のドライバフィードを生成するためのグラフが、図５２に図示される。図示される実施形態では、グラフ５２００は、ツイータおよびミッド（合計６つ）および２つのウーファ毎に、ドライバを生成する。３つのフィード信号のそれぞれのバス部分は、組み合わせられ、低域通過フィルタリングされ５２０２、ウーファを駆動するためのバス信号を生産する。図示される実施形態では、サブ処理が、上部および底部サブウーファ毎に、別個に実施され５２０４、５２０６、結果として生じる信号は、リミッタ５２０８に提供され、結果として生じる信号が損傷をドライバに引き起こさないであろうことを確実にする。フィード信号はそれぞれ、信号のより高い周波数部分に対して別個に処理される。中間周波数および高周波数は、周波数５２１０、５２１２、および５２１４のセットを使用して分離され、信号は、３つのホーンのそれぞれにおけるミッドおよびツイータドライバのための６つのドライバ信号を生成するために、リミッタ５２１６に提供される。具体的グラフが、図５２に示されるが、種々のグラフのいずれかが、ドライバのセット毎に別個のフィード信号に基づいて、セル内で利用される具体的ドライバの必要に応じて、利用されることができる。いくつかの実施形態では、サブウーファを駆動するために使用される、別個の低周波数フィードが、セルに提供されることができる。ある実施形態では、同一低周波数フィードが、グループ内の全てのセルに提供される。容易に理解され得るように、具体的フィード、およびセルが、グラフを実装して、ドライバフィードを生成する、特定の様式は、主として、本発明の種々の実施形態による、具体的用途の要件に依存する。
種々の空間オーディオエンコーディング技法を採用する、種々のネスト化されたアーキテクチャが、上記に説明されるが、（限定ではないが）分散型空間オーディオ再現プロセス、および／または仮想スピーカレイアウトを利用して、空間オーディオをレンダリングするための様式を決定する、空間オーディオ再現プロセスを含む、いくつかの空間オーディオ再現プロセスのいずれかが、本発明の種々の実施形態による、異なる用途の要件の必要に応じて、利用されることができる。さらに、いくつかの異なる空間場所メタデータフォーマットおよび成分が、上記に説明される。空間オーディオシステム内で生成および配布される空間レイアウトメタデータは、いかようにもデータおよび／または具体的フォーマットの具体的部分に限定されないことが、容易に理解されるはずである。空間レイアウトメタデータの成分および／またはエンコーディングは、主として、所与の用途の要件に依存する。故に、上記のネスト化されたアーキテクチャおよび／または空間エンコーディング技法のいずれかが、組み合わせて利用されることができ、具体的組み合わせに限定されないことを理解されたい。さらに、具体的技法は、本発明のある実施形態による、本明細書に具体的に開示されるもの以外のプロセスにおいても利用されることができる。
上記の議論の多くは、概して、本発明の種々の実施形態による、空間オーディオシステム内で利用され得る、セルの多くの変形の特性に関して述べている。しかしながら、いくつかのセル構成は、空間オーディオシステム内で利用されるとき、具体的利点を有する。故に、本発明の種々の実施形態による、空間オーディオシステムにおいて使用するためのセルを構築するためのいくつかの異なる技法の議論が、下記にさらに議論される。
第５節：空間オーディオシステム内のオーディオデータの分布
上記に述べられたように、複数のセルが、空間オーディオをレンダリングするために使用されることができる。マルチセル構成に関する課題は、セル間のデータのフローを管理することである。例えば、オーディオは、不快な聴取体験を防止するために、同期された方式においてレンダリングされなければならない。シームレスな高品質の聴取体験を提供するために、セルは、階層を自動的に形成し、効率的データフローを助長することができる。空間オーディオをレンダリングするためのオーディオデータが、セル間で搬送されるが、他のデータも、同様に、搬送されることができる。例えば、セルと制御サーバとの間の制御情報、位置情報、較正情報、および任意の他の所望のメッセージングが、本発明の実施形態の具体的用途の要件の必要に応じて、セル間で搬送されることができる。
特定の状況の必要性に応じて、セル間のデータ伝送のための異なる階層が、確立されることができる。多くの実施形態では、一次セルは、データのフローを管理するステップおよび一次セルによって管理される個別の接続される二次セルのためのオーディオストリームへの入力オーディオストリームの処理に関与する。多数の実施形態では、複数の一次セルは、相互に通信し、同期して、複数のセットの二次セルを管理する。種々の実施形態では、１つ以上の一次セルが、スーパー一次セルとして指定されることができ、これは、ひいては、一次セル間のデータフローを制御する。
本発明のある実施形態による、スーパー一次セルを伴う例示的階層が、図５３に図示される。図から分かるように、スーパー一次セル（ＳＰ）は、オーディオストリームを無線ルータから取得する。スーパー一次セルは、セル間に確立される無線ネットワークを経由して、オーディオストリームを接続される一次セル（Ｐ）に分配する。各一次セルは、ひいては、上記に議論されるように、オーディオストリームを処理し、それらが統制する、二次セルのための個々のストリームを作成する。これらのストリームは、その宛先二次セルにユニキャストされることができる。さらに、スーパー一次セルは、その統制される二次セルのためのオーディオストリームを生成するステップを含む、一次セルの全てのアクションを実施することができる。
図示される矢印は、一指向性であるが、これは、オーディオデータのフローのみを参照する。全てのセルタイプは、セルネットワークを介して、相互に通信することができる。例えば、二次セルが、（限定ではないが）再生の一時停止またはトラックのスキップ等の入力コマンドを受信する場合、コマンドは、二次セルから上方にネットワークを横断して伝搬されることができる。さらに、一次セルおよびスーパー一次セルは、本発明の実施形態の具体的用途の要件の必要に応じて、相互に通信し、メタデータ、時間同期信号、および／または任意の他のメッセージをパスしてもよい。容易に理解され得るように、別個の部屋内の一次セルが、示されるが、一次セルは、（限定ではないが）部屋のサイズおよびレイアウトおよびセルのグループ化を含む、多くの要因に応じて、同一部屋内にあることができる。さらに、一次セルに対して３つの二次セルのクラスタが、示されるが、一次セルが統制される二次セルを有していない構成を含む、任意の数の異なる二次セルが、一次セルに対して統制されることができる。
さらに、図５４における本発明のある実施形態に従って図示されるように、複数のスーパー一次セルが、確立されることができ、これは、ひいては、オーディオストリームをその個別の統制される一次セルにプッシュする。多数の実施形態では、スーパー一次セルは、相互間で通信し、同期を制御し、他のデータを共有することができる。種々の実施形態では、スーパー一次セルは、無線ルータを介して接続する。実際、多くの実施形態では、スーパー一次セルは、無線ルータを介して、一次セルを統制することができる。例えば、一次セルが、離れすぎていて、スーパー一次セルと効率的に通信することが可能ではないが、それ自体がスーパー一次セルではない場合、無線ルータによって促進される接続を介して、統制されることができる。本発明のある実施形態による、無線ルータを介したスーパー一次セルによる一次セルの統制が、図５５に図示される。
スーパー一次セルは、任意の階層の要件ではない。多数の実施形態では、ある数の一次セルが全て、直接、オーディオストリームを無線ルータ（または任意の他の入力ソース）から受信することができる。付加的情報は、無線ルータを介して、同様に、および／または直接、一次セル間でパスされることができる。本発明のある実施形態による、スーパー一次セルを伴わない階層が、図５６に図示される。
いくつかの具体的アーキテクチャが、上記に図示されているが、容易に理解され得るように、多くの異なる階層レイアウトが、特定のユーザの必要性に応じて、任意の数のスーパー一次、一次、および二次セルと併用されることができる。実際、ロバストな自動階層生成をサポートするために、セルは、相互間でネゴシエートし、具体的役割のためにセルを選択することができる。本発明のある実施形態による、一次セルを選択するためのプロセスが、図５７に図示される。
プロセス５７００は、セルを初期化するステップ（５７１０）を含む。セルを初期化するステップは、セルがセルのネットワークに参加するステップを指すが、また、単独のセルがネットワークを開始するステップも指し得る。多数の実施形態では、セルは、１回を上回って、例えば、新しい部屋に移動されているとき、または電源オンにされているとき、初期化されることができ、「最初のブート」シナリオに制限されない。インターネットへの接続が、利用可能である場合（５７２０）、セルは、制御サーバにコンタクトし、グループ化情報および／またはそこからグループ化情報が取得され得る、別のネットワーク接続デバイスを同期することができる（５７３０）。グループ化情報は、（限定ではないが）他のセルの設置およびそのグループ化（例えば、どのセルがどのグループおよび／またはゾーン内に存在するか）に関する情報を含むことができる。別の一次セルが、ネットワーク上でアドバタイズされる（５７４０）場合、新しく初期化されたセルが、二次セルになる（５７５０）。しかしながら、ネットワーク上でアドバタイズされる一次セルが存在しない場合（５７４０）、新しく初期化されたセルが、一次セルになる（５７６０）。
ネットワークを横断してセル毎に最も効率的役割を発見するために、新しい一次セルは、新しい一次セルになるための選択基準をパブリッシュする（５７７０）。多くの実施形態では、選択基準は、本発明の実施形態の具体的用途の要件の必要に応じて、（限定ではないが）動作温度、利用可能な帯域幅、他のセルに対する物理的場所および／または近接度、チャネル条件、インターネットとの接続の信頼性、二次セルへの接続品質、および／または一次役割を実施するセルの動作効率に関連する任意の他のメトリック等の現在の一次セルの性能に関するメトリックを含む。多くの実施形態では、メトリックは、全て等しく加重されるわけではなく、いくつかのメトリックは、その他より重要である。種々の実施形態では、パブリッシュされる選択基準は、メトリックに基づく閾値スコアを含み、これは、違反される場合、セルが一次セルであるためにより好適であることを示すであろう。パブリッシュされる選択基準に基づいて、一次セルの変更に関する選択が、行われる場合（５７８０）、一次セルは、一次セルの役割を選択されたセルに移行し（５７９０）、二次セルになる（５７５０）。新しいセルが、選択されない場合（５７８０）、一次セルは、その役割を維持する。
種々の実施形態では、選択プロセスは、周期的に繰り返され、効率的ネットワーク階層を維持する。多数の実施形態では、選択プロセスは、本発明の実施形態の具体的用途の要件の必要に応じて、（限定ではないが）新しいセルの初期化、一次セルが一次役割性能を維持することが不可能であることのインジケーション、ネットワークからのセルのドロップ（停電、信号中断、セル障害、無線ルータ障害等に起因して）、セルの物理的場所変更、新規無線ネットワークの存在、またはいくつかの他のトリガのいずれか等のイベントによってトリガされることができる。具体的選択プロセスが、図５７に図示されるが、本発明の範囲または精神から逸脱することなく、スーパー一次セルを選択する変形を含む、任意の数の選択プロセスの変形例が、利用され得ることが、容易に理解され得る。
第６節：セルの構造
上記に述べられたように、本発明の多くの実施形態による、セルは、セルを囲繞する３６０°エリアを横断して、比較的に等しい精度を伴って音場を修正することが可能なスピーカである。多くの実施形態では、セルは、ドライバの半径方向に対称配列を含有する、少なくとも１つのハロを含有する。多数の実施形態では、各ホーンは、少なくとも１つのツイータと、少なくとも１つのミッドとを含有する。種々の実施形態では、各ホーンは、ツイータが、セルの中点に対してミッドの外部に位置付けられるように、同軸方向に整合される、ツイータと、ミッドとを含有する。しかしながら、ハロは、ドライバタイプ毎に、全体的配列が半径方向対称性を維持する限り、複数のツイータと、ミッドとを含有することができる。種々のドライバ配列が、下記にさらに議論される。多くの実施形態では、各セルは、同軸方向に整合される、上向きに放音するウーファと、下向きに放音するウーファとを含有する。しかしながら、いくつかの実施形態は、１つのみのウーファを利用する。多くの実施形態における有意な問題は、セルを保持するためのスタンドが、ウーファのうちの１つを通るために要求され得ることである。本構造問題点に対処するために、ウーファのうちの１つは、ドライバの中心を通して、開放チャネルを有し、配線および他のコネクタを収容することができる。いくつかの実施形態では、ウーファは、対称であって、その両方とも、ドライバの中心を通してチャネルを含む。本独特な懸念に対処するための特定のウーファ構造が、下記に議論される。
ここで図１８Ａに目を向けると、本発明のある実施形態による、セルが、図示される。セル１８００は、ハロ１８１０と、コア１８２０と、支持構造（「クラウン」と称される）１８３０と、ラング１８４０とを含む。多くの実施形態では、ラングは、セルの外部シェルを構成し、ウーファのためのシールされた背面エンクロージャを提供する。クラウンは、ウーファのための支持およびシールを提供し、多くの実施形態では、支持をラングに提供する。ハロは、半径方向に対称様式で位置付けられる、３つのホーンを含み、多くの実施形態では、ホーン間に位置付けられる、マイクロホンのための開口を含む。これらのコンポーネントはそれぞれ、形態および構造の両方の概要を提供するために、徹底的にさらに詳細に議論される。
第６．１節：ハロ
ハロは、着座されたドライバを伴う、ホーンのリングである。多数の実施形態では、ハロは、半径方向に対称であって、モードビーム形成を助長するように製造されることができる。しかしながら、ビーム形成は、非対称であって、および／または異なるサイズおよび／または設置のホーンを有する、ハロを用いても遂行されることができる。ハロの機能を充足させるであろう、ホーンの多くの異なる配列が存在するが、下記のハロの主要議論は、３ホーン付きハロに関する。しかしながら、複数のホーンを含有する、ハロが、異なるビーム制御度を提供するために、本発明の多くの実施形態に従って利用されることができる。ホーンは、複数の入力開口および音拡散を制御することを補助するための構造音響コンポーネントを含むことができる。多くの実施形態では、ハロはまた、マイクロホンのための開口および／または支持構造を含有する。
ここで図１８Ｂに目を向けると、本発明のある実施形態による、ハロが、図示される。ハロ１８１０は、３つのホーン１８１１を含む。各ホーンは、３つの開口１８１２を含有する。ハロはさらに、３つのマイクロホン開口１８１３のセットを含む（実施形態の提供される図では、２つが可視であって、１つは、隠蔽されている）。本発明のある実施形態による、マイクロホンのための筐体を示す、マイクロホン開口の断面図が、図１８Ｃに図示される。多くの実施形態では、ハロは、３Ｄ印刷プロセスを介して、完全オブジェクトとして製造される。しかしながら、ハロは、区分毎に構築されることもできる。多数の実施形態では、３つのホーンは、それらが三回半径方向対称性（または「三辺対称性」）を有するように、１２０°離れて配向される。
多数の実施形態では、各ホーンは、ツイータおよびミッドドライバに接続される。多くの実施形態では、ツイータは、ハロの中心点に対してミッドの外部にあって、２つのドライバは、同軸方向に位置付けられる。図１８Ｄは、本発明のある実施形態による、ハロの単一ホーンのためのツイータおよびミッドの同軸整合の分解図を図示する。ツイータ１８１４は、ミッド１８１５の外部に位置付けられる。図１８Ｅは、本発明のある実施形態による、ハロ内のホーン毎にソケット挿入されたツイータ／ミッドドライバのセットを図示する。
多数の実施形態では、ツイータは、ホーンの中心開口の中に嵌合される一方、ミッドは、音をハロの外側の２つの開口を通して指向するように構成される。ここで図１８Ｆに目を向けると、本発明のある実施形態による、ハロ内のホーン毎にツイータ／ミッドドライバのソケット挿入されたセットの水平断面が、図示される。示されるように、開口は、ドライバによって生成された異なる周波数の付加的分離を提供するために利用されることができる。さらに、ホーン自体は、内部多経路反射を回避するために、音響構造１８１６を含むことができる。多くの実施形態では、音響構造は、穿孔されたグリッドである。いくつかの実施形態では、音響構造は、多孔性発泡体である。いくつかの実施形態では、音響構造は、格子である。音響構造は、中域音を受け取る間、高域音の通過を防止することができる。多くの実施形態では、音響構造は、音波の指向性を維持することを補助する。種々の実施形態では、ホーンは、ホーンの１２０°扇形の外側の音拡散の量を最小限にするように構築される。このように、ハロの各個々のホーンは、主に、離散１２０°扇形内のセルの音再現に関与する。
ハロ内に置かれるマイクロホンアレイは、複数の目的のために使用されることができ、その多くが、下記にさらに詳細に議論されるであろう。その多くの使用のうち、マイクロホンは、音響測距を介して環境を測定するセルの指向性能力と併用されることができる。多くの実施形態では、ハロ自体は、多くの場合、コアコンポーネントに当接する。コアコンポーネントの議論は、下記に見出される。
第６．２節：コア
セルは、オーディオ情報を処理し、限定ではないが、ドライバを制御する、再生を指示する、データを入手する、音響測距を実施する、コマンドに応答する、およびネットワークトラフィックを管理することを含む、他の算出プロセスを実施するために、論理回路を利用することができる。本論理回路網は、回路基板上に含有されることができる。多くの実施形態では、回路基板は、環帯である。回路基板は、複数の環帯扇形部品から成ってもよい。しかしながら、回路基板はまた、他の形状をとることができる。多くの実施形態では、環帯の中心は、少なくとも部分的に、ハロに接続されるドライバのための後方容積を提供する、略球状筐体（「コア筐体」）によって占有される。多数の実施形態では、コア筐体は、２つの連動するコンポーネントを含む。
本発明のある実施形態による、回路基板環帯および筐体の底部部分が、図１８Ｇに図示される。図示される実施形態では、回路基板は、それに対してセルの種々の他のコンポーネントが搭載される、ピンのセットを伴う。他の実施形態では、回路基板は、２つ以上の別個の環帯扇形に分裂される。種々の実施形態では、各扇形は、異なる機能目的に関与する。例えば、多くの実施形態では、１つの扇形は、電力供給に関与し、１つの扇形は、ドライバの駆動に関与し、１つの扇形は、汎用論理処理タスクに関与する。しかしながら、扇形または回路基板の機能性は、一般には、任意の特定の物理的レイアウトに制限されない。
ここで図１８Ｈに目を向けると、本発明のある実施形態による、ハロおよびドライバによって囲繞される、コア区分が、図示される。コアは、上部および底部筐体コンポーネントの両方とともに示される。多くの実施形態では、コアの筐体コンポーネントは、３つの明確に異なる容積に分割され、それぞれ、ハロ内の特定のホーンと関連付けられるドライバのセットのための別個の後方容積を提供する。種々の実施形態では、コア筐体は、コア筐体の中心において衝合する、３つの分割壁を含む。図１８Ｈに図示されるコア筐体は、略球状であるが、コア筐体は、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、任意の形状であることができる。さらに、ガスケットおよび／または他のシーラント方法が、異なる区分間の空気移動を防止するために、シールを形成するために使用されることができる。多くの実施形態では、コアおよびハロを囲繞するものは、クラウンである。クラウンは、下記に議論される。
第６．３節：クラウン
多くの実施形態では、上記に議論されるように、セルは、一対の対向同軸ウーファを含む。クラウンは、支柱のセットであることができ、これは、ウーファを支持する。多くの実施形態では、クラウンは、上部コンポーネントおよび底部コンポーネントから作製される。多数の実施形態では、上部コンポーネントおよび底部コンポーネントは、ハロの両側から突出する、単一コンポーネントである。他の実施形態では、上部および底部コンポーネントは、別個の部品であることができる。
本発明のある実施形態による、ハロおよびコアの周囲に位置付けられるクラウンが、図１８Ｉに図示される。クラウンは、重量を低減させ、および／または審美的に魅力的設計を提供するために、「ウィンドウ」または他のカットアウトを有してもよい。クラウンは、ガスケットおよび／または他のシールを有し、空気がセル内の他の容積の中に逃散しないように防止してもよい。図示される実施形態では、クラウンは、ラングによって囲繞され、これは、下記でさらに詳細に議論される。
第６．４節：ラング
多くの実施形態では、セルの外面は、ラングである。ラングは、限定ではないが、ウーファのためのシールされた後方容積を提供する、およびセルの内部を保護することを含む、多くの機能を提供することができる。しかしながら、多数の実施形態では、付加的コンポーネントが、審美的または機能的効果（例えば、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、コネクタ、スタンド、または任意の他の機能）のいずれかのためにラングの外部にあることができる。多数の実施形態では、ラングは、透明であって、ユーザにセルの内側が見えることを有効にする。しかしながら、ラングは、セルの機能性を損なわずに、不透明であることもできる。
ここで図１８Ｊに目を向けると、本発明のある実施形態による、クラウン、コア、およびハロを囲繞する、ラングを伴う、セルが、図示される。開口が、セルの上部および底部上のラング内に提供され、ウーファの設置を有効にすることができる。本発明のある実施形態による、開口の中に嵌合するように設計される、ウーファの同軸配列は、それぞれ、上部および底部ウーファを図示する、図１８Ｋおよび１８Ｌに見出されることができる。図から分かるように、上部ウーファは、従来のウーファである一方、底部ウーファは、中心を通して、中空トンネルを含有する。これはさらに、それぞれ、図１８Ｍおよび１８Ｎに図示される、上部および底部ウーファの断面図に図示される。底部ウーファを通したチャネルは、物理的コネクタがセルの外部に到達するためのアクセスポートを提供することができる。多くの実施形態では、「ステム」が、セルからチャネルを通して延在し、これは、任意の数の異なる構成のスタンドに接続することができる。種々の実施形態では、電源ケーブル類およびデータ転送ケーブル類が、チャネルを通して配索される。本発明のある実施形態による、チャネルを通るステムを伴うセルが、図１８Ｏに図示される。本発明のある実施形態による、ステム上の種々のポートの拡大図が、図１８Ｐに図示される。ポートは、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、ＵＳＢコネクタ、電源コネクタ、および／またはデータ転送接続プロトコルおよび／または規格に従って実装される任意の他のコネクタを含むことができる。
ウーファ機能性を維持するために、二重外周部が、ウーファをシールされた状態で保ちながら、チャネル１８２０を開放した状態に保つために使用されることができる。さらに、多くの実施形態では、底部ウーファをシールするために使用されるガスケットは、フレームを被覆するように延在され、シールを補強することができる。しかしながら、多くの実施形態では、セルは、単一ウーファのみを有してもよい。低周波数音の性質に起因して、多くの空間オーディオレンダリングは、対向ウーファを要求しない場合がある。そのような場合、底部（または上部）がウーファを有していない場合があるため、チャネルは、要求されない場合がある。さらに、多くの実施形態では、付加的構造要素が、スタンドへの代替接続を提供する、セルの外部上で利用されることができる、または実際には、スタンド自体であってもよい。ステムがセルの底部を通して接続されない、そのような場合、従来のウーファが、代わりに、使用され得る。多くの実施形態では、ウーファのダイヤフラム（またはコーン）は、三軸カーボンフィバ織物から構築され、これは、高堅度対重量比を有する。しかしながら、ダイヤフラムは、本発明の実施形態の具体的用途の要件の必要に応じて、ウーファのために適切な任意の材料から構築されることができる。さらに、多数の実施形態では、セルは、誘導ベースの電力システムおよび無線データコネクティビティの使用によって、外部ポートを伴わずに、完全にシールされるように作製されることができる。しかしながら、セルは、依然として、物理的ポートを提供しながら、これらの機能を留保することができる。ステムは、下記でさらに詳細に議論される。
第６．５節：ステム
上記に述べられたように、多数の実施形態では、セルは、ステムを含み、これは、本発明の実施形態の具体的用途の要件の必要に応じて、限定ではないが、セルの本体を支持する、制御装置を設置するための表面を提供する、スタンドへの接続を提供する、コネクタのための場所を提供する、および／またはいくつかの他の機能のいずれかを含む、いくつかの機能のいずれかを果たすことができる。実際、多くの実施形態では、セルは、制御デバイスを介して、遠隔で動作され得るが、種々の実施形態では、セルは、本発明の実施形態の具体的用途の要件の必要に応じて、直接、限定ではないが、ボタン、トグル、ダイヤル、スイッチ、および／または任意の他の物理的制御方法等のセルに接続される物理的制御装置を介して、動作されることができる。多数の実施形態では、ステム上に位置する、「制御リング」が、直接、セルを制御するために使用されることができる。
ここで図２０に目を向けると、本発明のある実施形態による、ステム上の制御リングが、図示される。制御リングは、制御デバイスと同様に、制御信号をセルに送信するように操作され得る、リングである。制御リングは、本発明の実施形態の具体的用途の要件の必要に応じて、回転（例えば、捻転）される、引き上げられる、押し下げられる、押動される（例えば、ステムの軸に垂直に「クリック」または押下される）、および／または任意の他の操作が行われることができる。本発明のある実施形態による、内部力学を示す、例示的制御リングの断面が、図２１に図示される。異なる機械的コンポーネントが、それらが関連付けられるアクションに関して下記に議論される。
多数の実施形態では、回転は、制御の方法として使用されることができる。回転は、本発明の実施形態の具体的用途の要件の必要に応じて、いくつかの異なる制御を示すことができるが、多くの実施形態では、回転運動は、音量を変化させる、および／またはトラックをスキップするために使用されることができる。図２２は、本発明のある実施形態による、制御リングの回転の位置合わせに関わる機械的構造を示す。図２３は、特定のコンポーネントの拡大図である。交互感知可能表面を含有する、ディスクが、リングに接続され、これは、回転されると、交互感知可能表面をセンサを横断して移動させる。回転は、交互表面を測定することによって、センサによって感知されることができる。多数の実施形態では、交互感知可能表面は、磁石から作製され、センサは、変化する磁場を検出する。種々の実施形態では、交互感知可能表面は、交互着色表面であって、これは、光学センサを介して感知される。しかしながら、任意の数の異なる感知スキームが、本発明の実施形態の具体的用途の要件の必要に応じて、利用されることができる。さらに、多数の実施形態では、交互感知可能表面は、ディスクではなく、環帯である。
種々の実施形態では、制御リングを中心からずらさせる、または「クリック」することが、制御の方法として使用されることができる。図２４は、本発明のある実施形態による、制御リングの「クリック」を図示する。多くの実施形態では、半径方向押動は、レースばねによって抵抗される一方、静的ランプが、円錐形ワッシャ（「ベルヴィルワッシャ」とも称される）に係合し、それを反転させ、これは、次いで、検出される。いくつかの実施形態では、ワッシャが、反転すると、カーボンピル材料のリングが、電極パターンを押圧し、２つの接触リングを短絡させる。短絡は、クリックとして測定および記録されることができる。本発明のある実施形態による、反転された「クリック」位置における円錐形ワッシャ下の関連付けられる電極を伴うカーボンピル膜が、図２５に図示される。しかしながら、任意の数の異なる検出方法が、本発明の実施形態の具体的用途の要件の必要に応じて、使用されることができる。
多くの実施形態では、制御リングをステムに沿って垂直に移動させることが、制御の方法として使用されることができる。本発明のある実施形態による、垂直移動を位置合わせするための例示的機械的構造が、図２６に図示される。いくつかの実施形態では、制御リングの垂直移動は、フラグを露見させるによって測定されることができ、これは、ひいては、オプトインタラプタを介して検出されることができる。多くの実施形態では、近接度センサが、オプトインタラプタの代わりに、またはそれと併せて、使用される。本発明のある実施形態による、フラグを露見させるために作成された空間の例証が、図２７に図示される。種々の実施形態では、移動は、クリックに関して等、物理的スイッチまたは回路短絡を介して、機械的に検出されることができる。当業者は、本発明の実施形態の具体的用途の要件の必要に応じて、移動を検出するための任意の数の方法が存在することを理解し得る。
いったん制御リングが、垂直移動を介して、その静置位置から移動されると、新しい平面上の回転は、静置平面上の回転と異なる制御として使用されることができる。多くの実施形態では、第２の平面上の回転は、「捻転」と称され、回転が設定角度を達成するときに検出される。多くの実施形態では、クラッチが、制御リングが第２の平面に移動されると係合され、別個のクラッチプレートに対して移動されることができる。種々の実施形態では、捻りばねが、運動に抵抗するために使用されることができる一方、統合された戻り止めばねは、進行の終了時、戻り止めを提供し、感触を向上させ、および／または偶発的移動を防止することができる。例えば、１２０度（または任意の恣意的の度数）の捻転が、トラックの終了時、スナップ式スイッチを使用して位置合わせされることができる。本発明のある実施形態による、クラッチ本体およびクラッチプレートの例示的構成が、図２８に図示される。しかしながら、任意の数の異なる回転方法が、本発明の実施形態の具体的用途の要件の必要に応じて、使用されることができる。議論される機構の利点は、それらが、ステムを通して通過し得るコンポーネントを収容するための中央における通路を伴って実装され得ることである。
ステムはさらに、スタンドの中に係止することができる。多数の実施形態では、バヨネットベースの係止システムが、使用され、ステム上に位置する、バヨネットは、スタンド内の筐体の中に進行し、接続を固定する。本発明のある実施形態による、例示的バヨネット係止システムが、図２９に図示される。図示されるように、ステムは、片側が先鋭になっている、いくつかのバヨネットを有し、スタンドは、２つの表面によって形成される、トラックを有し、これは、トラックの終了時、バヨネット形状の筐体を形成する。多くの実施形態では、バヨネットの数は、筐体の数に合致するが、しかしながら、少なくとも１つのバヨネットが筐体に合致し、他のバヨネット（存在する場合）が接続が不平衡となるように表面と衝突しない限り、接続は、安定することができる。ステムおよびスタンドが、バヨネットがトラックの中に嵌り得るように整合されない場合、スタンドまたはステムは、それらが全てトラックの中に入るように回転されることができる。種々の実施形態では、捻転されると、バヨネットの先鋭端は、２つの表面を押し広げ、筐体に到達し、その中に嵌り、その後、２つの表面は、トラックを閉鎖するために、ばねを介して、ともに押進されることができる。これは、ステムをスタンドの中に係止し、通常力下で望ましくない運動または除去を防止することができる。本発明のある実施形態による、バヨネットベースの係止システムを使用してともに係止されるスタンドおよびステムの断面が、図３０に図示される。
ステムをスタンドから除去するために、２つの表面は、再び分離され、トラックを形成することができ、そこから、バヨネットは、後退され、除去されることができる。種々の実施形態では、表面のうちの１つは、上または下に押動されることができる。多くの実施形態では、これは、荷重されたばねのセットを使用して達成され、これは、ユーザによって操作可能である。本発明のある実施形態による、例示的実装が、図３１Ａおよび３１Ｂに図示される。位置双安定性が、タブと係合される係止プレート上のばねを使用して達成されることができる。プレートを摺動させることによって、ユーザは、適切な力をばねに対して印加することにより表面のうちの１つを移動させることができる。図３１Ａは、係止位置における機構を示す一方、図３１Ｂは、係止解除位置における機構を示す。しかしながら、当業者は、本発明の実施形態の具体的用途の要件の必要に応じて、バヨネットベースの係止システムのための任意の数の構成が、利用され得ることを理解し得る。実際、当業者は、任意の数の係止システムが、本発明の範囲または精神から逸脱することなく、バヨネットベースの係止システムは別として使用され、ステムをスタンドに固着させ得ることを理解し得る。
上記に説明されるコンポーネントをまとめることは、機能セルをもたらすことができる。ここで図１８Ｑおよび１８Ｒに目を向けると、図１８Ｑは、本発明のある実施形態による、完成セルの断面であって、図１８Ｒは、完成セルの分解図である。セルの特定の実施形態が、図１８Ａ－Ｒに関して図示されるが、セルは、限定ではないが、異なる数のドライバ、異なるホーン構成を有すること、（限定ではないが）四面体ドライバ構成、ステムの欠如、および／または異なる全体的形状因子を含む、ホーンと他のドライバ構成を置換することを含む、任意の数の異なる構成をとることができる。多くの実施形態では、セルは、支持構造によって支持される。本発明の実施形態による、例示的支持構造の非排他的セットが、図１９Ａ－Ｄに図示される。
第６．６節：セル回路網
ここで図３２に目を向けると、本発明のある実施形態による、セル回路網のためのブロック図が、図示される。セル３２００は、処理回路網３２１０を含む。処理回路網は、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、プロセッサ、マイクロプロセッサ、中央処理ユニット、並列処理ユニット、グラフィック処理ユニット、特定用途向け集積回路、フィールドプログラマブルゲート－アレイ、および／または空間オーディオプロセスを実施することが可能な任意の他の処理回路網等の任意の数の異なる論理処理回路を含むことができる。
セル３２００はさらに、入／出力（Ｉ／Ｏ）インターフェース３２２０を含むことができる。多くの実施形態では、Ｉ／Ｏインターフェースは、種々の異なるポートを含み、種々の異なる方法論を使用して、通信することができる。多数の実施形態では、Ｉ／Ｏインターフェースは、アドホックネットワークを確立し、および／または他の無線ネットワーキングアクセスポイントに接続することが可能な無線ネットワーキングデバイスを含む。種々の実施形態では、Ｉ／Ｏインターフェースは、有線接続を確立するための物理的ポートを有する。しかしながら、Ｉ／Ｏインターフェースは、デバイス間でデータを転送することが可能な任意の数の異なるタイプの技術を含むことができる。セル３２００はさらに、クロック回路網３２３０を含む。多くの実施形態では、クロック回路網は、石英発振器を含む。
セル３２００はさらに、ドライバ信号回路網３２３５を含むことができる。ドライバ信号回路網は、ドライバにオーディオを生産させるために、オーディオ信号をドライバに提供することが可能な任意の回路網である。多くの実施形態では、各ドライバは、ドライバ回路網のその独自の部品を有する。
セル３２００はまた、メモリ３２４０を含むことができる。メモリは、揮発性メモリ、不揮発性メモリ、または揮発性と不揮発性メモリの組み合わせであることができる。メモリ３２４０は、（限定ではないが）空間オーディオレンダリングアプリケーション３２４２等のオーディオプレーヤアプリケーションを記憶することができる。多数の実施形態では、空間オーディオレンダリングアプリケーションは、処理回路網に、限定ではないが、本明細書に説明されるもの等の種々の空間オーディオレンダリングタスクを実施するように指示することができる。多数の実施形態では、メモリはさらに、マップデータ３２４４を含む。マップデータは、空間内の種々のセルの場所、空間内の壁、床、天井、および他の障壁および／またはオブジェクトの場所、および／または仮想スピーカの設置を説明することができる。多くの実施形態では、複数のセットのマップデータが、情報の異なる部分をコンパートメント化するために利用されてもよい。種々の実施形態では、メモリ３２４０はまた、オーディオデータ３２４６を含む。オーディオデータは、任意の数の異なるオーディオトラックおよび／またはチャネルを含有し得る、オーディオコンテンツの１つ以上の部分を含むことができる。種々の実施形態では、オーディオデータは、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、限定ではないが、チャネル情報、コンテンツ情報、ジャンル情報、トラック重要性情報、および／またはオーディオトラックを説明し得る、任意の他のメタデータ等のオーディオトラックを説明するメタデータを含むことができる。多くの実施形態では、オーディオトラックは、オーディオフォーマット従ってミックスされる。しかしながら、オーディオトラックはまた、個々のミックスされていないチャネルを表すことができる。
メモリはさらに、音オブジェクト位置データ３２４８を含むことができる。音オブジェクト位置データは、空間内の音オブジェクトの所望の場所を説明する。いくつかの実施形態では、音オブジェクトは、オーディオデータのために理想的な従来のスピーカ配列における各スピーカの位置に位置する。しかしながら、音オブジェクトは、任意の数の異なるオーディオトラックおよび／またはチャネルのために指定されることができ、同様に、任意の所望の点に位置することができる。
図３３は、空間オーディオ制御および再現のためのシステムおよびアーキテクチャのために本開示の種々の側面に従って構成されるセルを実装するために使用され得る、処理システム３３２０を採用する装置３３００のためのハードウェア実装の実施例を図示する。本開示の種々の側面によると、セルを含む、任意のデバイスを実装するために使用され得る、装置３３００内の要素または要素の任意の部分または要素の任意の組み合わせは、本明細書に説明される空間オーディオおよびアプローチを利用してもよい。
装置３３００は、セルを実装するために使用されてもよい。装置３３００は、システムエンコーダ３３１２と、システムデコーダ３３３２と、セルエンコーダ３３５２と、セルデコーダ３３７２とを含む、空間オーディオ制御および生産モジュール３３１０のセットを含む。装置３３００はまた、ドライバ３３９２のセットを含むことができる。ドライバ３３９２のセットは、異なるタイプのドライバのうちの１つ以上のものを含む、ドライバの１つ以上のサブセットを含んでもよい。ドライバ３３９２は、ドライバ毎に電気オーディオ信号を生成する、ドライバ回路網３３９０によって駆動されることができる。ドライバ回路網３３９０は、異なるタイプのドライバのためにオーディオ信号を分割し得る、任意の帯域通過または交差回路を含んでもよい。
本開示の種々の側面では、装置３３００によって図示されるように、各セルは、関連情報のシステムレベル機能性および処理がセルのグループにわたって分散され得るように、システムエンコーダと、システムデコーダとを含んでもよい。本分散型アーキテクチャはまた、セルのそれぞれ間で転送される必要がある、データの量を最小限にすることができる。他の実装では、各セルは、セルエンコーダと、セルデコーダとのみを含み、システムエンコーダまたはシステムデコーダを含まなくてもよい。種々の実施形態では、二次セルは、そのセルエンコーダと、セルデコーダとのみを利用する。
処理システム３３２０は、プロセッサ３３１４として図示される、１つ以上のプロセッサを含むことができる。プロセッサ３３１４の実施例は、（限定ではないが）マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、状態機械、ゲート論理、離散ハードウェア回路、および／または本開示全体を通して説明される種々の機能性を実施するように構成される、他の好適なハードウェアを含むことができる。
装置３３００は、概して、バス３３２２によって表される、バスアーキテクチャを有するように実装されてもよい。バス３３２２は、装置３３０２の具体的用途および全体的設計制約に応じて、任意の数の相互接続バスおよび／またはブリッジを含んでもよい。バス３３２２は、１つ以上のプロセッサ（概して、プロセッサ３３１４によって表される）と、メモリ３３１８とを含み得る、処理システム３３２０と、コンピュータ可読媒体（概して、コンピュータ可読媒体３３１６によって表される）とを含む、種々の回路をともにリンクすることができる。バス３３２２はまた、当技術分野において周知であって、したがって、さらに説明されないであろう、タイミングソース、周辺機器、電圧規制機関、および／または電力管理回路等の種々の他の回路をリンクしてもよい。バスインターフェース（図示せず）は、バス３３２２とネットワークアダプタ３３４２との間のインターフェースを提供することができる。ネットワークアダプタ３３４２は、伝送媒体を経由して種々の他の装置と通信するための手段を提供する。装置の性質に応じて、ユーザインターフェース（例えば、キーパッド、ディスプレイ、スピーカ、マイクロホン、ジョイスティック）もまた、提供されてもよい。
プロセッサ３３１４は、バス３３２２、およびコンピュータ可読媒体３３１６またはメモリ３３１８上に記憶され得る、ソフトウェアの実行を含む、一般的処理を管理することに関与する。ソフトウェアは、プロセッサ３３１４によって実行されると、装置３３００に、任意の特定の装置のための本明細書に説明される種々の機能を実施させることができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または別様に称されるかどうかにかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行のスレッド、プロシージャ、機能等を意味すると解釈されるものとする。
コンピュータ可読媒体３３１６またはメモリ３３１８はまた、ソフトウェアを実行するとき、プロセッサ３３１４によって操作される、データを記憶するために使用されてもよい。コンピュータ可読媒体３３１６は、コンピュータ可読記憶媒体等の非一過性コンピュータ可読媒体であってもよい。非一過性コンピュータ可読媒体は、一例として、磁気記憶デバイス（例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ）、光ディスク（例えば、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ））、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、またはキードライブ）、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、リムーバブルディスク、およびコンピュータによってアクセスされ、読み取られ得る、ソフトウェアおよび／または命令を記憶するための任意の他の好適な媒体を含む。コンピュータ可読媒体はまた、一例として、搬送波、伝送ライン、およびコンピュータによってアクセスされ、読み取られ得る、ソフトウェアおよび／または命令を伝送するための任意の他の好適な媒体を含んでもよい。装置３３００内に常駐するように図示されるが、コンピュータ可読媒体３３１６は、装置３３００の外部に常駐する、または装置３３００を含む、複数のエンティティを横断して分散されてもよい。コンピュータ可読媒体３３１６は、コンピュータプログラム製品内に具現化されてもよい。一例として、コンピュータプログラム製品は、パッケージング材料内にコンピュータ可読媒体を含んでもよい。当業者は、特定の用途および全体的システム上に課される全体的設計制約に応じて、本開示全体を通して提示される説明される機能性を実装するための最良方法を認識するであろう。
図３４は、マルチメディア入力３４０２を受信する、本開示の種々の側面に従って構成される、ソースマネージャ３４００を図示する。マルチメディア入力３４０２は、マルチメディアコンテンツ３４１２、マルチメディアメタデータ３４１４、センサデータ３４１６、および／またはプリセット／履歴情報３４１８を含んでもよい。ソースマネージャ３４００はまた、マルチメディアコンテンツのソースの選択に影響を及ぼすこと、マルチメディアコンテンツのそのソースのレンダリングを管理することを含む、直接、マルチメディアコンテンツ３４１２の再生を管理し得る、ユーザ相互作用３４０４を受信することができる。本明細書でさらに議論されるように、マルチメディアコンテンツ３４１２、マルチメディアメタデータ３４１４、センサデータ３４１６、およびプリセット／履歴情報３４１８は、ソースマネージャ３４００によって使用され、コンテンツ３４４８およびレンダリング情報３４５０を生成および管理してもよい。
マルチメディアコンテンツ３４１２およびそれに関連するマルチメディアメタデータ３４１４は、本明細書では、「マルチメディアデータ」と称され得る。ソースマネージャ３４００は、ソースマネージャ３４００によって使用され、マルチメディアデータ内の１つ以上のソースを選択し、任意の事前処理を実施し、コンテンツ３４４８として提供し得る、ソース選択器３４２２と、ソースプリプロセッサ３４２４とを含む。コンテンツ３４４８は、本明細書に説明されるように、ソースマネージャ３４００の他のコンポーネントによって生成されたレンダリング情報３４５０とともに、マルチメディアレンダリングエンジンに提供される。
マルチメディアコンテンツ３４１２およびマルチメディアメタデータ３４１４は、高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））、ユニバーサルシリアルバス（ＵＳＢ）、アナログインターフェース（フォーン／ＲＣＡプラグ、ステレオ／ヘッドホン／ヘッドセットプラグ）、およびＡｐｐｌｅ Ｉｎｃ．によって開発されたＡｉｒｐｌａｙプロトコルまたはＧｏｏｇｌｅによって開発されたＣｈｒｏｍｅｃａｓｔプロトコルを使用したストリーミングソース等のソースからのマルチメディアデータであってもよい。一般に、これらのソースは、チャネルベースの音情報（例えば、Ｄｏｌｂｙ Ｌａｂｏａｔｏｒｉｅｓ， Ｉｎｃ．によって開発されるようなＤｏｌｂｙ Ｄｉｇｉｔａｌ、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、およびＤｏｌｂｙ Ａｔｍｏｓ）、離散音オブジェクト、音場等を含む、種々のコンテンツおよびフォーマットにおいて音情報を提供し得る。他のマルチメディアデータは、接続デバイスまたは空間マルチメディア再現システム（図示せず）内の別のモジュールによって生成されたテキスト／発話（ＴＴＳ）またはアラーム音を含むことができる。
ソースマネージャ３４００はさらに、エニュメレーションデターミネータ３４４２と、位置マネージャ３４４４と、相互作用マネージャ３４４６とを含む。ともに、これらのコンポーネントは、マルチメディアレンダリングエンジンに提供される、レンダリング情報３４５０を生成するために使用されることができる。本明細書にさらに説明されるように、概して、「制御データ」と称され得る、センサデータ３４１６およびプリセット／履歴情報３４１８は、これらのモジュールによって使用され、レンダリング情報３４５０をマルチメディアレンダリングエンジンに提供することによって、マルチメディアコンテンツ３４１２の再生に影響を及ぼしてもよい。本開示の一側面では、レンダリング情報３４５０は、マルチメディアレンダリングエンジンがコンテンツ３４４８内のマルチメディアを再生すべき方法に関する遠隔測定および制御情報を含有する。したがって、レンダリング情報３４５０は、マルチメディアレンダリングエンジンがソースマネージャ３４００から受信されたコンテンツ３４４８を再現すべき方法を具体的に指示し得る。本開示の他の側面では、マルチメディアレンダリングエンジンは、コンテンツ３４４８をレンダリングする方法に関する最終決定を行ってもよい。
エニュメレーションデターミネータモジュール３４４２は、コンテンツ３４４８内に含まれるマルチメディア情報内のソースの数を決定するステップに関与する。これは、例えば、ステレオ音源からの２つのチャネル等の単一ソースからの複数のチャネル、およびシステムによって生成され得るもの等のＴＴＳまたはアラーム／アラート音を含んでもよい。本開示の一側面では、各コンテンツソース内のチャネルの数は、エニュメレーション情報を生産するためのソースの数の決定の一部である。エニュメレーション情報は、コンテンツ３４４８内のソースの配列およびミックスを決定する際に使用されてもよい。
位置マネージャ３４４４は、ソース毎に再現の所望の位置を使用して、コンテンツ３４４８内に含まれるマルチメディア情報内のソースの再現の配列を管理することができる。所望の位置は、再生されているコンテンツのタイプ、ユーザまたは関連付けられるデバイスの位置情報、および履歴／予測される位置情報を含む、種々の要因に基づいてもよい。図３５を参照すると、位置マネージャ３５４４は、ユーザ音声入力３５１２、オブジェクト拡張現実（Ａ／Ｒ）入力３５１４、ＵＩ位置入力３５１６、および特定の入力タイプのための関連付けられる最後の／予測される位置情報３５１８からの情報に基づいて、マルチメディアソースをレンダリングするために使用される、位置情報を決定してもよい。位置情報は、同時位置特定およびマッピング（ＳＬＡＭ）アルゴリズム等のアプローチを使用して、位置決定プロセスにおいて生成されてもよい。例えば、部屋内の再生のための所望の位置は、部屋内のユーザの場所の決定に基づいてもよい。これは、ユーザ音声３５１２を検出するステップ、または代替として、ユーザデバイス（例えば、ユーザのスマートフォン）の受信された信号強度インジケータ（ＲＳＳＩ）を含んでもよい。
再生場所は、部屋のための特定のレンダリング内のＡＲオブジェクトに関する情報であり得る、オブジェクトＡ／Ｒ３５１４に基づいてもよい。したがって、音源の再生位置は、Ａ／Ｒオブジェクトに合致してもよい。加えて、本システムは、セルが視覚的検出を使用している場所を決定してもよく、場面検出とレンダリングされているＡ／Ｒオブジェクトのビューの組み合わせを通して、再生位置が、適宜、調節されてもよい。
音源の再生位置は、ユーザが、ＵＩ位置入力３５１６を通して、ユーザインターフェースと相互作用することに基づいて、調節されてもよい。例えば、ユーザは、その中に音オブジェクトが再現されるべき部屋および音オブジェクト自体の視覚的表現を含む、アプリと相互作用してもよい。ユーザは、次いで、音オブジェクトの視覚的表現を移動させ、部屋内の音オブジェクトの再生を位置付けしてもよい。
再生の場所はまた、特定の音源または音源３５１８のタイプの最後の再生場所等の他の要因に基づいてもよい。一般に、再生場所は、（限定ではないが）コンテンツのタイプ、時刻、および／または他のヒューリスティック情報を含む、要因に基づく、予測に基づいてもよい。例えば、位置マネージャ３５４４は、ユーザが、ユーザがオーディオ書籍を再生する典型的時間である、夜間に、オーディオ書籍を再生するため、寝室内でオーディオ書籍の再生を開始してもよい。別の実施例として、タイマまたはリマインダアラームが、ユーザが、ユーザが台所内に存在する間に、タイマが設定されることを要求する場合、台所で再生されてもよい。
一般に、位置情報源は、能動または受動ソースに分類されてもよい。能動ソースは、ユーザによって提供される位置情報ソースを指す。これらのソースは、ユーザ場所およびオブジェクト場所を含んでもよい。対照的に、受動ソースは、ユーザによって能動的に規定されないが、位置マネージャ３５４４によって再生位置を予測するために使用される、位置情報ソースである。これらの受動ソースは、コンテンツのタイプ、時刻、曜日を含み、ヒューリスティック情報に基づいてもよい。加えて、優先順位レベルが、各コンテンツソースと関連付けられてもよい。例えば、アラームおよびアラートは、他のコンテンツソースより高いレベルの関連付けられる優先順位を有してもよく、これは、それらが他のコンテンツソースの隣の位置で再生されている場合、これらがより高い音量で再生されることを意味し得る。
所望の再生場所は、マルチメディアがマルチメディアレンダリングエンジンによって再現されるにつれて、動的に更新されてもよい。例えば、音楽の再生は、空間マルチメディア再現システムがユーザまたはユーザによって搬送されているデバイスの更新された位置情報を受信することによって、部屋の周囲でユーザに「追従」してもよい。
相互作用マネージャ３４４６は、異なるマルチメディアソースのそれぞれが相互とのその相互作用に基づいて再現される方法を管理することができる。本開示の一側面によると、音源等のマルチメディアソースの再生は、一時停止される、停止される、または音量が低減されてもよい（「ダッキングされる」とも称される）。例えば、アラームが、曲等の既存のマルチメディアソースの再生の間、レンダリングされる必要がある場合、相互作用マネージャは、アラームが再生されている間、曲を一時停止またはダッキングしてもよい。
第７節：ＵＩ／ＵＸおよび付加的機能性
本発明の多くの実施形態による、空間オーディオシステムは、ユーザインターフェース（ＵＩ）を含み、ユーザが、空間オーディオレンダリングと相互作用し、それを制御することを可能にする。いくつかの実施形態では、種々のＵＩモダリティが、提供され、ユーザが、（限定ではないが）ボタンを介したセルとの直接相互作用、ジェスチャベースのＵＩ、および／または音声アクティブ化ＵＩ、および／または（限定ではないが）ボタン、ジェスチャベースのＵＩ、および／または音声アクティブ化ＵＩを介した、モバイルデバイスまたは音声アシスタントデバイス等の付加的デバイスとの相互作用を含む、種々の方法において、空間オーディオシステムと相互作用することを可能にし得る。多数の実施形態では、ＵＩは、具体的用途の要件の必要に応じて、限定ではないが、再生を制御する、オーディオをミックスする、オーディオオブジェクトを空間内に設置する、空間オーディオシステムを構成する、および／または任意の他の空間オーディオシステム機能を行うことを含む、任意の数の機能へのアクセスを提供することができる。下記は、種々の機能のためのいくつかの異なるバージョンのＵＩを反映させるが、当業者は、任意の数の異なるＵＩレイアウトおよび／またはアフォーダンスが、ユーザに、空間オーディオシステム機能性へのアクセスおよびその制御を提供するために使用され得ることを理解し得る。
ここで図３６に目を向けると、本発明のある実施形態による、空間内への音オブジェクトの設置を制御するためのＵＩが、図示される。示されるように、セルは、物理的空間の類似物としての仮想空間内のその近似場所にグラフィックで表されることができる。多数の実施形態では、異なる音オブジェクトが、作成され、異なるオーディオソースと関連付けられることができる。チャネルベースのオーディオソースの場合、別個のオーディオオブジェクトが、異なるチャネルのために作成されることができる（多くの場合、全てのチャネルの中にミックスされるバスを伴う）。各空間オーディオオブジェクトは、異なるグラフィック表現（例えば、色）を有する、異なるＵＩオブジェクトによって表され得る。実際、グラフィック表現は、具体的用途の要件の必要に応じて、限定ではないが、形状、サイズ、アニメーション、シンボル、および／または任意の他の区別マークを含む、任意の数の方法において区別されることができる。音オブジェクトは、仮想空間全体を通して移動されることができ、これは、上記に説明される種々の空間オーディオ再現プロセスのいずれかに類似するプロセスを使用して、空間オーディオシステムによってレンダリングされるとき、物理的空間内の音オブジェクトの知覚される「移動」をもたらし得る。多くの実施形態では、音オブジェクトを移動させるステップは、「クリックアンドドラッグ」動作を介して達成されることができるが、しかしながら、任意の数の異なるインターフェース技法が、使用されることができる。
ここで図３７Ａおよび３７Ｂに目を向けると、本発明のある実施形態による、音オブジェクトの設置を制御するための、第２のＵＩが、図示される。図示される実施形態は、音オブジェクトの分裂およびマージを有効にすることが可能なＵＩを実証する。多数の実施形態では、単一音オブジェクトは、１つを上回るオーディオソースおよび／またはオーディオチャネルを表すことができる。種々の実施形態では、各オーディオオブジェクトは、例えば、「マスタ」記録におけるように、１つ以上の楽器を表すことができる。図３７Ａは、４つの異なる楽器、この場合、ボーカル、ギター、チェロ、およびキーボードに関するオーディオトラックを割り当てられている、音オブジェクトを実証する。当然ながら、任意の数の異なる楽器または恣意的オーディオトラックが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、割り当てられることができる。ボタンおよび／または他のアフォーダンスが、ユーザが、音オブジェクトを複数の音オブジェクトに「分裂」させることを有効にするために提供されることができ、これはそれぞれ、オリジナル音オブジェクト内のチャネルのうちの１つ以上のものを反映させることができる。図３７Ｂに見られるように、音オブジェクトは、４つの別個の音オブジェクトに分裂され、これは、独立して設置されることができ、それぞれ、単一楽器を表す。ボタンおよび／またはインターフェースオブジェクトは、同様に、異なる音オブジェクトのマージを有効にするためにも提供されることができる。
ここで図３８に目を向けると、本発明のある実施形態による、音オブジェクトの音量およびレンダリングを制御するためのＵＩ要素が、図示される。多数の実施形態では、各音オブジェクトは、音量制御と関連付けられることができる。図示される環境では、音量スライダが、提供される。しかしながら、いくつかの異なる音量制御スキームのいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、使用されることができる。いくつかの実施形態では、単一音制御が、複数の音オブジェクトと関連付けられることができる。音オブジェクトを独立して制御することは、個々のスピーカを独立して制御することとは異なることが、容易に理解されるはずである。単一音オブジェクトの音量を制御することは、（限定ではないが）上記に説明される種々のネスト化されたアーキテクチャ等の空間オーディオ再現プロセスによって決定される様式においてオーディオが複数のスピーカによってレンダリングされる様式に影響を及ぼし得る。仮想スピーカが空間オーディオ再現プロセス内で利用される、実施形態では、ボタンが、セルに対する仮想スピーカの数および／または設置に影響を及ぼす、種々のプリセット仮想スピーカ構成間で変化させるために提供されることができる。多くの実施形態では、限定ではないが、再生、一時停止、スキップ、検索、および／または任意の他の音制御等のオーディオ制御ボタンおよび／またはアフォーダンスが、ＵＩの一部として提供されることができる。
空間オーディオオブジェクトはさらに、拡張現実様式において視認されることができる。多数の実施形態では、制御デバイスは、拡張現実能力を有することができ、音オブジェクトは、可視化されることができる。ここで図３９に目を向けると、本発明のある実施形態による、アルバムアートとともに再生されているオーディオトラックを表す、音オブジェクトが、図示される。しかしながら、トラックは、本発明の種々の実施形態の具体的用途の要件の必要に応じて、アートを伴わないもの、異なる形状を伴うもの、より抽象的なもの、および／または任意の他のグラフィック表現を含む、任意の数の異なる方法において表されることができる。例えば、図４０は、本発明のある実施形態による、オーディオオブジェクトの抽象的表現の３つの異なる可視化を図示する。当業者が理解し得るように、本発明の種々の実施形態による、空間オーディオシステムによる空間オーディオのレンダリングと組み合わせて実装され得る、音オブジェクトを拡張および／または仮想現実環境内に視覚的にレンダリングする、任意の数の異なるアプリケーションが存在する。
多数の実施形態では、制御デバイスは、空間オーディオシステムの構成を補助するために使用されることができる。多くの実施形態では、空間オーディオシステムは、空間をマッピングすることを補助するために使用されることができる。ここで図４１に目を向けると、本発明のある実施形態による、構成動作のための例示的ＵＩが、図示される。多数の実施形態では、制御デバイスは、部屋をマッピングすることを補助し得る、深度感知能力を有する。種々の実施形態では、制御デバイスのカメラシステムが、空間内の個々のセルを識別するために使用されることができる。しかしながら、上記に述べられたように、制御デバイスが統合されたカメラを有することは、要件ではない。
多数の実施形態では、空間オーディオシステムは、音楽生産および／またはミックスのために使用されることができる。空間オーディオシステムは、デジタルおよび／または物理的楽器に接続されることができ、楽器の出力は、音オブジェクトと関連付けられることができる。ここで図４２に目を向けると、本発明のある実施形態による、統合されたデジタル楽器が、図示される。図示される実施例では、ドラムセットが、統合されている。種々の実施形態では、ドラムセット内の異なるドラムが、異なる音オブジェクトと関連付けられることができる。多数の実施形態では、ドラムセット内の複数のドラムが、同一音オブジェクトと関連付けられることができる。実際、１つを上回る楽器が、統合されることができ、任意の数の異なる恣意的楽器が、統合可能である。
異なる音オブジェクトが、上記に説明されるように、可視化されることができるが、多くの実施形態では、再生されている内容の総合的可視化を有することが望ましい。多数の実施形態では、オーディオストリームは、ストリーム内の任意の所与の時間点に存在する周波数を表すように、オーディオ信号を処理することによって、可視化されることができる。例えば、オーディオは、フーリエ変換を使用して、またはメルスペクトログラムを生成することによって、処理されることができる。多くの実施形態では、一次セルおよび／またはスーパー一次セルは、それらが関与する、オーディオストリームを処理し、結果を可視化を提示するデバイスにパスするステップに関与する。各周波数および各所与の時間点におけるその個別の振幅を説明する、結果として生じる処理されたオーディオは、螺旋状に巻回されることができ、１ピッチずつオフセットされた螺旋の各回旋上の同一点は、シーケンシャルオクターブにおける同一音符（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、および同等物）を反映させる。このように、上方から（すなわち、螺旋の軸と垂直に）見ると、各オクターブ内のいくつかの音符が整列する。本発明のある実施形態による、説明されるように、側方および上方から見たときの螺旋が、それぞれ、図５８Ａおよび５８Ｂに図示される。特定の音符が、所与のオクターブにおいて再生されると、螺旋構造は、振幅に基づいて、ワーピングし、音符を可視化することができる。多数の実施形態では、ワーピングされた区分は、本発明の実施形態の具体的用途の要件の必要に応じて、その背後の透明場から離れることができ、螺旋の異なる回旋は、異なる色、透明度のレベル、および／または任意の他の視覚的インジケータによって表される。このように、異なるオクターブにおける複数の音符は、同時に、可視化されることができる。本発明のある実施形態による、螺旋を使用した可視化の実施例が、図５９に図示される。
さらに、１つを上回る螺旋が、生成されることができる。例えば、曲を演奏するバンド内の各楽器は、その独自の可視化螺旋を有してもよい。本発明のある実施形態による、バンド内の複数の楽器のための例示的可視化螺旋が、図６０に図示される。しかしながら、螺旋は、ユーザの所望に応じて、任意の数の可視化のために使用されることができる。さらに、可視化は、螺旋ベースである必要はない。
螺旋ベースの可視化は、利用され得る可視化の唯一のタイプではない。種々の実施形態では、可視化は、音オブジェクトに結び付けられ、実世界を反映する可視化された空間内で空間的に表されることができる。例えば、「音空間」は、セルを含有する、任意の物理的空間の大まかな表現として可視化されることができる。音オブジェクトは、音空間可視化内に設置されることができ、音は、対応して、セルによってレンダリングされるであろう。これは、例えば、限定ではないが、都市またはジャングルと全く同じように、周囲音景を生成するために使用されることができる。周囲ジャングルは、音空間内のサルに対応する音空間内のオブジェクトをジャングルの林床上に、または鳥を木々の林冠に設置することによって、向上されることができ、これは、ひいては、音景内でレンダリングされることができる。多くの実施形態では、ＡＩが、その自然移動を誘導するために設置されたオブジェクトに結び付けられることができる。例えば、鳥は、音空間内の１つの領域内で活発な虫を捕獲し得る、または鳥餌が、鳥をそのエリアから誘き寄せるために撒かれ得る。任意の数の周囲環境およびオブジェクトが、音空間を使用して作成されることができる。実際、音空間は、実際には、周囲音である必要はない。例えば、楽器またはガイダンスのための機能指向性アラートまたはビーコンが、本発明の実施形態の具体的用途の要件の必要に応じて、音空間内に設置され、オーディオ生産、家庭の安全性、および／または任意の他の用途のために、音景内にレンダリングされることができる。容易に理解され得るように、音空間は、創造のための大きな機会を提供し、いかようにも本明細書に列挙される実施例に限定されず、主として、音空間の設計者の想像力および創造性によってのみ限定される。
多くの実施形態では、再生および／または制御デバイスは、ビデオコンテンツを再生するために使用されることができる。多数の実施形態では、ビデオコンテンツは、空間オーディオを伴う。多くの場合、再生および／または制御デバイスは、静的である、例えば、壁上に搭載される、または静的場所に別様にある、テレビであり得る。上記に説明されるように、空間オーディオシステムは、再生および／または制御デバイスに対して空間オーディオをレンダリングすることができる。しかしながら、種々の実施形態では、再生および／または制御デバイスは、モバイル式であって、具体的用途の要件の必要に応じて、（限定ではないが）タブレットコンピュータ、携帯電話、ポータブルゲームコンソール、頭部搭載型ディスプレイ、および／または任意の他のポータブル再生および／または制御デバイスを含むことができる。多くの実施形態では、空間オーディオシステムは、ポータブル再生および／または制御デバイスの移動および／または配向に対して空間オーディオを適応的にレンダリングすることができる。再生および／または制御デバイスが、限定ではないが、ジャイロスコープ、加速度計、および／または配向および／または移動を測定することが可能な任意の他の測位システム等の慣性測定ユニットを含有するとき、配向および／または移動情報は、空間オーディオのレンダリングを修正するために、デバイスを追跡するために使用されることができる。空間オーディオシステムは、ジャイロスコープ、加速度計、および／または他の統合された測位システムの使用に制限されないことを理解されたい。多くの実施形態では、測位システムはさらに、本発明の種々の実施形態の具体的用途の要件の必要に応じて、マシンビジョンベースの追跡システムおよび／または任意の他の追跡システムを含むことができる。いくつかの実施形態では、ユーザの場所が、追跡され、空間オーディオの相対的レンダリングを精緻化するために使用されることができる。
上記に述べられたように、本発明のある実施形態による、空間オーディオシステムは、モバイルデバイスおよび／またはオーディオオブジェクトの設置を有効にする他のコンピューティングデバイスを介して、ユーザインターフェースを提供する。本発明のいくつかの実施形態では、ユーザインターフェースは、協調された様式において、全てのオーディオオブジェクトまたはオーディオオブジェクトのサブセットの協調された移動を有効にすることができる（原点の周囲の回転は、多くの場合、波ピンニングと称される）。ここで図４３に目を向けると、本発明のある実施形態による、波ピンニングを有効にするアフォーダンスを含む、モバイルデバイスによって提供されるＵＩが、図示される。容易に理解され得るように、本発明の種々の実施形態による、空間オーディオシステムはまた、複数の空間オーディオオブジェクトの協調された平行移動および／または他の形態の移動をサポートするように、空間オーディオレンダリングをサポートすることができ、適宜、ＵＩを提供することができる。
ＵＩを介して、複数のオーディオオブジェクトの設置を有効にすることに加え、本発明の多くの実施形態による、空間オーディオシステムはまた、１人（１つ）以上のユーザおよび／またはユーザデバイスの追跡された移動に基づいて、複数の空間オーディオオブジェクトの設置を有効にすることができる。ここで図４４に目を向けると、３つのセルの場所に対する空間オーディオオブジェクトの移動がユーザデバイスによって行われる慣性測定を使用して追跡される、一連のＵＩ画面が、図示される。上記に述べられたように、種々の追跡技法のいずれかが、空間オーディオシステムに提供され、ユーザおよび／またはユーザデバイスの移動に伴って、またはそれに応答して、オーディオオブジェクトを移動させ得る、遠隔測定データを生成するために利用されることができる。
いくつかの異なるＵＩが、上記に説明されるが、これらのＵＩは、例証目的のみのためだけに含まれ、いかようにも潜在的ＵＩ構成の完全範囲を構成するものではない。実際、広範な範囲のＵＩモダリティが、本発明の種々の実施形態に従って構成される空間オーディオシステムの機能性を制御するために利用されることができる。空間オーディオシステムによって提供される具体的ＵＩは、典型的には、空間オーディオシステムおよび／または空間オーディオシステムと通信するユーザデバイスによってサポートされる、ユーザ入力モダリティ、および／または空間オーディオシステムによって提供される空間オーディオ再現を制御する能力に依存するであろう。
空間オーディオをレンダリングするための具体的システムおよび方法が、上記に議論されるが、多くの異なる加工方法が、本発明の多くの異なる実施形態に従って実装されることができる。したがって、本発明は、本発明の範囲および精神から逸脱することなく、具体的に説明されるもの以外の方法において実践されてもよいことを理解されたい。したがって、本発明の実施形態は、あらゆる点において、例証的であって、制限的と見なされるべきではない。故に、本発明の範囲は、図示される実施形態によってではなく、添付の請求項およびその均等物によって決定されるべきである。

Claims (101)

  1. 空間オーディオシステムであって、
    一次ネットワーク接続スピーカであって、前記一次ネットワーク接続スピーカは、
    ドライバの複数のセットであって、ドライバの各セットは、異なる方向に配向される、ドライバの複数のセットと、
    プロセッサシステムと、
    オーディオプレーヤアプリケーションを含有するメモリと
    を含み、
    前記オーディオプレーヤアプリケーションは、
    ネットワークインターフェースを介して、オーディオソースストリームをオーディオソースから取得することと、
    前記オーディオソースを空間的にエンコーディングすることと、
    前記空間的にエンコーディングされたオーディオソースをデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することであって、前記ドライバ入力は、前記ドライバに、指向性オーディオを生成させる、ことと
    を行うように、前記プロセッサシステムを構成する、一次ネットワーク接続スピーカ
    を備える、空間オーディオシステム。
  2. 前記一次ネットワーク接続スピーカは、ドライバの３つのセットを備え、ドライバの各セットは、中間周波数ドライバと、ツイータとを備える、請求項１に記載の空間オーディオシステム。
  3. 前記一次ネットワーク接続スピーカはさらに、円形配列における３つのホーンを備え、各ホーンは、中間周波数ドライバおよびツイータのセットによってフィードされる、請求項２に記載の空間オーディオシステム。
  4. 前記一次ネットワーク接続スピーカはさらに、前記３つのホーンの円形配列と垂直に搭載される一対の対向サブウーファドライバを備える、請求項３に記載の空間オーディオシステム。
  5. 前記ドライバ入力は、前記ドライバに、モードビーム形成を使用して、指向性オーディオを生成させる、請求項３に記載の空間オーディオシステム。
  6. 前記オーディオソースは、チャネルベースのオーディオソースであり、
    前記オーディオプレーヤアプリケーションは、
    前記チャネルベースのオーディオソースに基づいて、複数の空間オーディオオブジェクトを生成することであって、各空間オーディオオブジェクトは、場所を割り当てられ、関連付けられるオーディオ信号を有する、ことと、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をエンコーディングすることと
    によって、前記チャネルベースのオーディオソースを空間的にエンコーディングするように、前記プロセッサシステムを構成する、請求項１に記載の空間オーディオシステム。
  7. 前記オーディオプレーヤアプリケーションは、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得することと、
    前記複数の仮想スピーカのうちの少なくとも１つのためのオーディオ入力をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することと
    によって、前記空間的にエンコーディングされたオーディオソースをデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するように、前記プロセッサシステムを構成する、請求項６に記載の空間オーディオシステム。
  8. 前記オーディオプレーヤアプリケーションは、
    前記一次ネットワーク接続スピーカの場所に基づいて、前記複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をエンコーディングすることと、
    前記複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することと
    によって、前記複数の仮想スピーカのうちの少なくとも１つのためのオーディオ入力をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するように、前記プロセッサシステムを構成する、請求項７に記載の空間オーディオシステム。
  9. 前記オーディオプレーヤアプリケーションは、ドライバのセット毎に、フィルタを使用して、前記複数の仮想スピーカのうちの少なくとも１つのためのオーディオ入力をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得するように、前記プロセッサシステムを構成する、請求項７に記載の空間オーディオシステム。
  10. 前記オーディオプレーヤアプリケーションは、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、前記複数の仮想スピーカのための直接オーディオ入力のセットを取得することと、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、前記複数の仮想スピーカのための拡散オーディオ入力のセットを取得することと
    によって、前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得するように、前記プロセッサシステムを構成する、請求項７に記載の空間オーディオシステム。
  11. 前記複数の仮想スピーカは、リング状に配列される少なくとも８つの仮想スピーカを備える、請求項７に記載の空間オーディオシステム。
  12. 前記オーディオプレーヤアプリケーションは、少なくとも１つの空間表現に前記オーディオソースを空間的にエンコーディングするように、前記プロセッサシステムを構成し、前記少なくとも１つの空間表現は、
    一次アンビソニック表現と、
    より高次のアンビソニック表現と、
    ベクトルベースの振幅パンニング（ＶＢＡＰ）表現と、
    距離ベースの振幅パンニング（ＤＢＡＰ）表現と、
    Ｋ最近傍パンニング表現と
    から成る群から選択される、請求項６に記載の空間オーディオシステム。
  13. 前記複数の空間オーディオオブジェクトはそれぞれ、前記チャネルベースのオーディオソースのチャネルに対応する、請求項６に記載の空間オーディオシステム。
  14. 前記チャネルベースのオーディオソースのチャネルの数を上回る空間オーディオオブジェクトの数が、前記チャネルベースのオーディオソースのアップミックスを使用して取得される、請求項６に記載の空間オーディオシステム。
  15. 前記複数の空間オーディオオブジェクトは、直接空間オーディオオブジェクトと、拡散空間オーディオオブジェクトとを備える、請求項１４に記載の空間オーディオシステム。
  16. 前記オーディオプレーヤアプリケーションは、前記チャネルベースのオーディオソースのチャネルの数によって決定されたレイアウトに基づいて、所定の場所を前記複数の空間オーディオオブジェクトに割り当てるように、前記プロセッサシステムを構成する、請求項６に記載の空間オーディオシステム。
  17. 前記オーディオプレーヤアプリケーションは、ユーザ入力に基づいて、場所を空間オーディオオブジェクトに割り当てるように、前記プロセッサシステムを構成する、請求項６に記載の空間オーディオシステム。
  18. 前記オーディオプレーヤアプリケーションは、プログラム上経時的に変化する空間オーディオオブジェクトに場所を割り当てるように、前記プロセッサシステムを構成する、請求項６に記載の空間オーディオシステム。
  19. 少なくとも１つの二次ネットワーク接続スピーカをさらに備え、
    前記一次ネットワーク接続スピーカのオーディオプレーヤアプリケーションはさらに、
    前記少なくとも１つの二次ネットワーク接続スピーカ毎に、前記一次および少なくとも１つの二次ネットワーク接続スピーカのレイアウトに基づいて、前記空間的にエンコーディングされたオーディオソースをデコーディングし、オーディオストリームのセットを取得することと、
    前記少なくとも１つの二次ネットワーク接続スピーカ毎に、オーディオストリームのセットを前記少なくとも１つの二次ネットワーク接続スピーカのそれぞれに伝送することと
    を行うように、前記プロセッサシステムを構成し、
    前記少なくとも１つの二次ネットワーク接続スピーカはそれぞれ、
    ドライバの複数のセットであって、ドライバの各セットは、異なる方向に配向される、ドライバの複数のセットと、
    プロセッサシステムと、
    二次オーディオプレーヤアプリケーションを含有するメモリと
    を備え、
    前記二次オーディオプレーヤアプリケーションは、
    オーディオストリームのセットを前記一次ネットワーク接続スピーカから受信することであって、オーディオストリームのセットは、前記ドライバの複数のセット毎に、別個のオーディオストリームを備える、ことと、
    前記受信されたオーディオストリームのセットに基づいて、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することであって、前記ドライバ入力は、前記ドライバに、指向性オーディオを生成させる、ことと
    を行うように、前記プロセッサシステムを構成する、
    請求項１に記載の空間オーディオシステム。
  20. 前記一次ネットワーク接続スピーカおよび前記少なくとも１つの二次ネットワーク接続スピーカはそれぞれ、少なくとも１つのマイクロホンを備え、
    前記一次ネットワーク接続スピーカのオーディオプレーヤアプリケーションはさらに、オーディオ測距を使用して、前記一次および少なくとも１つの二次ネットワーク接続スピーカのレイアウトを決定するように、前記プロセッサシステムを構成する、
    請求項１９に記載の空間オーディオシステム。
  21. 前記一次ネットワーク接続スピーカおよび前記少なくとも１つの二次スピーカは、
    水平線状に配列される２つのネットワーク接続スピーカと、
    水平平面上の三角形として配列される３つのネットワーク接続スピーカと、
    水平平面の上方に位置付けられる第４のネットワーク接続スピーカを伴う前記水平平面上の三角形として配列される３つのネットワーク接続スピーカと
    のうちの少なくとも１つを含む、請求項１８に記載の空間オーディオシステム。
  22. ネットワーク接続スピーカであって、
    円形配列における３つのホーンであって、各ホーンは、中間周波数ドライバおよびツイータのセットによってフィードされる、３つのホーンと、
    前記３つのホーンの円形配列と垂直に搭載される少なくとも１つのサブウーファドライバと、
    プロセッサシステムと、
    オーディオプレーヤアプリケーションを含有するメモリと、
    ネットワークインターフェースと
    を備え、
    前記オーディオプレーヤアプリケーションは、前記ネットワークインターフェースを介して、オーディオソースストリームをオーディオソースから取得し、ドライバ入力を生成するように、前記プロセッサシステムを構成する、ネットワーク接続スピーカ。
  23. 前記少なくとも１つのサブウーファドライバは、一対の対向サブウーファドライバを備える、請求項２２に記載のネットワーク接続スピーカ。
  24. 前記サブウーファドライバはそれぞれ、三軸カーボンフィバ織物を含む材料から構築されるダイヤフラムを備える、請求項２３に記載のネットワーク接続スピーカ。
  25. 前記ドライバ入力は、前記ドライバに、モードビーム形成を使用して、指向性オーディオを生成させる、請求項２２に記載のネットワーク接続スピーカ。
  26. 空間オーディオをオーディオソースからレンダリングする方法であって、
    オーディオプレーヤアプリケーションによって構成されるプロセッサにおいて、オーディオソースストリームをオーディオソースから受信することと、
    前記オーディオプレーヤアプリケーションによって構成される前記プロセッサを使用して、前記オーディオソースを空間的にエンコーディングすることと、
    少なくとも、前記オーディオプレーヤアプリケーションによって構成される前記プロセッサを使用して、前記空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することであって、
    前記ドライバの複数のセットはそれぞれ、異なる方向に配向され、
    前記ドライバ入力は、前記ドライバに、指向性オーディオを生成させる、ことと、
    前記ドライバの複数のセットを使用して、空間オーディオをレンダリングすることと
    を含む、方法。
  27. 前記ドライバの複数のセットのうちのいくつかは、前記オーディオプレーヤアプリケーションによって構成される前記プロセッサを含む一次ネットワーク接続再生デバイス内に含有され、
    前記ドライバの複数のセットの残りは、少なくとも１つの二次ネットワーク接続再生デバイス内に含有され、
    前記少なくとも１つの二次ネットワーク接続再生デバイスはそれぞれ、前記一次接続再生デバイスとネットワーク通信する、
    請求項２６に記載の方法。
  28. 前記空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することはさらに、
    前記オーディオプレーヤアプリケーションによって構成される前記プロセッサを使用して、前記空間的にエンコーディングされたオーディオソースをデコーディングし、前記一次ネットワーク接続再生デバイスの個々のドライバのためのドライバ入力を取得することと、
    前記オーディオプレーヤアプリケーションによって構成される前記プロセッサを使用して、前記空間的にエンコーディングされたオーディオソースをデコーディングし、前記少なくとも１つの二次ネットワーク接続再生デバイスのそれぞれのドライバのセット毎に、オーディオストリームを取得することと、
    前記少なくとも１つの二次ネットワーク接続スピーカ毎に、オーディオストリームのセットを前記少なくとも１つの二次ネットワーク接続スピーカのそれぞれに伝送することと、
    前記少なくとも１つの二次ネットワーク接続スピーカのそれぞれが、受信されたオーディオストリームのセットに基づいて、その個々のドライバのためのドライバ入力を生成することと
    を含む、請求項２７に記載の方法。
  29. 前記オーディオソースは、チャネルベースのオーディオソースであり、
    前記オーディオソースを空間的にエンコーディングすることはさらに、
    前記チャネルベースのオーディオソースに基づいて、複数の空間オーディオオブジェクトを生成することであって、各空間オーディオオブジェクトは、場所を割り当てられ、関連付けられるオーディオ信号を有する、ことと、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をエンコーディングすることと
    を含む、請求項２７に記載の方法。
  30. 前記空間的にエンコーディングされたオーディオソースをデコーディングし、ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することはさらに、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得することと、
    前記複数の仮想スピーカのオーディオ入力をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することと
    を含む、請求項２９に記載の方法。
  31. 前記複数の仮想スピーカのオーディオ入力をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することはさらに、
    前記一次ネットワーク接続スピーカの場所に基づいて、前記複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をエンコーディングすることと、
    前記複数の仮想スピーカのうちの少なくとも１つの空間オーディオ表現をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することと
    を含む、請求項２９に記載の方法。
  32. 前記複数の仮想スピーカのオーディオ入力をデコーディングし、前記ドライバの複数のセット内の個々のドライバのためのドライバ入力を取得することはさらに、ドライバのセット毎にフィルタを使用することを含む、請求項２９に記載の方法。
  33. 前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、複数の仮想スピーカのためのオーディオ入力を取得することはさらに、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、前記複数の仮想スピーカのための直接オーディオ入力のセットを取得することと、
    前記複数の空間オーディオオブジェクトの空間オーディオ表現をデコーディングし、前記複数の仮想スピーカのための拡散オーディオ入力のセットを取得することと
    を含む、請求項２９に記載の方法。
  34. 前記複数の仮想スピーカは、リング状に配列される少なくとも８つの仮想スピーカを備える、請求項２９に記載の方法。
  35. 前記オーディオソースを空間的にエンコーディングすることは、少なくとも１つの空間表現に前記オーディオソースを空間的にエンコーディングすることを含み、前記少なくとも１つの空間表現は、
    一次アンビソニック表現と、
    より高次のアンビソニック表現と、
    ベクトルベースの振幅パンニング（ＶＢＡＰ）表現と、
    距離ベースの振幅パンニング（ＤＢＡＰ）表現と、
    Ｋ最近傍パンニング表現と
    から成る群から選択される、請求項２６に記載の方法。
  36. 空間オーディオシステムであって、
    一次ネットワーク接続スピーカであって、前記一次ネットワーク接続スピーカは、
    少なくとも１つのオーディオ信号を備えるオーディオストリームを取得することと、
    前記一次ネットワーク接続スピーカの物理的場所を説明する場所データを取得することと、
    前記少なくとも１つのオーディオ信号を空間表現に変換することと、
    仮想スピーカレイアウトに基づいて、前記空間表現を変換することと、
    前記一次ネットワーク接続スピーカのホーン毎に、別個のオーディオ信号を生成することと、
    ホーン毎に、少なくとも１つのドライバを使用して、前記一次ネットワーク接続スピーカのホーンに対応する前記別個のオーディオ信号を再生することと
    を行うように構成される、一次ネットワーク接続スピーカ
    を備える、空間オーディオシステム。
  37. 少なくとも１つの二次ネットワーク接続スピーカをさらに備え、
    前記一次ネットワーク接続スピーカはさらに、
    前記少なくとも１つの二次ネットワーク接続スピーカの物理的場所を説明する場所データを取得することと、
    前記少なくとも１つの二次ネットワーク接続スピーカのホーン毎に、別個のオーディオ信号を生成することと、
    別個のオーディオ信号毎に、前記別個のオーディオ信号を前記ホーンと関連付けられる前記少なくとも１つの二次ネットワーク接続スピーカに伝送することと
    を行うように構成される、請求項３６に記載の空間オーディオシステム。
  38. 前記一次ネットワーク接続スピーカは、スーパー一次ネットワーク接続スピーカであり、前記スーパー一次ネットワーク接続スピーカはさらに、前記オーディオストリームを第２の一次ネットワーク接続スピーカに伝送するように構成される、請求項３６－３７に記載の空間オーディオシステム。
  39. 前記一次ネットワーク接続スピーカは、他のネットワーク接続スピーカによって参加可能な無線ネットワークを確立することが可能である、請求項３６－３８に記載の空間オーディオシステム。
  40. 前記一次ネットワーク接続スピーカは、制御デバイスによって制御可能である、請求項３６－３９に記載の空間オーディオシステム。
  41. 前記制御デバイスは、スマートフォンである、請求項４０に記載の空間オーディオシステム。
  42. 前記一次ネットワーク接続スピーカは、
    前記オーディオ信号のメルスペクトログラムを生成することと、
    前記メルスペクトログラムを前記オーディオ信号を可視化螺旋として可視化する際に使用するためのメタデータとして可視化デバイスに伝送することと
    を行うことが可能である、請求項３６－４１に記載の空間オーディオシステム。
  43. 前記生成された別個のオーディオ信号は、直接、ドライバを駆動するために使用されることができる、請求項３６－４２に記載の空間オーディオシステム。
  44. 前記仮想スピーカレイアウトは、仮想スピーカのリングを備える、請求項３６－４３に記載の空間オーディオシステム。
  45. 前記仮想スピーカのリングは、少なくとも８つの仮想スピーカを備える、請求項４４に記載の空間オーディオシステム。
  46. 前記仮想スピーカレイアウト内の仮想スピーカは、規則的に離間される、請求項４４－４５に記載の空間オーディオシステム。
  47. 空間オーディオシステムであって、
    第１の場所における第１のネットワーク接続スピーカと、
    第２の場所における第２のネットワーク接続スピーカと
    を備え、
    前記第１のネットワーク接続スピーカおよび前記第２のネットワーク接続スピーカは、少なくとも１つの音オブジェクトが、第１のモードビーム形成スピーカによって生成されたドライバ信号に基づいて、前記第１の場所および前記第２の場所と異なる場所にレンダリングされるように、同期して、オーディオ信号をレンダリングするように構成される、空間オーディオシステム。
  48. 前記第１および第２のネットワーク接続スピーカと同期して、オーディオ信号をレンダリングするように構成される第３の場所における第３のネットワーク接続スピーカをさらに備える、請求項４７に記載の空間オーディオシステム。
  49. 前記第１、第２、および第３のネットワーク接続スピーカと同期して、オーディオ信号をレンダリングするように構成される第４の場所における第４のネットワーク接続スピーカをさらに備え、
    前記第４の場所は、前記第１、第２、および第３の場所より高い高度にある、
    請求項４７－４８に記載の空間オーディオシステム。
  50. 前記第１、第２、第３、および第４の場所は全て、部屋内にあり、第４のモードビーム形成スピーカは、前記部屋の天井に接続される、請求項４７－４９に記載の空間オーディオシステム。
  51. 空間オーディオシステムであって、
    一次ネットワーク接続スピーカであって、前記一次ネットワーク接続スピーカは、
    少なくとも１つのオーディオ信号を備えるオーディオストリームを取得することと、
    前記一次ネットワーク接続スピーカの物理的場所を説明する場所データを取得することと、
    前記少なくとも１つのオーディオ信号を空間表現に変換することと、
    仮想スピーカレイアウトに基づいて、前記空間表現を変換することと、
    前記一次ネットワーク接続スピーカのホーン毎に、別個の一次オーディオ信号を生成することと、
    複数の二次ネットワーク接続スピーカのホーン毎に、別個の二次オーディオ信号を生成することと、
    各別個の二次オーディオ信号を、前記個別のホーンを備える前記二次ネットワーク接続スピーカに伝送することと、
    前記複数の二次ネットワーク接続スピーカと同期された方式において、ホーン毎に、少なくとも１つのドライバを使用して、前記一次ネットワーク接続スピーカのホーンに対応する前記一次の別個のオーディオ信号を再生することと
    を行うことが可能である、一次ネットワーク接続スピーカ
    を備える、空間オーディオシステム。
  52. 空間オーディオをレンダリングする方法であって、
    一次ネットワーク接続スピーカを使用して、第１のフォーマットにおいてエンコーディングされたオーディオ信号を取得することと、
    前記一次ネットワーク接続スピーカを使用して、前記オーディオ信号を空間表現に変換することと、
    前記一次ネットワーク接続スピーカを使用して、前記空間表現に基づいて、複数のドライバ信号を生成することであって、各ドライバ信号は、ホーンと結合される少なくとも１つのドライバに対応する、ことと、
    前記複数のドライバ信号および前記対応する少なくとも１つのドライバを使用して、空間オーディオをレンダリングすることと
    を含む、方法。
  53. 前記複数のドライバ信号の一部を少なくとも１つの二次ネットワーク接続スピーカに伝送することと、
    同期された方式において、前記一次ネットワーク接続スピーカおよび前記少なくとも１つの二次ネットワーク接続ラウドスピーカを使用して、前記空間オーディオをレンダリングすることと
    をさらに含む、請求項５２に記載の方法。
  54. 前記オーディオ信号のメルスペクトログラムを生成することと、
    前記メルスペクトログラムを前記オーディオ信号を可視化螺旋として可視化する際に使用するためのメタデータとして可視化デバイスに伝送することと
    をさらに含む、請求項５２－５３に記載の方法。
  55. 前記複数のドライバ信号の生成は、仮想スピーカレイアウトに基づく、請求項５２－５４に記載の方法。
  56. 前記仮想スピーカレイアウトは、仮想スピーカのリングを備える、請求項５２－５５に記載の方法。
  57. 前記仮想スピーカのリングは、少なくとも８つの仮想スピーカを備える、請求項５６に記載の方法。
  58. 前記仮想スピーカレイアウト内の仮想スピーカは、規則的に離間される、請求項５６－５７に記載の方法。
  59. 前記一次ネットワーク接続ラウドスピーカは、スーパー一次ネットワーク接続スピーカであり、
    前記方法はさらに、
    前記オーディオ信号を第２の一次ネットワーク接続スピーカに伝送することと、
    前記第２の一次ネットワーク接続スピーカを使用して、前記オーディオ信号を第２の空間表現に変換することと、
    前記第２の一次ネットワーク接続スピーカを使用して、前記第２の空間表現に基づいて、第２の複数のドライバ信号を生成することであって、各ドライバ信号は、ホーンと結合される少なくとも１つのドライバに対応する、ことと、
    前記複数のドライバ信号および前記対応する少なくとも１つのドライバを使用して、空間オーディオをレンダリングすることと
    を含む、請求項５２－５８に記載の方法。
  60. 前記第２の空間表現は、前記第１の空間表現と同じである、請求項５９に記載の方法。
  61. 前記空間表現に基づいて、複数のドライバ信号を生成することはさらに、仮想スピーカレイアウトを使用することを含む、請求項５２－６０に記載の方法。
  62. 前記仮想スピーカレイアウトは、仮想スピーカのリングを備える、請求項６１に記載の方法。
  63. 前記仮想スピーカのリングは、少なくとも８つの仮想スピーカを備える、請求項６１－６２に記載の方法。
  64. 前記仮想スピーカレイアウト内の仮想スピーカは、規則的に離間される、請求項６１－６３に記載の方法。
  65. ネットワーク接続スピーカであって、
    複数のホーンであって、前記３つのホーンはそれぞれ、複数のドライバと嵌合される、複数のホーンと、
    一対の対向同軸ウーファと
    を備え、
    前記３つの複数のドライバは、空間オーディオをレンダリングすることが可能である、ネットワーク接続スピーカ。
  66. 各複数のドライバは、ツイータと、ミッドとを備える、請求項６５に記載のネットワーク接続スピーカ。
  67. 前記ツイータおよびミッドは、同軸であり、同一方向に放音するように構成される、請求項６５－６６に記載のネットワーク接続スピーカ。
  68. 前記ツイータは、モードビーム形成スピーカの中心に対して前記ミッドにわたって位置する、請求項６６－６７に記載のネットワーク接続スピーカ。
  69. 前記一対のウーファの一方は、前記ウーファの中心を通るチャネルを備える、請求項６５－６８に記載のネットワーク接続スピーカ。
  70. 前記チャネルは、ステムを含有する、請求項６８に記載のネットワーク接続スピーカ。
  71. 前記ウーファは、三軸カーボンフィバ織物から構築されるダイヤフラムを備える、請求項６５－７０に記載のネットワーク接続スピーカ。
  72. 前記複数のホーンは、同一平面にあり、前記一対のウーファ内の第１のウーファは、正の方向に前記ホーンの平面に対して垂直に放音するように構成され、前記一対のウーファ内の第２のウーファは、負の方向に前記ホーンの平面に対して垂直に放音するように構成される、請求項６５－７１に記載のネットワーク接続スピーカ。
  73. 前記複数のホーンは、リング状に構成される、請求項６５－７２に記載のネットワーク接続スピーカ。
  74. 前記複数のホーンは、３つのホーンを備える、請求項６５－７３に記載のネットワーク接続スピーカ。
  75. 前記複数のホーンは、規則的に離間される、請求項６５－７４に記載のネットワーク接続スピーカ。
  76. 前記ホーンは、単一コンポーネントを形成する、請求項６５－７５に記載のネットワーク接続スピーカ。
  77. 前記複数のホーンは、シールを２つのカバー間に形成する、請求項６５－７６に記載のネットワーク接続スピーカ。
  78. 前記複数のドライバのための少なくとも１つの後方容積が、前記３つのホーン間に含有される、請求項６５－７７に記載のネットワーク接続スピーカ。
  79. スタンドに接続されるように構成されるステムをさらに備える、請求項６５－７８に記載のネットワーク接続スピーカ。
  80. 前記ステムおよびスタンドは、バヨネット係止システムを使用して接続されるように構成される、請求項７９に記載のネットワーク接続スピーカ。
  81. 前記ステムは、再生制御信号を前記ネットワーク接続スピーカに提供することが可能なリングを備える、請求項７９－８０に記載のネットワーク接続スピーカ。
  82. 前記ネットワーク接続スピーカは、天井から吊架されるように構成される、請求項６５－８１に記載のネットワーク接続スピーカ。
  83. ラウドスピーカのためのホーンアレイであって、
    ユニボディリングであって、前記ユニボディリングは、前記リングが、半径方向対称性を維持しながら、複数のホーンを形成するように成型される、ユニボディリング
    を備える、ホーンアレイ。
  84. 前記ホーンアレイは、３Ｄ印刷を使用して製造される、請求項８３に記載のホーンアレイ。
  85. 前記複数のホーンは、１２０度オフセットされた３つのホーンを備える、請求項８３－８４に記載のホーンアレイ。
  86. オーディオ可視化方法であって、
    オーディオ信号を取得することと、
    メルスペクトログラムを前記オーディオ信号から生成することと、
    １ピッチオフセットされた螺旋の各回旋上の点が、その個別のオクターブ内の同一音符を反映させるように、前記メルスペクトログラムを螺旋上にプロットすることと、
    各音符の音量が、前記螺旋の外向き屈曲によって可視化されるように、振幅に基づいて、前記螺旋構造をワーピングさせることと
    を含む、方法。
  87. 前記螺旋は、上方から可視化される、請求項８６に記載のオーディオ可視化方法。
  88. 前記螺旋は、着色される、請求項８６－８７に記載のオーディオ可視化方法。
  89. 前記螺旋の各回旋は、前記螺旋の回旋毎に繰り返される色の範囲を使用して着色される、請求項８６－８９に記載のオーディオ可視化方法。
  90. 前記色の飽和は、前記螺旋の回旋毎に減少する、請求項８８－８９に記載のオーディオ可視化方法。
  91. 前記色の透明度は、前記螺旋の回旋毎に減少する、請求項８８－９０に記載のオーディオ可視化方法。
  92. 前記螺旋構造は、ワーピングされると、前記螺旋の軸に向かって軌跡から離れる、請求項８６－９１に記載のオーディオ可視化方法。
  93. ネットワーク接続スピーカを構築する方法であって、
    複数の外向きに向いたホーンをリング状に構築することと、
    複数のドライバを各外向きに向いたホーンに嵌合させることと、
    １つのウーファが、前記リングの上方にあり、１つのウーファが、前記リングの下方にあるように、同軸の一対の対向して向いているウーファを嵌合させることと
    を含む、方法。
  94. 複数の外向きに向いたホーンをリング状に構築することはさらに、前記複数の外向きに向いたホーンを単一コンポーネントとして加工することを含む、請求項９３に記載のネットワーク接続スピーカを構築する方法。
  95. 前記複数の外向きに向いたホーンは、付加製造を使用して構築される、請求項９３－９４に記載のネットワーク接続スピーカを構築する方法。
  96. ロッドを前記ウーファのうちの１つのダイヤフラムの中心を通して設置することをさらに含む、請求項９３－９５に記載のネットワーク接続スピーカを構築する方法。
  97. ウーファは、ロッドを前記ウーファ上のダイヤフラムの中心を通して収容するように、二重外周部を用いて構築される、請求項９３－９６に記載のネットワーク接続スピーカを構築する方法。
  98. 各ウーファは、三軸カーボンフィバ織物から作製されるダイヤフラムを備える、請求項９３－９６に記載のネットワーク接続スピーカを構築する方法。
  99. 前記複数のドライバが、前記リング、前記第１のカバー、および前記第２のカバーによって作成された音量内にあるように、第１のカバーを前記リングの上部にわたって嵌合させ、第２のカバーを前記リングの底部にわたって嵌合させることをさらに含む、請求項９３－９８に記載のネットワーク接続スピーカを構築する方法。
  100. 各ホーンは、前記複数のドライバ内の一意のツイータおよび一意のミッドと関連付けられる、請求項９３－９９に記載のネットワーク接続スピーカを構築する方法。
  101. 少なくとも１つのマイクロホンを前記リング上の各ホーン間に設置することをさらに含む、請求項９３－１００に記載のネットワーク接続スピーカを構築する方法。
JP2021559242A 2019-04-02 2020-04-02 空間オーディオレンダリングのためのシステムおよび方法 Pending JP2022528138A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962828357P 2019-04-02 2019-04-02
US62/828,357 2019-04-02
US201962878696P 2019-07-25 2019-07-25
US62/878,696 2019-07-25
US201962935034P 2019-11-13 2019-11-13
US62/935,034 2019-11-13
PCT/US2020/026471 WO2020206177A1 (en) 2019-04-02 2020-04-02 Systems and methods for spatial audio rendering

Publications (1)

Publication Number Publication Date
JP2022528138A true JP2022528138A (ja) 2022-06-08

Family

ID=72667081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021559242A Pending JP2022528138A (ja) 2019-04-02 2020-04-02 空間オーディオレンダリングのためのシステムおよび方法

Country Status (7)

Country Link
US (4) US11206504B2 (ja)
EP (1) EP3949438A4 (ja)
JP (1) JP2022528138A (ja)
KR (1) KR20210148238A (ja)
CN (1) CN113853803A (ja)
CA (1) CA3135849A1 (ja)
WO (1) WO2020206177A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722833B2 (en) 2019-04-02 2023-08-08 Syng, Inc. Systems and methods for spatial audio rendering

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622219B2 (en) * 2019-07-24 2023-04-04 Nokia Technologies Oy Apparatus, a method and a computer program for delivering audio scene entities
US11240635B1 (en) * 2020-04-03 2022-02-01 Koko Home, Inc. System and method for processing using multi-core processors, signals, and AI processors from multiple sources to create a spatial map of selected region
EP3896996A1 (en) * 2020-04-13 2021-10-20 Harman International Industries, Incorporated Modular speakers
US11868175B2 (en) 2020-12-03 2024-01-09 Syng, Inc. Heterogeneous computing systems and methods for clock synchronization
CN113423040B (zh) * 2021-06-18 2023-01-24 恒玄科技(上海)股份有限公司 一种无线扬声器组件、智能设备及其智能系统
CN113473354B (zh) * 2021-06-25 2022-04-29 武汉轻工大学 一种滑动音响的优化配置方法
CN113473318B (zh) * 2021-06-25 2022-04-29 武汉轻工大学 一种基于滑动轨道的移动音源3d音频系统
US11700335B2 (en) * 2021-09-07 2023-07-11 Verizon Patent And Licensing Inc. Systems and methods for videoconferencing with spatial audio
WO2023051708A1 (zh) * 2021-09-29 2023-04-06 北京字跳网络技术有限公司 用于空间音频渲染的系统、方法和电子设备
WO2023076823A1 (en) * 2021-10-25 2023-05-04 Magic Leap, Inc. Mapping of environmental audio response on mixed reality device
US20230143473A1 (en) * 2021-11-11 2023-05-11 Apple Inc. Splitting a Voice Signal into Multiple Point Sources
US20240056758A1 (en) * 2021-11-15 2024-02-15 Syng, Inc. Systems and Methods for Rendering Spatial Audio Using Spatialization Shaders
US20230188893A1 (en) * 2021-12-10 2023-06-15 Harman International Industries, Incorporated Loudspeaker system for arbitrary sound direction rendering
WO2023215405A2 (en) * 2022-05-05 2023-11-09 Dolby Laboratories Licensing Corporation Customized binaural rendering of audio content
TWI818554B (zh) * 2022-05-25 2023-10-11 鴻華先進科技股份有限公司 音場調節方法、系統及移動載具
KR102479067B1 (ko) * 2022-09-08 2022-12-19 주식회사 해솔엔지니어링 전시공간의 관람객을 위한 트래킹 스위트 스팟을 제공하는 멀티채널 음향시스템
US20240098439A1 (en) * 2022-09-15 2024-03-21 Sony Interactive Entertainment Inc. Multi-order optimized ambisonics encoding
KR102479068B1 (ko) * 2022-10-12 2022-12-19 주식회사 해솔엔지니어링 소규모 라이브 공연장의 공연자 및 복수의 관중들 각각을 위한 멀티채널 음향시스템

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757927A (en) 1992-03-02 1998-05-26 Trifield Productions Ltd. Surround sound apparatus
DE10110422A1 (de) 2001-03-05 2002-09-19 Harman Becker Automotive Sys Verfahren zur Steuerung eines mehrkanaligen Tonwiedergabesystems und mehrkanaliges Tonwiedergabesystem
FR2895869B1 (fr) * 2005-12-29 2008-05-23 Henri Seydoux Systeme de distribution sans fil d'un signal audio entre une pluralite d'enceintes actices
US8107631B2 (en) 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US9111521B2 (en) 2009-09-11 2015-08-18 Bose Corporation Modular acoustic horns and horn arrays
JP5400225B2 (ja) 2009-10-05 2014-01-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド オーディオ信号の空間的抽出のためのシステム
CA2941646C (en) 2009-10-05 2019-09-10 Harman International Industries, Incorporated Multichannel audio system having audio channel compensation
AU2012279349B2 (en) * 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
TW202339510A (zh) * 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
CN104054126B (zh) 2012-01-19 2017-03-29 皇家飞利浦有限公司 空间音频渲染和编码
CN104604255B (zh) * 2012-08-31 2016-11-09 杜比实验室特许公司 基于对象的音频的虚拟渲染
WO2014036085A1 (en) 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation Reflected sound rendering for object-based audio
US9913064B2 (en) 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
KR20180097786A (ko) 2013-03-05 2018-08-31 애플 인크. 하나 이상의 청취자들의 위치에 기초한 스피커 어레이의 빔 패턴의 조정
AU2014353473C1 (en) 2013-11-22 2018-04-05 Apple Inc. Handsfree beam pattern configuration
CN111010635B (zh) 2014-08-18 2022-08-30 苹果公司 旋转对称的扬声器阵列
JP6362772B2 (ja) * 2014-09-26 2018-07-25 アップル インコーポレイテッド 設定可能なゾーンを有するオーディオシステム
US10547949B2 (en) 2015-05-29 2020-01-28 EVA Automation, Inc. Loudspeaker diaphragm
EP3188504B1 (en) * 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
US10250967B2 (en) 2016-03-11 2019-04-02 Bose Corporation Speaker modules having different module housing geometries and similar acoustic properties
US20170325043A1 (en) * 2016-05-06 2017-11-09 Jean-Marc Jot Immersive audio reproduction systems
WO2018064410A1 (en) 2016-09-29 2018-04-05 Dolby Laboratories Licensing Corporation Automatic discovery and localization of speaker locations in surround sound systems
US10405125B2 (en) 2016-09-30 2019-09-03 Apple Inc. Spatial audio rendering for beamforming loudspeaker array
US10531196B2 (en) 2017-06-02 2020-01-07 Apple Inc. Spatially ducking audio produced through a beamforming loudspeaker array
US10299039B2 (en) 2017-06-02 2019-05-21 Apple Inc. Audio adaptation to room
US10237645B2 (en) 2017-06-04 2019-03-19 Apple Inc. Audio systems with smooth directivity transitions
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
WO2020030303A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method for providing loudspeaker signals
US10425733B1 (en) 2018-09-28 2019-09-24 Apple Inc. Microphone equalization for room acoustics
CN113853803A (zh) 2019-04-02 2021-12-28 辛格股份有限公司 用于空间音频渲染的系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722833B2 (en) 2019-04-02 2023-08-08 Syng, Inc. Systems and methods for spatial audio rendering

Also Published As

Publication number Publication date
US20240107258A1 (en) 2024-03-28
US20220159404A1 (en) 2022-05-19
US20200367009A1 (en) 2020-11-19
US11190899B2 (en) 2021-11-30
CA3135849A1 (en) 2020-10-08
US11206504B2 (en) 2021-12-21
EP3949438A4 (en) 2023-03-01
US20200396560A1 (en) 2020-12-17
US11722833B2 (en) 2023-08-08
WO2020206177A1 (en) 2020-10-08
EP3949438A1 (en) 2022-02-09
KR20210148238A (ko) 2021-12-07
CN113853803A (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
US11722833B2 (en) Systems and methods for spatial audio rendering
JP7362807B2 (ja) 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法
US20230179939A1 (en) Grouping and transport of audio objects
KR101676634B1 (ko) 오브젝트―기반 오디오를 위한 반사된 사운드 렌더링
EP3285504B1 (en) Speaker system with an upward-firing loudspeaker
JP6362772B2 (ja) 設定可能なゾーンを有するオーディオシステム
JP6186436B2 (ja) 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング
US9986338B2 (en) Reflected sound rendering using downward firing drivers
CN104769964A (zh) 声学优化
CN106961645B (zh) 音频再生装置以及方法
TW202117500A (zh) 用於音訊呈現之隱私分區及授權
US20240056758A1 (en) Systems and Methods for Rendering Spatial Audio Using Spatialization Shaders
Peters et al. Sound spatialization across disciplines using virtual microphone control (ViMiC)
CN104604253B (zh) 用于处理音频信号的系统和方法
Hedges An investigation into the use of intuitive control interfaces and distributed processing for enhanced three dimensional sound localization
JP2018174571A (ja) 設定可能なゾーンを有するオーディオシステム
Sousa The development of a'Virtual Studio'for monitoring Ambisonic based multichannel loudspeaker arrays through headphones

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331