JP2016509820A - 仮想スピーカーを物理スピーカーにマッピングすること - Google Patents

Abstract

概して、物理スピーカーのうちの１つに対する仮想スピーカーのうちの１つの相対的位置に基づいて仮想スピーカーのうちの１つの位置を最初に調整させる、仮想スピーカーを物理スピーカーにマッピングするための技法について説明される。１つまたは複数のプロセッサを備えるデバイスが本技法を実行し得る。１つまたは複数のプロセッサは、幾何学的配置で配置された複数の仮想スピーカーのうちの１つと複数の物理スピーカーのうちの１つとの間の位置の差を決定することと、位置の決定された差に基づいて、および複数の仮想スピーカーを複数の物理スピーカーにマッピングするより前に、幾何学的配置内の複数の仮想スピーカーのうちの１つの位置を調整することとを行うように構成され得る。

Description

[0001] 本出願は、２０１３年５月３１日に出願された米国仮出願第６１／８２９，８３２号および２０１３年２月７日に出願された米国仮出願第６１／７６２，３０２号の利益を主張する。

[0002] 本開示は、オーディオレンダリング（audio rendering）に関し、より詳細には、球面調和係数（spherical harmonic coefficient）のレンダリングに関する。

[0003] 高次アンビソニックス（ＨＯＡ：higher order ambisonics）信号（しばしば複数の球面調和係数（ＳＨＣ：spherical harmonic coefficient）または他の階層要素（hierarchical element）によって表される）は、音場の３次元表現である。このＨＯＡまたはＳＨＣ表現は、このＳＨＣ信号からレンダリングされたマルチチャネルオーディオ信号を再生するために使用されるローカルスピーカー幾何学的配置（local speaker geometry）に依存しない様式でこの音場を表し得る。このＳＨＣ信号はまた、このＳＨＣ信号が、５．１オーディオチャネルフォーマットまたは７．１オーディオチャネルフォーマットなど、よく知られ大いに採用されているマルチチャネルフォーマットにレンダリングされ得るような後方互換性を可能にし得る。ＳＨＣ表現は、したがって、後方互換性にも適応する音場のより良い表現を可能にする。

[0004] 概して、特定のローカルスピーカー幾何学的配置に適するオーディオレンダラを決定するための技法について説明される。ＳＨＣはよく知られているマルチチャネルスピーカーフォーマットに適応し得るが、通常、エンドユーザリスナーは、これらのマルチチャネルフォーマットによって要求される様式でスピーカーを適切に置いたりまたは配置したりせず、その結果、不規則なスピーカー幾何学的配置（irregular speaker geometry）が生じる。本開示で説明される技法は、ローカルスピーカー幾何学的配置を決定し、次いで、このローカルスピーカー幾何学的配置に基づいてＳＨＣ信号をレンダリングするためのレンダラを決定し得る。レンダリングデバイスは、いくつかの異なるレンダラ、たとえば、モノレンダラ、ステレオレンダラ、水平専用レンダラまたは３次元レンダラの中から選択し、ローカルスピーカー幾何学的配置に基づいてこのレンダラを生成し得る。このレンダラは、不規則なスピーカー幾何学的配置を考慮し、それによって、規則的なスピーカー幾何学的配置（regular speaker geometry）のために設計された規則的なレンダラと比較して不規則なスピーカー幾何学的配置にもかかわらず、音場のより良い再現を可能にし得る。

[0005] その上、本技法は、可逆性を維持しＳＨＣを復元するように、仮想スピーカー幾何学的配置（virtual speaker geometry）と呼ばれ得る、均一なスピーカー幾何学的配置にレンダリングし得る。本技法は、その場合、これらの仮想スピーカーを（仮想スピーカーが最初に配置された水平面とは異なる仰角（elevation）であり得る）様々な水平面に投射（project）するための様々な動作を実行し得る。本技法は、デバイスが、これらの投射された仮想スピーカーを、不規則なスピーカー幾何学的配置で配置された様々な物理スピーカーにマッピングするレンダラを生成することを可能にし得る。これらの仮想スピーカーをこのように投射することは、音場のより良い再現を可能にし得る。

[0006] 一例では、方法が、音場を表す球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定することと、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定することとを備える。

別の例では、デバイスが、音場を表す球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定することと、決定されたローカルスピーカー幾何学的配置に基づいて動作するようにデバイスを構成することとを行うように構成された１つまたは複数のプロセッサを備える。

[0007] 別の例では、デバイスが、音場を表す球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するための手段と、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定するための手段とを備える。

[0008] 別の例では、非一時的コンピュータ可読記憶媒体は、実行されたとき、音場を表す球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定することと、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定することとを１つまたは複数のプロセッサに行わせる命令を記憶している。

[0009] 別の例では、方法が、複数の物理スピーカーのうちの１つと幾何学的配置で配置された複数の仮想スピーカーのうちの１つとの間の位置の差を決定することと、位置の決定された差に基づいて、および複数の仮想スピーカーを複数の物理スピーカーにマッピングするより前に、幾何学的配置内の複数の仮想スピーカーのうちの１つの位置を調整することとを備える。

[0010] 別の例では、デバイスが、複数の物理スピーカーのうちの１つと幾何学的配置で配置された複数の仮想スピーカーのうちの１つとの間の位置の差を決定することと、位置の決定された差に基づいて、および複数の仮想スピーカーを複数の物理スピーカーにマッピングするより前に、幾何学的配置内の複数の仮想スピーカーのうちの１つの位置を調整することとを行うように構成された１つまたは複数のプロセッサを備える。

[0011] 別の例では、デバイスが、複数の物理スピーカーのうちの１つと幾何学的配置で配置された複数の仮想スピーカーのうちの１つとの間の位置の差を決定するための手段と、位置の決定された差に基づいて、および複数の仮想スピーカーを複数の物理スピーカーにマッピングするより前に、幾何学的配置内の複数の仮想スピーカーのうちの１つの位置を調整するための手段とを備える。

[0012] 別の例では、非一時的コンピュータ可読記憶媒体は、実行されたとき、複数の物理スピーカーのうちの１つと幾何学的配置で配置された複数の仮想スピーカーのうちの１つとの間の位置の差を決定することと、位置の決定された差に基づいて、および複数の仮想スピーカーを複数の物理スピーカーにマッピングするより前に、幾何学的配置内の複数の仮想スピーカーのうちの１つの位置を調整することとを１つまたは複数のプロセッサに行わせる命令を記憶している。

[0013] 本技法の１つまたは複数の態様の詳細が添付の図面および以下の説明に記載されている。これらの技法の他の特徴、目的、および利点は、その説明および図面から、また特許請求の範囲から明らかになろう。

[0014] 様々な次数および副次数の球面調和基底関数を示す図。 様々な次数および副次数の球面調和基底関数を示す図。 [0015] 本開示で説明される技法の様々な態様を実装し得るシステムを示す図。 [0016] 本開示で説明される技法の様々な態様を実装し得るシステムを示す図。 [0017] 本開示で説明される技法の様々な態様を実施する際の、図４の例に示されたレンダラ決定ユニットの例示的な動作を示す流れ図。 [0018] 図４の例に示されたステレオレンダラ生成ユニットの例示的な動作を示す流れ図。 [0019] 図４の例に示された水平レンダラ生成ユニットの例示的な動作を示す流れ図。 [0020] 図４の例に示された３Ｄレンダラ生成ユニットの例示的な動作を示す流れ図。 図４の例に示された３Ｄレンダラ生成ユニットの例示的な動作を示す流れ図。 [0021] 不規則な３Ｄレンダラを決定するときに下半球処理と上半球処理とを実行する際の、図４の例に示された３Ｄレンダラ生成ユニットの例示的な動作を示す流れ図。 [0022] 本開示に記載された技法に従ってどのようにステレオレンダラが生成され得るかを示すユニット空間におけるグラフ２９９を示す図。 [0023] 本開示に記載された技法に従ってどのように不規則な水平レンダラが生成され得るかを示すユニット空間におけるグラフ３０４を示す図。 [0024] 本開示で説明される技法に従ってどのように不規則な３Ｄレンダラが生成され得るかを示すグラフ３０６Ａを示す図。 本開示で説明される技法に従ってどのように不規則な３Ｄレンダラが生成され得るかを示すグラフ３０６Ｂを示す図。 [0025] 本開示で説明される技法の様々な態様に従って形成されるビットストリームを示す図。 本開示で説明される技法の様々な態様に従って形成されるビットストリームを示す図。 本開示で説明される技法の様々な態様に従って形成されるビットストリームを示す図。 本開示で説明される技法の様々な態様に従って形成されるビットストリームを示す図。 [0026] 本開示で説明される技法の様々な態様を実装し得る３Ｄレンダラ決定ユニットを示す図。 本開示で説明される技法の様々な態様を実装し得る３Ｄレンダラ決定ユニットを示す図。 [0027] ２２．２スピーカー幾何学的配置を示す図。 ２２．２スピーカー幾何学的配置を示す図。 [0028] 本開示で説明される技法の様々な態様による、仮想スピーカーのうちの１つまたは複数が投射された水平面によってセグメント化される、仮想スピーカーがその上に配置された仮想球体を示す図。 本開示で説明される技法の様々な態様による、仮想スピーカーのうちの１つまたは複数が投射された水平面によってセグメント化される、仮想スピーカーがその上に配置された仮想球体を示す図。 [0001] 本開示で説明される技法の様々な態様による、要素の階層セットに適用され得るウィンドウ処理関数を示す図。

[0029] サラウンド音の発展は、現今では娯楽のための多くの出力フォーマットを利用可能にしている。そのようなサラウンド音フォーマットの例は、普及している５．１フォーマット（これは、フロントレフト（ＦＬ）と、フロントライト（ＦＲ）と、センターまたはフロントセンターと、バックレフトまたはサラウンドレフトと、バックライトまたはサラウンドライトと、低周波効果（ＬＦＥ：low frequency effect）という、６つのチャネルを含む）、発展中の７．１フォーマット、および来るべき２２．２フォーマット（たとえば、超高精細度テレビジョン規格とともに使用するための）を含む。さらなる例は、球面調和アレイ（spherical harmonic array）のためのフォーマットを含む。

[0030] （２０１３年１月付けの、ジュネーブ、スイスにおいて協定で公開された、「Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｆｏｒ ３Ｄ Ａｕｄｉｏ」と題する、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１３４１１文書に応答して概して開発され得る）将来のＭＰＥＧエンコーダへの入力は、随意に以下の３つの可能なフォーマットのうちの１つである。（ｉ）事前指定された位置にあるラウドスピーカーを通して再生されるように意図された、従来のチャネルベースのオーディオ、（ｉｉ）（情報の中でも）単一オーディオオブジェクトのロケーション座標を含んでいる関連するメタデータ（metadata）とともに単一オーディオオブジェクトのための離散パルスコード変調（ＰＣＭ）データを伴う、オブジェクトベースのオーディオ、および（ｉｉｉ）球面調和基底関数の係数（「球面調和係数（spherical harmonic coefficient）」またはＳＨＣとも呼ばれる）を使用して音場を表すことを伴う、シーンベースのオーディオ。

[0031] 市場には様々な「サラウンド音（surround-sound）」フォーマットがある。それらは、たとえば、５．１ホームシアターシステム（これは、ステレオを超えたリビングルームへの進出に関して最も成功している）から、ＮＨＫ（日本放送協会（Nippon Hoso Kyokai）または日本放送協会（Japan Broadcasting Corporation））によって開発された２２．２システムにまでわたる。コンテンツ作成者（たとえば、ハリウッドスタジオ）は、一度に映画のサウンドトラックを作成することを望み、スピーカー構成ごとにサウンドトラックをリミックス（remix）する労力を費やすことを望まない。最近では、規格化委員会が、規格化されたビットストリームへの符号化と、スピーカーの幾何学的配置およびレンダラの位置における音響条件に適応可能でアグノスティック（agnostic）である後続の復号とを提供するための方法を考察している。

[0032] コンテンツ作成者にそのようなフレキシビリティを提供するために、要素の階層セットが音場を表すために使用され得る。要素の階層セットは、モデル化された音場の完全な表現をより低次の要素の基本セットが提供するように要素が順序付けられる、要素のセットを指し得る。このセットはより高次の要素を含むように拡張されるので、表現はより詳細なものになる。

[0033] 要素の階層セットの一例は、球面調和係数（ＳＨＣ）のセットである。次の式は、ＳＨＣを使用した音場の記述または表現を示す。

この式は、音場の任意の点｛ｒ_r，θ_r，φ_r｝における圧力ｐ_iがＳＨＣ

によって一意に表され得ることを示す。ここで、

であり、ｃは音速（約３４３ｍ／ｓ）であり、｛ｒ_r，θ_r，φ_r｝は基準の点（または観測点）であり、ｊ_n（・）は次数ｎの球ベッセル関数（spherical Bessel function）であり、

は次数ｎと副次数ｍとの球面調和基底関数である。角括弧の中の項は、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、またはウェーブレット変換などの様々な時間周波数変換によって近似され得る、信号の周波数領域の表現（すなわち、Ｓ（ω，ｒ_r，θ_r，φ_r））であることが認識され得る。階層セットの他の例は、ウェーブレット変換係数のセット、および多分解能基底関数（multiresolution basis function）の係数の他のセットを含む。

[0034] 図１は、０次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を示す図である。わかるように、各次数について、図示されてはいるが説明を簡単にするために図２の例では明示的に述べられていない副次数ｍという拡張がある。

[0035] 図２は、０次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を示す別の図である。図２では、球面調和基底関数は、図示された次数と副次数の両方を伴う３次元座標空間において示されている。

[0036] いずれの場合も、ＳＨＣ

は、様々なマイクロフォンアレイ構成によって物理的に取得（たとえば、記録）され得、あるいは代替的に、それらは音場のチャネルベースまたはオブジェクトベースの記述から導出され得る。前者は、エンコーダへのシーンベース（scene-based）のオーディオ入力を表す。たとえば、１＋２⁴個の（２５個の、したがって４次）係数を伴う４次表現が使用され得る。

[0037] これらのＳＨＣがどのようにオブジェクトベースの記述から導出され得るかを例示するために、次の式について考える。個々のオーディオオブジェクトに対応する音場の係数

は、

として表され得、
ただし、ｉは

であり、

は次数ｎの（第２の種類の）球ハンケル関数（spherical Hankel function）であり、｛ｒ_s，θ_s、φ_s｝はオブジェクトのロケーションである。周波数の関数として（たとえば、ＰＣＭストリームに対して高速フーリエ変換を実行するなど、時間周波数分析技法を使用して）ソースエネルギーｇ（ω）を知ることで、各ＰＣＭオブジェクトとそれのロケーションとをＳＨＣ

に変換することが可能になる。さらに、各オブジェクトの

係数は、（上記が線形および直交分解であるので）加法的であることが示され得る。このようにして、多数のＰＣＭオブジェクトが

係数によって（たとえば、個々のオブジェクトについての係数ベクトルの和として）表され得る。本質的に、これらの係数は、音場に関する情報（３Ｄ座標の関数としての圧力）を含んでおり、上記は、観測点｛ｒ_r，θ_r，φ_r｝の近傍における、音場全体の表現への個々のオブジェクトからの変換を表す。残りの図は、オブジェクトベースおよびＳＨＣベースのオーディオコーディングのコンテキストにおいて以下で説明される。

[0038] 図３は、本開示で説明される技法の様々な態様を実行し得るシステム２０を示す図である。図３の例に示されているように、システム２０は、コンテンツ作成者２２とコンテンツ消費者２４とを含む。コンテンツ作成者２２は、コンテンツ消費者２４など、コンテンツ消費者による消費のためにマルチチャネルオーディオコンテンツを生成し得る映画スタジオまたは他のエンティティを表し得る。しばしば、このコンテンツ作成者は、ビデオコンテンツと併せてオーディオコンテンツを生成する。コンテンツ消費者２４は、マルチチャネルオーディオコンテンツを再生することが可能な任意の形態のオーディオ再生システムを指し得るオーディオ再生システム３２を所有するかまたはそれへのアクセスを有する個人を表す。図３の例では、コンテンツ消費者２４はオーディオ再生システム３２を含む。

[0039] コンテンツ作成者２２は、オーディオレンダラ２８とオーディオ編集システム３０とを含む。オーディオレンダラ２６は、スピーカーフィード（「ラウドスピーカーフィード（loudspeaker feed）」、「スピーカー信号（speaker signal）」、または「ラウドスピーカー信号（loudspeaker signal）」とも呼ばれることがある）をレンダリングするかまたはさもなければ生成するオーディオ処理ユニットを表し得る。各スピーカーフィードは、マルチチャネルオーディオシステムの特定のチャネルのための音を再現するスピーカーフィードに対応し得る。図３の例では、レンダラ３８は、５．１、７．１または２２．２サラウンド音スピーカーシステム中の５つ、７つまたは２２個のスピーカーの各々のためのスピーカーフィードを生成する、従来の５．１、７．１または２２．２サラウンド音フォーマットのためのスピーカーフィードをレンダリングし得る。代替的に、レンダラ２８は、上記で論じられたソース球面調和係数（source spherical harmonic coefficient）の特性を鑑みて、任意の数のスピーカーを有する任意のスピーカー構成のためにソース球面調和係数からスピーカーフィードをレンダリングするように構成され得る。レンダラ２８は、このようにして、図３ではスピーカーフィード２９として示されている、いくつかのスピーカーフィードを生成し得る。

[0040] コンテンツ作成者は、編集プロセス中に、球面調和係数２７（「ＳＨＣ２７」）をレンダリングして、高忠実度を有しないかまたは納得のいくサラウンド音エクスペリエンスを提供しない音場の態様を識別しようとする試みにおいて、レンダリングされたスピーカーフィードを聴取し得る。コンテンツ作成者２２は、次いで、（しばしば、上記で説明された様式でソース球面調和係数がそれから導出され得る様々なオブジェクトの操作を通して間接的に）ソース球面調和係数を編集し得る。コンテンツ作成者２２は、球面調和係数２７を編集するためにオーディオ編集システム３０を使用し得る。オーディオ編集システム３０は、オーディオデータを編集し、このオーディオデータを１つまたは複数のソース球面調和係数として出力することが可能な任意のシステムを表す。

[0041] 編集プロセスが完了すると、コンテンツ作成者２２は、球面調和係数２７に基づいてビットストリーム３１を生成し得る。すなわち、コンテンツ作成者２２は、ビットストリーム３１を生成することが可能な任意のデバイスを表し得る、ビットストリーム生成デバイス３６を含む。いくつかの事例では、ビットストリーム生成デバイス３６は、球面調和係数２７を（一例として、エントロピー符号化によって）バンド幅圧縮し、容認されるフォーマットで球面調和係数２７のバンド幅圧縮バージョンを構成してビットストリーム３１を形成するエンコーダを表し得る。他の事例では、ビットストリーム生成デバイス３６は、マルチチャネルオーディオコンテンツまたはそれの派生（derivative）を圧縮するために、一例として、従来のオーディオサラウンド音符号化プロセスのものと同様のプロセスを使用してマルチチャネルオーディオコンテンツ２９を符号化するオーディオエンコーダ（場合によっては、ＭＰＥＧサラウンドまたはそれの派生など、知られているオーディオコーディング規格に準拠するオーディオエンコーダ）を表し得る。圧縮されたマルチチャネルオーディオコンテンツ２９は、次いで、コンテンツ２９をバンド幅圧縮するためにエントロピー符号化されるかまたは何らかの他の方法でコーディングされ、合意されたフォーマットに従って構成されて、ビットストリーム３１が形成され得る。直接圧縮されてビットストリーム３１が形成されるか、またはレンダリングされ、次いで圧縮されてビットストリーム３１が形成されるかにかかわらず、コンテンツ作成者２２は、ビットストリーム３１をコンテンツ消費者２４に送信し得る。

[0042] 図３ではコンテンツ消費者２４に直接送信されるものとして示されているが、コンテンツ作成者２２は、コンテンツ作成者２２とコンテンツ消費者２４との間に配置された中間デバイスにビットストリーム３１を出力し得る。この中間デバイスは、このビットストリームを要求し得るコンテンツ消費者２４に後で配信するためにビットストリーム３１を記憶し得る。中間デバイスは、ファイルサーバ、ウェブサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルフォン、スマートフォン、またはオーディオデコーダによる後での取出しのためにビットストリーム３１を記憶することが可能な任意の他のデバイスを備え得る。代替的に、コンテンツ作成者２２は、コンパクトディスク、デジタルビデオディスク、高精細度ビデオディスクまたは他の記憶媒体などの記憶媒体にビットストリーム３１を記憶し得、それらの大部分は、コンピュータによって読み取られることが可能であり、したがって、コンピュータ可読記憶媒体と呼ばれることがある。このコンテキストでは、送信チャネルは、これらの媒体に記憶されたコンテンツが送信されるチャネルを指し得る（ならびに、小売店および他の店舗ベースの配信機構を含み得る）。いずれの場合も、本開示の技法は、したがって、この点において図３の例に限定されるべきではない。

[0043] 図３の例にさらに示されているように、コンテンツ消費者２４はオーディオ再生システム３２を含む。オーディオ再生システム３２は、マルチチャネルオーディオデータを再生することが可能な任意のオーディオ再生システムを表し得る。オーディオ再生システム３２はいくつかの異なるレンダラを含み得る。オーディオ再生システム３２はまた、複数のオーディオレンダラの中からオーディオレンダラ３４を決定するかまたはさもなければ選択するように構成されたユニットを表し得るレンダラ決定ユニット４０を含み得る。いくつかの事例では、レンダラ決定ユニット４０は、いくつかのあらかじめ定義されたレンダラからレンダラ３４を選択し得る。他の事例では、レンダラ決定ユニット４０は、ローカルスピーカー幾何学的配置情報４１に基づいてオーディオレンダラ３４を動的に決定し得る。ローカルスピーカー幾何学的配置情報４１は、オーディオ再生システム３２、聴取者、あるいは任意の他の識別可能な領域またはロケーションに対する、オーディオ再生システム３２に結合された各スピーカーのロケーションを指定し得る。しばしば、聴取者は、ローカルスピーカー幾何学的配置情報４１を入力するためにグラフィカルユーザインターフェース（ＧＵＩ）または他の形態のインターフェースを介してオーディオ再生システム３２とインターフェースし得る。いくつかの事例では、オーディオ再生システム３２は、しばしば、いくつかのトーンを発することと、オーディオ再生システム３２に結合されたマイクロフォンを介してそれらのトーンを測定することとによって自動的に（この例では、いかなる聴取者の介入も必要とせずに、を意味する）ローカルスピーカー幾何学的配置情報４１を決定し得る。

[0044] オーディオ再生システム３２はさらに、抽出デバイス３８を含み得る。抽出デバイス３８は、ビットストリーム生成デバイス３６のプロセスとは概して逆であり得るプロセスを通して球面調和係数２７’（「ＳＨＣ２７’」、これは球面調和係数２７の修正形態または複製を表し得る）を抽出することが可能な任意のデバイスを表し得る。オーディオ再生システム３２は、球面調和係数２７’を受信し、ＳＨＣ２７’と、指定されたかまたは利用可能な場合はオーディオレンダリング情報（audio rendering information）３９とを抽出するために抽出デバイス３８を呼び出し得る。

[0045] いずれの場合も、上記のレンダラ３４の各々は、異なる形態のレンダリングを提供し得、ここで、異なる形態のレンダリングは、ベクトルベース振幅パンニング（ＶＢＡＰ：vector-base amplitude panning）を実行する様々な方法のうちの１つまたは複数、距離ベースの振幅パンニング（ＤＢＡＰ：distance based amplitude panning）を実行する様々な方法のうちの１つまたは複数、単純なパンニングを実行する様々な方法のうちの１つまたは複数、ニアフィールド補償（ＮＦＣ：near field compensation）フィルタ処理を実行する様々な方法のうちの１つまたは複数および／または波動場合成（wave field synthesis）を実行する様々な方法のうちの１つまたは複数を含み得る。選択されたレンダラ３４は、次いで、球面調和係数２７’をレンダリングして、（説明を簡単にするために図３の例には示されていない、オーディオ再生システム３２に電気的にまたは場合によってはワイヤレスに結合されたラウドスピーカーの数に対応する）いくつかのスピーカーフィード３５を生成し得る。

[0046] 典型的には、オーディオ再生システム３２は、複数のオーディオレンダラのうちのいずれかの１つを選択し得、（いくつかの例を挙げると、ＤＶＤプレーヤ、Ｂｌｕ−ｒａｙ（登録商標）プレーヤ、スマートフォン、タブレットコンピュータ、ゲーミングシステム、およびテレビジョンなどの）ビットストリーム３１が受信されたソースに応じてオーディオレンダラのうちの１つまたは複数を選択するように構成され得る。オーディオレンダラのうちのどの１つでも選択され得るが、しばしば、コンテンツを作成するときに使用されたオーディオレンダラは、コンテンツがオーディオレンダラのうちのこの１つ、すなわち、図３の例ではオーディオレンダラ２８を使用してコンテンツ作成者２２によって作成されたということに起因して、より良い（および場合によっては最良の）形態のレンダリングを提供する。ローカルスピーカー幾何学的配置のレンダリング形態と同じであるかまたは少なくともそれに近いレンダリング形態を有するオーディオレンダラ３４のうちの１つを選択することにより、コンテンツ消費者２４にとってより良いサラウンド音エクスペリエンスをもたらし得る音場のより良い表現が提供され得る。

[0047] ビットストリーム生成デバイスは、オーディオレンダリング情報（audio rendering information）３９（「オーディオレンダリング情報（audio rendering info）３９」）を含むようにビットストリーム３１を生成し得る。オーディオレンダリング情報３９は、マルチチャネルオーディオコンテンツを生成するときに使用されたオーディオレンダラ、すなわち、図４の例ではオーディオレンダラ２８を識別する信号値を含み得る。いくつかの事例では、信号値は、複数のスピーカーフィードへの球面調和係数をレンダリングするために使用される行列を含む。

[0048] いくつかの事例では、信号値は、ビットストリームが複数のスピーカーフィードへの球面調和係数をレンダリングするために使用される行列を含むことを示すインデックスを定義する２つ以上のビットを含む。いくつかの事例では、インデックスが使用されるとき、信号値は、ビットストリーム中に含まれる行列の行の数を定義する２つ以上のビットと、ビットストリーム中に含まれる行列の列の数を定義する２つ以上のビットとをさらに含む。この情報を使用して、および２次元行列の各係数は典型的には３２ビット浮動小数点数によって定義されることを鑑みて、行列のビットで表されるサイズは、行列の各係数を定義している、行の数と、列の数と、浮動小数点数のサイズ、すなわち、この例では３２ビットとの関数として計算され得る。

[0049] いくつかの事例では、信号値は、複数のスピーカーフィードへの球面調和係数をレンダリングするために使用されるレンダリングアルゴリズムを指定する。レンダリングアルゴリズムは、ビットストリーム生成デバイス３６と抽出デバイス３８の両方に知られている行列を含み得る。すなわち、レンダリングアルゴリズムは、パンニング（たとえば、ＶＢＡＰ、ＤＢＡＰまたは単純なパンニング）あるいはＮＦＣフィルタ処理など、他のレンダリングステップに加えて行列の適用を含み得る。いくつかの事例では、信号値は、複数のスピーカーフィードへの球面調和係数をレンダリングするために使用される複数の行列のうちの１つに関連付けられたインデックスを定義する２つ以上のビットを含む。この場合も、ビットストリーム生成デバイス３６と抽出デバイス３８の両方は、インデックスが複数の行列のうちの特定の１つを一意に識別し得るように、複数の行列と複数の行列の次数とを示す情報で構成され得る。代替的に、ビットストリーム生成デバイス３６は、インデックスが複数の行列のうちの特定の１つを一意に識別し得るように、複数の行列および／または複数の行列の次数を定義するビットストリーム３１中のデータを指定し得る。

[0050] いくつかの事例では、信号値は、複数のスピーカーフィードへの球面調和係数をレンダリングするために使用される複数のレンダリングアルゴリズムのうちの１つに関連付けられたインデックスを定義する２つ以上のビットを含む。この場合も、ビットストリーム生成デバイス３６と抽出デバイス３８の両方は、インデックスが複数の行列のうちの特定の１つを一意に識別し得るように、複数のレンダリングアルゴリズムと複数のレンダリングアルゴリズムの次数とを示す情報で構成され得る。代替的に、ビットストリーム生成デバイス３６は、インデックスが複数の行列のうちの特定の１つを一意に識別し得るように、複数の行列および／または複数の行列の次数を定義するビットストリーム３１中のデータを指定し得る。

[0051] いくつかの事例では、ビットストリーム生成デバイス３６は、ビットストリーム中のオーディオフレームごとにオーディオレンダリング情報３９を指定する。他の事例では、ビットストリーム生成デバイス３６は、ビットストリーム中でオーディオレンダリング情報３９を１回指定する。

[0052] 抽出デバイス３８は、次いで、ビットストリーム中で指定されたオーディオレンダリング情報３９を決定し得る。オーディオレンダリング情報３９中に含まれる信号値に基づいて、オーディオ再生システム３２は、オーディオレンダリング情報３９に基づく複数のスピーカーフィード３５をレンダリングし得る。上述されたように、信号値は、いくつかの事例では、複数のスピーカーフィードへの球面調和係数をレンダリングするために使用される行列を含み得る。この場合、オーディオ再生システム３２は、その行列に基づいてスピーカーフィード３５をレンダリングするためにオーディオレンダラ３４のうちの１つを使用して、その行列でオーディオレンダラ３４のうちのこの１つを構成し得る。

[0053] いくつかの事例では、信号値は、ビットストリームがスピーカーフィード３５への球面調和係数２７’をレンダリングするために使用される行列を含むことを示すインデックスを定義する２つ以上のビットを含む。抽出デバイス３８は、インデックスに応答して、ビットストリームからの行列をパースし得、その後、オーディオ再生システム３２は、パースされた行列でオーディオレンダラ３４のうちの１つを構成し、スピーカーフィード３５をレンダリングするためにレンダラ３４のうちのこの１つを呼び出し得る。信号値が、ビットストリーム中に含まれる行列の行の数を定義する２つ以上のビットと、ビットストリーム中に含まれる行列の列の数を定義する２つ以上のビットとを含むとき、抽出デバイス３８は、インデックスに応答して、および上記で説明された様式で行の数を定義する２つ以上のビットと列の数を定義する２つ以上のビットとに基づいて、ビットストリームからの行列をパースし得る。

[0054] いくつかの事例では、信号値は、スピーカーフィード３５への球面調和係数２７’をレンダリングするために使用されるレンダリングアルゴリズムを指定する。これらの事例では、オーディオレンダラ３４の一部または全部がこれらのレンダリングアルゴリズムを実行し得る。オーディオ再生デバイス３２は、次いで、球面調和係数２７’からスピーカーフィード３５をレンダリングするために、指定されたレンダリングアルゴリズム、たとえば、オーディオレンダラ３４のうちの１つを利用し得る。

[0055] 信号値が、スピーカーフィード３５への球面調和係数２７’をレンダリングするために使用される複数の行列のうちの１つに関連付けられたインデックスを定義する２つ以上のビットを含むとき、オーディオレンダラ３４の一部または全部はこの複数の行列を表し得る。したがって、オーディオ再生システム３２は、インデックスに関連付けられたオーディオレンダラ３４のうちの１つを使用して球面調和係数２７’からスピーカーフィード３５をレンダリングし得る。

[0056] 信号値が、スピーカーフィード３５への球面調和係数２７’をレンダリングするために使用される複数のレンダリングアルゴリズムのうちの１つに関連付けられたインデックスを定義する２つ以上のビットを含むとき、オーディオレンダラ３４の一部または全部はこれらのレンダリングアルゴリズムを表し得る。したがって、オーディオ再生システム３２は、インデックスに関連付けられたオーディオレンダラ３４のうちの１つを使用して球面調和係数２７’からスピーカーフィード３５をレンダリングし得る。

[0057] このオーディオレンダリング情報がビットストリーム中で指定される頻度に応じて、抽出デバイス３８は、オーディオレンダリング情報３９をオーディオフレームごとにまたは１回決定し得る。

[0058] このようにしてオーディオレンダリング情報３９を指定することによって、本技法は、潜在的に、マルチチャネルオーディオコンテンツ３５が再現されるようにコンテンツ作成者２２が意図した様式に従って、マルチチャネルオーディオコンテンツ３５のより良い再現を生じ得る。その結果、本技法は、より没入できるサラウンド音またはマルチチャネルオーディオエクスペリエンスを提供し得る。

[0059] ビットストリーム中でシグナリングされる（かまたはさもなければ指定される）ものとして説明されたが、オーディオレンダリング情報３９は、ビットストリームとは別個のメタデータとして、または言い換えれば、ビットストリームとは別個のサイド情報として指定され得る。ビットストリーム生成デバイス３６は、本開示で説明される技法をサポートしない抽出デバイスとのビットストリーム互換性を維持するために（およびそれによってそれらの抽出デバイスによる成功したパースを可能にするために）、ビットストリーム３１とは別個にこのオーディオレンダリング情報３９を生成し得る。したがって、ビットストリーム中で指定されるものとして説明されたが、本技法は、ビットストリーム３１とは別個にオーディオレンダリング情報３９を指定するための他の方法を可能にし得る。

[0060] その上、ビットストリーム３１中であるいはビットストリーム３１とは別個のメタデータまたはサイド情報中でシグナリングされるかまたはさもなければ指定されるものとして説明されたが、本技法は、ビットストリーム生成デバイス３６が、ビットストリーム３１中でオーディオレンダリング情報３９の一部分を指定し、ビットストリーム３１とは別個のメタデータとしてオーディオレンダリング情報３９の一部分を指定することを可能にし得る。たとえば、ビットストリーム生成デバイス３６は、ビットストリーム３１で行列を識別するインデックスを指定し得、ここで、識別される行列を含む複数の行列を指定するテーブルは、ビットストリームとは別個のメタデータとして指定され得る。オーディオ再生システム３２は、次いで、インデックスの形態でビットストリーム３１から、およびビットストリーム３１とは別個に指定されたメタデータからオーディオレンダリング情報３９を決定し得る。オーディオ再生システム３２は、いくつかの事例では、（オーディオ再生システム３２の製造業者または規格化団体によってたいがいホストされる）事前構成されたかまたは構成されたサーバからテーブルおよび任意の他のメタデータをダウンロードするかまたはさもなければ取り出すように構成され得る。

[0061] しかしながら、よくあることだが、コンテンツ消費者２４は、（典型的にはサラウンド音オーディオフォーマット団体によって）指定された幾何学的配置に従ってスピーカーを適切に構成しない。しばしば、コンテンツ消費者２４は、固定された高さに、および聴取者に対して正確に指定されたロケーションにスピーカーを置かない。コンテンツ消費者２４は、これらのロケーションにスピーカーを置くことが不可能であるか、または、好適なサラウンド音エクスペリエンスを達成するためにスピーカーをそこに置くべき指定されたロケーションがあることにさえ気づいていないことがある。ＳＨＣを使用することは、ＳＨＣが２次元または３次元で音場を表すことを鑑みて、スピーカーのよりフレキシブルな配置を可能にし、これは、ＳＨＣから、たいていの任意のスピーカー幾何学的配置で構成されたスピーカーによって、音場の容認できる（または、非ＳＨＣオーディオシステムのそれと比較して、少なくともより良いサウンディング）再現が提供され得ることを意味する。

[0062] たいていの任意のローカルスピーカー幾何学的配置へのＳＨＣのレンダリングを可能にするために、本開示で説明される技法は、レンダラ決定ユニット４０が、上記で説明された様式でオーディオレンダリング情報３９を使用して標準のレンダラを選択することだけでなく、ローカルスピーカー幾何学的配置情報４１に基づいてレンダラを動的に生成することをも可能にし得る。図４〜図１２Ｃに関してより詳細に説明されるように、本技法は、ローカルスピーカー幾何学的配置情報４１によって指定された特定のローカルスピーカー幾何学的配置に適合されたレンダラ３４を生成するための少なくとも４つの例示的な方法を提供し得る。これらの３つの方法は、モノレンダラ３４と、ステレオレンダラ３４と、水平マルチチャネルレンダラ３４（ここで、たとえば、「水平マルチチャネル（horizontal multi-channel）」は、３つ以上のスピーカーを有し、それらのスピーカーのすべてが概して同じ水平面上にあるかまたはその近くにある、マルチチャネルスピーカー構成を指す）と、３次元（３Ｄ）レンダラ３４（ここで、３次元レンダラは、スピーカーの複数の水平面のためにレンダリングし得る）とを生成するための方法を含み得る。

[0063] 動作中、オーディオ決定ユニット４０は、オーディオレンダリング情報３９またはローカルスピーカー幾何学的配置情報４１に基づいてレンダラ３４を選択し得る。しばしば、コンテンツ消費者２４は、レンダラ決定ユニット４０が、オーディオレンダリング情報３９に基づいて（これはすべてのビットストリーム中で存在するとは限らないので、存在するとき）レンダラ３４を選択し、および存在しないとき、ローカルスピーカー幾何学的配置情報４１に基づいてレンダラ３４を決定する（またはあらかじめ決定されている場合は選択する）という選好を指定し得る。いくつかの事例では、コンテンツ消費者２４は、レンダラ決定ユニット４０が、レンダラ３４の選択中にオーディオレンダリング情報３９を考慮することさえせずに、ローカルスピーカー幾何学的配置情報４１に基づいてレンダラ３４を決定する（またはあらかじめ決定されて場合は選択する）という選好を指定し得る。ただ２つの代替形態が提供されたが、レンダラ決定ユニット４０がどのようにオーディオレンダリング情報３９および／またはローカルスピーカー幾何学的配置４１に基づいてレンダラ３４を選択するかについて任意の数の選好が指定され得る。したがって、本技法は、この点において上記で論じられた２つの例示的な代替形態に限定されるべきではない。

[0064] いずれの場合も、レンダラ決定ユニット４０がローカルスピーカー幾何学的配置情報４１に基づいてレンダラ３４を決定すべきであると仮定すると、レンダラ決定ユニット４０は、最初に、ローカルスピーカー幾何学的配置を、上記で手短に述べられた４つのカテゴリーのうちの１つにカテゴリー分類し得る。すなわち、レンダラ決定ユニット４０は、最初に、ローカルスピーカー幾何学的配置情報４１がモノスピーカー幾何学的配置、ステレオスピーカー幾何学的配置、同じ水平面上に３つ以上のスピーカーを有する水平マルチチャネルスピーカー幾何学的配置、または、３つ以上のスピーカーを有し、そのうちの２つが（しばしば何らかのしきい値高さによって分離された）異なる水平面上にある３次元マルチチャネルスピーカー幾何学的配置に概して準拠することをローカルスピーカー幾何学的配置情報４１が示すかどうかを決定し得る。このローカルスピーカー幾何学的配置情報４１に基づいてローカルスピーカー幾何学的配置をカテゴリー分類すると、レンダラ決定ユニット４０は、モノレンダラと、ステレオレンダラと、水平マルチチャネルレンダラと、３次元マルチチャネルレンダラとのうちの１つを生成し得る。レンダラ決定ユニット４０は、次いで、オーディオ再生システム３２による使用のためにこのレンダラ３４を提供し得、その後、オーディオ再生システム３２は、マルチチャネルオーディオデータ３５を生成するために上記で説明された様式でＳＨＣ２７’をレンダリングし得る。

[0065] このようにして、本技法は、オーディオ再生システム３２が、音場を表す球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定することと、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定することとを可能にし得る。

[0066] いくつかの例では、オーディオ再生システム３２は、マルチチャネルオーディオデータを生成するために、決定されたレンダラを使用して球面調和係数をレンダリングし得る。

[0067] いくつかの例では、オーディオ再生システム３２は、ローカルスピーカー幾何学的配置に基づいてレンダラを決定するとき、ローカルスピーカー幾何学的配置がステレオスピーカー幾何学的配置に合致（conform）するときにステレオレンダラを決定し得る。

[0068] いくつかの例では、オーディオ再生システム３２は、ローカルスピーカー幾何学的配置に基づいてレンダラを決定するとき、ローカルスピーカー幾何学的配置が、３つ以上のスピーカーを有する水平マルチチャネルスピーカー幾何学的配置に合致するときに水平マルチチャネルレンダラを決定し得る。

[0069] いくつかの例では、オーディオ再生システム３２は、ローカルスピーカー幾何学的配置に基づいてレンダラを決定するとき、ローカルスピーカー幾何学的配置が、２つ以上の水平面上に３つ以上のスピーカーを有する３次元マルチチャネルスピーカー幾何学的配置を合致するときに３次元マルチチャネルレンダラを決定し得る。

[0070] いくつかの例では、オーディオ再生システム３２は、１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するとき、ローカルスピーカー幾何学的配置を記述するローカルスピーカー幾何学的配置情報を指定する入力を聴取者から受信し得る。

[0071] いくつかの例では、オーディオ再生システム３２は、１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するとき、ローカルスピーカー幾何学的配置を記述するローカルスピーカー幾何学的配置情報を指定する入力を、グラフィカルユーザインターフェースを介して聴取者から受信し得る。

[0072] いくつかの例では、オーディオ再生システム３２は、１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するとき、ローカルスピーカー幾何学的配置を記述するローカルスピーカー幾何学的配置情報を自動的に決定し得る。

[0073] 以下は、上記の技法を集約するための１つの方法である。概して、ＳＨＣ２７などの高次アンビソニックス信号は、球面調和基底関数を使用する３次元音場の表現であり、ここで、球面調和基底関数のうちの少なくとも１つは、１よりも大きい次数を有する球面基底関数に関連付けられる。この表現は、エンドユーザスピーカー幾何学的配置に依存しないので理想的な音フォーマットを提供し得、その結果、この表現は、符号化側の事前知識なしに、コンテンツ消費者において任意の幾何学的配置にレンダリングされ得る。次いで、最終スピーカー信号が、その特定のスピーカーの方向を向く極パターンを概して表す球面調和係数の線形結合によって導出され得る。５．０／５．１などの共通スピーカーレイアウトのための特定のＨＯＡレンダラを設計することについて、また、不規則な２Ｄおよび３Ｄスピーカー幾何学的配置のために（通常「オンザフライで（on the fly）」と呼ばれる）リアルタイムまたはほぼリアルタイムでレンダラを生成することについて）調査が行われた。規則的な（ｔ設計（t-design））スピーカー幾何学的配置の「ゴールデン（golden）」ケースは、擬逆元（pseudo-inverse）ベースのレンダリング行列を使用することによってよく知られていることがある。来るべきＭＰＥＧ−Ｈ規格の場合、任意のスピーカー幾何学的配置を取り、当該のスピーカー幾何学的配置にとって最良のレンダリング行列を作り出すための正しい方法を使用することができるシステムが必要とされ得る。

[0074] 本開示で説明される技法の様々な態様は、ＨＯＡまたはＳＨＣレンダラ生成システム／アルゴリズムを提供する。このシステムは、モノ、ステレオ、水平、３次元など、どんなタイプのスピーカー幾何学的配置が使用中であるか、または知られている幾何学的配置／レンダラ行列としてフラグを付けられているかを検出する。

[0075] 図４は、図３のレンダラ決定ユニット４０をより詳細に示すブロック図である。図４の例に示されているように、レンダラ決定ユニット４０は、レンダラ選択ユニット４２と、レイアウト決定ユニット４４と、レンダラ生成ユニット４６とを含み得る。レンダラ選択ユニット４２は、レンダリング情報３９に基づいてあらかじめ定義されたものを選択するか、またはレンダリング情報３９において指定されたレンダリングを選択し、この選択または指定されたレンダラをレンダラ３４として出力するように構成されたユニットを表し得る。

[0076] レイアウト決定ユニット４４は、ローカルスピーカー幾何学的配置情報４１に基づいてローカルスピーカー幾何学的配置をカテゴリー分類するように構成されたユニットを表し得る。レイアウト決定ユニット４４は、ローカルスピーカー幾何学的配置を、１）モノスピーカー幾何学的配置、２）ステレオスピーカー幾何学的配置、３）水平マルチチャネルスピーカー幾何学的配置、および４）３次元マルチチャネルスピーカー幾何学的配置という、上記で説明された３つのカテゴリーのうちの１つにカテゴリー分類し得る。レイアウト決定ユニット４４は、ローカルスピーカー幾何学的配置が３つのカテゴリーのうちのどれに最も合致するかを示すカテゴリー分類情報４５をレンダラ生成ユニット４６に受け渡し得る。

[0077] レンダラ生成ユニット４６は、カテゴリー分類情報４５とローカルスピーカー幾何学的配置情報４１とに基づいてレンダラ３４を生成するように構成されたユニットを表し得る。レンダラ生成ユニット４６は、モノレンダラ生成ユニット４８Ｄと、ステレオレンダラ生成ユニット４８Ａと、水平レンダラ生成ユニット４８Ｂと、３次元（３Ｄ）レンダラ生成ユニット４８Ｃとを含み得る。モノレンダラ生成ユニット４８Ａは、ローカルスピーカー幾何学的配置情報４１に基づいてモノレンダラを生成するように構成されたユニットを表し得る。ステレオレンダラ生成ユニット４８Ａは、ローカルスピーカー幾何学的配置情報４１に基づいてステレオレンダラを生成するように構成されたユニットを表し得る。ステレオレンダラ生成ユニット４８Ａによって採用されるプロセスについては、図６の例に関して以下でより詳細に説明される。水平レンダラ生成ユニット４８Ｂは、ローカルスピーカー幾何学的配置情報４１に基づいて水平マルチチャネルレンダラを生成するように構成されたユニットを表し得る。水平レンダラ生成ユニット４８Ｂによって採用されるプロセスについては、図７の例に関して以下でより詳細に説明される。３Ｄレンダラ生成ユニット４８Ｃは、ローカルスピーカー幾何学的配置情報４１に基づいて３Ｄマルチチャネルレンダラを生成するように構成されたユニットを表し得る。水平レンダラ生成ユニット４８Ｂによって採用されるプロセスについては、図８および図９の例に関して以下でより詳細に説明される。

[0078] 図５は、本開示で説明される技法の様々な態様を実行する際の、図４の例に示されたレンダラ決定ユニット４０の例示的な動作を示す流れ図である。図５の流れ図は、概して、いくつかの軽微な表記法の変更を除いて、図４に関して上記で説明されたレンダラ決定ユニット４０によって実行される動作を略述している。図５の例では、レンダラフラグは、オーディオレンダリング情報３９の特定の例を指す。「ＳＨＣ次数（SHC order）」はＳＨＣの最大次数を指す。「ステレオレンダラ（stereo renderer）」はステレオレンダラ生成ユニット４８Ａを指し得る。「水平レンダラ（horizontal renderer）」は水平レンダラ生成ユニット４８Ｂを指し得る。「３Ｄレンダラ」は３Ｄレンダラ生成ユニット４８Ｃを指し得る。「レンダラ行列（Renderer Matrix）」はレンダラ選択ユニット４２を指し得る。

[0079] 図５の例に示されているように、レンダラ選択ユニット４２は、レンダリングフラグ３９’として示され得るレンダリングフラグが、ビットストリーム３１（またはビットストリーム３１に関連付けられた他のサイドチャネル情報）中に存在するかどうかを受信し、決定し得る（６０）。レンダラフラグ３９’がビットストリーム３１中に存在するとき（「ＹＥＳ」６０）、レンダラ選択ユニット４２は、レンダラフラグ３９’に基づいて潜在的な複数のレンダラからレンダラを選択し、選択されたレンダラをレンダラ３４として出力し得る（６２、６４）。

[0080] レンダラフラグ３９’がビットストリーム中に存在しないとき（「ＮＯ」６０）、レンダラ選択ユニット４２はレンダラ決定ユニット４０を呼び出し得、レンダラ決定ユニット４０はローカルスピーカー幾何学的配置情報４１を決定し得る。ローカルスピーカー幾何学的配置情報４１に基づいて、レンダラ決定ユニット４０は、モノレンダラ決定ユニット４８Ｄ、スピーカーレンダラ決定ユニット４８Ａ、水平レンダラ決定ユニット４８Ｂまたは３Ｄレンダラ決定ユニット４８Ｃのうちの１つを呼び出し得る。

[0081] ローカルスピーカー幾何学的配置情報４１がモノローカルスピーカー幾何学的配置を示すとき、レンダリング決定ユニット４０はモノレンダラ決定ユニット４８Ｄを呼び出し得、モノレンダラ決定ユニット４８Ｄは、（ＳＨＣ次数に潜在的に基づいて）モノレンダリングを決定し、モノレンダラをレンダラ３４として出力し得る（６６、６４）。ローカルスピーカー幾何学的配置情報４１がステレオローカルスピーカー幾何学的配置を示すとき、レンダリング決定ユニット４０はステレオレンダラ決定ユニット４８Ａを呼び出し得、ステレオレンダラ決定ユニット４８Ａは、（ＳＨＣ次数に潜在的に基づいて）ステレオレンダリングを決定し、ステレオレンダラをレンダラ３４として出力し得る（６８、６４）。ローカルスピーカー幾何学的配置情報４１が水平ローカルスピーカー幾何学的配置を示すとき、レンダリング決定ユニット４０は水平レンダラ決定ユニット４８Ｂを呼び出し得、水平レンダラ決定ユニット４８Ｂは、（ＳＨＣ次数に潜在的に基づいて）水平レンダリングを決定し、水平レンダラをレンダラ３４として出力し得る（７０、６４）。ローカルスピーカー幾何学的配置情報４１がステレオローカルスピーカー幾何学的配置を示すとき、レンダリング決定ユニット４０は３Ｄレンダラ決定ユニット４８Ｃを呼び出し得、３Ｄレンダラ決定ユニット４８Ｃは、（ＳＨＣ次数に潜在的に基づいて）３Ｄレンダリングを決定し、３Ｄレンダラをレンダラ３４として出力し得る（７２、６４）。

[0082] このようにして、本技法は、レンダラ決定ユニット４０が、音場を表す球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定することと、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定することとを可能にし得る。

[0083] 図６は、図４の例に示されたステレオレンダラ生成ユニット４８Ａの例示的な動作を示す流れ図である。図６の例では、ステレオレンダラ生成ユニット４８Ａは、ローカルスピーカー幾何学的配置情報４１を受信し（１００）、次いで、所与のスピーカー幾何学的配置のための「スイートスポット（sweet spot）」と見なされ得るものにおける聴取者位置に対してスピーカー間の角距離を決定し得る（１０２）。ステレオレンダラ生成ユニット４８Ａは、次いで、球面調和係数のＨＯＡ／ＳＨＣ次数によって限定される、最高許容次数を計算し得る（１０４）。ステレオレンダラ生成ユニット４８Ａは、次に、決定された許容次数に基づいて等しい離間したアジマス（azimuth）を生成し得る（１０６）。

[0084] ステレオレンダラ生成ユニット４８Ａは、次いで、２次元（２Ｄ）レンダラを形成する仮想または現実のスピーカーのロケーションにおいて球面基底関数をサンプリングし得る。ステレオレンダラ生成ユニット４８Ａは、次いで、この２Ｄレンダラの（行列数学のコンテキストで理解される）擬逆元（pseudo-inverse）を実行し得る（１０８）。数学的に、この２Ｄレンダラは以下の行列によって表され得る。

この行列のサイズはＶ行×（ｎ＋１）²であり得、ただし、Ｖは仮想スピーカーの数を示し、ｎはＳＨＣ次数を示す。

は次数ｎの（第二種の）球ハンケル関数である。

は次数ｎと副次数ｍとの球面調和基底関数である。｛θ_r，φ_r｝は球面座標に関する基準点（または観測点）である。

[0085] ステレオレンダラ生成ユニット４８Ａは、次いで、アジマスを右位置と左位置とに回転させて２つの異なる２Ｄレンダラを生成し（１１０、１１２）、次いで、それらを２Ｄレンダラ行列に合成し得る（１１４）。ステレオレンダラ生成ユニット４８Ａは、次いで、この２Ｄレンダラ行列を３Ｄレンダラ行列に変換し（１１６）、（図６の例では次数’として示された）許容次数と次数ｎとの間の差をゼロパディングし得る（１２０）。ステレオレンダラ生成ユニット４８Ａは、次いで、３Ｄレンダラ行列に関してエネルギー保存を実行し（１２２）、この３Ｄレンダラ行列を出力し得る（１２４）。

[0086] このようにして、本技法は、ステレオレンダラ生成ユニット４８Ａが、ＳＨＣ次数、および左スピーカー位置と右スピーカー位置との間の角距離に基づいてステレオレンダリング行列を生成することを可能にし得る。ステレオレンダラ生成ユニット４８Ａは、次いで、左スピーカー位置と、次いで右スピーカー位置とに一致するようにレンダリング行列のフロント位置を回転させ、次いで、これらの左行列と右行列とを合成して最終レンダリング行列を形成し得る。

[0087] 図７は、図４の例に示された水平レンダラ生成ユニット４８Ｂの例示的な動作を示す流れ図である。図７の例では、水平レンダラ生成ユニット４８Ｂは、ローカルスピーカー幾何学的配置情報４１を受信し（１３０）、次いで、所与のスピーカー幾何学的配置のための「スイートスポット」と見なされ得るものにおける聴取者位置に対してスピーカー間の角距離を見つけ得る（１３２）。水平レンダラ生成ユニット４８Ｂは、次いで、最小角距離と最大角距離とを計算し、最小角距離を最大角距離と比較し得る（１３４）。最小角距離が等しい（かまたは何らかの角度しきい値内でほぼ等しい）とき、水平レンダラ生成ユニット４８Ｂは、ローカルスピーカー幾何学的配置が規則的であると決定する。最小角距離が最大角距離に等しくない（かまたは何らかの角度しきい値内でほぼ等しくない）とき、水平レンダラ生成ユニット４８Ｂは、ローカルスピーカー幾何学的配置が不規則であると決定し得る。

[0088] ローカルスピーカー幾何学的配置が規則的であると決定されたときについて最初に考えると、水平レンダラ生成ユニット４８Ｂは、上記で説明するように、球面調和係数のＨＯＡ／ＳＨＣ次数によって限定される、最高許容次数を計算し得る（１３６）。水平レンダラ生成ユニット４８Ｂは、次に、２Ｄレンダラの擬逆元を生成し（１３８）、２Ｄレンダラのこの擬逆元を３Ｄレンダラに変換し（１４０）、３Ｄレンダラをゼロパディングし得る（１４２）。

[0089] ローカルスピーカー幾何学的配置が不規則であると決定されたときについて次に考えると、水平レンダラ生成ユニット４８Ｂは、上記で説明するように、球面調和係数のＨＯＡ／ＳＨＣ次数によって限定される、最高許容次数を計算し得る（１４４）。水平レンダラ生成ユニット４８Ｂは、次いで、許容次数に基づいて等しい離間したアジマスを生成して（１４６）、２Ｄレンダラを生成し得る。水平レンダラ生成ユニット４８Ｂは、２Ｄレンダラの擬逆元を実行し（１４８）、随意のウィンドウ処理演算を実行し得る（１５０）。いくつかの事例では、水平レンダラ生成ユニット４８Ｂはウィンドウ処理演算を実行しないことがある。いずれの場合も、水平レンダラ生成ユニット４８Ｂはまた、等しいアジマスを現実のアジマスにプレースする利得をパンニングし（不規則なスピーカー幾何学的配置について、１５２）、パンニングされた利得での擬逆元２Ｄレンダラの行列乗算を実行し得る（１５４）。数学的に、パンニング利得行列は、ベクトルベース振幅パンニング（ＶＢＡＰ）を実行するサイズＲ×ＶのＶＢＡＰ行列を表し得、ただし、Ｖはここでも仮想スピーカーの数を表し、Ｒは現実のスピーカーの数を表す。ＶＢＡＰ行列は次のように指定され得る。

乗算は次のように表され得る。

水平レンダラ生成ユニット４８Ｂは、次いで、２Ｄレンダラである行列乗算の出力を３Ｄレンダラに変換し（１５６）、次いで、ここでも上記で説明されたように、３Ｄレンダラをゼロパディングし得る（１５８）。

[0090] 上記では、仮想スピーカーを現実のスピーカーにマッピングするために特定のタイプのパンニングを実行するものとして説明されたが、本技法は、仮想スピーカーを現実のスピーカーにマッピングするどんな方法に関しても実行され得る。その結果、行列は、Ｒ×Ｖのサイズを有する「仮想対現実スピーカーマッピング行列（virtual-to-real speaker mapping matrix）」として示され得る。したがって、乗算は、次のようにより一般的に表され得る。

このＶｉｒｔｕａｌ＿ｔｏ＿Ｒｅａｌ＿Ｓｐｅａｋｅｒ＿Ｍａｐｐｉｎｇ＿Ｍａｔｒｉｘは、ベクトルベース振幅パンニング（ＶＢＡＰ）を実行するための行列のうちの１つまたは複数、距離ベースの振幅パンニング（ＤＢＡＰ）を実行するための行列のうちの１つまたは複数、単純なパンニングを実行するための行列のうちの１つまたは複数、ニアフィールド補償（ＮＦＣ）フィルタ処理を実行するための行列のうちの１つまたは複数および／または波動場合成を実行するための行列のうちの１つまたは複数を含むを含む、仮想スピーカーを現実のスピーカーにマッピングし得る任意のパンニングまたは他の行列を表し得る。

[0091] 規則的な３Ｄレンダラが生成されるか不規則な３Ｄレンダラが生成されるかにかかわらず、水平レンダラ生成ユニット４８Ｂは、規則的な３Ｄレンダラまたは不規則な３Ｄレンダラに関してエネルギー保存を実行し得る（１６０）。すべてではないがいくつかの例では、水平レンダラ生成ユニット４８Ｂは、３Ｄレンダラの空間特性に基づいて最適化を実行し（１６２）、この最適化された３Ｄレンダラまたは最適化されていない３Ｄレンダラを出力し得る（１６４）。

[0092] 水平のサブカテゴリーでは、本システムは、したがって、概して、スピーカーの幾何学的配置が規則的に離間しているか不規則であるかを検出し、次いで、擬逆元またはＡｌｌＲＡＤ手法に基づいてレンダリング行列を作成し得る。ＡｌｌＲＡＤ手法は、２０１３年３月１８〜２１日、メラノにおけるＡＩＡ−ＤＡＧＡ中に提示された、「Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｅｎｅｒｇｙ−ｐｒｅｓｅｒｖｉｎｇ ａｎｄ ａｌｌ−ｒｏｕｎｄ Ａｍｂｉｓｏｎｉｃ ｄｅｃｏｄｅｒｓ」と題する、Ｆｒａｎｚ Ｚｏｔｔｅｒらによる論文においてより詳細に論じられている。ステレオサブカテゴリーでは、ＨＯＡ次数、および左スピーカー位置と右スピーカー位置との間の角距離に基づいて、規則的な水平のためのレンダラ行列を作成することによってレンダリング行列が生成される。レンダリング行列のフロント位置が、次いで、左スピーカー位置と、次いで右スピーカー位置とに一致するように回転させられ、次いで、合成されて最終レンダリング行列が形成される。

[0093]図８Ａおよび図８Ｂは、図４の例に示された３Ｄレンダラ生成ユニット４８Ｃの例示的な動作を示す流れ図である。図８Ａの例では、３Ｄレンダラ生成ユニット４８Ｃが、ローカルスピーカー幾何学的配置情報４１を受信し（１７０）、次いで、第１の次数の幾何学的配置とＨＯＡ／ＳＨＣ次数ｎの幾何学的配置とを使用して球面調和基底関数（spherical harmonics basis function）を決定し得る（１７２、１７４）。３Ｄレンダラ生成ユニット４８Ｃは、次いで、第１の次数以下の基底関数と、１の次数よりも大きいがｎ以下の球面基底関数に関連付けられた基底関数との両方のための条件数を決定し得る（１７６、１７８）。３Ｄレンダラ生成ユニット４８Ｃは、次いで、いくつかの例では１．０５の値を有するしきい値を表し得るいわゆる「規則的値（regular value）」に条件値の両方を比較する（１８０）。

[0094] 条件値の両方が規則的値を下回るとき、３Ｄレンダラ生成ユニット４８Ｃは、ローカルスピーカー幾何学的配置が規則的である（左から右におよび前方から後方に、ある意味で対称的であり、スピーカーが等間隔に離間している）と決定し得る。条件値の両方が規則的値を下回らないかまたはそれよりも小さくないとき、３Ｄレンダラ生成ユニット４８Ｃは、第１の次数以下の球面基底関数から計算された条件値を規則的値と比較し得る（１８２）。第１の次数以下の条件値が規則的値よりも小さいとき（「ＹＥＳ」１８２）、３Ｄレンダラ生成ユニット４８Ｃは、ローカルスピーカー幾何学的配置がほぼ規則的（nearly regular）である（または、図８の例に示されているように、「ほぼ規則的（near regular）」である）と決定する。第１の次数以下の条件値が規則的値を下回らないとき（「ＮＯ」１８２）、３Ｄレンダラ生成ユニット４８Ｃは、ローカル幾何学的配置が不規則であると決定する。

[0095] ローカルスピーカー幾何学的配置が規則的であると決定されたとき、３Ｄレンダラ生成ユニット４８Ｃは、図７の例に関して記載された規則的な３Ｄ行列決定に関して上記で説明された様式と同様の様式で３Ｄレンダリング行列を決定し、ただし、３Ｄレンダラ生成ユニット４８Ｃは、スピーカーの複数の水平面のためにこの行列を生成することが例外である（１８４）。ローカルスピーカー幾何学的配置がほぼ規則的であると決定されたとき、３Ｄレンダラ生成ユニット４８Ｃは、図７の例に関して記載された不規則な２Ｄ行列決定に関して上記で説明された様式と同様の様式で３Ｄレンダリング行列を決定し、ただし、３Ｄレンダラ生成ユニット４８Ｃは、スピーカーの複数の水平面のためにこの行列を生成することが例外である（１８６）。ローカルスピーカー幾何学的配置が不規則であると決定されたとき、３Ｄレンダラ生成ユニット４８Ｃは、「ＰＥＲＦＯＲＭＩＮＧ ２Ｄ ＡＮＤ／ＯＲ ３Ｄ ＰＡＮＮＩＮＧ ＷＩＴＨ ＲＥＳＰＥＣＴ ＴＯ ＨＥＩＲＡＲＣＨＩＣＡＬ ＳＥＴＳ ＯＦ ＥＬＥＭＥＮＴＳ」と題する米国仮出願第Ｕ．Ｓ．６１／７６２，３０２号において説明された様式と同様の様式で３Ｄレンダリング行列を決定し、ただし、この決定のより一般的な性質に適応するための軽微な変更が例外である（本開示の技法は、この仮出願において例として提供された２２．２スピーカー幾何学的配置には限定されないという点において、１８８）。

[0096] 規則的な３Ｄレンダリング行列が生成されるか、ほぼ規則的な３Ｄレンダリング行列が生成されるか、不規則な３Ｄレンダリング行列が生成されるかにかかわらず、３Ｄレンダラ生成ユニット４８Ｃは、生成された行列に関してエネルギー保存を実行し（１９０）、それに続いて、いくつかの事例では、３Ｄレンダリング行列の空間特性に基づいてこの３Ｄレンダリング行列を最適化する（１９２）。３Ｄレンダラ生成ユニット４８Ｃは、次いで、このレンダラをレンダラ３４として出力し得る（１９４）。

[0097] 結果として、３次元の場合、本システムは、（擬逆元を使用して）規則的を、（第１の次数では規則的であるが、ＨＯＡ次数では規則的でなく、ＡｌｌＲＡＤ方法を使用する）ほぼ規則的を、または最終的に不規則（これは上記の米国仮出願第Ｕ．Ｓ．６１／７６２，３０２号に基づくが、潜在的により一般的な手法として実装される）を検出し得る。３次元不規則プロセス１８８は、不規則な３次元リスニングのための包囲レンダラを作成するために、適切な場合、スピーカーによってカバーされるエリアのための３Ｄ−ＶＢＡＰ三角測量（triangulation）、トップボトムにおける高低パンニングリング、水平バンド、伸長ファクタ（stretch factor）などを生成し得る。上記のオプションのすべては、幾何学的配置間のオンザフライスイッチングが、同じ知覚されるエネルギーを有するように、エネルギー保存を使用し得る。多くの不規則またはほぼ不規則オプションは、随意の球面調和ウィンドウ処理を使用する。

[0098] 図８Ｂは、不規則な３Ｄローカルスピーカー幾何学的配置を介したオーディオコンテンツの再生のための３Ｄレンダラを決定する際の、３Ｄレンダラ決定ユニット４８Ｃの動作を示す流れ図である。図８Ｂの例に示されているように、３Ｄレンダラ決定ユニット４８Ｃは、上記で説明するように、球面調和係数のＨＯＡ／ＳＨＣ次数によって限定される、最高許容次数を計算し得る（１９６）。３Ｄレンダラ生成ユニット４８Ｃは、次いで、許容次数に基づいて等しい離間したアジマスを生成して（１９８）、３Ｄレンダラを生成し得る。３Ｄレンダラ生成ユニット４８Ｃは、３Ｄレンダラの擬逆元を実行し（２００）、随意のウィンドウ処理演算を実行し得る（２０２）。いくつかの事例では、３Ｄレンダラ生成ユニット４８Ｃはウィンドウ処理演算を実行しないことがある。

[0099] ３Ｄレンダラ決定ユニット４８Ｃはまた、図９に関して以下でより詳細に説明されるように、下半球処理と上半球処理とを実行し得る（２０４、２０６）。３Ｄレンダラ決定ユニット４８Ｃは、下半球処理と上半球処理とを実行するとき、現実のスピーカー間の角距離を「伸長（stretch）」すべき量と、パンニングをいくつかのしきい値高さに限定するためのパンニング限界を指定し得る２Ｄパンニング限界と、スピーカーが同じ水平面において考慮される水平高さバンドを指定し得る水平バンド量とを示す（以下でより詳細に説明される）半球データを生成し得る。

[0100] ３Ｄレンダラ決定ユニット４８Ｃは、いくつかの事例では、下半球処理と上半球処理とのうちの１つまたは複数からの半球データに基づいて、場合によってはローカルスピーカー幾何学的配置を「伸長（stretch）」しながら、３Ｄ ＶＢＡＰ三角形を構築するために、３Ｄ ＶＢＡＰ演算を実行し得る（２０８）。３Ｄレンダラ決定ユニット４８Ｃは、より多くの空間をカバーするために、所与の半球内で現実のスピーカー角距離を伸長し得る。３Ｄレンダラ決定ユニット４８Ｃはまた、下半球と上半球とのための２Ｄパンニングデュープレットを識別し得（２１０、２１２）、ここで、これらのデュープレットは、それぞれ、下半球と上半球とにおいて仮想スピーカーごとに２つの現実のスピーカーを識別する。３Ｄレンダラ決定ユニット４８Ｃは、次いで、等間隔に離間した幾何学的配置を生成するときに識別された各規則的な幾何学的配置位置にわたってループし、下半球および上半球仮想スピーカーの２Ｄパンニングデュープレット（2D panning duplet）と３Ｄ ＶＢＡＰ三角形とに基づいて以下の分析を実行し得る（２１４）。

[0101] ３Ｄレンダラ決定ユニット４８Ｃは、仮想スピーカーが、下半球と上半球とのための半球データにおいて指定された上側と下側の水平バンド値内にあるかどうかを決定し得る（２１６）。仮想スピーカーがこれらのバンド値内にあるとき（「ＹＥＳ」２１６）、３Ｄレンダラ決定ユニット４８Ｃは、これらの仮想スピーカーの仰角を０に設定する（２１８）。言い換えれば、３Ｄレンダラ決定ユニット４８Ｃは、いわゆる「スイートスポット」の周りの球体を二等分する中間水平面に近い下半球と上半球とにおける仮想スピーカーを識別し、この水平面上にこれらの仮想スピーカーのロケーションがあるように設定し得る。これらの仮想スピーカーロケーションを０に設定した後に、または仮想スピーカーが上側と下側の水平バンド値内にないとき（「ＮＯ」２１６）、３Ｄレンダラ決定ユニット４８Ｃは、中間水平面に沿って仮想スピーカーを現実のスピーカーにマッピングするために使用される３Ｄレンダラの水平面部分を生成するために、３Ｄ ＶＢＡＰパンニング（または仮想スピーカーを現実のスピーカーにマッピングする任意の他の形態または方法）を実行し得る。

[0102] ３Ｄレンダラ決定ユニット４８Ｃは、仮想スピーカーの各規則的な幾何学的配置位置にわたってループするとき、下半球仮想スピーカーが、下半球データにおいて指定された下半球仰角限界を下回るかどうかを決定するために、下半球においてそれらの仮想スピーカーを評価し得る（２２２）。３Ｄレンダラ決定ユニット４８Ｃは、上半球仮想スピーカーが、上半球データにおいて指定された上半球仰角限界を上回るかどうかを決定するために、これらの上半球仮想スピーカーに関して同様の評価を実行し得る（２２４）。下半球仮想スピーカーの場合は下回るか、または上半球仮想スピーカーの場合は上回るとき（「ＹＥＳ」２２６、２２８）、３Ｄレンダラ決定ユニット４８Ｃは、それぞれ、識別された下側デュープレットと上側デュープレットとでパンニングを実行して（２３０、２３２）、仮想スピーカーの仰角をクリッピングするパンニングリングと呼ばれ得るものを効果的に作成し得、所与の半球の水平バンドの上側に現実のスピーカー間でそれをパンニングする。

[0103] ３Ｄレンダラ決定ユニット（3D renderer determination unit）４８Ｃは、次いで、３Ｄ ＶＢＡＰパンニング行列を下側デュープレットパンニング行列および上側デュープレットパンニング行列と合成し（２３４）、合成されたパンニング行列で行列マルチプル３Ｄレンダラへの行列乗算を実行し得る（２３６）。３Ｄレンダラディタメーションユニット（3D renderer determation unit）４８Ｃは、次いで、（図６の例では次数’として示された）許容次数と次数ｎとの間の差をゼロパディングし（２３８）、不規則な３Ｄレンダラを出力し得る。

[0104] このようにして、本技法は、レンダラ決定ユニット４０が、球面調和係数が関連付けられた球面基底関数の許容次数を決定することと、許容次数が、レンダリングされることを必要とされる球面調和係数のものを識別する、決定された許容次数に基づいてレンダラを決定することとを可能にし得る。

[0105] いくつかの例では、レンダラ決定ユニット４０許容次数は、球面調和係数の再生のために使用されるスピーカーの決定されたローカルスピーカー幾何学的配置を鑑みてレンダリングされることに必要とされる球面調和係数のものを識別する。

[0106] いくつかの例では、レンダラ決定ユニット４０は、レンダラを決定するとき、レンダラが、決定された許容次数よりも小さいかまたはそれに等しい次数を有する球面基底関数に関連付けられた球面調和係数のもののみをレンダリングするように、レンダラを決定し得る。

[0107] いくつかの例では、レンダラ決定ユニット４０はし得る、許容次数は、球面調和係数が関連付けられた球面基底関数の最大次数Ｎよりも小さい。

[0108] いくつかの例では、レンダラ決定ユニット４０は、マルチチャネルオーディオデータを生成するために、決定されたレンダラを使用して球面調和係数をレンダリングし得る。

[0109] いくつかの例では、レンダラ決定ユニット４０は、球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定し得る。レンダラを決定するとき、レンダラ決定ユニット４０は、決定された許容次数とローカルスピーカー幾何学的配置とに基づいてレンダリングを決定し得る。

[0110] いくつかの例では、レンダラ決定ユニット４０は、ローカルスピーカー幾何学的配置に基づいてレンダラを決定するとき、ローカルスピーカー幾何学的配置がステレオスピーカー幾何学的配置に合致するときに許容次数の球面調和係数のものをレンダリングするためにステレオレンダラを決定し得る。

[0111] いくつかの例では、レンダラ決定ユニット４０は、ローカルスピーカー幾何学的配置に基づいてレンダラを決定するとき、ローカルスピーカー幾何学的配置が、３つ以上のスピーカーを有する水平マルチチャネルスピーカー幾何学的配置に合致するときに許容次数の球面調和係数のものをレンダリングするために水平マルチチャネルレンダラを決定し得る。

[0112] いくつかの例では、レンダラ決定ユニット４０は、水平マルチチャネルレンダラを決定するとき、決定されたローカルスピーカー幾何学的配置が不規則なスピーカー幾何学的配置を示すときに許容次数の球面調和係数のものをレンダリングするために不規則な水平マルチチャネルレンダラを決定し得る。

[0113] いくつかの例では、レンダラ決定ユニット４０は、水平マルチチャネルレンダラを決定するとき、決定されたローカルスピーカー幾何学的配置が規則的なスピーカー幾何学的配置を示すときに許容次数の球面調和係数のものをレンダリングするために規則的な水平マルチチャネルレンダラを決定し得る。

[0114] いくつかの例では、レンダラ決定ユニット４０は、ローカルスピーカー幾何学的配置に基づいてレンダラを決定するとき、ローカルスピーカー幾何学的配置が、２つ以上の水平面上に３つ以上のスピーカーを有する３次元マルチチャネルスピーカー幾何学的配置を合致するときに許容次数の球面調和係数のものをレンダリングするために３次元マルチチャネルレンダラを決定し得る。

[0115] いくつかの例では、レンダラ決定ユニット４０は、３次元マルチチャネルレンダラを決定するとき、決定されたローカルスピーカー幾何学的配置が不規則なスピーカー幾何学的配置を示すときに許容次数の球面調和係数のものをレンダリングするために不規則な３次元マルチチャネルレンダラを決定し得る。

[0116] いくつかの例では、レンダラ決定ユニット４０は、３次元マルチチャネルレンダラを決定するとき、決定されたローカルスピーカー幾何学的配置がほぼ規則的なスピーカー幾何学的配置を示すときに許容次数の球面調和係数のものをレンダリングするためにほぼ規則的な３次元マルチチャネルレンダラを決定し得る。

[0117] いくつかの例では、レンダラ決定ユニット４０は、３次元マルチチャネルレンダラを決定するとき、決定されたローカルスピーカー幾何学的配置が規則的なスピーカー幾何学的配置を示すときに許容次数の球面調和係数のものをレンダリングするために規則的な３次元マルチチャネルレンダラを決定し得る。

[0118] いくつかの例では、レンダラ決定ユニット４０は、１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するとき、ローカルスピーカー幾何学的配置を記述するローカルスピーカー幾何学的配置情報を指定する入力を聴取者から受信し得る。

[0119] いくつかの例では、レンダラ決定ユニット４０は、１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するとき、ローカルスピーカー幾何学的配置を記述するローカルスピーカー幾何学的配置情報を指定する入力を、グラフィカルユーザインターフェースを介して聴取者から受信し得る。

[0120] いくつかの例では、レンダラ決定ユニット４０は、１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するとき、ローカルスピーカー幾何学的配置を記述するローカルスピーカー幾何学的配置情報を自動的に決定し得る。

[0121] 図９は、不規則な３Ｄレンダラを決定するときに下半球処理と上半球処理とを実行する際の、図４の例に示された３Ｄレンダラ生成ユニット４８Ｃの例示的な動作を示す流れ図である。図９の例に示されたプロセスに関するさらなる情報は、上記の米国仮出願第Ｕ．Ｓ．６１／７６２，３０２号において見つけられ得る。図９の例に示されたプロセスは、図８Ｂに関して上記で説明された下半球処理または上半球処理を表し得る。

[0122] 初めに、３Ｄレンダラ決定ユニット４８Ｃが、ローカルスピーカー幾何学的配置情報４１を受信し、第１の半球の現実のスピーカーロケーションを決定し得る（２５０、２５２）。３Ｄレンダラ決定ユニット４８Ｃは、次いで、第１の半球を反対側の半球上に複製し、ＨＯＡ次数の幾何学的配置を使用して球面調和を生成し得る（２５４、２５６）。３Ｄレンダラ決定ユニット４８Ｃは、ローカルスピーカー幾何学的配置の規則性（または均一性）を示し得る条件数を決定し得る（２５８）。条件数がしきい値数よりも小さいか、または現実のスピーカー間の最大絶対値仰角差が９０度に等しいとき（「ＹＥＳ」２６０）、３Ｄレンダラ決定ユニット４８Ｃは、０の伸長値（stretch value）と、ｓｉｇｎ（９０）の２Ｄパンニング限界値と、０の水平バンド値とを含む半球データを決定し得る（２６２）。上述されたように、伸長値は、現実のスピーカー間の角距離を「伸長（stretch）」すべき量と、パンニングをいくつかのしきい値高さに限定するためのパンニング限界を指定し得る２Ｄパンニング限界と、スピーカーが同じ水平面において考慮される水平高さバンドを指定し得る水平バンド量とを示す。

[0123] ３Ｄレンダラ決定ユニット４８Ｃはまた、最も高い／最も低い（上半球処理が実行されるのか下半球処理が実行されるのかに応じた）スピーカーのアジマス（azimuth）の角距離を決定し得る（２６４）。条件数がしきい値数よりも大きいか、または現実のスピーカー間の最大絶対値仰角差が９０度に等しくないとき（「ＹＥＳ」２６０）、３Ｄレンダラ決定ユニット４８Ｃは、最大絶対値仰角差が０よりも大きいかどうか、および最大角距離がしきい値角距離よりも小さいかどうかを決定し得る（２６６）。最大絶対値仰角差が０よりも大きく、最大角距離がしきい値角距離よりも小さいとき（「ＹＥＳ」２６６）、３Ｄレンダラ決定ユニット４８Ｃは、次いで、仰角の最大絶対値が７０よりも大きいかどうかを決定し得る（２６８）。

[0124] 仰角の最大絶対値が７０よりも大きいとき（「ＹＥＳ」２６８）、３Ｄレンダラ決定ユニット４８Ｃは、０に等しい伸長値と、仰角の絶対値の最大値の符号に等しい２Ｄパンニング限界と、０に等しい水平バンド値とを含む半球データを決定する（２７０）。仰角の最大絶対値が７０よりも小さいかまたはそれに等しいとき（「ＮＯ」２６８）、３Ｄレンダラ決定ユニット４８Ｃは、１０−仰角の最大絶対値×７０×１０に等しい伸長値と、仰角の絶対値の最大値の符号付き形式−伸長値に等しい２Ｄパンニング限界と、仰角の最大絶対値の符号付き形式×０．１に等しい水平バンド値とを含む半球データを決定し得る（２７２）。

[0125] 最大絶対値仰角差が０よりも小さいかまたはそれに等しいか、あるいは最大角距離がしきい値角距離よりも大きいかまたはそれに等しいとき（「ＮＯ」２６６）、３Ｄレンダラ決定ユニット４８Ｃは、次いで、仰角の絶対値の最小値が０に等しいかどうかを決定し得る（２７４）。仰角の絶対値の最小値が０に等しいとき（「ＹＥＳ」２７４）、３Ｄレンダラ決定ユニット４８Ｃは、０に等しい伸長値と、０に等しい２Ｄパンニング限界と、０に等しい水平バンド値と、仰角が０に等しい現実のスピーカーのインデックスを識別する制限半球値とを含む半球データを決定し得る（２７６）。仰角の絶対値の最小値が０に等しくないとき（「ＮＯ」２７４）、３Ｄレンダラ決定ユニット４８Ｃは、最低仰角スピーカーのインデックスに等しい制限半球値を決定し得る（２７８）。３Ｄレンダラ決定ユニット４８Ｃは、次いで、仰角の最大絶対値が７０よりも大きいかどうかを決定し得る（２８０）。

[0126] 仰角の最大絶対値が７０よりも大きいとき（「ＹＥＳ」２８０）、３Ｄレンダラ決定ユニット４８Ｃは、０に等しい伸長値と、仰角の絶対値の最大値の符号付き形式に等しい２Ｄパンニング限界と、０に等しい水平バンド値とを含む半球データを決定し得る（２８２）。仰角の最大絶対値が７０よりも小さいかまたはそれに等しいとき（「ＮＯ」２８０）、３Ｄレンダラ決定ユニット４８Ｃは、１０−仰角の最大絶対値×７０×１０に等しい伸長値と、仰角の絶対値の最大値の符号付き形式−伸長値に等しい２Ｄパンニング限界と、仰角の最大絶対値の符号付き形式×０．１に等しい水平バンド値とを含む半球データを決定し得る（２８２）。

[0127] 図１０は、本開示に記載された技法に従ってどのようにステレオレンダラが生成され得るかを示すユニット空間におけるグラフ２９９を示す図である。図１０の例に示されているように、仮想スピーカー３００Ａ〜３００Ｈは、（いわゆる「スイートスポット」を中心とする）ユニット球体を二等分する水平面の円周の周りに均一な幾何学的配置で配置される。物理スピーカー３０２Ａおよび３０２Ｂは、仮想スピーカー３００Ａから測定されて（それぞれ）３０度および−３０度の角距離に配置される。ステレオレンダラ決定ユニット４８Ａは、上記でより詳細に説明された様式で仮想スピーカー３００Ａを物理スピーカー３０２Ａおよび３０２Ｂにマッピングするステレオレンダラ３４を決定し得る。

[0128] 図１１は、本開示に記載された技法に従ってどのように不規則な水平レンダラが生成され得るかを示すユニット空間におけるグラフ３０４を示す図である。図１１の例に示されているように、仮想スピーカー３００Ａ〜３００Ｈは、（いわゆる「スイートスポット」を中心とする）ユニット球体を二等分する水平面の円周の周りに均一な幾何学的配置で配置される。物理スピーカー３０２Ａ〜３０２Ｄ（「物理スピーカー（physical speaker）３０２」）は、水平面の円周の周りに不規則に配置される。水平レンダラ決定ユニット４８Ｂは、上記でより詳細に説明された様式で仮想スピーカー３００Ａ〜３００Ｈ（「仮想スピーカー（virtual speaker）３００」）を物理スピーカー３０２にマッピングする不規則な水平レンダラ３４を決定し得る。

[0129] 水平レンダラ決定ユニット４８Ｂは、仮想スピーカー３００を（最も小さい角距離を有することに関して）仮想スピーカーの各々に最も近い現実のスピーカー３０２のうちの２つにマッピングし得る。マッピングは次の表に記載されている。

[0130] 図１２Ａおよび図１２Ｂは、本開示で説明される技法に従ってどのように不規則な３Ｄレンダラが生成され得るかを示すグラフ３０６Ａおよび３０６Ｂを示す図である。図１２Ａの例では、グラフ３０６Ａは、伸長されたスピーカーロケーション３０８Ａ〜３０８Ｈ（「伸長されたスピーカーロケーション（stretched speaker location）３０８」）を含む。３Ｄレンダラ決定ユニット４８Ｃは、図９の例に関して上記で説明された様式で伸長された現実のスピーカーロケーション３０８を有する半球データを識別し得る。グラフ３０６Ａはまた、伸長されたスピーカーロケーション３０８に対して現実のスピーカーロケーション３０２Ａ〜３０２Ｈ（「現実のスピーカーロケーション（real speaker location）３０２」）を示しており、ここで、いくつかの事例では、現実のスピーカーロケーション３０２は、伸長されたスピーカーロケーション３０８と同じであり、他の事例では、現実のスピーカーロケーション３０２は、伸長されたスピーカーロケーション３０８と同じではない。

[0131] グラフ３０６Ａはまた、上側２Ｄパンニングデュープレットを表す上側２Ｄパンニング補間ライン３１０Ａと、下側２Ｄパンニングデュープレットを表す下側２Ｄパンニング補間ライン３１０Ｂとを含み、それらの各々については、図８の例に関して上記でより詳細に説明されている。手短に言えば、３Ｄレンダラ決定ユニット４８Ｃは、上側２Ｄパンニングデュープレットに基づいて上側２Ｄパンニング補間ライン３１０Ａを決定し、下側２Ｄパンニングデュープレットに基づいて下側２Ｄパンニング補間ライン３１０Ｂを決定し得る。上側２Ｄパンニング補間ライン３１０Ａは上側２Ｄパンニング行列を表し得、一方、下側２Ｄパンニング補間ライン３１０Ｂは下側２Ｄパンニング行列を表し得る。上記で説明されたこれらの行列は、次いで、３Ｄ ＶＢＡＰ行列および規則的な幾何学的配置レンダラと合成されて、不規則な３Ｄレンダラ３４が生成され得る。

[0132] 図１２Ｂの例では、グラフ３０６Ｂはグラフ３０６Ａに仮想スピーカー３００を追加し、ここで、伸長されたスピーカーロケーション３０８への仮想スピーカー３００のマッピングを示すラインとの不要な混同を回避するために、仮想スピーカー３００は図１２Ｂの例では正式に示されていない。典型的には、上記で説明されたように、３Ｄレンダラ決定ユニット４８Ｃは、図１１および図１２の水平例に示されたものと同様に、仮想スピーカー３００の各々を、仮想スピーカーに最も近い角距離を有する伸長されたスピーカーロケーション３０８のうちの２つ以上にマッピングする。したがって、不規則な３Ｄレンダラは、図１２Ｂの例に示された様式で、仮想スピーカーを、伸長されたスピーカーロケーションにマッピングし得る。

[0133] したがって、本技法は、第１の例では、音場を表す球面調和係数の再生のために使用される１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するための手段、たとえば、レンダラ決定ユニット４０と、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定するための手段、たとえば、レンダラ決定ユニット４０とを備える、オーディオ再生システム３２などのデバイスを提供し得る。

[0134] 第２の例では、第１の例のデバイスは、マルチチャネルオーディオデータを生成するために、決定された２次元レンダラまたは３次元レンダラを使用して球面調和係数をレンダリングするための手段、たとえば、オーディオレンダラ３４をさらに備え得る。

[0135] 第３の例では、第１の例のデバイス、ここにおいて、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定するための手段は、ローカルスピーカー幾何学的配置がステレオスピーカー幾何学的配置に合致するとき、２次元ステレオレンダラを決定するための手段、たとえば、ステレオレンダラ生成ユニット４８Ａを備え得る。

[0136] 第４の例では、第１の例のデバイス、ここにおいて、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定するための手段は、ローカルスピーカー幾何学的配置が、３つ以上のスピーカーを有する水平マルチチャネルスピーカー幾何学的配置に合致するとき、水平２次元マルチチャネルレンダラを決定するための手段、たとえば、水平レンダラ生成ユニット４８Ｂを備える。

[0137] 第５の例では、第４の例のデバイス、ここにおいて、水平２次元マルチチャネルレンダラを決定するための手段は、図７の例に関して説明されたように、決定されたローカルスピーカー幾何学的配置が不規則なスピーカー幾何学的配置を示すとき、不規則な水平２次元マルチチャネルレンダラを決定するための手段を備える。

[0138] 第６の例では、第４の例のデバイス、ここにおいて、水平２次元マルチチャネルレンダラを決定するための手段は、図７の例に関して説明されたように、決定されたローカルスピーカー幾何学的配置が規則的なスピーカー幾何学的配置を示すとき、規則的な水平２次元マルチチャネルレンダラを決定するための手段を備える。

[0139] 第７の例では、第１の例のデバイス、ここにおいて、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定するための手段は、ローカルスピーカー幾何学的配置が、２つ以上の水平面上に３つ以上のスピーカーを有する３次元マルチチャネルスピーカー幾何学的配置に合致するとき、３次元マルチチャネルレンダラを決定するための手段、たとえば、３Ｄレンダラ生成ユニット４８Ｃを備える。

[0140] 第８の例では、第７の例のデバイス、ここにおいて、３次元マルチチャネルレンダラを決定するための手段は、図８Ａおよび図８Ｂの例に関して上記で説明されたように、決定されたローカルスピーカー幾何学的配置が不規則なスピーカー幾何学的配置を示すとき、不規則な３次元マルチチャネルレンダラを決定するための手段を備える。

[0141] 第９の例では、第７の例のデバイス、ここにおいて、３次元マルチチャネルレンダラを決定するための手段は、図８Ａの例に関して上記で説明されたように、決定されたローカルスピーカー幾何学的配置がほぼ規則的なスピーカー幾何学的配置を示すとき、ほぼ規則的な３次元マルチチャネルレンダラを決定するための手段を備える。

[0142] 第１０の例では、第７の例のデバイス、ここにおいて、３次元マルチチャネルレンダラを決定するための手段は、図８Ａの例に関して上記で説明されたように、決定されたローカルスピーカー幾何学的配置が規則的なスピーカー幾何学的配置を示すとき、規則的な３次元マルチチャネルレンダラを決定するための手段を備える。

[0143] 第１１の例では、第１の例のデバイス、ここにおいて、レンダラを決定するための手段は、図５〜図８Ｂの例に関して上記で説明されたように、球面調和係数が関連付けられた球面基底関数の許容次数を決定するための手段と、許容次数が、決定されたローカルスピーカー幾何学的配置を鑑みてレンダリングされることを必要とされる球面調和係数のものを識別する、決定された許容次数に基づいてレンダラを決定するための手段とを備える。

[0144] 第１２の例では、第１の例のデバイス、ここにおいて、２次元レンダラまたは３次元レンダラを決定するための手段は、図５〜図８Ｂの例に関して上記で説明されたように、球面調和係数が関連付けられた球面基底関数の許容次数を決定するための手段と、許容次数が、決定されたローカルスピーカー幾何学的配置を鑑みてレンダリングされることを必要とされる球面調和係数のものを識別する、２次元レンダラまたは３次元レンダラが、決定された許容次数よりも小さいかまたはそれに等しい次数を有する球面基底関数に関連付けられた球面調和係数のもののみをレンダリングするように、２次元レンダラまたは３次元レンダラを決定するための手段とを備える。

[0145] 第１３の例では、第１の例のデバイス、ここにおいて、１つまたは複数のスピーカーのローカルスピーカー幾何学的配置を決定するための手段は、ローカルスピーカー幾何学的配置を記述するローカルスピーカー幾何学的配置情報を指定する入力を聴取者から受信するための手段を備える。

[0146] 第１４の例では、第１の例のデバイス、ここにおいて、ローカルスピーカー幾何学的配置に基づいて２次元レンダラまたは３次元レンダラを決定することは、ローカルスピーカー幾何学的配置がモノスピーカー幾何学的配置に合致するとき、モノレンダラを決定すること、たとえば、モノレンダラ決定ユニット４８Ｄを備える。

[0147] 図１３Ａ〜図１３Ｄは、本開示で説明される技法に従って形成されるビットストリーム３１Ａ〜３１Ｄを示す図である。図１３Ａの例では、ビットストリーム３１Ａは、図３の例に示されたビットストリーム３１の一例を表し得る。ビットストリーム３１Ａは、信号値５４を定義する１つまたは複数のビットを含むオーディオレンダリング情報３９Ａを含む。この信号値５４は、以下で説明されるタイプの情報の任意の組合せを表し得る。ビットストリーム３１Ａはまた、オーディオコンテンツ５１の一例を表し得るオーディオコンテンツ５８を含む。

[0148] 図１３Ｂの例では、ビットストリーム３１Ｂはビットストリーム３１Ａと同様であり得、ここで、信号値５４は、インデックス５４Ａと、シグナリングされる行列の行サイズ５４Ｂを定義する１つまたは複数のビットと、シグナリングされる行列の列サイズ５４Ｃを定義する１つまたは複数のビットと、行列係数５４Ｄとを備える。インデックス５４Ａは２〜５ビットを使用して定義され得るが、行サイズ５４Ｂと列サイズ５４Ｃとの各々は２〜１６ビットを使用して定義され得る。

[0149] 抽出デバイス３８は、インデックス５４Ａを抽出し、行列がビットストリーム３１Ｂ中に含まれることをそのインデックスがシグナリングするかどうかを決定し得る（ここで、００００または１１１１など、いくつかのインデックス値は、行列が明示的にビットストリーム３１Ｂ中で指定されていることをシグナリングし得る）。図１３Ｂの例では、ビットストリーム３１Ｂは、行列が明示的にビットストリーム３１Ｂ中で指定されていることをシグナリングするインデックス５４Ａを含む。その結果、抽出デバイス３８は、行サイズ５４Ｂと列サイズ５４Ｃとを抽出し得る。抽出デバイス３８は、行サイズ５４Ｂと、列サイズ５４Ｃと、各行列係数の（図１３Ａに示されていない）シグナリングされるかまたは暗黙的なビットサイズの関数として、行列係数を表すパースすべきビット数を計算するように構成され得る。決定されたビット数を使用して、抽出デバイス３８は行列係数５４Ｄを抽出し得、オーディオ再生デバイス２４は、その行列係数５４Ｄを使用して、上記で説明されたようにオーディオレンダラ３４のうちの１つを構成し得る。ビットストリーム３１Ｂ中でオーディオレンダリング情報３９Ｂを１回シグナリングするものとして示されているが、オーディオレンダリング情報３９Ｂは、ビットストリーム３１Ｂ中で複数回シグナリングされるか、あるいは少なくとも部分的にまたは完全に別個のアウトオブバンドチャネル中で（いくつかの事例では随意のデータとして）シグナリングされ得る。

[0150] 図１３Ｃの例では、ビットストリーム３１Ｃは、上記の図３の例に示されたビットストリーム３１の一例を表し得る。ビットストリーム３１Ｃは、この例ではアルゴリズムインデックス５４Ｅを指定する信号値５４を含むオーディオレンダリング情報３９Ｃを含む。ビットストリーム３１Ｃはオーディオコンテンツ５８をも含む。アルゴリズムインデックス５４Ｅは、上述されたように、２〜５ビットを使用して定義され得、ここで、このアルゴリズムインデックス５４Ｅは、オーディオコンテンツ５８をレンダリングするときに使用されるべきレンダリングアルゴリズムを識別し得る。

[0151] 抽出デバイス３８は、アルゴリズムインデックス５０Ｅを抽出し、行列がビットストリーム３１Ｃ中に含まれることをアルゴリズムインデックス５４Ｅがシグナリングするかどうかを決定し得る（ここで、００００または１１１１など、いくつかのインデックス値は、行列が明示的にビットストリーム３１Ｃ中で指定されていることをシグナリングし得る）。図８Ｃの例では、ビットストリーム３１Ｃは、行列が明示的にビットストリーム３１Ｃ中で指定されていないことをシグナリングするアルゴリズムインデックス５４Ｅを含む。その結果、抽出デバイス３８は、アルゴリズムインデックス５４Ｅをオーディオ再生デバイスに転送し、オーディオ再生デバイスは、（利用可能な場合は）対応する１つ、（図３および図４の例ではレンダラ３４として示されている）レンダリングアルゴリズムを選択する。図１３Ｃの例では、ビットストリーム３１Ｃ中でオーディオレンダリング情報３９Ｃを１回シグナリングするものとして示されているが、オーディオレンダリング情報３９Ｃは、ビットストリーム３１Ｃ中で複数回シグナリングされるか、あるいは少なくとも部分的にまたは完全に別個のアウトオブバンドチャネル中で（いくつかの事例では随意のデータとして）シグナリングされ得る。

[0152] 図１３Ｄの例では、ビットストリーム３１Ｃは、上記の図４、図５および図８に示されたビットストリーム３１の一例を表し得る。ビットストリーム３１Ｄは、この例では行列インデックス５４Ｆを指定する信号値５４を含むオーディオレンダリング情報３９Ｄを含む。ビットストリーム３１Ｄはオーディオコンテンツ５８をも含む。行列インデックス５４Ｆは、上述されたように、２〜５ビットを使用して定義され得、ここで、この行列インデックス５４Ｆは、オーディオコンテンツ５８をレンダリングするときに使用されるべきレンダリングアルゴリズムを識別し得る。

[0153] 抽出デバイス３８は、行列インデックス５０Ｆを抽出し、行列がビットストリーム３１Ｄ中に含まれることを行列インデックス５４Ｆがシグナリングするかどうかを決定し得る（ここで、００００または１１１１など、いくつかのインデックス値は、行列が明示的にビットストリーム３１Ｃ中で指定されていることをシグナリングし得る）。図８Ｄの例では、ビットストリーム３１Ｄは、行列が明示的にビットストリーム３１Ｄ中で指定されていないことをシグナリングする行列インデックス５４Ｆを含む。その結果、抽出デバイス３８は、行列インデックス５４Ｆをオーディオ再生デバイスに転送し、オーディオ再生デバイスは、（利用可能な場合は）対応する１つ、レンダラ３４を選択する。図１３Ｄの例では、ビットストリーム３１Ｄ中でオーディオレンダリング情報３９Ｄを１回シグナリングするものとして示されているが、オーディオレンダリング情報３９Ｄは、ビットストリーム３１Ｄ中で複数回シグナリングされるか、あるいは少なくとも部分的にまたは完全に別個のアウトオブバンドチャネル中で（いくつかの事例では随意のデータとして）シグナリングされ得る。

[0154] 図１４Ａおよび図１４Ｂは、本開示で説明される技法の様々な態様を実行し得る３Ｄレンダラ決定ユニット４８Ｃの別の例である。すなわち、３Ｄレンダラ決定ユニット４８Ｃは、仮想スピーカーが、球体幾何学的配置を二等分する水平面よりも下側の球体幾何学的配置において配置されたとき、仮想スピーカーをその水平面上のロケーションに投射することと、再現される音場が、仮想スピーカーの投射されたロケーションから発生するように思われる少なくとも１つの音を含むように、音場を再現する第１の複数のラウドスピーカーチャネル信号を生成するとき、音場を記述する要素の階層セット上で２次元パンニングを実行することと、を行うように構成されたユニットを表し得る。

[0155] 図１４Ａの例では、３Ｄレンダラ決定ユニット４８Ｃは、ＳＨＣ２７’を受信し、仮想ラウドスピーカーｔ設計レンダリングを実行するように構成されたユニットを表し得る仮想スピーカーレンダラ３５０を呼び出し得る。仮想スピーカーレンダラ３５０は、ＳＣＨ２７’をレンダリングし、所与の数（たとえば、２２個または３２個）の仮想スピーカーのためのラウドスピーカーチャネル信号を生成し得る。

[0156] ３Ｄレンダラ決定ユニット４８Ｃはさらに、球面重み付けユニット３５２と、上半球３Ｄパンニングユニット３５４と、イヤレベル２Ｄパンニングユニット３５６と、下半球２Ｄパンニングユニット３５８とを含む。球面重み付けユニット３５２は、いくつかのチャネルを重み付けするように構成されたユニットを表し得る。上半球３Ｄパンニングユニット３５４は、球状に重み付けされた仮想ラウドスピーカーチャネル信号上で、様々な上半球の物理スピーカー、または、言い換えれば、現実のスピーカーの間でこれらの信号をパンニングするように３Ｄパンニングを実行するように構成されたユニットを表す。イヤレベル半球２Ｄパンニングユニット３５６は、球状に重み付けされた仮想ラウドスピーカーチャネル信号上で、様々なイヤレベルの物理スピーカー、または、言い換えれば、現実のスピーカーの間でこれらの信号をパンニングするように２Ｄパンニングを実行するように構成されたユニットを表す。下半球２Ｄパンニングユニット３５８は、球状に重み付けされた仮想ラウドスピーカーチャネル信号上で、様々な下半球の物理スピーカー、または、言い換えれば、現実のスピーカーの間でこれらの信号をパンニングするように２Ｄパンニングを実行するように構成されたユニットを表す。

[0157] 図１４Ｂの例では、３Ｄレンダリング決定ユニット４８Ｃ’は、３Ｄレンダリング決定ユニット４８Ｃ’が球面重み付けを実行しないことがあるかまたはさもなければ球面重み付けユニット３５２を含まないことがあることを除いて、図１４Ｂに示されたものと同様であり得る。

[0158] いずれの場合も、典型的には、ラウドスピーカーフィードは、各ラウドスピーカーが球面波を生成すると仮定することによって計算される。そのようなシナリオでは、ｌ番目のラウドスピーカーによる、ある位置ｒ、θ、φにおける（周波数の関数としての）音圧は、

によって与えられ、
ただし、｛ｒ_l、θ_l、φ_l｝はｌ番目のラウドスピーカーの位置を表し、ｇ_l（ω）は、（周波数領域における）ｌ番目のスピーカーのラウドスピーカーフィードである。すべての５つのスピーカーによる全音圧Ｐ_tは、したがって、

によって与えられる。

[0159] 我々はまた、５つのＳＨＣに関する全圧力が次の式によって与えられることを知っている。

[0160] 上記の２つの式を同等とすることにより、次のようにＳＨＣに関してラウドスピーカーフィードを表すための変換行列を使用することが可能になる。

[0161] この式は、５つのラウドスピーカーフィードと、選定されたＳＨＣとの間に直接的な関係があることを示している。変換行列は、たとえば、サブセット（たとえば、基本セット）中でどのＳＨＣが使用されたか、およびＳＨ基底関数のどの定義が使用されるかに応じて変化し得る。同様に、選択された基本セットから異なるチャネルフォーマット（たとえば、７．１、２２．２）に変換するための変換行列が構築され得る
[0162] 上記の式中の変換行列によってスピーカーフィードからＳＨＣへの変換が可能になるが、ＳＨＣで開始し、我々が５つのチャネルフィードを作り出すことができ、次いで、デコーダにおいて、（高度な（すなわち、非レガシー）レンダラが存在するとき）我々が場合によってはＳＨＣに変換し戻すことができるように、我々は、行列が可逆であることを好むことがある。

[0163] 行列の可逆性を保証するために上記のフレームワークを操作する様々な方法が活用され得る。これらは、限定はしないが、ラウドスピーカーの位置を変化させること（たとえば、５．１システムの５つのラウドスピーカーのうちの１つまたは複数の位置を、依然としてそれらがＩＴＵ−Ｒ ＢＳ．７７５−１規格によって指定された角度トレランスに従うように調整すること、Ｔ設計に従うものなど、トランスデューサの規則的な離間が、典型的には正常に作動する）、正規化技法（たとえば、周波数依存正規化）、ならびにフルランクおよび明確な固有値を保証するようにしばしば動作する様々な他の行列操作技法を含む。最後に、すべての操作の後に、修正された行列が実際に正しいおよび／または許容できるラウドスピーカーフィードを再現することを保証するために、５．１レンディションを聴覚心理的にテストすることが望ましいことがある。可逆性が保存される限り、ＳＨＣへの正しい復号を保証する逆問題は問題点でない。

[0164] （デコーダにおけるスピーカー幾何学的配置を指すことがある）いくつかのローカルスピーカー幾何学的配置では、可逆性を保証するために上記のフレームワークを操作するための上記で概説された方法は、望ましいとは言えない音像を生じることがある。すなわち、音再現は、キャプチャされているオーディオと比較されたとき、常に音の正しい定位を生じるとは限らない。この望ましいとは言えない音像を補正するために、本技法は、「仮想スピーカー（virtual speaker）」と呼ばれ得る概念を導入するようさらに拡張され得る。１つまたは複数のラウドスピーカーが、上述のＩＴＵ−Ｒ ＢＳ．７７５−１などの規格によって指定された、いくつかの角度トレランスを有する特定のまたは定義された空間領域中で再配置または配置されることを要するのではなく、上記のフレームワークは、ベクトルベース振幅パンニング（ＶＢＡＰ：vector base amplitude panning）、距離ベースの振幅パンニング、または他の形態のパンニングなど、何らかの形態のパンニングを含むように修正され得る。説明のためにＶＢＡＰに焦点を当てると、ＶＢＡＰは、「仮想スピーカー」として特徴づけられ得るものを効果的に導入し得る。ＶＢＡＰは、概して、１つまたは複数のラウドスピーカーが、仮想スピーカーをサポートする１つまたは複数のラウドスピーカーのロケーションおよび／または角度のうちの少なくとも１つと異なるロケーションおよび角度のうちの１つまたは複数において仮想スピーカーから発生するように思われる音を効果的に出力するように、これらの１つまたは複数のラウドスピーカーへのフィードを修正し得る。

[0165] 例示のために、ＳＨＣに関してラウドスピーカーフィードを決定するための上記の式は、次のように修正され得る。

[0166] 上記の式において、ＶＢＡＰ行列はＭ行×Ｎ列のサイズであり、ただし、Ｍはスピーカーの数を示し（上記の式では５に等しくなるはずであり）、Ｎは仮想スピーカーの数を示す。ＶＢＡＰ行列は、聴取者の定義されたロケーションからスピーカーの位置の各々へのベクトルと、聴取者の定義されたロケーションから仮想スピーカーの位置の各々へのベクトルとの関数として計算され得る。上記の式中のＤ行列はＮ行×（ｏｒｄｅｒ＋１）²列のサイズであり得、ただし、ｏｒｄｅｒはＳＨ関数の次数を指し得る。Ｄ行列は次の行列を表し得る。

[0167] 事実上、ＶＢＡＰ行列は、スピーカーのロケーションと仮想スピーカーの位置とを考慮する「利得調整（gain adjustment）」と呼ばれ得るものを提供するＭ×Ｎ行列である。このようにしてパンニングを導入することにより、ローカルスピーカー幾何学的配置によって再現されたとき、より良質の像を生じるマルチチャネルオーディオのより良い再現がもたらされ得る。その上、この式にＶＢＡＰを組み込むことによって、本技法は、様々な規格において指定されているスピーカー幾何学的配置とは整合しない劣悪なスピーカー幾何学的配置を克服し得る。

[0168] 実際には、この式は、反転させられ、ＳＨＣを、以下で幾何学的配置Ｂと呼ばれることがあるラウドスピーカーの特定の幾何学的配置または構成のためのマルチチャネルフィードに変換し戻すために使用され得る。すなわち、この式は、ｇ行列について解くために反転させられ得る。反転させられた式は次のようになり得る。

[0169] ｇ行列は、この例では、５．１スピーカー構成における５つのラウドスピーカーの各々についてのスピーカー利得を表し得る。この構成において使用される仮想スピーカーロケーションは、５．１マルチチャネルフォーマット仕様または規格において定義されているロケーションに対応し得る。これらの仮想スピーカーの各々をサポートし得るラウドスピーカーのロケーションは、任意の数の知られているオーディオ定位技法を使用して決定され得、それらの多くは、（オーディオ／ビデオ受信機（Ａ／Ｖ受信機）、テレビジョン、ゲーミングシステム、デジタルビデオディスクシステム、または他のタイプのヘッドエンドシステムなどの）ヘッドエンドユニットに対して各ラウドスピーカーのロケーションを決定するために特定の周波数を有するトーンを再生することを伴う。代替的に、ヘッドエンドユニットのユーザが、ラウドスピーカーの各々のロケーションを手動で指定し得る。いずれの場合も、これらの知られているロケーションと考えられる角度とを鑑みて、ヘッドエンドユニットは、利得について解き、ＶＢＡＰを介して仮想ラウドスピーカーの理想的な構成を仮定し得る。

[0170] この点において、本技法は、デバイスまたは装置が、第１の複数の仮想ラウドスピーカーチャネル信号を発生するために、第１の複数のラウドスピーカーチャネル信号上でベクトルベース振幅パンニングまたは他の形態のパンニングを実行することを可能にし得る。これらの仮想ラウドスピーカーチャネル信号は、ラウドスピーカーが、仮想ラウドスピーカーから発生するように思われる音を発生することを可能にする、これらのラウドスピーカーに提供される信号を表し得る。その結果、第１の複数のラウドスピーカーチャネル信号上で第１の変換を実行するとき、本技法は、デバイスまたは装置が、音場を記述する要素の階層セットを発生するために、第１の複数の仮想ラウドスピーカーチャネル信号上で第１の変換を実行することを可能にし得る。

[0171] その上、本技法は、装置が、第２の複数のラウドスピーカーチャネル信号を発生するために要素の階層セット上で第２の変換を実行することを可能にし得、ここで、第２の複数のラウドスピーカーチャネル信号の各々は、対応する異なる空間領域に関連付けられ、ここで、第２の複数のラウドスピーカーチャネル信号は第２の複数の仮想ラウドスピーカーチャネルを備え、およびここで、第２の複数の仮想ラウドスピーカーチャネル信号は、対応する異なる空間領域に関連付けられる。本技法は、いくつかの事例では、デバイスが、第２の複数のラウドスピーカーチャネル信号を発生するために、第２の複数の仮想ラウドスピーカーチャネル信号上でベクトルベース振幅パンニングを実行することを可能にし得る。

[0172] 上記の変換行列は「モード整合（mode matching）」基準から導出されたが、音圧整合、エネルギー整合など、他の基準からも代替の変換行列が導出され得る。基本セット（たとえば、ＳＨＣサブセット）と従来のマルチチャネルオーディオとの間の変換を可能にする行列が導出され得ることと、また、（マルチチャネルオーディオの忠実度を低減しない）操作後に、可逆でもあるわずかに修正された行列も作成され得ることとで、十分である。

[0173] いくつかの事例では、パンニングが３次元空間において実行されるという意味で「３Ｄパンニング（3D panning）」と呼ばれることもある、上記で説明されたパンニングを実行するときに、上記で説明された３Ｄパンニングは、アーティファクトを導入するか、またはさもなければスピーカーフィードのより低品質な再生を生じることがある。例として説明するために、上記で説明された３Ｄパンニングは、図１５Ａおよび図１５Ｂに示されている２２．２スピーカー幾何学的配置に関して採用されることがある。

[0174] 図１５Ａおよび図１５Ｂは、同じ２２．２スピーカー幾何学的配置を示し、ここで、図１５Ａに示されたグラフ中の黒点は、（低周波スピーカーを除く）すべてのラウドスピーカー、２２個のスピーカーのロケーションを示し、図１５Ｂは、これらの同じスピーカーのロケーションを示すが、これらのスピーカーの（影つき半球の背後に位置するスピーカーをブロックする）半球位置性質をさらに定義する。いずれの場合も、実際のスピーカーのいくつか（その数は上記ではＭとして示されている）は、実際にその半球において聴取者の耳の背後にあり、聴取者の頭は、図１５Ａおよび図１５Ｂのグラフ中の（０，０，０）の（ｘ，ｙ，ｚ）点の周りの半球中のどこかに配置される。その結果、聴取者の頭の背後にあるスピーカーを仮想化するように３Ｄパンニングを実行することを試みることは、特に、ＳＨＣを生成するときに通常仮定され、仮想スピーカーの位置を伴う図１２Ｂの例に示されている、完全な球体の周りに均一に配置された仮想スピーカーを有する、３２スピーカー球体（半球ではない）幾何学的配置を仮想化することを試みるとき、困難であり得る。

[0175] 本開示で説明される技法によれば、図１４Ａの例に示された３Ｄレンダラ決定ユニット４８Ｃは、仮想スピーカーが、球体幾何学的配置を二等分する水平面よりも下側の球体幾何学的配置において配置されたとき、仮想スピーカーをその水平面上のロケーションに投射することと、再現される音場が、仮想スピーカーの投射されたロケーションから発生するように思われる少なくとも１つの音を含むように、音場を再現する第１の複数のラウドスピーカーチャネル信号を生成するとき、音場を記述する要素の階層セット上で２次元パンニングを実行することと、を行うようにユニットを表し得る。

[0176] 水平面は、いくつかの事例では、球体幾何学的配置を２つの等しい部分に二等分し得る。図１６Ａは、本開示で説明される技法による、仮想スピーカーが上方にその上に投射される、水平面４０２によって二等分された球体４００を示している。仮想スピーカー３００Ａ〜３００Ｃ、ここで、下側の仮想スピーカー３００Ａ〜３００Ｃは、図１４Ａおよび図１４Ｂの例に関して上記で概説された方法で２次元プランニングを実行するより前に、上記で具陳された様式で水平面４０２上に投射される。球体４００を等しく二等分する水平面４０２上に投射されるものとして説明されているが、本技法は、仮想スピーカーを球体４００内の任意の水平面（たとえば仰角）に投射し得る。

[0177] 図１６Ｂは、本開示で説明される技法による、仮想スピーカーが下方にその上に投射される、水平面４０２によって二等分された球体４００を示している。図１６Ｂのこの例では、３Ｄレンダラ決定ユニット４８Ｃが、仮想スピーカー３００Ａ〜３００Ｃを水平面４０２に下に投射し得る。球体４００を等しく二等分する水平面４０２上に投射されるものとして説明されているが、本技法は、仮想スピーカーを球体４００内の任意の水平面（たとえば仰角）に投射し得る。

[0178] このようにして、本技法は、３Ｄレンダラ決定ユニット４８Ｃが、幾何学的配置で配置された複数の仮想スピーカーのうちの１つの位置に対して複数の物理スピーカーのうちの１つの位置を決定することと、決定された位置に基づいて幾何学的配置内の複数の仮想スピーカーのうちの１つの位置を調整することとを行うことを可能にし得る。

[0179] ３Ｄレンダラ決定ユニット４８Ｃは、第１の複数のラウドスピーカーチャネル信号を生成するとき、要素の階層セット上で２次元パンニングに加えて第１の変換を実行するようにさらに構成され得、ここにおいて、第１の複数のラウドスピーカーチャネル信号の各々は、対応する異なる空間領域に関連付けられる。この第１の変換は、上記の式においてＤ^-1として反映され得る。

[0180] ３Ｄレンダラ決定ユニット４８Ｃは、要素の階層セット上で２次元パンニングを実行するとき、第１の複数のラウドスピーカーチャネル信号を生成するときに要素の階層セット上で２次元ベクトルベース振幅パンニング（two dimensional vector base amplitude panning）を実行するようにさらに構成され得る。

[0181] いくつかの事例では、第１の複数のラウドスピーカーチャネル信号の各々は、対応する異なる定義された空間領域に関連付けられる。さらに、これらの異なる定義された空間領域は、オーディオフォーマット仕様およびオーディオフォーマット規格のうちの１つまたは複数において定義される。

[0182] ３Ｄレンダラ決定ユニット４８Ｃは、同じくまたは代替的に、仮想スピーカーが、球体幾何学的配置においてイヤレベルでまたはその近くで水平面の近くに球体幾何学的配置で配置されたとき、再現される音場が、仮想スピーカーのロケーションから発生するように思われる少なくとも１つの音を含むように、音場を再現する第１の複数のラウドスピーカーチャネル信号を生成するときに、音場を記述する要素の階層セット上で２次元パンニングを実行するように構成され得る。

[0183] このコンテキストでは、３Ｄレンダラ決定ユニット４８Ｃは、第１の複数のラウドスピーカーチャネル信号を生成するとき、要素の階層セット上で２次元パンニングに加えて（同じく上述のＤ^-1変換を指し得る）第１の変換を実行するようにさらに構成され得、ここで、第１の複数のラウドスピーカーチャネル信号の各々は、対応する異なる空間領域に関連付けられる。

[0184] その上、３Ｄレンダラ決定ユニット４８Ｃは、要素の階層セット上で２次元パンニングを実行するとき、第１の複数のラウドスピーカーチャネル信号を生成するときに要素の階層セット上で２次元ベクトルベース振幅パンニングを実行するようにさらに構成され得る。

[0185] いくつかの事例では、第１の複数のラウドスピーカーチャネル信号の各々は、対応する異なる定義された空間領域に関連付けられる。さらに、これらの異なる定義された空間領域は、オーディオフォーマット仕様およびオーディオフォーマット規格のうちの１つまたは複数において定義され得る。

[0186] 本開示で説明される技法の他の態様のいずれかの代替としてまたはそれと併せて、デバイス１０の１つまたは複数のプロセッサは、仮想スピーカーが、球体幾何学的配置を二等分する水平面の上側に球体幾何学的配置で配置されたとき、音場が、仮想スピーカーのロケーションから発生するように思われる少なくとも１つの音を含むように、音場を記述する第１の複数のラウドスピーカーチャネル信号を生成するときに要素の階層セット上で３次元パンニングを実行するようにさらに構成され得る。

[0187] この場合も、このコンテキストでは、３Ｄレンダラ決定ユニット４８Ｃは、第１の複数のラウドスピーカーチャネル信号を生成するとき、要素の階層セット上で３次元パンニングに加えて第１の変換を実行するようにさらに構成され得、ここにおいて、第１の複数のラウドスピーカーチャネル信号の各々は、対応する異なる空間領域に関連付けられる。

[0188] その上、３Ｄレンダラ決定ユニット４８Ｃは、要素の階層セット、第１の複数のラウドスピーカーチャネル信号上で３次元パンニングを実行するとき、第１の複数のラウドスピーカーチャネル信号を生成するときに要素の階層セット上で３次元ベクトルベース振幅パンニングを実行するようにさらに構成され得る。いくつかの事例では、第１の複数のラウドスピーカーチャネル信号の各々は、対応する異なる定義された空間領域に関連付けられる。さらに、これらの異なる定義された空間領域は、オーディオフォーマット仕様およびオーディオフォーマット規格のうちの１つまたは複数において定義され得る。

[0189] 本開示で説明される技法の他の態様のいずれかの代替としてまたはそれと併せて、３Ｄレンダラ決定ユニット４８Ｃは、要素の階層セットからの複数のラウドスピーカーチャネル信号の生成において３次元パンニングと２次元パンニングの両方を実行するとき、要素の階層セットの各々の次数に基づいて要素の階層セットに対して重み付けを実行するようにさらに構成され得る。

[0190] ３Ｄレンダラ決定ユニット４８Ｃは、重み付けを実行するとき、要素の階層セットの各々の次数に基づいて要素の階層セットに対してウィンドウ関数を実行するようにさらに構成され得る。このウィンドウ処理関数は図１７の例に示され得、ただし、ｙ軸はデシベルを反映し、ｘ軸はＳＨＣの次数を示す。その上、デバイス１０の１つまたは複数のプロセッサは、重み付けを実行するとき、要素の階層セットの各々の次数に基づいて要素の階層セットに対して、一例として、カイザーベッスルウィンドウ関数（Kaiser Bessle window function）を実行するようにさらに構成され得る。

[0191] これらの１つまたは複数のプロセッサは、各々、これらの１つまたは複数のプロセッサにあるとされる様々な機能を実行するための手段を表し得る。他の手段は、単独であるいは本開示で説明される技法の組合せで様々な態様を実行し得るソフトウェアを実行することに専用のまたはそれが可能な、専用特定用途向けハードウェア、フィールドプログラマブルゲートアレイ、特定用途向け集積回路または任意の他の形態のハードウェアを含み得る。

[0192] 本技法によって識別され、潜在的に解決される問題は、以下のように要約され得る。高次アンビソニックス／球面調和係数サラウンド音素材の忠実に再生にとって、ラウドスピーカーの配置は重要であり得る。理想的には、等距離のラウドスピーカーの３次元球体が望まれ得る。実世界では、現在のラウドスピーカーセットアップは、典型的には、１）等しく分散されず、２）聴取者の周りと上側の上半球にのみ存在し、下側の下半球には存在せず、３）レガシーサポート（たとえば、５．１スピーカーセットアップ）のために、通常は耳の高さにラウドスピーカーのリングを有する。この問題に対処し得る１つの戦略は、（以下で、「ｔ設計（t-design）」と呼ばれる）理想的なラウドスピーカーレイアウトを仮想的に作成すること、および、これらの仮想ラウドスピーカーを、３次元ベクトルベース振幅パンニング（３Ｄ−ＶＢＡＰ）方法を介して現実の（非理想的に配置された）ラウドスピーカー上に投射することである。たとえそうでも、下半球からの仮想ラウドスピーカーの投射により、再生の品質を劣化させる強度の定位誤差および他の知覚アーティファクトが生じ得るので、これは問題への最適な解決策を表さないことがある。

[0193] 本開示で説明される技法の様々な態様は、上記で概説された戦略の欠陥を克服し得る。本技法は、以下のように、仮想ラウドスピーカー信号の様々な取扱いを提供し得る。本技法の第１の態様は、デバイス１０が、２次元パンニング方法を使用して、下半球から水平面上に来て２つの最も近い現実のラウドスピーカー上に投射される仮想ラウドスピーカーを直交してマッピングすることを可能にし得る。その結果、本技法の第１の態様は、間違って投射された仮想ラウドスピーカーによって引き起こされる定位誤差を最小化、低減または除去し得る。第２に、耳の高さ（またはその周り）にある上半球中の仮想ラウドスピーカーも、本開示で説明される技法の第２の態様に従って２次元パンニング方法を使用して、２つの最も近いラウドスピーカーに投射され得る。この第２の修正形態の背後にある理由は、人間は、アジマス方向の知覚と比較して、仰角の音源の知覚はそれほど正確でないことがあるからであり得る。ＶＢＡＰは、仮想音源のアジマス方向の作成は正確であることが概して知られているが、仰角の音の作成は比較的不正確であり、しばしば、知覚される仮想音源は、意図されたよりも高い仰角で知覚される。本技法の第２の態様は、それから恩恵を受けることがなく品質の劣化さえ生じるであろう、空間エリア中で３Ｄ−ＶＢＡＰを使用することを回避する。

[0194] 本技法の第３の態様は、イヤレベルの上側の上半球のすべての残りの仮想ラウドスピーカーが、従来の３次元パンニング方法を使用して投射されることである。いくつかの事例では、本技法の第４の態様が実行され得、ここでは、すべての高次アンビソニックス／球面調和係数サラウンド音素材は、素材のより滑らかな空間再現を高めるために、球面調和次数の関数として重み付け関数を使用して重み付けされる。これは、２Ｄおよび３Ｄパンニングされた仮想ラウドスピーカーのエネルギーを整合させるために潜在的に有益であることが示されている。

[0195] 本開示で説明される技法の各態様を実行するものとして示されているが、３Ｄレンダラ決定ユニット４８Ｃは、本開示で説明される態様の任意の組合せを実行し、上記４つの態様のうちの１つまたは複数を実行し得る。いくつかの事例では、球面調和係数を生成する異なるデバイスが、本技法の様々な態様を相互的様式で実行し得る。冗長性を回避するために詳細に説明されていないが、本開示の技法は、図１４Ａの例に厳密に限定されるべきではない。

[0196] 上記のセクションでは、５．１互換システムのための設計について論じた。詳細は、異なるターゲットフォーマットのために相応に調整され得る。一例として、７．１システムのための互換性を可能にするために、行列が可逆になるように、２つの余分のオーディオコンテンツチャネルが互換要件に追加され、２つのさらなるＳＨＣが基本セットに追加され得る。７．１システムのための大多数のラウドスピーカー配置（たとえば、ドルビーＴｒｕｅＨＤ）は依然として水平面上にあるので、ＳＨＣの選択は、高さ情報による選択を依然として除外することができる。このようにして、水平面信号レンダリングは、レンダリングシステム中の追加されたラウドスピーカーチャネルから恩恵を受けることになる。高さダイバーシティをもつラウドスピーカーを含むシステム（たとえば、９．１、１１．１および２２．２システム）では、高さ情報をもつＳＨＣを基本セット中に含めることが望ましいることがある。ステレオおよびモノのようにより少ないチャネル数では、既存の５．１ソリューション インは、コンテンツ情報を維持するためにダウンミックス（downmix）をカバーするのに十分であり得る。

[0197] このように、上記のことは、要素の階層セット（たとえば、ＳＨＣのセット）と、複数のオーディオチャネルとの間で変換するためのロスレス機構を表す。マルチチャネルオーディオ信号がさらなるコーディング雑音を受けない限り、どんな誤差も発生しない。それらがコーディング雑音を受ける場合、ＳＨＣへの変換は誤差を発生し得る。しかしながら、それらの影響を低減するために係数の値を監視し、適切なアクションを取ることによって、これらの誤差をなくすことが可能である。これらの方法は、ＳＨＣ表現における固有の冗長性を含む、ＳＨＣの特性を考慮に入れ得る。

[0198] 本明細書で説明される手法は、音場のＳＨＣベースの表現の使用における潜在的欠点に対する解決策を提供する。この解決策がなければ、何百万ものレガシー再生システムにおいて機能を有することが可能ではないことによって強いられる顕著な欠点により、ＳＨＣベースの表現は展開されないであろう。

[0199]したがって、本技法は、第１の例では、複数の物理スピーカーのうちの１つと幾何学的配置で配置された複数の仮想スピーカーのうちの１つとの間の位置の差を決定するための手段、たとえば、レンダラ決定ユニット４０と、位置の決定された差に基づいて、および複数の仮想スピーカーを複数の物理スピーカーにマッピングするより前に、幾何学的配置内の複数の仮想スピーカーのうちの１つの位置を調整するための手段、たとえば、レンダラ決定ユニット４０とを備えるデバイスを提供し得る。

[0200] 第２の例では、第１の例のデバイス、ここにおいて、位置の差を決定するための手段は、複数の物理スピーカーのうちの１つと複数の仮想スピーカーのうちの１つとの間の仰角の差を決定するための手段、たとえば、３Ｄレンダラ決定ユニット４８Ｃを備える。

[0201] 第３の例では、第１の例のデバイス、ここにおいて、図８Ａ〜図９および図１４Ａ〜図１６Ｂの例に関して上記でより詳細に説明されたように、位置の差を決定するための手段は、複数の物理スピーカーのうちの１つと複数の仮想スピーカーのうちの１つとの間の仰角の差を決定するための手段を備え、およびここにおいて、複数の仮想スピーカーのうちの１つの位置を調整するための手段は、仰角の決定された差がしきい値を超えるとき、複数の仮想スピーカーのうちの１つを複数の仮想スピーカーの元の仰角よりも低い仰角に投射するための手段を備える。

[0202] 第４の例では、第１の例のデバイス、ここにおいて、図８Ａ〜図９および図１４Ａ〜図１６Ｂの例に関して上記でより詳細に説明されたように、位置の差を決定するための手段は、複数の物理スピーカーのうちの１つと複数の仮想スピーカーのうちの１つとの間の仰角の差を決定するための手段を備え、およびここにおいて、複数の仮想スピーカーのうちの１つの位置を調整するための手段は、仰角の決定された差がしきい値を超えるとき、複数の仮想スピーカーのうちの１つを複数の仮想スピーカーのうちの１つの元の仰角よりも高い仰角に投射するための手段を備える。

[0203] 第５の例では、図８Ａおよび図８Ｂの例に関して上記でより詳細に説明されたように、再現される音場が、仮想スピーカーの調整されたロケーションから発生するように思われる少なくとも１つの音を含むように、音場を再現するために、複数の物理スピーカーを駆動するための複数のラウドスピーカーチャネル信号を生成するとき、音場を記述する要素の階層セット上で２次元パンニングを実行するための手段をさらに備える、第１の例のデバイス。

[0204] 第６の例では、第５の例のデバイス、ここにおいて、要素の階層セットは、複数の球面調和係数を備える。

[0205] 第７の例では、第５の例のデバイス、ここにおいて、図８Ａおよび図８Ｂの例に関して上記でより詳細に説明されたように、要素の階層セット上で２次元パンニングを実行するための手段は、複数のラウドスピーカーチャネル信号を生成するとき、要素の階層セット上で２次元ベクトルベースの振幅パンニングを実行するための手段を備える。

[0206] 第８の例では、図８Ａ〜図１２Ｂの例に関して上記でより詳細に説明されたように、複数の物理スピーカーのうちの対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するための手段をさらに備える、第１の例のデバイス。

[0207] 第９の例では、図８Ａ〜図１２Ｂの例に関して上記でより詳細に説明されたように、複数の物理スピーカーのうちの対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するための手段をさらに備える、第１の例のデバイス、ここにおいて、位置の差を決定するための手段は、複数の仮想スピーカーのうちの１つの位置に対して、伸長された物理スピーカー位置のうちの少なくとも１つとの間の差を決定するための手段を備える。

[0208] 第１０の例では、図８Ａ〜図１２Ｂおよび図１４Ａ〜図１６Ｂの例に関して上記でより詳細に説明されたように、複数の物理スピーカーのうちの対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するための手段をさらに備える、第１の例のデバイス、ここにおいて、位置の差を決定するための手段は、伸長された物理スピーカー位置のうちの少なくとも１つと複数の仮想スピーカーのうちの１つの位置との間の仰角の差を決定するための手段を備え、およびここにおいて、複数の仮想スピーカーのうちの１つの位置を調整するための手段は、仰角の決定された差がしきい値を超えるとき、複数の仮想スピーカーのうちの１つを複数の仮想スピーカーの元の仰角よりも低い仰角に投射するための手段を備える。

[0209] 第１１の例では、図８Ａ〜図１２Ｂおよび図１４Ａ〜図１６Ｂの例に関して上記でより詳細に説明されたように、複数の物理スピーカーのうちの対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するための手段をさらに備える、第１の例のデバイス、ここにおいて、位置の差を決定するための手段は、伸長された物理スピーカー位置のうちの少なくとも１つと複数の仮想スピーカーのうちの１つの位置との間の仰角の差を決定するための手段を備え、およびここにおいて、複数の仮想スピーカーのうちの１つの位置を調整するための手段は、仰角の決定された差がしきい値を超えるとき、複数の仮想スピーカーのうちの１つを複数の仮想スピーカーの元の仰角よりも高い仰角に投射するための手段を備える。

[0210] 第１２の例では、第１の例のデバイス、ここにおいて、図８Ａ〜図１２Ｂおよび図１４Ａ〜図１６Ｂの例に関して上記でより詳細に説明されたように、複数の仮想スピーカーは、球面幾何学的配置（spherical geometry）で配置される。

[0211] 第１３の例では、第１の例のデバイス、ここにおいて、複数の仮想スピーカーは、多面体幾何学的配置（polyhedron geometry）で配置される。説明を簡単にするために、本開示の図１〜図１７によって示される例のいずれにおいても図示されていないが、本技法は、いくつかの例を提供すれば、立方幾何学的配置、１２面体幾何学的配置、２０・１２面体幾何学的配置、菱形３０面体幾何学的配置、プリズム幾何学的配置、およびピラミッド幾何学的配置など、任意の形態の多面体幾何学的配置を含む、任意の仮想スピーカー幾何学的配置に関して実行され得る。

[0212] 第１４の例では、第１の例のデバイス、ここにおいて、複数の物理スピーカーは、不規則なスピーカー幾何学的配置で配置される。

[0213] 第１５の例では、第１の例のデバイス、ここにおいて、複数の物理スピーカーは、複数の異なる水平面上に不規則なスピーカー幾何学的配置で配置される。

[0214] 例に応じて、本明細書で説明された方法のいずれかのいくつかの行為またはイベントは、異なる順序で実行され得、互いに付加、統合、または除外され得る（たとえば、すべての説明された行為またはイベントが、方法の実行のために必要であるとは限らない）ことを理解されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて、同時に実行され得る。さらに、本開示のいくつかの態様は、明快のために単一のデバイス、モジュールまたはユニットによって実行されるものとして説明されているが、本開示の技法は、デバイス、ユニットまたはモジュールの組合せによって実行され得ることを理解されたい。

[0215] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。

[0216] このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0217] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。

[0218] ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0219] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ（processor）」という用語は、前述の構造、または本明細書で説明された技法の実装に適した任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において完全に実装され得る。

[0220] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示された技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明されたが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、または相互動作ハードウェアユニットの集合によって提供され得る。

[0221] 本技法の様々な実施形態が説明された。これらおよび他の実施形態は以下の特許請求の範囲内に入る。

[0101] ３Ｄレンダラ決定ユニット４８Ｃは、仮想スピーカーが、下半球と上半球とのための半球データにおいて指定された上側と下側の水平バンド値内にあるかどうかを決定し得る（２１６）。仮想スピーカーがこれらのバンド値内にあるとき（「ＹＥＳ」２１６）、３Ｄレンダラ決定ユニット４８Ｃは、これらの仮想スピーカーの仰角を０に設定する（２１８）。言い換えれば、３Ｄレンダラ決定ユニット４８Ｃは、いわゆる「スイートスポット」の周りの球体を二等分する中間水平面に近い下半球と上半球とにおける仮想スピーカーを識別し、この水平面上にこれらの仮想スピーカーのロケーションがあるように設定し得る。これらの仮想スピーカーロケーションを０に設定した後に、または仮想スピーカーが上側と下側の水平バンド値内にないとき（「ＮＯ」２１６）、３Ｄレンダラ決定ユニット４８Ｃは、中間水平面に沿って仮想スピーカーを現実のスピーカーにマッピングするために使用される３Ｄレンダラの水平面部分を生成するために、３Ｄ ＶＢＡＰパンニング（または仮想スピーカーを現実のスピーカーにマッピングする任意の他の形態または方法）を実行し得る（２２０）。

[0126] 仰角の最大絶対値が７０よりも大きいとき（「ＹＥＳ」２８０）、３Ｄレンダラ決定ユニット４８Ｃは、０に等しい伸長値と、仰角の絶対値の最大値の符号付き形式に等しい２Ｄパンニング限界と、０に等しい水平バンド値とを含む半球データを決定し得る（２８２）。仰角の最大絶対値が７０よりも小さいかまたはそれに等しいとき（「ＮＯ」２８０）、３Ｄレンダラ決定ユニット４８Ｃは、１０−仰角の最大絶対値×７０×１０に等しい伸長値と、仰角の絶対値の最大値の符号付き形式−伸長値に等しい２Ｄパンニング限界と、仰角の最大絶対値の符号付き形式×０．１に等しい水平バンド値とを含む半球データを決定し得る（２８４）。

[0147] 図１３Ａ〜図１３Ｄは、本開示で説明される技法に従って形成されるビットストリーム３１Ａ〜３１Ｄを示す図である。図１３Ａの例では、ビットストリーム３１Ａは、図３の例に示されたビットストリーム３１の一例を表し得る。ビットストリーム３１Ａは、信号値５４を定義する１つまたは複数のビットを含むオーディオレンダリング情報３９Ａを含む。この信号値５４は、以下で説明されるタイプの情報の任意の組合せを表し得る。ビットストリーム３１Ａはまた、オーディオコンテンツ２９の一例を表し得るオーディオコンテンツ５８を含む。

[0151] 抽出デバイス３８は、アルゴリズムインデックス５４Ｅを抽出し、行列がビットストリーム３１Ｃ中に含まれることをアルゴリズムインデックス５４Ｅがシグナリングするかどうかを決定し得る（ここで、００００または１１１１など、いくつかのインデックス値は、行列が明示的にビットストリーム３１Ｃ中で指定されていることをシグナリングし得る）。図８Ｃの例では、ビットストリーム３１Ｃは、行列が明示的にビットストリーム３１Ｃ中で指定されていないことをシグナリングするアルゴリズムインデックス５４Ｅを含む。その結果、抽出デバイス３８は、アルゴリズムインデックス５４Ｅをオーディオ再生デバイスに転送し、オーディオ再生デバイスは、（利用可能な場合は）対応する１つ、（図３および図４の例ではレンダラ３４として示されている）レンダリングアルゴリズムを選択する。図１３Ｃの例では、ビットストリーム３１Ｃ中でオーディオレンダリング情報３９Ｃを１回シグナリングするものとして示されているが、オーディオレンダリング情報３９Ｃは、ビットストリーム３１Ｃ中で複数回シグナリングされるか、あるいは少なくとも部分的にまたは完全に別個のアウトオブバンドチャネル中で（いくつかの事例では随意のデータとして）シグナリングされ得る。

[0153] 抽出デバイス３８は、行列インデックス５０Ｆを抽出し、行列がビットストリーム３１Ｄ中に含まれることを行列インデックス５４Ｆがシグナリングするかどうかを決定し得る（ここで、００００または１１１１など、いくつかのインデックス値は、行列が明示的にビットストリーム３１Ｃ中で指定されていることをシグナリングし得る）。図１３Ｄの例では、ビットストリーム３１Ｄは、行列が明示的にビットストリーム３１Ｄ中で指定されていないことをシグナリングする行列インデックス５４Ｆを含む。その結果、抽出デバイス３８は、行列インデックス５４Ｆをオーディオ再生デバイスに転送し、オーディオ再生デバイスは、（利用可能な場合は）対応する１つ、レンダラ３４を選択する。図１３Ｄの例では、ビットストリーム３１Ｄ中でオーディオレンダリング情報３９Ｄを１回シグナリングするものとして示されているが、オーディオレンダリング情報３９Ｄは、ビットストリーム３１Ｄ中で複数回シグナリングされるか、あるいは少なくとも部分的にまたは完全に別個のアウトオブバンドチャネル中で（いくつかの事例では随意のデータとして）シグナリングされ得る。

[0221] 本技法の様々な実施形態が説明された。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
幾何学的配置で配置された複数の仮想スピーカーのうちの１つと複数の物理スピーカーのうちの１つとの間の位置の差を決定することと、
位置の前記決定された差に基づいて、および前記複数の仮想スピーカーを前記複数の物理スピーカーにマッピングするより前に、前記幾何学的配置内の前記複数の仮想スピーカーのうちの前記１つの位置を調整することとを備える方法。
［Ｃ２］
位置の前記差を決定することが、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定することを備える、Ｃ１に記載の方法。
［Ｃ３］
位置の前記差を決定することが、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定することを備え、
前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射することを備える、Ｃ１に記載の方法。
［Ｃ４］
位置の前記差を決定することが、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定することを備え、
前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーのうちの前記１つの元の仰角よりも高い仰角に投射することを備える、Ｃ１に記載の方法。
［Ｃ５］
再現される音場が、前記仮想スピーカーの前記調整されたロケーションから発生するように思われる少なくとも１つの音を含むように、前記音場を再現するために、前記複数の物理スピーカーを駆動するための複数のラウドスピーカーチャネル信号を生成するとき、前記音場を記述する要素の階層セット上で２次元パンニングを実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ６］
要素の前記階層セットが、複数の球面調和係数を備える、Ｃ５に記載の方法。
［Ｃ７］
要素の前記階層セット上で２次元パンニングを実行することが、前記複数のラウドスピーカーチャネル信号を生成するとき、要素の前記階層セット上で２次元ベクトルベース振幅パンニングを実行することを備える、Ｃ５に記載の方法。
［Ｃ８］
前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備え、
ここにおいて、位置の前記差を決定することが、前記複数の仮想スピーカーのうちの前記１つの前記位置に対して前記伸長された物理スピーカー位置のうちの少なくとも１つとの間の差を決定することを備える、Ｃ１に記載の方法。
［Ｃ１０］
前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備え、
ここにおいて、位置の前記差を決定することが、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定することを備え、および
ここにおいて、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射することを備える、Ｃ１に記載の方法。
［Ｃ１１］
前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備え、
ここにおいて、位置の前記差を決定することが、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定することを備え、および
ここにおいて、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも高い仰角に投射することを備える、Ｃ１に記載の方法。
［Ｃ１２］
前記複数の仮想スピーカーが、球面幾何学的配置で配置された、Ｃ１に記載の方法。
［Ｃ１３］
前記複数の仮想スピーカーが、多面体幾何学的配置で配置された、Ｃ１に記載の方法。
［Ｃ１４］
前記複数の物理スピーカーが、不規則なスピーカー幾何学的配置で配置された、Ｃ１に記載の方法。
［Ｃ１５］
前記複数の物理スピーカーが、複数の異なる水平面上に不規則なスピーカー幾何学的配置で配置された、Ｃ１に記載の方法。
［Ｃ１６］
幾何学的配置で配置された複数の仮想スピーカーのうちの１つと複数の物理スピーカーのうちの１つとの間の位置の差を決定することと、位置の前記決定された差に基づいて、および前記複数の仮想スピーカーを前記複数の物理スピーカーにマッピングするより前に、前記幾何学的配置内の前記複数の仮想スピーカーのうちの前記１つの位置を調整することとを行うように構成された１つまたは複数のプロセッサを備えるデバイス。
［Ｃ１７］
前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ１８］
前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定するようにさらに構成され、
前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ１９］
前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定するようにさらに構成され、
前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーのうちの前記１つの元の仰角よりも高い仰角に投射するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ２０］
前記１つまたは複数のプロセッサは、再現される音場が、前記仮想スピーカーの前記調整されたロケーションから発生するように思われる少なくとも１つの音を含むように、前記音場を再現するために、前記複数の物理スピーカーを駆動するための複数のラウドスピーカーチャネル信号を生成するとき、前記音場を記述する要素の階層セット上で２次元パンニングを実行するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ２１］
要素の前記階層セットが、複数の球面調和係数を備える、Ｃ２０に記載のデバイス。
［Ｃ２２］
前記１つまたは複数のプロセッサが、要素の前記階層セット上で２次元パンニングを実行するとき、前記複数のラウドスピーカーチャネル信号を生成するときに要素の前記階層セット上で２次元ベクトルベース振幅パンニングを実行するようにさらに構成された、Ｃ２０に記載のデバイス。
［Ｃ２３］
前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ２４］
前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成され、
ここにおいて、前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の仮想スピーカーのうちの前記１つの前記位置に対して前記伸長された物理スピーカー位置のうちの少なくとも１つとの間の差を決定するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ２５］
前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成され、
ここにおいて、前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定するようにさらに構成され、および
ここにおいて、前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ２６］
前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成され、
ここにおいて、前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定するようにさらに構成され、および
ここにおいて、前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも高い仰角に投射するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ２７］
前記複数の仮想スピーカーが、球面幾何学的配置で配置された、Ｃ１６に記載のデバイス。
［Ｃ２８］
前記複数の仮想スピーカーが、多面体幾何学的配置で配置された、Ｃ１６に記載のデバイス。
［Ｃ２９］
前記複数の物理スピーカーが、不規則なスピーカー幾何学的配置で配置された、Ｃ１６に記載のデバイス。
［Ｃ３０］
前記複数の物理スピーカーが、複数の異なる水平面上に不規則なスピーカー幾何学的配置で配置された、Ｃ１６に記載のデバイス。

Claims (30)

1. 幾何学的配置で配置された複数の仮想スピーカーのうちの１つと複数の物理スピーカーのうちの１つとの間の位置の差を決定することと、
   位置の前記決定された差に基づいて、および前記複数の仮想スピーカーを前記複数の物理スピーカーにマッピングするより前に、前記幾何学的配置内の前記複数の仮想スピーカーのうちの前記１つの位置を調整することと
   を備える方法。
2. 位置の前記差を決定することが、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定することを備える、請求項１に記載の方法。
3. 位置の前記差を決定することが、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定することを備え、
   前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射することを備える、
   請求項１に記載の方法。
4. 位置の前記差を決定することが、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定することを備え、
   前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーのうちの前記１つの元の仰角よりも高い仰角に投射することを備える、
   請求項１に記載の方法。
5. 再現される音場が、前記仮想スピーカーの前記調整されたロケーションから発生するように思われる少なくとも１つの音を含むように、前記音場を再現するために、前記複数の物理スピーカーを駆動するための複数のラウドスピーカーチャネル信号を生成するとき、前記音場を記述する要素の階層セット上で２次元パンニングを実行することをさらに備える、請求項１に記載の方法。
6. 要素の前記階層セットが、複数の球面調和係数を備える、請求項５に記載の方法。
7. 要素の前記階層セット上で２次元パンニングを実行することが、前記複数のラウドスピーカーチャネル信号を生成するとき、要素の前記階層セット上で２次元ベクトルベース振幅パンニングを実行することを備える、請求項５に記載の方法。
8. 前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備える、請求項１に記載の方法。
9. 前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備え、
   ここにおいて、位置の前記差を決定することが、前記複数の仮想スピーカーのうちの前記１つの前記位置に対して前記伸長された物理スピーカー位置のうちの少なくとも１つとの間の差を決定することを備える、
   請求項１に記載の方法。
10. 前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備え、
    ここにおいて、位置の前記差を決定することが、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定することを備え、および
    ここにおいて、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射することを備える、
    請求項１に記載の方法。
11. 前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定することをさらに備え、
    ここにおいて、位置の前記差を決定することが、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定することを備え、および
    ここにおいて、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整することは、仰角の前記決定された差がしきい値を超えるとき、前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも高い仰角に投射することを備える、
    請求項１に記載の方法。
12. 前記複数の仮想スピーカーが、球面幾何学的配置で配置された、請求項１に記載の方法。
13. 前記複数の仮想スピーカーが、多面体幾何学的配置で配置された、請求項１に記載の方法。
14. 前記複数の物理スピーカーが、不規則なスピーカー幾何学的配置で配置された、請求項１に記載の方法。
15. 前記複数の物理スピーカーが、複数の異なる水平面上に不規則なスピーカー幾何学的配置で配置された、請求項１に記載の方法。
16. 幾何学的配置で配置された複数の仮想スピーカーのうちの１つと複数の物理スピーカーのうちの１つとの間の位置の差を決定することと、位置の前記決定された差に基づいて、および前記複数の仮想スピーカーを前記複数の物理スピーカーにマッピングするより前に、前記幾何学的配置内の前記複数の仮想スピーカーのうちの前記１つの位置を調整することとを行うように構成された１つまたは複数のプロセッサ
    を備えるデバイス。
17. 前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定するようにさらに構成された、請求項１６に記載のデバイス。
18. 前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定するようにさらに構成され、
    前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射するようにさらに構成された、
    請求項１６に記載のデバイス。
19. 前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の物理スピーカーのうちの前記１つと前記複数の仮想スピーカーのうちの前記１つとの間の仰角の差を決定するようにさらに構成され、
    前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーのうちの前記１つの元の仰角よりも高い仰角に投射するようにさらに構成された、
    請求項１６に記載のデバイス。
20. 前記１つまたは複数のプロセッサは、再現される音場が、前記仮想スピーカーの前記調整されたロケーションから発生するように思われる少なくとも１つの音を含むように、前記音場を再現するために、前記複数の物理スピーカーを駆動するための複数のラウドスピーカーチャネル信号を生成するとき、前記音場を記述する要素の階層セット上で２次元パンニングを実行するようにさらに構成された、請求項１６に記載のデバイス。
21. 要素の前記階層セットが、複数の球面調和係数を備える、請求項２０に記載のデバイス。
22. 前記１つまたは複数のプロセッサが、要素の前記階層セット上で２次元パンニングを実行するとき、前記複数のラウドスピーカーチャネル信号を生成するときに要素の前記階層セット上で２次元ベクトルベース振幅パンニングを実行するようにさらに構成された、請求項２０に記載のデバイス。
23. 前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成された、請求項１６に記載のデバイス。
24. 前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成され、
    ここにおいて、前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記複数の仮想スピーカーのうちの前記１つの前記位置に対して前記伸長された物理スピーカー位置のうちの少なくとも１つとの間の差を決定するようにさらに構成された、
    請求項１６に記載のデバイス。
25. 前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成され、
    ここにおいて、前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定するようにさらに構成され、および
    ここにおいて、前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも低い仰角に投射するようにさらに構成された、
    請求項１６に記載のデバイス。
26. 前記１つまたは複数のプロセッサが、前記複数の物理スピーカーのうちの前記対応する１つまたは複数の位置とは異なる１つまたは複数の伸長された物理スピーカー位置を決定するようにさらに構成され、
    ここにおいて、前記１つまたは複数のプロセッサが、位置の前記差を決定するとき、前記伸長された物理スピーカー位置のうちの少なくとも１つと前記複数の仮想スピーカーのうちの前記１つの前記位置との間の仰角の差を決定するようにさらに構成され、および
    ここにおいて、前記１つまたは複数のプロセッサは、前記複数の仮想スピーカーのうちの前記１つの前記位置を調整するとき、仰角の前記決定された差がしきい値を超えるときに前記複数の仮想スピーカーのうちの前記１つを前記複数の仮想スピーカーの元の仰角よりも高い仰角に投射するようにさらに構成された、
    請求項１６に記載のデバイス。
27. 前記複数の仮想スピーカーが、球面幾何学的配置で配置された、請求項１６に記載のデバイス。
28. 前記複数の仮想スピーカーが、多面体幾何学的配置で配置された、請求項１６に記載のデバイス。
29. 前記複数の物理スピーカーが、不規則なスピーカー幾何学的配置で配置された、請求項１６に記載のデバイス。
30. 前記複数の物理スピーカーが、複数の異なる水平面上に不規則なスピーカー幾何学的配置で配置された、請求項１６に記載のデバイス。