JP2012133366A

JP2012133366A - 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置

Info

Publication number: JP2012133366A
Application number: JP2011278172A
Authority: JP
Inventors: Jax Peter; ジャックスピーター; Batke Johann-Markus; バトケヨハン−マルクス; Johannes Boehm; ベームヨハネス; Sven Kordon; コルドンスベン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2010-12-21
Filing date: 2011-12-20
Publication date: 2012-07-12
Anticipated expiration: 2031-12-20
Also published as: EP3468074B1; KR102010914B1; EP4343759A2; JP2018116310A; KR20180115652A; US20120155653A1; JP2022016544A; EP3468074A1; JP6022157B2; US9397771B2; JP6335241B2; KR102131748B1; EP2469742B1; EP4343759A3; EP4007188A1; EP2469742A3; KR20190096318A; EP4007188B1; KR20120070521A; JP2016224472A

Abstract

【課題】高次アンビソニックス（HOA）技術を使う空間オーディオ・シーンの表現は典型的には、時刻毎に多数の係数を要求する。このデータ・レートは、オーディオ信号のリアルタイム送信を要求する大半の実際上のアプリケーションにとって高すぎる。
【解決手段】本発明によれば、HOA領域の代わりに空間領域において圧縮が実行される。(N＋1)²個の入力HOA係数が空間領域における(N＋1)²個の等価な信号に変換され、結果として得られる(N＋1)²個の時間領域信号が並列な知覚的コーデックのバンクに入力される。デコーダ側では、個々の空間領域信号がデコードされ、空間領域係数がもとのHOA領域に変換されて、もとのHOA表現が復元される。
【選択図】図８

Description

本発明は、二次元または三次元音場の高次アンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置に関する。

アンビソニックス（Ambisonics）は一般にいかなる特定のスピーカーまたはマイクロホン・セットアップからも独立である音場記述を提供するために球面調和関数に基づく特定の係数を使用する。これは、合成シーンの音場の記録または生成の際のスピーカー位置についての情報を必要としない記述につながる。アンビソニックス・システムにおける再生精度はその次数Nによって修正されることができる。その次数により、3Dシステムのために、音場を記述するための必要とされるオーディオ情報チャンネルの数が決定されることができる。というのも、これは球面調和関数基底の数に依存するからである。係数またはチャンネルの数OはO＝(N＋1)²である。

高次アンビソニックス（HOA: higher-order Ambisonics）技術（すなわち、次数２またはそれ以上）を使う複雑な空間オーディオ・シーンの表現は典型的には、時刻毎に多数の係数を要求する。各係数はかなりの分解能を、典型的には24ビット／係数以上をもつべきである。したがって、生のHOAフォーマットのオーディオ・シーンを送信するために必要とされるデータ・レートは高い。一例として、三次のHOA信号、たとえばアイゲンマイク（EigenMike）録音システムを用いて記録されたものは、(3＋1)²個の係数×44100Hz×24ビット／係数＝16.15Mbit/s〔メガビット毎秒〕の帯域幅を必要とする。現在のところ、このデータ・レートは、オーディオ信号のリアルタイム送信を要求する大半の実際上のアプリケーションにとって高すぎる。よって、実際的に有意なHOA関係のオーディオ処理システムのために圧縮技術が望まれる。

高次のアンビソニックスは、オーディオ・シーンの取り込み、操作および記憶を許容する数学的なパラダイムである。音場は、フーリエ・ベッセル級数によって、空間におけるある基準点およびそのまわりにおいて近似される。HOA係数はこの特定の根底にある数学を有するので、最適な符号化効率を得るには、特定の圧縮技法を適用する必要がある。冗長性および音響心理学の両方の側面を取り入れるべきであり、複雑な空間的オーディオ・シーンについて、従来のモノもしくはマルチ・チャンネル信号の場合とは異なる仕方で機能することが期待できる。確立されているオーディオ・フォーマットへの一つの具体的な相違は、HOA表現内のすべての「チャンネル」が空間における同じ基準位置をもって計算されるということである。よって、優勢な音オブジェクトがほとんどないオーディオ・シーンについては少なくとも、HOA係数の間のかなりのコヒーレンスが期待できる。

HOA信号の不可逆圧縮〔損失のある圧縮〕については公開されている技法はほとんどない。その大半は、典型的には圧縮を制御するために音響心理学モデルが利用されていないので、知覚符号化（perceptual coding）のカテゴリーに入れることはできない。それとは対照的に、いくつかの既存の方式はオーディオ・シーンの、根底にあるモデルのパラメータへの分解を使う。

〈一次ないし三次のアンビソニックス伝送のための初期のアプローチ〉
アンビソニックスの理論は1960年代以来オーディオ制作および消費のために使われてきたが、現在に至るまで、用途はほとんど一次または二次のコンテンツに限定されていた。いくつかのディストリビューション・フォーマットが使われてきた。特に次のものである。

・Bフォーマット：このフォーマットは、研究者、制作者およびマニアの間のコンテンツの交換のために使われる、標準的な業務向け生信号フォーマットである。典型的には、これは、係数の特定の規格化をもつ一次のアンビソニックスに関係するが、三次までの規格も存在する。

・Bフォーマットの近年の高次変形では、SN3Dのような修正された規格化方式および特別な重み付け規則、たとえばファース・マラム（Furse-Malham）別名FuMaまたはFMHセットが、典型的にはアンビソニックス係数データの諸部分の振幅のダウンスケーリングを与える。受信側ではデコード前に、逆のアップスケーリング操作がテーブル・ルックアップによって実行される。

・UHJフォーマット（別名Cフォーマット）：これは、既存のモノまたは２チャンネル・ステレオ経路を介して消費者に一次のアンビソニックス・コンテンツを送達するために適用可能な、階層的なエンコードされた信号フォーマットである。左および右の２チャンネルがあれば、オーディオ・シーンの完全な水平方向のサラウンド表現が、完全な水平分解能はないとはいえ、実現可能である。任意的な第三のチャンネルは水平面内の空間分解能を改善し、任意的な第四のチャンネルは高さ次元を加える。

・Gフォーマット：このフォーマットは、特定のアンビソニックス・デコーダを家庭で使う必要なしに、アンビソニックス・フォーマットで制作されたコンテンツを誰にでも利用可能にするために創り出された。標準的な５チャンネル・ラウンド・セットアップへのデコードは、すでに制作側で実行される。デコード動作が標準化されていないので、もとのBフォーマット・アンビソニックス・コンテンツの信頼できる再構成は可能ではない。

・Dフォーマット：このフォーマットは、任意のアンビソニックス・デコーダによって制作されたデコードされたスピーカー信号の組をいう。デコードされた信号は特定のスピーカー幾何に依存し、デコーダ設計の個別事情に依存する。Gフォーマットは、特定の５チャンネル・サラウンド・セットアップに言及するので、Dフォーマット定義のサブセットである。

上述のアプローチのいずれも、圧縮を念頭に設計されたものではない。上記のフォーマットのいくつかは、既存の、低容量伝送経路（たとえばステレオ・リンク）を利用するため、よって暗黙的には伝送のためのデータ・レートを減らすために、調整されている。しかしながら、ダウンミックスされた信号はもとの入力信号情報のかなりの部分を欠いている。よって、アンビソニックス・アプローチの柔軟性および普遍性が失われる。

〈方向性オーディオ符号化〉
2005年ごろ、DirAC（directional audio coding［方向性オーディオ符号化］）技術が開発された。これは、シーンを時間および周波数毎の一つの優勢な音オブジェクトと環境音に分解するためのターゲットに関するシーン解析に基づく。シーン解析は音場の瞬時強度ベクトルの評価に基づく。シーンの二つの部分が、直接音がどこからくるかについての位置情報とともに伝送される。受信機では、時間‐周波数ペイン毎の単一の優勢な音源がベクトル・ベースの振幅パニング（VBAP: vector based amplitude panning）を使って再生される。さらに、相関解除された（de-correlated）環境音が、副情報（side information）として伝送された比に従って生成される。DirAC処理は図１に描かれている。ここで、入力信号はBフォーマットをもつ。DirAcは、単一源＋環境信号モデルを用いたパラメトリック符号化の具体的な方法と解釈することができる。伝送の品質は、モデルの想定がその特定の圧縮されたオーディオ・シーンについて成り立つかどうかに強く依存する。さらに、音解析段階における直接音および／または環境音の何らかの誤った検出は、デコードされたオーディオ・シーンの再生の品質に影響しうる。今日まで、DirACは一次のアンビソニックス・コンテンツについてしか記述されていない。

〈HOA係数の直接圧縮〉
2000年代終わりに、HOA信号の知覚的および可逆的〔損失のない〕圧縮が提案されている。

・可逆的符号化のためには、非特許文献１、２に記載されるように、異なるアンビソニックス係数の間の相互相関が、HOA信号の冗長性を減らすために活用される。エンコードされるべき係数の次数までの先行する係数の重み付けされた組み合わせから、特定の次数の現在の係数を予測する後ろ向き適応予測（backward adaptive prediction）が利用される。強い相互相関を示すことが予期される係数の群は、現実世界のコンテンツの特性の評価によって見出された。
圧縮は、階層的な仕方で作用する。ある係数の潜在的な相互相関のために解析される近傍は、同じ時刻におけるおよび先行する諸時刻における同じ次数までのみの係数を含む。そのため、圧縮はビットストリーム・レベルでスケーラブルである。

・知覚的符号化は非特許文献３および上述の非特許文献１に記載される。既存のMPEG AAC圧縮技法がHOA Bフォーマット表現の個々のチャンネル（すなわち係数）を符号化するために使われる。チャンネルの次数に依存してビット割り当てを調整することによって、非一様な空間ノイズ分布が得られた。特に、低次数のチャンネルにより多くのビットを割り当て、高次数のチャンネルにより少数のビットを割り当てることにより、基準点近くで優れた精度が得られる。また、原点からの距離が増すと、有効量子化雑音が高まる。

図２は、Bフォーマット・オーディオ信号のそのような直接エンコードおよびデコードの原理を示している。ここで、上の経路は上記非特許文献のHellerudらの圧縮を示し、下の経路は通常のDフォーマット信号への圧縮を示す。いずれの場合にも、デコードされた受信器出力信号はDフォーマットをもつ。

HOA領域において冗長性および無関連性（irrelevancy）を直接探すことに関する問題は、どのような空間的情報も、一般に、いくつかのHOA係数にまたがって「ぼかされる（smeared）」ということである。換言すれば、空間領域においてよく局在化しており、集中している情報がまわりに広がるのである。それにより、音響心理学的なマスキング制約条件に信頼できる形で従う整合性ノイズ割り当てを実行することはきわめて困難である。さらに、重要な情報がHOA領域において差動的な仕方で取り込まれ、大スケール係数の微妙な差が空間領域において強い影響力をもつことがある。したがって、そのような差の詳細を保持するために、高いデータ・レートが必要とされることがある。

〈空間的スクイーズ〉
より最近、B. Cheng、Ch. Ritz、I. Burnettが「空間的スクイーズ（spatial squeezing）」技術を開発した：非特許文献４〜６。

音場を各時間／周波数ペインについての最も優勢な音オブジェクトの選択に分解するオーディオ・シーン解析が実行される。次いで、左および右のチャンネルの位置の中間の新しい諸位置にこれらの優勢な音オブジェクトを含む２チャンネル・ステレオ・ダウンミックスが生成される。同じ解析がステレオ信号に関してもできるので、動作は、２チャンネル・ステレオ・ダウンミックスにおいて検出されたオブジェクトを、360°のフル音場に再マッピングすることによって部分的に逆転させることができる。

図３は、空間的スクイーズの原理を描いている。図４は関係するエンコード処理を示している。

この概念は、DirACに強く関係している。同種のオーディオ・シーン解析に依拠するからである。しかしながら、DirACとは対照的に、ダウンミックスは常に二つのチャンネルを生成し、優勢な音オブジェクトの位置についての副情報を送信することは必要ではない。

音響心理学上の原理は明示的には利用されないものの、この方式は、時間‐周波数タイルについて最も顕著な音オブジェクトのみを送信することによってまずまずの品質がすでに達成できているという前提を活用している。その点で、DirACの前提に対するさらなる強い対応物がある。DirACと同様に、オーディオ・シーンのパラメータ化におけるいかなるエラーも、デコードされるオーディオ・シーンのアーチファクトにつながる。さらに、デコードされるオーディオ・シーンの品質に対する、２チャンネル・ステレオ・ダウンミックス信号のいかなる知覚的符号化の影響も予測は困難である。この空間的スクイーズの一般的な構造のため、三次元オーディオ信号（すなわち高さ次元のある信号）のために適用されることはできない。また、明らかに、１を超えるアンビソニックス次数についても機能しない。

〈アンビソニックス・フォーマットおよび混合次数表現〉
非特許文献７において、空間的音情報を全球の部分空間に制約する、たとえば上半球または球のさらに小さな部分だけをカバーするよう制約することが提案された。究極的には、完全なシーンは、球上のいくつかのそのような制約された「セクタ」から構成されることができる。それらのセクタは、ターゲット・オーディオ・シーンを集めるために特定の諸位置に回転される。これは、複雑なオーディオ・シーンの一種の混合次数組成を創り出す。知覚符号化は言及されていない。

〈パラメトリック符号化〉
波動場合成（WFS: wave-field synthesis）システムにおいて再生されるよう意図されたコンテンツを記述および伝送するための「古典的」アプローチは、オーディオ・シーンの個々の音オブジェクトのパラメトリック符号化によるものである。各音オブジェクトは、オーディオ・ストリーム（モノ、ステレオまたは別の何か）にフル・オーディオ・シーン内でのその音オブジェクトの役割、すなわち最も重要なのはそのオブジェクトの位置、についてのメタ情報を加えたものからなる。このオブジェクト指向パラダイムは、ヨーロッパのCARROUSOの過程においてWFS再生のために洗練された。非特許文献８参照。

他とは独立な各音オブジェクトを圧縮する一つの例は、非特許文献９に記載されるようなダウンミックス・シナリオにおける複数オブジェクトの統合符号化である。該文献では、意味のあるダウンミックス信号を生成するために、単純な音響心理学的手がかりが使われる。該ダウンミックス信号から、受信側で副情報を援用して多オブジェクト・シーンがデコードできる。オーディオ・シーン内のオブジェクトのローカルなスピーカー・セットアップへのレンダリングも受信機側で行われる。

オブジェクト指向フォーマットでは、記録は特に洗練されている。理論的には、個々の音オブジェクトの完全に「ドライ」な記録、すなわち音オブジェクトによって発された直接音のみを取り込む記録が要求される。このアプローチの難点は二面ある：第一に、ドライな取り込みは自然な「ライブ」記録では難しい。マイクロホン信号どうしの間にかなりのクロストークがあるからである。第二に、ドライ記録から集められるオーディオ・シーンは自然さおよび記録が行われた部屋の「雰囲気」を欠く。

〈パラメトリック符号化およびアンビソニックス〉
一部の研究者は、アンビソニックス信号をいくつかの離散的音オブジェクトと組み合わせることを提案している。その動機は、アンビソニックス表現を介してうまく局在化できない環境音および音オブジェクトを取り込み、いくつかの離散的な、よく定位された音オブジェクトをパラメトリック・アプローチを介して追加することである。シーンのオブジェクト指向部分については、純粋にパラメトリックな表現（前節参照）についてと同様の符号化機構が使用される。すなわち、それらの個々の音オブジェクトは典型的にはモノ・サウンド・トラックならびに位置および潜在的な動きについての情報とともに現れる。MPEG-4 AudioBIFS規格へのアンビソニックス再生の導入を参照。該規格では、生のアンビソニックスおよびオブジェクト・ストリームをいかにして（AudioBIFS）レンダリング・エンジンに伝送するかが、オーディオ・シーンの制作者に任されている。これは、MPEG-4において定義されるいかなるオーディオ・コーデックも、アンビソニックス係数を直接エンコードするために使用できるということを意味している。

〈波動場符号化〉
オブジェクト指向アプローチを使う代わりに、波動場符号化はWFS（wave field synthesis［波動場合成］）システムのすでにレンダリングされたスピーカー信号を伝送する。エンコーダは、特定の組のスピーカーへのレンダリングすべてを実行する。多次元空間‐時間から周波数への変換は、スピーカーの曲線の窓処理された（windowed）、準線形な（quasi-linear）セグメントについて実行される。周波数係数（時間周波数および空間周波数両方について）は、何らかの音響心理学モデルを用いてエンコードされる。

通常の時間‐周波数マスキングに加えて、空間周波数マスキングも適用できる。すなわち、マスキング現象は空間周波数の関数であると想定される。デコーダ側では、エンコードされたスピーカー・チャンネルは圧縮解除され、再生される。

図５は、上の部分で一組のマイクロホンを用いた波動場符号化の原理を示し、下の部分で一組のスピーカーを示す。図６は、非特許文献１０に基づくエンコード処理を示している。知覚的な波動場符号化についての公表された実験は、空間‐時間から周波数への変換が、二源信号モデルについてのレンダリングされたスピーカー・チャンネルの別個の知覚的圧縮に比べて、約15%のデータ・レートを節約することを示している。にもかかわらず、この処理は、オブジェクト指向パラダイムによって得られる圧縮効率はもたない。おそらくは、音波が各スピーカーに異なる時刻に到着するためスピーカー・チャンネル間の洗練された相互相関特性を取り込まないためであろう。さらなる欠点は、ターゲット・システムの特定のスピーカー・レイアウトに対する緊密な結び付きである。

〈普遍的空間手がかり〉
古典的な多チャンネル圧縮から始まって、種々のスピーカー・シナリオに対応できる普遍的オーディオ・コーデックの概念も考えられてきた。固定したチャンネル割り当ておよび関係をもつたとえばmp3サラウンドまたはMPEGサラウンドとは対照的に、空間的手がかりの表現は、特定の入力スピーカー配位とは独立であるよう設計される。非特許文献１１、１２、１３参照。

離散的な入力チャンネル信号の周波数領域変換に続いて、主要音を環境成分から区別するために、各時間‐周波数タイルについて主成分解析が実行される。その結果は、シーン解析のためにガーゾン（Gerzon）ベクトルを使っての、聴取者を中心とし、単位半径をもつ円上の諸位置への方向ベクトルの導出である。図５は、ダウンミキシングおよび空間手がかりの伝送をもつ空間的オーディオ符号化のための対応するシステムを描いている。（ステレオ）ダウンミックス信号が分離された信号成分から構成され、オブジェクト位置についてのメタ情報と一緒に送信される。デコーダは、ダウンミックス信号および副情報から主要音およびいくらかの環境成分を復元する。それにより、主要音はローカルなスピーカー配位にパンされる。これは、上記のDirAC処理の多チャンネル版と解釈できる。伝送される情報が非常に似ているからである。

E. Hellerud, A. Solvang, U.P. Svensson, "Spatial Redundancy in Higher Order Ambisonics and Its Use for Low Delay Lossless Compression", Proc. of IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), April 2009, Taipei, Taiwan E. Hellerud, U.P. Svesson, "Lossless Compression of Spherical Microphone Array Recordings", Proc. of 126th AES Convention, Paper 7668, May 2009, Munich, Germany T. Hirvonen, J. Ahonen, V. Pulkki, "Perceptual Compression Methods for Metadata in Directional Audio Coding Applied to Audiovisual Teleconference", Proc. of 126th AES Convention, Paper 7706, May 2009, Munich, Germany B. Cheng, Ch. Ritz, I. Burnett, "Spatial Audio Coding by Squeezing: Analysis and Application to Compressing Multiple Soundfields", Proc. of European Signal Processing Conf. (EUSIPCO), 2009 B. Cheng, Ch. Ritz, I. Burnett, "A Spatial Squeezing Approach to Ambisonic Audio Compression", Proc. of IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), April 2008 B. Cheng, Ch. Ritz, I. Burnett, "Principles and Analysis of the Squeezing Approach to Low Bit Rate Spatial Audio Coding", Proc. of IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), April 2007 F. Zotter, H. Pomberger, M. Noisternig, "Ambisonic Decoding with and without Mode-Matching: A Case Study Using the Hemisphere", Proc. of 2nd Ambisonics Symposium, May 2010, Paris, France S. Brix, Th. Sporer, J. Plogsties, "CARROUSO-An European Approach to 3D-Audio, "Proc. of 110th AES Convention, Paper 5314, May 2001, Amsterdam, The Netherlands Ch. Faller, "Parametric Joint-Coding of Audio Sources", Proc. of 120th AES Convention, Paper 6752, May 2006, Paris, France F. Pinto, M. Vetterli, "Wave Field Coding in the Spacetime Frequency Domain", Proc. of IEEE Intl. Conf. on Acoustics, Speech and Signal Processing (ICASSP), April 2008, Las Vegas, NV, USA M. M. Goodwin, J.-M. Jot, "A Frequency-Domain Framework for Spatial Audio Coding Based on Universal Spatial Cues", Proc. of 120th AES Convention, Paper 6751, May 2006, Paris, France M. M. Goodwin, J.-M. Jot, "Analysis and Synthesis for Universal Spatial Audio Coding", Proc. of 121st AES Convention, Paper 6874, October 2006, San Francisco, CA, USA M. M. Goodwin, J.-M. Jot, "Primary-Ambient Signal Decomposition and Vector-Based Localisation for Spatial Audio Coding and Enhancement", Proc. of IEEE Intl. Conf. on Acoustics, Speech and Signal Processing (CIASSP), April 2007, Honolulu, HI, USA M. Kahrs, K. H. Brandenburg, "Applications of Digital Signal Processing to Audio and Acoustics", Kluwer Academic Publishers, 1998 J. Fliege, U. Maier, "The Distribution of Points on the Sphere and Corresponding Cubature Formulae", IMA Journal of Numerical Analysis, vol.19, no.2, pp.317-334, 1999 J. Blauert, "Spatial Hearing: The Psychophysics of Human Sound Localisation," The MIT Press, 1996

本発明が解決しようとする課題は、オーディオ・シーンのHOA表現の改善された不可逆圧縮であって、知覚的マスキングのような音響心理学現象を考慮に入れるものを提供することである。

この課題は、請求項１および５に開示される方法によって解決される。これらの方法を利用する装置は請求項２および６に開示される。

本発明によれば、圧縮はHOA領域ではなく空間領域で実行される（上記の波動場エンコードでは、マスキング現象は空間周波数の関数であると想定されるのに対し、本発明は空間位置の関数としてのマスキング現象を使う）。(N＋1)²個の入力HOA係数は、たとえば平面波分解によって、空間領域における(N＋1)²個の等価な信号に変換される。これらの等価な信号のそれぞれは、空間中の関連する方向からやってくる平面波の集合を表現する。簡単化された仕方で、結果として得られる信号は、入力オーディオ・シーン表現から関連するビームの領域にはいるあらゆる平面波を取り込む仮想ビーム形成マイクロホン信号と解釈できる。

結果として得られる(N＋1)²個の信号の集合は、通常の時間領域信号であり、これは並列な知覚的コーデックのバンクに入力されることができる。いかなる既存の知覚的圧縮技法が適用されることもできる。デコーダ側では、個々の空間領域信号がデコードされ、空間領域係数がもとのHOA領域に変換されてもとのHOA表現が回復される。

この種の処理は著しい利点を有する。

・音響心理学的マスキング：各空間領域信号が他の空間領域信号とは別個に扱われる場合、符号化エラーはマスクする信号〔マスカー信号〕と同じ空間分布をもつ。よって、デコードされた空間領域表現をもとのHOA領域に変換したのち、符号化エラーの瞬時パワー密度の空間分布は、もとの信号のパワー密度の空間分布に従って位置される。有利なことに、それにより、符号化エラーが常にマスクされたままであることが保証される。洗練された再生環境であっても、符号化エラーは、対応するマスクする信号と一緒に、常に厳密に伝搬する。しかしながら、「ステレオ・マスク解除（stereo unmasking）」（非特許文献１４）と類似の何かが、基準位置のうち二つ（2Dの場合）または三つ（3Dの場合）の間にもともとある音オブジェクトについて起こりうることを注意しておく。しかしながら、この潜在的な陥穽の確率および深刻さは、HOA入力素材の次数が増すと低下する。空間領域における異なる基準位置の間の角距離が減少するからである。HOAから空間への変換を優勢な音オブジェクトの位置に従って適応させることによって（下記の具体的な実施形態を参照）、この潜在的な問題が軽減できる。

・空間的相関解除：オーディオ・シーンは典型的には空間領域において疎であり、通例、根底にある環境音場の上に若干数の離散的な音オブジェクトを混合したものであると想定される。そのようなオーディオ・シーンをHOA領域に変換――これは本質的には空間周波数への変換である――することによって、空間的に疎な、すなわち相関解除されたシーン表現が、高度に相関された一組の係数に変換される。離散的な音オブジェクトについてのいかなる情報も、多少なりともすべての周波数係数にわたって「ぼかされる（smeared）」。一般に、圧縮方法のねらいは、理想的にはカルーネン・レーベ変換（Karhunen-Lo｀eve transformation）に従って相関解除された座標系を選ぶことによって冗長性を減らすことである。時間領域オーディオ信号については、典型的には周波数領域のほうがより相関解除された信号表現を与える。しかしながら、これは空間オーディオについては成り立たない。というのも、空間領域はHOA領域よりもKLT座標系に近いからである。

・時間的に相関した信号の集中：HOA係数を空間領域に変換することのもう一つの重要な側面は、（同じ物理的音源から発されるため）強い時間的相関を示す可能性の高い信号成分が、単一または若干数の係数に集中させられることである。これは、空間的に分布した時間領域信号を圧縮することに関係したその後のいかなる処理ステップも、最大限の時間領域相関を活用できるということを意味する。

・わかりやすさ：オーディオ・コンテンツの符号化および知覚的圧縮は時間領域信号についてはよく知られている。それに対し、高次アンビソニックス（すなわち次数２またはそれ以上）のような複素変換された領域における冗長性および音響心理学の理解ははるかに遅れており、多くの数学および調査を必要とする。結果として、HOA領域ではなく空間領域で機能する圧縮技法を使うとき、多くの既存の洞察および技法は、ずっと簡単に、適用でき、適応させられる。有利なことに、システムの諸部分について既存の圧縮コーデックを利用することにより、そこそこの結果が迅速に得られる。

換言すれば、本発明は以下の利点を含む。
・音響心理学的マスキング効果をよりよく利用する；
・よりわかりやすく、実装しやすい
・空間的オーディオ・シーンの典型的な組成により好適である；
・既存のアプローチよりもよい相関解除属性。

原理的に、本発明のエンコード方法は、HOA係数と記される二次元または三次元の音場のアンビソニックス表現の一連のフレームをエンコードするために好適であり、本方法は：
・フレームのO＝(N＋1)²個の入力HOA係数を、球上の基準点の規則的な分布を表すO個の空間領域信号に変換し、ここで、Nは前記HOA係数の次数であり、前記空間領域信号のそれぞれは空間中の関連する方向から来る平面波の集合を表し；
・知覚エンコード・ステップまたは段階を使って前記空間領域信号の一つ一つをエンコードし、符号化誤差が聞いてわからないよう選択されたエンコード・パラメータを使用し；
・フレームの、結果として得られるビットストリームを、統合ビットストリームに多重化することを含む。

原理的に、本発明のデコード方法は、請求項１に従ってエンコードされた二次元または三次元の音場のエンコードされた高次アンビソニックス表現の一連のフレームをデコードするために好適であり、本デコード方法は：
・受領された統合ビットストリームを多重分離してO＝(N＋1)²個のエンコードされた空間領域信号にし；
・選択されたエンコード型に対応する知覚的デコード・ステップまたは段階を使って、かつエンコード・パラメータにマッチするデコード・パラメータを使って、前記エンコードされた空間領域信号の一つ一つをデコードして、対応するデコードされた空間領域信号にし、前記デコードされた空間領域信号は球上の基準点の規則的な分布を表し；
・前記デコードされた空間領域信号をフレームのO個の出力HOA係数に変換することを含み、Nは前記HOA係数の次数である。

原理的に、本発明のエンコード装置は、HOA係数と記される二次元または三次元の音場の高次アンビソニックス表現の一連のフレームをエンコードするために好適であり、本装置は：
・フレームのO＝(N＋1)²個の入力HOA係数を、球上の基準点の規則的な分布を表すO個の空間領域信号に変換するよう適応されている変換手段であって、Nは前記HOA係数の次数であり、前記空間領域信号のそれぞれは空間中の関連する方向から来る平面波の集合を表す、手段と；
・知覚エンコード・ステップまたは段階を使って前記空間領域信号の一つ一つをエンコードするよう適応された手段であって、符号化誤差が聞いてわからないよう選択されたエンコード・パラメータを使用する、手段と；
・フレームの結果として得られるビットストリームを統合ビットストリームに多重化するよう適応された手段とを有する。

原理的に、本発明のエンコード装置は、請求項１に従ってエンコードされた二次元または三次元の音場のエンコードされた高次アンビソニックス表現の一連のフレームをデコードするために好適であり、本装置は：
・受領された統合ビットストリームを多重分離してO＝(N＋1)²個のエンコードされた空間領域信号にするよう適応された手段と；
・選択されたエンコード型に対応する知覚的デコード・ステップまたは段階を使って、かつエンコード・パラメータにマッチするデコード・パラメータを使って、前記エンコードされた空間領域信号の一つ一つをデコードして、対応するデコードされた空間領域信号にする手段であって、前記デコードされた空間領域信号は球上の基準点の規則的な分布を表す、手段と；
・前記デコードされた空間領域信号をフレームのO個の出力HOA係数に変換するよう適応された変換手段であって、Nは前記HOA係数の次数である、手段とを有する。

本発明の有利な追加的な実施形態は、それぞれの従属請求項において開示される。

本発明の例示的な実施形態は付属の図面を参照して記述される。
Bフォーマット入力をもつ方向性オーディオ符号化を示す図である。 Bフォーマット信号の直接エンコードを示す図である。空間的スクイーズの原理を示す図である。空間的にスクイーズするエンコード処理を示す図である。波動場符号化の原理を示す図である。波動場エンコード処理を示す図である。ダウンミキシングおよび空間的手がかりの伝送をもつ空間的オーディオ符号化を示す図である。本発明のエンコーダおよびデコーダの例示的な実施形態を示す図である。種々の信号についての、信号の両耳間位相差もしくは時間差の関数として両耳マスキング・レベル差を示す図である。 BMLDモデリングを組み込む統合音響心理学モデルを示す図である。予期される最大の再生シナリオの例、すなわち７×５（例のために任意に選んだ）の座席のある映画館を示す図である。図１１のシナリオについての最大相対遅延および減衰の導出を示す図である。音場HOA成分ならびに二つの音オブジェクトAおよびBの圧縮を示す図である。音場HOA成分ならびに二つの音オブジェクトAおよびBについての統合音響心理学モデルを示す図である。

図８は、本発明のエンコーダおよびデコーダのブロック図を示している。本発明のこの基本的実施形態では、入力HOA表現または信号IHOAの一連のフレームが、変換ステップまたは段階８１において、三次元球または二次元円上の基準点の規則的な分布に従って、空間領域信号に変換される。HOA領域から空間領域への変換に関し、アンビソニックス理論では、空間中の特定の点およびそのまわりにおける音場は、打ち切られたフーリエ・ベッセル級数によって記述される。一般に、基準点は、選ばれた座標系の原点にあると想定される。球面座標を使う三次元応用では、すべての定義され得るインデックスn＝0,1,…,Nおよびm＝−n,…,nについての係数A_n ^mをもつフーリエ級数は、方位角φ、傾斜（inclination）θおよび原点からの距離rにおける音場の圧力を記述する。

ここで、kは波数であり、

はフーリエ・ベッセル級数の核関数であり、θおよびφによって定義される方向についての球面調和関数に厳密に関係付けられている。便宜上、HOA係数A_n ^mは

の定義をもって使用される。特定の次数Nについて、フーリエ・ベッセル級数における係数の数はO＝(N＋1)²である。

円座標を使う二次元応用については、核関数は方位角φだけに依存する。m≠nであるすべての係数は0の値をもち、省略できる。よって、HOA係数の数はたったO＝2N＋1に減る。さらに、傾斜θ＝π/2は固定されている。2Dの場合について、円上での音オブジェクトの完全に一様な分布、すなわちφ_i＝2π/Oについては、Ψ内のモード・ベクトルはよく知られた離散フーリエ変換（DFT: discrete Fourier transform）の核関数と同一である。

HOAから空間領域への変換により、入力HOA係数によって記述されるような所望される音場を精確に再生するために適用される必要がある仮想スピーカー（無限遠の距離において平面波を発する）のドライバ信号が導出される。

すべてのモード係数はモード行列Ψに組み合わせることができる。ここで、i番目の列は、i番目の仮想スピーカーの方向に従って、モード・ベクトルY_n ^m(φ_i,θ_i)、n＝0,…,N、m＝−n,…,nを含む。空間領域における所望される信号の数はHOA係数の数に等しい。よって、変換／復号問題に対する一意的な解が存在し、それはモード行列Ψの逆Ψ^-1によって定義される：s＝Ψ^-1A。

この変換は、仮想スピーカーが平面波を発するという前提を使っている。現実世界のスピーカーは種々の再生特性をもち、再生のための復号規則はそうした種々の再生特性を考慮すべきである。

基準点についての一例は、非特許文献１５に基づくサンプリング点である。この変換によって得られる空間領域信号は独立な「O」個の並列な既知の知覚的エンコーダ・ステップまたは段階８２１、８２２、…、８２０に入力される。これらのステップまたは段階はたとえばMPEG-1オーディオ・レイヤーIII（別名mp3）規格に従って動作する。ここで、「O」は並列なチャンネルの数Oに対応する。これらのエンコーダのそれぞれは、符号化誤差が耳で聞いてわからないようパラメータ化される。結果として得られる並列ビットストリームは、マルチプレクサ・ステップまたは段階８３において、統合ビットストリームBSに多重化され、デコーダ側に送信される。mp3の代わりに、AACまたはドルビーAC-3といった他のいかなる好適な型のオーディオ・コーデックが使用されてもよい。デコーダ側では、デマルチプレクサ・ステップまたは段階８６受領された統合ビットストリームを多重分離して、並列な知覚的コーデックの個々のビットストリームを導出する。該個々のビットストリームは、既知のデコーダ・ステップまたは段階８７１、８７２、…、８７０において復号される（選択されたエンコード型に対応し、エンコード・パラメータにマッチする、すなわち復号誤差が耳で聞いてわからないよう選択された復号パラメータを使って）。それにより圧縮されていない空間領域信号が復元される。信号の、結果として得られるベクトルは、各時刻について、逆変換ステップまたは段階８８においてHOA領域に変換され、それにより復号されたHOA表現または信号OHOAが復元され、それが逐次のフレームにおいて出力される。そのような処理またはシステムでは、データ・レートのかなりの削減が得られる。たとえば、アイゲンマイクの三次の記録からの入力HOA表現は、(3＋1)²個の係数×44100Hz×24ビット／係数＝16.9344Mbit/sの生のデータ・レートをもつ。空間領域への変換の結果は、44100Hzのサンプル・レートをもつ(3＋1)²個の信号である。44100×24＝1.0584Mbit/sのデータ・レートを表すこれら（モノ）信号のそれぞれは、mp3コーデックを使って、個々のデータ・レート64kbit/sに独立して圧縮される（これは、モノ信号については事実上透明であることを意味する）。すると、統合ビットストリームの総合データ・レートは(3＋1)²個の信号×64kbit/s毎信号≒1Mbit/sとなる。

この評価は、保守的な側に立っている。というのも、聴取者のまわりの球面全体が均一に音で満たされていると想定しており、異なる空間位置における音オブジェクトの間の相互マスキング効果を完全に無視しているからである。たとえば80dBのマスクする信号〔マスカー信号〕は、数度の角度しか離間していない（たとえば40dBの）弱いトーンをマスクする。下記のようにそのような空間的マスキング効果を考慮に入れることによって、より高い圧縮率が達成できる。さらに、上記の評価は一組の空間領域信号における隣り合う位置の間の相関を全く無視している。ここでもまた、よりよい圧縮処理がそのような相関を利用するなら、より高い圧縮率が達成できる。最後になるが決して軽んじるべきでないこととして、時間変動するビットレートが認められる場合には、さらなる圧縮効率が期待される。特に映画音については、音シーンにおけるオブジェクトの数は強く変動するからである。音オブジェクトが疎であることは、結果として得られるビットレートをさらに低下させるために利用できる。

〈変形：音響心理学〉
図８の実施形態では、最小限のビットレート制御が想定されている。すべての個々の知覚的コーデックは同一のデータ・レートで走るものと期待される。上述したように、代わりに、完全な空間的オーディオ・シーンを考慮に入れる、より洗練されたビットレートを使うことによってかなりの改善が得られる。より具体的には、時間‐周波数マスキングおよび空間的マスキング特性の組み合わせが鍵となる役割を演ずる。これの空間的次元について、マスキング現象は、空間周波数ではなく、聴取者との関係における音イベントの絶対的な角位置の関数である（この理解は〈波動場符号化〉の節で述べた非特許文献１０の理解とは異なることを注意しておく）。マスクする側〔マスカー（masker）〕とマスクされる側〔マスキー（maskee）〕のモノディー呈示（monodic presentation）に比べての空間的呈示のために観察されるマスキング閾値の間の差は、両耳間マスキング・レベル差（BMLD: Binaural Masking Level Difference）と呼ばれる。非特許文献１６の3.2.2節参照。一般に、BMLDは、信号組成、空間的位置、周波数範囲のようないくつかのパラメータに依存する。空間的呈示におけるマスキング閾値は、モノディー呈示についてより、約20dB程度まで低いことができる。したがって、空間的領域を横断するマスキング閾値の利用はこのことを考慮に入れる。

Ａ）本発明のある実施形態では、（時間‐）周波数およびオーディオ・シーンの次元に依存してそれぞれ円もしくは球の全周上の音生起の角度に依存する多次元マスキング閾値曲線を与える音響心理学的マスキング・モデルを使う。このマスキング閾値は、BMLDを考慮に入れる空間的「広がり関数（spreading function）」による操作を介した(N＋1)²個の基準位置について得られた個々の（時間‐）周波数マスキング曲線を組み合わせることによって得ることができる。それにより、マスカーの、近くに位置されるすなわちマスカーに対して小さな角距離のところに位置されている信号への影響が活用できる。

図９は種々の信号（ブロードバンド・ノイズ・マスカーおよび所望される信号としての正弦波または100μsインパルス列）についてのBMLDを、非特許文献１６に開示されるような、信号の両耳間の位相差または時間差（すなわち、位相角および時間遅延）の関数として示している。

最悪ケースの特性（すなわち最も高いBMLD値をもつもの）の逆は、ある方向におけるマスカーの、別の方向におけるマスキーへの影響を決定するための保守的な「ぼかし」関数として使用できる。この最悪ケースの要求は、特定のケースについてのBMLDが既知であれば、和らげることができる。最も興味深いケースは、マスカーが空間的には狭いが（時間‐）周波数においては幅広いノイズであるケースである。

図１０は、統合マスキング閾値MTを導出するために、BMLDのモデルがどのようにして音響心理学的モデリングに組み込まれることができるかを示している。各空間的方向についての個々のMTは音響心理学モデル・ステップまたは段階１０１１、１０１２、…、１０１０において計算され、対応する空間広がり関数（spatial spreading function）SSFステップまたは段階１０２１、１０２２、…、１０２０に入力される。該空間広がり関数はたとえば、図９に示されるBMLDの一つの逆である。よって、球／円（3D/2Dの場合）全体をカバーするMTが、各方向からのすべての信号寄与について計算される。すべての個々のMTのうちの最大はステップ／段階１０３において計算され、フル・オーディオ・シーンについての統合MTを提供する。

Ｂ）この実施形態のさらなる拡張は、目標となる聴取環境における、たとえば映画館または大勢の聴衆がいる他の会場における音伝搬のモデルを必要とする。というのも、音知覚はスピーカーに対する聴取位置に依存するからである。図１１は、7×5＝35座席をもつ例示的な映画館のシナリオを示している。映画館において空間的オーディオ信号を再生するとき、オーディオ知覚およびレベルは観客席室のサイズおよび個々の聴取者の位置に依存する。「完璧な」レンダリングは、通例観客席室の中心または基準位置１１０にあるスイート・スポットでのみ実現する。たとえば観客の左の縁に位置する座席位置が考慮されるとき、右側から到着する音は、左側から到着する音に比べて、減衰し、かつ遅延されている可能性が高い。というのも、右側スピーカーへの直接の見通し線は、左側のスピーカーへの直接の見通し線より長いからである。空間的に別個の方向からの符号化誤差をマスク解除すること、すなわち空間的マスク解除効果（spatially unmasking effects）を防ぐためには、非最適な聴取位置についての音伝搬に起因する、この潜在的な方向依存減衰および遅延が最悪ケースの考察において考慮に入れられるべきである。そのような効果を防ぐには、知覚的コーデックの音響心理学モデルにおいて、時間遅延およびレベル変化が考慮に入れられる。修正されたBMLD値のモデル化についての数学的表式を導出するために、マスカーおよびマスキー方向の任意の組み合わせについて、最大の期待される相対時間遅延および信号減衰がモデル化される。以下では、これは２次元の例示的な設定について実行される。図１１の映画館の例の可能な単純化は図１２に示されている。聴衆は半径r_Aの円内に存在すると期待される。図１１に描かれた対応する円を参照。二つの信号方向が考えられる。マスカーSは左（映画館における前方向）から平面波として到来するよう示されており、マスキーNは、映画館における左後ろに対応する図１２の右下から到着する平面波である。

二つの平面波の同時到着時間の線は、破線の二等分線によって描かれている。この二等分線までの最大の距離をもつ周状の二つの点は、観客室内で最大の時間／レベル差が生じる位置である。図においてマークされた右下点１２０に到達する前に、それらの音波は、聴取エリアの周に達したのち、追加的な距離d_Sおよびd_Nを進む。

すると、その点におけるマスカーSとマスキーNの間の相対タイミング差は

ここで、cは音速を表す。

伝搬損失の差を決定するために、以下では二倍距離（double-distance）当たりk＝3…6dB（厳密な数字はスピーカー技術に依存する）の損失をもつ単純なモデルが想定される。さらに、実際の音源は聴取エリアの外側の周からd_LSの距離をもつことが想定される。すると、最大伝搬損失は次のようになる。

この再生シナリオ・モデルは二つのパラメータΔ_t(φ)およびΔ_L(φ)を有する。これらのパラメータは、それぞれのBMLD項を加えることによって、すなわち置換

によって、上記の統合音響心理学モデル化に統合されることができる。それにより、たとえ大きな部屋の中であっても、いかなる量子化誤差ノイズも他の空間的信号成分によってマスクされることが保証される。

Ｃ）上記の諸節で導入されたのと同じ考察が、一つまたは複数の離散的な音オブジェクトを一つまたは複数のHOA成分と組み合わせる空間的オーディオ・フォーマットについて適用されることができる。音響心理学的マスキング閾値の推定は、フル・オーディオ・シーンについて実行され、任意的に、上で説明したように目標となる環境の特性の考察を含む。次いで、離散的な音オブジェクトの個々の圧縮およびHOA成分の圧縮は、ビット割り当てのために前記統合音響心理学マスキング閾値を考慮に入れる。

HOA部分およびいくつかの相異なる個々の音オブジェクトの両方を有するより複雑なオーディオ・シーンの圧縮は、上記の統合音響心理学モデルと同様に実行される。関連する圧縮処理が図１３に描かれている。上記の考察と並行して、統合音響心理学モデルはすべての音オブジェクトを考慮に入れるべきである。上で導入されたのと同じ動機付けおよび構造が適用されることができる。対応する音響心理学モデルの高レベルのブロック図が図１４に示されている。

Claims

HOA係数と記される二次元または三次元の音場の高次アンビソニックス表現の一連のフレームをエンコードする方法であって：
・フレームのO＝(N＋1)²個の入力HOA係数を、球上の基準点の規則的な分布を表すO個の空間領域信号に変換し、ここで、Nは前記HOA係数の次数であり、前記空間領域信号のそれぞれは空間中の関連する方向から来る平面波の集合を表し；
・知覚的エンコード・ステップまたは段階を使って前記空間領域信号の一つ一つをエンコードし、符号化誤差が聞いてわからないよう選択されたエンコード・パラメータを使用し；
・フレームの、結果として得られるビットストリームを、統合ビットストリームに多重化することを含む、
方法。
前記エンコードにおいて使用されるマスキングは時間‐周波数マスキングおよび空間的マスキングの組み合わせである、請求項１記載の方法。
前記変換は平面波分解である、請求項１または２記載の方法。
前記知覚的エンコードはMPEG-1オーディオ・レイヤーIIIまたはAACまたはドルビーAC-3規格に対応する、請求項１記載の方法。
空間的に別個の方向からの符号化誤差のマスク解除を防止するために、非最適な聴取位置についての音伝搬に起因する方向依存の減衰および遅延が、前記エンコードにおいて適用されるマスキング閾値を計算するために考慮に入れられる、請求項１記載の方法。
前記エンコード・ステップまたは段階において使用される個々のマスキング閾値は、そのそれぞれを、両耳間マスキング・レベル差BMLDを考慮に入れる空間広がり関数と組み合わせることによって変更され、これらの個々のマスキング閾値の最大のものが形成され、すべての音方向についての統合マスキング閾値が得られる、請求項１記載の方法。
別個の音オブジェクトが個々にエンコードされる、請求項１記載の方法。
HOA係数と記される二次元または三次元の音場の高次アンビソニックス表現の一連のフレームをエンコードする装置であって：
・フレームのO＝(N＋1)²個の入力HOA係数を、球上の基準点の規則的な分布を表すO個の空間領域信号に変換するよう適応されている変換手段であって、Nは前記HOA係数の次数であり、前記空間領域信号のそれぞれは空間中の関連する方向から来る平面波の集合を表す、手段と；
・知覚的エンコード・ステップまたは段階を使って前記空間領域信号の一つ一つをエンコードするよう適応された手段であって、符号化誤差が聞いてわからないよう選択されたエンコード・パラメータを使用する、手段と；
・フレームの、結果として得られるビットストリームを統合ビットストリームに多重化するよう適応された手段とを有する、
装置。
前記エンコードにおいて使用されるマスキングは時間‐周波数マスキングおよび空間的マスキングの組み合わせである、請求項８記載の装置。
前記変換は平面波分解である、請求項８または９記載の装置。
前記知覚的エンコードはMPEG-1オーディオ・レイヤーIIIまたはAACまたはドルビーAC-3規格に対応する、請求項８記載の装置。
空間的に別個の方向からの符号化誤差のマスク解除を防止するために、非最適な聴取位置についての音伝搬に起因する方向依存の減衰および遅延が、前記エンコードにおいて適用されるマスキング閾値を計算するために考慮に入れられる、請求項８記載の装置。
前記エンコード・ステップまたは段階において使用される個々のマスキング閾値は、そのそれぞれを、両耳間マスキング・レベル差BMLDを考慮に入れる空間広がり関数と組み合わせることによって変更され、これらの個々のマスキング閾値の最大のものが形成され、すべての音方向についての統合マスキング閾値が得られる、請求項８記載の装置。
別個の音オブジェクトが個々にエンコードされる、請求項８記載の装置。
請求項１に従ってエンコードされた二次元または三次元の音場のエンコードされた高次アンビソニックス表現の一連のフレームをデコードする方法であって：
・受領された統合ビットストリームを多重分離してO＝(N＋1)²個のエンコードされた空間領域信号にし；
・選択されたエンコード型に対応する知覚的デコード・ステップまたは段階を使って、かつエンコード・パラメータにマッチするデコード・パラメータを使って、前記エンコードされた空間領域信号の一つ一つをデコードして、対応するデコードされた空間領域信号にし、前記デコードされた空間領域信号は球上の基準点の規則的な分布を表し；
・前記デコードされた空間領域信号をフレームのO個の出力HOA係数に変換することを含み、Nは前記HOA係数の次数である、
方法。
前記知覚的デコードはMPEG-1オーディオ・レイヤーIIIまたはAACまたはドルビーAC-3規格に対応する、請求項１５記載の方法。
空間的に別個の方向からの符号化誤差のマスク解除を防止するために、非最適な聴取位置についての音伝搬に起因する方向依存の減衰および遅延が、前記デコードにおいて適用されるマスキング閾値を計算するために考慮に入れられる、請求項１５記載の方法。
前記デコード・ステップまたは段階において使用される個々のマスキング閾値は、そのそれぞれを、両耳間マスキング・レベル差BMLDを考慮に入れる空間広がり関数と組み合わせることによって変更され、これらの個々のマスキング閾値の最大のものが形成され、すべての音方向についての統合マスキング閾値が得られる、請求項１５記載の方法。
別個の音オブジェクトが個々にデコードされる、請求項１５記載の方法。
請求項１に従ってエンコードされた二次元または三次元の音場のエンコードされた高次アンビソニックス表現の一連のフレームをデコードする装置であって：
・受領された統合ビットストリームを多重分離してO＝(N＋1)²個のエンコードされた空間領域信号にするよう適応された手段と；
・選択されたエンコード型に対応する知覚的デコード・ステップまたは段階を使って、かつエンコード・パラメータにマッチするデコード・パラメータを使って、前記エンコードされた空間領域信号の一つ一つをデコードして、対応するデコードされた空間領域信号にするよう適応された手段であって、前記デコードされた空間領域信号は球上の基準点の規則的な分布を表す、手段と；
・前記デコードされた空間領域信号をフレームのO個の出力HOA係数に変換するよう適応された変換手段であって、Nは前記HOA係数の次数である、手段とを有する、
装置。
前記知覚的デコードはMPEG-1オーディオ・レイヤーIIIまたはAACまたはドルビーAC-3規格に対応する、請求項２０記載の装置。
空間的に別個の方向からの符号化誤差のマスク解除を防止するために、非最適な聴取位置についての音伝搬に起因する方向依存の減衰および遅延が、前記デコードにおいて適用されるマスキング閾値を計算するために考慮に入れられる、請求項２０記載の装置。
前記デコード・ステップまたは段階において使用される個々のマスキング閾値は、そのそれぞれを、両耳間マスキング・レベル差BMLDを考慮に入れる空間広がり関数と組み合わせることによって変更され、これらの個々のマスキング閾値の最大のものが形成され、すべての音方向についての統合マスキング閾値が得られる、請求項２０記載の装置。
別個の音オブジェクトが個々にデコードされる、請求項２０記載の装置。