JP2017523454A - Ｈｏａ信号表現のサブバンド内の優勢な方向性信号の方向のエンコード／デコードのための方法および装置 - Google Patents

Abstract

高次アンビソニックス（HOA）信号のエンコードは一般に高いデータ・レートにつながる。データ・レート削減のため、入力HOA信号のフレームについての方向情報をエンコードする方法（１００）は、グローバル方向インデックスをもつあらかじめ定義されたグローバル方向のうちでアクティブな候補方向（MDIR(k)）を決定し（s101）；入力HOA信号を周波数サブバンド（f1,…,fF）に分割し（s102）；アクティブな候補方向のうちで、各周波数サブバンドについて、アクティブなサブバンド方向を決定し（s103）；サブバンド毎に各方向に相対方向インデックスを割り当て（s104）；当該フレームについての方向情報を集め（s105）、方向情報は、前記アクティブな候補方向（MDIR(k)）と、各サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットと、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスとを含み；集められた方向情報を伝送する（s106）ことを含む。

Description

本発明は、HOA信号表現のサブバンド内の優勢な方向性信号の方向のエンコード方法、HOA信号表現のサブバンド内の優勢な方向性信号の方向のデコード方法、HOA信号表現のサブバンド内の優勢な方向性信号の方向のエンコード装置およびHOA信号表現のサブバンド内の優勢な方向性信号の方向のデコード装置に関する。

高次アンビソニックス（HOA: Higher Order Ambisonics）は、波面合成（WFS: wave field synthesis）または22.2として知られるもののようなチャネル・ベースのアプローチのような他の技法もあるうちでの、三次元音を表現するための一つの可能性を提供する。チャネル・ベースの方法とは対照的に、HOA表現は特定のスピーカー・セットアップとは独立であるという利点をもたらす。この柔軟性は、特定のスピーカー・セットアップでのHOA表現の再生のために必要とされるデコード・プロセスの代償を伴う。必要とされるスピーカーの数が通例非常に多いWFSアプローチに比べ、HOAは少数のスピーカーのみからなるセットアップにレンダリングされてもよい。HOAのさらなる利点は、同じ表現を、いかなる修正もなしでヘッドフォンへのバイノーラル・レンダリングのために用いることもできるということである。

HOAは、複素調和平面波振幅のいわゆる空間密度の、打ち切りされた球面調和関数（SH）展開による表現に基づく。各展開係数は角周波数の関数であり、これは時間領域関数によって等価に表現できる。よって、一般性を失うことなく、完全なHOA音場表現は、実際に、O個の時間領域関数からなると理解できる。ここで、Oは展開係数の数を表わす。これらの時間領域関数は、以下では、等価だが、HOA係数シーケンスまたはHOAチャネルと称される。

HOA表現の空間分解能は、展開の最大次数Nの増大とともに改善する。残念ながら、展開係数の数Oは次数Nとともに二次で、特にO＝(N＋1)²の形で増大する。たとえば、次数N＝4を使う典型的なHOA表現はO＝25個のHOA（展開）係数を必要とする。上記の考察によれば、HOA表現の伝送のための全ビットレートは、所望される単一チャネル・サンプリング・レートf_Sおよびサンプル当たりのビット数N_bを与えられて、O・f_S・N_bによって決定される。結果として、たとえば次数N＝4のHOA表現を、f_S＝48kHzのサンプリング・レートで、サンプル当たりN_b＝16ビットを用いて伝送することは、19.2MBits/sのビットレートにつながる。これは、たとえばストリーミングのような多くの実際的な用途にとって非常に高い。このように、HOA表現の圧縮がきわめて望ましい。

HOA音場表現の圧縮のためのさまざまな手法が非特許文献４、５、６において提案されている。これらの手法は、音場解析を実行し、与えられたHOA表現を方向性成分（directional component）と残差周囲成分（residual ambient component）に分解することで共通している。一方では、最終的な圧縮された表現は、いくつかの量子化された信号を含むことが想定され、該量子化された信号は、いわゆる方向性およびベクトル・ベースの信号と周囲HOA成分（ambient HOA component）の関連する係数シーケンスとの知覚的符号化から帰結する。他方では、最終的な圧縮された表現は、量子化された信号に関係する追加的なサイド情報を含む。このサイド情報は、HOA表現の、その圧縮されたバージョンからの再構成のために必要である。

J´er＾ome Daniel. Repr´esentation de champs acoustiques, application ｀a la transmission et ｀a la reproduction de sc｀enes sonores complexes dans un contexte multim´edia. PhD thesis, Universit´e Paris 6, 2001 J¨org Fliege and Ulrike Maier. A two-stage approach for computing cubature formulae for the sphere. Technical report, Fachbereich Mathematik, Universit¨at Dortmund, 1999. ノード数はhttp://www.mathematik.uni-dortmund.de/lsx/research/projects/fliege/nodes/nodes.htmlにある。 Sven Kordon and Alexander Krueger. Adaptive value range control for HOA signals. Patent application (Technicolor Internal Reference: PD130016), July 2013 Alexander Krueger and Sven Kordon. Intelligent signal extraction and packing for compression of HOA sound field representations. 特許出願EP 13305558.2 (Technicolor Internal Reference: PD130015), filed 29. April 2013 A. Krueger, S. Kordon, and J. Boehm. HOA compression by decomposition into directional and ambient components. 公開特許出願EP2743922 (Technicolor Internal Reference: PD120055), December 2012. Alexander Kr¨uger, Sven Kordon, Johannes Boehm, and Jan-Mark Batke. Method and apparatus for compressing and decompressing a higher order ambisonics signal representation. 公開特許出願EP2665208 (Technicolor Internal Reference: PD120015), May 2012 Alexander Kr¨uger. Method and apparatus for robust sound source direction tracking based on Higher Order Ambisonics. 公開特許出願EP2738962 (Technicolor Internal Reference: PD120049), November 2012 Daniel D. Lee and H. Sebastian Seung. Learning the parts of objects by nonnegative matrix factorization. Nature, 401:788‐791, 1999 ISO/IEC JTC 1/SC 29 N. Text of ISO/IEC 2300‐3/CD, MPEG-H 3d audio, April 2014 Boaz Rafaely. Plane-wave decomposition of the sound field on a sphere by spherical convolution. J. Acoust. Soc. Am., 4(116):2149−2157, October 2004 Earl G. Williams. Fourier Acoustics, volume 93 of Applied Mathematical Sciences. Academic Press, 1999

非特許文献４、５、６についての量子化された信号の合理的な最小数は8である。よって、これらの方法の一つでのデータ・レートは、個々の知覚的符号化器について32kbit/sのデータ・レートを想定すると、典型的には256kbit/sより低くはない。たとえばモバイル装置へのオーディオ・ストリーミングのようなある種の用途のためには、この全データ・レートは高すぎることがありうる。よって、たとえば128kbit/sのような顕著により低いデータ・レートに対処するHOA圧縮方法に対する需要がある。

圧縮されたHOA表現から方向情報をエンコードするための方法および装置および圧縮されたHOA表現から方向情報をデコードするための方法および装置が開示される。さらに、音場の高次アンビソニックス（HOA）表現の低ビットレート圧縮および圧縮解除のための実施形態が開示される。音場のHOA表現の低ビットレート圧縮方法の一つの主要な側面は、HOA表現を複数の周波数サブバンドに分解し、各周波数サブバンド内の係数を、打ち切りされたHOA表現と、いくつかの予測された方向性サブバンド信号に基づく表現との組み合わせによって近似することである。

打ち切りされたHOA表現は少数の選択された係数シーケンスを含む。ここで、選択は時間とともに変わることが許容される。たとえば、フレーム毎に新たな選択がなされる。打ち切りされたHOA表現を表わす選択された係数シーケンスは知覚的に符号化され、最終的な圧縮されたHOA表現の一部となる。ある実施形態では、符号化効率を高め、レンダリングにおけるノイズ・マスキング解除（noise unmasking）の効果を低減するために、それらの選択された係数シーケンスは知覚的符号化の前に脱相関される。それらの選択されたHOA係数シーケンスのうちの所定数に対して空間的変換を適用することによって、部分的脱相関が達成される。圧縮解除のためには、脱相関は、再相関によって反転される。そのような部分的脱相関の大いなる利点は、圧縮解除に際して脱相関を反転させるために追加のサイド情報が必要とされないことである。

近似されたHOA表現の他方の成分は、対応する方向をもついくつかの方向性サブバンド信号によって表現される。これらは、打ち切りされたHOA表現の係数シーケンスからの予測を含むパラメトリック表現によって符号化される。ある実施形態では、それぞれの方向性サブバンド信号が、打ち切りされたHOA表現の係数シーケンスのスケーリングされた和によって予測（または表現）される。ここで、スケーリングは、一般的には複素数値である。圧縮解除のために方向性サブバンド信号のHOA表現を再合成することができるために、圧縮された表現は、方向の量子化されたバージョンとともに複素数値の予測スケーリング因子の量子化されたバージョンを含む。

ある実施形態では、圧縮されたHOA表現から方向情報をデコードする方法が、前記圧縮されたHOA表現の各フレームについて、前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合と、それぞれの周波数サブバンドおよび最大閾値D_SB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットと、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスおよび方向性サブバンド信号情報とを抽出する段階と；それぞれの周波数サブバンド方向について、前記相対方向インデックスを絶対方向インデックスに変換する段階であって、各相対方向インデックスは、前記ビットが前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合内のインデックスとして使われる、段階と；前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。

ある実施形態では、入力HOA信号のフレームについての方向情報をエンコードする方法が、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合を決定する段階であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；前記入力HOA信号を複数の周波数サブバンドに分割する段階と；アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドのそれぞれについて、D_SB＜Qであるとして、D_SB個までのアクティブなサブバンド方向の第二の集合を決定する段階と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；現在フレームについての方向情報を集める段階と；集められた方向情報を伝送する段階とを含む。前記方向情報は、前記アクティブな候補方向と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットと、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスとを含む。

ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに上記の方向情報をエンコードする方法およびデコードする方法の少なくとも一方をコンピュータに実行させる実行可能命令を記憶している。

ある実施形態では、方向情報をフレームごとにエンコードする（そしてそれにより圧縮する）および／またはデコードする（そしてそれにより圧縮解除する）ための装置が、プロセッサと、プロセッサ上で実行されたときに上記の方向情報をエンコードする方法の段階および／または上記の方向情報をデコードする方法の段階を実行するソフトウェア・プログラムのためのメモリとを有する。

ある実施形態では、圧縮されたHOA表現から方向情報をデコードする装置が、前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合と、それぞれの周波数サブバンドおよびD_SB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットと、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスおよび方向性サブバンド信号情報とを抽出するよう構成された抽出モジュールと；それぞれの周波数サブバンド方向について、前記相対方向インデックスを絶対方向インデックスに変換するよう構成された変換モジュールであって、各相対方向インデックスは、前記ビットが前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合内のインデックスとして使われる、モジュールと；前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュールであって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールとを有する。

ある実施形態では、方向情報をエンコードする装置は少なくともアクティブ候補決定モジュールと、分解フィルタバンク・モジュールと、サブバンド方向決定モジュールと、相対方向インデックス割り当てモジュールと、方向情報まとめモジュールと、パッキング・モジュールとを有する。

アクティブ候補決定モジュールは、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合M_DIR(k)を決定するよう構成される。前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ。分解フィルタバンク・モジュールは、前記入力HOA信号を複数の周波数サブバンドに分割するよう構成される。サブバンド方向決定モジュールは、アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドのそれぞれについて、D_SB＜Qであるとして、D_SB個までのアクティブなサブバンド方向の第二の集合を決定するよう構成される。相対方向インデックス割り当てモジュールは、周波数サブバンド毎に各方向に相対方向インデックス（[1,…,NoOfGlobalDirs(k)]の範囲内）を割り当てるよう構成される。方向情報まとめモジュールは、現在フレームについての方向情報を集めるよう構成される。方向情報は、前記アクティブな候補方向M_DIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットと、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスとを含む。パッキング・モジュールは、集められた方向情報を伝送するよう構成される。

開示される方向情報のエンコードの利点は、データ・レート削減である。

さらなる利点は、各周波数サブバンドについての低減した、よってより高速な探索である。

本発明のさらなる目的、特徴および利点は、添付の図面との関連で参酌されるときの以下の記述および付属の請求項を考慮することから明白となるであろう。

本発明の例示的実施形態が、付属の図面を参照して記述される。
空間的HOAエンコーダのアーキテクチャを示す図である。 方向推定ブロックのアーキテクチャを示す図である。 知覚的サイド情報源エンコーダを示す図である。 知覚的サイド情報源デコーダを示す図である。 空間的HOAデコーダのアーキテクチャを示す図である。 球面座標系を示す図である。 方向推定処理ブロックを示す図である。 打ち切りされたHOA表現の方向、軌跡インデックス集合および係数を示す図である。 エンコード方法のフローチャートである。 デコード方法のフローチャートである。 方向情報をエンコードする装置を示す図である。 方向情報をデコードする装置を示す図である。 方向インデックス付けを示す図である。

音場のHOA表現のための提案される低ビットレート圧縮方法の一つの主要な発想は、もとのHOA表現をフレームごとおよび周波数サブバンドごとに、すなわち各HOAフレームの個々の周波数サブバンド内で、二つの部分の組み合わせによって近似するということである。二つの部分とは、打ち切りされたHOA表現と、いくつかの予測された方向性サブバンド信号に基づく表現である。HOAの基本の概要を下記でさらに与えておく。

近似されたHOA表現の第一の部分は、少数の選択された係数シーケンスからなる打ち切りされたHOAバージョンであり、該選択は時間とともに（たとえばフレーム毎に）変わることが許容される。打ち切りされたHOAバージョンを表わすための選択されたそれらの係数シーケンスは、次いで、知覚的に符号化され、最終的な圧縮されたHOA表現の一部となる。符号化効率を高め、レンダリングにおけるノイズ・マスキング解除（noise unmasking）の効果を低減するために、それらの選択された係数シーケンスを、知覚的符号化の前に脱相関することが有利である。それらの選択されたHOA係数シーケンスのうちの所定数に対して空間的変換、つまり所与の数の仮想スピーカー信号へのレンダリングを適用することによって、部分的脱相関が達成される。かかる部分的脱相関の大いなる利点は、圧縮解除に際して脱相関を反転させるために追加のサイド情報が必要とされないことである。

近似されたHOA表現の第二の部分は、対応する方向をもついくつかの方向性サブバンド信号によって表現される。しかしながら、これらは従来は符号化されない。その代わり、これらは前記第一の部分、すなわち打ち切りされたHOA表現の係数シーケンスからの予測によってパラメトリック表現として符号化される。具体的には、各方向性サブバンド信号は、打ち切りされたHOA表現の係数シーケンスのスケーリングされた和によって予測される。ここで、スケーリングは線形であり、一般的には複素数値である。両方の部分が合わさって、HOA信号の圧縮された表現をなし、よって低ビットレートを達成する。圧縮解除のために方向性サブバンド信号のHOA表現を再合成することができるために、圧縮された表現は、方向の量子化されたバージョンとともに複素数値の予測スケーリング因子の量子化されたバージョンを含む。このコンテキストにおいて特に重要な側面は、方向および複素数値の予測スケーリング因子の計算ならびにいかにしてそれらを効率的に符号化するかである。

低ビットレートHOA圧縮
提案される低ビットレートHOA圧縮のために、低ビットレートHOA圧縮器は空間的HOAエンコード部と、知覚的および源エンコード部とに細分されることができる。空間的HOAエンコード部の例示的なアーキテクチャが図１に示されており、知覚的および源エンコード部の例示的なアーキテクチャが図３に示されている。空間的HOAエンコーダ１０は、I個の信号を含む第一の圧縮されたHOA表現を、そのHOA表現をどのように生成するかを記述するサイド情報とともに提供する。知覚的およびサイド情報源符号化器３０では、これらI個の信号が知覚的符号化器３１において知覚的にエンコードされ、サイド情報はサイド情報源符号化器３２における源エンコード（たとえばエントロピー符号化）にかけられる。サイド情報源符号化器３２は、符号化されたサイド情報

を提供する。次いで、知覚的符号化器３１およびサイド情報源符号化器３２によって提供された二つの符号化された表現は、マルチプレクサ３３において多重化されて、低ビットレートの圧縮されたHOAデータ・ストリーム

が得られる。

空間的HOAエンコード
図１に示される空間的HOAエンコーダは、フレームごとの処理を実行する。フレームはO個の時間連続的なHOA係数シーケンスの諸部分として定義される。たとえば、エンコードされるべき入力HOA表現のk番目のフレームC(k)は、時間連続的なHOA係数シーケンスのベクトルc(t)（式(46)参照）に関して次のように定義される。

ここで、kはフレーム・インデックスを表わし、Lはフレーム長（サンプル単位）を表わし、O＝(N＋1)²はHOA係数シーケンスの数を表わし、T_Sはサンプリング周期を表わす。

打ち切りされたHOA表現の計算
図１に示されるように、打ち切りされたHOA表現の計算における第一段階は、もとのHOAフレームC(k)から、打ち切りされたバージョンC_T(k)を計算する（１１）ことを含む。このコンテキストにおける打ち切りとは、入力HOA表現のO個の係数シーケンスのうちI個の特定の係数シーケンスを選択し、他のすべての係数シーケンスを0に設定することを意味する。係数シーケンスの選択のためのさまざまな解決策が、非特許文献４、５、６から知られている。たとえば、最大のパワーまたは人間の知覚に関して最高の有意性をもつものの選択である。選択された係数シーケンスは、打ち切りされたHOAバージョンを表わす。選択された係数シーケンスのインデックスを含むデータ・セットI_C,ACT(k)が生成される。次いで、のちにさらに述べるように、打ち切りされたHOAバージョンC_T(k)は部分的に脱相関され（１２）、部分的に脱相関された打ち切りされたHOAバージョンC_I(k)はチャネル割り当て１３を受ける。ここで、選ばれた係数シーケンスが、利用可能なI個のトランスポート・チャネルに割り当てられる。のちにさらに述べるように、これらの係数シーケンスは、次いで知覚的にエンコードされ（３０）、最終的に、圧縮された表現の一部になる。チャネル割り当て後に知覚的エンコードのためのなめらかな信号を得るために、k番目のフレームでは選択されているがk＋1番目のフレームでは選択されていない係数シーケンスが判別される。あるフレームでは選択されるが次のフレームでは選択されなくなる係数シーケンスは、フェードアウトされる。それらのインデックスは、データ・セットI_C,ACT(k)の部分集合であるデータ・セットI_C,ACT,OUT(k)に含まれる。同様に、k番目のフレームでは選択されるがk−1番目ののフレームでは選択されていなかった係数シーケンスは、フェードインされる。それらのインデックスは、やはりデータ・セットI_C,ACT(k)の部分集合であるデータ・セットI_C,ACT,IN(k)に含まれる。フェードのためには、窓関数w_OA(l)、l＝1,…,2L（のちに式(39)で導入されるようなもの）が使われてもよい。

ひっくるめると、打ち切りされたバージョンC_T(k)のHOAフレームkがO個の個々の係数シーケンス・フレームのL個のサンプルから

によって構成されるとすると、打ち切りは、係数シーケンス・インデックスn＝1,…,Oおよびサンプル・インデックスl＝1,…,Lについて、

によって表現されることができる。

係数シーケンスの選択のための基準についてはいくつかの可能性がある。たとえば、一つの有利な解決策は、信号パワーの大半を表わす係数シーケンスを選択することである。もう一つの有利な解決策は、人間の知覚に関して最も有意な係数シーケンスを選択することである。後者の場合、有意性は、たとえば、異なる仕方で打ち切りされた表現を仮想スピーカー信号にレンダリングし、それらの信号ともとのHOA表現に対応する仮想スピーカー信号との間の誤差を決定し、最後に、音マスキング効果を考慮しつつ誤差の有意性を解釈することによって、決定されてもよい。

集合I_C,ACT(k)内のインデックスを選択するための合理的な戦略は、ある実施形態では、常に最初のO_MIN個のインデックス1,…,O_MINを選択するというものである。ここで、O_MIN＝(N_MIN＋1)²≦Iであり、N_MINは、打ち切りされたHOA表現の所与の最小フル次数を表わす。次いで、上述した基準のうちの一つに従って集合{O_MIN＋1,…,O_MAX}の残りI−O_MIN個のインデックスを選択する。ここで、O_MAX＝(N_MAX＋1)²≦Oであり、N_MAXは、選択のために考慮されるHOA係数シーケンスの最大次数を表わす。O_MAXはサンプル当たりの転送可能な係数の最大数であり、これは係数の総数O以下であることを注意しておく。この戦略によれば、打ち切り処理ブロック１１は、いわゆる割り当てベクトル

をも提供する。該割り当てベクトルの要素v_A,i(k)、i＝1,…,I−O_MINは

に従って設定される。ここで、n（ただしn≧O_MIN＋1）は、のちにi番目のトランスポート信号y_i(k)に割り当てられる、C(k)の追加的に選択されたHOA係数シーケンスのHOA係数シーケンス・インデックスを表わす。y_i(k)の定義は下記の式(10)において与えられる。よって、C_T(k)の最初のO_MIN行は、デフォルトにより、HOA係数シーケンス1,…,O_MINを含み、C_T(k)の続くO−O_MIN個の（またはO＝O_MAXならO_MAX−O_MIN個）の行のうち、割り当てベクトルv_A(k)にインデックスが格納されている、フレームごとに変化するHOA係数シーケンスを含むI−O_MIN個の行がある。最後に、C_T(k)の残りの行は0を含む。結果として、後述するように、利用可能なI個のトランスポート信号のうち最初の（または式(10)のように最後の）O_MIN個はデフォルトによりHOA係数シーケンス1,…,O_MINに割り当てられ、残りのI−O_MIN個のトランスポート信号は、割り当てベクトルv_A(k)にインデックスが格納されている、フレームごとに変化するHOA係数シーケンスに割り当てられる。

部分的脱相関
第二段階では、その後の知覚的エンコードの効率を高めるとともに、レンダリングにおける選択されたHOA係数シーケンスの行列処理後に生じる符号化ノイズ・マスキング解除を避けるために、選択されたHOA係数シーケンスの部分的脱相関１２が実行される。例示的な部分的脱相関１２は、最初のO_MIN個の選択されたHOA係数シーケンスに空間的変換を適用することによって達成される。これは、O_MIN個の仮想スピーカー信号へのレンダリングを意味する。それぞれの仮想スピーカー位置は、図６に示される球面座標系によって表わされる。ここで、各位置は単位球上にある、すなわち動径1をもつと想定される。よって、これらの位置は等価に方向Ω_j＝(θ_j,φ_j)によって表わされることができる。ここで、1≦j≦O_MINであり、θ_jおよびφ_jはそれぞれ傾斜角および方位角を表わす（球面座標系の定義については下記参照）。これらの方向は、単位球上にできるだけ一様に分散されるべきである（個別的な方法の計算についてはたとえば非特許文献２を参照）。HOAは一般にN_MINに依存して方向を定義するので、本稿でΩ_jが書かれているところでは実際にはΩ_j ^(NMIN)が意図されることを注意しておく。

以下では、すべての仮想スピーカー信号のフレームは

によって表わされる。ここで、w_j(k)はj番目の仮想スピーカー信号のk番目のフレームを表わす。さらに、Ψ_MINは仮想スピーカー方向Ω_jに関するモード行列を表わす。ここで、1≦j≦Ω_MINである。モード行列は次式によって定義される。

ここで、

は仮想方向Ω_iに関するモード・ベクトルを示す。その要素S_n ^m(・)のそれぞれは、のちに定義する（式(48)参照）実数値の球面調和関数を表わす。この記法を使うと、レンダリング・プロセスは次の行列乗算によって定式化できる。

よって、部分的脱相関１２の出力である中間表現C_I(k)の信号は

によって与えられる。

チャネル割り当て
中間表現C_I(k)のフレームを計算したのち、その個々の信号c_I,n(k)（ここでn∈I_C,ACT(k)）は、利用可能なI個のチャネルに割り当てられて（１３）、知覚的エンコードのためのトランスポート信号y_i(k)、i＝1,…,Iを与える。割り当て１３の一つの目的は、相続くフレームの間で選択が変化する場合に起こりうる、知覚的にエンコードされるべき信号の不連続を避けることである。割り当ては、

によって表わすことができる。

利得制御
トランスポート信号y_i(k)のそれぞれは、利得制御ユニット１４によって最終的に処理される。ここで、信号利得は、知覚的エンコーダに好適な値範囲を達成するためになめらかに修正される。利得修正は、相続くブロックの間での深刻な利得変化を避けるために、一種の先読みを必要とし、よって一フレームの遅延を導入する。各トランスポート信号y_i(k)について、利得制御ユニット１４は、遅延されたフレームy_i(k−1)、i＝1,…,Iを受領または生成する。利得制御後の修正された信号フレームは、z_i(k−1)、i＝1,…,Iと表わされる。さらに、何らかの修正がなされた場合に空間的デコーダにおいて反転できるために、利得制御サイド情報が提供される。利得制御サイド情報は、指数e_i(k−1)および例外フラグβ_i(k−1)、i＝1,…,Iを含む。利得制御のより詳細な説明については、たとえば非特許文献９、C.5.2.5節または非特許文献３を参照されたい。このように、打ち切りされたHOAバージョン１９は、利得制御された信号フレームz_i(k−1)および利得制御サイド情報e_i(k−1)、β_i(k−1)、i＝1,…,Iを含む。

分解フィルタバンク
上述したように、近似されたHOA表現は二つの部分から構成される。すなわち、打ち切りされたHOAバージョン１９と、打ち切りされたHOA表現の係数シーケンスから予測される、対応する方向をもつ方向性のサブバンド信号によって表わされる成分とである。よって、第二の部分のパラメトリック表現を計算するために、もとのHOA表現の個々の係数シーケンスの各フレームc_n(k)、n＝1,…,Oがまず個々のサブバンド信号

のフレームに分解される。これは、一つまたは複数の分解フィルタバンク１５においてなされる。各サブバンドf_j、j＝1,…,Fについて、個々のHOA係数シーケンスのサブバンド信号のフレームがサブバンドHOA表現

にまとめられてもよい。分解フィルタバンク１５は、方向性サブバンド信号計算のために、このサブバンドHOA表現を方向推定処理ブロック１６および一つまたは複数の計算ブロック１７に与える。

原理的には、任意の型のフィルタ（すなわち、任意の複素数値のフィルタバンク、たとえばQMF、FFT）が分解フィルタバンク１５において使用されうる。分解フィルタバンクと対応する合成フィルタバンクの相続く適用が遅延された恒等関数を与えることは要求されない。そのような恒等関数を与える性質は完璧再構成属性として知られるものである。HOA係数シーケンスc_n(k)とは対照的に、それらのサブバンド表現

は一般には複素数値である。さらに、これらのサブバンド信号

は一般に、もとの時間領域信号に比べて時間的に間引きされている。結果として、フレーム

内のサンプル数は通例、時間領域信号フレームc_n(k)内のサンプル数（これはL）より顕著に少ない。

ある実施形態では、処理を人間の聴覚系の属性によりよく適合させるために、二つ以上のサブバンド信号がサブバンド信号グループに組み合わされる。各グループの帯域幅は、そのサブバンド信号の数によって、たとえばよく知られたバーク尺度に適合されることができる。すなわち、特に高周波では、二つ以上のグループが一つに組み合わされることができる。この場合、各サブバンド・グループが一組のHOA係数シーケンス

からなり、抽出されるパラメータの数は単一のサブバンドについてと同じであることを注意しておく。ある実施形態では、グループ化は、分解フィルタバンク・ブロック１５に組み込まれてもよい一つまたは複数のサブバンド信号グループ化ユニット（明示的には図示していない）において実行される。

方向推定
方向推定処理ブロック１６は、入力HOA表現を解析し、各周波数サブバンドf_j、j＝1,…,Fについて、音場に主要な寄与を加えるサブバンド一般平面波関数の方向の集合M_DIR(k,f_j)を計算する。このコンテキストにおいて、「主要な寄与」という用語は、信号パワーが他の方向から入射するサブバンド一般平面波の信号パワーより高いことを指しうる。また、人間の知覚に関して高い有意性を指すこともある。サブバンド・グループ化が使われる場合には、M_DIR(k,f_j)の計算のために、単一のサブバンドの代わりに、サブバンド・グループが使われることができることを注意しておく。

圧縮解除の間、相続くフレームの間での推定される方向および予測係数の変化のため、予測される方向性サブバンド信号におけるアーチファクトが生じることがある。そのようなアーチファクトを避けるためには、エンコードの間の方向推定および方向性サブバンド信号の予測は、連結された長フレームに対して実行される。連結された長フレームは、現在フレームおよびその先行フレームからなる。圧縮解除のためには、これらの長フレームに対して推定された量は、予測された方向性のサブバンド信号を用いた重複加算処理を実行するために使われる。

方向推定のための素直なアプローチは、各サブバンドを別個に扱うことであろう。方向探索のために、ある実施形態では、たとえば非特許文献７において提案される技法が適用されてもよい。このアプローチは、個々の各サブバンドについて、方向推定値のなめらかな時間的軌跡を提供し、急峻な方向変化または開始を捕捉できる。しかしながら、この既知のアプローチには二つの欠点がある。第一に、各サブバンドにおける独立した方向推定は、フルバンドの一般平面波（たとえばある方向からの過渡的なドラム・ビート）が存在する場合に、個々のサブバンド方向における推定誤差が、足し合わせても単一の方向からの所望されるフルバンド・バージョンにならない種々の方向からのサブバンド一般平面波につながりうるという、望まれない効果につながることがありうる。特に、ある諸方向からの過渡信号がぼかされる。

第二に、低ビットレート圧縮を得るという意図を考えると、サイド情報から帰結する全ビットレートを念頭に置く必要がある。以下では、そのような素朴なアプローチのためのビットレートがかなり高くなることを例によって示す。例示的に、サブバンドの数Fは10であると想定され、各サブバンドについての方向の数（これは各集合M_DIR(k,f_j)における要素の数に対応する）は4であると想定される。さらに、非特許文献９で提案されているように、各サブバンドについて、Q=900個の潜在的な方向候補の格子上で探索を実行するとする。これは、単一の方向の単純な符号化のために

ビットを要求する。毎秒約50フレームのフレーム・レートを想定すると、結果として得られる全体的なデータ・レートは、方向の符号化された表現だけのために、
（10ビット／方向）・（4方向／帯域）・（10帯域／フレーム）・（50フレーム／秒）＝20kbit/s
となる。たとえ毎秒25フレームのフレーム・レートを想定するとしても、結果として得られるデータ・レート10kbit/sはかなり高い。

改善として、ある実施形態では、方向推定ブロック２０において、方向推定のための以下の方法が使われる。一般的な発想は図２に示されている。第一段階では、フルバンド方向推定ブロック２１が、Q個の試験方向Ω_TEST,q、q＝1,…,Qからなる方向格子上で、連結された長フレーム

を使って、予備的なフルバンド方向推定または探索を実行する。ここで、C(k)およびC(k−1)はフルバンドのもとのHOA表現の現在および前の入力フレームである。この方向探索は、D(k)≦D個の方向候補Ω_CAND,d(k)、d＝1,…,D(k)を提供し、これらが集合M_DIR(k)に含まれる。すなわち、
M_DIR(k)＝｛Ω_CAND,1(k),…,Ω_CAND,D(k)(k)｝ (13)
となる。

フレーム毎の方向候補の最大数についての典型的な値はD＝16である。方向推定は、たとえば非特許文献７において提案されている方法によって達成されることができる。発想は、入力HOA表現の方向性パワー分布から得られる情報を、方向のベイジアン推定についての単純な源動きモデルと組み合わせるというものである。

第二段階では、方向探索が、サブバンド（またはサブバンド・グループ）毎に、サブバンド方向推定ブロック２２によって個々の各サブバンドについて実行される。しかしながら、サブバンドについてのこの方向探索は、Q個の試験方向からなる初期のフルの方向格子を考える必要はなく、各サブバンドについてD(k)個の方向のみを含む候補集合M_DIR(k)のみを考えればよい。f_j番目のサブバンド、j＝1,…,Fについての方向の数D_SB(k,f_j)は、D_SBより大きくなく、D_SBは典型的にはDより顕著に小さく、たとえばD_SB＝4である。フルバンド方向探索と同様に、サブバンドに関係した方向探索も、前のフレームと現在フレームからなる、サブバンド信号の長い連結されたフレーム

に対して実行される。原理的には、フルバンドに関係した方向探索についてと同じベイジアン推定方法が、サブバンド関係の方向探索のために適用されてもよい。

特定の音源の方向は時間とともに変化してもよい（だが変化する必要はない）。特定の音源の方向の時間的シーケンスは本稿では「軌跡」と呼ばれる。各サブバンド関係の方向または軌跡は曖昧さのないインデックスを得て、それにより異なる軌跡の混同が防止され、連続的な方向性サブバンド信号が与えられる。このことは、方向性サブバンド信号の後述する予測のために重要である。これは特に、さらに下記で定義される相続く予測係数行列A(k,f_j)の間の時間的依存性を活用することを許容する。したがって、f_j番目のサブバンドのための方向推定は、タプルの集合M_DIR(k,f_j)を提供する。各タプルは、個々の（アクティブな）方向軌跡を同定するインデックスd∈I_DIR(k,f_j)⊆{1,…,D_SB}と、それぞれの推定される方向Ω_SB,d(k,f_j)とからなる。すなわち、

サブバンド方向探索は上述したように現在フレームの方向候補Ω_CAND,d(k)、d＝1,…,D(k)の間でのみ実行されるので、定義により、集合｛(Ω_SB,d(k,f_j)｜d∈I_DIR(k,f_j))｝は各j＝1,…,FについてのM_DIR(k)の部分集合である。各インデックスはQ個ではなくD(k)個の候補方向のうちの一つの方向を定義し、D(k)≦Qであるので、これは、方向に関するサイド情報のより効率的な符号化を許容する。インデックスdは、軌跡を生成するためにその後のフレームにおいて方向を追跡するために使われる。図２に示され、上記したように、方向推定処理ブロック１６はある実施形態では、フルバンド方向推定ブロック２１と、各サブバンドもしくはサブバンド・グループについてのサブバンド方向推定ブロック２２とを有する方向推定ブロック２０を備える。これはさらに、図７に示されるように上述した長フレームを方向推定ブロック２０に提供する長フレーム生成ブロック２３を有していてもよい。長フレーム生成ブロック２３は、たとえば一つまたは複数のメモリを使って、それぞれLサンプルの長さをもつ二つの相続く入力フレームから長フレームを生成する。長フレームは、本稿では￣によって、またk−1およびkの二つのインデックスをもつことによって示される。他の実施形態では、長フレーム生成ブロック２３は、図１に示されるエンコーダ内の別個のブロックであってもよく、あるいは他のブロックに組み込まれてもよい。

方向性サブバンド信号の計算
図１に戻ると、分解フィルタバンク１５によって提供されるサブバンドHOA表現フレーム

は、一つまたは複数の方向性サブバンド信号計算ブロック１７にも入力される。方向性サブバンド信号計算ブロック１７では、すべてのD_SB個の潜在的な方向性サブバンド信号の長フレーム

が

のように行列に配列される。

さらに、非アクティブな方向性サブバンド信号のフレーム、すなわちインデックスdが集合I_DIR(k,f_j)内に含まれない長い信号フレーム

は0に設定される。

残りの長い信号フレーム

すなわち、インデックスd∈I_DIR(k,f_j)をもつものは、行列

内に集められる。それに含まれるアクティブな方向性サブバンド信号を計算するための一つの可能性は、そのHOA表現ともとの入力サブバンドHOA表現との間の誤差を最小にすることである。解は

によって与えられる。ここで、(・)⁺はムーア・ペンローズの擬似逆行列を表わし、

は、集合｛(Ω_SB,d(k,f_j)｜d∈I_DIR(k,f_j))｝内の方向推定値に関するモード行列を表わす。サブバンド・グループの場合、方向性サブバンド信号

の集合は、グループのすべてのHOA表現

に一つの列（Ψ_SB(k,f_j)）⁺を乗算することから計算されることを注意しておく。長フレームは、上記したものと同様の一つまたは複数のさらなる長フレーム生成ブロックによって生成されることができることを注意しておく。同様に、長フレームは、長フレーム分解ブロックにおいて、正規長さのフレームに分解されることができる。ある実施形態では、方向性サブバンドの計算のための諸ブロック１７は、それらの出力において、長フレーム

を、方向性サブバンド予測ブロック１８に提供する。

方向性サブバンド信号の予測
上述したように、近似的なHOA表現は、アクティブな方向性サブバンド信号によって部分的に表現される。だが、これは従来は符号化されないものである。従来と違って、現在記載される実施形態では、符号化された表現の伝送のための全データ・レートを低く保つために、パラメトリック表現が使われる。パラメトリック表現では、それぞれのアクティブな方向性サブバンド信号

すなわちインデックスd∈I_DIR(k,f_j)をもつものが、打ち切りされたサブバンドHOA表現

の係数シーケンスの重み付けされた和によって予測される。ここで、n∈I_C,ACT(k−1)であり、重みは一般に複素数値である。

よって、

が

の予測されたバージョンを表わすとすると、予測は

として行列乗算によって表わされる。ここで、

はサブバンドf_jについてのすべての重み付け因子（あるいは等価だが予測係数）をもつ行列である。予測行列A(k,f_j)の計算は、一つまたは複数の方向性サブバンド予測ブロック１８において実行される。ある実施形態では、図１に示されるように、サブバンド毎に一つの方向性サブバンド予測ブロック１８が使われる。別の実施形態では、複数またはすべてのサブバンドのために単一の方向性サブバンド予測ブロック１８が使われる。サブバンド・グループの場合には、各グループについて一つの行列A(k,f_j)が計算されるが、それはグループのそれぞれのHOA表現

を乗算され、グループ毎に一組の行列

を生成する。構築法により、インデックスd∈I_DIR(k,f_j)をもつもの以外のA(k,f_j)のすべての行は0であることを注意しておく。つまり、アクティブな方向性サブバンド信号のみが予測される。さらに、インデックスn∈I_C,ACT(k−1)をもつもの以外のA(k,f_j)のすべての列も0である。つまり、予測のためには、伝送され、HOA圧縮解除の間に予測のために利用可能であるHOA係数シーケンスのみが考慮される。

予測行列A(k,f_j)の計算のために、以下の諸側面が考慮される必要がある。

第一に、もとの打ち切りされたサブバンドHOA表現

は一般に、HOA圧縮解除において利用可能ではない。その代わり、その知覚的にデコードされたバージョン

が利用可能であり、方向性サブバンド信号の予測のために使われる。低ビットレートでは、典型的なオーディオ・コーデック（たとえばAACまたはUSAC）は、スペクトルの低周波数および中程度の周波数は通常通り符号化されるが、高周波数内容（たとえば5kHz以降）は高周波数包絡についての追加のサイド情報を使って低周波数および中程度の周波数から複製されるスペクトル帯域複製（SBR）を使う。そのため、知覚的デコード後の打ち切りされたHOA成分

の再構成されたサブバンド係数シーケンスの大きさは、もとの

のものに似る。しかしながら、これは位相については成り立たない。よって、高周波数サブバンドについては、複素数値の予測係数を使うことによる予測のために何らかの位相関係を活用することは意味がない。その代わり、実数値の予測係数のみを使うほうが合理的である。特に、f_j番目のサブバンドがSBRの開始周波数を含むようインデックスj_SBRを定義して、予測係数の型を次のように設定することが有利である。

換言すれば、ある実施形態では、より低いサブバンドについての予測係数は複素数値であり、一方、より高いサブバンドについての予測係数は実数値である。

第二に、ある実施形態では、行列A(k,f_j)の計算の戦略は、その型に適合される。特に、SBRによって影響されない低周波数サブバンドf_j、1≦j＜j_SBRについては、

とその予測されたバージョン

との間の誤差のユークリッド・ノルムを最小化することによって、A(k,f_j)の0でない要素を決定することが可能である。知覚的符号化器３１は、j_SBR（図示せず）を定義し、提供する。このようにして、関係する信号の位相関係が予測のために明示的に活用される。サブバンド・グループについては、グループのすべての方向性信号に対する予測誤差のユークリッド・ノルムが最小化されるべきである（すなわち、最小二乗予測誤差）。SBRによって影響される高周波数サブバンドf_j、j_SBR≦j≦Fについては、打ち切りされたHOA成分

の再構成されたサブバンド係数シーケンスの位相は、もとのサブバンド係数シーケンスの位相にいささかも似ていると想定することができないため、上述した基準は合理的ではない。

この場合、一つの解決策は、位相を無視し、その代わりに予測のためには信号パワーのみに集中することである。予測係数の決定のための合理的な基準は次の誤差を最小化することである。

ここで、演算|・|²は要素ごとに行列に適用されると想定される。換言すれば、予測係数は、打ち切りされたHOA成分のすべての重み付けされたサブバンドまたはサブバンド・グループの係数シーケンスのパワーの和が、方向性サブバンド信号のパワーを最もよく近似するように、選ばれる。この場合、この最適化問題を解いて予測行列A(k,f_j)、j＝1,…,Fの予測係数を得るために、非負行列因子分解（NMF: Nonnegative Matrix Factorization）技法（たとえば非特許文献８参照）を使うことができる。これらの行列は、次いで、知覚的および源エンコード段３０に提供される。

知覚的および源エンコード
上記の空間的HOA符号化後、k−1番目のフレームについての結果として得られる利得適応されたトランスポート信号z_i(k−1)、i＝1,…,Iは符号化されて、それらの符号化された表現

が得られる。これは、図３に示される知覚的および源エンコード段３０における知覚的符号化器３１によって実行される。さらに、集合M_DIR(k)、M_DIR(k,f_j)、f＝1,…,F、予測係数行列A(k,f_j)∈C^O×DSB、j＝1,…,F、利得制御パラメータe_i(k−1)およびβ_i(k−1)、i＝1,…,Iおよび割り当てベクトルv_A(k−1)に含まれる情報が、効率的な記憶または伝送のために冗長性を除去するために源エンコードにかけられる。これは、サイド情報源符号化器３２によって実行される。結果として得られる符号化された表現

はマルチプレクサ３３において、符号化されたトランスポート信号表現

と一緒に多重化されて、最終的な符号化されたフレーム

を生成する。

原理的には、利得制御パラメータの源符号化および割り当ては非特許文献９と同様に実行できるので、本稿は方向および予測パラメータの符号化のみに焦点を当て、それについて以下で詳述する。

方向の符号化
個々のサブバンド方向の符号化のために、上記に基づく非有意性削減を活用して、選ばれるべき個々のサブバンド方向を制約することができる。前述したように、これら個々のサブバンド方向は、あらゆる可能な試験方向Ω_TEST,q、q＝1,…,Qから選ばれるのではなく、フルバンドHOA表現の各フレームについて決定される少数の候補から選ばれる。例示的に、サブバンド方向の源符号化のための可能な仕方は、下記のアルゴリズム１においてまとめられる。

アルゴリズム１の第一段階では、サブバンド方向として実際に生起するすべてのフルバンド方向候補の集合M_FB(k)が決定される。すなわち、

NoOfGlobalDirs(k)によって表わされるこの集合の要素数は、方向の符号化された表現の第一の部分である。M_FB(k)は定義によりM_DIR(k)の部分集合なので、NoOfGlobalDirs(k)は

ビットで符号化できる。さらなる記述を明確にするために、集合M_FB(k)内の方向はΩ_FB,d(k)、d＝1,…,NoOfGlobalDirs(k)によって表わされる。すなわち、

第二段階では、集合M_FB(k)内の方向が、ここで格子（grid）と称される可能な試験方向Ω_TEST,qのインデックスq＝1,…,Qによって符号化される。各方向Ω_FB,d(k)、d＝1,…,NoOfGlobalDirs(k)について、それぞれの格子インデックスは、

ビットのサイズをもつ配列要素GlobalDirGridIndices(k)[d]において符号化される。すべての符号化されたフルバンド方向を表わす全アレイGlobalDirGridIndices(k)はNoOfGlobalDirs(k)個の要素からなる。

第三段階では、各サブバンドまたはサブバンド・グループf_j、j＝1,…,Fについて、d番目の方向性サブバンド信号（d＝1,…,D_SB）がアクティブであるか否か、すなわちd∈I_DIR(k,f_j)であるかどうかの情報が、配列要素bSubBandDirIsActive(k,f_j)[d]において符号化される。d∈I_DIR(k,f_j)であれば、それぞれのサブバンド方向Ω_SB,d(k,f_j)はそれぞれのフルバンド方向Ω_FB,i(k)のインデックスiによって、D_SB(k,f_j)個の要素からなる配列RelDirIndices(k,f_j)に符号化される。

この方向エンコード方法の効率を示すために、上記の例に基づく方向の符号化された表現についての最大データ・レートが計算される：F＝10サブバンド、D_SB(k,f_j)＝D_SB＝サブバンド毎に4方向、Q＝900個の試験方向および毎秒25フレームのフレーム・レートが想定される。通常の符号化方法では、必要とされるデータ・レートは10kbit/sであった。ある実施形態に基づくこの改善された符号化方法では、フルバンド方向の数がNoOfGlobalDirs(k)＝D＝8であるとすれば、GlobalDirGridIndices(k)を符号化するためにフレーム当たり

ビットが、bSubBandDirIsActive(k,f_j)を符号化するためにD_SB・F＝40ビットが、RelDirIndices(k,fj)を符号化するために

ビットが必要とされる。その結果、（240ビット／フレーム）・（25フレーム／秒）＝6kbit/sのデータ・レートとなり、これは10kbit/sより顕著に小さい。フルバンド方向のより多くの数NoOfGlobalDirs(k)＝D＝16についてでさえも、たった7kbit/sのデータ・レートで十分である。

図１３は、アルゴリズム１におけるような方向インデックス付けを示している。集合M_DIR(k)はD(k)個のフルバンド候補方向をもち、D(k)≦Dであり、Dはあらかじめ定義された値である。集合M_DIR(k)、M_DIR(k)の部分集合はNoOfGlobalDirs(k)個の実際に使われる方向をもつ。GlobalDirIndicesは、フルバンド方向（たとえば900個の方向のいわゆる格子をいう）のインデックスを格納する配列である。bSubBandDirIsActiveは、D_SB個までの軌跡（または方向）のそれぞれについて、「アクティブ」または「アクティブでない」を示すビットを格納する。RelDirIndicesは、bSubBandDirIsActiveが「アクティブ」を示す軌跡／方向について、それぞれlog₂(NoOfGlobalDirs(k))ビットを用いてGlobalDirIndicesのインデックスを格納する。

予測係数行列の符号化
予測係数行列の符号化のためには、方向軌跡、よって方向性サブバンド信号のなめらかさのために相続くフレームの予測係数の間には高い相関があるという事実を活用できる。さらに、各予測係数行列A(k,f_j)についてフレーム毎に（D_SB(k,f_j)・M_C,ACT(k−1)）個の潜在的な0でない要素の比較的多くの数がある。ここで、M_C,ACT(k−1)は集合I_C,ACT(k−1)内の要素数を表わす。サブバンド・グループが使われなければ、全部で、フレーム当たり符号化されるべきF個の行列がある。サブバンド・グループが使われる場合には、フレーム当たりに符号化されるべき行列は相応してF個より少なくなる。

ある実施形態では、各予測係数のためのビット数を低く保つために、各複素数値の予測係数はその絶対値とその偏角によって表現され、次いで偏角および絶対値が相続くフレームの間で異なる仕方で、行列A(k,f_j)のそれぞれの特定の要素について独立に、符号化される。絶対値が区間[0,1]内にあると想定される場合、絶対値の差は区間[−1,1]内にある。複素数の偏角の差は区間[−π,π]内にあると想定されてもよい。絶対値および偏角の差の両方の量子化のために、それぞれの区間は等しいサイズのたとえば2^NQ個の部分区間に細分されることができる。その場合、それぞれの絶対値および偏角の差について、素直な符号化だとN_Qビットを必要とする。さらに、相続くフレームの予測係数の間の上述した相関のため、個々の差の生起確率はきわめて非一様に分布していることが実験的に見出されている。特に、絶対値および偏角における小さな差は、より大きな差よりも有意に高頻度で生起する。よって、たとえばハフマン符号化のような、符号化されるべき個々の値の事前確率に基づく符号化方法が、予測係数毎の平均ビット数を有意に減らすために活用できる。換言すれば、予測行列A(k,f_j)の実部および虚部の代わりに、予測行列A(k,f_j)における値の絶対値および位相を異なる仕方でエンコードすることが通例は有利である。しかしながら、実部および虚部の使用が受け入れ可能な状況も生じるかもしれない。

ある実施形態では、非差分的に符号化された行列係数を含む特別なアクセス・フレームが、ある間隔（用途固有、たとえば毎秒一回）において送られる。これは、デコーダがこれらの特殊なアクセス・フレームから差分デコードを再開することを許容し、よってデコードのためのランダムな入場を可能にする。

以下では、上記のように構築された低ビットレート圧縮されたHOA表現の圧縮解除を記述する。圧縮解除もフレーム毎に機能する。

原理的には、ある実施形態に基づく低ビットレートHOAデコーダは、上記の低ビットレートHOAエンコーダ・コンポーネントの、逆順に配列された対応物を有する。特に、低ビットレートHOAデコーダは、図４に描かれるような知覚的および源デコード部と、図６に示されるような空間的HOAデコード部とに細分できる。

知覚的および源デコード
図４は、ある実施形態における、知覚的およびサイド情報源デコーダ４０を示している。知覚的およびサイド情報源デコーダ４０において、低ビットレート圧縮されたHOAビットストリーム

はまずデマルチプレクサにおいて多重分離されて（ｓ４１）、I個の信号の知覚的に符号化された表現

およびどのようにしてそのHOA表現を生成するかを記述する符号化されたサイド情報

を生じる。次いで、知覚的デコーダ４２におけるI個の信号の知覚的デコード（ｓ４２）およびサイド情報デコーダ４３（たとえばエントロピー・デコーダ）におけるサイド情報のデコード（ｓ４３）が実行される。

知覚的デコーダ４２はI個の信号

を知覚的にデコードされた信号

にデコードする。

サイド情報源デコーダ４３は、符号化されたサイド情報

をタプル集合M_DIR(k＋1,f_j)、j＝1,…,F、各サブバンドまたはサブバンド・グループf_j（j＝1,…,F）についての予測係数行列A(k＋1,f_j)、利得補正指数e_i(k)および利得補正例外フラグβ_i(k)ならびに割り当てベクトルv_AMB,ASSIGN(k)にデコードする。

アルゴリズム２は、符号化されたサイド情報

からどのようにしてタプル集合M_DIR(k＋1,f_j)、j＝1,…,Fを生成するかを例示的にまとめている。サブバンド方向のデコードは下記で詳細に記述される。

第一に、符号化されたサイド情報

からNoOfGlobalDirs(k)が抽出される。上記のように、これらはサブバンド方向としても使われる。それは┌log₂(D)┐ビットで符号化される。

第二段階では、NoOfGlobalDirs(k)個の要素からなる配列GlobalDirGridIndices(k)が抽出される。各要素は┌log₂(Q)┐ビットによって符号化される。この配列は、フルバンド方向Ω_FB,d(k)、d＝1,…,NoOfGlobalDirs(k)を表わす格子インデックスを含み、
Ω_FB,d(k)＝Ω_{TEST,GlobalDirGridIndices(k)[d]} (23)
となる。

次いで、各サブバンドまたはサブバンド・グループf_j、j＝1,…,Fについて、D_SB個の要素からなる配列bSubBandDirIsActive(k,f_j)が抽出される。ここで、d番目の要素bSubBandDirIsActive(k,f_j)[d]は、d番目のサブバンド方向がアクティブであるか否かを示す。さらに、アクティブなサブバンド方向の総数D_SB(k,f_j)が計算される。

最後に、各サブバンドまたはサブバンド・グループf_j、j＝1,…,Fについて、タプルの集合M_DIR(k,f_j)が計算される。これは、個々の（アクティブな）サブバンド方向軌跡を同定するインデックスd∈I_DIR(k,fj)⊆{1,D_SB}およびそれぞれの推定される方向Ω_SB(k,f_j)からなる。

次に、各サブバンドまたはサブバンド・グループf_j、j＝1,…,Fについて、予測係数行列A(k＋1,f_j)が、符号化されたフレーム

から再構成される。ある実施形態では、再構成は、サブバンドまたはサブバンド・グループf_j毎に以下のステップを含む：第一に、各行列係数の偏角および絶対値の差がエントロピー復号によって得られる。次いで、エントロピー復号された偏角および絶対値の差が、それらの符号化のために使われたビット数N_Qに従って実際の値範囲に再スケーリングされる。最後に、現在の予測係数行列A(k＋1,f_j)が、再構成された偏角および絶対値の差を、最新の係数行列A(k,f_j)、すなわち直前フレームの係数行列の係数に加えることによって、構築される。

このように、現在の行列A(k＋1,f_j)のデコードのためには直前の行列A(k,f_j)が知られている必要がある。ある実施形態では、ランダム・アクセスを可能にするために、特別なアクセス・フレームがある間隔で受領される。該特別なアクセス・フレームは、これらのフレームから差分デコードを再開するために、非差分的に符号化された行列係数を含む。

知覚的およびサイド情報源デコーダ４０は、知覚的にデコードされた信号

と、タプル集合M_DIR(k＋1,f_j)、j＝1,…,Fと、予測係数行列A(k＋1,f_j)と、利得補正指数e_i(k)と、利得補正例外フラグβ_i(k)と、割り当てベクトルv_AMB,ASSIGN(k)とをその後の空間的HOAデコーダ５０に出力する。

空間的HOAデコード
図５は、ある実施形態における例示的な空間的HOAデコーダ５０を示している。空間的HOAデコーダ５０は、I個の信号

およびサイド情報デコーダ４３によって与えられる上記のサイド情報から、再構成されたHOA表現を生成する。空間的HOAデコーダ５０内の個々の処理ユニットについて下記で詳細に述べる。

逆利得制御
空間的HOAデコーダ５０において、知覚的デコードされた信号

は、関連付けられた利得補正指数e_i(k)および利得補正例外フラグβ_i(k)と一緒に、まず一つまたは複数の逆利得制御処理ブロック５１に入力される。逆利得制御処理ブロックは、利得補正された信号フレーム

を与える。ある実施形態では、I個の信号

のそれぞれは、図５と同様に別個の逆利得制御処理ブロック５１に入力され、i番目の逆利得制御処理ブロックが利得補正された信号フレーム

を与える。逆利得制御のより詳細な記述は、たとえば非特許文献９の節11.4.2.1から知られている。

打ち切りされたHOA再構成
打ち切りされたHOA再構成ブロック５２では、I個の利得補正された信号フレーム

が、割り当てベクトルV_AMB,ASSIGN(k)によって与えられる情報に従ってHOA係数シーケンス行列に再分配（すなわち、再割り当て）される。それにより、打ち切りされたHOA表現

が再構成される。割り当てベクトルV_AMB,ASSIGN(k)は、各伝送チャネルについて、もとのHOA成分のどの係数シーケンスを含んでいるかを示すI個の成分を有する。さらに、割り当てベクトルの要素は、k番目のフレームについてのすべての受領された係数シーケンスのインデックス（もとのHOA成分を指すインデックス）の集合I_C,ACT(k)
I_C,ACT(k)＝｛V_AMB,ASSIGN,i(k)|i＝1,…,I｝ (24)
をなす。

打ち切りされたHOA表現

の再構成は以下のステップを含む。

第一に、デコードされた中間表現

の個々の成分

は、割り当てベクトル内の情報に依存して、0に設定されるか、利得補正された信号フレーム

の対応する成分によって置き換えられる。すなわち、

つまり、上述したように、割り当てベクトルのi番目の要素（式(26)ではn）は、i番目の係数

が、デコードされた中間表現行列（式(25)）のn番目の行における

を置換することを示す。

第二に、

内の最初のO_MIN個の信号の再相関が、逆空間的変換を適用することによって実行され、フレーム

を与える。ここで、モード行列Ψ_MINは式(6)において定義されたとおりである。モード行列は、各O_MINまたはN_MINについてあらかじめ定義されている所与の諸方向に依存し、よってエンコーダおよびデコーダの両方において独立して構築されることができる。O_MIN（またはN_MIN）も慣習上あらかじめ定義される。

最後に、再構成された打ち切りされたHOA表現

が再相関された信号

および中間表現の信号

から

に従って合成される。

分解フィルタバンク
予測された方向性サブバンド信号によって表わされる第二のHOA成分をさらに計算するために、圧縮解除された打ち切りされたHOA表現

の個々の係数シーケンスnの各フレーム

がまず、一つまたは複数の分解フィルタバンク５３において、個々のサブバンド信号のフレーム

に分解される。各サブバンドf_j、j＝1,…,Fについて、個々のHOA係数シーケンスのサブバンド信号のフレームは、サブバンドHOA表現

にまとめられてもよい。

HOA空間的デコード段において適用される前記一つまたは複数の分解フィルタバンク５３は、HOA空間的エンコード段における一つまたは複数の分解フィルタバンク１５と同じであり、サブバンド・グループについては、HOA空間的エンコード段からのグループ化が適用される。このように、ある実施形態では、グループ化情報がエンコードされた信号に含められる。グループ化情報についてのさらなる詳細は後述する。

ある実施形態では、HOA圧縮段における打ち切りされたHOA表現の計算のために最大次数N_MAXが考慮され（上記の式(4)付近を参照）、HOA圧縮器および圧縮解除器の分解フィルタバンク１５、５３の適用は、インデックスn＝1,…,O_MAXをもつHOA係数シーケンス

のみに制約される。インデックスn＝O_MAX＋1,…,Oをもつサブバンド信号フレーム

は0に設定されることができる。

方向性サブバンドHOA表現の合成
各サブバンドまたはサブバンド・グループについて、方向性サブバンドもしくはサブバンド・グループHOA表現

が、一つまたは複数の方向性サブバンド合成ブロック５４において合成される。ある実施形態では、相続くフレームの間での方向および予測係数の変化に起因するアーチファクトを避けるために、方向性サブバンドHOA表現の計算は、重複加算の概念に基づく。よって、ある実施形態では、f_j番目のサブバンド、j＝1,…,Fに関係したアクティブな方向性サブバンド信号のHOA表現

は、フェードアウトされる成分とフェードインされる成分との和として計算される：

第一段階では、二つの個々の成分を計算するために、フレームk₁∈{k,k＋1}についての予測係数行列A(k₁,f_j)とk番目のフレームについての打ち切りされたサブバンドHOA表現

との関係したすべての方向性サブバンド信号

の瞬時フレームが、

によって計算される。

サブバンド・グループについては、各グループについてのHOA表現

が固定した行列A(k₁,f_j)を乗算されて、そのグループのサブバンド信号

を生成する。

第二段階では、方向Ω_SB,d(k,f_j)に関する方向性サブバンド信号

の瞬時サブバンドHOA表現

が

として得られる。ここで、ψ(Ω_SB,d(k,f_j))∈R^Oは、方向Ω_SB,d(k,f_j)に関する（式(7)におけるモード・ベクトルのような）モード・ベクトルを表わす。サブバンド・グループについては、式(32)はグループのすべての信号について実行され、行列ψ(Ω_SB,d(k,f_j))は各グループについて固定されている。

行列

がそのサンプルから

によって構成されるとすると、アクティブな方向性サブバンド信号のHOA表現のフェードアウトされる成分およびフェードインされる成分のサンプル値は最終的に

によって決定される。ここで、ベクトル

は重複加算の窓関数を表わす。窓関数の例は、周期的ハン窓によって与えられ、その要素は

によって定義される。

サブバンドHOA組成（composition）
各サブバンドまたはサブバンド・グループf_j、j＝1,…,Fについて、デコードされたサブバンドHOA表現

の係数シーケンス

は、以前に伝送されていれば打ち切りされたHOA表現

の係数シーケンスに設定され、そうでなければ方向性サブバンド合成ブロック５４の一つによって与えられる方向性HOA成分

の係数シーケンスに設定される。すなわち、

このサブバンド組成は、一つまたは複数のサブバンド組成ブロック５５によって実行される。ある実施形態では、各サブバンドまたはサブバンド・グループについて、よって前記一つまたは複数の方向性サブバンド合成ブロック５４のそれぞれについて、別個のサブバンド組成ブロック５５が使われる。ある実施形態では、方向性サブバンド合成ブロック５４およびその対応するサブバンド組成ブロック５５は、単一のブロックに統合される。

合成フィルタバンク
最終段階では、デコードされたHOA表現が、すべてのデコードされたサブバンドHOA表現

から合成される。圧縮解除されたHOA表現

の個々の時間領域係数シーケンス

は、一つまたは複数の合成フィルタバンク５６によって対応するサブバンド係数シーケンス

から合成される。該一つまたは複数の合成フィルタバンク５６は、圧縮解除されたHOA表現

を最終的に出力する。

合成された時間領域係数シーケンスは通例、分解および合成フィルタバンク５３、５６の相続く適用のため、遅延をもつことを注意しておく。

図８は、単一の周波数サブバンドf₁について、一組のアクティブな方向の候補、それらの選ばれた軌跡および対応するタプル集合を例示的に示している。フレームkでは、四つの方向が周波数サブバンドf₁においてアクティブである。これらの方向はそれぞれの軌跡T₁、T₂、T₃およびT₅に属する。前のフレームk−2およびk−1では、異なる方向、すなわちそれぞれT₁、T₂、T₆およびT₁〜T₄がアクティブであった。フレームkにおけるアクティブな方向の集合M_DIR(k)は、フルバンドに関係し、いくつかのアクティブな方向の候補を含む。たとえば、M_DIR(k)＝｛Ω₃,Ω₈,Ω₅₂,Ω₁₀₁,Ω₂₂₉,Ω₄₄₆,Ω₅₈₁｝である。各方向は任意の仕方で、たとえば二つの角度によってまたはあらかじめ定義されたテーブルのインデックスとして、表現できる。アクティブなフルバンドの方向の集合から、サブバンドおよびその対応する軌跡において実際にアクティブである方向が、各周波数サブバンドについて別個に、タプル集合M_DIR(k,f_j)、j＝1,…,Fに集められる。たとえば、フレームkの第一の周波数サブバンドでは、アクティブな方向はΩ₃,Ω₅₂,Ω₂₂₉,Ω₅₈₁であり、その関連する軌跡はそれぞれT₃、T₁、T₂およびT₅である。第二の周波数サブバンドf₂では、アクティブな方向は例示的にΩ₅₂およびΩ₂₂₉のみであり、その関連する軌跡はそれぞれT₁およびT₂である。

下記は、例示的な集合I_C,ACT(k)＝{1,2,4,6}における係数シーケンスに対応する例示的な打ち切りされたHOA表現C_T(k)の係数行列の一部である。

I_C,ACT(k)によれば、行1、2、4、6の係数のみが0に設定されない（とはいえ、信号によっては0になることもある）。行列C_T(k)の各列は、サンプルを指し、該行列の各行は係数シーケンスである。圧縮は、すべての係数シーケンスではなく、いくつかの選択された係数シーケンス、すなわちインデックスがそれぞれI_C,ACT(k)および割り当てベクトルv_A(k)に含まれている係数シーケンスのみがエンコードされ伝送されることを含む。デコーダでは、それらの係数は圧縮解除されて、再構成された打ち切りされたHOA表現の正しい行列行に配置される。それらの行についての情報は、割り当てベクトルv_AMB,ASSIGN(k)から得られる。v_AMB,ASSIGN(k)は、それぞれの伝送される係数シーケンスについて使われるトランスポート・チャネルをさらに与える。残りの係数シーケンスは0で満たされ、のちに、受領された（通例は0でない）係数から、受領されたサイド情報、たとえば予測行列に従って予測される。

サブバンド・グループ化
ある実施形態では、使用される諸サブバンドは、人間の聴覚の音響心理学的属性に適合された異なる帯域幅をもつ。あるいはまた、分解フィルタバンク５３からのいくつかのサブバンドが組み合わされて、異なる帯域幅をもつサブバンドをもつ適応されたフィルタバンクをなす。分解フィルタバンク５３からの隣接するサブバンドのグループが同じパラメータを使って処理される。組み合わされたサブバンドのグループが使われる場合、エンコーダ側で適用される対応するサブバンド構成がデコーダ側に知られていなければならない。ある実施形態では、構成情報が伝送され、デコーダによって合成フィルタバンクをセットアップするために使われる。ある実施形態では、構成情報は、（たとえばリスト内の）複数のあらかじめ定義された既知の構成のうちの一つについての識別子を含む。

もう一つの実施形態では、サブバンド構成を定義するための必要とされるビット数を減らす次の柔軟な解決策が使われる。サブバンド構成の効率的なエンコードのために、最初、最後から二番目および最後のサブバンド・グループのデータが、他のサブバンド・グループとは異なる仕方で扱われる。さらに、サブバンド・グループ帯域幅差分値がエンコードにおいて使われる。原理的には、サブバンド・グループ化情報符号化方法は、オーディオ信号の一つまたは複数のフレームについて有効なサブバンド・グループについてサブバンド構成データを符号化するために好適である。ここで、各サブバンド・グループは一つまたは複数の隣接するもとのサブバンドの組み合わせであり、もとのサブバンドの数はあらかじめ定義されている。ある実施形態では、次のサブバンド・グループの帯域幅は、現在サブバンド・グループの帯域幅以上である。この方法は、N_SB個のサブバンド・グループを、N_SB−1を表わす固定数のビットを用いて符号化することを含み、N_SB＞1であれば、最初のサブバンド・グループg₁について、帯域幅値B_SB[1]を、B_SB[1]−1を表わす単進符号を用いて符号化することを含む。N_SB＝3であれば、固定数のビットをもつ帯域幅差分値ΔB_SB[2]＝B_SB[2]−B_SB[1]が、第二のサブバンド・グループg₂について符号化される。N_SB＞3であれば、対応する数の帯域幅差分値ΔB_SB[g]＝B_SB[g]−B_SB[g−1]が、サブバンド・グループg₂,…,g_NSB-2について単進符号を用いて符号化され、帯域幅差分値ΔB_SB[N_SB−1]＝B_SB[N_SB−1]−B_SB[N_SB−2]が最後のサブバンド・グループg_NSB-1について固定数のビットを用いて符号化される。サブバンド・グループについての帯域幅値は、隣接するもとのサブバンドの数として表現される。最後のサブバンド・グループg_SBについては、符号化されるサブバンド構成データに対応する値が含められる必要はない。

以下では、高次アンビソニックスのいくつかの基本的な特徴が説明される。

高次アンビソニックス（HOA）は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、関心領域内の位置xおよび時刻tにおける音圧の空間時間的挙動p(t,x)は、斉次の波の式（homogeneous wave equation）によって物理的に完全に決定される。以下では、図６に示される球面座標系を想定する。この座標系では、x軸は前方位置を向き、y軸は左を向き、z軸は上を向く。空間内の位置x＝(r,θ,φ)^Tは動径r＞0（すなわち、座標原点までの距離）、極軸z(!)から測った傾斜角θ∈[0,π]およびxy平面においてx軸から反時計回りに測った方位角φ∈[0,2π[によって表現される。さらに、(・)^Tは転置を表わす。

すると、ωが角周波数を表わし、iは虚数単位を示すものとして、F_t(・)によって表わされる時間に関する音圧のフーリエ変換、すなわち

は、

に従って球面調和関数級数に展開されうることが示せる（非特許文献１１）。式(42)において、c_sは音速を表わし、kは角波数を表わす。角波数は角周波数ωに、k＝ω/c_sによって関係付けられる。さらに、j_n(・)は第一種の球面ベッセル関数を表わし、S_n ^m(θ,φ)は次数n、陪数mの実数値の球面調和関数を表わす。展開係数A_n ^m(k)は角波数kのみに依存する。音圧が空間的に帯域制限されていることが暗黙的に想定されていることを注意しておく。よって、級数は次数インデックスnに関して上限Nで打ち切られる。このNはHOA符号化表現の次数と呼ばれる。

音場が異なる角周波数ωの無限個の調和平面波の重ね合わせによって表現され、角タプル（θ,φ）によって指定されるすべての可能な方向から到来するとすると、それぞれの平面波複素振幅関数C(ω,θ,φ)は次の球面調和関数展開によって表わせることを示せる（非特許文献１０）。

ここで、展開係数C_n ^m(k)は展開係数A_n ^m(k)に、
A_n ^m(k)＝iⁿC_n ^m(k) (44)
によって関係付けられる。個々の係数C_n ^m(k＝ω/c_s)が角周波数ωの関数であるとすると、逆フーリエ変換（F^-1(・)によって表わされる）の適用は、各次数nおよび陪数mについて、時間領域関数

を与える。これらの時間領域関数はここでは連続時間HOA係数シーケンスと称され、これは

によって単一のベクトルc(t)にまとめることができる。
ベクトルc(t)内のHOA係数シーケンスc_n ^m(t)の位置インデックスは
n(n＋1)＋1＋m
によって与えられる。

ベクトルc(t)内の全体的な要素数はO＝(N＋1)²によって与えられる。最終的なアンビソニックス・フォーマットは、サンプリング周波数fsを使って、c(t)のサンプリングされたバージョンを、

として与える。ここで、T_s＝1/fsはサンプリング周期を表わす。c(lT_s)の要素はここでは離散時間HOA係数シーケンスと称される。これは常に実数値であることが示せる。この属性は、連続時間バージョンc_n ^m(t)についても成り立つ。

実数値の球面調和関数の定義
実数値の球面調和関数S_n ^m(θ,φ)（SN3D規格化（非特許文献１、3.1章）を想定）は次式によって与えられる。

ルジャンドル陪関数P_n,m(x)は次式によって定義される。

ここで、ルジャンドル多項式P_n(x)を用いているが、非特許文献１１とは異なり、コンドン・ショートリー（Condon-Shortley）位相項(−1)^mは使っていない。

ある実施形態では、（複素数値のフィルタバンクから得られた）HOA信号表現のサブバンドまたはサブバンド・グループ内の優勢な方向性信号の方向をフレームごとに決定し、効率的にエンコードする方法は、各現在フレームkについて：HOA信号におけるフルバンド方向候補の集合M_DIR(k)、集合M_DIR(k)における要素数NoOfGlobalDirs(k)および該要素数をエンコードするために必要とされる数D(k)＝log₂(NoOfGlobalDirs(k))を決定する段階であって、各フルバンド方向候補は、Q個の可能な方向のあらかじめ定義されたフル集合に関係するグローバル・インデックスq（q∈[1,…,Q]）をもつ、段階と；現在フレームkの各サブバンドまたはサブバンド・グループjについて、集合M_DIR(k)内のフルバンド方向候補のうちどの方向がアクティブなサブバンド方向として現われるかを判別する段階と；前記サブバンドまたはサブバンド・グループのいずれかにおいてアクティブなサブバンド方向として現われる、使用されるフルバンド方向候補の集合M_FB(k)（みなHOA信号中のフルバンド方向候補の集合M_DIR(k)に含まれる）および使用されるフルバンド方向候補の集合M_FB(k)内の要素数NoOfGlobalDirs(k)を決定する段階と；現在フレームkの各サブバンドまたはサブバンド・グループjについて：集合M_DIR(k)内のフルバンド方向候補のうちのd個（d∈[1,…,D]）までの方向のどの方向がアクティブなサブバンド方向であるかを判別する段階と；アクティブなサブバンド方向のそれぞれについて軌跡および軌跡インデックスを決定する段階と；前記軌跡インデックスをそれぞれのアクティブなサブバンド方向に割り当てる段階と；現在のサブバンドまたはサブバンド・グループj内のアクティブなサブバンド方向のそれぞれをD(k)ビットをもつ相対インデックスによってエンコードする段階とを含む。

ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに該コンピュータに、優勢な方向性信号の方向をフレームごとに決定し、効率的にエンコードするための上記で開示された方法を実行させる実行可能命令を記憶している。

さらに、ある実施形態では、HOA信号表現のサブバンド内の優勢な方向性信号の方向をデコードする方法が、デコードされるべきHOA信号表現について最大数の方向Dのインデックスを受領する段階と；サブバンド毎のアクティブな方向性信号のインデックスを受領する段階と；デコードされるべきHOA信号表現の最大数の方向Dの方向を再構成する段階と；デコードされるべきHOA信号表現の再構成された方向Dおよびサブバンド毎のアクティブな方向信号のインデックスからサブバンド毎のアクティブな方向を再構成する段階と；諸サブバンドの方向性信号を予測する段階とを含み、サブバンドの現在フレームにおける方向性信号の前記予測は、そのサブバンドの先行フレームの方向性信号を決定することを含み、前記方向性信号のインデックスが前記先行フレームにおいて0であり現在フレームにおいて0でない場合には新たな方向性信号が生成され、前記方向性信号のインデックスが前記先行フレームにおいて0でなく現在フレームにおいて0である場合には前の方向性信号がキャンセルされ、方向性信号のインデックスが第一の方向から第二の方向に変わる場合には、該方向性信号の方向が該第一の方向から該第二の方向に動かされる。

ある実施形態では、図１および図３に示され、上記で論じたように、所与の数の係数シーケンスをもつ入力HOA信号のフレームをエンコードするための装置であって、各係数シーケンスはインデックスをもつ、装置が、少なくとも一つのハードウェア・プロセッサと、少なくとも一つのソフトウェア・コンポーネントを有体に具現する非一時的な有体なコンピュータ可読記憶媒体とを有する。前記ソフトウェア・コンポーネントは、前記少なくとも一つのハードウェア・プロセッサ上で実行されるときに、
低減された数の0でない係数シーケンスをもつ打ち切りされたHOA表現C_T(k)を計算する段階１１と、打ち切りされたHOA表現に含まれているアクティブな係数シーケンスのインデックスの集合I_C,ACT(k)を決定する段階１１と、前記入力HOA信号から、候補方向の第一の集合M_DIR(k)を推定する段階１６と；前記入力HOA信号を複数の周波数サブバンドf₁,…,f_Fに分割する段階１５であって、それらの周波数サブバンドの係数シーケンス

が得られる、段階と、それらの周波数サブバンドのそれぞれについて、方向の第二の集合M_DIR(k,f₁)、…、M_DIR(k,f_F)を推定する段階１６であって、方向の前記第二の集合の各要素は第一および第二のインデックスをもつインデックスのタプルであり、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、各アクティブな方向は前記入力HOA信号の候補方向の前記第一の集合M_DIR(k)にも含まれる、段階と、前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドの方向の前記第二の集合M_DIR(k,f₁)、…、M_DIR(k,f_F)に応じてその周波数サブバンドの係数シーケンス

から方向性サブバンド信号

を計算する段階１７と、前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドのアクティブな係数チャネルのインデックスの前記集合I_C,ACT(k)を使ってその周波数サブバンドの係数シーケンス

から方向性サブバンド信号

を予測するよう適応された予測行列A(k,f₁),…,A(k,f_F)を計算する段階１８と、候補方向の前記第一の集合M_DIR(k)、方向の前記第二の集合M_DIR(k,f₁)、…、M_DIR(k,f_F)、前記予測行列A(k,f₁),…,A(k,f_F)および前記打ち切りされたHOA表現C_T(k)をエンコードする段階とを引き起こす。

ある実施形態では、図４および図５に示され、上記で論じたように、圧縮されたHOA表現をデコードするための装置が、少なくとも一つのハードウェア・プロセッサと、少なくとも一つのソフトウェア・コンポーネントを有体に具現する非一時的な有体なコンピュータ可読記憶媒体とを有する。前記ソフトウェア・コンポーネントは、前記少なくとも一つのハードウェア・プロセッサ上で実行されるときに、
前記圧縮されたHOA表現から、複数の打ち切りされたHOA係数シーケンス

前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルv_AMB,ASSIGN(k)、サブバンドに関係した方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)、複数の予測行列A(k＋1,f₁),…,A(k＋1,f_F)および利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)を抽出する段階s41、s42、s43と；
前記複数の打ち切りされたHOA係数シーケンス

前記利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)および前記割り当てベクトルv_AMB,ASSIGN(k)から打ち切りされたHOA表現

を再構成する段階s51、s52と；
分解フィルタバンク５３において、前記再構成された打ち切りされたHOA表現

を複数F個の周波数サブバンドについての周波数サブバンド表現

に分解する段階と；
各周波数サブバンド表現について方向性サブバンド合成ブロック５４において、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現

と、前記サブバンドに関係した方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)と、前記予測行列A(k＋1,f₁),…,A(k＋1,f_F)とから、予測された方向性HOA表現

を合成する段階s54と；
前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロック５５において、係数シーケンス

をもつデコードされたサブバンドHOA表現

を組成する段階s55であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルv_AMB,ASSIGN(k)に含まれるインデックスnをもつ場合には前記打ち切りされたHOA表現

の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成ブロック５４の一つによって与えられる前記予測された方向性HOA成分

の係数シーケンスから得られる、段階と；
合成フィルタバンク５６において、前記デコードされたサブバンドHOA表現

を合成して、デコードされたHOA表現

を得る段階s56とを引き起こす。

図９は、ある実施形態における、デコード方法のフローチャートを示している。圧縮されたHOA表現から方向情報をデコードする方法９０は、前記圧縮されたHOA表現の各フレームについて、
前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合M_FB(k)と、それぞれの周波数サブバンドおよびD_SB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,f_j)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,f_j)および方向性サブバンド信号情報とを抽出する段階s91-93と；
それぞれの周波数サブバンド方向について、前記相対方向インデックスRelDirIndices(k,f_j)を絶対方向インデックスに変換する段階s60であって、各相対方向インデックスは、前記ビットbSubBandDirIsActive(k,f_j)が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合M_FB(k)内のインデックスとして使われる、段階と；前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階s70であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。

ある実施形態では、現在フレームにおける方向性サブバンド信号を予測する段階s70は、前のフレームの当該サブバンドの方向性サブバンド信号を判別することを含み、前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には新たな方向性サブバンド信号が生成され、前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には前の方向性サブバンド信号がキャンセルされ、f方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向が該第一の方向から該第二の方向に動かされる。

ある実施形態では、少なくとも一つのサブバンドは二つ以上の周波数サブバンドのサブバンド・グループである。

ある実施形態では、前記方向性サブバンド信号情報は少なくとも、複数の打ち切りされたHOA係数シーケンス

前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルv_AMB,ASSIGN(k)および複数の予測行列A(k＋1,f₁),…,A(k＋1,f_F)を含む。ある実施形態では、本方法はさらに、前記複数の打ち切りされたHOA係数シーケンス

および前記割り当てベクトルv_AMB,ASSIGN(k)から打ち切りされたHOA表現

を再構成する段階s51、s52と；
分解フィルタバンク５３において、前記再構成された打ち切りされたHOA表現

を複数F個の周波数サブバンドについての周波数サブバンド表現

に分解する段階s53とを含み、
方向性サブバンド信号を予測する前記段階は、前記周波数サブバンド表現

および前記複数の予測行列A(k＋1,f₁),…,A(k＋1,f_F)を使う。

ある実施形態では、前記抽出する段階は、前記圧縮されたHOA表現を多重分離s91して、知覚的に符号化された部分とエンコードされたサイド情報部分とを取得することを含む。知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンス

を含み、前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合M_DIR(k)と、アクティブなサブバンド方向の前記相対方向インデックスRelDirIndices(k,f_j)と、前記割り当てベクトルv_AMB,ASSIGN(k)と、前記予測行列A(k＋1,f₁),…,A(k＋1,f_F)と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示すbSubBandDirIsActive(k,f_j)内の前記ビットとを含む。

ある実施形態では、本方法はさらに、知覚的デコーダ４２において、前記抽出された打ち切りされたHOA係数シーケンス

を知覚的デコードs92して前記打ち切りされたHOA係数シーケンス

を得ることを含む。ある実施形態では、本方法はさらに、サイド情報源デコーダ４３において、前記エンコードされたサイド情報部分をデコードs93して、前記サブバンド関係方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)、予測行列A(k＋1,f₁),…,A(k＋1,f_F)、利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)および割り当てベクトルv_AMB,ASSIGN(k)を得ることを含む。

ある実施形態では、前記抽出する段階は、利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)を抽出することを含み、該利得制御サイド情報は前記打ち切りされたHOA表現の再構成s51,s52にいて使われる。

ある実施形態では、本方法はさらに、各周波数サブバンド表現について方向性サブバンド合成ブロック５４において、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現

と、前記サブバンドに関係した方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)と、前記予測行列A(k＋1,f₁),…,A(k＋1,f_F)から、予測された方向性HOA表現

を合成する段階s54と；
前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロック５５において、係数シーケンス

をもつデコードされたサブバンドHOA表現

を組成する段階s55であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルv_AMB,ASSIGN(k)に含まれるインデックスnをもつ場合には前記打ち切りされたHOA表現

の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成ブロック５４の一つによって与えられる前記予測された方向性HOA成分

の係数シーケンスから得られる、段階と；
合成フィルタバンク５６において、前記デコードされたサブバンドHOA表現

を合成s56して、デコードされたHOA表現を得る段階とを含む。ある実施形態では、前記方向性サブバンド信号情報は、アクティブな方向の集合M_DIR(k)と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合M_DIR(k,f₁)、…、M_DIR(k,f_F)とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合M_DIR(k)内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである。

ある実施形態では、方向情報をデコードする装置がプロセッサと、実行されたときに前記装置に請求項１の段階を実行させる命令を記憶しているメモリとを有する。

図１０は、ある実施形態におけるエンコード方法のフローチャートを示している。入力HOA信号のフレームについての方向情報をエンコードする方法１００は、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合M_DIR(k)を決定する段階s101であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；前記入力HOA信号を複数の周波数サブバンドf₁,…,f_Fに分割する段階s102と；アクティブな候補方向の前記第一の集合M_DIR(k)のうちで、前記周波数サブバンドのそれぞれについて、D_SB＜Qであるとして、D_SB個までのアクティブなサブバンド方向の第二の集合を決定する段階s103と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階s104であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；現在フレームについての方向情報を集める段階s105と；集められた方向情報を伝送する段階s106とを含む。

前記方向情報は、前記アクティブな候補方向M_DIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,f_j)と、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,f_j)とを含む。

ある実施形態では、当該方法はさらに、前記入力HOA信号から、打ち切りされたHOA表現C_T(k)および方向性サブバンド信号

を組成する段階s107を含む。前記打ち切りされたHOA表現は、一つまたは複数の係数シーケンスが0に設定されているHOA信号である。前記方向情報は、前記方向性サブバンド信号が関連する方向を与える。前記伝送する段階はさらに、前記打ち切りされたHOA表現C_T(k)と、前記方向性サブバンド信号

を定義する情報とを伝送することを含む。

ある実施形態では、前記方向性サブバンド信号

を定義する情報は予測行列A(k,f₁),…,A(k,f_F)を含む。ある実施形態では、当該方法はさらに、アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる使用される候補方向の集合M_FB(k)と、使用される候補方向の前記集合の要素数NoOfGlobalDirs(k)とを決定する段階s105aであって、方向情報を集める前記段階s105における前記アクティブな候補方向が前記使用される候補方向である、段階と；前記使用される候補方向を、そのグローバル方向インデックスによってエンコードしs105b、前記要素数をlog₂(D)ビットによってエンコードする段階であって、Dは（フルバンド）候補方向のあらかじめ定義された最大数である、段階とを含む。図１０のｂ）は、これらの実施形態を示している。

ある実施形態では、当該方法はさらに、アクティブなサブバンド方向の軌跡を決定する段階s104aを含む。ここで、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスである。現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向は、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較され、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される。

ある実施形態では、サブバンド毎に各方向に割り当てs104された方向インデックスは軌跡インデックスであり、当該方法はさらに、それぞれの決定された軌跡に軌跡インデックスを割り当てる段階s104bと；各周波数サブバンドについてインデックスのタプルを含むタプル集合M_DIR(k,f₁)、…、M_DIR(k,f_F)を生成する段階s104cとを含む。ここで、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む。図１０のｃ）は、これらの実施形態の組み合わせを示している。ある実施形態では、二つ以上の周波数サブバンドの少なくとも一つのグループが生成され、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように扱われる。

ある実施形態では、エンコードのための装置が、プロセッサと、実行されたときに当該装置に請求項６の段階を行なわせる命令を記憶しているメモリとを有する。

図１１は、ある実施形態において、入力HOA信号のフレームについての方向情報をエンコードするための装置を示している。当該装置は、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合M_DIR(k)を決定s101するよう構成されているアクティブ候補決定モジュール１０１であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、アクティブ候補決定モジュールと；前記入力HOA信号を複数の周波数サブバンドf₁,…,f_Fに分割s102するよう構成された分解フィルタバンク・モジュール１０２（分解フィルタバンク１５をもつ）と；アクティブな候補方向の前記第一の集合M_DIR(k)のうちで、前記周波数サブバンドのそれぞれについて、D_SB＜Qであるとして、D_SB個までのアクティブなサブバンド方向の第二の集合を決定s103するよう構成されたサブバンド方向決定モジュール１０３と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てるs104よう構成された相対方向インデックス割り当てモジュール１０４であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、相対方向インデックス割り当てモジュールと；現在フレームについての方向情報を集めるs105よう構成された方向情報まとめモジュール１０５と；集められた方向情報をパックする（そして記憶または伝送する）s106よう構成されたパッキング・モジュール１０６とを有する。 前記方向情報は、前記アクティブな候補方向M_DIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,f_j)と、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,f_j)とを含む。モジュール１０１〜１０６は、たとえば、それぞれのソフトウェアによって構成されうる一つまたは複数のハードウェア・プロセッサを使って実装できる。

ある実施形態では、当該装置はさらに、アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる、使用される候補方向の集合M_FB(k)を決定し、使用される候補方向の前記集合の要素数を決定するよう構成された使用候補方向決定モジュール１０５ａであって、前記方向情報まとめモジュール１０５が集める前記方向情報に含まれる前記アクティブな候補方向が前記使用される候補方向である、モジュールと、前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし、前記要素数をlog₂(D)ビットによってエンコードするよう構成されたエンコーダ１０５ｂであって、Dはフルバンド候補方向の（すなわちフルバンドについての）あらかじめ定義された最大数である、モジュールとを有する。

ある実施形態では、当該装置はさらに、アクティブなサブバンド方向の軌跡を決定するよう構成された軌跡決定モジュール１０４ａを有する。ここで、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスである。一つまたは複数の方向比較器が、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向は、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較し、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される。

ある実施形態では、前記相対方向インデックス割り当てモジュール１０４がサブバンド毎に各方向に割り当てる方向インデックスは軌跡インデックスであり、前記相対方向インデックス割り当てモジュール１０４はさらに、それぞれの決定された軌跡に軌跡インデックスを割り当てるよう構成された軌跡インデックス割り当てモジュール１０４ｂと；各周波数サブバンドについてインデックスのタプルを含むタプル集合M_DIR(k,f₁)、…、M_DIR(k,f_F)を生成するよう構成されたタプル集合生成器１０４ｃとを有する。ここで、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む。

ある実施形態では、当該装置はさらに、二つ以上の周波数サブバンドの少なくとも一つのグループを生成するよう構成された少なくとも一つのグループ化モジュールを有し、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように処理される。

図１２は、ある実施形態において、圧縮されたHOA表現から方向情報をデコードしてHOA信号のフレームについての方向情報を得る装置を示している。当該装置は、前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合M_FB(k)と、それぞれの周波数サブバンドおよび最大D_SB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,f_j)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,f_j)および方向性サブバンド信号情報とを抽出するよう構成された抽出モジュール４０と；それぞれの周波数サブバンド方向について、前記相対方向インデックスRelDirIndices(k,f_j)を絶対方向インデックスに変換するよう構成された変換モジュール６０であって、各相対方向インデックスは、前記ビットbSubBandDirIsActive(k,f_j)が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合M_FB(k)内のインデックスとして使われる、モジュールと；前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュール７０であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールとを有する。モジュール４０、６０、７０はたとえば、それぞれのソフトウェアによって構成されうる一つまたは複数のハードウェア・プロセッサを使って実装できる。

ある実施形態では、所与の数の係数シーケンスをもつ入力HOA信号のフレームをエンコードする（そしてそれにより圧縮する）ための方法であって、各係数シーケンスはインデックスをもつ、方法が、打ち切りされたHOA表現に含まれるべきアクティブな係数シーケンスのインデックスの集合I_C,ACT(k)を決定する段階と；低減された数の0でない係数シーケンス（すなわち、入力HOA信号より少数の0でない係数シーケンス、よってより多い0である係数シーケンス）をもつ打ち切りされたHOA表現C_T(k)を計算する段階と；前記入力HOA信号から、候補方向の第一の集合M_DIR(k)を推定する段階と；前記入力HOA信号を複数の周波数サブバンドに分割する段階であって、それらの周波数サブバンドの係数

が得られる、段階と；それらの周波数サブバンドのそれぞれについて、方向の第二の集合M_DIR(k,f₁)、…、M_DIR(k,f_F)を推定する段階であって、方向の前記第二の集合の各要素は第一および第二のインデックスをもつインデックスのタプルであり、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、各アクティブな方向は前記入力HOA信号の候補方向の前記第一の集合M_DIR(k)にも含まれる（すなわち、方向の前記第二の集合におけるアクティブなサブバンド方向は、方向のフルバンドの前記第一の集合の部分集合である）、段階と、前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドの方向の前記第二の集合M_DIR(k,f₁)、…、M_DIR(k,f_F)に応じてその周波数サブバンドの係数

から方向性サブバンド信号

を計算する段階と；前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドのアクティブな係数シーケンスのインデックスの前記集合I_C,ACT(k)を使ってその周波数サブバンドの係数

から方向性サブバンド信号

を予測するよう適応された予測行列A(k,f₁),…,A(k,f_F)を計算する段階と；候補方向の前記第一の集合M_DIR(k)、方向の前記第二の集合M_DIR(k,f₁)、…、M_DIR(k,f_F)、前記予測行列A(k,f₁),…,A(k,f_F)および前記打ち切りされたHOA表現C_T(k)をエンコードする段階とを含む。

方向の前記第二の集合は周波数サブバンドに関係する。候補方向の前記第一の集合はフル周波数帯域に関係する。有利なことに、サブバンド方向の前記第二の集合はフルバンド方向の前記第一の集合の部分集合なので、前記周波数サブバンドのそれぞれについて方向の第二の集合を推定する段階において、周波数サブバンドの方向M_DIR(k,f₁)、…、M_DIR(k,f_F)は、フルバンドHOA信号の方向M_DIR(k)のうちでのみ探索すればよい。ある実施形態では、各タプル内での前記第一および第二のインデックスの逐次順は入れ替えられてもよい。すなわち、前記第一のインデックスが現在の周波数サブバンドについてのアクティブな方向のインデックスとなり、前記第二のインデックスが前記アクティブな方向についての軌跡インデックスとなる。

完備なHOA信号は、複数の係数シーケンスまたは係数チャネルを含む。これらの係数シーケンスのうちの一つまたは複数が0に設定されているHOA信号は、本稿では打ち切りされたHOA表現と呼ばれる。打ち切りされたHOA表現を計算または生成することは、一般には、アクティブであり、よって0に設定されない係数シーケンスを選択し、アクティブでない係数シーケンスを0に設定することを含む。この選択は、さまざまな基準に従って、たとえば、0に設定されない係数シーケンスとして、最大エネルギーを含む係数シーケンスまたは知覚的に最も有意である係数シーケンスを選択することによって、あるいは任意に係数シーケンスを選択することなどによって、できる。HOA信号を周波数サブバンドに分割することは、たとえば直交ミラー・フィルタ（QMF）を含む分解フィルタバンクによって実行されることができる。

ある実施形態では、打ち切りされたHOA表現C_T(k)のエンコードは、打ち切りされたHOAチャネル・シーケンスの部分的な脱相関と、（相関したまたは脱相関された）打ち切りされたHOAチャネル・シーケンスy₁(k),…,y_I(k)をトランスポート・チャネルに割り当てるためのチャネル割り当てと、前記トランスポート・チャネルのそれぞれに対して利得制御を実行する段階であって、各トランスポート・チャネルについての利得制御サイド情報e_i(k−1)、β_i(k−1)が生成される、段階と、知覚的エンコーダにおいて利得制御された打ち切りされたHOAチャネル・シーケンスz₁(k),…,z_I(k)をエンコードする段階と、前記利得制御サイド情報e_i(k−1)、β_i(k−1)、候補方向の前記第一の集合M_DIR(k)、方向の前記第二の集合M_DIR(k,f₁)、…、M_DIR(k,f_F)および前記予測行列A(k,f₁),…,A(k,f_F)をサイド情報源符号化器においエンコードする段階と、前記知覚的エンコーダおよび前記サイド情報源符号化器の出力を多重化して、エンコードされたHOA信号フレーム

を得る段階とを含む。

さらに、ある実施形態では、圧縮されたHOA表現をデコードする（そしてそれにより圧縮解除する）ための方法が、前記圧縮されたHOA表現から、複数の打ち切りされたHOA係数シーケンス

前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示す（または含む）割り当てベクトルv_AMB,ASSIGN(k)、サブバンドに関係した方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)、複数の予測行列A(k＋1,f₁),…,A(k＋1,f_F)および利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)を抽出する段階と；前記複数の打ち切りされたHOA係数シーケンス

前記利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)および前記割り当てベクトルv_AMB,ASSIGN(k)から打ち切りされたHOA表現

を再構成する段階と；分解フィルタバンクにおいて、前記再構成された打ち切りされたHOA表現

を複数F個の周波数サブバンドについての周波数サブバンド表現

に分解する段階と；各周波数サブバンド表現について方向性サブバンド合成ブロックにおいて、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現

と、前記サブバンドに関係した方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)と、前記予測行列A(k＋1,f₁),…,A(k＋1,f_F)から、予測された方向性HOA表現

を合成する段階と；前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロックにおいて、係数シーケンス

をもつデコードされたサブバンドHOA表現

を組成する段階であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルv_AMB,ASSIGN(k)に含まれる（すなわちその要素である）インデックスnをもつ場合には前記打ち切りされたHOA表現

の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成ブロックの一つによって与えられる前記予測された方向性HOA成分

の係数シーケンスから得られる、段階と；合成フィルタバンクにおいて、前記デコードされたサブバンドHOA表現

を合成して、デコードされたHOA表現

を得る段階とを含む。ある実施形態では、前記抽出する段階は、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを取得することを含む。ある実施形態では、知覚的に符号化された部分は、知覚的にエンコードされた打ち切りされたHOA係数シーケンス

を含み、前記抽出する段階は、知覚的デコーダにおいて、知覚的にエンコードされた打ち切りされたHOA係数シーケンス

をデコードして前記打ち切りされたHOA係数シーケンス

を得ることを含む。ある実施形態では、前記抽出する段階は、サイド情報源デコーダにおいて、前記エンコードされたサイド情報部分をデコードして、前記サブバンド関係方向M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)、予測行列A(k＋1,f₁),…,A(k＋1,f_F)、利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)および割り当てベクトルv_AMB,ASSIGN(k)を得ることを含む。

ある実施形態では、HOA信号をデコードする装置が、前記圧縮されたHOA表現から、複数の打ち切りされたHOA係数シーケンス

前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルv_AMB,ASSIGN(k)、サブバンドに関係した方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)、複数の予測行列A(k＋1,f₁),…,A(k＋1,f_F)および利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)を抽出するよう構成された抽出モジュールと；前記複数の打ち切りされたHOA係数シーケンス

前記利得制御サイド情報e₁(k),β₁(k),…,e_I(k),β_I(k)および前記割り当てベクトルv_AMB,ASSIGN(k)から、打ち切りされたHOA表現

を再構成するよう構成された再構成モジュールと；前記再構成された打ち切りされたHOA表現

を複数F個の周波数サブバンドについての周波数サブバンド表現

に分解するよう構成された分解フィルタバンク・モジュール５３と；各周波数サブバンド表現について、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現

と、前記サブバンドに関係した方向情報M_DIR(k＋1,f₁),…,M_DIR(k＋1,f_F)と、前記予測行列A(k＋1,f₁),…,A(k＋1,f_F)から、予測された方向性HOA表現

を合成するよう構成された少なくとも一つの方向性サブバンド合成モジュール５４と；前記F個の周波数サブバンドのそれぞれについて、係数シーケンス

をもつデコードされたサブバンドHOA表現

を組成するよう構成された少なくとも一つのサブバンド組成モジュール５５であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルv_AMB,ASSIGN(k)に含まれるインデックスnをもつ場合には前記打ち切りされたHOA表現

の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成モジュール５４の一つによって与えられる前記予測された方向性HOA成分

の係数シーケンスから得られる、モジュールと；前記デコードされたサブバンドHOA表現

を合成して、デコードされたHOA表現

を得るよう構成された合成フィルタバンク・モジュール５６とを有する。

サブバンドは一般に、複素数値のフィルタバンクから得られる。前記割り当てベクトルの一つの目的は、送信／受信される、よって打ち切りされたHOA表現に含まれる係数シーケンスのシーケンス・インデックスを示し、それによりこれらの係数シーケンスの最終的なHOA信号への割り当てを可能にすることである。換言すれば、割り当てベクトルは、打ち切りされたHOA表現の各係数シーケンスについて、それが最終的なHOA信号におけるどの係数シーケンスに対応するかを示す。たとえば、打ち切りされたHOA表現が四つの係数シーケンスを含み、最終的なHOA信号が九つの係数シーケンスをもつ場合、割り当てベクトルは（原理的に）[1,2,5,7]であってもよい。これにより、打ち切りされたHOA表現の第一、第二、第三および第四の係数シーケンスが実際には最終的なHOA信号における第一、第二、第五および第七の係数シーケンスであることを示す。

ある実施形態では、現在フレームにおける方向性サブバンド信号を予測するよう構成された予測モジュールは、そのサブバンドの先行フレームの方向性サブバンド信号を決定し、前記方向性サブバンド信号のインデックスが前記先行フレームにおいて0であり現在フレームにおいて0でない場合には新たな方向性サブバンド信号を生成し、前記方向性信号のインデックスが前記先行フレームにおいて0でなく現在フレームにおいて0である場合には前の方向性サブバンド信号をキャンセルし、方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には、該方向性サブバンド信号の方向を該第一の方向から該第二の方向に動かすよう構成されている。ある実施形態では、少なくとも一つのサブバンドが二つ以上の周波数サブバンドのサブバンド・グループである。ある実施形態では、前記方向性サブバンド信号情報は、少なくとも複数の打ち切りされたHOA係数シーケンスと、前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルと、複数の予測行列とを含み、当該装置はさらに、前記複数の打ち切りされたHOA係数シーケンスおよび前記割り当てベクトルから打ち切りされたHOA表現を再構成するよう構成された打ち切りHOA表現再構成モジュールと、前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解するよう構成された一つまたは複数の分解フィルタバンクとを有する。ここで、前記予測モジュールは、前記周波数サブバンド表現および前記複数の予測行列を、方向性サブバンド信号の前記予測のために使う。ある実施形態では、前記抽出モジュールはさらに、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを取得するよう構成されている。知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合M_DIR(k)と、アクティブなサブバンド方向の前記相対方向インデックスと、前記割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む。ある実施形態では、前記方向性サブバンド信号情報は、アクティブな方向の集合と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである。

ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに入力HOA信号のフレームについての方向情報をエンコードする方法をコンピュータに実行させる実行可能命令を記憶している。前記方法は、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合M_DIR(k)を決定する段階であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；前記入力HOA信号を複数の周波数サブバンドに分割する段階と；アクティブな候補方向の前記第一の集合M_DIR(k)のうちで、前記周波数サブバンドのそれぞれについて、D_SB＜Qであるとして、D_SB個までのアクティブなサブバンド方向の第二の集合を決定する段階と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；現在フレームについての方向情報を集める段階であって、前記方向情報は前記アクティブな候補方向M_DIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、そのアクティブな候補方向がそれぞれの周波数サブバンドについてアクティブなサブバンド方向であるか否かを示すビットと、各周波数サブバンドについて、サブバンド方向の前記第二の集合におけるアクティブなサブバンド方向の前記相対方向インデックスとを含む、段階と；集められた方向情報を伝送する段階とを含む。さらなる実施形態は、上記で開示したエンコード方法との類推で導出できる。

ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに圧縮されたHOA表現から方向情報をデコードする方法をコンピュータに実行させる実行可能命令を記憶している。前記方法は、前記圧縮されたHOA表現の各フレームについて、
前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合M_FB(k)と、それぞれの周波数サブバンドおよびD_SB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,f_j)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスおよび方向性サブバンド信号情報とを抽出する段階と；それぞれの周波数サブバンド方向について、前記相対方向インデックスを絶対方向インデックスに変換する段階であって、各相対方向インデックスは、前記ビットが前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合M_FB(k)内のインデックスとして使われる、段階と；前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。さらなる実施形態は、上記で開示したデコード方法との類推で導出できる。

好ましい実施形態に適用される本発明の基本的な新規な特徴が図示され、記述され、指摘されてきたが、本発明の精神から外れることなく、記載される装置および方法、開示される装置の形および詳細およびその動作において、さまざまな省略、置換および変更がなされてもよいことは理解されるであろう。実質的に同じ機能を実質的に同じ仕方で実行して同じ結果を達成する要素のあらゆる組み合わせは本発明の範囲内である。ある記載される実施形態から別の記載される実施形態への要素の代用も完全に意図され、考えられている。本発明は純粋に例として記載されてきたのであって、本発明の範囲から外れることなく細部の修正がなし得ることは理解されるであろう。本稿および（適切な場合には）請求項および図面に開示される各事項は、独立してまたは任意の適切な組み合わせにおいて設けられてもよい。特徴は、適切な場合には、ハードウェア、ソフトウェアまたは両者の組み合わせにおいて実装されうる。接続は、該当する場合には、無線の接続または有線の必ずしも直接もしくは専用ではない接続として実装されてもよい。ある実施形態では、抽出モジュール、利得制御ユニット、サブバンド信号グループ化ユニット、処理ユニットその他といった上述したモジュールまたはユニットのそれぞれは、少なくとも一つのシリコン・コンポーネントを使って少なくとも部分的にハードウェアで実装される。

Claims (22)

1. 圧縮された高次アンビソニックス（HOA）表現から方向情報をデコードする方法（９０）であって、前記圧縮されたHOA表現の各フレームについて、
   ・前記圧縮されたHOA表現から、
   各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合（M_FB(k)）と、
   それぞれの周波数サブバンドおよびD_SB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f_j)）と、
   それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f_j)）および方向性サブバンド信号情報とを抽出する段階（s91-93）であって、
   少なくとも一つのサブバンドは二つ以上の周波数サブバンドのサブバンド・グループである、
   段階と；
   ・それぞれの周波数サブバンド方向について、前記相対方向インデックス（RelDirIndices(k,f_j)）を絶対方向インデックスに変換する段階（s60）であって、各相対方向インデックスは、前記ビット（bSubBandDirIsActive(k,f_j)）が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合（M_FB(k)）内のインデックスとして使われる、段階と；
   ・前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階（s70）であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む、
   方法。
2. 現在フレームにおける方向性サブバンド信号を予測する前記段階（s70）は、前のフレームの当該サブバンドの方向性サブバンド信号を判別することを含み、
   前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には、新たな方向性サブバンド信号が生成され、
   前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には、前の方向性サブバンド信号がキャンセルされ、
   方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向が該第一の方向から該第二の方向に動かされる、
   請求項１記載の方法。
3. 前記方向性サブバンド信号情報は少なくとも、複数の打ち切りされたHOA係数シーケンス、前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルおよび複数の予測行列を含み、当該方法はさらに、
   ・前記複数の打ち切りされたHOA係数シーケンスおよび前記割り当てベクトルから打ち切りされたHOA表現を再構成する段階（s51、s52）と；
   ・分解フィルタバンクにおいて、前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解する段階（s53）とを含み、
   方向性サブバンド信号を予測する前記段階は、前記周波数サブバンド表現および前記複数の予測行列を使う、
   請求項１または２記載の方法。
4. 前記抽出する段階は、前記圧縮されたHOA表現を多重分離（s91）して、知覚的に符号化された部分とエンコードされたサイド情報部分とを得ることを含み前記知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合と、アクティブなサブバンド方向の前記相対方向インデックスと、前記割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む、請求項１ないし３のうちいずれか一項記載の方法。
5. 前記方向性サブバンド信号情報は、アクティブな方向の集合（M_DIR(k)）と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合（M_DIR(k＋1,f₁)、…、M_DIR(k＋1,f_F)）とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合（M_DIR(k)）内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである、請求項１ないし４のうちいずれか一項記載の方法。
6. 入力高次アンビソニックス（HOA）信号のフレームについての方向情報をエンコードする方法（１００）であって、
   ・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合（M_DIR(k)）を決定する段階（s101）であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；
   ・前記入力HOA信号を複数の周波数サブバンド（f₁,…,f_F）に分割する段階（s102）であって、二つ以上の周波数サブバンドの少なくとも一つのグループが生成され、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように扱われる、段階と；
   ・アクティブな候補方向の前記第一の集合（M_DIR(k)）のうちで、前記周波数サブバンドのそれぞれについて、D_SB＜Qであるとして、D_SB個までのアクティブなサブバンド方向の第二の集合を決定する段階（s103）と；
   ・周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階（s104）であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；
   ・現在フレームについての方向情報を集める段階（s105）であって、前記方向情報は、
   前記アクティブな候補方向（M_DIR(k)）と、
   各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f_j)）と、
   各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f_j)）とを含む、段階と；
   ・集められた方向情報を伝送する段階（s106）とを含む、
   方法。
7. 前記入力HOA信号から、打ち切りされたHOA表現および方向性サブバンド信号を組成する段階（s107）をさらに含み、前記打ち切りされたHOA表現は、一つまたは複数の係数シーケンスが0に設定されているHOA信号であり、前記方向情報は、前記方向性サブバンド信号が関連する方向を与えるものであり、前記伝送する段階はさらに、前記打ち切りされたHOA表現と、前記方向性サブバンド信号を定義する情報とを伝送することを含む、請求項６記載の方法。
8. 前記方向性サブバンド信号を定義する情報は予測行列を含む、請求項７記載の方法。
9. ・アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる使用される候補方向の集合（M_FB(k)）と、使用される候補方向の前記集合の要素数（NoOfGlobalDirs(k)）とを決定する段階（s105a）であって、方向情報を集める前記段階（s105）における前記アクティブな候補方向が前記使用される候補方向である、段階と；
   ・前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし（s105b）、前記要素数をlog₂(D)ビットによってエンコードする段階であって、Dはフルバンド候補方向のあらかじめ定義された最大数である、段階とをさらに含む、
   請求項６ないし８のうちいずれか一項記載の方法。
10. アクティブなサブバンド方向の軌跡を決定する段階（s104a）をさらに含み、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスであり、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向は、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較され、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される、請求項６ないし９のうちいずれか一項記載の方法。
11. サブバンド毎に各方向に割り当て（s104）された前記方向インデックスは軌跡インデックスであり、当該方法はさらに、
    ・それぞれの決定された軌跡に軌跡インデックスを割り当てる段階（s104b）と；
    ・各周波数サブバンドについてインデックスのタプルを含むタプル集合（M_DIR(k,f₁)、…、M_DIR(k,f_F)）を生成する段階（s104c）とを含み、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む、
    請求項１０記載の方法。
12. 圧縮された高次アンビソニックス（HOA）表現から方向情報をデコードする装置であって、
    ・前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合（M_FB(k)）と、
    それぞれの周波数サブバンドおよび最大（D_SB）個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f_j)）と、
    それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f_j)）および方向性サブバンド信号情報と
    を抽出するよう構成された抽出モジュール（４０）と；
    ・それぞれの周波数サブバンド方向について、前記相対方向インデックス（RelDirIndices(k,f_j)）を絶対方向インデックスに変換するよう構成された変換モジュール（６０）であって、各相対方向インデックスは、前記ビット（bSubBandDirIsActive(k,f_j)）が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合（M_FB(k)）内のインデックスとして使われ、少なくとも一つのサブバンドは二つ以上の周波数サブバンドのサブバンド・グループであり、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように扱われる、モジュールと；
    ・前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュール（７０）であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールとを有する、
    装置。
13. 現在フレームにおける方向性サブバンド信号を予測するよう構成された前記予測モジュールは、
    ・前のフレームの当該サブバンドの方向性サブバンド信号を判別し；
    ・前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には、新たな方向性サブバンド信号を生成し；
    ・前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には、前の方向性サブバンド信号をキャンセルし；
    ・方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向を該第一の方向から該第二の方向に動かす
    ようさらに構成されている、請求項１２記載の装置。
14. 前記方向性サブバンド信号情報は少なくとも、複数の打ち切りされたHOA係数シーケンス、前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルおよび複数の予測行列を含み、当該装置はさらに、
    ・前記複数の打ち切りされたHOA係数シーケンスおよび前記割り当てベクトルから打ち切りされたHOA表現を再構成するよう構成された打ち切りHOA表現再構成モジュールと；
    ・前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解するよう構成された一つまたは複数の分解フィルタバンクとを有しており、
    前記予測モジュールは、方向性サブバンド信号の前記予測のために、前記周波数サブバンド表現および前記複数の予測行列を使う、
    請求項１２または１３記載の装置。
15. 前記抽出モジュールは、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを得るようさらに構成されており、前記知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、
    前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合と、アクティブなサブバンド方向の前記相対方向インデックスと、前記割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む、請求項１２ないし１４のうちいずれか一項記載の装置。
16. 前記方向性サブバンド信号情報は、アクティブな方向の集合（M_DIR(k)）と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合（M_DIR(k＋1,f₁)、…、M_DIR(k＋1,f_F)）とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合（M_DIR(k)）内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである、請求項１２ないし１５のうちいずれか一項記載の装置。
17. 入力高次アンビソニックス（HOA）信号のフレームについての方向情報をエンコードするための装置であって、
    ・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合（M_DIR(k)）を決定（s101）するよう構成されたアクティブ候補決定モジュール（１０１）であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、モジュールと；
    ・前記入力HOA信号を複数の周波数サブバンド（f₁,…,f_F）に分割（s102）するよう構成された分解フィルタバンク・モジュール（１０２）であって、二つ以上の周波数サブバンドの少なくとも一つのグループが生成され、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように扱われる、モジュールと；
    ・アクティブな候補方向の前記第一の集合（M_DIR(k)）のうちで、前記周波数サブバンドのそれぞれについて、D_SB＜Qであるとして、D_SB個までのアクティブなサブバンド方向の第二の集合を決定（s103）するよう構成されたサブバンド方向決定モジュール（１０３）と；
    ・周波数サブバンド毎に各方向に相対方向インデックスを割り当てる（s104）よう構成された相対方向インデックス割り当てモジュール（１０４）であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、モジュールと；
    ・現在フレームについての方向情報を集める（s105）よう構成された方向情報まとめモジュール（１０５）であって、前記方向情報は、
    前記アクティブな候補方向（M_DIR(k)）と、
    各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビット（bSubBandDirIsActive(k,f_j)）と、
    各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,f_j)）とを含む、
    モジュールと；
    ・集められた方向情報をパックする（s106）よう構成されたパッキング・モジュール（１０６）とを有する、
    装置。
18. 前記方向性サブバンド信号を定義する情報は予測行列を含む、請求項１７記載の装置。
19. ・アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる、使用される候補方向の集合（M_FB(k)）を決定し、使用される候補方向の前記集合の要素数（NoOfGlobalDirs(k)）を決定するよう構成された使用候補方向決定モジュール（１０５ａ）であって、前記方向情報まとめモジュール（１０５）が集める前記方向情報に含まれる前記アクティブな候補方向が前記使用される候補方向である、モジュールと；
    ・前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし、前記要素数をlog₂(D)ビットによってエンコードするよう構成されたエンコーダ（１０５ｂ）であって、Dはフルバンドについての候補方向のあらかじめ定義された最大数である、モジュールとをさらに有する、
    請求項１７または１８記載の装置。
20. アクティブなサブバンド方向の軌跡を決定するよう構成された軌跡決定モジュール（１０４ａ）をさらに有しており、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスであり、一つまたは複数の方向比較器が、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向を、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較し、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される、請求項１７ないし１９のうちいずれか一項記載の装置。
21. 前記相対方向インデックス割り当てモジュール（１０４）がサブバンド毎に各方向に割り当てる方向インデックスは軌跡インデックスであり、前記相対方向インデックス割り当てモジュール（１０４）さらに、
    ・それぞれの決定された軌跡に軌跡インデックスを割り当てるよう構成された軌跡インデックス割り当てモジュール（１０４ｂ）と；
    ・各周波数サブバンドについてインデックスのタプルを含むタプル集合（M_DIR(k,f₁)、…、M_DIR(k,f_F)）を生成するよう構成されたタプル集合生成器（１０４ｃ）とを有しており、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む、
    請求項２０記載の装置。
22. 二つ以上の周波数サブバンドの前記少なくとも一つのグループを生成するよう構成された少なくとも一つのグループ化モジュールを有し、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように処理される、請求項１７ないし２１のうちいずれか一項記載の装置。

Images