JP2019133200A - 音場の高次アンビソニックス表現を符号化するために必要とされるサイド情報の符号化を改善する方法および装置 - Google Patents

Abstract

【課題】音場の高次アンビソニックス表現を符号化するために必要とされるサイド情報の符号化を改善する。【解決手段】高次アンビソニックスは特定のスピーカー・セットアップとは独立な三次元の音を表わす。しかしながら、HOA表現の伝送は非常に高いビットレートにつながる。したがって、方向性および周囲信号成分が異なる仕方で処理される、固定数のチャネルを用いた圧縮が使用される。符号化については、もとのHOA表現の諸部分が方向性信号成分から予測される。この予測は、対応する復号のために必要とされるサイド情報を与える。いくつかの追加的な特定目的のビットを使うことにより、そのサイド情報を符号化するための必要とされるビット数が平均で低減されるという点で、既知のサイド情報符号化処理が改善される。【選択図】図１

Description

本発明は、音場の高次アンビソニックス表現を符号化するために必要とされるサイド情報の符号化を改善するための方法および装置に関する。

高次アンビソニックス（HOA: Higher Order Ambisonics）は、波面合成（WFS: wave field synthesis）または2.2マルチチャネル・オーディオ・フォーマットのようなチャネル・ベースのアプローチのような他の技法もあるうちでの、三次元音を表現するための一つの可能性を提供する。チャネル・ベースの方法とは対照的に、HOA表現は特定のスピーカー・セットアップとは独立であるという利点をもたらす。しかしながら、この柔軟性は、特定のスピーカー・セットアップでのHOA表現の再生のために必要とされるデコード・プロセスの代償を伴う。必要とされるスピーカーの数が通例非常に多いWFSアプローチに比べ、HOA信号は少数のスピーカーのみからなるセットアップにレンダリングされてもよい。HOAのさらなる利点は、同じ表現を、修正なしでヘッドフォンへのバイノーラル・レンダリングのために用いることもできるということである。

HOAは、複素調和平面波振幅の空間密度の、打ち切りされた球面調和関数（SH）展開による表現に基づく。各展開係数は角周波数の関数であり、これは時間領域関数によって等価に表現できる。よって、一般性を失うことなく、完全なHOA音場表現は、実際に、O個の時間領域関数からなると想定されることができる。ここで、Oは展開係数の数を表わす。これらの時間領域関数は、以下では、等価だが、HOA係数シーケンスまたはHOAチャネルと称される。

HOA表現の空間分解能は、展開の最大次数Nの増大とともに改善する。残念ながら、展開係数の数Oは次数Nとともに二次で、特にO＝(N＋1)²の形で増大する。たとえば、次数N＝4を使う典型的なHOA表現はO＝25個のHOA（展開）係数を必要とする。以前になされた考察によれば、HOA表現の伝送のための全ビットレートは、所望される単一チャネル・サンプリング・レートf_Sおよびサンプル当たりのビット数N_bを与えられて、O・f_S・N_bによって決定される。結果として、次数N＝4のHOA表現をf_S＝48kHzのサンプリング・レートで、サンプル当たりN_b＝16ビットを用いて伝送することは、19.2MBits/sのビットレートにつながる。これは、たとえばストリーミングのような多くの実際的な用途にとって非常に高い。このように、HOA表現の圧縮がきわめて望ましい。

HOA音場表現の圧縮はWO2013/171083A1、EP13305558.2およびPCT/EP2013/075559において提案されている。これらの処理は、音場解析を実行し、与えられたHOA表現を方向性成分（directional component）と残差周囲成分（residual ambient component）に分解することで共通している。一方では、最終的な圧縮された表現は、いくつかの量子化された信号からなることが想定され、該量子化された信号は、方向性信号と周囲HOA成分（ambient HOA component）の関連する係数シーケンスとの知覚的符号化から帰結する。他方では、最終的な圧縮された表現は、量子化された信号に関係する追加的なサイド情報を含むと想定される。このサイド情報は、HOA表現の、その圧縮されたバージョンからの再構成のために必要である。

サイド情報の重要な部分は、方向性信号からのもとのHOA表現の諸部分の予測の記述である。この予測のためには、もとのHOA表現は、空間的に一様に分布した諸方向から入射するいくつかの空間的に分散した一般平面波によって等価に表現されると想定されるので、この予測は以下では空間的予測（spatial prediction）と称される。

空間的予測に関係したそのようなサイド情報の符号化は、非特許文献１において記述されている。しかしながら、サイド情報のこの現状技術の符号化はかなり非効率的である。

ISO/IEC JTC1/SC29/WG11, N14061, "Working Draft Text of MPEG-H 3D Audio HOA RM0", November 2013, Geneva, Switzerland

本発明によって解決されるべき課題は、かかる空間的予測に関係したサイド情報を符号化する、より効率的な方法を提供することである。

この課題は、請求項１および６に開示される方法によって解決される。これらの方法を利用する装置は請求項２および７に開示される。

符号化されたサイド情報表現データζ_CODの前にビットが付加される。このビットは、何らかの予測が実行されるべきか否かを伝える。この特徴は、ζ_CODデータの伝送のための平均ビットレートを時間とともに低下させる。さらに、個別的な状況では、予測が実行されるか否かを各方向について示すビット・アレイを使う代わりに、アクティブな予測の数およびそれぞれのインデックスを伝送または転送するほうが効率的である。予測が実行されるべきはずの方向のインデックスがどの仕方で符号化されるかを示すために、単一のビットが使用されることができる。平均では、この動作は時間とともに、ζ_CODデータの伝送のためのビットレートをさらに低下させる。

原理的には、本発明の方法は、HOA係数シーケンスの入力時間フレームをもつ、音場の高次アンビソニックス表現（HOA）を符号化するために必要とされるサイド情報の符号化を改善するために好適である。ここで、優勢な方向性信号および残差周囲HOA成分が決定され、前記優勢な方向性信号について予測が使われ、それにより、HOA係数の符号化されたフレームについて、前記予測を記述するサイド情報データを提供し、前記サイド情報データは：
・ある方向について予測が実行されるか否かを示すビット配列；
・各ビットが、予測が実行されるべき方向について予測の種類を示す、ビット配列；
・実行されるべき予測について、使われるべき方向性信号のインデックスを表わす要素をもつデータ配列；
・量子化されたスケーリング因子を表わす要素をもつデータ配列、を含むことができ、
当該方法は：
・前記予測が実行されるべきか否かを示すビット値を提供し；
・実行されるべき予測がない場合、前記サイド情報データにおいて前記ビット配列および前記データ配列を省略し；
・前記予測が実行されるべきである場合、ある方向について予測が実行されるか否かを示す前記ビット配列の代わりに、アクティブな予測の数と、予測が実行されるべき方向のインデックスを含むデータ配列とが前記サイド情報データに含められるか否かを示すビット値を提供するステップを含む。

原理的には、本発明の装置は、HOA係数シーケンスの入力時間フレームをもつ、音場の高次アンビソニックス表現（HOA）を符号化するために必要とされるサイド情報の符号化を改善するために好適である。ここで、優勢な方向性信号および残差周囲HOA成分が決定され、前記優勢な方向性信号について予測が使われ、それにより、HOA係数の符号化されたフレームについて、前記予測を記述するサイド情報データを提供し、前記サイド情報データは：
・ある方向について予測が実行されるか否かを示すビット配列；
・各ビットが、予測が実行されるべき方向について予測の種類を示す、ビット配列；
・実行されるべき予測について、使われるべき方向性信号のインデックスを表わす要素をもつデータ配列；
・量子化されたスケーリング因子を表わす要素をもつデータ配列、を含むことができ、
当該装置は：
・前記予測が実行されるべきか否かを示すビット値を提供し；
・実行されるべき予測がない場合、前記サイド情報データにおいて前記ビット配列および前記データ配列を省略し；
・前記予測が実行されるべきである場合、ある方向について予測が実行されるか否かを示す前記ビット配列を提供する代わりに、アクティブな予測の数と、予測が実行されるべき方向のインデックスを含むデータ配列とが前記サイド情報データに含められるか否かを示すビット値を提供する、手段を含む。

本発明の有利な追加的実施形態は、それぞれの従属請求項において開示される。

本発明の例示的実施形態は、付属の図面を参照して記述される。
EP13305558.2に記載されるHOA圧縮処理における空間的予測に関係したサイド情報の例示的な符号化を示す図である。 特許出願EP13305558.2に記載されるHOA圧縮解除処理における空間的予測に関係したサイド情報の例示的な復号を示す図である。 特許出願PCT/EP2013/075559に記載されるHOA分解を示す図である。 残差信号を表わす一般平面波の方向（×として描かれる）および優勢な音源の方向（○として描かれる）を示す図である。方向は、単位球面上のサンプリング位置として三次元座標系において呈示される。 空間的予測のサイド情報の現状技術の符号化を示す図である。 空間的予測のサイド情報の本発明の符号化を示す図である。 符号化された空間的予測の本発明の復号を示す図である。 図７の続き。

以下では、空間的予測に関係するサイド情報の本発明の符号化が使用されるコンテキストを与えるために、特許出願EP13305558.2に記載されるHOA圧縮および圧縮解除処理を要約しておく。

〈HOA圧縮〉
図１には、特許出願EP13305558.2に記載されるHOA圧縮処理にどのように空間的予測に関係するサイド情報の符号化を埋め込むことができるかが示されている。HOA表現圧縮については、長さLのHOA係数シーケンスの重なりのない入力フレームC(k)を用いたフレームごとの処理が想定される。ここで、kはフレーム・インデックスを表わす。図１における最初の段階または段１１／１２は任意的であり、HOA係数シーケンスC(k)の重なりのないk番目および(k−1)番目のフレームを長フレーム

に連結することからなる。この長フレームは隣接する長フレームと50%重なっており、この長フレームは優勢な音源方向の推定のために相続いて使われる。チルダ付きのC(k)についてのこの記法と同様に、チルダ記号は以下では、それぞれの量が重なりのある長フレームについてのものであることを示すために使われる。段階／段１１／１２が存在しなければ、チルダ記号は特に意味をもたない。ボールドのパラメータは値の集合、たとえば行列またはベクトルを意味する。

長フレーム〔チルダ付きのC(k)〕は、EP13305558.2に記載されるように優勢な音源方向の推定のために段階または段１３において相続いて使われる。この推定は、検出された関係する方向性信号のインデックスのデータ集合

と、それらの方向性信号の対応する方向推定値のデータ集合

とを与える。Dは、HOA圧縮を開始する前に設定される必要があり、後続の既知の処理において扱われることのできる方向性信号の最大数を表わす。

段階または段１４では、HOA係数シーケンスの現在の（長）フレーム〔チルダ付きのC(k)〕が（EP13305156.5において提案されるように）集合

に含まれる方向に属するいくつかの方向性信号X_DIR(k−2)と、残差周囲HOA成分C_AMB(k−2)とに分解される。なめらかな信号をえるための重複加算（overlap-add）処理の結果として2フレームぶんの遅延が導入される。X_DIR(k−2)は合計D個のチャネルを含んでいるが、このうちアクティブな方向性信号に対応するもののみが0でないと想定される。これらのチャネルを指定するインデックスは、データ集合

において出力されると想定される。加えて、段階／段１４における分解は、方向性信号からもとのHOA表現の諸部分を予測するために圧縮解除側で使用できるいくつかのパラメータζ(k−2)を提供する（さらなる詳細についてはEP13305156.5参照）。空間的予測パラメータζ(k−2)の意味を説明するために、下記のセクション〈HOA分解〉において、HOA分解についてより詳細に述べる。

段階または段１５において、周囲HOA成分C_AMB(k−2)の係数の数は、たったO_RED＋D−N_DIR,ACT(k−2)個の0でないHOA係数シーケンスを含むよう低減される。ここで、

はデータ集合

の濃度、すなわちフレームk−2におけるアクティブな方向性信号の数を示す。周囲HOA成分は常に最小数O_REDのHOA係数シーケンスによって表現されると想定されるので、この問題は、実際には、可能なO−O_RED個からの残りのD−N_DIR,ACT(k−2)個のHOA係数シーケンスの選択に帰着できる。なめらかな低減された周囲HOA表現を得るために、この選択は、直前のフレームk−3において行なわれた選択に比べて、できるだけ少数の変更が生じるように達成される。

低減された（reduced）数O_RED＋N_DIR,ACT(k−2)個の0でない係数シーケンスをもつ最終的な周囲HOA表現はC_AMB,RED(k−2)によって表わされる。選ばれた周囲HOA係数シーケンスのインデックスはデータ集合

において出力される。段階／段１６では、X_DIR(k−2)に含まれるアクティブな方向性信号およびC_AMB,RED(k−2)に含まれるHOA係数シーケンスは、EP13305558.2に記載されるように、個々の知覚的エンコードのためのI個のチャネルのフレームY(k−2)に割り当てられる。知覚的符号化段階／段１７は、フレームY(k−2)のI個のチャネルをエンコードし、エンコードされたフレーム

を出力する。

本発明によれば、段階／段１４におけるもとのHOA表現の分解後、HOA表現の分解から帰結する空間的予測パラメータまたはサイド情報データζ(k−2)が段階または段１９において、符号化された（coded）データ表現ζ_COD(k−2)を提供するために、インデックス集合

を遅延１８において2フレームだけ遅延させたものを使って、無損失で符号化される。

〈HOA圧縮解除〉
図２では、空間的予測に関係する受領されたエンコードされたサイド情報データζ_COD(k−2)のデコードを、段階または段２５において、特許出願EP13305558.2の図３に記載されるHOA圧縮解除処理にどのように埋め込むかが例示的に示されている。エンコードされたサイド情報データζ_COD(k−2)のデコードは、そのデコードされたバージョンζ(k−2)を段階または段２３におけるHOA表現の合成に入力する前に、受領されたインデックス集合

を遅延２４において2フレームだけ遅延させたものを使って、実行される。

段階または段２１では、

に含まれるI個の信号の知覚的デコードが、

におけるI個のデコードされた信号を得るために、実行される。

信号再分配段階または段２２では、

における知覚的にデコードされた信号は、方向性信号のフレーム

および周囲HOA成分のフレーム

を再生成するために再分配される。それらの信号をどのように再分配するかについての情報は、インデックス・データ集合

を使って、HOA圧縮のために実行された割り当て動作を再現することによって得られる。

合成段階または段２３において、所望される全HOA表現の現在フレーム

が（PCT/EP2013/075559の図２ｂおよび図４との関連で記載されている処理に従って）再合成される。これには、方向性信号のフレーム

と、アクティブな方向性信号のインデックスの集合

および対応する方向の集合

と、方向性信号からHOA表現の諸部分を予測するためのパラメータζ(k−2)と、低減された周囲HOA成分のHOA係数シーケンスのフレーム

とを使う。

数２２は、PCT/EP2013/075559における成分

に対応し、数２１および数２０はPCT/EP2013/075559における

に対応する。ここで、アクティブな方向性信号のインデックスは、有効な要素を含んでいる数２４の行のインデックスを取ることによって得られる。すなわち、一様に分布した方向に関する方向性信号は、方向性信号

から、予測のための受領されたパラメータζ(k−2)を使って、予測され、その後、現在の圧縮解除されたフレーム

が、方向性信号のフレーム

と、

と、前記の予測された諸部分および低減された周囲HOA成分

とから再合成される。

〈HOA分解〉
図３との関連で、HOA分解処理について、そこでの空間的予測の意味を説明するために詳細に述べる。処理は、特許出願PCT/EP2013/075559の図３との関連で記載されている処理から導かれる。

第一に、平滑化された方向性信号X_DIR(k−1)およびそのHOA表現C_DIR(k−1)が段階または段３１において、入力HOA表現の長フレーム

と、方向の集合

と、方向性信号の対応するインデックスの集合

とを使って計算される。X_DIR(k−1)は合計D個のチャネルを含んでいるが、このうちアクティブな方向性信号に対応するもののみが0でないと想定される。これらのチャネルを指定するインデックスは、集合

において出力されると想定される。

段階／段３３では、もとのHOA表現〔チルダ付きのC(k−1)〕と優勢な方向性信号のHOA表現C_DIR(k−1)との間の残差（residual）が、O個の方向性信号

によって表現される。これらの信号は、一様グリッドと称される一様に分布した方向からの一般平面波と考えることができる。

段階または段３４では、これらの方向性信号が優勢な方向性信号X_DIR(k−1)から予測される。予測される信号

を、それぞれの予測パラメータζ(k−1)とともに提供するためである。この予測のためには、集合

に含まれるインデックスdをもつ優勢な方向性信号x_DIR,d(k−1)のみが考慮される。予測は、下記の〈空間的予測〉の節でより詳細に述べる。

段階または第３５では、予測された方向性信号

の平滑化されたHOA表現

が計算される。

段階または段３７では、もとのHOA表現〔チルダ付きのC(k−2)〕と、優勢な方向性信号のHOA表現C_DIR(k−2)に一様に分布した方向からの予測された方向性信号のHOA表現

を合わせたものとの間の残差C_AMB(k−2)が計算され、出力される。

図３の処理における要求される信号遅延は、対応する遅延３８１および３８７によって実行される。

〈空間的予測〉
空間的予測の目標は、O個の残差信号

を、平滑化された方向性信号の拡張されたフレーム

から予測することである（上記の節〈HOA分解〉および特許出願PCT/EP2013/075559における記述を参照）。

それぞれの残差信号

は、方向Ω_qから入射する空間的に分散された一般平面波を表わす。ここで、すべての方向Ω_q、q＝1,…,Oは単位球面上にほぼ一様に分布していることが想定される。全方向の総合が「グリッド」と称される。

それぞれの方向性信号

は、方向Ω_ACT,d(k−3)、Ω_ACT,d(k−2)、Ω_ACT,d(k−1)およびΩ_ACT,d(k)の間で補間された軌跡から入射する一般平面波を表わす。ここで、d番目の方向性信号はそれぞれのフレームについてアクティブであると想定する。

空間的予測の意味を一例によって例解するために、次数N＝3のHOA表現の分解を考える。ここでは、抽出すべき方向の最大数はD＝4に等しい。簡単のため、さらに、インデックス1および4をもつ方向性信号のみがアクティブであり、他方、インデックス2および3をもつ方向性信号は非アクティブであると想定する。さらに、簡単のため、優勢な音源の方向が、考慮される諸フレームについて一定である、すなわち、d＝1,4について、
Ω_ACT,d(k−3)＝Ω_ACT,d(k−2)＝Ω_ACT,d(k−1)＝Ω_ACT,d(k)＝Ω_ACT,d (5)
あると想定される。次数N＝3である結果として、空間的に分散した一般平面波

のO＝16個の方向Ω_qがある。図４は、これらの方向を、アクティブな優勢な音源の方向Ω_ACT,1およびΩ_ACT,4とともに示している。

〈空間的予測を記述するための現状技術のパラメータ〉
空間的予測を記述する一つの方法が、上述したISO/IECの非特許文献１において呈示されている。非特許文献１では、信号

は、あらかじめ定義された最大数D_PREDの方向性信号の重み付けされた和によって、あるいは該重み付けされた和の低域通過フィルタリングされたバージョンによって、予測されると想定される。空間的予測に関係するサイド情報は、パラメータ集合ζ(k−1)＝｛p_TYPE(k−1),P_IND(k−1),P_Q,F(k−1)｝によって記述される。このパラメータ集合は次の三つの成分からなる。

・要素p_TYPE,q(k−1)、q＝1,…,Oからなるベクトルp_TYPE(k−1)は、q番目の方向Ω_qについて、予測が実行されるか否かを示し、もしそうであれば、どの種類の予測かも示す。上記要素の意味は次のとおり：
p_TYPE,q(k−1)＝0 方向Ω_qについて予測なしの場合
＝1 方向Ω_qについてフル帯域予測の場合 (6)
＝2 方向Ω_qについて低域予測の場合。

・要素p_IND,d,q(k−1)、d＝1,…,D_PRED、q＝1,…,Oからなる行列P_IND(k−1)は、対応する方向性信号から方向Ω_qについての予測が実行されなければならないインデックスを表わす。方向Ω_qについて実行されるべき予測がなければ、行列P_IND(k−1)の対応する列は0からなる。さらに、方向Ω_qについての予測のために使われる方向性信号がD_PRED個未満であれば、P_IND(k−1)のq番目の列の必要とされない要素も0である。

・対応する量子化された予測因子p_Q,F,d,q(k−1)、d＝1,…,D_PRED、q＝1,…,Oを含む行列P_Q,F(k−1)。

次の二つのパラメータは、これらのパラメータの適切な解釈を可能にするためにデコード側で知られている必要がある：
・一般平面波信号

が予測されることが許容されるもとになる方向性信号の最大数D_PRED。
・予測因子p_Q,F,d,q(k−1)、d＝1,…,D_PRED、q＝1,…,Oを量子化するために使われるビット数B_SC。量子化解除規則は式(10)で与えられる。

これら二つのパラメータは、エンコーダおよびデコーダに既知の固定値に設定されるか、あるいは追加的に、ただしフレームレートより著しく低頻度で、伝送される必要がある。後者のオプションは、二つのパラメータを圧縮されるべきHOA表現に適合させるために使われてもよい。パラメータ集合についての例は、O＝16、D_PRED＝2、B_SC＝8として、次のような感じであってもよい。

そのようなパラメータは、方向Ω₁からの一般平面波信号

が方向Ω_ACT,1からの方向性信号

から、値40を量子化解除することから帰結する因子との純粋な乗算（すなわち、フル帯域）によって予測されることを意味する。さらに、方向Ω₇からの一般平面波信号

は、方向性信号

から、低域通過フィルタリングおよび値15および−13を量子化解除することから帰結する因子との乗算によって予測される。

このサイド情報を与えられて、予測は次のように実行されると想定される。

第一に、量子化された予測因子p_Q,F,d,q(k−1)、d＝1,…,D_PRED、q＝1,…,Oが量子化解除されて、実際の予測因子を与える。

すでに述べたように、B_SCは、予測因子の量子化のために使われるべきあらかじめ定義されたビット数を表わす。さらに、p_IND,d,q(k−1)が0に等しければp_F,d,q(k−1)は0に設定されると想定される。

先述した例について、B_SC＝8とすると、量子化解除された予測因子ベクトルの結果、次が得られる。

さらに、低域通過予測を実行するために、長さL_h＝31のあらかじめ定義された低域通過FIRフィルタ
h_LP:＝[h_LP(0) h_LP(1) … h_LP(L_h−1)] (12)
が使われる。フィルタ遅延はD_h＝15サンプルによって与えられる。

信号として予測された信号

および方向性信号

が

によってそのサンプルから構成されていると想定すると、予測される信号のサンプル値は

によって与えられる。

すでに述べており、今や式(17)からも見て取れるように、信号

は、あらかじめ定義された最大数D_PRED個の方向性信号の重み付けされた和によって、あるいは該重み付けされた和の低域通過フィルタリングされたバージョンによって、予測されると想定される。

〈空間的予測に関係したサイド情報の現状技術の符号化〉
上述したISO/IECの非特許文献１において、空間的予測のサイド情報の符号化が扱われている。それは、図５に描かれるアルゴリズム１にまとめられており、以下で説明する。呈示をより明確にするため、フレーム・インデックスk−1はすべての式において無視する。

第一に、O個のビットからなるビット配列ActivePredが生成される。ここで、ビットActivePred[q]は方向Ω_qについて予測が実行されるか否かを示す。この配列における「1」の数はNumActivePredによって表わされる。

次に、長さNumActivePredのビット配列PredTypeが生成される。ここで、各ビットは、予測が実行されるべき方向について、予測の種類を、すなわちフル帯域か低域通過かを示す。同時に、長さNumActivePred・D_PREDの符号なし整数配列PredDirSigIdsが生成される。その要素は、各アクティブな予測について、使用されるべき方向性信号のD_PRED個のインデックスを表わす。D_REPD個より少ない方向性信号が予測のために使われる場合には、インデックスは0に設定されると想定される。配列PredDirSigIdsの各要素は、

ビットによって表現されると想定される。配列PredDirSigIdsにおける0でない要素の数はNumNonZeroIdsによって表わされる。

最後に、長さNumNonZeroIdsの整数配列QuantPredGainsが生成される。その要素は式(17)において使用されるべき量子化されたスケーリング因子p_Q,F,d,q(k−1)を表わすと想定される。対応する量子化解除されたスケーリング因子p_F,d,q(k−1)を得るための量子化解除は式(10)において与えられている。配列QuantPredGainsの各要素は、B_SCビットによって表現されると想定される。

結局、サイド情報の符号化された表現ζ_CODは、
ζ_COD＝[ActivePred PredType PredDirSigIds QuantPredGains] (19)
に従って上記の四つの配列からなる。

この符号化を例によって説明するために、式(7)ないし(9)の符号化された表現が使われる：

必要とされるビット数は16＋2＋3・4＋8・3＝54に等しい。

〈本発明による空間的予測に関係したサイド情報の符号化〉
空間的予測に関係したサイド情報の符号化の効率を高めるために、現状技術の処理が有利に修正される。

Ａ）典型的なサウンド・シーンのHOA表現を符号化するとき、本発明者らは、HOA圧縮処理において空間的予測を全く実行しないという決定がなされるフレームがしばしばあることを観察した。しかしながら、そのようなフレームにおいて、ビット配列ActivePredは0のみからなり、0の数はOに等しい。そのようなフレーム内容はきわめて頻繁に生起するため、本発明の処理は、符号化された表現ζ_CODの前に単一のビットPSPredictionActiveを付加する。これは、何らかの予測が実行されるべきか否かを示す。ビットPSPredictionActiveの値が0（または代替例では「1」）であれば、配列ActivePredおよび予測に関係するさらなるデータは、符号化されたサイド情報ζ_CODに含められない。実際上、この処理は、ζ_CODの伝送のための平均ビットレートを時間とともに低下させる。

Ｂ）典型的なサウンド・シーンのHOA表現を符号化する際になされたさらなる観察は、アクティブな予測の数NumActivePredがしばしば非常に少ないということである。そのような状況では、各方向Ω_qについて予測が実行されるか否かを示すためにビット配列ActivePredを使う代わりに、アクティブな予測の数およびそれぞれのインデックスを伝送または転送するほうが効率的であることがある。特に、アクティブなものを符号化するこの変種は、NumActivePred≦M_Mである場合に、より効率的である。ここで、M_Mは次式を満たす最大の整数である。

M_Mの値は、上述したように、HOA次数N：O＝(N＋1)²の知識があってはじめて計算できる。

式(25)において、

はアクティブな予測の実際の数NumActivePredを符号化するために必要とされるビット数を表わし、

はそれぞれの方向インデックスを符号化するために必要とされるビット数である。式(25)の右辺は配列ActivePredのビット数に対応し、これは既知の方法で同じ情報を符号化するために必要とされるものである。

上述した説明により、予測が実行されることになっている方向のインデックスがどのような仕方で符号化されるかを示すために、単一のビットKindOfCodedPredIdsが使用されることができる。ビットKindOfCodedPredIdsが値「1」（または代替例では「0」）をもつ場合には、数NumActivePredと、予測が実行されることになっている方向のインデックスを含む配列PredIdsとが、符号化されたサイド情報ζ_CODに加えられる。そうではなく、ビットKindOfCodedPredIdsが値「0」（または代替例では「1」）をもつ場合には、同じ情報を符号化するために配列ActivePredが使われる。平均的には、この動作は、ζ_CODの伝送のためのビットレートを時間とともに低下させる。

Ｃ）サイド情報符号化効率をさらに高めるために、予測のために使われるアクティブな方向性信号の実際に利用可能な数はしばしばDより少ないという事実が活用される。これは、インデックス配列PredDirSigIdsの各要素の符号化のために、

個未満のビットが必要とされることを意味する。特に、予測のために使われるアクティブな方向性信号の実際に利用可能な数は、それらアクティブな方向性信号のインデックス

を含むデータ集合

の要素の数

によって与えられる。よって、

ビットが、インデックス配列PredDirSigIdsの各要素、どの種類の符号化がより効率的かを符号化するために使用できる。デコーダでは、データ集合

は既知であると想定される。よって、デコーダは、方向性信号のインデックスをデコードするために何ビット読む必要があるかを知っている。計算されるべきζ_CODのフレーム・インデックスおよび使用されるインデックス・データ集合

は同一である必要があることを注意しておく。

既知のサイド情報符号化処理についての上記の修正Ａ）ないしＣ）の結果、図６に描かれる例示的な符号化処理が得られる。

結果的に、符号化されたサイド情報は以下の成分からなる：

注：上述したISO/IECの非特許文献１、たとえば6.1.3節では、QuantPredGainsはPredGainsと呼ばれているが、これは量子化された値を含む。

式(7)ないし(9)の例についての符号化された表現は次のようになる。

必要とされるビット数は1＋1＋2＋2・4＋2＋2・4＋8・3＝46である。

有利なことに、式(20)ないし(23)における現状技術の符号化された表現に比べ、本発明に従って符号化されたこの表現が必要とするのは8ビット少ない。

エンコーダ側でビット配列PredTypeを提供しないことも可能である。

〈空間的予測に関係した修正されたサイド情報符号化のデコード〉
空間的予測に関係した修正されたサイド情報のデコードが図７および図８に描かれる例示的なデコード処理にまとめられており（図８に描かれている処理は図７に描かれている処理の続きである）、以下で説明する。

最初に、ベクトルp_TYPEならびに行列P_INDおよびP_Q,Fのすべての要素が0によって初期化される。次いで、ビットPSPredictionActiveが読まれる。これはそもそも空間的予測が実行されるかどうかを示す。空間的予測の場合（すなわち、PSPredictionActive＝1）、ビットKindOfCodedPredIdsが読まれる。これは、予測が実行されるべき方向のインデックスの符号化の種類を示す。

KindOfCodedPredIds＝0の場合、長さOのビット配列ActivePredが読まれる。この配列のq番目の要素は方向Ω_qについて予測が実行されるか否かを示す。次の段階では、配列ActivePredから、予測の数NumActivePredが計算され、長さNumActivePredのビット配列PredTypeが読まれる。この配列の要素は、関連する各方向について実行されるべき予測の種類を示す。ActivePredおよびPredTypeに含まれる情報を用いて、ベクトルp_TYPEの要素が計算される。

ビット配列PredTypeをエンコーダ側で提供せず、ビット配列ActivePredからベクトルp_TYPEの要素を計算することも可能である。

KindOfCodedPredIds＝1の場合、

ビットを用いて符号化されると想定される、アクティブな予測の数NumActivePredが読まれる。ここで、M_Mは式(25)を満たす最大の整数である。次いで、NumActivePred個の要素からなるデータ配列PredIdsが読まれる。ここで、各要素は

ビットによって符号化されると想定される。この配列の要素は、予測が実行される必要のある方向のインデックスである。相続いて、長さNumActivePredのビット配列PredTypeが読まれる。その要素は関連する各方向について実行されるべき予測の種類を示す。NumActivePred、PredIdsおよびPredTypeの知識を用いて、ベクトルp_TYPEの要素が計算される。

ビット配列PredTypeをエンコーダ側で提供せず、数NumActivePredおよびデータ配列PredIdsからベクトルp_TYPEの要素を計算することも可能である。

いずれの場合にも（すなわち、KindOfCodedPredIds＝0およびKindOfCodedPredIds＝1）、次の段階で、NumActivePred・D_PRED個の要素からなる配列PredDirSigIdsが読まれる。各要素は

ビットによって符号化されると想定される。

に含まれる情報を使って、行列P_INDの要素が設定され、P_INDにおける0でない要素の数NumNonZeroIdsが計算される。

最後に、それぞれB_SCビットによって符号化されるNumNonZeroIds個の要素からなる配列QuantPredGainsが読まれる。P_INDおよびQuantPredGainsに含まれる情報を使って、行列P_Q,Fの要素が設定される。

本発明の処理は、単一のプロセッサまたは電子回路によって、あるいは並列に動作するおよび／または本発明の処理の異なる部分に対して作用するいくつかのプロセッサまたは電子回路によって実行されることができる。

いくつかの態様を記載しておく。
〔態様１〕
HOA係数シーケンスの入力時間フレームをもつ、音場の高次アンビソニックス表現（HOA）を符号化するために必要とされるサイド情報の符号化を改善する方法であって、優勢な方向性信号および残差周囲HOA成分が決定され、前記優勢な方向性信号について予測が使われ、それにより、HOA係数の符号化されたフレームについて、前記予測を記述するサイド情報データ（ζ(k−2)）を提供し、前記サイド情報データ（ζ(k−2)）は：
・ある方向について予測が実行されるか否かを示すビット配列（ActivePred）；
・実行されるべき予測について、使われるべき方向性信号のインデックスを表わす要素をもつデータ配列（PredDirSigIds）；
・量子化されたスケーリング因子を表わす要素をもつデータ配列（QuantPredGains）、を含むことができ、
当該方法は：
・前記予測が実行されるべきか否かを示すビット値（PSPredictionActive）を提供し（１９；３４，３８４）；
・実行されるべき予測がない場合、前記サイド情報データ（ζ(k−2)）において前記ビット配列および前記データ配列を省略し；
・前記予測が実行されるべきである場合、ある方向について予測が実行されるか否かを示す前記ビット配列（ActivePred）の代わりに、アクティブな予測の数（NumActivePred）と、予測が実行されるべき方向のインデックスを含むデータ配列（PredIds）とが前記サイド情報データ（ζ(k−2)）に含められるか否かを示すビット値（KindOfCodedPredIds）を提供する
ステップを含む、方法。
〔態様２〕
HOA係数シーケンスの入力時間フレームをもつ、音場の高次アンビソニックス表現（HOA）を符号化するために必要とされるサイド情報の符号化を改善する装置であって、優勢な方向性信号および残差周囲HOA成分が決定され、前記優勢な方向性信号について予測が使われ、それにより、HOA係数の符号化されたフレームについて、前記予測を記述するサイド情報データ（ζ(k−2)）を提供し、前記サイド情報データ（ζ(k−2)）は：
・ある方向について予測が実行されるか否かを示すビット配列（ActivePred）；
・実行されるべき予測について、使われるべき方向性信号のインデックスを表わす要素をもつデータ配列（PredDirSigIds）；
・量子化されたスケーリング因子を表わす要素をもつデータ配列（QuantPredGains）、を含むことができ、
当該装置は：
・前記予測が実行されるべきか否かを示すビット値（PSPredictionActive）を提供し；
・実行されるべき予測がない場合、前記サイド情報データ（ζ(k−2)）において前記ビット配列および前記データ配列を省略し；
・前記予測が実行されるべきである場合、ある方向について予測が実行されるか否かを示す前記ビット配列（ActivePred）の代わりに、アクティブな予測の数（NumActivePred）と、予測が実行されるべき方向のインデックスを含むデータ配列（PredIds）とが前記サイド情報データ（ζ(k−2)）に含められるか否かを示すビット値（KindOfCodedPredIds）を提供する
手段（１９；３４，３８４）を含む、装置。
〔態様３〕
前記HOA表現の前記符号化において、優勢な音源方向の推定（１３）が実行され、検出された方向性信号のインデックスのデータ集合

を提供する、態様１記載の方法または態様２記載の装置。
〔態様４〕
Dは前記HOA係数シーケンスの前記符号化において使用できる方向性信号の事前設定された最大数であり、実行されるべき予測について、使われるべき方向性信号のインデックスを表わす前記データ配列（PredDirSigIds）の各要素は

ビットではなく

ビットを使って符号化され、

は検出された方向性信号のインデックスの前記データ集合の要素の数である、
態様３記載の方法または態様３記載の装置。
〔態様５〕
アクティブな予測の数NumActivePredと、予測が実行されるべき方向のインデックスを含む配列（PredIds）とが前記サイド情報データ（ζ(k−2)）に含められることを示す前記ビット値（KindOfCodedPredIds）が、NumActivePred≦M_Mの場合にのみ提供され、ここで、MMは

を満たす最大の整数であり、Nは前記HOA表現の次数である、態様１、３または４のうちいずれか一項記載の方法または態様２ないし４のうちいずれか一項記載の装置。
〔態様６〕
態様３記載の方法に従って符号化されたサイド情報データ（ζ(k−2)）をデコードする方法であって、当該方法は：
・前記予測が実行されるか否かを示す前記ビット値（PSPredictionActive）を評価する段階（２５）と；
・前記予測が実行されるべきである場合、
ａ）ある方向について予測が実行されるべきか否かを示す前記ビット配列（ActivePred）、または
ｂ）アクティブな予測の前記数（NumActivePred）および予測が実行されるべき方向のインデックスを含む前記配列（PredIds）
のどちらが前記サイド情報データ（ζ(k−2)）のデコードにおいて使用されるかを示す前記ビット値（KindOfCodedPredIds）を評価し（２５）、ａ）の場合：
ある方向について予測が実行されるべきか否かを示す前記ビット配列（ActivePred）を評価し、その要素が対応する方向について予測が実行されるかどうかを示し；
前記ビット配列（ActivePred）からベクトル（p_TYPE）の要素を計算し；
ｂ）の場合：
アクティブな予測の前記数（NumActivePred）を評価し；
予測が実行されるべき方向のインデックスを含む前記データ配列（PredIds）を評価し；
前記数（NumActivePred）および前記データ配列（PredIds）からベクトル（p_TYPE）の要素を計算する、段階と；
ａ）およびｂ）の場合における：
・実行されるべき予測について、使用されるべき方向性信号のインデックスを表わす要素をもつ前記データ配列（PredDirSigIds）を評価する段階と；
・前記ベクトル（p_TYPE）、方向性信号のインデックスの前記データ集合

および前記データ配列（PredDirSigIds）から、対応する方向性信号からある方向についての前記予測が実行されるインデックスを表わす行列（P_IND）の要素および該行列における0でない要素の数を計算する段階と；
・前記予測において使用される量子化されたスケーリング因子を表わす要素をもつ前記データ配列（QuantPredGains）を評価する段階とを含む、
方法。
〔態様７〕
態様３記載の装置に従って符号化されたサイド情報データ（ζ(k−2)）をデコードする装置であって、当該装置は：
・前記予測が実行されるか否かを示す前記ビット値（PSPredictionActive）を評価する段階（２５）と；
・前記予測が実行されるべきである場合、
ａ）ある方向について予測が実行されるべきか否かを示す前記ビット配列（ActivePred）、または
ｂ）アクティブな予測の前記数（NumActivePred）および予測が実行されるべき方向のインデックスを含む前記配列（PredIds）
のどちらが前記サイド情報データ（ζ(k−2)）のデコードにおいて使用されるかを示す前記ビット値（KindOfCodedPredIds）を評価し（２５）、ａ）の場合：
ある方向について予測が実行されるべきか否かを示す前記ビット配列（ActivePred）を評価し、その要素が対応する方向について予測が実行されるかどうかを示し；
前記ビット配列（ActivePred）からベクトル（p_TYPE）の要素を計算し；
ｂ）の場合：
アクティブな予測の前記数（NumActivePred）を評価し；
予測が実行されるべき方向のインデックスを含む前記データ配列（PredIds）を評価し；
前記数（NumActivePred）および前記データ配列（PredIds）からベクトル（p_TYPE）の要素を計算する、段階と；
ａ）およびｂ）の場合における：
・実行されるべき予測について、使用されるべき方向性信号のインデックスを表わす要素をもつ前記データ配列（PredDirSigIds）を評価する段階と；
・前記ベクトル（p_TYPE）、方向性信号のインデックスの前記データ集合

および前記データ配列（PredDirSigIds）から、対応する方向性信号からある方向についての前記予測が実行されるインデックスを表わす行列（P_IND）の要素および該行列における0でない要素の数を計算する段階と；
・前記予測において使用される量子化されたスケーリング因子を表わす要素をもつ前記データ配列（QuantPredGains）を評価する段階とを含む実行するプロセッサを含む、
装置。
〔態様８〕
実行されるべき予測について、使われるべき方向性信号のインデックスを表わし、

ビットを使って符号化された前記データ配列（PredDirSigIds）の各要素が対応してデコードされ、

は方向性信号のインデックスの前記データ集合の要素の数である、
態様６記載の方法または態様７記載の装置。
〔態様９〕
態様１記載の方法に従って符号化されているデジタル・オーディオ信号。
〔態様１０〕
コンピュータで実行されたときに態様１記載の方法を実行する命令を含むコンピュータ・プログラム・プロダクト。

Claims (4)

1. エンコードされたHOA表現を含むビットストリームをデコードする方法であって、当該方法は：
   ビットKindOfCodedPredIdsの値を評価する段階と；
   前記ビットKindOfCodedPredIdsの値に基づいて、第一の配列ActivePredを評価する段階であって、前記第一の配列ActivePredの各要素は、対応する方向について予測が実行されるかどうかを示す、段階と；
   前記第一の配列ActivePredの評価に基づいて、ベクトルp_typeの要素を決定する段階と；
   第二の配列PredDirSigIdsを評価する段階であって、前記第二の配列PredDirSigIdsの要素はアクティブな予測について使用されるべき方向性信号のインデックスを表わす、段階と；
   前記ベクトルp_typeおよび前記第二の配列PredDirSigIdsの要素に基づいて、対応する方向性信号からある方向についての予測が実行されるインデックスを表わす行列P_INDの要素を決定する段階とを含む、
   方法。
2. 前記第二の配列PredDirSigIdsの各要素が、実行されるべき予測について、使われるべき方向性信号のインデックスを表わし、各要素は
   

   

   個のビットに基づいて符号化されたものであり、対応してデコードされ、
   

   

   は方向性信号のインデックスの前記データ集合の要素の数である、
   請求項１記載の方法。
3. エンコードされたHOA表現を含むビットストリームをデコードするための装置デコーダであって、当該方法装置は：
   ビットKindOfCodedPredIdsの値を評価する段階と；
   前記ビットKindOfCodedPredIdsの値に基づいて、第一の配列ActivePredを評価する段階であって、前記第一の配列ActivePredの各要素は、対応する方向について予測が実行されるかどうかを示す、段階と；
   前記第一の配列ActivePredの評価に基づいて、ベクトルp_typeの要素を決定する段階と；
   第二の配列PredDirSigIdsを評価する段階であって、前記第二の配列PredDirSigIdsの要素はアクティブな予測について使用されるべき方向性信号のインデックスを表わす、段階と；
   前記ベクトルp_typeおよび前記第二の配列PredDirSigIdsの要素に基づいて、対応する方向性信号からある方向についての予測が実行されるインデックスを表わす行列P_INDの要素を決定する段階とを実行するよう構成されたプロセッサを有する、
   装置。
4. プロセッサによって実行されたときに、エンコードされたHOA表現を含むビットストリームをデコードする方法を実行する命令を含んでいる非一時的なコンピュータ可読記憶媒体であって、前記方法は：
   ビットKindOfCodedPredIdsの値を評価する段階と；
   前記ビットKindOfCodedPredIdsの値に基づいて、第一の配列ActivePredを評価する段階であって、前記第一の配列ActivePredの各要素は、対応する方向について予測が実行されるかどうかを示す、段階と；
   前記第一の配列ActivePredの評価に基づいて、ベクトルp_typeの要素を決定する段階と；
   第二の配列PredDirSigIdsを評価する段階であって、前記第二の配列PredDirSigIdsの要素はアクティブな予測について使用されるべき方向性信号のインデックスを表わす、段階と；
   前記ベクトルp_typeおよび前記第二の配列PredDirSigIdsの要素に基づいて、対応する方向性信号からある方向についての予測が実行されるインデックスを表わす行列P_INDの要素を決定する段階とを含む、
   記憶媒体。

Images