JP2014523172A

JP2014523172A - 高次Ａｍｂｉｓｏｎｉｃｓ表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置

Info

Publication number: JP2014523172A
Application number: JP2014517583A
Authority: JP
Inventors: ジャックス，ピーター; バトケ，ヨハン−マルクス
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2011-06-30
Filing date: 2012-06-15
Publication date: 2014-09-08
Anticipated expiration: 2032-06-15
Also published as: AU2012278094B2; AU2012278094A1; US9338574B2; TWI526088B; CN103635964B; EP2727109A1; EP2727109B1; WO2013000740A1; EP2541547A1; BR112013032878A2; CN103635964A; BR112013032878B1; HUE051678T2; US20140133660A1; TW201301911A; KR102012988B1; JP5921678B2; DK2727109T3; KR20140051927A

Abstract

高次ＡｍｂｉｓｏｎｉｃｓＨＯＡは、２次元及び３次元の両方で、優れた空間解像度を有する複雑なオーディオシーンの取得、操作、録音、送信及び再生を容易にする空間的サウンドフィールドの表現である。サウンドフィールドは、フーリエ・ベッセル級数により空間の基準点及びその周りにおいて近似される。本発明は、高次Ａｍｂｉｓｏｎｉｃｓ表現として取得または生成されたサウンドフィールド情報の空間的内容及び／または再生を修正するためにスペースワーピング（１２，１３，１４；１６）を用いる。２次元と３次元のサウンドフィールドに対するワーピング特性は異なってもよい。ワーピングは、シーン分析や分解を行わずに、空間領域で行われる。ある順序で入力されたＨＯＡ係数は、重みまたは規則的に配置された（仮想的）ラウドスピーカの入力信号に復号される。

Description

オーディオシーンの２次元または３次元の高次Ambisonics表現内に含まれるサウンドオブジェクトの相対位置を変更する方法と装置に関する。

高次Ambisonics（ＨＯＡ）は、２次元及び３次元の両方で、優れた空間解像度を有する複雑なオーディオシーンの取得、操作、録音、送信及び再生を容易にする空間的サウンドフィールドの表現である。サウンドフィールドは、フーリエ・ベッセル級数により空間の基準点及びその周りにおいて近似される。

ＨＯＡ手法で取得したオーディオシーンの空間構成を操作する手法は限られた数しかない。原理的には、２つの方法がある。すなわち、
Ａ）例えば、ＤｉｒＡＣを介して、オーディオシーンを別々のサウンドオブジェクトと関連位置情報とに分解し、位置パラメータを操作して新しいシーンを合成する。欠点は、高度で間違いやすいシーン分解が必須だということである。
Ｂ）ＨＯＡベクトルの線形変換により、ＨＯＡ表現の内容を修正できる。これについては、前後方向の回転、鏡映、及び強調のみが提案されている。これらの既知の変換ベースの修正手法はすべて、シーン内の複数のオブジェクトの相対的位置を一定に保つ。

シーンの内容を操作または修正するために、ＨＯＡの回転と鏡映を含み、特定方向の優越性を修正するスペースワーピング（space warping）が提案されている（非特許文献１−３）。
G.J. Barton, M.A. Gerzon著「Ambisonic Decoders for HDTV」（AES Convention, １９９２） J. Daniel著「Representation de champs acoustiques, application a la transmission et a la reproduction de scenes sonores complexes dans un contexte multimedia」（PhD thesis, Universite de Paris ６, ２００１, Paris, France） M. Chapman, Ph. Cotterell著「Towards a Comprehensive Account of Valid Ambisonic Transformations」（Ambisonics Symposium, ２００９, Graz, Austria）

本発明により解決されるべき問題は、シーンの組成を分析する必要性無しに、ＨＯＡベースのオーディオシーン内に含まれる複数のサウンドオブジェクトの相対的位置の変更を容易にすることである。この問題は、請求項１に開示した方法により解決される。この方法を利用する装置を請求項２に開示した。

本発明は、高次Ambisonics表現として取得または生成されたサウンドフィールド情報の空間的内容及び／または再生を修正するためにスペースワーピングを用いる。ＨＯＡドメインにおけるスペーシャルワーピングは、マルチステップアプローチ、またはより計算的に効率のよいシングルステップの線形行列乗算を表す。２次元と３次元のサウンドフィールドに対するワーピング特性は異なってもよい。

ワーピングは、シーン分析や分解を行わずに、空間領域で行われる。ある順序で入力されたＨＯＡ係数は、重みまたは規則的に配置された（仮想的）ラウドスピーカの入力信号に復号される。発明的スペースワーピング処理には複数の利点がある。すなわち、
・パラメータ化に自由度があるので、非常に柔軟である、
・非常に効率的に、すなわち比較的低い複雑性で、実装できる、
・シーン分析や分解が必要ない。

原理的に、本発明的方法は、オーディオシーンの２次元または３次元の高次Ambisonics（ＨＯＡ）表現内に含まれる複数のサウンドオブジェクトの相対位置を変更するのに適している、次元Ｏ_ｉｎの入力ベクトルＡ_ｉｎが入力信号のフーリエ級数の係数を決定し、次元Ｏ_ｏｕｔの出力ベクトルＡ_ｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定する。前記方法は次のステップを含む。
・前記入力ＨＯＡ係数の入力ベクトルＡ_ｉｎを、
＜外１＞

を計算することにより、モード行列Ψ_１の逆行列Ψ_１ ^−１を用いて、規則的に配置されたラウドスピーカの位置に対する空間領域の入力信号ｓ_ｉｎに復号するステップ、
・前記入力信号ｓ_ｉｎを、
＜外２＞

を計算することにより、前記適合させた出力ＨＯＡ係数の出力ベクトルＡ_ｏｕｔに空間領域でワープ及びエンコードするステップであって、元のラウドスピーカ位置の角度が、前記出力ベクトルＡ_ｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度に、１対１にマッピングされるワーピング関数ｆ（Φ）により、モード行列のモードベクトルが修正されるステップ。

原理的に、本発明的装置は、オーディオシーンの２次元または３次元の高次Ambisonics（ＨＯＡ）表現内に含まれる複数のサウンドオブジェクトの相対位置を変更するのに適し、次元Ｏ_ｉｎの入力ベクトルＡ_ｉｎが入力信号のフーリエ級数の係数を決定し、次元Ｏ_ｏｕｔの出力ベクトルＡ_ｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定する。前記装置は次の手段を含む。
・前記入力ＨＯＡ係数の入力ベクトルＡ_ｉｎを、
＜外３＞

を計算することにより、モード行列Ψ_１の逆行列Ψ_１ ^−１を用いて、規則的に配置されたラウドスピーカの位置に対する空間領域の入力信号ｓ_ｉｎに復号するように構成された手段、
・前記入力信号ｓ_ｉｎを、
＜外４＞

を計算することにより、前記適合させた出力ＨＯＡ係数の出力ベクトルＡ_ｏｕｔに空間領域でワープ及びエンコードするように構成された手段であって、元のラウドスピーカ位置の角度が、前記出力ベクトルＡ_ｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度に、１対１にマッピングされるワーピング関数ｆ（Φ）により、モード行列のモードベクトルが修正される手段。

本発明のこれ以外の有利な実施形態は、それぞれの従属項に開示されている。

添付した図面を参照して、本発明の実施形態を例として説明する。
空間領域におけるワーピングの原理を示す図である。Ｎ_ｉｎ＝３、Ｎ_ｏｕｔ＝１２、及びワーピング関数がｆ（Φ）＝Φ＋２ atan (a ｓ_ｉｎΦ/ (1-a cos Φ)) ワーピング関数及び「内部」順序Ｎｗａｒｐが異なる場合の行列歪みを示す図である。

結局、理解できるように、スペースワーピングの発明的アプリケーションを２次元の設定で説明し、ＨＯＡ表現は円形ハーモニクス（circular harmonics）に依存し、表現されるサウンドフィールドは平面音波のみを含むものと仮定する。その後、説明を球面ハーモニクス（spherical harmonics）に基づいて３次元の場合に拡張する。

記法
Ambisonics理論では、空間中のある点及びその周りにおけるサウンドフィールドは、先を切り捨てたフーリエ・ベッセル級数により記述される。一般的に、基準点は、選択した座標系の原点にあると仮定する。

球面座標を用いる３次元アプリケーションの場合、すべての確定されたインデックスｎ＝０，１，・・・，Ｎとｍ＝−ｎ，・・・，ｎの係数Ａ_ｎ ^ｍを有するフーリエ級数は、方位角Φ、傾きθ、原点からの距離ｒにおけるサウンドフィールドの圧力を

と記述する。
ここで、ｋは波数であり、
＜外５＞

＜外６＞

で用いられる。特定の順序Ｎの場合、フーリエ・ベッセル級数の係数の数は
＜外７＞

円座標を用いる２次元アプリケーションの場合、カーネル関数は方位角Φのみに依存する。ｍ≠ｎであるすべての係数は、値がゼロであり省略できる。それゆえ、ＨＯＡ係数の数は
＜外８＞

のみに減少する。さらに、傾きθ＝π／２は一定である。留意点として、２次元の場合、かつサウンドオブジェクトが円上に完全に一様に分布している場合、すなわち
＜外９＞

である場合、Ψ内のモードベクトルは、周知の離散フーリエ変換ＤＦＴのカーネル関数と同じである。

カーネル関数の定義には異なる複数の慣例があり、Ambisonics係数Ａ_ｎｍの定義も異なる。しかし、細かい定義は、本願で説明するスペースワーピング手法の基本的な仕様と特徴には影響しない。

ＨＯＡ「信号」は、各時点のAmbisonics係数のベクトルＡを含む。２次元、すなわち円の設定の場合、係数ベクトルの典型的な組成と順序は

である。３次元の球面の設定の場合、係数の通常の順序は異なり

となる。ＨＯＡ表現のエンコーディングは線形に振る舞い、それゆえ複数の離れたサウンドオブジェクトのＨＯＡ係数は、結果的なサウンドフィールドのＨＯＡ係数を求めるために、合計できる。

明白なエンコーディング
複数の方向からの複数のサウンドオブジェクトの明白なエンコーディングは、ベクトル代数で簡単に求められる。「エンコーディング」は、同じ時点ｌにおける、及び音波が座標系の原点に到着する方向φ_ｉとθ_ｉにおける、個々のサウンドオブジェクト（ｉ＝０・・・Ｍ−１）の圧力貢献ｓ_ｉ（ｋ，ｌ）に関する情報から、時点ｌと波数ｋにおけるＨＯＡ計数Ａ（ｋ，ｌ）

のベクトルを求めることである。

２次元設定と式（２）で確定したＨＯＡベクトルの成分を仮定すると、モード行列Ψは、モードベクトル
＜外１０＞

である。

上で定義したように、ＨＯＡ表現のエンコーディングは、入力信号（サウンドオブジェクト）が空間的に分布しているので、空間・周波数変換と解釈できる。行列Ψによるこの変換は、サウンドオブジェクトの数がＨＯＡ係数の数に等しい、すなわちＭ＝Ｏの場合、及び方向φｉが単位円の周りに広がっている（reasonably spread）場合にのみ、情報損失無しに逆変換できる。数学的に言うと、逆変換できる条件は、モード行列Ψが正方行列（Ｏ×Ｏ）であり、逆行列があることである。

単純な復号
復号により、リアルまたはバーチャルラウドスピーカのドライバ信号が得られ、そのドライバ信号は入力ＨＯＡ係数により記述される所望のサウンドフィールドを正確に再生するために用いられる。かかる復号は数Ｍとラウドスピーカの位置とに依存する。次の重要な３つの場合を区別しなければならない（注釈、これらの場合は、ラウドスピーカがジオメトリ的に合理的に設置されているという仮定の下で、「ラウドスピーカの数」により確定されるという意味で単純化される。より正確には、ターゲットのラウドスピーカの設置のモードマトリックスのランクにより確定される。下記の復号規則の例では、モードマッチング復号原理を用いるが、他の復号原理も利用でき、３つのシナリオに対する復号規則は異なることになる。

・過剰決定の場合（overdetermined case）：ラウドスピーカの数はＨＯＡ係数の数より多く、すなわちＭ＞０である。この場合、復号問題には位置的な解法はないが、すべての潜在的解法のＭ次元空間のＭ−Ｏ次元サブ空間にあるさまざまな許容可能解が存在する。典型的には、ラウドスピーカ信号ｓ、

を決定するために、特定のラウドスピーカ設定のモードマトリックスΨの疑似逆行列を用いる。

この解は、粗再生パワー
＜外１１＞

が最小となるラウドスピーカ信号を与える（例えば、L.L.Scharf, 「Statistical Signal Processing. Detection, Estimation, and Time Series Analysis」, Addison-Wesley Publishing Company, Reading, Massachusetts, １９９０を参照されたい）規則的なラウドスピーカの設定の場合（これは２次元の場合に容易に行い得る）、行列演算
＜外１２＞

は単位行列となり、式（６）の復号規則は
＜外１３＞

に単純化される。

・決定された場合：ラウドスピーカの数はＨＯＡ係数の数と同じである。復号問題にはただ１つの解しかなく、それはモードマトリックスΨの逆行列Ψ^−１により

確定される。

・劣決定の場合：ラウドスピーカの数ＭはＨＯＡ係数の数Ｏより少ない。サウンドフィールドを復号する数学的問題は、劣決定（underdetermined）であり、一意的かつ厳密な解は無い。その替わりに、所望のサウンドフィールドに最もマッチしそうなラウドスピーカ信号を決定するには、数値的な最適化を用いなければならない。

安定した解を求めるために、例えば式

により、正規化を適用できる。ここで、Ｉは単位行列であり、スカラー係数λは正規化の量を確定する。一例として、λは
＜外１４＞

の固有値の平均に設定できる。

得られるビームパターンは、準最適であり得る。一般的に、このアプローチで得られるビームパターンは過剰に指向的であり、多くのサウンド情報が過小評価される。

上記のすべてのデコーダの例では、ラウドスピーカは平面波を放射すると仮定した。現実世界のラウドスピーカの再生特性は異なり、復号規則がその特性を考慮しなければならない。

ベーシックワーピング
本発明の空間ワーピングの原理を図１ａに示す。ワーピングは空間領域で行われる。それゆえ、字数Ｎ_ｉｎ、次元Ｏ_ｉｎの入力ＨＯＡ係数Ａ_ｉｎは、まず規則的に配置された（バーチャル）ラウドスピーカの重みまたは入力信号ｓ_ｉｎに、ステップ／段階１２で復号される。この復号ステップでは、決定デコーダ（determined decoder）、すなわち仮想ラウドスピーカの数Ｏ_ｗａｒｐがＨＯＡ係数Ｏ_ｉｎ以上であるデコーダを用いると有利である。後者の場合（ＨＯＡ係数よりラウドスピーカが多い場合）、ＨＯＡ係数のベクトルＡ_ｉｎの次数または次元は、ステップ／段階１１において、高次にゼロ係数を加えることにより、容易に拡張できる。ターゲットベクトルｓ_ｉｎの次元は、結局、Ｏ_ｗａｒｐで示される。

復号規則は

である。

＜外１５＞

である。これにより、モードマトリックスΨ_１が復号行列Ψ_１ ^−１を決定するのに調子がよいことが保証される。

次に、バーチャルラウドスピーカの位置が、所望のワーピング特性により、「ワープ」処理で修正される。そのワープ処理は、ステップ／段階１４において、モードマトリックスΨ_２を用いて、ターゲットベクトルｓ_ｉｎ（またはｓ_ｏｕｔ）の符号化と合成され、次元Ｏ_ｗａｒｐの、またはさらに下記の処理ステップが施されて、次元Ｏ_ｏｕｔの、ワープしたＨＯＡ係数のベクトルＡ_ｏｕｔが得られる。原理的に、ワーピング特性はソース角からターゲット角への１対１マッピングにより完全に確定できる。すなわち、各ソース角φ_ｉｎ＝０・・・２πとθ_ｉｎ＝０・・・２πに対して、ターゲット角が確定され、２次元の場合、

であり、３次元の場合、

である。

理解のため、この（仮想的な）再方向付けは、ラウドスピーカを新しい位置へ物理的に動かすことと対比できる。

この手順により生じるひとつの問題は、ある角度にある隣接するラウドスピーカ間の距離が、ワーピング関数ｆ（φ）の傾きにより変わることである（これはこの後２次元の場合について説明する）：ｆ（φ）の傾きが１より大きいとき、ワープしたサウンドフィールド中の同じ角度空間は、元のサウンドフィールドよりも、少ない「ラウドスピーカ」で占められ、その逆も成り立つ。言い換えると、ラウドスピーカの密度Ｄ_ｓは

のように振る舞う。

次に、これは、空間ワーピングにより、リスナの周りのサウンドバランスが変わることを意味する。ラウドスピーカの密度が高くなる、すなわち
＜外１６＞

である領域は、より支配的になり、
＜外１７＞

オプションとして、アプリケーションの要請に依存して、ラウドスピーカ密度の上記の変化は、重みステップ／段階１３においてバーチャルラウドスピーカ出力信号ｓ_ｉｎに利得関数ｇ（φ）を適用することにより、対抗（counter）され、信号ｓ_ｏｕｔが得られる。原理的に、任意の重み付け関数ｇ（φ）を指定できる。ワーピング関数ｆ（φ）の微分に比例する具体的な有利な一変形例

が経験的に決定されている。

この特定の重み付け関数を用いて、適当に高い内部次数（inner order）と出力次数（outer order）を仮定して（下の「ＨＯＡ次数の設定のしかた」セクションを参照）、ワープされた角度ｆ（φ）におけるパンニング関数の振幅は、元の角度φにおける元のパンニング関数と等しく保たれる。それにより、オープニング角ごとの均一なサウンドバランス（振幅）が得られる。

上記の重み付け関数例からは離れて、例えば、オープニング角ごとにパワーを等しくするために、他の重み付け関数を用いることもできる。

最後に、ステップ／段階１４において、重み付けされたバーチャルラウドスピーカ信号はワープされ、
＜外１８＞

を実行することにより、モードマトリックスΨ_２で再びエンコードされる。Ψ_２は、ワーピング関数ｆ（Φ）により、Ψ１とは異なるモードベクトルを含む。結果は、ワープされたサウンドフィールドのＯ_ｗａｒｐ次元ＨＯＡ表現である。

ターゲットＨＯＡ表現の次数または次元はΨ２の次元より低い（後の「ＨＯＡ次数の設定のしかた」セクションを参照）場合、ワープされた係数のいくつか（すなわち、一部）はステップ／段階１５で除去（取り除き）されねばならない。一般的に、この取り除き操作はウィンドウ操作により記述できる：エンコードされたベクトル
＜外１９＞

は、除去される最高次には０である係数を含むウィンドウベクトルｗとかけられる。このかけ算は、さらなる重み付けを表すと考えることができる。最も単純な場合には、正方形ウィンドウが適用できるが、文献M.A. Poletti、「A Unified Theory of Horizontal Holographic Sound Systems」（Journal of the Audio Engineering Society, ４８(１２), pp.１１５５- １１８２, ２０００）のセクション３に記載されているように、より高度なウィンドウを用いることもでき、または上記のＪ．Ｄａｎｉｅｌの博士論文のセクション３．３．２に記載された「同相（in-phase）」または「max. r_E」ウィンドウを用いることもできる。

３次元のワーピング関数
２次元の場合について、ワーピング関数ｆ（φ）、及び関連する重み付け関数ｇ（φ）の概念を上で説明した。以下は、高次元であり、球面ジオメトリを適用しなければならないために、より高度である３次元の場合への拡張である。２つの簡単なシナリオを導入する。両方とも、１次元のワーピング関数ｆ（φ）またはｆ（θ）により所望の空間的ワーピングを指定できる。

経度方向の空間的ワーピングでは、空間的ワーピングは、方位角φのみの関数として実行できる。この場合は、上で説明した２次元の場合とほぼ同様である。ワーピング関数は

により完全に確定される。

それにより、２次元の場合のように、同様のワーピング関数を適用できる。空間的ワーピングは、赤道上においてサウンドオブジェクトに対し最大のインパクトを有し、球の極においてサウンドオブジェクトに対し最小のインパクトを有する。球面上の（ワープされた）サウンドオブジェクトの密度は、方位角のみに依存する。それゆえ、一定密度に重み付け関数は

ワーピングを適用しその後に逆回転する前に球面を（仮想的に）回転することにより、空間におけるワーピング特性の自由な方向付けが可能である。

緯度方向の空間的ワーピングでは、子午線に沿ってのみ空間的ワーピングができる。ワーピング関数は

により確定される。

球面上のこのワーピング関数の重要な特性は、方位角が一定に保たれても、方位角方向の２点の角度距離は傾きの変化により変化することがあるということである。理由は、２本の子午線間の角度距離が赤道で最大であるが、２つの極ではゼロになるからである。この事実は重み付け関数で考慮しなければならない。

２点ＡとＢの角度距離ｃは、球面幾何学の余弦則により決定でき、

、ここでφ_ＡＢは２点ＡとＢの間の角度距離である。I.N. Bronstein, K.A. Semendjajew, G. Musiol, H. Muhlig著「Taschenbuch der Mathematik」（Verlag Harri Deutsch, Thun, Frankfurt /Main, ５th edition, ２０００）の式（３．１８８ｃ）を参照されたい。同じ傾きθにおける２点間の角度距離に関して、この式は

と単純化できる。

この式は、空間中の点と、小さい方位角φ_εだけ離れた他の点との間の角距離を求めるために使うことができる。「小さい」とは、実際のアプリケーションにおいて現実的に小さいが、ゼロではないことを意味し、理論的には、極限値φ_ε→０である。ワーピング前後の各距離間の比は、サウンドオブジェクトの密度がφ方向で変化する係数

を与える。

最終的に、重み付け関数は、φ方向とθ方向の２つの重み付け関数の積

である。ここで再び、前出のシナリオのように、空間におけるワーピング特性の自由な方向付けは、回転により実現可能である。

単一ステップ処理

と記述する。ここで、ｄｉａｇ（・）はそのベクトル引数の値を主対角線の成分としてもつ対角行列を示し、ｇは重み付け関数であり、ｗは上記の、すなわちステップ／段階１５で実行される取り除きに備えた重み付けと、係数取り除き（coefficients-stripping）そのものの２つの関数からの取り除き（stripping）を準備するウィンドウベクトルであるり、式（２４）のウィンドウベクトルは、重み付けのみに作用する。

マルチステップアプローチにおける次数の２つのアダプテーション、すなわちデコーダに先行する次数の拡張と、エンコーディング後のＨＯＡ係数の取り除きも、対応する劣及び／またはラインを除去することにより、変換行列Ｔに組み込める。それゆえ、サイズＯ_ｏｕｔ×Ｏ_ｉｎの行列を求め、入力ＨＯＡベクトルに直接適用できる。そして、空間的ワーピング演算は

となる。

有利にも、Ｏ_ｗａｒｐ×Ｏ_ｗａｒｐからＯ_ｏｕｔ×Ｏ_ｉｎへの変換行列Ｔの次元の有効な低減により、図１ｂによる単一ステップ処理を実行するのに必要な計算上の複雑性は、図１ａのマルチステップアプローチに必要なものようりも大幅に少なくなり、それでも単一ステップ処理で完全に同じ結果が得られる。具体的に、それにより、マルチステップ処理が中間信号の低い次数Ｎ_ｗａｒｐで実行された場合に生じ得る歪みを回避する（詳細は下の「ＨＯＡ次数の設定のしかた」セクションを参照されたい）。

技術水準：回転及び鏡映
サウンドフィールドの回転と鏡映は、空間的ワーピングの「単純な」サブカテゴリーと考えられる。これらの変換の特別な特性は、サウンドオブジェクト相互の相対的位置は変わらないということである。すなわち、元のサウンドシーンにおいて、例えば、他のサウンドオブジェクトの右側３０°にあったサウンドオブジェクトは、回転されたサウンドシーンにおいても同じ他のオブジェクトの右側３０°にある。鏡映の場合、符号は変わるが、角距離は同じである。

サウンドフィールド情報の回転と鏡映のアルゴリズムとアプリケーションは研究され、例えば上記のBarton/Gerzon及びJ.Danielの文献、及びM. Noisternig, A. Sontacchi, Th . Musil, R. Holdrich著「A ３D Ambisonic Based Binaural Sound Reproduction System」（Proc. of the AES ２４th Intl. Conf. on Multichannel Audio, Banff, Canada, ２００３）及びH. Pomberger, F. Zotter著「An Ambisonics Format for Flexible Playback Layouts」（１st Ambisonics Symposium, Graz, Austria, ２００９）に記載されている。

これらのアプローチは回転行列の解析的表現に基づく。例えば、円形サウンドフィールド（２次元の場合）の任意の角度αの回転は、ワーピングマトリックスＴ_αとのかけ算により行い得る。Ｔ_α

では係数のサブセットが非ゼロである。

この例のように、回転及び／または鏡映演算のすべてのワーピングマトリックスは、同じ次数の係数のみが互いに影響するという特殊な特性を有する。それゆえ、これらのワーピングマトリックスは、非ゼロ要素が非常に少なく、出力Ｎ_ｏｕｔは、空間的情報を失うことなく、入力次数Ｎ_ｉｎと等しくできる。

サウンドフィールド情報の回転や鏡映が必要である多数の興味深いアプリケーションがある。一例は、ヘッドトラッキングシステムを有するヘッドホンを介したサウンドフィールドの再生である。頭部の回転角によりＨＲＴＦ（head-related transfer function）を補間するのではなく、東部の位置によりサウンドフィールドを予め回転して、再生には一定のＨＲＴＦを用いると都合がよい。この処理は、上記のNoisternig/Sontacchi/Musil/Holdrichの文献に記載されている。

他の例が、サウンドフィールド情報のエンコーディングの場合について、上記のPomberger/Zotterの文献に記載されている。ＨＯＡベクトルにより記述される空間領域を、円（２次元の場合）または球の一部に制約することも可能である。制約のため、ＨＯＡベクトルの一部はゼロになる。あの文献で提唱されているアイデアは、この冗長性低減特性をサウンドフィールド情報のミクストオーダーコーディング（mixed-order coding）に利用するものである。上記の制約は空間の特定領域にのみ得られるため、伝送された部分的情報を空間の所望の領域にシフトするためには、一般的には回転演算が必要である。

実施例
図２は、２次元（円）の場合における空間的ワーピングの一例を示す。ワーピング関数は、一実数値パラメータを有する離散時間オールパスフィルタの位相応答に似た、

とした。M. Kappelan著「Eigenschaften von Allpass-Ketten und ihre Anwendung bei der nicht-aquidistanten spektralen Analyse und Synthese」（PhD thesis, Aachen University (RWTH) , Aachen, Germany, １９９８）を参照。

ワーピング関数を図２ａに示した。２π周期のワーピング関数を保証し、一パラメータａを有する空間的歪みの量を修正できるので、このワーピング関数ｆ（φ）を選択した。

図２ｂに示した対応する重み付け関数ｇ（φ）は、必然的に、そのワーピング関数から得られる。

図２ｃは、７×２５シングルステップ変換ワーピングマトリックスＴを示す。この行列の個々の係数の対数絶対値を、添付のグレースケールまたはシェーディングバーにより、グレースケールまたはシェーディングタイプにより示した。この行列例は、入力ＨＯＡ次数Ｎε＝３、出力次数Ｎ_ｏｕｔ＝１２に対して設計されている。低次係数から高次係数まで変換により分散した情報のほとんどをキャプチャするためには、高い出力次数が必要である。出力次数がさらに減れば、ワーピング演算の精度が悪くなるだろう。ワーピングマトリックスの非ゼロ係数が無視されるからである（より詳細については、以下の「ＨＯＡ次数の設定のしかた」セクションを参照されたい）。

このワーピングマトリックスの非常に有用な特性は、その多くの部分がゼロであるということである。これにより、この演算を実行する時に多くの計算パワーを節約できるが、シングルステップ変換行列のある部分がゼロであることは原則ではない。

図２ｄと図２ｅは、いくつかの平面波により生じるビームパターンの例におけるワーピング特性を示す。両図は、φの位置０，２／７π、４／７π、６／７π、８／７π、１０／７π及び１２／７πにおける、すべての振幅が１である７つの同じ入力平面波のものであり、７つの角振幅分布を示し、すなわち過剰決定の規則的デコーディング演算のベクトルｓ

を示す。ここで、ＨＯＡベクトルＡは、元のベクトルまたは平面波のセットをワープしたもののどちらかである。円の外側の数字は角度φを表す。バーチャルラウドスピーカ数（例えば、３６０）は、ＨＯＡパラメータの数よりかなり多い。前方方向から来る平面波の振幅分布またはビームパターンは、φ＝０である。

図２ｄは、元のＨＯＡ表現の振幅分布を示す。７つのすべての分布は、似た形状であり、メインローブと同じ幅を有する。メインローブの最大は、予想通り、元の７つのサウンドオブジェクトの角度φ＝（０、２／７π、・・・）にある。メインローブは、元のＨＯＡベクトルの限定次数Ｎ_ｉｎ＝３に対応する幅を有する。

図２ｅは、同じサウンドオブジェクトの振幅分布であるが、ワーピング演算を行った後のものを示す。一般的に、オブジェクトは０°の前方向に向けて動かされ、ビームパターンは変更されている：前方向φ＝０のまわりのメインローブは、狭くなり、よりフォーカスされている。一方、１８０°のまわりの後ろ方向のメインローブは大幅に広くなった。サイドでは、９０°と２７０°で最大のインパクトがあり、ビームパターンは、これらの角度に対する図２ｂの重み付け関数ｇ（φ）の大きな傾きのため、非対称になっている。ビームパターンのこれらの大きな変化（狭くなり形状が変わる変化）は、ワープされたＨＯＡベクトルの高次Ｎｏｕｔ＝１２により可能になっている。理論的には、前方向のメインローブの分解能は、２．３３倍だけ増加している。一方、後ろ方向の分解能は１／２．３３倍だけ減少している。ローカルの次元が空間的に変わるミクストオーダー信号が生成される。ワープされたＨＯＡ係数を満足行く精度で表すには
＜外２０＞

の最小出力次元が必要であると仮定できる。以下の「ＨＯＡ次元の設定のしかた」セクションでは、本来のローカル次元をより詳細に説明する。

特性
上記のワーピングステップは一般的であり非常に柔軟である。少なくとも次の基本演算を実現できる：任意の軸及び／または面のよる回転及び／または鏡映、連続ワーピング関数による空間的歪み、及び特定方向の重み付け（空間的ビームフォーミング）。

以下のサブセクションでは、本発明のスペースワーピングの多くの特性を強調し、これらの詳細により何ができて何ができないかについてガイダンスを与える。さらにまた、いくつかのデザインルールを説明する。原理的に、次のパラメータは所望のワーピング特性を得るために、自由度があり調節できる：
・ワープ関数ｆ（θ，φ）；
・重み付け関数ｇ（θ，φ）；
・内部次元Ｎ_ｗａｒｐ；
・出力次元Ｎ_ｏｕｔ；
・ベクトルｗを用いた出力係数のウィンドウイング
線形性
マルチステップ処理の基本的な変換ステップは、定義により線形である。中間で起こっている新しいロケーションへのサウンドソースの非線形マッピングは、エンコーディングマトリックスの確定にインパクトがあるが、エンコーディングマトリックス自体は線形のままである。その結果、合成されたスペースワーピング演算とＴとの行列のかけ算は、線形演算であり、すなわち

である。この特性は本質的である。この特性により、異なる複数のサウンドソースからの同時的な貢献を含む複雑なサウンドフィールド情報を処理できるからである。

空間不変性
定義により（ワーピング関数が傾き１または−１で完全に線形でない限り）、スペースワーピング変換は空間的に不変ではない。これは、その演算が、半球上の異なる位置にあったサウンドオブジェクトに対して異なる振る舞いをすることを意味する。数学的に言えば、この特性は、少なくともいくつかの任意の角度α∈］０．．．２π［に対するワーピング関数ｆ（φ）の非線形性、すなわち

の結果である。

可逆性
一般的には、変換行列Ｔは数学的反転によっては単純に逆にできない。ひとつの明らかな理由はＴは通常は非正方行列であることにある。正方なスペースワーピング行列であっても可逆ではない。低次係数から高次係数に広がっている情報が失われ（ＨＯＡ次元の設定のしかたセクションと実施例セクションの例とを比較されたい）、演算で情報が失われることは、その演算が逆転できないことを意味するからである。

それゆえ、スペースワーピング演算を少なくとも近似的に逆転する他の方法を見つけなければならない。逆ワーピング変換Ｔ_ｒｅｖは、ワーピング関数ｆ（・）の逆関数ｆ_ｒｅｖ（・）

を介してデザインできる。ＨＯＡ次元の選択によって、この処理は逆変換を近似する。

ＨＯＡ次元の設定のしかた
スペースワーピング変換をデザインする時に考慮すべき重要な側面は、ＨＯＡ次元である。入力ベクトルＡ_ｉｎの次数Ｎ_ｉｎは外的制約により予め決まっているが、出力ベクトルＡ_ｏｕｔの次数Ｎ_ｏｕｔと実際の非線形ワーピング演算の「内部」次数Ｎ_ｗａｒｐは、大体任意に割り当てできる。しかし、両方の次数Ｎ_ｉｎとＮ_ｗａｒｐは両方とも以下に説明するように注意して選択しなければならない。

「内部」次元Ｎｗａｒｐ；
「内部」次元Ｎ_ｗａｒｐは、上記のマルチステップスペースワーピングにおける実際のでコーディング、ワーピング、及びエンコーディングステップの精度を確定する。一般的に、次数Ｎ_ｗａｒｐは入力次数Ｎ_ｉｎと出力次数Ｎ_ｏｕｔの両方より大幅に大きくなければならない。この要件の理由は、ワーピング演算が一般的に非線形演算なので、歪みとアーティファクトが生じることにある。

このことを説明するため、図３は、図２の例に用いたのと同じワーピング関数の完全なワーピングマトリックスの例を示す。図３ａ、図３ｃ、及び図３ｅは、それぞれワーピング関数ｆ_１（φ）、ｆ_２（φ）及びｆ_３（φ）を示す。図３ｂ、図３ｄ、及び図３ｆは、それぞれワーピングマトリックスＴ_１（ｄＢ）、Ｔ_２（ｄＢ）、及びＴ_３（ｄＢ）を示す。例示のために、特定の入力次元Ｎ_ｉｎまたは出力次元Ｎ_ｏｕｔのワーピングマトリックスを決定するために、これらのワーピングマトリックスはクリッピングされていない。そのかわり、図３ｂ、図３ｄ、及び図３ｆ中の中央のボックスの点線は、最終結果の目標サイズＮ_ｏｕｔ×Ｎ_ｉｎ、すなわちクリッピングされた変換行列を示す。このように、ワーピングマトリックスへの非線形歪みのインパクトは明らかに見える。この例では、目標次元は任意的にＮ_ｉｎ＝３０及びＮ_ｏｕｔ＝１００に設定されている。

基本的な問題が図３ｂから分かる：明らかに、空間領域における非線形処理により、ワーピングマトリックス内の係数が主対角線の周りに広がり、行列の中心から遠くなればなるほどより大きく広がる。中心から非常に遠いところでは、ｙは縦軸として、例では｜ｙ｜≧９０のところでは、広がった係数は行列全体の境界に達しており、「跳ね返る」ように見える。これにより特殊な歪みが発生し、ワーピングマトリックスの大きな部分に及ぶ。実験的な評価では、歪みプロダクト（distortion products）が行列の目標エリア（図中、点線で示した）内に配置されるとすぐに、これらの歪みが変換性能を大きく損なうことが観察された。

図３ｂの第１の例の場合、処理の「内部」次数がＮ_ｗａｒｐ＝２００とされ、これは出力次数Ｎ_ｏｕｔ＝１００より大幅に大きいので、うまくいっている。歪んだ領域は点線のボックスには及んでいない。

他のシナリオを図３ｄに示した。内部次数は出力次数に等しく指定されており、すなわちＮ_ｗａｒｐ＝Ｎ_ｏｕｔ＝１００である。図は、歪みの範囲は、内部次数に対して線形にスケールすることを示している。その結果、変換の出力の高次係数は歪みプロダクト（distortion products）により汚染されている。かかるスケーリング特性の利点は、内部次数Ｎ_ｗａｒｐを適宜大きくすることにより、これらのタイプの非線形歪みを回避できるらしいことである。

図３ｆは、係数がａ＝０．７と大きいよりアグレッシブなワーピング関数を有する例を示す。ワーピング関数がよりアグレッシブなので、内部次数Ｎ_ｗａｒｐ＝２００の場合であっても、歪みは目標行列エリアに及んでしまう。この場合、前出のパラグラフで求めたように、過剰プロビジョニングよりも内部次数はより大きくしなければならない。このワーピング関数の実験は、内部次数を例えばＮ＝４００に増加することにより、これらの非線形歪みがなくなることを示している。

要するに、ワーピング演算が強ければ強いほど、内部次数Ｎ_ｗａｒｐは大きくなければならない。最小内部次数を求める公式はまだ無い。しかし、疑わしい場合には、過剰プロビジョンの「内部」次数が役に立つ。非線形効果はワーピングマトリックスのサイズに対して線形にスケールするからである。原理的に、「内部」次数は任意で高くすることができる。具体的に、シングルステップの変換行列を求める場合、内部次数は最終的なワーピング演算の複雑性に対しては、何ら役割を果たさない。

出力次数Ｎ_ｏｕｔ：
ワーピング変換の出力次数Ｎ_ｏｕｔを記述するため、次の２つの側面を考慮すべきである：
・一般的に、異なる次数の係数に広がったすべての情報を保持するために、出力次数は入力次数Ｎ_ｉｎより大きくなければならない。実際に必要なサイズは、ワーピング関数の特性にも依存する。経験から言って、ワーピング関数ｆ（φ）が「ブロードバンド」でなければないほど、必要な出力次数は小さくなる。いくつかの場合には、必要な出力次数Ｎ_ｏｕｔを制限するため、ワーピング関数をローパスフィルタにかけることができると思われる。
一例は図３ｂに示されている。このワーピング関数の場合、点線のボックスで示したように、出力次数Ｎ_ｏｕｔ＝１００は情報の損失を防ぐのに十分である。出力次数が大幅に、例えばＮ_ｏｕｔ＝５０に低減されると、変換行列のいくつかの非ゼロ係数が残り、対応する情報損失が生じると考えられる。
・いくつかの場合には、限定された次数のみを処理できる処理または装置に対して、出力ＨＯＡ係数を用いる。例えば、ターゲットは、限られた数のスピーカを有するラウドスピーカセットアップであり得る。かかるアプリケーションでは、出力次数は目標システムの能力により指定されるべきである。Ｎｏｕｔが十分小さければ、ワーピング変換により空間的情報が効果的に低減される。

内部次数Ｎ_ｗａｒｐの出力次数Ｎ_ｏｕｔへの低減は、高次係数をドロップすることにより行い得る。これは、ＨＯＡ出力ベクトルへの正方形のウィンドウの適用に対応する。あるいは、上記のM.A. PolettiやJ. Danielの文献に記載されているように、.より高度な帯域幅低減手法を適用できる。それにより、正方形のウィンドウイングよりもより多くの情報が失われ易いが、よりよい方向パターンが実現できる。

本発明は、例えば、録音、ポストプロダクション、伝送、再生などのオーディオ処理チェーンの異なる複数の部分で用いることができる。

Claims

オーディオシーンの２次元または３次元の高次ＡｍｂｉｓｏｎｉｃｓＨＯＡ表現内に含まれる複数のサウンドオブジェクトの相対的位置を変更する方法であって、
次元Ｏ_ｉｎを有する入力ベクトルＡ_ｉｎが入力信号のフーリエ級数の係数を決定し、次元Ｏ_ｏｕｔを有する出力ベクトルＡ_ｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定し、前記方法は、
モード行列Ψ_１の逆行列Ψ_１ ^−１を用いて、ｓ_ｉｎ＝Ψ_１ ^−１Ａ_ｉｎを計算することにより、入力ＨＯＡ係数の前記入力ベクトルＡ_ｉｎを、規則的に配置されたラウドスピーカの位置に対して、空間領域の入力信号ｓ_ｉｎにデコードするステップと、
Ａ_ｏｕｔ＝Ψ_２ｓ_ｉｎを計算することにより、前記入力信号ｓ_ｉｎを、適合させた出力ＨＯＡ係数を有する前記出力ベクトルＡ_ｏｕｔに、空間領域でワープ及びエンコードするステップであって、
元のラウドスピーカの位置の角度（φ_ｉｎ，θ_ｉｎ）が、前記出力ベクトルＡ_ｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度（φ_ｏｕｔ，θ_ｉｎ）に、１対１マッピングされるワーピング関数ｆ（Φ）により、前記モード行列Ψ２のモードベクトルが修正される、ステップとを有する方法。
オーディオシーンの２次元または３次元の高次ＡｍｂｉｓｏｎｉｃｓＨＯＡ表現内に含まれる複数のサウンドオブジェクトの相対的位置を変更する装置であって、
次元Ｏ_ｉｎを有する入力ベクトルＡ_ｉｎが入力信号のフーリエ級数の係数を決定し、次元Ｏ_ｏｕｔを有する出力ベクトルＡ_ｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定し、前記装置は、
モード行列Ψ_１の逆行列Ψ_１ ^−１を用いて、ｓ_ｉｎ＝Ψ_１ ^−１Ａ_ｉｎを計算することにより、入力ＨＯＡ係数の前記入力ベクトルＡ_ｉｎを、規則的に配置されたラウドスピーカの位置に対して、空間領域の入力信号ｓｉｎにデコードするように構成された手段と、
Ａ_ｏｕｔ＝Ψ_２ｓ_ｉｎを計算することにより、前記入力信号ｓ_ｉｎを、適合させた出力ＨＯＡ係数を有する前記出力ベクトルＡ_ｏｕｔに、空間領域でワープ及びエンコードするように構成された手段であって、元のラウドスピーカの位置の角度（φ_ｉｎ，θ_ｉｎ）が、前記出力ベクトルＡ_ｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度（φ_ｏｕｔ，θ_ｉｎ）に、１対１マッピングされるワーピング関数ｆ（Φ）により、前記モード行列Ψ２のモードベクトルが修正される、手段とを有する装置。
前記空間領域の入力信号ｓ_ｉｎは、前記ワープ及びエンコードするステップの前に、ゲイン関数ｇ（φ）またはｇ（θ，φ）により重み付けされる、請求項１に記載の方法、または
前記ワープ及びエンコードする前に、ゲイン関数ｇ（φ）またはｇ（θ，φ）により前記空間領域の入力信号ｓ_ｉｎを重み付けするように構成された手段を含む、請求項２に記載の装置。
２次元Ａｍｂｉｓｏｎｉｃｓの場合、前記ゲイン関数は
＜外１＞

３次元Ａｍｂｉｓｏｎｉｃｓの場合、前記ゲイン関数は、φ方向とθ方向において、
＜外２＞

であり、
φは方位角であり、θは傾斜角であり、φ_εは小さい方位角である、
請求項３に記載の方法、または請求項３に記載の装置。
仮想的ラウドスピーカの数または次元Ｏ_ｗａｒｐがＨＯＡ係数の数または次元Ｏ_ｉｎ以上である場合、前記デコードするステップの前に、より高次のゼロ係数を追加することにより、前記入力ベクトルＡ_ｉｎの次数または次元を拡張する、請求項１、３または４に記載の方法、または
前記デコードをする前に、仮想ラウドスピーカの数または次元がＨＯＡ係数の数または次元Ｏ_ｉｎ以上である場合に、より高い次数のゼロ係数を加えることにより、前記入力ベクトルＡ_ｉｎの次数または次元を拡張するように構成された手段を含む、請求項２ないし４いずれか一項に記載の装置。
ＨＯＡ係数の次数または次元が前記モード行列Ψ_２の次数または次元より低い場合、前記出力ベクトルＡ_ｏｕｔを提供するため、前記ワープされた係数の一部を取り除くために、前記ワープされエンコードされ場合によっては重み付けされた信号Ψ_２ｓ_ｉｎを、より高次にゼロ係数を有するウィンドウベクトルｗを用いて、さらに重み付けする、請求項１、３ないし５いずれか一項に記載の方法、または
最高時にゼロ係数を有するウィンドウベクトルｗを用いて、前記ワープされ、エンコードされ、場合によっては重み付けされた信号Ψ_２ｓ_ｉｎをさらに重み付けし、前記出力ベクトルＡ_ｏｕｔを提供するために、前記ワープされた係数の一部を除去するように構成された手段を含む、請求項２ないし５いずれか一項に記載の装置。
前記デコード、重み付け、及びワープ／デコードするステップは、共にサイズＯ_ｗａｒｐ×Ｏ_ｗａｒｐの変換行列
＜外３＞

を用いることにより実行され、ｄｉａｇ（ｗ）は前記ウィンドウベクトルｗの値を主対角線の成分として有する対角行列を示し、ｄｉａｇ（ｇ）は前記ゲイン関数ｇを主対角線の成分として有する対角行列を示す、請求項１、３および６に記載の方法、または
＜外６＞
前記変換行列ＴをサイズＯ_ｏｕｔ×Ｏ_ｉｎとなるような形状にするため、前記変換行列Ｔの対応する列及び／またはラインをスペースワーピング演算Ａ_ｏｕｔ＝ＴＡ_ｉｎを実行するように除去する、請求項７に記載の方法、または
前記変換行列ＴをサイズＯ_ｏｕｔ×Ｏ_ｉｎとなるような形状にするため、共に前記デコード、重み付け、及びワープ／デコードを実行するように構成された手段において、前記変換行列Ｔの対応する列及び／またはラインをスペースワーピング演算Ａ_ｏｕｔ＝ＴＡ_ｉｎを実行するように除去する、請求項７に記載の装置。
請求項１、３ないし８いずれか一項に記載の方法によりエンコードされたデジタルオーディオ信号。
請求項９に記載のデジタルオーディオ信号を含む、格納した、または記録した光ディスクなどの記憶媒体。