JP2019082741A - 特異値分解を用いる高次Ambisonics復号の方法と装置 - Google Patents

特異値分解を用いる高次Ambisonics復号の方法と装置 Download PDF

Info

Publication number
JP2019082741A
JP2019082741A JP2019041597A JP2019041597A JP2019082741A JP 2019082741 A JP2019082741 A JP 2019082741A JP 2019041597 A JP2019041597 A JP 2019041597A JP 2019041597 A JP2019041597 A JP 2019041597A JP 2019082741 A JP2019082741 A JP 2019082741A
Authority
JP
Japan
Prior art keywords
vector
matrix
decoder
loudspeaker
ambisonics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019041597A
Other languages
English (en)
Other versions
JP6707687B2 (ja
Inventor
クロップ,オルガー
Kropp Holger
アーベリング,シュテファン
Abeling Stefan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2019082741A publication Critical patent/JP2019082741A/ja
Priority to JP2020087853A priority Critical patent/JP6980837B2/ja
Application granted granted Critical
Publication of JP6707687B2 publication Critical patent/JP6707687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/308Electronic adaptation dependent on speaker or headphone connection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】特異値分解を用いた高次Ambisonics符号化と復号の方法と装置を提供する。【解決手段】高次Ambisonics(HOA)復号の方法であって、ラウドスピーカの球面調和関数の状態を記述するベクトルに関する情報を受け取ることと、球面調和関数の状態を記述するベクトルを決定することであって、ベクトルは特異値分解に基づいて決定され、ベクトルはベクトルに関する情報のマトリックスに基づく、ことと、球面調和関数の状態を記述するベクトルに基づいて、ベクトルベース信号のHOA表現を決定することとを含み、ベクトルに関する情報のマトリックスは音源の方向に基づき適応され、マトリックスはベクトルに関する線形独立な列と行の数を提供するランクに基づく、方法である。【選択図】図1

Description

本発明は、特異値分解を用いた高次Ambisonics符号化と復号の方法と装置に関する。
高次Ambisonics(HOA)は3次元サウンドを表す。他の手法は波動フィールド合成(WFS)又は22.2のようなチャネルベースのアプローチである。しかし、チャネルベースの方法と対照的に、HOA表現は、特定のラウドスピーカセットアップから独立しているという長所がある。しかし、この柔軟性はラウドスピーカセットアップにおけるHOA表現の再生に必要な復号プロセスの犠牲によるものである。必要なラウドスピーカの数が通常は非常に多いWFSアプローチと比較して、HOAはきわめて少ないラウドスピーカから構成されたセットアップにもレンダリングされてもよい。HOAのさらに別の長所は、ヘッドホンへのバイノーラルレンダリングのための修正無しに、同じ表現を利用できることである。
HOAは、トランケートされた球面調和関数(SH)展開による複素調和平面波動振幅の空間的密度の表現に基づく。各展開係数は角周波数の関数であり、これは時間領域関数により等価的に表現され得る。よって、一般性を損なわずに、完全なHOAサウンドフィールド表現は、O時間領域関数により構成されると仮定でき、ここでOは展開係数の数を示す。これらの時間領域関数は、以下、HOA係数シーケンスとして、又はHOAチャネルとして、等価的に参照される。HOA表現は、HOA係数を含むHOAデータフレームの時間的シーケンスとして表し得る。HOA表現の空間的解像度は、展開の最大次数Nが大きくなるにつれて向上する。3次元の場合、展開係数の数Oは、次数Nの二乗で大きくなり、具体的にはO=(N+1)となる。
<複素ベクトル空間>
Ambisonicsでは複素関数を扱わなければならない。それゆえ、複素ベクトル空間に基づく記法を導入する。これは抽象的な複素ベクトルで用いられ、3次元「xyz」座標系から知られている実幾何学的ベクトルを表現するものではない。そうではなく、各複素ベクトルは、物理系の可能性のある状態を記述し、d個の成分xを有するd次元空間における列ベクトルにより構成され、ディラックによれば、これらの列指向ベクトルはケットベクトルとよばれ、|x>と記される。d次元空間において、任意の|x>は、その成分x及びd個の正規直交基底ベクトル|e>により構成される:
Figure 2019082741
ここで、d次元空間は通常の「xyz」3次元空間ではない。
ケットベクトルの複素共役はブラベクトル|x>=<x|と呼ばれる。ブラベクトルは、行ベースの記述を表し、及び元のケット空間の双対空間、すなわちブラ空間を構成する。
Ambisonicsに関連するオーディオシステムの以下の説明では、このディラック記法を用いる。
内積は同じ次元のブラ及びケットベクトルから構成でき、複素スカラー値になる。ランダムベクトル|x>が正規直交ベクトル基底におけるその成分で記述されるとき、特定の基底(base)の特定の成分、すなわち|x>の|e>への投影は、内積により与えられる:
Figure 2019082741
ブラ及びケットベクトルの間にある、2つの縦線ではなく1つだけの縦線を考える。
同じ基底の異なるベクトル|x>及び|y>について、内積はブラ<x|をケット|y>と
Figure 2019082741
となるようにかけることにより得られる。
次元m×1のケット及び次元1×nのブラベクトルが外積によりかけられると、m行n列のマトリックスAが得られる:
Figure 2019082741
<Ambisonicsマトリックス(複数)>
Ambisonicsベースの説明は、完全なサウンドフィールドを時間変化するマトリックス(複数)にマッピングするのに必要な依存性を考慮する。高次Ambisonics(HOA)符号化又は復号マトリックス(複数)では、行(列)の数は音源またはサウンドシンクからの特定の方向に関する。
エンコーダサイドでは、可変数Sの音源を考慮する。ここで、s=1,・・・,Sである。各音源は原点から個別の距離r、個別の方向Ω=(Θ,Φ)を有する。ここで、Θはz-軸を起点とする傾き角度を記述し、及びΦはx-軸を起点とするアジマス角度を記述する。対応する時間依存の信号x=(t)は、個別の時間的振る舞いを有する。
簡単のため、方向部分のみを考慮する(ラジアル依存性はベッセル関数により記述される)。そして、特定の方向Ωは、列ベクトル|Y (Ω)>により記述される。ここで、nはAmbisonics次数を表し、mはAmbisonics次数Nのインデックスである。対応する値は、それぞれm=1,・・・,N及びn=−m,・・・、0,・・・,mである。
一般的に、特定のHOAの説明は、2次元または3次元の場合、各ケットベクトル|Y (Ω)>の成分数OをNに応じて制限する:
Figure 2019082741
2以上の音源がある場合、次数nのs個の個別のベクトル|Y (Ω)>が結合されると、すべての方向が含まれる。これにより、O×Sモード成分を含むモードマトリックスΞが得られる。すなわちΞの各列は特定の方向を表す:
Figure 2019082741
すべての信号値は信号ベクトル|x(kT)>に結合される。信号ベクトルは、各個別の音源信号x(kT)の時間依存性を考慮するが、共通サンプリングレート1/Tでサンプリングされる:
Figure 2019082741
以下、簡単のため、|x(kT)>などの時間変動信号では、〆サンプル数kはもう記載しない、すなわち無視される。そして、|x>では式(8)に示したように、モードマトリックスΞとかけられる。これにより、すべての信号成分が同じ方向Ωsの対応する列と線形結合され、式(5)によるO個のAmbisonicsモード成分又は係数を有するケットベクトル|s>s)が得られる
Figure 2019082741
デコーダは、専用のl個のラウドスピーカ信号|y>により表されるサウンドフィールドを生成するタスクを有する。したがって、ラウドスピーカモードマトリックスΨは、球面調和関数ベースの単位ベクトル|Y (Ω)>(式(6)と同様のもの)のL個の別々の列により構成される。すなわち各ラウドスピーカ方向Ωに対して1つのケット:
Figure 2019082741
次マトリックス(複数)の場合、モードの数はラウドスピーカの数と等しく、|y>は逆モードマトリックスΨにより決定できる。任意のマトリックスの場合、行及び列の数は異なり得るので、ラウドスピーカ信号|y>は疑似逆により決定できる。非特許文献1を参照。そして、Ψの疑似逆Ψを用いて:
Figure 2019082741
エンコーダ及びデコーダサイドで記述されるサウンドフィールドはほぼ同じである、すなわち
[外1]
Figure 2019082741
と仮定する。しかし、ラウドスピーカ位置は、音源位置とは異なり得る。すなわち有限
Ambisonics次数の場合、|x>で記述される実数値の音源信号と、|y>で記述されるラ
ウドスピーカ信号は異なる。それゆえ、|x>を|y>にマッピングするパニングマトリックスGを用いることができる。そして、式(8)及び(10)から、エンコーダ及びデコーダのチェイン演算は:
Figure 2019082741
<線形汎関数>
今後の式を簡単にするため、「発明の概要」セクションまでパニングマトリックスは無視する。
必要な基底ベクトルの数が無限になると、離散的基底から連続的基底に変えられる。
それゆえ、関数f無限数のモード成分を有するベクトルとして解釈できる。
これは数学的には「汎関数」と呼ばれている。決定論的に、ケットベクトルから特定の出力ケットベクトルへのマッピングを行うからである。
これは、関数fとケット|x>間の内積により記述できる。これは、一般的には複素数cとなる:
Figure 2019082741
If〆汎関数がケットベクトルの線形結合を保存するとき、fは「線形汎関数」と呼ばれる。
エルミート演算子に制約がある限り、以下の特徴を考慮しなければならない。
エルミート演算子は常に次の特徴を有する:
・ 実固有値。
・ 異なる固有値に対する直交固有関数の完全なセット。
それゆえ、すべての関数はこれらの固有関数により構成することができる。非特許文献2を参照。任意の関数は、複素定数C を有する球面調和関数Y (Θ,Φ)の線形結合として表すことができる:
Figure 2019082741
Figure 2019082741
〆インデックス(複数)n,mは決定論的に用いられる。これらは1次元インデックスjにより置換され、及びインデックス(複数)n,mは同じサイズのインデックスiにより置換される。各副空間は、異なるi,jを有する副空間と直交していることにより、無限次元空間における線形独立、正規直交単位ベクトルとして記述できる:
Figure 2019082741
の定数値は積分の前に設定できる:
Figure 2019082741
1つの副空間(インデックスj)から他の副空間(インデックスi)へのマッピングには、固有関数Y及びYが互いに直交している限り、同じインデックス(複数)i=jのハーモニクスの積分のみが必要である:
Figure 2019082741
本質的な側面は、連続的記述からブラ/ケット記法への偏光するとき、積分解は球面調和関数のブラ及びケット記述の間の内積の和で置換できることである。一般的に、連続的基底を用いた内積を用いて、ケットベースの波動記述|x>の離散的表現を連続的表現にマッピングできる。例えば、x(ra)は、位置ベース(すなわち、動径)raにおけるケット表現である:
Figure 2019082741
異なる種類のモードマトリックス(複数)Ψ及びΞを見る時、特異値分解を用いて、任意の種類のマトリックス(複数)を処理する。
<特異値分解>
特異値分解(SVD,非特許文献3を参照)により、m行n列の任意のマトリックスAの3つのマトリックス(複数)U,Σ,及びVへの分解が可能となる。式(19)を参照。
元の形式では、マトリックス(複数)U及びVはそれぞれ次元m×m及びn×nのユニタリーマトリックス(複数)である。かかるマトリックス(複数)は正規直交であり、及びそれぞれ複素単位ベクトル|u>及び|v>†=<v|を表す直交列から構成されている。複素空間のユニタリーマトリックス(複数)は、実空間の直交マトリックス(複数)と等価である。すなわち、その列は正規直交ベクトル基底を表す:
Figure 2019082741
マトリックス(複数)U及びVは、すべての4つの副空間の正規直交基底(base)を含む。
・ Uの最初のr列:Aの列空間
・ Uの最後のm−r列:Aのヌル空間
・ Vの最初のr列:Aの行空間
・ Vの最後のn−r列:Aのヌル空間
マトリックスΣはすべての特異値を含む。これはAの振る舞いを特徴付けるために用いることができる。一般的に、Σはm×nの正方対角マトリックスであり、r個の対角要素σまでを有し、ランクrはA(r≦min(m,n))の線形独立な列及び行の数を与える。それは降順で特異値を含む。すなわち、式(20)及び(21)において、σは最大値を有し、σは最小値を有する。
コンパクトな形式では、r個の特異値のみが、すなわち、Uのr列及びVのr行が、マトリックスAの再構成に必要である。マトリックス(複数)U、Σ及びVの次元は元の形式と異なる。しかし、Σマトリックス(複数)は常に二次形式となる。そして、m>n=rの場合、
Figure 2019082741
及びn>m=rの場合、
Figure 2019082741
このように、SVDは、低ランク近似により非常に効率的に実装できる。上記のGolub/van Loanテキストブックを参照されたい。この近似は、元のマトリックスを厳密に記述するが、しかし、rランク-1マトリックス(複数)までを含む。ディラック記法を用いて、マトリックスAはrランク-1外積により表せる:
Figure 2019082741
式(11)のエンコーダデコーダチェインを見ると、マトリックスΞのようにエンコーダのモードマトリックス(複数)のみがあるが、しかし、マトリックスΨのようなモードマトリックス(複数)又は他の1つの非常に高度なデコーダマトリックスの逆も考慮すべきである。一般的なマトリックスAの場合、Aの疑似逆Aは、正方マトリックスΣの反転、及びU及びVの複素共役転置を行うことにより、SVDから直接調べることができ、その結果:
Figure 2019082741
式(22)のベクトルベースの記述の場合、疑似逆Aは|u>及び<v|の共役転置を行うことにより与えられ、一方、特異値σは反転しなければならない。結果として得られる疑似逆は次のようになる:
Figure 2019082741
異なるマトリックス(複数)のSVDベースの分解を、ベクトルベースの記述(式(8)及び(10)参照)と組み合わせと、符号化プロセスについて:
Figure 2019082741
となり、デコーダについて、疑似逆マトリックスΨ(式(24))を考慮すると:
Figure 2019082741
エンコーダからのAmbisonicsサウンドフィールド記述|a>は、入力信号|x>及び出力信号|y>よりむしろデコーダの|a>とほぼ同じであり、次元r=r=rを仮定すると、合成された式は次のようになる:
Figure 2019082741
M.A. Poletti著、「A Spherical Harmonic Approach to 3D Surround Sound Systems」(Forum Acusticum, Budapest, 2005) H. Vogel, C. Gerthsen, H.O. Kneser著「Physik」(Springer Verlag, 1982) G.H. Golub, Ch.F. van Loan著「Matrix Computations」(the Johns Hopkins University Press, 3rd edition, 11. October 1996)
しかし、このエンコーダデコーダチェインの合成された記述には、以下に説明するように、幾つかの特定の問題がある。
<Ambisonicsマトリックス(複数)への影響>
高次Ambisonics(HOA)モードマトリックス(複数)Ξ及びΨは、音源又はラウドスピーカの位置(式(6)参照)、及びそのAmbisonics次数により直接的に影響される。ジオメトリが規則的であり、すなわちソース又はラウドスピーカ位置間の相互の角距離がほぼ等しいとき、式(27)を解くことができる。
しかし、実際のアプリケーションでは、そうでない場合が多い。このように、Ξ及びΨのSVDを実行し、対応するマトリックスΣ中の特異値を調べることは意味がある。それがΞ及びΨの数値的振る舞いを反映するからである。Σは実特異値を有する正値有限マトリックスである。しかし、それにもかかわらず、r個までの特異値があっても、これらの値間の数値的関係は、サウンドフィールドの再生にとって非常に重要である。デコーダサイドにおいてマトリックス(複数)の逆又は疑似逆を構成しないとならないからである。この振る舞いを測定する好適な量は、Aの条件数(condition number)である。条件数κ(A)は、最小及び最大特異値の比と定義されている:
Figure 2019082741
<逆問題>
たちの悪いマトリックス(複数)は大きいκ(A)を有するため、問題である。反転又は疑似反転の場合、たちの悪いマトリックスでは、小さい特異値σが非常に支配的になるという問題がある。P.Ch. Hansen著「Rank-Deficient and Discrete Ill-Posed problems: Numerical Aspects of Linear Inversion」(Society for Industrial and Applied Mathematics (SIAM), 1998)では、特異値がどう減衰するかを記述することにより、2つの基本的タイプの問題が区別されている(第1.1章、第2-3ページ):
・ ランク欠損(rank-deficient)問題、これはマトリックス(複数)が大きい特異値及び小さい特異値のクラスター間にギャップを有する問題である(非漸次的減衰);
・ 離散的不良設定問題、これは平均的に、マトリックス(複数)のすべての特異値が漸次的にゼロに減衰する、すなわち特異値スペクトルにギャップがない。
エンコーダサイドにおけるマイクロホンのジオメトリ、及びデコーダサイドにおけるラウドスピーカジオメトリに関して、主に最初のランク欠損問題が生じる。しかし、レコーディング中に一部のマイクロホンの位置を修正する方が、カスタマーサイドですべての可能性のあるラウドスピーカ位置を制御するより容易である。特にデコーダサイドでは、モードマトリックスの反転又は疑似反転を行わなければならず、これにより数値的問題及びより高いモード成分の過剰強調値が生じる(上記のHansenの著作を参照)。
<信号に関連する依存性>
その反転問題の低減は、例えば、モードマトリックスのランクの低減により、すなわち最小特異値を回避することにより実現できる。しかし、そうすると閾値を最小の可能性のある値σに使うべきである(式(20)及び(21)を参照)。かかる最小特異値の最適値は、上記のHansenの著作に記載されている。Hansenは、σopt=1/√(SNR)を提案しており、これは入力信号の特性に依存する(ここでは、|x>により記述する)。式(27)から、この信号は再生に影響するが、信号の依存性はデコーダでは制御できないことが分かる。
<非正規直交基底の問題>
状態ベクトル|a>は、HOAエンコーダ及びHOAデコーダ間で伝送されるが、各システム式(25)及び(26)によると、異なる基底で記述される。しかし、正規直交基底が使われれば、状態は変化しない。そして、モード成分は、ある基底から他の基底に投影できる。そのため、原理的には、各ラウドスピーカセットアップ又はサウンド記述は、正規直交基底系上で構成されるべきである。これにより、 これらの基底(base)間のベクトル表現の変更、例えば、Ambisonicsでは、3次元空間から2次元副空間への投影が可能となるからである。
しかし、たちの悪いマトリックス(複数)を有するセットアップが多くあり、基底ベクトルがほぼ線形従属である。そこで、原理的には、非正規直交基底を取り扱う必要がある。これにより、1つの副空間から他の1つの副空間への変更が複雑になる。他の1つの副空間は、HOAサウンドフィールド記述を異なるラウドスピーカセットアップに適応させる場合に、又はエンコーダ又はデコーダサイドにおいて異なるHOA次数及び次元を取り扱いたい場合に必要となるものである。
まばらなラウドスピーカセットへの投影の典型的問題は、サウンドエネルギーが、ラウドスピーカの近くでは高く、これらのラウドスピーカ間の距離が大きいと低いことである。そこで、異なるラウドスピーカ間の配置には、エネルギーを適宜バランスするパニング関数が必要となる。
上記の問題は、本発明プロセスにより避けることができ、請求項1に開示の方法により解決される。この方法を利用する装置は、請求項2に開示される。
本発明によると、復号プロセスの元の基底と組み合わせた符号化プロセスの逆基底を、最低モードマトリックスランク及びトランケートされた特異値分解を考慮して用いる。
双正規直交系が表されているので、エンコーダ及びデコーダマトリックス(複数)の積は少なくとも最低モードマトリックスランクに対しては単位マトリックスを確実に保存する。
これは、ケットベースの記述を、デュアル空間、すなわち逆基底ベクトルを有するブラ空間(すべてのベクトルはケットの随伴である)に基づく表現に変更することにより実現される。これは、モードマトリックス(複数)の疑似逆の随伴を用いることにより実現される。「随伴」は複素共役転置を意味する。
このように、疑似反転の随伴は、エンコーダサイドにおいて、随伴デコーダマトリックスとともにすでに使われている。処理のため、基底変更に対して不変であるようにするため、正規直交逆基底ベクトルを用いる。さらに、この種の処理では、入力信号依存の影響を考慮でき、規格化プロセスにおいてσのノイズリダクション最適閾値が得られる。
原理的には、本発明の方法は、特異値分解を用いた高次Ambisonics符号化と復号に好適であり、前記方法は:
オーディオ入力信号を受け取るステップと、
音源の方向値及び前記オーディオ入力信号のAmbisonics次数とに基づき、球面調和関数の対応するケットベクトル及び対応するエンコーダモードマトリックスを構成するステップと、
前記エンコーダモードマトリックスに特異値分解を実行するステップであって、2つの対応するエンコーダユニタリーマトリックス(複数)及び特異値及び関連するエンコーダモードマトリックスランク(r)を含む対応するエンコーダ対角マトリックスが出力されるステップと、
前記オーディオ入力信号、前記特異値及び前記エンコーダモードマトリックスランクから閾値を決定するステップと、
前記特異値の少なくとも1つを前記閾値と比較し、対応する最終エンコーダモードマトリックスランクを決定するステップと、
ラウドスピーカの方向値及びデコーダAmbisonics次数に基づき、前記方向値に対応する方向にある特定のラウドスピーカの球面調和関数の対応するケットベクトル及び対応するデコーダモードマトリックスを構成するステップと、
前記デコーダモードマトリックスに特異値分解を実行するステップであって、2つの対応するデコーダユニタリーマトリックス(複数)及び特異値を含む対応するデコーダ対角マトリックスが出力され、前記デコーダモードマトリックスの対応する最終的ランクが決定されるステップと、
前記最終エンコーダモードマトリックスランク及び前記最終デコーダモードマトリックスランクから最終的モードマトリックスランクを決定するステップと、
前記エンコーダユニタリーマトリックス(複数)、前記エンコーダ対角マトリックス及び前記最終的モードマトリックスランクから前記エンコーダモードマトリックスの随伴疑似逆を計算し、結果としてAmbisonicsケットベクトルを求め、
前記最終的モードマトリックスランクにより前記Ambisonicsケットベクトルの成分数を低減し、適応されたAmbisonicsケットベクトルを提供するステップと、
前記適応されたAmbisonicsケットベクトル、前記デコーダユニタリーマトリックス(複数)、前記デコーダ対角マトリックス及び前記最終的モードマトリックスランクから随伴デコーダモードマトリックスを計算し、結果として得られるすべてのラウドスピーカの出力信号のケットベクトルを求めるステップとを含む。
原理的には、本発明の装置は、特異値分解を用いる高次Ambisonics符号化と復号に適しており、前記装置は:
オーディオ入力信号を受け取る手段と、
音源の方向値及び前記オーディオ入力信号のAmbisonics次数とに基づき、球面調和関数の対応するケットベクトル及び対応するエンコーダモードマトリックスを構成する手段と、
前記エンコーダモードマトリックスに特異値分解を実行する手段であって、2つの対応するエンコーダユニタリーマトリックス(複数)及び特異値及び関連するエンコーダモードマトリックスランクを含む対応するエンコーダ対角マトリックスが出力される手段と、
前記オーディオ入力信号、前記特異値及び前記エンコーダモードマトリックスランクから閾値を決定する手段と、
前記特異値の少なくとも1つを前記閾値と比較し、対応する最終エンコーダモードマトリックスランクを決定する手段と、
ラウドスピーカの方向値及びデコーダAmbisonics次数に基づき、前記方向値に対応する方向にある特定のラウドスピーカの球面調和関数の対応するケットベクトル及び対応するデコーダモードマトリックスを構成する手段と、
前記デコーダモードマトリックスに特異値分解を実行する手段であって、2つの対応するデコーダユニタリーマトリックス(複数)及び特異値を含む対応するデコーダ対角マトリックスが出力され、前記デコーダモードマトリックスの対応する最終的ランクが決定される手段と、
前記最終エンコーダモードマトリックスランク及び前記最終デコーダモードマトリックスランクから最終的モードマトリックスランクを決定する手段と、
前記エンコーダユニタリーマトリックス(複数)、前記エンコーダ対角マトリックス及び前記最終的モードマトリックスランクから前記エンコーダモードマトリックスの随伴疑似逆を計算し、結果としてAmbisonicsケットベクトルを求め、
前記最終的モードマトリックスランクにより前記Ambisonicsケットベクトルの成分数を低減し、適応されたAmbisonicsケットベクトルを提供する手段と、
前記適応されたAmbisonicsケットベクトル、前記デコーダユニタリーマトリックス(複数)、前記デコーダ対角マトリックス及び前記最終的モードマトリックスランクから随伴デコーダモードマトリックスを計算し、結果として得られるすべてのラウドスピーカの出力信号のケットベクトルを求める手段とを含む装置。
本発明の有利な付加的実施形態は、各従属請求項に開示されている。
本発明の例示の実施形態を添付の図面を参照して説明する。
SVDに基づくHOAエンコーダ及びデコーダを示すブロック図である。 線形汎関数パニングを含むHOAエンコーダ及びデコーダを示すブロック図である。 マトリックスパニングを含むHOAエンコーダ及びデコーダを示すブロック図である。 閾値σε決定を示すフロー図である。 リデューストモードマトリックスランクrfine、及び|a’>計算の場合における特異値の再計算を示す図である。 リデューストモードマトリックスランクrfine及びrfind、及びパニングを有する又は有しないラウドスピーカ信号|y(Ω)>の計算の場合における特異値の再計算を示す図である。
SVDに基づく本発明のHOA処理のブロック図を、エンコーダ部及びデコーダ部とともに、図1に示す。両部は、逆基底ベクトルを生成するためにSVDを用いている。既知のモードマッチング解に関する変更、例えば式(27)に関する変更がある。
<HOAエンコーダ>
逆基底ベクトルを説明するため、ケットベースの記述はブラ空間に変更される。ブラ空間では、すべてのベクトルがケットのエルミート共役又は随伴である。これは、モードマトリックス(複数)の疑似反転を用いることにより実現される。
そして、式(8)によると、(デュアル)ブラベースのAmbsonicsベクトルは、(デュアル)モードマトリックスΞを用いても再定式化できる:
Figure 2019082741
エンコーダサイドで結果として得られるAmbisonicsベクトル<a|は、ここではブラセマンティックである。しかし、統一的記述、すなわちケットセマンティックに戻ることが望ましい。Ξの疑似逆の替わりに、Ξ 又はΞ+†のエルミート共役を用いる:
Figure 2019082741
式(24)によると、
Figure 2019082741
ここで、すべての特異値は実数であり、σSiの複素共役は無視できる。
これにより、Ambisonics成分の次の記述が得られる:
Figure 2019082741
ソースサイドのベクトルベースの記述により、|a>が逆σSiに依存することが分かる。もしこれをエンコーダサイドについて行う場合、デコーダサイドで対応するデュアル基底ベクトルに変更される。
<HOAデコーダ>
デコーダが元々疑似逆に基づく場合、ラウドスピーカ信号|y>を導くため:
Figure 2019082741
すなわち、ラウドスピーカ信号は:
Figure 2019082741
式(22)を考慮すると、デコーダの式は:
Figure 2019082741
それゆえ、疑似逆を構成する替わりに、随伴演算(「†」で示す)のみが式(35)に残っている。これが意味するのは、デコーダにおいて必要な算術演算が少なくなることである。虚部の符号を切り替えるだけでよく、転置はメモリアクセスの修正のみの問題だからである:
Figure 2019082741
エンコーダ及びデコーダのAmbisonics表現はほぼ同じであり、すなわち|a>=|a>であると仮定すると、式(32)を用いて、完全なエンコーダデコーダチェインは次の依存性を有する:
Figure 2019082741
Figure 2019082741
ノイズに対してよりロバストにするため、入力信号のSNRを考慮する。これはエンコーダケット及び入力の計算されたAmbisonics表現に影響する。そのため、必要に応じて、すなわちたちの悪いモードマトリックス(複数)を反転しなければならない場合、σ値は、エンコーダにおいて入力信号のSNRに応じて規格化(regularised)される。
<エンコーダにおける規格化>
規格化は異なる方法で実行できる。例えば、トランケートされたSVDを介して閾値を用いることにより、実行できる。SVDによりσが降順に得られ、ここで、最低レベル又は最高インデックス(σで示す)のσは、非常に頻繁に切り替わる成分を含み、及びノイズ効果及びSNRが生じる(式(20)及び(21)及び上記のHansenの著作を参照)。このように、トランケーションSVD(TSVD)はすべてのσ値を閾値と比較し、及びその閾値σεを越える雑音が大きい成分を無視する。閾値σεは一定であってもよく、又は入力信号のSNRに応じて最適に修正されてもよい。
マトリックスのトレースは、すべての対角マトリックス要素の和を意味する。
TSVDブロック(図1乃至3の10、20、30)は次のタスクを有する:
・ モードマトリックスランクrの計算;
・ 閾値より低いノイズが大きい成分を除去し、及び最終的モードマトリックスランクrfinを設定。
この処理は複素マトリックスΞ及びΨを扱う。しかし、実数値のσを規格化するため、これらのマトリックス(複数)を直接使うことはできない。適当な値はΞとその随伴Ξとの間の積から得られる。結果として得られるマトリックスは、実対角固有値を有する二次マトリックスであり、実対角固有値は、適当な特異値の二次値と等価である。すべての固有値の和は、マトリックスΣのトレースにより
Figure 2019082741
と記述できるが、これが一定であるなら、系の物理特性は保存される。これはマトリックスΨにも当てはまる。
このように、エンコーダサイド(図1乃至3の15、25、35)のブロックONBs又はデコーダサイド(図1乃至3の19、29、39)のブロックONBlが特異値を修正し、規格化前後のtrace(Σ2)が保存されるようになる(図5及び図6を参照):
・ 元の及び目標のトランケートされたマトリックスΣtのトレースが一定(trace(Σ2)=trace(Σt2))になるように、σi(for i=1・・・rfin)の残りを修正する。
・ 次式を満たす定数値Δσを計算する
Figure 2019082741
特異値の通常の数及び減少した数との間の差分は(ΔE=trace(Σ)=trace(Σ)rfin)と呼ばれ、結果として得られる値は次の通りである:
Figure 2019082741
・ トランケートされたマトリックスΣtのすべての新しい特異値σi,tについて再計算する:
Figure 2019082741
付加的に、適当な|a>の基底(式(30)又は(33)を参照)が対応するSVD関連の{U}基底に変更されたとき、エンコーダ及びデコーダに対する簡略化を達成でき、次の通りとなる:
Figure 2019082741
(備考:σ及び|a>が付加的エンコーダ又はデコーダインデックス無しで用いられる場合、エンコーダサイド又は/及びデコーダサイドを指す)。この基底は正規直交であり、|a>のノルムを表す。すなわち、|a>の替わりに、規格化は|a’>を使え、これはマトリックス(複数)Σ及びVは必要とするが、しかし、マトリックスUはもはや必要としない。
・ {U}基底における低減されたケット|a’>の使用。これにはランクが低減されるとの長所がある。
それゆえ、本発明では、SVDを両サイドで用いるが、これは、正規直交基底及び個別のマトリックス(複数)Ξ及びΨの特異値を行うためだけではなく、そのランクrfinを求めるためでもある。
<成分適応>
Ξのソースランクを考慮することにより、閾値又は最終的ソースランクに対して対応するσの一部を無視することにより、成分数を低減でき、よりロバストな符号化マトリックスを提供できる。それゆえ、デコーダサイドにおける対応する成分数により送信されるAmbisonics成分の数の適応が行われる。通常、それはAmbisonics次数Oに依存する。ここでは、エンコーダマトリックスΞのSVDブロックから得られた最終的モードマトリックスランクrfineと、デコーダマトリックスΨのSVDブロックから得られた最終的モードマトリックスランクrfindとが考慮されるべきである。Adapt#Compステップ/ステージ16において、成分数は次のように適応される:
・ rfine=rfind:何も変わらず、圧縮しない;
・ rfine<rfind:圧縮、デコーダマトリックスΨ中のrfine−rfind列は無視される=>エンコーダ及びデコーダ演算が低減される;
・ rfine>rfind:送信前にAmbisonics状態ベクトルのrfine>rfind成分をキャンセル、すなわち圧縮する。エンコーダマトリックスΞ中のrfine−rfind行を無視する=>エンコーダ及びデコーダ演算が低減される。
結果として、エンコーダサイド及びデコーダサイドで用いられる最終的モードマトリックスランクrfinは、rfind及びrfineのうち小さい方である。
このように、エンコーダ及びデコーダの間に、他のサイドのランクを交換する双方向信号があるとき、ランク差を用いて、可能な圧縮を改善し、及びエンコーダにおける及びデコーダにおける演算数を低減することができる。
<パニング関数の考慮>
パニング関数f、fの使用、又はパニングマトリックスGの使用は、まばらかつ不規則なラウドスピーカセットアップに対して得られたエネルギー分布に関する問題のため、前述した。式(11)を参照されたい。これらの問題は、Ambisonicsで通常用いることができる限定された次数を処理しなければならない(Ambisonicsマトリックス(複数)への影響ないし非正規直交基底に伴う問題のセクションを参照されたい)。
パニングマトリックスGに対する要請に関して、符号化に続き、一部の音響ソースのサウンドフィールドはAmbisonics状態ベクトル|a>により表される良い状態にあると仮定する。しかし、デコーダサイドにおいて、状態がどうなっているか正確には分からない。すなわち、系の現在の状態に関する完全な知識はない。それゆえ、式(9)及び(8)の間の内積を保存する逆基底を取る。
エンコーダサイドにおいてすでに疑似逆を用いているので、次の長所がある:
・ 逆基底の使用はエンコーダ及びデコーダ基底(<x|x>=δ )間の双直交性を満たす;
・ 符号化/復号チェインにおける演算数がより小さい;
・ SNR振る舞いに関する数値的側面の改善;
・ 線形独立のものだけでなく修正されたモードマトリックス(複数)の正規直交列;
・ 基底の変更の単純化;
・ ランク-1近似の使用により、メモリ使用量(memory effort)が減少し、及び演算数が減少し、特に最終的ランクが低い場合にそうである。一般的に、M×Nマトリックスの場合、M*N演算ではなく、M+N演算のみが必要である;
・ デコーダにおける疑似逆を回避できるので、デコーダサイドにおける適応が単純化される;
・ 数値的に非安定なσの逆問題を回避できる。
図1では、エンコーダ又は送信者サイドにおいて、音源のs=1,・・・,S個の異なる方向値Ω及びAmbisonics次数Nがステップまたはステージ11に入力され、それから、次元O×Sを有するエンコーダモードマトリックスΞO×Sと球面調和関数の対応するケットベクトル|Y(Ω)>を形成する。マトリックスΞO×Sは、入力信号ベクトル|x(Ω)>に対応して生成される。入力信号ベクトルは、異なる方向ΩのS個の音源信号を有する。それゆえ、マトリックスΞO×Sは、球面調和ケットベクトル|Y(Ω)>の集まりである。信号x(Ω)だけでなく位置も時間とともに変わるので、計算マトリックスΞO×Sは動的に実行され得る。このマトリックは、ソースの非正規直交基底NONBを有する。入力信号|x(Ω)>及びランク値rから、特定の特異な閾値σεがステップまたはステージ12において決定される。エンコーダモードマトリックスΞO×S及び閾値σεはトランケーション特異値分解TSVD処理10に入力される(上記の特異値分解セクション参照)。この処理は、ステップまたはステージ13において、モードマトリックスΞO×Sに対して、その特異値を求めるため、特異値分解を行い、それにより一方で、ユニタリーマトリックス(複数)U及びV、及びr個の特異値σ・・・σrSを含む対角マトリックスΣが出力され、他方で、関連するエンコーダモードマトリックスランクrが決定される(備考:σは、SVD(Ξ)=UΣVのマトリックスΣからのi番目の特異値である)。
ステップ/ステージ12において、閾値σεは、エンコーダにおけるセクション規格化に応じて決められる。閾値σε用いられるσSi値の数をトランケートされた又は最終のエンコーダモードマトリックスランクrfineに限定できる。閾値σε所定値に設定でき、又は入力信号の信号対ノイズ比SNRに適応させ得る:σε,opt=1/√(SNR)、これによりすべてのS個の音源信号|x(Ω)>のSNRは所定数のサンプル値にわたり測定される。
コンパレータステップまたはステージ14において、マトリックスΣの特異値σは閾値σεと比較され、その比較から、エンコーダにおけるセクション規格化に応じて残りのσSi値を修正するトランケートされた又は最終のエンコーダモードマトリックスランクrfineが計算される。最終エンコーダモードマトリックスランクrfineはステップまたはステージ16に入力される。
デコーダサイドに関して、ラウドスピーカのl=1,…,L 個の方向値Ω及びデコーダAmbisonics次数Nから、ブロック17において関連する信号|y(Ω)>のラウドスピーカ位置に対応して、方向Ωの特定のラウドスピーカの球面調和関数の対応するケットベクトル、|Y(Ω)>、及び次元0×Lを有する対応するデコーダモードマトリックスΨO×Lがステップまたはステージ18において決定される。
エンコーダマトリックスΞO×Sと同様に、デコーダマトリックスΨO×Lは、すべての方向sΩの球面調和ケットベクトル|y(Ω)>の集まりである。ΨO×Lの計算は動的に行われる。
ステップまたはステージ19において、特異値分解処理がデコーダモードマトリックスΨO×Lに対して行われ、結果として得られるユニタリーマトリックス(複数)U及びV及び対角マトリックスΣがブロック17に入力される。さらに、最終デコーダモードマトリックスランクrfindが計算され、及びステップ/ステージ16に入力される。
ステップまたはステージ16において、上記のように、最終エンコーダモードマトリックスランクrfine及び最終デコーダモードマトリックスランクrfindから、最終的モードマトリックスランクrfinが決定される。最終的モードマトリックスランクrfinはステップ/ステージ15及びステップ/ステージ17に入力される。
エンコーダサイドマトリックス(複数)U、V 、Σ、ランク値r、最終的モードマトリックスランク値rfin及びすべての音源信号の時間依存の入力信号ケットベクトル|x(Ω)>は、ステップまたはステージ15に入力される。このステップは、式(32)を用いて、これらのΞO×Sに関連する入力値から、エンコーダモードマトリックスの随伴疑似逆(Ξを計算する。このマトリックスは、次元rfine×S及びソースONBsの正規直交基底を有する。複素マトリックス及びその随伴を扱うとき、次式
[外2]
Figure 2019082741
を考慮する:。ステップ/ステージ15の出力は、対応する時間従属Ambisonicsケット又は状態ベクトル|a'sである。上記のHOAエンコーダセクションを参照されたい。
ステップまたはステージ16において、|a’>の成分の数は、上記のセクション「成分適応」で説明したように、最終的モードマトリックスランクrfineを用いて低減され、送信される情報量を場合によっては低減するようになっており、結果として適応後の時間従属Ambisonicsケット又は状態ベクトル|a’>が得られる。
Ambisonicsケット又は状態ベクトル|a’>から、デコーダサイドマトリックス(複数)U 、V、Σ及びモードマトリックスΨO×Lから導かれるランク値rから、及びステップ/ステージ16からの最終的モードマトリックスランク値rfineから、次元L×rfind及びラウドスピーカONBの正規直交基底を有する随伴デコーダモードマトリックス(Ψ)が計算され、すべてのラウドスピーカの時間従属出力信号のケットベクトル|y(Ω)>が結果として得られる。上記のセクション「HOAデコーダ」を参照されたい。復号は、通常のモードマトリックスの共役転置を用いて行われる。通常のモードマトリックスは、特定のラウドスピーカ位置に依存する。
付加的レンダリングのため、特定のパニングマトリックスを利用すべきである。
デコーダはステップ/ステージ18、19及び17で表される。エンコーダは他のステップ/ステージで表される。
図1のステップ/ステージ11ないし19は、原理的に、図2のステップ/ステージ21ないし29、及び図3のステップ/ステージ31ないし39にそれぞれ対応している。
また図2において、ステップまたはステージ211において計算されたエンコーダサイドのパニング関数f、及びステップまたはステージ281において計算されたデコーダサイドのパニング関数f281が線形汎関数パニングに用いられる。パニング関数fはステップ/ステージ21の付加的入力信号であり、及びパニング関数fはステップ/ステージ28の付加的入力信号である。かかるパニング関数を用いる理由は、上記のセクション「パニング関数の考慮」で説明した。
図1と比較して、図3において、パニングマトリックスGは、ステップ/ステージ37の出力において、すべてのラウドスピーカの時間従属出力信号の予備的ケットベクトルに対するパニング処理371を制御する。これにより、すべてのラウドスピーカの時間従属出力信号の適応されたケットベクトル|y(Ω)>が得られる。
図4は、エンコーダモードマトリックスΞO×Sの特異値分解SVD処理40に基づき閾値σεを決定する処理をより詳細に示す。そのSVD処理は、マトリックスΣ(σからのσrS範囲を動く降順の対角全特異値σを含む、式(20)及び(21)を参照)及びマトリックスΣのランクrSを与える。
一定閾値を用いる場合(ブロック41)、変数iにより制御されるループ内で(ブロック42及び43)、このループはi=1で始まり、i=rSまで続くが、これらのσi値の間にギャップがあるかチェックする(ブロック45)。かかるギャップは、特異値σi+1のアマウント値が、その前の特異値σiのアマウント値より大幅に小さい、例えば1/10より小さいとき、生じる。かかるギャップが検出されると、ループは停止し、閾値σεが現在の特異値σiに設定される(ブロック46)。i=rS(ブロック44)の場合、最低の特異値σi=σに到達し、ループから出て、σεがσに設定される(ブロック46)。
一定閾値が使われない場合(ブロック41)、すべてのS個の音源信号X=[|x(Ω,t=0)>,・・・,|x(Ω,t=T)>](=マトリックスS×T)のT個サンプルのブロックを調べる(ブロック47)。Xの信号対ノイズ比SNRを計算し(ブロック48)、閾値σεがσε=1/√(SNR)に設定される(ブロック49)。
図5は、ステップ/ステージ15、25、35における、リデューストモードマトリックスランク、及び|a’>の計算の場合における特異値の再計算を示す。図1/2/3のブロック10/20/30からのエンコーダ対角マトリックスΣは、値rを用いて、全エネルギー
[外3]
Figure 2019082741
を計算するステップまたはステージ51に、及び値rfineを用いて、低減された全エネルギー
[外4]
Figure 2019082741
を計算する、ステップまたはステージ52に、及びステップまたはステージ54に入力される。全エネルギー値と低減された全エネルギー値との間の差ΔE、値trace(Σrfine)、及び値rfineは、
[外5]
Figure 2019082741
を計算するステップまたはステージ53に入力される。
値Δσは、結果が物理的に意味を持つように、
[外6]
Figure 2019082741
により記述されるエネルギーを保つことを保証するために、必要である。エンコーダ又はデコーダサイドにて、エネルギーが行列縮約により低減されるとき、かかるエネルギーの損失は、値Δσにより補償される。この値は、すべての残っているマトリックス要素に等しく分配され、すなわち
[外7]
Figure 2019082741
である。
ステップまたはステージ54は、Σ、Δσ及びrfineから
[外8]
Figure 2019082741
を計算する。
入力信号ベクトル|x(Ω)>はマトリックスV にかけられる。結果にΣ をかける。後者のかけ算の結果はケットベクトル|a’>である。
図6は、ステップ/ステージ17、27、37における、リデューストモードマトリックスランクrfin、及びラウドスピーカ信号|y(Ω)>の計算の場合に、パニングありで又はなしでの、特異値の再計算を示す。図1/2/3におけるブロック19/29/39からのデコーダ対角マトリックスΣは、値rを用いて全エネルギー
[外9]
Figure 2019082741
を計算するステップまたはステージ61に、値rfindを用いて低減された全エネルギー
[外10]
Figure 2019082741
を計算するステップまたはステージ62に、及びステップまたはステージ64に入力される。全エネルギー値及び低減された全エネルギー値との間の差ΔE、値trace(Σrfind)、及び値rfindは、
[外11]
Figure 2019082741
を計算するステップまたはステージ63に入力される。
ステップまたはステージ64は、Σ、Δσ及びrfindから、
[外12]
Figure 2019082741
を計算する。
ケットベクトル|a’>マトリックスΣにかけられる。結果は、マトリックスVにかけられる。後者の乗算結果はすべてのラウドスピーカの時間従属出力信号のケットベクトル|y(Ω)>である。
本発明プロセスは、単一のプロセッサ又は電子回路、又は並行して動作している、及び/又は本発明プロセスの異なる部分で動作している複数のプロセッサ又は電子回路により実行できる。

Claims (9)

  1. 高次Ambisonics(HOA)復号の方法であって、
    ラウドスピーカの球面調和関数の状態を記述するベクトルに関する情報を受け取ることと、
    球面調和関数の状態を記述するベクトルを決定することであって、前記ベクトルは特異値分解に基づいて決定され、前記ベクトルは前記ベクトルに関する情報のマトリックスに基づく、ことと、
    前記球面調和関数の状態を記述するベクトルに基づいて、ベクトルベース信号のHOA表現を決定することとを含み、
    前記ベクトルに関する情報のマトリックスは音源の方向に基づき適応され、前記マトリックスは前記ベクトルに関する線形独立な列と行の数を提供するランクに基づく、
    方法。
  2. ラウドスピーカの方向値とデコーダAmbisonics次数とに関する情報を受け取ることと、
    前記ラウドスピーカの方向値と前記デコーダAmbisonics次数とに基づいて、前記方向値に対応する方向に位置するラウドスピーカのベクトルと、デコーダモードマトリックスとを決定することとをさらに含む、
    請求項1に記載の方法。
  3. 前記デコーダモードマトリックスの特異値分解に基づいて、前記デコーダモードマトリックスの最終的なランクと特異値とを含むデコーダ対角マトリックスと2つの対応するデコーダユニタリマトリックスとを決定することをさらに含む、請求項2に記載の方法。
  4. 前記ラウドスピーカの前記球面調和関数のベクトルと前記デコーダモードマトリックスとは、線形演算を含む対応するパニング関数と、オーディオ入力信号中の原位置の、ラウドスピーカ出力信号のベクトル中の前記ラウドスピーカの位置へのマッピングとに基づく、
    請求項2に記載の方法。
  5. 高次Ambisonics(HOA)復号する装置であって、
    ラウドスピーカの球面調和関数の状態を記述するベクトルに関する情報を受け取るレシーバと、
    球面調和関数の状態を記述するベクトルを決定するように構成されたプロセッサであって、
    前記ベクトルは特異値分解に基づき決定され、
    前記ベクトルは前記ベクトルに関する情報のマトリクスに基づき、
    前記プロセッサはさらに、前記球面調和関数の状態を記述するベクトルに基づいて、ベクトルベース信号のHOA表現を決定するように構成され、
    前記ベクトルに関する情報のマトリックスは音源の方向に基づき適応され、前記マトリックスは前記ベクトルに関する線形独立な列と行の数を提供するランクに基づく、
    装置。
  6. 前記プロセッサはさらに、ラウドスピーカの方向値とデコーダAmbisonics次数とに関する情報を受け取り、前記ラウドスピーカの方向値と前記デコーダAmbisonics次数とに基づいて前記方向値とデコーダモードマトリックスに対応する方向にあるラウドスピーカのベクトルを決定するように構成される、請求項5に記載の装置。
  7. 前記プロセッサはさらに、前記デコーダモードマトリックスの特異値分解に基づいて、前記デコーダモードマトリックスの最終的なランクと特異値とを含むデコーダ対角マトリックスと2つの対応するデコーダユニタリマトリックスとを決定するように構成される、
    請求項6に記載の装置。
  8. 前記ラウドスピーカの前記球面調和関数のベクトルと前記デコーダモードマトリックスとは、線形演算を含む対応するパニング関数と、オーディオ入力信号中の原位置の、ラウドスピーカ出力信号のベクトル中の前記ラウドスピーカの位置へのマッピングとに基づく、
    請求項6に記載の装置。
  9. コンピュータにより実行されると、前記コンピュータに請求項1に記載の方法を実行させるコンピュータプログラム。
JP2019041597A 2013-11-28 2019-03-07 特異値分解を用いる高次Ambisonics復号の方法と装置 Active JP6707687B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020087853A JP6980837B2 (ja) 2013-11-28 2020-05-20 特異値分解を用いる高次Ambisonics復号の方法と装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13306629.0 2013-11-28
EP13306629.0A EP2879408A1 (en) 2013-11-28 2013-11-28 Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016534923A Division JP6495910B2 (ja) 2013-11-28 2014-11-18 特異値分解を用いる高次Ambisonics符号化と復号の方法と装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020087853A Division JP6980837B2 (ja) 2013-11-28 2020-05-20 特異値分解を用いる高次Ambisonics復号の方法と装置

Publications (2)

Publication Number Publication Date
JP2019082741A true JP2019082741A (ja) 2019-05-30
JP6707687B2 JP6707687B2 (ja) 2020-06-10

Family

ID=49765434

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016534923A Active JP6495910B2 (ja) 2013-11-28 2014-11-18 特異値分解を用いる高次Ambisonics符号化と復号の方法と装置
JP2019041597A Active JP6707687B2 (ja) 2013-11-28 2019-03-07 特異値分解を用いる高次Ambisonics復号の方法と装置
JP2020087853A Active JP6980837B2 (ja) 2013-11-28 2020-05-20 特異値分解を用いる高次Ambisonics復号の方法と装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016534923A Active JP6495910B2 (ja) 2013-11-28 2014-11-18 特異値分解を用いる高次Ambisonics符号化と復号の方法と装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020087853A Active JP6980837B2 (ja) 2013-11-28 2020-05-20 特異値分解を用いる高次Ambisonics復号の方法と装置

Country Status (7)

Country Link
US (3) US9736608B2 (ja)
EP (3) EP2879408A1 (ja)
JP (3) JP6495910B2 (ja)
KR (2) KR102319904B1 (ja)
CN (4) CN108093358A (ja)
HK (3) HK1246554A1 (ja)
WO (1) WO2015078732A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823277B (zh) * 2010-03-26 2015-07-15 汤姆森特许公司 解码用于音频回放的音频声场表示的方法和装置
US9881628B2 (en) * 2016-01-05 2018-01-30 Qualcomm Incorporated Mixed domain coding of audio
CN111034225B (zh) * 2017-08-17 2021-09-24 高迪奥实验室公司 使用立体混响信号的音频信号处理方法和装置
JP6920144B2 (ja) * 2017-09-07 2021-08-18 日本放送協会 バイノーラル再生用の係数行列算出装置及びプログラム
US10264386B1 (en) * 2018-02-09 2019-04-16 Google Llc Directional emphasis in ambisonics
CN113115157B (zh) * 2021-04-13 2024-05-03 北京安声科技有限公司 耳机的主动降噪方法及装置、半入耳式主动降噪耳机
CN115938388A (zh) * 2021-05-31 2023-04-07 华为技术有限公司 一种三维音频信号的处理方法和装置
CN117250604B (zh) * 2023-11-17 2024-02-13 中国海洋大学 一种目标反射信号与浅海混响的分离方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015520411A (ja) * 2012-05-14 2015-07-16 トムソン ライセンシングThomson Licensing 高次アンビソニックス信号表現を圧縮又は圧縮解除するための方法又は装置
JP2015528248A (ja) * 2012-07-16 2015-09-24 トムソン ライセンシングThomson Licensing オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2016510905A (ja) * 2013-03-01 2016-04-11 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビットストリームにおける球面調和係数および/または高次アンビソニックス係数の指定

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202700A (ja) * 1991-04-25 1994-07-22 Japan Radio Co Ltd 音声符号化装置
FR2858512A1 (fr) 2003-07-30 2005-02-04 France Telecom Procede et dispositif de traitement de donnees sonores en contexte ambiophonique
US7840411B2 (en) * 2005-03-30 2010-11-23 Koninklijke Philips Electronics N.V. Audio encoding and decoding
KR20080015878A (ko) * 2005-05-25 2008-02-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수 채널 신호의 예측 엔코딩
PL2137725T3 (pl) * 2007-04-26 2014-06-30 Dolby Int Ab Urządzenie i sposób do syntetyzowania sygnału wyjściowego
GB0817950D0 (en) 2008-10-01 2008-11-05 Univ Southampton Apparatus and method for sound reproduction
US8391500B2 (en) 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
JP5773540B2 (ja) * 2009-10-07 2015-09-02 ザ・ユニバーシティ・オブ・シドニー 記録された音場の再構築
CN102823277B (zh) * 2010-03-26 2015-07-15 汤姆森特许公司 解码用于音频回放的音频声场表示的方法和装置
NZ587483A (en) 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
EP2592846A1 (en) * 2011-11-11 2013-05-15 Thomson Licensing Method and apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2645748A1 (en) * 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015520411A (ja) * 2012-05-14 2015-07-16 トムソン ライセンシングThomson Licensing 高次アンビソニックス信号表現を圧縮又は圧縮解除するための方法又は装置
JP2015528248A (ja) * 2012-07-16 2015-09-24 トムソン ライセンシングThomson Licensing オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2016510905A (ja) * 2013-03-01 2016-04-11 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビットストリームにおける球面調和係数および/または高次アンビソニックス係数の指定

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FEI CHEN, ET AL.: "SPARSITY-BASED HIGHER ORDER AMBISONICS REPRODUCTION VIA LASSO", IEEE CHINA SUMMIT AND INTERNATIONAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING, [ONLINE], JPN6020014033, July 2013 (2013-07-01), pages 151 - 154, XP032501255, ISSN: 0004254682, DOI: 10.1109/ChinaSIP.2013.6625317 *
FILIPPO M. FAZI, ET AL.: "The ill-conditioning problem in Sound Field", AUDIO ENGINEERING SOCIETY CONVENTION PAPER PRESENTED AT THE 123RD CONVENTION, [ONLINE], JPN6020014036, January 2007 (2007-01-01), pages 1 - 12, ISSN: 0004254681 *
岩谷 幸雄, 外3名: "球面調和解析による音場表現", 日本音響学会誌, vol. 第67巻, 第11号, JPN6020014035, 2011, pages 544 - 549, ISSN: 0004254683 *

Also Published As

Publication number Publication date
JP6980837B2 (ja) 2021-12-15
CN105981410B (zh) 2018-01-02
HK1249323A1 (zh) 2018-10-26
JP2017501440A (ja) 2017-01-12
KR20160090824A (ko) 2016-08-01
CN105981410A (zh) 2016-09-28
EP3313100B1 (en) 2021-02-24
KR102319904B1 (ko) 2021-11-02
EP3075172A1 (en) 2016-10-05
HK1246554A1 (zh) 2018-09-07
EP3075172B1 (en) 2017-12-13
US10244339B2 (en) 2019-03-26
CN107889045A (zh) 2018-04-06
JP2020149062A (ja) 2020-09-17
JP6495910B2 (ja) 2019-04-03
JP6707687B2 (ja) 2020-06-10
WO2015078732A1 (en) 2015-06-04
EP2879408A1 (en) 2015-06-03
US9736608B2 (en) 2017-08-15
CN107995582A (zh) 2018-05-04
KR20210132744A (ko) 2021-11-04
US20170006401A1 (en) 2017-01-05
US20190281400A1 (en) 2019-09-12
EP3313100A1 (en) 2018-04-25
HK1248438A1 (zh) 2018-10-12
US20170374485A1 (en) 2017-12-28
KR102460817B1 (ko) 2022-10-31
US10602293B2 (en) 2020-03-24
CN108093358A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
JP6980837B2 (ja) 特異値分解を用いる高次Ambisonics復号の方法と装置
JP7353427B2 (ja) 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
KR101633441B1 (ko) 공간적 오디오 처리에서 역상관기의 이용 및 최적 믹싱 행렬들
JP7333855B2 (ja) 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置
KR102051436B1 (ko) 오디오 신호 처리 장치들 및 방법들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200520

R150 Certificate of patent or registration of utility model

Ref document number: 6707687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250