JP2023093681A - 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 - Google Patents

高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 Download PDF

Info

Publication number
JP2023093681A
JP2023093681A JP2023071244A JP2023071244A JP2023093681A JP 2023093681 A JP2023093681 A JP 2023093681A JP 2023071244 A JP2023071244 A JP 2023071244A JP 2023071244 A JP2023071244 A JP 2023071244A JP 2023093681 A JP2023093681 A JP 2023093681A
Authority
JP
Japan
Prior art keywords
hoa
directional
frame
signals
ambient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023071244A
Other languages
English (en)
Inventor
クルーガー,アレクサンダー
krueger Alexander
コルドン,スフエン
Kordon Sven
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2023093681A publication Critical patent/JP2023093681A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Separation Using Semi-Permeable Membranes (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】向性信号成分およびアンビエント信号成分を別々に処理することによって高次アンビソニックス(HOA)表現を圧縮及び圧縮解除する方法及び装置を提供する。【解決手段】HOA圧縮方法は、所定数のチャンネルを使用して、その所定数のチャンネルにおいて方向性信号成分とアンビエント信号成分とを別々に処理する。アンビエントHOA成分は、最小の数のHOA係数列によって表現される。残りのチャンネルは、最適な知覚品質をもたらすかに依存して方向性信号またはアンビエントHOA成分の追加的な係数列を含む。この処理はフレーム単位で変更可能である。【選択図】図1

Description

本発明は、方向性信号成分およびアンビエント信号成分を別々に処理することによって高次アンビソニックス表現を圧縮および圧縮解除する方法および装置に関する。
高次アンビソニックス(HOA)は、波面合成法(WFS)や22.2のようなチャンネルに基づくアプローチといった他の技術が存在する一方で、三次元音声を表現する1つの可能性を提供している。チャンネルに基づく方法と対照的に、HOA表現には、特定のラウドスピーカの設定とは独立しているという利点がある。しかしながら、この柔軟性を得るためには、特定のラウドスピーカの設定でHOA表現を再生するための復号処理が必要となる。通常、必要なラウドスピーカの数が大変多くなるWFSのアプローチと比較して、HOAは極めて少ない数のラウドスピーカのみで構成される設定にすることができる。HOAのさらなる利点は、ヘッドフォンへのバイノーラル・レンダリングにも変更を必要とすることなく同じ表現を利用できる点にある。
HOAは、切断球面調和関数(SH)展開による複素調和平面波振幅の空間密度の表現に基づいている。各展開係数は角周波数の関数であり、これを、時間領域関数によって同等に表現することができる。したがって、一般性を失うことなく、完全なHOA音場表現は、実際には、“Ο”個の時間領域関数から構成されるものと考えることができる。ここで、Οは、展開係数の数を表している。これらの時間領域関数は同等の意味を有するものとして以下のHOA係数列またはHOAチャンネルを参照する。
HOA表現の空間解像度は、展開の最大次数Nの増加とともに向上する。残念ながら、展開係数の数“Ο”は、次数Nに対して二乗的に増加し、特にΟ=(N+1)2となる。例えば、次数N=4を使用した一般的なHOA表現には、Ο=25の個数のHOA(展開)係数が必要となる。上記の点を考慮して、HOA表現の伝送のための合計ビットレートは、所望の単一チャンネルのサンプリング・レートfおよびサンプル毎のビットの数Nが与えられると、Ο・f・Nによって求めることができる。したがって、サンプル毎にN=16の個数のビットを使用してf=48kHzのサンプリング・レートでの次数N=4のHOA表現を伝送すると、結果として、ビットレートは、19.2メガビット/秒となるが、これは、多くの実用的なアプリケーション、例えば、ストリーミングでは極めて高いビットレートである。
HOA音場表現の圧縮は、欧州特許出願第12306569号および欧州特許出願第12305537号において提案されている。例えば、E.Hellerud、I.Burnett、A.SolvangおよびU.P.Svenssonの「AACを用いた高次アンビソニックスの符号化」124回AESコンベンション、アムステルダム、2008年、において行われているような、HOA係数列を個々に知覚符号化することの代わりに、特に音場分析を行い、所与のHOA表現を方向性成分および残差アンビエント成分に分解することによって、知覚符号化される信号の数を減少させる試みが行われている。一般的には、方向性成分は、一般的な平面波関数とみなすことができる少数の支配的な方向性信号によって表現されるものとされる。残差のアンビエントHOA成分の次数が低減される。その理由は、支配的な方向性信号を抽出した後には、より低次のHOA係数が最も関連する情報を保持していると考えられるからである。
総括すると、そのような処理を行うことによって、知覚符号化されるHOA係数列の初期数(N+1)は、D個の支配的な方向性信号の所定数と、切断次数NRED<Nを用いて残差のアンビエントHOA成分を表現する(NRED+1)個のHOA係数列の数とに低減される。それによって、符号化される信号の数が決まり、すなわち、D+(NRED+1)となる。特に、この数は、時間フレームkにおけるアクティブな支配的な方向性音源の実際に検出された数DACT(k)≦Dとは独立している。これは、時間フレームkにおいて、アクティブな支配的な方向性音源の実際に検出された数DACT(k)が方向性信号の最大許容数Dよりも小さい場合、知覚符号化される支配的な方向性信号のいくつかまたは全てさえもが零となることを意味している。つまり、これはこの複数のチャンネルが音場の関連情報を捕捉するために全く使用されないことを意味する。
この状況で、欧州特許出願第12306569号および欧州特許出願第12305537号における処理の別の想定される弱点は、各時間フレーム内の支配的な方向性信号の数を決定するための基準である。その理由は、音場の連続的な知覚符号化に関してアクティブな支配的な方向性信号の最適な数を決定する試みが行われていないからである。例えば、欧州特許出願第12305537号においては、支配的な音源の数が単純なパワー基準を使用して、すなわち、最大の固有値に属する係数間の相関行列の部分空間の次元を求めることによって推定される。欧州特許出願第12306569号においては、支配的な方向性音源のインクリメンタル検出が提案されている。ここで、各々の方向からの平面波関数のパワーが最初の方向性信号に対して十分に高い場合には、方向性音源が支配的であると考慮される。欧州特許出願第12306569号および欧州特許出願第12305537号の場合のようなパワーに基づく基準を使用すると、音場の知覚符号化に関して最適であるとは云えない方向性-アンビエント分解となることもある。
本発明によって解決される課題は、現在のHOAオーディオ信号コンテンツに対して、所定の低減された数のチャンネルに、方向性信号およびアンビエントHOA成分に対する係数をどのように割り当てるかを決定することによって、HOA圧縮を改善することにある。この課題は、請求項1および3に開示されたそれぞれの方法によって解決される。これらの方法を利用する装置は、請求項2および4において開示されている。
本発明は、2つの態様において、欧州特許出願第12306569号で提案されている圧縮処理を改善する。第1に、知覚符号化される所与の数のチャンネルによってもたらされる帯域幅が良好に利用される。支配的な音源信号が検出されない時間フレームでは、支配的な方向性信号に対して当初より確保されているチャンネルは、アンビエント成分についての追加的な情報を捕捉するために、残差のアンビエントHOA成分の追加的なHOA係数列の形式で使用される。第2に、所与のHOA音場表現を知覚符号化するために所与の数のチャンネルを利用するという目的を念頭に置くと、HOA表現から抽出される方向性信号の数を決定するための基準は、その目的に対して適応化される。方向性信号の数は、復号され再構築されたHOA表現によって知覚される誤差が最も小さくなるように決定される。その基準は、方向性信号を抽出することと残差のアンビエントHOA成分を記述するためにHOA係数列をより少なく使用することとから生ずるモデル化誤差と、方向性信号を抽出することなく、その代わりに残差のアンビエントHOA成分を記述するために追加的なHOA係数列を使用することから生ずるモデル化誤差とを比較する。その基準は、さらに、その双方の場合に対して、方向性信号および残差のアンビエントHOA成分のHOA係数列の知覚符号化によってもたらされる量子化雑音の空間パワー分布を考慮する。
上述した処理を実施するために、HOA圧縮を開始する前に、信号(チャンネル)の合計数Iが定められる。この合計数Iは、当初のΟ個のHOA係数列の数と比較して低減させられたものである。アンビエントHOA成分は、最小の数ΟRED個のHOA係数列によって表現されるものと仮定される。場合によっては、その最小の数が零となることもある。残りのD=I-ΟRED個のチャンネルは、方向性信号抽出処理が判定する知覚的に意味のよりあるものに依存して、方向性信号またはアンビエントHOA成分の追加的な係数列のいずれかを含むものとされる。方向性信号またはアンビエントHOA成分係数列のいずれかの残りのD個のチャンネルに対する割り当ては、フレーム単位で変更可能であるものと仮定される。受信機側での音場の再構築のために、この割り当てについての情報は、追加の副情報として送信される。
原理的には、本発明の圧縮方法は、所定数の知覚符号化処理を使用して、HOAと称する音場の高次アンビソニックス表現をHOA係数列の入力される時間フレームを用いて圧縮するのに適している。この方法は、フレーム単位で行われ、
-現在のフレームに対して、支配的な方向のセットおよび対応する検出された方向性信号のインデックスのデータセットを推定するステップと、
-上記現在のフレームのHOA係数列を分解するステップであって、非所定数の方向性信号であって、支配的な方向推定値の上記セットに含まれる各々の方向と上記方向性信号のインデックスの各々のデータセットとを用いた、上記非所定数が上記所定数よりも小さい、上記非所定数の方向性信号と、上記所定数と上記非所定数との差に対応する低減された数のHOA係数列によって表現される残差のアンビエントHOA成分と、対応する上記低減された数の残差のアンビエントHOA係数列のインデックスのデータセットと、に分解する、上記分解するステップと、
-上記方向性信号および上記残差のアンビエントHOA成分のHOA係数列を上記所定数に対応する数のチャンネルに割り当てるステップであって、上記割り当てのために、上記方向性信号のインデックスの上記データセットおよび上記低減された数の残差のアンビエントHOA係数列のインデックスの上記データセットが使用される、上記割り当てるステップと、
-関連するフレームの上記チャンネルを知覚符号化するステップであって、符号化された圧縮されたフレームが得られる、上記知覚符号化するステップと、を含む。
原理的には、本発明の圧縮装置は、所定数の知覚符号化処理を使用して音場のHOAと称する高次アンビソニックス表現をHOA係数列の入力される時間フレームを用いて圧縮するのに適している。
上記装置は、フレーム単位の処理を実行し、
-現在のフレームに対して、支配的な方向のセットおよび対応する検出された方向性信号のインデックスのデータセットを推定するように構成された手段と、
-上記現在のフレームのHOA係数列を分解するように構成された手段であって、非所定数の方向性信号であって、支配的な方向推定値の上記セットに含まれる各々の方向と、上記方向性信号のインデックスの各々のデータセットとを用いた、上記非所定数が上記所定数よりも小さい、上記非所定数の方向性信号と、上記所定数と上記非所定数との差に対応する低減された数のHOA係数列によって表現される残差のアンビエントHOA成分と、対応する上記低減された数の残差のアンビエントHOA係数列のインデックスの対応するデータセットと、に分解するように構成された、上記手段と、
-上記方向性信号および上記残差のアンビエントHOA成分のHOA係数列を上記所定数に対応する数のチャンネルに割り当てるように構成された手段であって、上記割り当てのために、上記方向性信号のインデックスの上記データセットおよび上記低減された数の残差のアンビエントHOA係数列のインデックスの上記データセットが使用される、上記手段と、
-関連するフレームの上記チャンネルを知覚符号化するように構成された手段であって、符号化された圧縮されたフレームが得られる、上記手段と、を含む。
原理的には、本発明の圧縮解除方法は、上述の圧縮方法に従って圧縮された高次アンビソニックス表現を圧縮解除するのに適している。この圧縮解除方法は、
-チャンネルの知覚復号されたフレームを得るために、現在の符号化圧縮されたフレームを復号するステップと、
-検出された方向性信号のインデックスの上記データセットと上記選択されたアンビエントHOA係数列のインデックスの上記データセットを使用して、方向性信号の上記対応するフレームと残差のアンビエントHOA成分の上記対応するフレームとを再形成するために、チャンネルの上記知覚復号されたフレームを再配分するステップと、
-検出された方向性信号のインデックスの上記データセットおよび支配的な方向性推定値の上記セットを使用して、方向性信号の上記フレームと上記残差のアンビエントHOA成分の上記フレームとからHOA表現の現在の圧縮解除されたフレームを再合成するステップと、を含み、
均一に分布した方向に対する方向性信号が上記方向性信号から予測され、その後に、上記現在の圧縮解除されたフレームは、方向性信号の上記フレーム、上記予測された信号、および上記残差のアンビエントHOA成分から再合成される。
原理的には、本発明の圧縮解除装置は、上述の圧縮方法に従って圧縮された高次アンビソニックス表現を圧縮解除するのに適している。この装置は、
-チャンネルの知覚復号されたフレームを得るために、現在の符号化圧縮されたフレームを復号するように構成された手段と、
-検出された方向性信号のインデックスの上記データセットと選択されたアンビエントHOA係数列のインデックスの上記データセットを使用して、方向性信号の上記対応するフレームと上記残差のアンビエントHOA成分の上記対応するフレームとを再形成するために、チャンネルの上記知覚復号されたフレームを再配分するように構成された手段と、
-検出された方向性信号のインデックスの上記データセットおよび支配的な方向性推定値の上記セットを使用して、方向性信号の上記フレームと上記残差のアンビエントHOA成分の上記フレームとから、上記HOA表現の現在の圧縮解除されたフレームを再合成するように構成された手段と、を含み、
均一に分布した方向に対する方向性信号が上記方向性信号から予測され、その後に、上記現在の圧縮解除されたフレームは、方向性信号の上記フレーム、上記予測された信号、および上記残差のアンビエントHOA成分から再合成される。
本発明の追加的な実施形態は、各々の従属請求項に開示されており、有利なものである。
HOA圧縮のブロック図である。 支配的な音源方向の推定のブロック図である。 HOA圧縮解除のブロック図である。 球面座標システムを示す図である。 複数の異なるアンビソニックス次数Nおよび角度θ∈[0,π]に対する正規化された分散関数νN(Θ)を示す図である。
本発明の例示的な実施形態は、添付図面を参照して説明される。
A.改良されたHOA圧縮
本発明に係る圧縮処理は、欧州特許出願第12306569号に基づいており、図1に示されている。ここで、信号処理ブロックは、欧州特許出願第12306569号に対して変更が加えられ、または新たに導入されており、その信号処理ブロックは太字のボックスで示されており、本出願における「
Figure 2023093681000002
」(方向推定値とされたもの)および「C」は、それぞれ、欧州特許出願第12306569号の「A」(方向推定値の行列)および「D」に対応する。
HOA圧縮のために、長さLのHOA係数列の重複しない入力フレームC(k)を用いたフレーム単位の処理が使用される。ここで、kは、フレームのインデックスを表す。フレームは、下記の式(1)に特定されたHOA係数列に関して定義される。
Figure 2023093681000003
ここで、Tは、サンプリング期間を表す。
図1のステップまたはステージ11/12は、任意に行われ、HOA係数列の重複しないk番目のフレームおよび(k-1)番目のフレームを下記の式に従って連結して長いフレーム
Figure 2023093681000004
にすることを含む。
Figure 2023093681000005
この長いフレームは、隣接する長いフレームと50%重複し、長いフレームは、支配的な音源方向の推定に連続的に使用される。
Figure 2023093681000006
の表記と同様に、チルダ記号は、以下の説明において、各々の量が長い重複するフレームを指すことを示すために使用される。ステップ/ステージ11/12が存在しない場合には、チルダ記号は特別な意味を持たない。
原理的には、支配的な音源の推定ステップまたはステージ13は、欧州特許出願第13305156号に提案されているように行われるが、重要な変更を有する。この変更は、検出される方向の数の決定、すなわち、何個の方向性信号がHOA表現から抽出されるとするかに関する。これは、アンビエントHOA成分の良好な近似計算のために、追加的なHOA係数列を使用することよりも方向性信号を抽出することの方が知覚的に関連性が高い場合にのみ、追加的なHOA係数列を使用する代わりに方向性信号を抽出しようとする考えから成し遂げられるものである。A.2の項目でこの技術についての詳細な説明を行う。
支配的な音源の推定により、検出された方向性信号のインデックスのデータセット
Figure 2023093681000007
と、対応する方向推定値のセット
Figure 2023093681000008
とが得られる。Dは、HOA圧縮を開始する前に設定しなければならない方向性信号の最大数を示している。
ステップまたはステージ14において、HOA係数列の現在の(長い)フレーム
Figure 2023093681000009
が、セット
Figure 2023093681000010
内に含まれる方向に属する複数の方向性信号XDIR(k-2)と、残差のアンビエントHOA成分CAMB(k-2)とに分解される(欧州特許出願第13305156号に提案されているように)。滑らかな信号を得るために、重畳加算処理の結果として2つのフレーム分の遅延が導入される。XDIR(k-2)は、合計D個のチャンネルを含むものの、このうち、アクティブな方向性信号に対応するチャンネルのみが零でないと仮定される。このチャンネルを特定するインデックスは、データセット
Figure 2023093681000011
内において出力されるものと仮定される。さらに、ステップ/ステージ14における分解によって、方向性信号から元のHOA表現の部分を予測するために圧縮解除側で使用されるいくつかのパラメータζ(k-2)を供給する(より詳細には欧州特許出願第13305156号参照)。ステップまたはステージ15において、アンビエントHOA成分CAMB(k-2)の係数の数はインテリジェントに低減され、ΟRED+D-NDIR,ACT(k-2)個の非零のHOA係数列のみを含むようになる。ここで、
Figure 2023093681000012
は、データセット
Figure 2023093681000013
の組の数、すなわち、フレームk-2内のアクティブな方向性信号の数を示す。アンビエントHOA成分は、最小の数ΟRED個のHOA係数列によって常に表現されると仮定されるため、この問題は、実際には、想定されるΟ-ΟRED個のHOA係数列から残りのD-NDIR,ACT(k-2)個のHOA係数列を選択することに集約される。滑らかな低減されたアンビエントHOA表現を取得するために、この選択は、前のフレームk-3で行った選択と比較して、変更が可能な限り少なくなるように行われる。
特に、以下の3つの場合を区別すべきである。
a)NDIR,ACT(k-2)=NDIR,ACT(k-3):この場合、フレームk-3の場合と同様に、同一のHOA係数列が選択されるものと想定される。
b)NDIR,ACT(k-2)<NDIR,ACT(k-3):この場合、現在のフレーム内のアンビエントHOA成分を表現するために、この前のフレームk-3よりも多いHOA係数列を使用することができる。k-3において選択済のそのHOA係数列は、現在のフレーム内でも選択されるものと仮定される。異なる基準に従って追加的なHOA係数列を選択可能である。例えば、最高の平均パワーを有するHOA係数列をCAMB(k-2)内で選択するか、あるいは、それぞれの知覚的な重要性に関してHOA係数列を選択する。
c)NDIR,ACT(k-2)>NDIR,ACT(k-3):この場合、現在のフレーム内のアンビエントHOA成分を表現するために、最後のフレームk-3に存在するHOA係数列よりも少ないHOA係数列を使用することができる。ここで解決すべき課題は、既に選択済のHOA係数列のうち、どれを非アクティブ化しなければならないかである。合理的な解決法は、フレームk-3で、信号を割り当てるステップまたはステージ16でチャンネル
Figure 2023093681000014
に割り当てられたHOA係数列を非アクティブ化することである。
追加的なHOA係数列がアクティブ化または非アクティブ化されるときのフレーム境界での不連続を回避するために、各々の信号を平滑的にフェード・インまたはフェード・アウトさせるとよい。
ΟRED+NDIR,ACT(k-2)個の低減された個数の最終的なアンビエントHOA表現は、CAMB,RED(k-2)によって示される。選択されたアンビエント係数列のインデックスは、データセット
Figure 2023093681000015
内に出力される。
ステップ/ステージ16において、XDIR(k-2)に含まれるアクティブな方向性信号およびCAMB,RED(k-2)に含まれるHOA係数列は、個々の知覚符号化のためにI個のチャンネルのフレームY(k-2)に割り当てられる。より詳細に信号の割り当てを記述すると、フレームXDIR(k-2)、Y(k-2)およびCAMD,RED(k-2)は、下記のように、個々の信号xDIR,d(k-2)(d∈{1,… ,D})、yi(k-2)(i∈{1,… ,D})およびcAMB, RED, ο(k-2)(ο=1,… ,Ο)によって構成されるものと仮定される。
Figure 2023093681000016
連続する知覚符号化のために連続した信号を取得するために、それぞれのチャンネルのインデックスを保持するようにアクティブな方向性信号が割り当てられる。これを下記の式のように表すことができる。
Figure 2023093681000017
アンビエント成分のHOA係数列は、最小の数のΟRED個の係数列がY(k-2)の最後のΟRED個の信号に常に含まれるように、すなわち、下記の式に従って割り当てられる。
Figure 2023093681000018
追加的なD-NDIR,ACT(k-2)個のアンビエント成分のHOA係数列については、これらが前のフレームでも選択されていたかどうかを区別すべきである。
a)追加的なD-NDIR,ACT(k-2)個のアンビエント成分のHOA係数列が送信されるものとして前のフレーム内でも選択されていた場合、すなわち、各々のインデックスもまた、データセット
Figure 2023093681000019
に含まれる場合には、これらの係数列のY(k-2)における信号への割り当ては、前のフレームに対する割り当てと同じである。この処理は、滑らかな信号y(k-2)を確保するものであり、ステップまたはステージ17における連続的な知覚符号化にとって好ましいものである。
b)そうではなく、いくつかの係数列が新たに選択されている場合、すなわち、これらのインデックスがデータセット
Figure 2023093681000020
に含まれているが、データセット
Figure 2023093681000021
に含まれていない場合には、これらはまず、インデックスに関して昇順に配列され、この順番で方向性信号によってまだ占められていないY(k-2)のチャンネル
Figure 2023093681000022
に割り当てられる。
この特定の割り当ては、HOA圧縮解除処理の間に信号の再配分および合成が、どのアンビエントHOA係数列がY(k-2)個のどのチャンネルに含まれているかについての情報無しに行えるようになるという利点を提供する。代わりに、データセット
Figure 2023093681000023
および
Figure 2023093681000024
の情報のみで、HOA圧縮解除の間に割り当てを再構築することができる。
この割り当て処理によって、割り当てベクトル
Figure 2023093681000025
ももたらされることが有利である。この要素γο(k)(ο=1,… ,D-NDIR,ACT(k-2))は追加的なD-NDIR,ACT(k-2)個のアンビエント成分のHOA係数列の各々のインデックスを表す。換言すれば、割り当てベクトルγ(k)の要素により、追加的なΟ-ΟRED個のアンビエントHOA成分のHOA係数列のうちのいずれがD-NDIR,ACT(k-2)個の非アクティブな方向性信号のチャンネルに割り当てられるかについての情報が得られる。このベクトルは、HOA圧縮解除のために行われる再配分処理の初期化(項目B参照)を可能にするために、追加的に、フレームレートによる送信よりも低い頻度ではあるが送信されることがある。知覚符号化ステップ/ステージ17は、フレームY(k-2)のI個のチャンネルを符号化し、符号化されたフレーム
Figure 2023093681000026
を出力する。
ステップ/ステージ16でベクトルγ(k)が送信されないフレームについては、圧縮解除側で、データ・パラメータ・セット
Figure 2023093681000027
および
Figure 2023093681000028
がベクトルγ(k)の代わりに再配分を行うために使用される。
A.1 支配的な音源方向の推定
図1の支配的な音源方向に対する推定ステップ/ステージ13が図2により詳細に描かれている。これは、本質的に、欧州特許出願第13305156号に記載された内容に従って行われるが、決定的な違いがある。その決定的な違いは、支配的な音源の数を決定する手法である。支配的な音源の数は、所与のHOA表現から抽出される方向性信号の数に対応する。この数は重要であり、その理由は、より多くの方向性信号を使用すること、あるいはその代わりに、より多くのHOA係数列を使用してアンビエントHOA成分をより良好にモデル化することのいずれかによって、所与のHOA表現がより良好に表現されているかを制御するためにこの数が使用されるからである。
支配的な音源方向の推定は、入力されるHOA係数列の長いフレーム
Figure 2023093681000029
を使用して、支配的な音源方向の予備サーチで、ステップまたはステージ21において開始する。予備的な方向推定値
Figure 2023093681000030
と共に、個々の音源によって形成されるものとされる、予備的な方向推定値に対応する方向性信号
Figure 2023093681000031
およびHOA音場成分
Figure 2023093681000032
を欧州特許出願第13305156号に記載された内容に従って算出する。
ステップまたはステージ22において、予備的な方向推定値、方向性信号、およびHOA音場成分は、抽出される方向性信号の数
Figure 2023093681000033
を決定するために入力されるHOA係数列のフレーム
Figure 2023093681000034
と共に使用される。結果として、
Figure 2023093681000035
の方向性推定値
Figure 2023093681000036
、これと対応する方向性信号
Figure 2023093681000037
、およびHOA音場成分
Figure 2023093681000038
が破棄される。代わりに、
Figure 2023093681000039
の方向推定値
Figure 2023093681000040
のみが、次に、既に見つかっている音源に対して割り当てられる。
ステップまたはステージ23において、結果として得られる方向軌跡は、音源動きモデルに従ってスムージング(滑らかに)され、音源のいずれがアクティブであるとされるかが決定される(欧州特許出願第13305156号参照)。この最後の処理により、アクティブな方向性音源のインデックスのセット
Figure 2023093681000041
とこれに対応する方向推定値のセット
Figure 2023093681000042
とが得られる。
A.2 抽出される方向性信号の数の決定
ステップ/ステージ22において方向性信号の数を決定するために、知覚的に最も関連する音場情報を捕捉するために利用される所与の合計数のI個のチャンネルが存在する状況が想定される。したがって、全体としてのHOA圧縮/圧縮解除品質にとって、より多くの方向性信号を使用すること、あるいは、アンビエントHOA成分のより良好なモデル化のためにより多くのHOA係数列を使用することのいずれかによって、現在のHOA表現がより良好に表現されるかという課題を考慮して、抽出される方向性信号の数が決定される。抽出される方向性音源の数を決定するための基準をステップ/ステージ22において導出するために、どの基準が人間の知覚に関連しているか、HOA圧縮が、特に、以下の2つの処理によって行われることが考慮される。
-アンビエントHOA成分を表現するためのHOA係数列の低減(これは、関連するチャンネルの数の低減を意味する)
-方向性信号およびアンビエントHOA成分を表現するためのHOA係数列の知覚符号化
抽出された方向性信号の数M(0≦M≦D)に依存して、1番目の処理により、下記の式に従って近似計算が行われる。
Figure 2023093681000043
Figure 2023093681000044
ここで、
Figure 2023093681000045
は、M個の個々に考慮される音源によって形成されるとするHOA音場成分
Figure 2023093681000046
A41から構成される方向性成分のHOA表現を示し、
Figure 2023093681000047
は、I-M個の非零HOA係数列のみを用いたアンビエント成分のHOA表現を示している。
2番目の処理からの近似計算を下記の式によって表現することができる。
Figure 2023093681000048
Figure 2023093681000049
ここで、
Figure 2023093681000050
および
Figure 2023093681000051
は、それぞれ、知覚復号処理の後に合成された方向性成分およびアンビエントHOA成分を示している。
基準の形成
抽出される方向性信号の数
Figure 2023093681000052
は、合計近似誤差(ここで
Figure 2023093681000053
である)
Figure 2023093681000054
が人間の知覚の点で可能な限り顕著とならないように選択される。これを確実にするために、個々のバーク尺度臨界帯域に対する合計誤差の方向性パワー分布は、所定の数Q個のテスト方向Ωq (q=1,… ,Q)で考慮される。このテスト方向は、単位球面上でほぼ均一に分布する。より具体的に述べると、b番目の臨界帯域(b=1,… ,B)に対する方向性パワー分布は、下記のベクトルによって表現される。
Figure 2023093681000055
ベクトルの成分
Figure 2023093681000056
は、方向Ωq、b番目のバーク尺度臨界帯域、およびk番目のフレームに関連する合計誤差
Figure 2023093681000057
のパワーを示す。合計誤差
Figure 2023093681000058
の方向性パワー分布
Figure 2023093681000059
は、元のHOA表現
Figure 2023093681000060
による下記の方向性知覚マスキングパワー分布と比較される。
Figure 2023093681000061
次に、各テスト方向Ωqおよび臨界帯域bに対して、合計誤差の知覚レベル
Figure 2023093681000062
が算出される。知覚レベルは、ここで、本質的に、合計誤差
Figure 2023093681000063
の方向性パワーと方向性マスキングパワーとの比率として下記の式に従って定義される。
Figure 2023093681000064
「1」を減算し、連続的な最大値を求める処理が行われ、誤差パワーがマスキング閾値未満である限り確実に知覚レベルが零になるようにする。最終的に、抽出される方向性信号の数
Figure 2023093681000065
は、全ての臨界帯域に亘る誤差知覚レベルの最大値の全てのテスト方向に対する平均値が最小になるように、すなわち、下記の式に従って選択される。
Figure 2023093681000066
なお、代替的には、式(15)において誤差知覚レベルの最大値を平均化処理によって置き換えることができる。
方向性知覚マスキングパワー分布の算出
元のHOA表現
Figure 2023093681000067
による方向性知覚マスキングパワー分布
Figure 2023093681000068
の算出のために、元のHOA表現
Figure 2023093681000069
は、テスト方向Ωq (q=1,… ,Q)から到来する一般的な平面波
Figure 2023093681000070
によって表現されるようにするために、空間領域に変換される。行列
Figure 2023093681000071
内の一般的な平面波信号
Figure 2023093681000072

Figure 2023093681000073
のように配列すると、空間領域への変換は、下記の処理によって表現される。
Figure 2023093681000074
ここで、Ξは、テスト方向Ωq (q=1,… ,Q)に対して以下の式によって定義されるモード行列を示す。
Figure 2023093681000075
ここで、Sq:=
Figure 2023093681000076
元のHOA表現
Figure 2023093681000077
による、方向性知覚マスキングパワー分布
Figure 2023093681000078
の要素
Figure 2023093681000079
は、個々の臨界帯域bに対する一般的な平面波関数
Figure 2023093681000080
のマスキングパワーに対応する。
方向性パワー分布の算出
以下の説明において、方向性パワー分布
Figure 2023093681000081
を算出するための以下の2つの代替策が示される。
a.1つの可能性は、項目A.2の最初に記載されている2つの処理を実行することによって、所望のHOA表現
Figure 2023093681000082
の近似値
Figure 2023093681000083
を実際に算出することである。次に、合計近似誤差
Figure 2023093681000084
が式(11)に従って算出される。次に、合計近似誤差
Figure 2023093681000085
が、テスト方向Ωq (q=1,… ,Q)から到来する一般的な平面波
Figure 2023093681000086
によって表現されるために、空間領域に変換される。一般的な平面波信号を以下のように表される行列
Figure 2023093681000087
内に配置すると、
Figure 2023093681000088
空間領域への変換は、下記の処理によって表現される。
Figure 2023093681000089
合計近似誤差
Figure 2023093681000090
の方向性パワー分布
Figure 2023093681000091
の要素
Figure 2023093681000092
は、個々の臨界帯域b内で一般的な平面波関数
Figure 2023093681000093
のパワーを算出することによって取得される。
b.代替的な解決法は、
Figure 2023093681000094
の代わりに近似値
Figure 2023093681000095
のみを算出することである。この方法には、個々の信号の複雑な知覚符号化を直接行う必要がないという利点がある。この代わりに、個々のバーク尺度臨界帯域内の知覚量子化誤差のパワーを知ることで十分である。この目的のため、式(11)に定義された合計近似誤差を、以下の3つの近似誤差の合計として記述することができる。
Figure 2023093681000096
Figure 2023093681000097
Figure 2023093681000098
この3つの近似誤差は、互いに独立しているものと仮定することができる。この独立性のため、合計誤差
Figure 2023093681000099
の方向性パワー分布は、3つの個々の誤差
Figure 2023093681000100

Figure 2023093681000101
、および
Figure 2023093681000102
の方向性パワー分布の合計として表現することができる。
以下、個々のバーク尺度臨界帯域に対する3つの誤差の方向性パワー分布をどのように算出するかについて記載する。
a.誤差
Figure 2023093681000103
の方向性パワー分布を算出するために、まず、下記の式によって、空間領域への変換が行われる。
Figure 2023093681000104
ここで、近似誤差
Figure 2023093681000105
は、したがって、テスト方向Ωq (q=1,… ,Q)から到来する一般的な平面波
Figure 2023093681000106
によって表現され、これは、下記の式に従って、行列
Figure 2023093681000107
内に配列される。
Figure 2023093681000108
結果として、近似誤差
Figure 2023093681000109
の方向性パワー分布
Figure 2023093681000110
の要素
Figure 2023093681000111
は、個々の臨界帯域b内で、一般的な平面波関数
Figure 2023093681000112
のパワーを算出することによって取得される。
b.誤差
Figure 2023093681000113
の方向性パワー分布
Figure 2023093681000114
を算出するために、方向性信号
Figure 2023093681000115
を知覚符号化することによって、この誤差が方向性HOA成分
Figure 2023093681000116
に導入されることに留意すべきである。さらに、方向性HOA成分が式(8)によって与えられることを考慮すべきである。そして、簡略化のために、HOA成分
Figure 2023093681000117
が、空間領域内で、Ο個の一般的な平面波関数
Figure 2023093681000118
によって、等価的に表現されるものと仮定する。これは、単なるスケーリングによって、すなわち、下記の式に従って方向性信号
Figure 2023093681000119
から形成される。
Figure 2023093681000120
ここで、
Figure 2023093681000121
は、スケーリング・パラメータを示している。各々の平面波方向
Figure 2023093681000122
は、単位球面上で均一に分布し、
Figure 2023093681000123
が方向推定値
Figure 2023093681000124
と対応するように、回転されるものと仮定される。したがって、スケーリング・パラメータ
Figure 2023093681000125
は「1」である。
回転された方向
Figure 2023093681000126
に対して
Figure 2023093681000127
をモード行列として定義し、
Figure 2023093681000128
に従ってベクトル内の全てのスケーリング・パラメータ
Figure 2023093681000129
を配列すると、HOA成分
Figure 2023093681000130
を下記の式のように記述することができる。
Figure 2023093681000131
結果として、真の方向性HOA成分
Figure 2023093681000132
と、
Figure 2023093681000133
Figure 2023093681000134
によって知覚復号された方向性信号
Figure 2023093681000135
(d=1,… ,M)が合成されたものとの間の誤差
Figure 2023093681000136
(式(23)参照)は、下記の式で表される知覚符号化誤差
Figure 2023093681000137
の点で個々の方向性信号において下記の式によって表現することができる。
Figure 2023093681000138
テスト方向Ωq (q=1,… ,Q)に対して、空間領域内の誤差
Figure 2023093681000139
の表現は、下記の式によって与えられる。
Figure 2023093681000140
ベクトルの要素β(d)(k)を
Figure 2023093681000141
と表し、個々の知覚符号化誤差
Figure 2023093681000142
が互いに独立しているものと仮定することにより、式(35)から、知覚符号化誤差
Figure 2023093681000143
の方向性パワー分布
Figure 2023093681000144
の要素
Figure 2023093681000145
は、下記の式によって算出することができる。
Figure 2023093681000146
Figure 2023093681000147
は、方向性信号
Figure 2023093681000148
におけるb番目の臨界帯域内の知覚量子化誤差のパワーを表現するように想定されている。このパワーは、方向性信号
Figure 2023093681000149
の知覚マスキングパワーに対応するものとすることができる。
c.アンビエントHOA成分のHOA係数列の知覚符号化の結果として得られる誤差
Figure 2023093681000150
の方向性パワー分布
Figure 2023093681000151
を算出するために、各HOA係数列が独立して符号化されるものとする。したがって、各バーク尺度臨界帯域内の個々のHOA係数列内に導入される誤差は、相関性がないとすることができる。これは、誤差
Figure 2023093681000152
の係数間相関行列は、各バーク尺度臨界帯域に対して対角である、すなわち、下記の式で表される。
Figure 2023093681000153
要素
Figure 2023093681000154
は、
Figure 2023093681000155
内のo番目の符号化されたHOA係数列におけるb番目の臨界帯域内の知覚量子化誤差のパワーを表現するものとする。これは、o番目のHOA係数列
Figure 2023093681000156
の知覚マスキングパワーに対応するものと仮定することができる。したがって、知覚符号化誤差
Figure 2023093681000157
の方向性パワー分布は、下記の式によって算出される。
Figure 2023093681000158
B.改良されたHOA圧縮解除
対応するHOA圧縮解除処理が図3に示されており、このHOA圧縮解除処理は、以下のステップまたはステージを含む。
ステップまたはステージ31において、
Figure 2023093681000159
内の復号された信号を取得するために、
Figure 2023093681000160
内に含まれるI個の信号の知覚復号処理が行われる。
信号再配分ステージまたはステージ32において、
Figure 2023093681000161
内の知覚復号された信号は、方向性信号のフレーム
Figure 2023093681000162
およびアンビエントHOA成分のフレーム
Figure 2023093681000163
を再形成するために再配分される。インデックスのデータセット
Figure 2023093681000164
および
Figure 2023093681000165
を使用して、HOA圧縮に対して行われる割り当て処理を再現することによって、どのように信号を再配分するかについての情報が取得される。これは、再帰的な処理であるため(項目A参照)、例えば、送信に不具合が発生しているような場合に再配分処理を初期化できるようにするために、追加的に送信される割り当てベクトルγ(k)を使用することができる。
合成ステップまたはステージ33において、(欧州特許出願第12306569号の図2bおよび図4に関連して記載されている処理に従って、)方向性信号のフレーム
Figure 2023093681000166
、対応する方向のセット
Figure 2023093681000167
と共にアクティブな方向性信号のインデックスのセット
Figure 2023093681000168
、方向性信号からのHOA表現の部分を予測するためのパラメータζ(k-2)、および低減されたアンビエントHOA成分のHOA係数列のフレーム
Figure 2023093681000169
を使用して、所望の合計HOA表現の現在のフレーム
Figure 2023093681000170
が再合成される。
Figure 2023093681000171
は、欧州特許出願第12306569号における
Figure 2023093681000172
に対応し、
Figure 2023093681000173
および
Figure 2023093681000174
は、欧州特許出願第12306569号における
Figure 2023093681000175
に対応する。ここでアクティブな方向性信号のインデックスは、
Figure 2023093681000176
の行列要素においてマーク付けされる。すなわち、均一に分布する方向に対する方向性信号は、予測のための受信済のパラメータ(ζ(k-2))を使用して方向性信号
Figure 2023093681000177
から予測される。その後、現在の圧縮解除されたフレーム
Figure 2023093681000178
が、方向性信号
Figure 2023093681000179
のフレーム、予測された部分および低減されたアンビエントHOA成分
Figure 2023093681000180
から再合成される。
C. 高次アンビソニックスの基礎
高次アンビソニックス(HOA)は注目されるコンパクトな領域内の音場の記述に基づいており、音源が存在しないものと仮定される。その場合、注目領域内の時間tおよび位置xでの音圧p(t,x)の空間時間的な挙動は、均質媒質の波動方程式によって物理的に完全に求められる。以下の内容は、図4に示された球面座標システムに基づいている。使用されている座標システムにおいて、x軸は前方の位置を指し、y軸は左側を指し、z軸は上方を指す。空間内の位置x=(r,θ,φ)は、半径r>0(すなわち、座標原点への距離)、極軸zから測定される傾斜角θ∈[0,π]、さらに、x軸からの、x-y平面内で反時計周りに測定される、方位角φ∈[0,2π]によって表される。さらに、(・)は、転置を表す。
(・)によって表される時間に対する音圧のフーリエ変換、すなわち、
Figure 2023093681000181
は下記の式に従った一連の球面調和関数に拡張される(E.G. Williams著“Fourier Acoustics(フーリエ・アコースティックス))”、応用数理科学、第93巻、アカデミックプレス社、1999年参照)。ここで、ωは角周波数を表し、iは虚数単位を表す。
Figure 2023093681000182
式(40)において、cは音速を示し、kは角波数を示し、この角波数kはk=w/cによって角周波数ωに関連している。さらに、j(・)は、第1種球ベッセル関数を表しており、
Figure 2023093681000183
は、C.1の項目で定義されている次数nおよび位数mの実数値の球面調和関数を示している。展開係数
Figure 2023093681000184
は、角波数kのみに依存する。上述した内容において、音圧は、空間的に帯域制限されているものと暗黙的に仮定されている。したがって、球面調和関数の級数が次数インデックスnに対して上限Nで打ち切られ、これは、HOA表現の次数と呼ばれる。
音場が相異なる角周波数ωの調和平面波の無限個の重ね合わせによって表現され、角の組(θ,φ)によって特定される全ての想定可能な方向から到来する場合には、各々の平面波複素振幅関数C(ω,θ,φ)は、下記の球面調和展開によって表すことができることが分かる(B. Rafaely著、“Plane-wave Decomposition of the Sound Field on a Sphere by Spherical Convolution(球面畳み込みによる球面上の音場の平面波分解)”、米国音響学会誌4(116)、2149-2157頁、2004年参照)。
Figure 2023093681000185
ここで、展開係数
Figure 2023093681000186
は、展開係数
Figure 2023093681000187
と下記の式によって関連する。
Figure 2023093681000188
個々の係数
Figure 2023093681000189
が角周波数ωの関数であると仮定すると、逆フーリエ変換(
Figure 2023093681000190
)によって示される)を適用することにより、下記の時間領域関数をもたらす。
Figure 2023093681000191
これは、各次数nおよび位数mに対して、下記の単一のベクトルc(t)にまとめられる。
Figure 2023093681000192
ベクトルc(t)内の時間領域関数
Figure 2023093681000193
の位置インデックスは、n(n+1)+1+mによって与えられる。ベクトルc(t)内の要素の総計は、Ο=(N+1)によって与えられる。
最終的なアンビソニックス形式は、サンプリング周波数fを使用して、下記のc(t)のサンプリングされたバージョンをもたらす。
Figure 2023093681000194
ここで、T=1/fは、サンプリング期間を示す。c(lT)の要素は、アンビソニックス係数として参照される。時間領域信号
Figure 2023093681000195
は実数値であり、したがって、アンビソニックス係数は実数値である。
C.1 実数値の球面調和関数の定義
実数値の球面調和関数
Figure 2023093681000196
は、下記の式によって与えられる。
Figure 2023093681000197
ここで
Figure 2023093681000198
関連するルジャンドル関数Pn,m(x)は、下記の式で定義される。
Figure 2023093681000199
ここで、ルジャンドル多項式P(x)を用い、上述した、E.G.Williams著の文献の場合とは異なり、コンドン-ショートレーの位相項(-1)を用いない。
C.2 高次アンビソニックスの空間解像度
方向Ω=(θ,φから到来する一般的な平面波関数x(t)は、下記の式によってHOAにおいて表現される。
Figure 2023093681000200
平面波振幅の対応する空間密度
Figure 2023093681000201
は、下記の式によって与えられる。
Figure 2023093681000202
Figure 2023093681000203
式(51)から理解されるように、これは、一般的な平面波関数x(t)と空間分散関数ν(Θ)との積であり、空間分散関数ν(Θ)は、下記の式の特性を有するΩとΩとの間の角度Θのみに依存するように示されている。
Figure 2023093681000204
想定のとおり、無限次元の極限、つまり、N→∞である場合において、空間分散関数は
ディラックのデルタ関数δ(・)、すなわち、下記のように変化する。
Figure 2023093681000205
しかしながら、有限次元Nの場合には、方向Ωからの一般的な平面波の寄与は、近隣の方向ににじみ、このにじみの度合いは次数の増加に伴い減少する。Nの複数の異なる値に対する正規化された関数ν(Θ)のプロットが図5に示されている。
任意の方向Ωでの平面波振幅の空間密度の時間領域の挙動は、他の任意の方向での平面波振幅の空間密度の時間領域の挙動の倍数となることが指摘される。特に、時間tに対して、何らかの所定方向ΩおよびΩについての関数c(t,Ω)およびc(t,Ω)は、高い相関性がある。
C.3 球面調和関数変換
平面波振幅の空間密度がΟ個の空間方向Ω(1≦ο≦Ο)で離散化される場合、空間方向Ωは単位球面上でほぼ均一に分布するのだが、Ο個の方向性信号c(t,Ω)が取得される。これらの信号をベクトルにまとめると、下記の式で表され、
Figure 2023093681000206
式(50)を使用してこのベクトルを、下記のような単純な行列乗算によって式(44)に定義される連続的なアンビソニックス表現c(t)から計算可能であることを検証できる。
SPAT(t)=Ψc(t) (55)
ここで、(・)は、複素共役転置を示し、Ψは、下記の式によって定義されるモード行列を表す。
Figure 2023093681000207
ここで、
Figure 2023093681000208
方向Ωは単位球面上にほぼ均一に分布しているため、一般的には、モード行列は、可逆である。したがって、連続的なアンビソニックス表現は、方向性信号c(t,Ω)から下記の式によって計算することができる。
Figure 2023093681000209
双方の式は、アンビソニックス表現と空間領域との間の変換および逆変換を構成する。本願において、これらの変換は、球面調和関数変換および逆球面調和関数変換と呼ばれる。
なお、方向Ωは単位球面上でほぼ均一に分布するため、近似計算
Figure 2023093681000210
が利用可能となり、式(55)において、Ψの代わりにΨ-1を使用することが正当化される。
上述した関係の全てが離散時間領域にも有効であることは有利である。
本発明の処理を単一のプロセッサまたは電子回路、または、並列に動作する複数のプロセッサまたは電子回路、および/または、本発明の処理の複数の異なる部分に対して動作する、複数のプロセッサまたは電子回路で実行することができる。

Claims (4)

  1. 圧縮された高次アンビソニックス(HOA)表現を圧縮解除する方法であって、
    チャンネルの知覚復号されたフレームを提供するために、現在の符号化圧縮されたフレームを知覚的に復号することと、
    アンビエントHOA成分の追加的な係数列の少なくともインデックスを示す割り当てベクトルに基づいてチャンネルの前記知覚復号されたフレームを再配分して、残差アンビエントHOA成分の対応するフレーム及び方向性信号の対応するフレームを再形成することと、
    検出された方向性信号のインデックスのデータセット及び支配的な方向性推定値のセットに基づいて、前記方向性信号の再形成されたフレーム及び前記残差アンビエントHOA成分の再形成されたフレームから、前記圧縮されたHOA表現の現在の圧縮解除されたフレームを再合成することと、を含み、
    前記現在の圧縮解除されたフレームを再合成することは、均一に分布した方向に対して前記方向性信号から予測される予測信号に更に基づく、
    方法。
  2. 高次アンビソニックス(HOA)表現を圧縮解除する装置であって、
    プロセッサを有し、該プロセッサは、
    チャンネルの知覚復号されたフレームを提供するために、現在の符号化圧縮されたフレームを知覚的に復号し、
    アンビエントHOA成分の追加的な係数列の少なくともインデックスを示す割り当てベクトルに基づいてチャンネルの前記知覚復号されたフレームを再配分して、残差アンビエントHOA成分の対応するフレーム及び方向性信号の対応するフレームを再形成し、
    検出された方向性信号のインデックスのデータセット及び支配的な方向性推定値のセットに基づいて、前記方向性信号の再形成されたフレーム及び前記残差アンビエントHOA成分の再形成されたフレームから、前記HOA表現の現在の圧縮解除されたフレームを再合成する
    よう構成され、
    前記現在の圧縮解除されたフレームを再合成することは、均一に分布した方向に対して前記方向性信号から予測される予測信号に更に基づく、
    装置。
  3. プロセッサによって実行される場合に、該プロセッサに、請求項1に記載の方法を実行させるプログラム。
  4. 請求項3に記載のプログラムを記憶している非一時的なコンピュータ可読記憶媒体。
JP2023071244A 2013-04-29 2023-04-25 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 Pending JP2023093681A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13305558.2A EP2800401A1 (en) 2013-04-29 2013-04-29 Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
EP13305558.2 2013-04-29
JP2022017626A JP7270788B2 (ja) 2013-04-29 2022-02-08 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022017626A Division JP7270788B2 (ja) 2013-04-29 2022-02-08 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置

Publications (1)

Publication Number Publication Date
JP2023093681A true JP2023093681A (ja) 2023-07-04

Family

ID=48607176

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2016509473A Active JP6395811B2 (ja) 2013-04-29 2014-04-24 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2018158976A Active JP6606241B2 (ja) 2013-04-29 2018-08-28 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2019190235A Active JP6818838B2 (ja) 2013-04-29 2019-10-17 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2020218142A Active JP7023342B2 (ja) 2013-04-29 2020-12-28 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2022017626A Active JP7270788B2 (ja) 2013-04-29 2022-02-08 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2023071244A Pending JP2023093681A (ja) 2013-04-29 2023-04-25 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2016509473A Active JP6395811B2 (ja) 2013-04-29 2014-04-24 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2018158976A Active JP6606241B2 (ja) 2013-04-29 2018-08-28 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2019190235A Active JP6818838B2 (ja) 2013-04-29 2019-10-17 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2020218142A Active JP7023342B2 (ja) 2013-04-29 2020-12-28 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP2022017626A Active JP7270788B2 (ja) 2013-04-29 2022-02-08 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置

Country Status (10)

Country Link
US (8) US9736607B2 (ja)
EP (5) EP2800401A1 (ja)
JP (6) JP6395811B2 (ja)
KR (4) KR102440104B1 (ja)
CN (5) CN105144752B (ja)
CA (8) CA3168921A1 (ja)
MX (5) MX347283B (ja)
MY (2) MY176454A (ja)
RU (1) RU2668060C2 (ja)
WO (1) WO2014177455A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
US9412385B2 (en) * 2013-05-28 2016-08-09 Qualcomm Incorporated Performing spatial masking with respect to spherical harmonic coefficients
US20140355769A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
EP2824661A1 (en) 2013-07-11 2015-01-14 Thomson Licensing Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals
US9922656B2 (en) * 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
EP2922057A1 (en) 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
CN111179950B (zh) 2014-03-21 2022-02-15 杜比国际公司 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN109410961B (zh) 2014-03-21 2023-08-25 杜比国际公司 用于对压缩的hoa信号进行解码的方法、装置和存储介质
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
JP6641303B2 (ja) 2014-06-27 2020-02-05 ドルビー・インターナショナル・アーベー 非差分的な利得値を表現するのに必要とされる最低整数ビット数をhoaデータ・フレーム表現の圧縮のために決定する装置
CN106471822B (zh) 2014-06-27 2019-10-25 杜比国际公司 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的设备
CN112216291A (zh) 2014-06-27 2021-01-12 杜比国际公司 声音或声场的压缩hoa声音表示的解码方法和装置
EP2960903A1 (en) 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values
EP2963949A1 (en) 2014-07-02 2016-01-06 Thomson Licensing Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation
EP2963948A1 (en) 2014-07-02 2016-01-06 Thomson Licensing Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation
WO2016001357A1 (en) 2014-07-02 2016-01-07 Thomson Licensing Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation
KR102363275B1 (ko) 2014-07-02 2022-02-16 돌비 인터네셔널 에이비 Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
WO2016001355A1 (en) 2014-07-02 2016-01-07 Thomson Licensing Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation
US9536531B2 (en) 2014-08-01 2017-01-03 Qualcomm Incorporated Editing of higher-order ambisonic audio data
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
EP3007167A1 (en) 2014-10-10 2016-04-13 Thomson Licensing Method and apparatus for low bit rate compression of a Higher Order Ambisonics HOA signal representation of a sound field
EP3329486B1 (en) 2015-07-30 2020-07-29 Dolby International AB Method and apparatus for generating from an hoa signal representation a mezzanine hoa signal representation
CN107925837B (zh) * 2015-08-31 2020-09-22 杜比国际公司 对压缩hoa信号逐帧组合解码和渲染的方法以及对压缩hoa信号逐帧组合解码和渲染的装置
US9881628B2 (en) * 2016-01-05 2018-01-30 Qualcomm Incorporated Mixed domain coding of audio
JP6674021B2 (ja) * 2016-03-15 2020-04-01 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 音場記述を生成する装置、方法、及びコンピュータプログラム
US10332530B2 (en) * 2017-01-27 2019-06-25 Google Llc Coding of a soundfield representation
US10777209B1 (en) * 2017-05-01 2020-09-15 Panasonic Intellectual Property Corporation Of America Coding apparatus and coding method
WO2020008112A1 (en) * 2018-07-03 2020-01-09 Nokia Technologies Oy Energy-ratio signalling and synthesis
CN110113119A (zh) * 2019-04-26 2019-08-09 国家无线电监测中心 一种基于人工智能算法的无线信道建模方法
CN114582357A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种音频编解码方法和装置
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
CN115938388A (zh) * 2021-05-31 2023-04-07 华为技术有限公司 一种三维音频信号的处理方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757927A (en) * 1992-03-02 1998-05-26 Trifield Productions Ltd. Surround sound apparatus
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP3700254B2 (ja) * 1996-05-31 2005-09-28 日本ビクター株式会社 映像音声再生装置
AUPP272598A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Wavelet conversion of 3-d audio signals
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
EP2261892B1 (en) * 2001-04-13 2020-09-16 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
AUPR647501A0 (en) * 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
WO2003091989A1 (en) * 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
US7081883B2 (en) * 2002-05-14 2006-07-25 Michael Changcheng Chen Low-profile multi-channel input device
CN1677490A (zh) 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
CN101401152B (zh) * 2006-03-15 2012-04-18 法国电信公司 通过多通道音频信号的主分量分析进行编码的设备和方法
EP1841284A1 (en) * 2006-03-29 2007-10-03 Phonak AG Hearing instrument for storing encoded audio data, method of operating and manufacturing thereof
EP2094032A1 (en) * 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
EP2205007B1 (en) * 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
US8805694B2 (en) * 2009-02-16 2014-08-12 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding audio signal using adaptive sinusoidal coding
KR20240009530A (ko) * 2010-03-26 2024-01-22 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
CN102903366A (zh) * 2012-09-18 2013-01-30 重庆大学 一种基于g729语音压缩编码算法的dsp优化方法
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
EP2765791A1 (en) 2013-02-08 2014-08-13 Thomson Licensing Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field

Also Published As

Publication number Publication date
CA2907595A1 (en) 2014-11-06
EP2800401A1 (en) 2014-11-05
US20200304931A1 (en) 2020-09-24
EP3232687A1 (en) 2017-10-18
CN107180639B (zh) 2021-01-05
EP2992689B1 (en) 2017-05-10
RU2015150988A (ru) 2017-06-07
CN107146627B (zh) 2020-10-30
CA3110057C (en) 2023-04-04
US20170318406A1 (en) 2017-11-02
US20160088415A1 (en) 2016-03-24
KR102232486B1 (ko) 2021-03-29
US20220225044A1 (en) 2022-07-14
CN105144752B (zh) 2017-08-08
RU2018133016A (ru) 2018-10-02
MX2022012186A (es) 2022-10-27
JP2021060614A (ja) 2021-04-15
JP2022058929A (ja) 2022-04-12
US10999688B2 (en) 2021-05-04
EP3926984A1 (en) 2021-12-22
JP6606241B2 (ja) 2019-11-13
KR20160002846A (ko) 2016-01-08
MX347283B (es) 2017-04-21
CN107146626B (zh) 2020-09-08
JP6818838B2 (ja) 2021-01-20
US20180146315A1 (en) 2018-05-24
RU2018133016A3 (ja) 2022-02-16
US20190297443A1 (en) 2019-09-26
JP6395811B2 (ja) 2018-09-26
JP2020024445A (ja) 2020-02-13
RU2668060C2 (ru) 2018-09-25
MX2022012179A (es) 2022-10-27
CN107146626A (zh) 2017-09-08
CA3168921A1 (en) 2014-11-06
CA3168916A1 (en) 2014-11-06
US9913063B2 (en) 2018-03-06
KR20220039846A (ko) 2022-03-29
CA3190346A1 (en) 2014-11-06
KR102377798B1 (ko) 2022-03-23
CA3168906A1 (en) 2014-11-06
US20220217489A1 (en) 2022-07-07
WO2014177455A1 (en) 2014-11-06
EP3598779B1 (en) 2021-08-18
CA3190353A1 (en) 2014-11-06
MX2020002786A (es) 2020-07-22
US11895477B2 (en) 2024-02-06
JP2016520864A (ja) 2016-07-14
CN105144752A (zh) 2015-12-09
KR102440104B1 (ko) 2022-09-05
US11758344B2 (en) 2023-09-12
JP2019008309A (ja) 2019-01-17
MY195690A (en) 2023-02-03
KR20210034685A (ko) 2021-03-30
US10264382B2 (en) 2019-04-16
CN107293304A (zh) 2017-10-24
CN107180639A (zh) 2017-09-19
JP7023342B2 (ja) 2022-02-21
EP3232687B1 (en) 2019-08-14
US10623878B2 (en) 2020-04-14
JP7270788B2 (ja) 2023-05-10
CA3110057A1 (en) 2014-11-06
MX2022012180A (es) 2022-10-27
CN107293304B (zh) 2021-01-05
MX2015015016A (es) 2016-03-09
US9736607B2 (en) 2017-08-15
EP3598779A1 (en) 2020-01-22
US20210337334A1 (en) 2021-10-28
EP2992689A1 (en) 2016-03-09
US11284210B2 (en) 2022-03-22
CA3168901A1 (en) 2014-11-06
MY176454A (en) 2020-08-10
KR20220124297A (ko) 2022-09-13
CA2907595C (en) 2021-04-13
CN107146627A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
JP7270788B2 (ja) 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP7100172B2 (ja) 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
RU2776307C2 (ru) Способ и устройство для сжатия и распаковки представления на основе амбиофонии высшего порядка

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240508