JP2017523452A - Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 - Google Patents
Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 Download PDFInfo
- Publication number
- JP2017523452A JP2017523452A JP2016573840A JP2016573840A JP2017523452A JP 2017523452 A JP2017523452 A JP 2017523452A JP 2016573840 A JP2016573840 A JP 2016573840A JP 2016573840 A JP2016573840 A JP 2016573840A JP 2017523452 A JP2017523452 A JP 2017523452A
- Authority
- JP
- Japan
- Prior art keywords
- subband
- active
- hoa
- index
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000000354 decomposition reaction Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012856 packing Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 63
- NTABMUJQZABQGD-UHFFFAOYSA-N dimethylindole red Chemical compound CC1(C)C2=CC=CC=C2N(C)\C1=C\C=C\C1=CC=[N+](CCCS([O-])(=O)=O)C2=CC=CC=C12 NTABMUJQZABQGD-UHFFFAOYSA-N 0.000 description 36
- 230000015572 biosynthetic process Effects 0.000 description 24
- 238000003786 synthesis reaction Methods 0.000 description 24
- 108091006146 Channels Proteins 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 230000006837 decompression Effects 0.000 description 12
- 239000000203 mixture Substances 0.000 description 10
- 230000036961 partial effect Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001306293 Ophrys insectifera Species 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
Abstract
Description
提案される低ビットレートHOA圧縮のために、低ビットレートHOA圧縮器は空間的HOAエンコード部と、知覚的および源エンコード部とに細分されることができる。空間的HOAエンコード部の例示的なアーキテクチャが図1に示されており、知覚的および源エンコード部の例示的なアーキテクチャが図3に示されている。空間的HOAエンコーダ10は、I個の信号を含む第一の圧縮されたHOA表現を、そのHOA表現をどのように生成するかを記述するサイド情報とともに提供する。知覚的およびサイド情報源符号化器30では、これらI個の信号が知覚的符号化器31において知覚的にエンコードされ、サイド情報はサイド情報源符号化器32における源エンコード(たとえばエントロピー符号化)にかけられる。サイド情報源符号化器32は、符号化されたサイド情報
図1に示される空間的HOAエンコーダは、フレームごとの処理を実行する。フレームはO個の時間連続的なHOA係数シーケンスの諸部分として定義される。たとえば、エンコードされるべき入力HOA表現のk番目のフレームC(k)は、時間連続的なHOA係数シーケンスのベクトルc(t)(式(46)参照)に関して次のように定義される。
図1に示されるように、打ち切りされたHOA表現の計算における第一段階は、もとのHOAフレームC(k)から、打ち切りされたバージョンCT(k)を計算する(11)ことを含む。このコンテキストにおける打ち切りとは、入力HOA表現のO個の係数シーケンスのうちI個の特定の係数シーケンスを選択し、他のすべての係数シーケンスを0に設定することを意味する。係数シーケンスの選択のためのさまざまな解決策が、非特許文献4、5、6から知られている。たとえば、最大のパワーまたは人間の知覚に関して最高の有意性をもつものの選択である。選択された係数シーケンスは、打ち切りされたHOAバージョンを表わす。選択された係数シーケンスのインデックスを含むデータ・セットIC,ACT(k)が生成される。次いで、のちにさらに述べるように、打ち切りされたHOAバージョンCT(k)は部分的に脱相関され(12)、部分的に脱相関された打ち切りされたHOAバージョンCI(k)はチャネル割り当て13を受ける。ここで、選ばれた係数シーケンスが、利用可能なI個のトランスポート・チャネルに割り当てられる。のちにさらに述べるように、これらの係数シーケンスは、次いで知覚的にエンコードされ(30)、最終的に、圧縮された表現の一部になる。チャネル割り当て後に知覚的エンコードのためのなめらかな信号を得るために、k番目のフレームでは選択されているがk+1番目のフレームでは選択されていない係数シーケンスが判別される。あるフレームでは選択されるが次のフレームでは選択されなくなる係数シーケンスは、フェードアウトされる。それらのインデックスは、データ・セットIC,ACT(k)の部分集合であるデータ・セットIC,ACT,OUT(k)に含まれる。同様に、k番目のフレームでは選択されるがk−1番目ののフレームでは選択されていなかった係数シーケンスは、フェードインされる。それらのインデックスは、やはりデータ・セットIC,ACT(k)の部分集合であるデータ・セットIC,ACT,IN(k)に含まれる。フェードのためには、窓関数wOA(l)、l=1,…,2L(のちに式(39)で導入されるようなもの)が使われてもよい。
第二段階では、その後の知覚的エンコードの効率を高めるとともに、レンダリングにおける選択されたHOA係数シーケンスの行列処理後に生じる符号化ノイズ・マスキング解除を避けるために、選択されたHOA係数シーケンスの部分的脱相関12が実行される。例示的な部分的脱相関12は、最初のOMIN個の選択されたHOA係数シーケンスに空間的変換を適用することによって達成される。これは、OMIN個の仮想スピーカー信号へのレンダリングを意味する。それぞれの仮想スピーカー位置は、図6に示される球面座標系によって表わされる。ここで、各位置は単位球上にある、すなわち動径1をもつと想定される。よって、これらの位置は等価に方向Ωj=(θj,φj)によって表わされることができる。ここで、1≦j≦OMINであり、θjおよびφjはそれぞれ傾斜角および方位角を表わす(球面座標系の定義については下記参照)。これらの方向は、単位球上にできるだけ一様に分散されるべきである(個別的な方法の計算についてはたとえば非特許文献2を参照)。HOAは一般にNMINに依存して方向を定義するので、本稿でΩjが書かれているところでは実際にはΩj (NMIN)が意図されることを注意しておく。
中間表現CI(k)のフレームを計算したのち、その個々の信号cI,n(k)(ここでn∈IC,ACT(k))は、利用可能なI個のチャネルに割り当てられて(13)、知覚的エンコードのためのトランスポート信号yi(k)、i=1,…,Iを与える。割り当て13の一つの目的は、相続くフレームの間で選択が変化する場合に起こりうる、知覚的にエンコードされるべき信号の不連続を避けることである。割り当ては、
トランスポート信号yi(k)のそれぞれは、利得制御ユニット14によって最終的に処理される。ここで、信号利得は、知覚的エンコーダに好適な値範囲を達成するためになめらかに修正される。利得修正は、相続くブロックの間での深刻な利得変化を避けるために、一種の先読みを必要とし、よって一フレームの遅延を導入する。各トランスポート信号yi(k)について、利得制御ユニット14は、遅延されたフレームyi(k−1)、i=1,…,Iを受領または生成する。利得制御後の修正された信号フレームは、zi(k−1)、i=1,…,Iと表わされる。さらに、何らかの修正がなされた場合に空間的デコーダにおいて反転できるために、利得制御サイド情報が提供される。利得制御サイド情報は、指数ei(k−1)および例外フラグβi(k−1)、i=1,…,Iを含む。利得制御のより詳細な説明については、たとえば非特許文献9、C.5.2.5節または非特許文献3を参照されたい。このように、打ち切りされたHOAバージョン19は、利得制御された信号フレームzi(k−1)および利得制御サイド情報ei(k−1)、βi(k−1)、i=1,…,Iを含む。
上述したように、近似されたHOA表現は二つの部分から構成される。すなわち、打ち切りされたHOAバージョン19と、打ち切りされたHOA表現の係数シーケンスから予測される、対応する方向をもつ方向性のサブバンド信号によって表わされる成分とである。よって、第二の部分のパラメトリック表現を計算するために、もとのHOA表現の個々の係数シーケンスの各フレームcn(k)、n=1,…,Oがまず個々のサブバンド信号
方向推定処理ブロック16は、入力HOA表現を解析し、各周波数サブバンドfj、j=1,…,Fについて、音場に主要な寄与を加えるサブバンド一般平面波関数の方向の集合MDIR(k,fj)を計算する。このコンテキストにおいて、「主要な寄与」という用語は、信号パワーが他の方向から入射するサブバンド一般平面波の信号パワーより高いことを指しうる。また、人間の知覚に関して高い有意性を指すこともある。サブバンド・グループ化が使われる場合には、MDIR(k,fj)の計算のために、単一のサブバンドの代わりに、サブバンド・グループが使われることができることを注意しておく。
(10ビット/方向)・(4方向/帯域)・(10帯域/フレーム)・(50フレーム/秒)=20kbit/s
となる。たとえ毎秒25フレームのフレーム・レートを想定するとしても、結果として得られるデータ・レート10kbit/sはかなり高い。
MDIR(k)={ΩCAND,1(k),…,ΩCAND,D(k)(k)} (13)
となる。
図1に戻ると、分解フィルタバンク15によって提供されるサブバンドHOA表現フレーム
上述したように、近似的なHOA表現は、アクティブな方向性サブバンド信号によって部分的に表現される。だが、これは従来は符号化されないものである。従来と違って、現在記載される実施形態では、符号化された表現の伝送のための全データ・レートを低く保つために、パラメトリック表現が使われる。パラメトリック表現では、それぞれのアクティブな方向性サブバンド信号
上記の空間的HOA符号化後、k−1番目のフレームについての結果として得られる利得適応されたトランスポート信号zi(k−1)、i=1,…,Iは符号化されて、それらの符号化された表現
個々のサブバンド方向の符号化のために、上記に基づく非有意性削減を活用して、選ばれるべき個々のサブバンド方向を制約することができる。前述したように、これら個々のサブバンド方向は、あらゆる可能な試験方向ΩTEST,q、q=1,…,Qから選ばれるのではなく、フルバンドHOA表現の各フレームについて決定される少数の候補から選ばれる。例示的に、サブバンド方向の源符号化のための可能な仕方は、下記のアルゴリズム1においてまとめられる。
予測係数行列の符号化のためには、方向軌跡、よって方向性サブバンド信号のなめらかさのために相続くフレームの予測係数の間には高い相関があるという事実を活用できる。さらに、各予測係数行列A(k,fj)についてフレーム毎に(DSB(k,fj)・MC,ACT(k−1))個の潜在的な0でない要素の比較的多くの数がある。ここで、MC,ACT(k−1)は集合IC,ACT(k−1)内の要素数を表わす。サブバンド・グループが使われなければ、全部で、フレーム当たり符号化されるべきF個の行列がある。サブバンド・グループが使われる場合には、フレーム当たりに符号化されるべき行列は相応してF個より少なくなる。
図4は、ある実施形態における、知覚的およびサイド情報源デコーダ40を示している。知覚的およびサイド情報源デコーダ40において、低ビットレート圧縮されたHOAビットストリーム
ΩFB,d(k)=ΩTEST,GlobalDirGridIndices(k)[d] (23)
となる。
図5は、ある実施形態における例示的な空間的HOAデコーダ50を示している。空間的HOAデコーダ50は、I個の信号
空間的HOAデコーダ50において、知覚的デコードされた信号
打ち切りされたHOA再構成ブロック52では、I個の利得補正された信号フレーム
IC,ACT(k)={VAMB,ASSIGN,i(k)|i=1,…,I} (24)
をなす。
予測された方向性サブバンド信号によって表わされる第二のHOA成分をさらに計算するために、圧縮解除された打ち切りされたHOA表現
各サブバンドまたはサブバンド・グループについて、方向性サブバンドもしくはサブバンド・グループHOA表現
各サブバンドまたはサブバンド・グループfj、j=1,…,Fについて、デコードされたサブバンドHOA表現
最終段階では、デコードされたHOA表現が、すべてのデコードされたサブバンドHOA表現
ある実施形態では、使用される諸サブバンドは、人間の聴覚の音響心理学的属性に適合された異なる帯域幅をもつ。あるいはまた、分解フィルタバンク53からのいくつかのサブバンドが組み合わされて、異なる帯域幅をもつサブバンドをもつ適応されたフィルタバンクをなす。分解フィルタバンク53からの隣接するサブバンドのグループが同じパラメータを使って処理される。組み合わされたサブバンドのグループが使われる場合、エンコーダ側で適用される対応するサブバンド構成がデコーダ側に知られていなければならない。ある実施形態では、構成情報が伝送され、デコーダによって合成フィルタバンクをセットアップするために使われる。ある実施形態では、構成情報は、(たとえばリスト内の)複数のあらかじめ定義された既知の構成のうちの一つについての識別子を含む。
以下では、高次アンビソニックスのいくつかの基本的な特徴が説明される。
An m(k)=inCn m(k) (44)
によって関係付けられる。個々の係数Cn m(k=ω/cs)が角周波数ωの関数であるとすると、逆フーリエ変換(F-1(・)によって表わされる)の適用は、各次数nおよび陪数mについて、時間領域関数
ベクトルc(t)内のHOA係数シーケンスcn m(t)の位置インデックスは
n(n+1)+1+m
によって与えられる。
実数値の球面調和関数Sn m(θ,φ)(SN3D規格化(非特許文献1、3.1章)を想定)は次式によって与えられる。
低減された数の0でない係数シーケンスをもつ打ち切りされたHOA表現CT(k)を計算する段階11と、打ち切りされたHOA表現に含まれているアクティブな係数シーケンスのインデックスの集合IC,ACT(k)を決定する段階11と、前記入力HOA信号から、候補方向の第一の集合MDIR(k)を推定する段階16と;前記入力HOA信号を複数の周波数サブバンドf1,…,fFに分割する段階15であって、それらの周波数サブバンドの係数シーケンス
前記圧縮されたHOA表現から、複数の打ち切りされたHOA係数シーケンス
前記複数の打ち切りされたHOA係数シーケンス
分解フィルタバンク53において、前記再構成された打ち切りされたHOA表現
各周波数サブバンド表現について方向性サブバンド合成ブロック54において、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現
前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロック55において、係数シーケンス
合成フィルタバンク56において、前記デコードされたサブバンドHOA表現
前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合MFB(k)と、それぞれの周波数サブバンドおよびDSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,fj)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,fj)および方向性サブバンド信号情報とを抽出する段階s91-93と;
それぞれの周波数サブバンド方向について、前記相対方向インデックスRelDirIndices(k,fj)を絶対方向インデックスに変換する段階s60であって、各相対方向インデックスは、前記ビットbSubBandDirIsActive(k,fj)が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合MFB(k)内のインデックスとして使われる、段階と;前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階s70であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。
分解フィルタバンク53において、前記再構成された打ち切りされたHOA表現
方向性サブバンド信号を予測する前記段階は、前記周波数サブバンド表現
前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロック55において、係数シーケンス
合成フィルタバンク56において、前記デコードされたサブバンドHOA表現
前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合MFB(k)と、それぞれの周波数サブバンドおよびDSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,fj)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスおよび方向性サブバンド信号情報とを抽出する段階と;それぞれの周波数サブバンド方向について、前記相対方向インデックスを絶対方向インデックスに変換する段階であって、各相対方向インデックスは、前記ビットが前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合MFB(k)内のインデックスとして使われる、段階と;前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。さらなる実施形態は、上記で開示したデコード方法との類推で導出できる。
Claims (4)
- 圧縮された高次アンビソニックス(HOA)表現から方向情報をデコードする方法(90)であって、前記圧縮されたHOA表現の各フレームについて、
・前記圧縮されたHOA表現から、
各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合(MFB(k))と、
それぞれの周波数サブバンドおよびDSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビット(bSubBandDirIsActive(k,fj))と、
それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス(RelDirIndices(k,fj))および方向性サブバンド信号情報とを抽出する段階(s91-93)と;
・それぞれの周波数サブバンド方向について、前記相対方向インデックス(RelDirIndices(k,fj))を絶対方向インデックスに変換する段階(s60)であって、各相対方向インデックスは、前記ビット(bSubBandDirIsActive(k,fj))が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合(MFB(k))内のインデックスとして使われる、段階と;
・前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階(s70)であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む、
方法。 - 入力高次アンビソニックス(HOA)信号のフレームについての方向情報をエンコードする方法(100)であって、
・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合(MDIR(k))を決定する段階(s101)であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と;
・前記入力HOA信号を複数の周波数サブバンド(f1,…,fF)に分割する段階(s102)と;
・アクティブな候補方向の前記第一の集合(MDIR(k))のうちで、前記周波数サブバンドのそれぞれについて、DSB<Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定する段階(s103)と;
・周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階(s104)であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と;
・現在フレームについての方向情報を集める段階(s105)であって、前記方向情報は、
前記アクティブな候補方向(MDIR(k))と、
各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビット(bSubBandDirIsActive(k,fj))と、
各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス(RelDirIndices(k,fj))とを含む、段階と;
・集められた方向情報を伝送する段階(s106)とを含む、
方法。 - 圧縮された高次アンビソニックス(HOA)表現から方向情報をデコードする装置であって、
・前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合(MFB(k))と、
それぞれの周波数サブバンドおよび最大(DSB)個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビット(bSubBandDirIsActive(k,fj))と、
それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス(RelDirIndices(k,fj))および方向性サブバンド信号情報と
を抽出するよう構成された抽出モジュール(40)と;
・それぞれの周波数サブバンド方向について、前記相対方向インデックス(RelDirIndices(k,fj))を絶対方向インデックスに変換するよう構成された変換モジュール(60)であって、各相対方向インデックスは、前記ビット(bSubBandDirIsActive(k,fj))が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合(MFB(k))内のインデックスとして使われる、モジュールと;
・前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュール(70)であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールとを有する、
装置。 - 入力高次アンビソニックス(HOA)信号のフレームについての方向情報をエンコードするための装置であって、
・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合(MDIR(k))を決定(s101)するよう構成されたアクティブ候補決定モジュール(101)であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、モジュールと;
・前記入力HOA信号を複数の周波数サブバンド(f1,…,fF)に分割(s102)するよう構成された分解フィルタバンク・モジュール(102)と;
・アクティブな候補方向の前記第一の集合(MDIR(k))のうちで、前記周波数サブバンドのそれぞれについて、DSB<Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定(s103)するよう構成されたサブバンド方向決定モジュール(103)と;
・周波数サブバンド毎に各方向に相対方向インデックスを割り当てる(s104)よう構成された相対方向インデックス割り当てモジュール(104)であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、モジュールと;
・現在フレームについての方向情報を集める(s105)よう構成された方向情報まとめモジュール(105)であって、前記方向情報は、
前記アクティブな候補方向(MDIR(k))と、
各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビット(bSubBandDirIsActive(k,fj))と、
各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス(RelDirIndices(k,fj))とを含む、
モジュールと;
・集められた方向情報をパックする(s106)よう構成されたパッキング・モジュール(106)とを有する、
装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14306078 | 2014-07-02 | ||
EP14306078.8 | 2014-07-02 | ||
EP14194183 | 2014-11-20 | ||
EP14194183.1 | 2014-11-20 | ||
PCT/EP2015/065084 WO2016001354A1 (en) | 2014-07-02 | 2015-07-02 | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017523452A true JP2017523452A (ja) | 2017-08-17 |
JP2017523452A5 JP2017523452A5 (ja) | 2018-08-09 |
Family
ID=53489981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016573840A Pending JP2017523452A (ja) | 2014-07-02 | 2015-07-02 | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9800986B2 (ja) |
EP (1) | EP3164866A1 (ja) |
JP (1) | JP2017523452A (ja) |
KR (1) | KR102363275B1 (ja) |
CN (1) | CN106463131B (ja) |
WO (1) | WO2016001354A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017520024A (ja) * | 2014-07-02 | 2017-07-20 | ドルビー・インターナショナル・アーベー | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3915106A1 (en) * | 2019-01-21 | 2021-12-01 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding a spatial audio representation or apparatus and method for decoding an encoded audio signal using transport metadata and related computer programs |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
JP2017520024A (ja) * | 2014-07-02 | 2017-07-20 | ドルビー・インターナショナル・アーベー | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1677490A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
EP1696673A1 (en) * | 2004-09-01 | 2006-08-30 | Mitsubishi Electric Information Technology Centre Europe B.V. | Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
US9288603B2 (en) | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
EP2738962A1 (en) | 2012-11-29 | 2014-06-04 | Thomson Licensing | Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field |
EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
EP2824661A1 (en) | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
CN106471579B (zh) * | 2014-07-02 | 2020-12-18 | 杜比国际公司 | 用于对hoa信号表示的子带内的主导方向信号的方向进行编码/解码的方法和装置 |
CN106463132B (zh) * | 2014-07-02 | 2021-02-02 | 杜比国际公司 | 对压缩的hoa表示编码和解码的方法和装置 |
-
2015
- 2015-07-02 US US15/320,278 patent/US9800986B2/en active Active
- 2015-07-02 KR KR1020167035521A patent/KR102363275B1/ko active IP Right Grant
- 2015-07-02 WO PCT/EP2015/065084 patent/WO2016001354A1/en active Application Filing
- 2015-07-02 CN CN201580033033.9A patent/CN106463131B/zh active Active
- 2015-07-02 EP EP15731998.9A patent/EP3164866A1/en not_active Withdrawn
- 2015-07-02 JP JP2016573840A patent/JP2017523452A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
JP2017520024A (ja) * | 2014-07-02 | 2017-07-20 | ドルビー・インターナショナル・アーベー | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017520024A (ja) * | 2014-07-02 | 2017-07-20 | ドルビー・インターナショナル・アーベー | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106463131B (zh) | 2020-12-08 |
US9800986B2 (en) | 2017-10-24 |
WO2016001354A1 (en) | 2016-01-07 |
KR20170023827A (ko) | 2017-03-06 |
EP3164866A1 (en) | 2017-05-10 |
US20170164130A1 (en) | 2017-06-08 |
CN106463131A (zh) | 2017-02-22 |
KR102363275B1 (ko) | 2022-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6585094B2 (ja) | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 | |
JP6542269B2 (ja) | 圧縮hoa表現をデコードする方法および装置ならびに圧縮hoa表現をエンコードする方法および装置 | |
JP2017523454A (ja) | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 | |
JP6585095B2 (ja) | 圧縮hoa表現をデコードする方法および装置ならびに圧縮hoa表現をエンコードする方法および装置 | |
JP2017523452A (ja) | Hoa信号表現のサブバンド内の優勢な方向性信号の方向のエンコード/デコードのための方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180626 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20190416 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191126 |