JP2016523377A - オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置 - Google Patents
オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置 Download PDFInfo
- Publication number
- JP2016523377A JP2016523377A JP2016517237A JP2016517237A JP2016523377A JP 2016523377 A JP2016523377 A JP 2016523377A JP 2016517237 A JP2016517237 A JP 2016517237A JP 2016517237 A JP2016517237 A JP 2016517237A JP 2016523377 A JP2016523377 A JP 2016523377A
- Authority
- JP
- Japan
- Prior art keywords
- hoa
- surround sound
- bitstream
- signal
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000005236 sound signal Effects 0.000 title claims abstract description 28
- 230000009467 reduction Effects 0.000 claims abstract description 27
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 239000000203 mixture Substances 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 230000001419 dependent effect Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000000873 masking effect Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 3
- 230000006835 compression Effects 0.000 description 21
- 238000007906 compression Methods 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 241000256837 Apidae Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000991 chicken egg Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/038—Vector quantisation, e.g. TwinVQ audio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Stereophonic System (AREA)
Abstract
Description
第1に、サラウンドサウンドチャンネルの次元は、通常は、HOAコンテンツの次元よりも低い。従って、情報理論の観点から、サラウンドチャンネルからのドミナントサウンド成分の完ぺきな予測は、両表現の固有の次元が、例えば、純粋に合成的にミックスされたコンテンツのために、制限される場合を除いて、実現可能であるように思われない。実際に得られる予測利得の量は、コンテンツの2つの典型的なシーケンスについて以下で評価される。
図3に表されている例となる階層的なHOA符号化システムについて、予測システムは、予測を実行するために、例えば、5×8の係数マトリクスを使用してよい。マトリクスの係数は、48kHzのサンプルレートで1024個のサンプルのフレームごとに更新されている。すなわち、毎秒5×8×50=2000個の総数のパラメータが符号化され送信されるべきである。パラメータごとに8ビットによる量子化を考えると、結果として得られるサイド情報のデータレートは約16kbit/sとなり得る。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
階層的なオーディオビットストリームを復号する方法であって、
前記階層的なオーディオビットストリームを受け取って復調するステップであって、少なくとも埋込サラウンドサウンドビットストリーム及びセカンドレイヤHOAビットストリームが得られ、前記セカンドレイヤHOAビットストリームは第1及び第2のサイド情報並びに符号化された残差信号を含む、ステップと、
復号されたサラウンドサウンドビットストリームを得るよう前記埋込サラウンドサウンドビットストリームを復号するステップと、
前記セカンドレイヤHOAビットストリームを復号するステップであって、再構成されたHOA信号が、
前記復号されたサラウンドサウンドビットストリーム及び前記第1のサイド情報を用いてサウンド成分を予測するステップと、
再構成されたサウンド成分を得るよう前記予測されたサウンド成分を復号された前記残差信号と重ね合わせるステップと、
前記再構成されたサウンド成分及び前記第2のサイド情報を組み立て直すことによってHOAコンテンツを再構成するステップであって、再構成されたHOAコンテンツが得られるステップと
によって得られるステップと
を有する方法。
(付記2)
前記予測するステップは、適応予測を使用し、
前記残差信号のフレーム単位でのエネルギレベルの最小化は、前記予測を適応させるための最適化基準である、
付記1に記載の方法。
(付記3)
前記予測するステップは、周波数に依存した適応予測を使用し、異なる周波数バンドごとの異なるマトリクスによるフレーム単位でのマトリクス演算が使用される、
付記1又は2に記載の方法。
(付記4)
階層的なオーディオビットストリームを符号化する方法であって、
HOA入力信号を受け取るステップと、
前記HOA入力信号をサラウンドサウンドフォーマットへとレンダリングするステップであって、サラウンドサウンドミックスが得られるステップと、
サラウンドサウンド符号器において前記サラウンドサウンドミックスを符号化するステップであって、符号化されたサラウンドサウンドが得られるステップと、
再構成されたサラウンドサウンド信号を得るよう前記符号化されたサラウンドサウンドを復号するステップと、
前記受け取られたHOA入力信号に対して次元削減を実行するステップであって、次元削減されたHOA信号が得られるステップと、
前記次元削減されたHOA信号と前記再構成されたサラウンドサウンド信号との間の差を計算するステップであって、残差信号が得られるステップと、
複数のモノラル知覚符号器において前記残差信号を符号化するステップであって、符号化された残差が得られるステップと、
符号器制御ブロックにおいて前記HOA入力信号に関する構造情報を得るステップと、
階層的なオーディオビットストリームを得るよう前記構造情報、前記符号化された残差及び前記符号化されたサラウンドサウンドをビットストリームへと多重化するステップと
を有する方法。
(付記5)
前記複数のモノラル知覚符号器の夫々は、夫々のドミナントサウンド成分について個別的な知覚マスキング閾を計算する、
付記4に記載の方法。
(付記6)
更なるサウンドオブジェクトが、前記HOA入力をサラウンドサウンドフォーマットへとレンダリングするステップに入力される、
付記4又は5に記載の方法。
(付記7)
階層的なオーディオビットストリームを復号する装置であって、
前記階層的なオーディオビットストリームを逆多重化するデマルチプレクサであって、少なくとも埋込サラウンドサウンドビットストリーム及びセカンドレイヤHOAビットストリームが得られ、前記セカンドレイヤHOAビットストリームは第1及び第2のサイド情報並びに符号化された残差信号を含む、前記デマルチプレクサと、
復号されたサラウンドサウンドビットストリームを得るよう前記埋込サラウンドサウンドビットストリームを復号するサラウンドサウンド復号器と、
前記セカンドレイヤHOAビットストリームを復号する階層HOA復号器と
を有し、
前記階層HOA復号器は、
前記復号されたサラウンドサウンドビットストリーム及び前記第1のサイド情報を用いてサウンド成分を予測する予測ユニットと、
再構成されたサウンド成分を得るよう前記予測されたサウンド成分を復号された前記残差信号と重ね合わせる重ね合わせユニットと、
前記再構成されたサウンド成分及び前記第2のサイド情報を組み立て直すことによってHOAコンテンツを再構成するHOAコンテンツ再構成ユニットであって、再構成されたHOAコンテンツが得られる前記HOAコンテンツ再構成ユニットと
を有する、装置。
(付記8)
前記セカンドレイヤHOAビットストリームから第1のサイド情報、第2のサイド情報及び復号された残差信号を取り出す条件付きHOA復号器
を更に有する付記7に記載の装置。
(付記9)
前記予測ユニットは、適応予測を使用し、
前記残差信号のフレーム単位でのエネルギレベルの最小化は、前記予測を適応させるための最適化基準である、
付記7又は8に記載の装置。
(付記10)
前記予測ユニットは、周波数に依存した適応予測を使用し、異なる周波数バンドごとの異なるマトリクスによるフレーム単位でのマトリクス演算が使用される、
付記7乃至9のうちいずれか一つに記載の装置。
(付記11)
階層的なオーディオビットストリームを符号化する装置であって、
HOA入力信号をサラウンドサウンドフォーマットへとレンダリングするサラウンドサウンドレンダラブロックであって、サラウンドサウンドミックスが得られる前記サラウンドサウンドレンダラブロックと、
前記サラウンドサウンドミックスを符号化するサラウンドサウンド符号器であって、符号化されたサラウンドサウンドが得られる前記サラウンドサウンド符号器と、
再構成されたサラウンドサウンド信号を得るよう前記符号化されたサラウンドサウンドを復号するサラウンドサウンド復号器と、
前記HOA入力信号に対して次元削減を実行する次元削減ユニットであって、次元削減されたHOA信号が得られる前記次元削減ユニットと、
前記次元削減されたHOA信号と前記再構成されたサラウンドサウンド信号との間の差を計算する予測ユニットであって、残差信号が得られる前記予測ユニットと、
前記残差信号を符号化する複数のモノラル知覚符号器であって、該複数のモノラル知覚符号器の夫々は、前記次元削減により得られる特定のドミナント信号についての残差信号を符号化し、符号化された残差が得られる前記複数のモノラル知覚符号器と、
前記HOA入力信号に関する構造情報を得る符号器制御ブロックと、
階層的なオーディオビットストリームを得るよう前記構造情報、前記符号化された残差及び前記符号化されたサラウンドサウンドをビットストリームへと多重化するマルチプレクサと
を有する装置。
(付記12)
前記残差信号を符号化する前記複数のモノラル知覚符号器の夫々は、夫々のドミナントサウンド成分について、個別的に計算された知覚マスキング閾を使用する、
付記11に記載の装置。
(付記13)
1つ以上の更なるサウンドオブジェクトが、前記サラウンドサウンドレンダラブロックへ入力され、該サラウンドサウンドレンダラブロックは、前記HOA入力信号及び前記1つ以上の更なるサウンドオブジェクトをサラウンドサウンドフォーマットへとレンダリングする、
付記11又は12に記載の装置。
(付記14)
サラウンドサウンド符号器は、5.1サラウンドフォーマット、改良された5.1サラウンドサウンドフォーマット、ドルビーデジタル又は7.1サラウンドサウンドフォーマットを使用する、
付記7乃至13のうちいずれか一つに記載の装置。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
階層的なオーディオビットストリームを復号する方法であって、
前記階層的なオーディオビットストリームを受け取って復調するステップであって、少なくとも埋込サラウンドサウンドビットストリーム及びセカンドレイヤHOAビットストリームが得られ、前記セカンドレイヤHOAビットストリームは第1及び第2のサイド情報並びに符号化された残差信号を含む、ステップと、
復号されたサラウンドサウンドビットストリームを得るよう前記埋込サラウンドサウンドビットストリームを復号するステップと、
前記セカンドレイヤHOAビットストリームを復号するステップであって、再構成されたHOA信号が、
前記復号されたサラウンドサウンドビットストリーム及び前記第1のサイド情報を用いてサウンド成分を予測するステップと、
再構成されたサウンド成分を得るよう前記予測されたサウンド成分を復号された前記残差信号と重ね合わせるステップと、
前記再構成されたサウンド成分及び前記第2のサイド情報を組み立て直すことによってHOAコンテンツを再構成するステップであって、再構成されたHOAコンテンツが得られるステップと
によって得られるステップと
を有する方法。
(付記2)
前記予測するステップは、適応予測を使用し、
前記残差信号のフレーム単位でのエネルギレベルの最小化は、前記予測を適応させるための最適化基準である、
付記1に記載の方法。
(付記3)
前記予測するステップは、周波数に依存した適応予測を使用し、異なる周波数バンドごとの異なるマトリクスによるフレーム単位でのマトリクス演算が使用される、
付記1又は2に記載の方法。
(付記4)
階層的なオーディオビットストリームを符号化する方法であって、
HOA入力信号を受け取るステップと、
前記HOA入力信号をサラウンドサウンドフォーマットへとレンダリングするステップであって、サラウンドサウンドミックスが得られるステップと、
サラウンドサウンド符号器において前記サラウンドサウンドミックスを符号化するステップであって、符号化されたサラウンドサウンドが得られるステップと、
再構成されたサラウンドサウンド信号を得るよう前記符号化されたサラウンドサウンドを復号するステップと、
前記受け取られたHOA入力信号に対して次元削減を実行するステップであって、次元削減されたHOA信号が得られるステップと、
前記次元削減されたHOA信号と前記再構成されたサラウンドサウンド信号との間の差を計算するステップであって、残差信号が得られるステップと、
複数のモノラル知覚符号器において前記残差信号を符号化するステップであって、符号化された残差が得られるステップと、
符号器制御ブロックにおいて前記HOA入力信号に関する構造情報を得るステップと、
階層的なオーディオビットストリームを得るよう前記構造情報、前記符号化された残差及び前記符号化されたサラウンドサウンドをビットストリームへと多重化するステップと
を有する方法。
(付記5)
前記複数のモノラル知覚符号器の夫々は、夫々のドミナントサウンド成分について個別的な知覚マスキング閾を計算する、
付記4に記載の方法。
(付記6)
更なるサウンドオブジェクトが、前記HOA入力をサラウンドサウンドフォーマットへとレンダリングするステップに入力される、
付記4又は5に記載の方法。
(付記7)
階層的なオーディオビットストリームを復号する装置であって、
前記階層的なオーディオビットストリームを逆多重化するデマルチプレクサであって、少なくとも埋込サラウンドサウンドビットストリーム及びセカンドレイヤHOAビットストリームが得られ、前記セカンドレイヤHOAビットストリームは第1及び第2のサイド情報並びに符号化された残差信号を含む、前記デマルチプレクサと、
復号されたサラウンドサウンドビットストリームを得るよう前記埋込サラウンドサウンドビットストリームを復号するサラウンドサウンド復号器と、
前記セカンドレイヤHOAビットストリームを復号する階層HOA復号器と
を有し、
前記階層HOA復号器は、
前記復号されたサラウンドサウンドビットストリーム及び前記第1のサイド情報を用いてサウンド成分を予測する予測ユニットと、
再構成されたサウンド成分を得るよう前記予測されたサウンド成分を復号された前記残差信号と重ね合わせる重ね合わせユニットと、
前記再構成されたサウンド成分及び前記第2のサイド情報を組み立て直すことによってHOAコンテンツを再構成するHOAコンテンツ再構成ユニットであって、再構成されたHOAコンテンツが得られる前記HOAコンテンツ再構成ユニットと
を有する、装置。
(付記8)
前記セカンドレイヤHOAビットストリームから第1のサイド情報、第2のサイド情報及び復号された残差信号を取り出す条件付きHOA復号器
を更に有する付記7に記載の装置。
(付記9)
前記予測ユニットは、適応予測を使用し、
前記残差信号のフレーム単位でのエネルギレベルの最小化は、前記予測を適応させるための最適化基準である、
付記7又は8に記載の装置。
(付記10)
前記予測ユニットは、周波数に依存した適応予測を使用し、異なる周波数バンドごとの異なるマトリクスによるフレーム単位でのマトリクス演算が使用される、
付記7乃至9のうちいずれか一つに記載の装置。
(付記11)
階層的なオーディオビットストリームを符号化する装置であって、
HOA入力信号をサラウンドサウンドフォーマットへとレンダリングするサラウンドサウンドレンダラブロックであって、サラウンドサウンドミックスが得られる前記サラウンドサウンドレンダラブロックと、
前記サラウンドサウンドミックスを符号化するサラウンドサウンド符号器であって、符号化されたサラウンドサウンドが得られる前記サラウンドサウンド符号器と、
再構成されたサラウンドサウンド信号を得るよう前記符号化されたサラウンドサウンドを復号するサラウンドサウンド復号器と、
前記HOA入力信号に対して次元削減を実行する次元削減ユニットであって、次元削減されたHOA信号が得られる前記次元削減ユニットと、
前記次元削減されたHOA信号と前記再構成されたサラウンドサウンド信号との間の差を計算する予測ユニットであって、残差信号が得られる前記予測ユニットと、
前記残差信号を符号化する複数のモノラル知覚符号器であって、該複数のモノラル知覚符号器の夫々は、前記次元削減により得られる特定のドミナント信号についての残差信号を符号化し、符号化された残差が得られる前記複数のモノラル知覚符号器と、
前記HOA入力信号に関する構造情報を得る符号器制御ブロックと、
階層的なオーディオビットストリームを得るよう前記構造情報、前記符号化された残差及び前記符号化されたサラウンドサウンドをビットストリームへと多重化するマルチプレクサと
を有する装置。
(付記12)
前記残差信号を符号化する前記複数のモノラル知覚符号器の夫々は、夫々のドミナントサウンド成分について、個別的に計算された知覚マスキング閾を使用する、
付記11に記載の装置。
(付記13)
1つ以上の更なるサウンドオブジェクトが、前記サラウンドサウンドレンダラブロックへ入力され、該サラウンドサウンドレンダラブロックは、前記HOA入力信号及び前記1つ以上の更なるサウンドオブジェクトをサラウンドサウンドフォーマットへとレンダリングする、
付記11又は12に記載の装置。
(付記14)
サラウンドサウンド符号器は、5.1サラウンドフォーマット、改良された5.1サラウンドサウンドフォーマット、ドルビーデジタル又は7.1サラウンドサウンドフォーマットを使用する、
付記7乃至13のうちいずれか一つに記載の装置。
Claims (14)
- 階層的なオーディオビットストリームを復号する方法であって、
前記階層的なオーディオビットストリームを受け取って復調するステップであって、少なくとも埋込サラウンドサウンドビットストリーム及びセカンドレイヤHOAビットストリームが得られ、前記セカンドレイヤHOAビットストリームは第1及び第2のサイド情報並びに符号化された残差信号を含む、ステップと、
復号されたサラウンドサウンドビットストリームを得るよう前記埋込サラウンドサウンドビットストリームを復号するステップと、
前記セカンドレイヤHOAビットストリームを復号するステップであって、再構成されたHOA信号が、
前記復号されたサラウンドサウンドビットストリーム及び前記第1のサイド情報を用いてサウンド成分を予測するステップと、
再構成されたサウンド成分を得るよう前記予測されたサウンド成分を復号された前記残差信号と重ね合わせるステップと、
前記再構成されたサウンド成分及び前記第2のサイド情報を組み立て直すことによってHOAコンテンツを再構成するステップであって、再構成されたHOAコンテンツが得られるステップと
によって得られるステップと
を有する方法。 - 前記予測するステップは、適応予測を使用し、
前記残差信号のフレーム単位でのエネルギレベルの最小化は、前記予測を適応させるための最適化基準である、
請求項1に記載の方法。 - 前記予測するステップは、周波数に依存した適応予測を使用し、異なる周波数バンドごとの異なるマトリクスによるフレーム単位でのマトリクス演算が使用される、
請求項1又は2に記載の方法。 - 階層的なオーディオビットストリームを符号化する方法であって、
HOA入力信号を受け取るステップと、
前記HOA入力信号をサラウンドサウンドフォーマットへとレンダリングするステップであって、サラウンドサウンドミックスが得られるステップと、
サラウンドサウンド符号器において前記サラウンドサウンドミックスを符号化するステップであって、符号化されたサラウンドサウンドが得られるステップと、
再構成されたサラウンドサウンド信号を得るよう前記符号化されたサラウンドサウンドを復号するステップと、
前記受け取られたHOA入力信号に対して次元削減を実行するステップであって、次元削減されたHOA信号が得られるステップと、
前記次元削減されたHOA信号と前記再構成されたサラウンドサウンド信号との間の差を計算するステップであって、残差信号が得られるステップと、
複数のモノラル知覚符号器において前記残差信号を符号化するステップであって、符号化された残差が得られるステップと、
符号器制御ブロックにおいて前記HOA入力信号に関する構造情報を得るステップと、
階層的なオーディオビットストリームを得るよう前記構造情報、前記符号化された残差及び前記符号化されたサラウンドサウンドをビットストリームへと多重化するステップと
を有する方法。 - 前記複数のモノラル知覚符号器の夫々は、夫々のドミナントサウンド成分について個別的な知覚マスキング閾を計算する、
請求項4に記載の方法。 - 更なるサウンドオブジェクトが、前記HOA入力をサラウンドサウンドフォーマットへとレンダリングするステップに入力される、
請求項4又は5に記載の方法。 - 階層的なオーディオビットストリームを復号する装置であって、
前記階層的なオーディオビットストリームを逆多重化するデマルチプレクサであって、少なくとも埋込サラウンドサウンドビットストリーム及びセカンドレイヤHOAビットストリームが得られ、前記セカンドレイヤHOAビットストリームは第1及び第2のサイド情報並びに符号化された残差信号を含む、前記デマルチプレクサと、
復号されたサラウンドサウンドビットストリームを得るよう前記埋込サラウンドサウンドビットストリームを復号するサラウンドサウンド復号器と、
前記セカンドレイヤHOAビットストリームを復号する階層HOA復号器と
を有し、
前記階層HOA復号器は、
前記復号されたサラウンドサウンドビットストリーム及び前記第1のサイド情報を用いてサウンド成分を予測する予測ユニットと、
再構成されたサウンド成分を得るよう前記予測されたサウンド成分を復号された前記残差信号と重ね合わせる重ね合わせユニットと、
前記再構成されたサウンド成分及び前記第2のサイド情報を組み立て直すことによってHOAコンテンツを再構成するHOAコンテンツ再構成ユニットであって、再構成されたHOAコンテンツが得られる前記HOAコンテンツ再構成ユニットと
を有する、装置。 - 前記セカンドレイヤHOAビットストリームから第1のサイド情報、第2のサイド情報及び復号された残差信号を取り出す条件付きHOA復号器
を更に有する請求項7に記載の装置。 - 前記予測ユニットは、適応予測を使用し、
前記残差信号のフレーム単位でのエネルギレベルの最小化は、前記予測を適応させるための最適化基準である、
請求項7又は8に記載の装置。 - 前記予測ユニットは、周波数に依存した適応予測を使用し、異なる周波数バンドごとの異なるマトリクスによるフレーム単位でのマトリクス演算が使用される、
請求項7乃至9のうちいずれか一項に記載の装置。 - 階層的なオーディオビットストリームを符号化する装置であって、
HOA入力信号をサラウンドサウンドフォーマットへとレンダリングするサラウンドサウンドレンダラブロックであって、サラウンドサウンドミックスが得られる前記サラウンドサウンドレンダラブロックと、
前記サラウンドサウンドミックスを符号化するサラウンドサウンド符号器であって、符号化されたサラウンドサウンドが得られる前記サラウンドサウンド符号器と、
再構成されたサラウンドサウンド信号を得るよう前記符号化されたサラウンドサウンドを復号するサラウンドサウンド復号器と、
前記HOA入力信号に対して次元削減を実行する次元削減ユニットであって、次元削減されたHOA信号が得られる前記次元削減ユニットと、
前記次元削減されたHOA信号と前記再構成されたサラウンドサウンド信号との間の差を計算する予測ユニットであって、残差信号が得られる前記予測ユニットと、
前記残差信号を符号化する複数のモノラル知覚符号器であって、該複数のモノラル知覚符号器の夫々は、前記次元削減により得られる特定のドミナント信号についての残差信号を符号化し、符号化された残差が得られる前記複数のモノラル知覚符号器と、
前記HOA入力信号に関する構造情報を得る符号器制御ブロックと、
階層的なオーディオビットストリームを得るよう前記構造情報、前記符号化された残差及び前記符号化されたサラウンドサウンドをビットストリームへと多重化するマルチプレクサと
を有する装置。 - 前記残差信号を符号化する前記複数のモノラル知覚符号器の夫々は、夫々のドミナントサウンド成分について、個別的に計算された知覚マスキング閾を使用する、
請求項11に記載の装置。 - 1つ以上の更なるサウンドオブジェクトが、前記サラウンドサウンドレンダラブロックへ入力され、該サラウンドサウンドレンダラブロックは、前記HOA入力信号及び前記1つ以上の更なるサウンドオブジェクトをサラウンドサウンドフォーマットへとレンダリングする、
請求項11又は12に記載の装置。 - サラウンドサウンド符号器は、5.1サラウンドフォーマット、改良された5.1サラウンドサウンドフォーマット、ドルビーデジタル又は7.1サラウンドサウンドフォーマットを使用する、
請求項7乃至13のうちいずれか一項に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13305756.2 | 2013-06-05 | ||
EP13305756 | 2013-06-05 | ||
PCT/EP2014/060959 WO2014195190A1 (en) | 2013-06-05 | 2014-05-27 | Method for encoding audio signals, apparatus for encoding audio signals, method for decoding audio signals and apparatus for decoding audio signals |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018139369A Division JP2018165841A (ja) | 2013-06-05 | 2018-07-25 | オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016523377A true JP2016523377A (ja) | 2016-08-08 |
JP6377730B2 JP6377730B2 (ja) | 2018-08-22 |
Family
ID=48672536
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016517237A Active JP6377730B2 (ja) | 2013-06-05 | 2014-05-27 | オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置 |
JP2018139369A Pending JP2018165841A (ja) | 2013-06-05 | 2018-07-25 | オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018139369A Pending JP2018165841A (ja) | 2013-06-05 | 2018-07-25 | オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9691406B2 (ja) |
EP (3) | EP3923279B1 (ja) |
JP (2) | JP6377730B2 (ja) |
KR (1) | KR102228994B1 (ja) |
CN (1) | CN105264595B (ja) |
WO (1) | WO2014195190A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022137278A (ja) * | 2015-10-08 | 2022-09-21 | ドルビー・インターナショナル・アーベー | 圧縮された音または音場表現のための層構成の符号化 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9716959B2 (en) | 2013-05-29 | 2017-07-25 | Qualcomm Incorporated | Compensating for error in decomposed representations of sound fields |
US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
US9502045B2 (en) * | 2014-01-30 | 2016-11-22 | Qualcomm Incorporated | Coding independent frames of ambient higher-order ambisonic coefficients |
EP2922057A1 (en) * | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
US10770087B2 (en) | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
US9847088B2 (en) | 2014-08-29 | 2017-12-19 | Qualcomm Incorporated | Intermediate compression for higher order ambisonic audio data |
US9875745B2 (en) * | 2014-10-07 | 2018-01-23 | Qualcomm Incorporated | Normalization of ambient higher order ambisonic audio data |
JP6355207B2 (ja) * | 2015-07-22 | 2018-07-11 | 日本電信電話株式会社 | 伝送システム、符号化装置、復号装置、それらの方法及びプログラム |
WO2017036609A1 (en) * | 2015-08-31 | 2017-03-09 | Dolby International Ab | Method for frame-wise combined decoding and rendering of a compressed hoa signal and apparatus for frame-wise combined decoding and rendering of a compressed hoa signal |
CN116312576A (zh) | 2015-10-08 | 2023-06-23 | 杜比国际公司 | 声音或声场的压缩hoa表示的解码方法和装置 |
US9961475B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
US9961467B2 (en) * | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
US10249312B2 (en) * | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
TWI703558B (zh) | 2015-10-08 | 2020-09-01 | 瑞典商杜比國際公司 | 解碼聲音或音場的壓縮高階環境立體聲聲音表徵的方法及設備 |
US9881628B2 (en) | 2016-01-05 | 2018-01-30 | Qualcomm Incorporated | Mixed domain coding of audio |
EP3220668A1 (en) * | 2016-03-15 | 2017-09-20 | Thomson Licensing | Method for configuring an audio rendering and/or acquiring device, and corresponding audio rendering and/or acquiring device, system, computer readable program product and computer readable storage medium |
CN107945810B (zh) * | 2016-10-13 | 2021-12-14 | 杭州米谟科技有限公司 | 用于编码和解码hoa或多声道数据的方法和装置 |
WO2018081829A1 (en) * | 2016-10-31 | 2018-05-03 | Google Llc | Projection-based audio coding |
KR102128281B1 (ko) * | 2017-08-17 | 2020-06-30 | 가우디오랩 주식회사 | 앰비소닉 신호를 사용하는 오디오 신호 처리 방법 및 장치 |
US10043530B1 (en) * | 2018-02-08 | 2018-08-07 | Omnivision Technologies, Inc. | Method and audio noise suppressor using nonlinear gain smoothing for reduced musical artifacts |
SG11202105719RA (en) | 2018-12-07 | 2021-06-29 | Fraunhofer Ges Forschung | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using low-order, mid-order and high-order components generators |
BR112021013726A2 (pt) * | 2019-01-13 | 2021-09-21 | Huawei Technologies Co., Ltd. | Método implementado por computador para realizar quantização residual, dispositivo eletrônico e meio legível por computador não transitório |
CN110534120B (zh) * | 2019-08-31 | 2021-10-01 | 深圳市友恺通信技术有限公司 | 一种移动网络环境下的环绕声误码修复方法 |
US11430451B2 (en) * | 2019-09-26 | 2022-08-30 | Apple Inc. | Layered coding of audio with discrete objects |
CN113948097A (zh) * | 2020-07-17 | 2022-01-18 | 华为技术有限公司 | 多声道音频信号编码方法和装置 |
CN113948096A (zh) * | 2020-07-17 | 2022-01-18 | 华为技术有限公司 | 多声道音频信号编解码方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010507115A (ja) * | 2006-10-16 | 2010-03-04 | ドルビー スウェーデン アクチボラゲット | 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現 |
JP2012133366A (ja) * | 2010-12-21 | 2012-07-12 | Thomson Licensing | 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7548853B2 (en) * | 2005-06-17 | 2009-06-16 | Shmunk Dmitry V | Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding |
US7991272B2 (en) * | 2005-07-11 | 2011-08-02 | Lg Electronics Inc. | Apparatus and method of processing an audio signal |
KR101890229B1 (ko) * | 2010-03-26 | 2018-08-21 | 돌비 인터네셔널 에이비 | 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치 |
NZ587483A (en) * | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
CN102664970A (zh) * | 2012-04-06 | 2012-09-12 | 中山大学 | 一种基于移动子网的分层移动IPv6的方法 |
US9288603B2 (en) * | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
US9883310B2 (en) * | 2013-02-08 | 2018-01-30 | Qualcomm Incorporated | Obtaining symmetry information for higher order ambisonic audio renderers |
US9685163B2 (en) * | 2013-03-01 | 2017-06-20 | Qualcomm Incorporated | Transforming spherical harmonic coefficients |
US9716959B2 (en) * | 2013-05-29 | 2017-07-25 | Qualcomm Incorporated | Compensating for error in decomposed representations of sound fields |
-
2014
- 2014-05-27 US US14/896,383 patent/US9691406B2/en active Active
- 2014-05-27 WO PCT/EP2014/060959 patent/WO2014195190A1/en active Application Filing
- 2014-05-27 CN CN201480032227.2A patent/CN105264595B/zh active Active
- 2014-05-27 EP EP21189367.2A patent/EP3923279B1/en active Active
- 2014-05-27 JP JP2016517237A patent/JP6377730B2/ja active Active
- 2014-05-27 EP EP14726386.7A patent/EP3005354B1/en active Active
- 2014-05-27 EP EP19150874.6A patent/EP3503096B1/en active Active
- 2014-05-27 KR KR1020157034651A patent/KR102228994B1/ko active IP Right Grant
-
2018
- 2018-07-25 JP JP2018139369A patent/JP2018165841A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010507115A (ja) * | 2006-10-16 | 2010-03-04 | ドルビー スウェーデン アクチボラゲット | 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現 |
JP2012133366A (ja) * | 2010-12-21 | 2012-07-12 | Thomson Licensing | 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置 |
Non-Patent Citations (2)
Title |
---|
ERIK HELLEROUD, ET AL.: "SPATIAL REDUNDANCY IN HIGHER ORDER AMBISONICS AND ITS USE FOR LOW DELAY LOSSLESS COMPRESSION", PROCEEDINGS OF THE 2009 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING(ICA, JPN6018023433, 19 April 2009 (2009-04-19), pages 269 - 272, ISSN: 0003822389 * |
岩谷幸雄他: "球面調和解析による音場表現−高次アンビソニックス技術の可能性−", 日本音響学会誌, vol. 67巻,11号, JPN6018022197, 1 November 2011 (2011-11-01), pages 544 - 549, ISSN: 0003822388 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022137278A (ja) * | 2015-10-08 | 2022-09-21 | ドルビー・インターナショナル・アーベー | 圧縮された音または音場表現のための層構成の符号化 |
JP7346676B2 (ja) | 2015-10-08 | 2023-09-19 | ドルビー・インターナショナル・アーベー | 圧縮された音または音場表現のための層構成の符号化 |
Also Published As
Publication number | Publication date |
---|---|
CN105264595B (zh) | 2019-10-01 |
KR20160015245A (ko) | 2016-02-12 |
KR102228994B1 (ko) | 2021-03-17 |
US20160125890A1 (en) | 2016-05-05 |
JP6377730B2 (ja) | 2018-08-22 |
EP3503096B1 (en) | 2021-08-04 |
EP3503096A1 (en) | 2019-06-26 |
EP3923279B1 (en) | 2023-12-27 |
EP3005354B1 (en) | 2019-07-03 |
EP3923279A1 (en) | 2021-12-15 |
WO2014195190A1 (en) | 2014-12-11 |
CN105264595A (zh) | 2016-01-20 |
EP3005354A1 (en) | 2016-04-13 |
JP2018165841A (ja) | 2018-10-25 |
US9691406B2 (en) | 2017-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6377730B2 (ja) | オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置 | |
JP7378440B2 (ja) | 圧縮されたhoa信号をデコードする方法および装置 | |
JP6707604B2 (ja) | 高次アンビソニックス(hoa)信号を圧縮する方法、圧縮されたhoa信号を圧縮解除する方法、hoa信号を圧縮する装置および圧縮されたhoa信号を圧縮解除する装置 | |
TWI544479B (zh) | 音訊解碼器、音訊編碼器、用以基於已編碼表示型態提供至少四音訊聲道信號的方法、用以基於至少四音訊聲道信號提供已編碼表示型態的方法、及使用頻寬擴展的電腦程式 | |
JP7374969B2 (ja) | 高次アンビソニックス(hoa)信号を圧縮する方法、圧縮されたhoa信号を圧縮解除する方法、hoa信号を圧縮する装置および圧縮されたhoa信号を圧縮解除する装置 | |
JP2013174891A (ja) | 高品質マルチチャネルオーディオ符号化および復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160826 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6377730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |