JP2016524721A - オブジェクト特有時間/周波数分解能を使用する混合信号からのオーディオオブジェクト分離 - Google Patents
オブジェクト特有時間/周波数分解能を使用する混合信号からのオーディオオブジェクト分離 Download PDFInfo
- Publication number
- JP2016524721A JP2016524721A JP2016513308A JP2016513308A JP2016524721A JP 2016524721 A JP2016524721 A JP 2016524721A JP 2016513308 A JP2016513308 A JP 2016513308A JP 2016513308 A JP2016513308 A JP 2016513308A JP 2016524721 A JP2016524721 A JP 2016524721A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- time
- side information
- specific
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 59
- 230000005236 sound signal Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 70
- 238000006243 chemical reaction Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 12
- 230000002441 reversible effect Effects 0.000 claims description 4
- 238000001303 quality assessment method Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 description 57
- 230000002123 temporal effect Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 238000002156 mixing Methods 0.000 description 5
- 238000011524 similarity measure Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 101100180304 Arabidopsis thaliana ISS1 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100519257 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDR17 gene Proteins 0.000 description 1
- 101100042407 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SFB2 gene Proteins 0.000 description 1
- 101100356268 Schizosaccharomyces pombe (strain 972 / ATCC 24843) red1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 108020001568 subdomains Proteins 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Spectroscopy & Molecular Physics (AREA)
Abstract
Description
・符号器処理の一部として、要素d1,1…dN,Pから成るダウンミックス行列を使用して、N個の入力オーディオオブジェクト信号s1…sNがP個のチャネルx1・xpへとミックスダウンされる。加えて、符号器は、入力オーディオオブジェクトの特徴を記述するサイド情報を抽出する(サイド情報推定部(SIE)モジュール)。MPEG SAOCにとって、オーディオパワー同士の相互関係は、そのようなサイド情報の最も基本的な形態である。
・ダウンミックス信号(単数又は複数)とサイド情報とが伝送/記憶される。この目的で、ダウンミックスオーディオ信号(単数又は複数)は、例えば、MPEG−1/2レイヤII又はIII(通称mp3)、MPEG−2/4先進オーディオコーディング(AAC)などの公知の知覚的オーディオコーダを使用して、圧縮されてもよい。
・受信端において、概念的には、伝送されたサイド情報を使用して、(復号化された)ダウンミックス信号からオリジナル・オブジェクト信号を回復しようと試みる(「オブジェクト分離」)。これら近似されたオブジェクト信号
は次に、図1内では係数r1,1…rN,Mによって示されるレンダリング行列を使用して、M個のオーディオ出力チャネル
により表現される目標シーンへとミキシングされる。所望の目標シーンは、極端な場合、混合信号からのただ1つのソース信号のレンダリング(ソース分離シナリオ)にもなり得るが、しかしまた、伝送された複数のオブジェクトを含む他の任意の音響シーンにもなり得る。
に対してオーディオ信号s1〜sNを復元しかつレンダリングするが、このときレンダリングはSAOC復号器12に入力されるレンダリング情報26によって規定されている。
[数1]
ここで、合計とインデックスn及びkとはそれぞれ、ある時間/周波数タイル42に帰属する全ての時間的インデックス34と全てのスペクトルインデックス30を表すものであり、SAOCフレーム(又は処理しつつある時間スロット)についてのインデックスlとパラメータ帯域についてのインデックスmとによって参照される。これにより、1つのオーディオ信号又はオブジェクトiの全てのサブバンド値xiのエネルギーが合計され、かつ全てのオブジェクト又はオーディオ信号の間のそのタイルの最高エネルギー値へと正規化される。
と称される。その計算は以下の通りである。
[数2]
ここでも、インデックスn及びkは、ある時間/周波数タイル42に帰属する全てのサブバンド値を代表するものであり、iとjとはオーディオオブジェクトs1〜sNのあるペアを示している。
[数7]
を実行するが、ここで、行列EはパラメータOLD及びIOCの関数である。行列Eはオーディオオブジェクトs1〜sNの推定された共分散行列である。現状のSAOCの構成において、推定された共分散行列Eの計算は、典型的にはSAOCパラメータの時間/周波数分解能において、即ち、各(l,m)について実行される。そのため、推定された共分散行列はEl,mと記述され得る。推定された共分散行列はEl,mは、サイズN×Nの大きさであり、その係数は次式で定義される。
[数8]
[数9]
その対角線に沿って、オブジェクトレベル差を有する。即ちi=jのとき
となる。なぜなら、i=jのとき
となるからである。その対角線の外側には、推定された共分散行列Eは、オブジェクト間クロス相関尺度
を用いて重み付けられたオブジェクトi及びjのそれぞれのオブジェクトレベル差の幾何平均をそれぞれ表現する行列係数を有する。
S N個のオリジナル・オーディオオブジェクト信号の行列
X M個の混合信号の行列
D∈o M×N ダウンミックス行列
X=DS ダウンミックスシーンの計算
Sest N個の推定されたオーディオオブジェクト信号の行列
[数13]
ここで、diag(E)はオリジナル・オブジェクト信号のエネルギーを含む対角行列を示している。次に、diag(E)をEdistに関連付けることで、SDRが計算され得る。あるt/f領域R(tR,fR)において目標ソースエネルギーに対して相対的なSDRを推定するために、歪みエネルギーの計算が領域R(tR,fR)内の各処理済みt/fタイルに対して実行され、目標エネルギー及び歪みエネルギーがそのt/f領域R(tR,fR)内の全てのt/fタイルにわたって集積される。
原理的に、本発明のシステムの簡易な実例において、H個までのt/f表現についてのサイド情報が全てのオブジェクト及び全てのt/f領域R(tR,fR)について伝送される必要がある。なぜなら、復号器側における分離は、H個までのt/f表現からの選択によって実行されるからである。この多量のデータは、知覚的品質を有意に失うことなく劇的に低減させることができる。各オブジェクトのために、各t/f領域R(tR,fR)について以下の情報を伝送するだけで十分である。
・t/f領域R(tR,fR)内のオーディオオブジェクトの信号コンテンツをグローバル的に/粗く記述する1つのパラメータ、例えば領域R(tR,fR)内のオブジェクトの平均信号エネルギー
・オーディオオブジェクトの微細構造の記述。この記述は、混合信号からオーディオオブジェクトを最適に推定するために選択された個別のt/f表現から取得される。微細構造に関する情報は、粗い信号表現と微細構造との差をパラメータ化することによって、効率的に記述され得ることに留意されたい。
・オーディオオブジェクトを推定するために使用されるべきt/f表現を示す情報信号
・このオーディオオブジェクトのための追加的サイド情報によって示される個々のt/f表現が計算される。
・所望のオーディオオブジェクトを分離するために、対応する(微細構造の)オブジェクト信号情報が使用される。
・残りの全てのオーディオオブジェクト、即ち抑制されるべき干渉するオーディオオブジェクトについて、微細構造のオブジェクト信号情報は、もしその情報が選択されたt/f表現のために利用可能であれば、使用される。その他の場合には、粗い信号記述が使用される。他の選択肢は、特定の残りのオーディオオブジェクトについて、利用可能な微細構造のオブジェクト信号情報を使用すること、及び、例えばt/f領域R(tR,fR)のサブ領域内の利用可能な微細構造のオーディオオブジェクト信号情報を平均化することによって、選択されたt/f表現を近似することである。このような方法で、そのt/f分解能は選択されたt/f表現ほど微細ではないが、粗いt/f表現よりは微細となる。
図7は、強化された(仮想の)オブジェクト分離(E−OS)モジュールを含むSAOC復号化を概略的に示し、(仮想の)強化されたオブジェクト分離部(E−OS)を含む改善されたSAOC復号器のこの実例の原理を具象化して示す。SAOC復号器には、信号混合が強化されたパラメトリックサイド情報(E−PSI)と一緒に入力される。E−PSIは、オーディオオブジェクトに係る情報と、ミキシングパラメータと、追加的情報とを含む。この追加的サイド情報によって、各オブジェクトs1…sNに対し、また各t/f領域R(tR,fR)に対し、どのt/f表現が使用されるべきかが仮想のE−OSへと信号伝達される。所与のt/f領域R(tR,fR)について、オブジェクト分離部は、サイド情報の中で各オブジェクトのために信号伝達された個々のt/f表現を使用して、オブジェクトの各々を推定する。
を含んでもよい。微細構造のオブジェクト特有サイド情報
は、時間/周波数領域R(tR,fR)の中で、レベル(例えばオーディオオブジェクトの信号エネルギー、信号パワー、振幅など)がどのように変化するかを記述している微細構造のレベル情報であってもよい。微細構造のオブジェクト特有サイド情報
は、オーディオオブジェクトiとjそれぞれのオブジェクト間相関情報であってもよい。ここで、微細構造のオブジェクト特有サイド情報
は、オブジェクト特有時間/周波数分解能TFRiに応じて、微細構造の時間スロットηと微細構造の(ハイブリッド)サブバンドκを用いて、ある時間/周波数グリッド上で定義される。この点については以下に図12の文脈の中で説明する。ここでは、少なくとも3つの基本的な場合が識別され得る。
(a)オブジェクト特有時間/周波数分解能TFRiは、QMF時間スロット及び(ハイブリッド)サブバンドの粒度に対応する。この場合、η=nであり、κ=kである。
(b)オブジェクト特有時間/周波数分解能情報TFRIiは、スペクトルズーム変換が時間/周波数領域R(tR,fR)又はその一部分の中で実行されるべきであると示している。この場合、各(ハイブリッド)サブバンドkは、2つ以上の微細構造の(ハイブリッド)サブバンドκk,κk+1,…へとサブ分割され、そのためスペクトル分解能が増大する。換言すれば、微細構造の(ハイブリッド)サブバンドκk,κk+1,…は、オリジナル(ハイブリッド)サブバンドの小数部(fractions)である。その代わり、時間分解能は時間/周波数不確実性のために低下する。そのため、微細構造の時間スロットηは、2つ以上の時間スロットn,n+1,…を含む。
(c)オブジェクト特有時間/周波数分解能情報TFRIiは、時間的ズーム変換が時間/周波数領域R(tR,fR)又はその一部分の中で実行されるべきであると示している。この場合、各時間スロットnは、2つ以上の更に微細構造の時間スロットηn,ηn+1…へとサブ分割されて、その時間分解能が増大する。換言すれば、微細構造の時間スロットηn,ηn+1…は時間スロットnの小数部である。その代わり、スペクトル分解能は時間/周波数不確実性のために低下する。そのため、微細構造の(ハイブリッド)サブバンドκは2つ以上の(ハイブリッド)サブバンドk,k+1,…を含む。
が実行される。次に、オーディオオブジェクト及び関係するタイルに関してサイド情報内で信号伝達された特有t/f表現(単数又は複数)を使用して生成されていた、それらオブジェクト特有のタイル又はt/f表現から、時間及び周波数にわたって最終的なオーディオオブジェクトが組み立てられる。
を提供する。これらオブジェクトは、推定された分離済みオーディオオブジェクト
を通常のt/f表現にするために(既にそうでない場合)、任意選択的なt/f分解能変換器130へと入力されてもよい。典型的には、通常のt/f分解能又は表現とは、フィルタバンク又はオーディオ信号の全般的な処理が基礎とする変換の真のt/f分解能であってもよく、即ち、MPEG SAOCの場合、通常の分解能はQMF時間スロット及び(ハイブリッド)サブバンドの粒度である。説明を目的として、推定されたオーディオオブジェクトは行列140内に一時的に記憶されると想定されてもよい。実際の構成においては、後に使用されないであろう推定された分離済みオーディオオブジェクトは、即座に廃棄されてもよく、又は最初から計算されなくてもよい。行列140の各行は、同じオーディオオブジェクトのH個の異なる推定、即ち、H個の異なるt/f表現に基づいて決定された推定された分離済みオーディオオブジェクトを含む。行列140の中央部分がグリッドを用いて概略的に示されている。各行列要素
は、推定された分離済みオーディオオブジェクトのオーディオ信号に対応する。換言すれば、各行列要素は、目標t/f領域R(tR,fR)内の複数の時間スロット/サブバンドのサンプル(例えば図11の実施例においては、7個の時間スロット×3個のサブバンド=21個の時間スロット/サブバンドのサンプル)を含む。
のうちのどれが使用されるべきかを示している。オブジェクト特有時間/周波数分解能情報は、典型的には符号器によって決定されており、サイド情報の一部として復号器へと供給されている。図10において、行列140内の破線のボックスと×印とは、各オーディオオブジェクトについてどのt/f表現が選択されたのかを示している。その選択は、オブジェクト特有時間/周波数分解能情報TFRI1…TFRINを受信する選択部112によって行われる。
は、直接的に使用されかつ処理されてもよい。他の実施形態では、レンダラー150は、「ソロモード」又は「カラオケモード」のような特殊な設定へとセットされてもよい。ソロモードにおいては、出力信号へとレンダリングされるべく単一の推定されたオーディオオブジェクトが選択される。カラオケモードにおいては、1つの推定されたオーディオオブジェクトを除く全てが出力信号へとレンダリングされるべく選択される。典型的には、リードボーカルのパートがレンダリングされず、伴奏のパートがレンダリングされる。両方のモードでは、小さなクロストークでさえ知覚可能であるため、高い分離性能が求められる。
及び粗いサイド情報がどのように編成されるかを概略的に示す。図11の上部分は、時間スロット(典型的には表記上、及び特にオーディオコーディング関連のISO/IEC標準において、インデックスnにより示される)と、(ハイブリッド)サブバンド(典型的には表記上、インデックスkにより示される)と、に応じてサンプリングされた時間/周波数ドメインの一部を示している。その時間/周波数ドメインはまた、異なる時間/周波数領域へと分割される(図11内では太い破線によって図示されている)。典型的には、1つのt/f領域は、複数の時間スロット/サブバンドのサンプルを含む。1つのt/f領域R(tR,fR)は、他のt/f領域のための代表例としての役割を果たすであろう。例示した考慮対象のt/f領域R(tR,fR)は、7個の時間スロットn〜n+6と3個の(ハイブリッド)サブバンドk〜k+2にわたって延びており、従って21個の時間スロット/サブバンドのサンプルを含む。次に、2つの異なるオーディオオブジェクトi及びjを想定する。オーディオオブジェクトiは、t/f領域R(tR,fR)内において実質的に調性の特徴を持っていてもよく、他方、オーディオオブジェクトjは、t/f領域R(tR,fR)内において実質的に過渡の特徴を持っていてもよい。オーディオオブジェクトi及びjのこれらの異なる特徴をより適切に表現するために、t/f領域R(tR,fR)は、オーディオオブジェクトiについてはスペクトル方向に、オーディオオブジェクトjについては時間方向に、サブ分割されてもよい。t/f領域は、t/f表現ドメインの中で必ずしも同一又は均一に分布している必要はないが、オーディオオブジェクトの必要項目に応じてサイズ、位置及び分布において適応され得るという点に注意されたい。換言すれば、ダウンミックス信号Xは、時間/周波数ドメインにおいて複数の時間スロット及び複数の(ハイブリッド)サブバンドへとサンプリングされる。t/f領域R(tR,fR)は、ダウンミックス信号Xの少なくとも2つのサンプルにわたって延びている。オブジェクト特有時間/周波数分解能TFRhは、時間/周波数領域R(tR,fR)よりも細密である。
は、オーディオオブジェクトiのエネルギーがどのように3つのスペクトルサブ領域間に配分されるかを示す3個の更なる値を提供する。図示されたケースでは、3つのスペクトルサブ領域の各々が1つの(ハイブリッド)サブバンドに対応しているが、他の配分もまた可能である。1つのスペクトルサブ領域を他のスペクトルサブ領域よりも小さくして、より小さなスペクトルサブバンドにおいて使用可能な特に細密なスペクトル分解能を得ることさえも、視野に入り得る。同様に、オーディオオブジェクトjのコンテンツをt/f領域R(tR,fR)内でより適切に表現するために、同じt/f領域R(tR,fR)が複数の時間サブ領域へとサブ分割されてもよい。
を有する推定された共分散行列En,kを、次式に従って決定するよう構成されてもよい。
[数13]
ここで、
は時間スロットn及び(ハイブリッド)サブバンドkに関するオーディオオブジェクトi及びjの推定された共分散であり、
は時間スロットn及び(ハイブリッド)サブバンドkに関するオーディオオブジェクトi及びjのオブジェクト特有サイド情報であり、
は時間スロットn及び(ハイブリッド)サブバンドkに関するオーディオオブジェクトi及びjのオブジェクト間相関情報である。
を、オブジェクト特有時間/周波数分解能(ズームt/f分解能)で出力する。次に、少なくとも1つの抽出されたオーディオオブジェクト
は逆ズーム変換器132により逆ズーム変換され、R(tR,fR)において抽出されたオーディオオブジェクト
を、ダウンミックス信号の時間/周波数分解能で、又は他の所望の時間/周波数分解能で取得する。R(tR,fR)において抽出されたオーディオオブジェクト
は次に他の時間/周波数領域、例えばR(tR-1,fR-1),R(tR-1,fR),…R(tR+1,fR+1)で抽出されたオーディオオブジェクト
と結合され、抽出されたオーディオオブジェクト
が組み立てられる。
[数14]
ここで、
は、オブジェクト特有時間スロットηとオブジェクト特有(ハイブリッド)サブバンドκとに関するオーディオオブジェクトi及びjの推定された共分散行列であり、
は、オブジェクト特有時間スロットηとオブジェクト特有(ハイブリッド)サブバンドκとに関するオーディオオブジェクトi及びjのオブジェクト特有サイド情報であり、
は、オブジェクト特有時間スロットηとオブジェクト特有(ハイブリッド)サブバンドκとに関するオーディオオブジェクトi及びjのそれぞれのオブジェクト間相関情報である。
がオブジェクト特有時間/周波数分解能TFRhにおいて利用可能でない又は決定できない場合もあり得る。この場合、R(tR,fR)内のオーディオオブジェクトjの粗いサイド情報、時間的に平均化された値、又はスペクトル的に平均化された値が、パラメータ
を時間/周波数領域R(tR,fR)内又はそのサブ領域内において近似するために、使用されてもよい。
と粗いオブジェクト特有サイド情報OLDiとを、第1サイド情報及び第2サイド情報の少なくとも1つの一部として提供するよう更に構成されてもよい。粗いオブジェクト特有サイド情報OLDiは、少なくとも1つの時間/周波数領域R(tR,fR)内で一定である。微細構造のオブジェクト特有サイド情報
は、粗いオブジェクト特有サイド情報OLDiと少なくとも1つのオーディオオブジェクトsiとの差を記述してもよい。オブジェクト間相関関係IOCi,j及び
は、他のパラメトリックサイド情報と同様に、アナログ方式で処理されてもよい。
提案された解決策は知覚的オーディオ品質を良好に改善するが、これは可能性としては、完全に復号器−互換性を持つ方法で実現できる。t/f領域R(tR,fR)を現状のSAOC内のt/fグルーピングに対して調和するように定義することで、現存する標準SAOC復号器は、PSIの後方互換性のある部分を復号化でき、粗いt/f分解能レベルでオブジェクトの再構築を生成できる。追加された情報が強化されたSAOC復号器によって使用される場合、再構築の知覚的品質はかなり向上する。各オーディオオブジェクトについて、この追加的サイド情報は、オブジェクトを推定するためにどの個別のt/f表現が使用されるべきかという情報と、選択されたt/f表現に基づくオブジェクトの微細構造の記述と、を含んでいる。
オブジェクト特有t/f表現とそれに関連する復号器への信号伝達は、如何なるSAOCスキームに対しても適用できる。それは、現在及び将来の、如何なるオーディオフォーマットとも組み合わせることができる。その概念は、SAOCアプリケーションにおいて、オーディオオブジェクトのパラメトリック推定のための個別的なt/f分解能のオーディオオブジェクト適応型の選択がもたらす、強化された知覚的オーディオオブジェクト推定を可能にする。
Claims (18)
- ダウンミックス信号(X)とサイド情報(PSI)とからなるマルチオブジェクト・オーディオ信号を復号化するオーディオ復号器であって、前記サイド情報は、少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についてのオブジェクト特有サイド情報(PSIi)と、前記少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についての前記オブジェクト特有サイド情報のオブジェクト特有時間/周波数分解能(TFRh)を示すオブジェクト特有時間/周波数分解能情報(TFRIi)と、を含み、
前記少なくとも1つのオーディオオブジェクト(si)について、前記サイド情報(PSI)から前記オブジェクト特有時間/周波数分解能情報(TFRIi)を決定するよう構成されたオブジェクト特有時間/周波数分解能決定部(110)と、
前記オブジェクト特有時間/周波数分解能(TFRIi)に従って前記オブジェクト特有サイド情報を使用して、前記ダウンミックス信号(X)から前記少なくとも1つのオーディオオブジェクト(si)を分離するよう構成されたオブジェクト分離部(120)と、
を含むオーディオ復号器。 - 請求項1に記載のオーディオ復号器であって、
前記オブジェクト特有サイド情報は、前記少なくとも1つの時間/周波数領域(R(tR,fR))における前記少なくとも1つのオーディオオブジェクト(si)についての微細構造のオブジェクト特有サイド情報(fsli n,k, fslj n,k)であり、
前記サイド情報(PSI)は、前記少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についての粗いオブジェクト特有サイド情報をさらに含み、
前記粗いオブジェクト特有サイド情報は前記少なくとも1つの時間/周波数領域(R(tR,fR))内では一定である、オーディオ復号器。 - 請求項1に記載のオーディオ復号器であって、
前記微細構造のオブジェクト特有サイド情報(fsli n,k)は、前記粗いオブジェクト特有サイド情報と前記少なくとも1つのオーディオオブジェクト(si)との差を記述している、オーディオ復号器。 - 請求項1〜3のいずれか1項に記載のオーディオ復号器であって、
前記ダウンミックス信号(X)は時間/周波数ドメインで複数の時間スロット及び複数の(ハイブリッド)サブバンドへとサンプリングされ、前記時間/周波数領域(R(tR,fR))は前記ダウンミックス信号(X)の少なくとも2つのサンプルに亘って延びており、前記オブジェクト特有時間/周波数分解能(TFRh)は両方の次元の少なくとも一方において前記時間/周波数領域(R(tR,fR))より微細である、オーディオ復号器。 - 請求項1〜4のいずれか1項に記載のオーディオ復号器であって、
前記オブジェクト分離部(120)は、次式にしたがって前記少なくとも1つのオーディオオブジェクト(si)と少なくとも1つの追加のオーディオオブジェクト(sj)の要素ei,j η,κを持つ推定された共分散行列(Eη,κ)を決定するよう構成され、
ここで、ei,j η,κは微細構造の時間スロットηと微細構造の(ハイブリッド)サブバンドκとについてオーディオオブジェクトiとjの推定された共分散であり、
fsli η,κ及びfslj η,κは微細構造の時間スロットηと微細構造の(ハイブリッド)サブバンドκとについて前記オーディオオブジェクトiとjのオブジェクト特有サイド情報であり、
fsci,j η,κは、それぞれ微細構造の時間スロットηと微細構造の(ハイブリッド)サブバンドκとについて前記オーディオオブジェクトiとjのオブジェクト間相関情報であり、
fsli η,κ、fslj η,κ及びfsci,j η,κの少なくとも1つは、前記オブジェクト特有時間/周波数分解能情報(TFRIi, TFRIj)によって示された前記オーディオオブジェクトi及びjについてのオブジェクト特有時間/周波数分解能(TFRh)に従って、前記時間/周波数領域(R(tR,fR))内で変化し、
前記オブジェクト分離部(120)はさらに、前記推定された共分散行列(Eη,κ)を使用して、前記ダウンミックス信号(X)から前記少なくとも1つのオーディオオブジェクト(si)を分離するよう構成されている、オーディオ復号器。 - 請求項1〜5のいずれか1項に記載のオーディオ復号器であって、
前記時間/周波数領域(R(tR,fR))内の前記ダウンミックス信号(X)を、ダウンミックス信号時間/周波数分解能から前記少なくとも1つのオーディオオブジェクト(si)の少なくとも前記オブジェクト特有時間/周波数分解能(TFRh)へと変換して、再変換されたダウンミックス信号(Xη,κ)を取得するよう構成された、ダウンミックス信号時間/周波数変換部と、
前記時間/周波数領域(R(tR,fR))内の前記少なくとも1つのオーディオオブジェクト(si)を、前記オブジェクト特有時間/周波数分解能(TFRh)から通常のt/f-分解能又は前記ダウンミックス信号時間/周波数分解能へと時間/周波数変換するよう構成された、逆時間/周波数変換部と、をさらに含み、
前記オブジェクト分離部(120)は、前記オブジェクト特有時間/周波数分解能(TFRh)において、前記ダウンミックス信号(X)から前記少なくとも1つのオーディオオブジェクト(si)を分離するよう構成されている、オーディオ復号器。 - 複数のオーディオオブジェクト(si)をダウンミックス信号(X)及びサイド情報(PSI)へと符号化するオーディオ符号器であって、
前記複数のオーディオオブジェクト(si)を少なくとも、第1の時間/周波数分解能(TFR1)を使用して第1の複数の対応する変換形態(s1,1(t,f)…sN,1(t,f))へと変換し、かつ第2の時間/周波数分解能(TFR2)を使用して第2の複数の対応する変換形態(s1,2(t,f)…sN,2(t,f))へと変換するよう構成された、時間−周波数変換部と、
少なくとも、前記第1の複数の対応する変換形態(s1,1(t,f)…sN,1(t,f))についての第1のサイド情報と、前記第2の複数の対応する変換形態(s1,2(t,f)…sN,2(t,f))についての第2のサイド情報とを、決定するよう構成されたサイド情報決定部(t/f−SIE)であって、前記第1と第2のサイド情報は、ある時間/周波数領域(R(tR,fR))における前記複数のオーディオオブジェクト(si)の相互関係を前記第1と第2の時間/周波数分解能(TFR1, TFR2)においてそれぞれ示している、サイド情報決定部(t/f−SIE)と、
前記複数のオーディオオブジェクトの少なくとも1つのオーディオオブジェクト(si)について、少なくとも前記第1と第2のサイド情報からある適性基準に基づいて1つのオブジェクト特有サイド情報を選択するよう構成されたサイド情報選択部(SI−AS)であって、前記適性基準は、前記オーディオオブジェクト(si)を時間/周波数ドメインで表現するための少なくとも前記第1又は第2の時間/周波数分解能の適性を示しており、前記オブジェクト特有サイド情報は前記オーディオ符号器によって出力される前記サイド情報(PSI)の中に導入される、サイド情報選択部と、
を含むオーディオ符号器。 - 請求項7に記載のオーディオ符号器であって、前記適性基準はソース推定に基づいており、前記サイド情報選択部(SI−AS)は、
前記ダウンミックス信号(X)と、前記第1と第2の時間/周波数分解能(TFR1,TFR2)にそれぞれ対応する少なくとも前記第1情報と前記第2情報とを使用して、前記複数のオーディオオブジェクト(si)の少なくとも1つの選択されたオーディオオブジェクトを推定するよう構成されたソース推定部であって、少なくとも第1の推定されたオーディオオブジェクト(si,estm1)と第2の推定されたオーディオオブジェクト(si,estm2)とを提供する、ソース推定部と、
少なくとも前記第1の推定されたオーディオオブジェクト(si,estm1)と前記第2の推定されたオーディオオブジェクト(si,estm2)との品質を査定するよう構成された品質査定部と、
を含む、オーディオ符号器。 - 請求項8に記載のオーディオ符号器であって、前記品質査定部は、少なくとも前記第1の推定されたオーディオオブジェクト(si,estm1)と前記第2の推定されたオーディオオブジェクト(si,estm2)との品質を、ソース推定性能尺度としての信号対歪み比(SDR)に基づいて査定するよう構成されており、前記信号対歪み比(SDR)は前記サイド情報(PSI)だけに基づいて決定される、オーディオ符号器。
- 請求項7乃至9のいずれか一項に記載のオーディオ符号器であって、前記複数のオーディオオブジェクトの中の前記少なくとも1つのオーディオオブジェクト(si)についての前記適性基準は、少なくとも前記第1の時間/周波数分解能(TFR1)と前記第2の時間/周波数分解能(TFR2)とに応じた前記少なくとも1つのオーディオオブジェクトの2つ以上のt/f分解能表現のスパースネス度に基づいており、前記サイド情報選択部(SI−AS)は、前記少なくとも1つのオーディオオブジェクト(si)の最も粗いt/f表現に関連する少なくとも前記第1と第2のサイド情報の中から前記サイド情報を選択するよう構成されている、オーディオ符号器。
- 請求項7乃至10のいずれか一項に記載のオーディオ符号器であって、前記サイド情報決定部(t/f−SIE)はさらに、微細構造のオブジェクト特有サイド情報(fsli n,k)と粗いオブジェクト特有サイド情報とを、前記第1のサイド情報及び第2のサイド情報の少なくとも1つの一部として提供するよう構成されており、前記粗いオブジェクト特有サイド情報は前記少なくとも1つの時間/周波数領域(R(tR,fR))内で一定である、オーディオ符号器。
- 請求項11に記載のオーディオ符号器であって、前記微細構造のオブジェクト特有サイド情報(fsli n,k)は、前記粗いオブジェクト特有サイド情報と前記少なくとも1つのオーディオオブジェクト(si)との差を記述している、オーディオ符号器。
- 請求項7乃至12のいずれか一項に記載のオーディオ符号器であって、前記ダウンミックス信号(X)を複数の時間スロット及び複数の(ハイブリッド)サブバンドへと時間/周波数ドメイン内でサンプリングされる表現へと変換するよう構成された、ダウンミックス信号処理部を更に含み、前記時間/周波数領域(R(tR,fR))は前記ダウンミックス信号(X)の少なくとも2つのサンプルにわたって延びており、少なくとも1つのオーディオオブジェクトについて特定されたオブジェクト特有時間/周波数分解能(TFRh)は、前記時間/周波数領域(R(tR,fR))と比べ、両方の次元の少なくとも1つにおいてより微細である、オーディオ符号器。
- ダウンミックス信号(X)とサイド情報(PSI)とからなるマルチオブジェクト・オーディオ信号を復号化する方法であって、前記サイド情報は、少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についてのオブジェクト特有サイド情報(PSIi)と、前記少なくとも1つの時間/周波数領域(R(tR,fR))における前記少なくとも1つのオーディオオブジェクト(si)についての前記オブジェクト特有サイド情報のオブジェクト特有時間/周波数分解能(TFRh)を示すオブジェクト特有時間/周波数分解能情報(TFRIi)と、を含み、
前記方法は、
前記少なくとも1つのオーディオオブジェクト(si)について、前記サイド情報(PSI)から前記オブジェクト特有時間/周波数分解能情報(TFRIi)を決定するステップと、
前記オブジェクト特有時間/周波数分解能(TFRIi)に従って前記オブジェクト特有サイド情報を使用して、前記ダウンミックス信号(X)から前記少なくとも1つのオーディオオブジェクト(si)を分離するステップと、
を含む方法。 - 複数のオーディオオブジェクト(si)をダウンミックス信号(X)及びサイド情報(PSI)へと符号化する方法であって、
前記方法は、
前記複数のオーディオオブジェクト(si)を少なくとも、第1の時間/周波数分解能(TFR1)を使用して第1の複数の対応する変換形態(s1,1(t,f)…sN,1(t,f))へと変換し、かつ第2の時間/周波数分解能(TFR2)を使用して第2の複数の対応する変換形態(s1,2(t,f)…sN,2(t,f))へと変換するステップと、
少なくとも、前記第1の複数の対応する変換形態(s1,1(t,f)…sN,1(t,f))についての第1のサイド情報と、前記第2の複数の対応する変換形態(s1,2(t,f)…sN,2(t,f))についての第2のサイド情報と、を決定するステップであって、前記第1と第2のサイド情報は、ある時間/周波数領域(R(tR,fR))における前記複数のオーディオオブジェクト(si)の相互関係を前記第1と第2の時間/周波数分解能(TFR1, TFR2)においてそれぞれ示している、ステップと、
前記複数のオーディオオブジェクトの少なくとも1つのオーディオオブジェクト(si)について、少なくとも前記第1と第2のサイド情報からある適性基準に基づいて1つのオブジェクト特有サイド情報を選択するステップであって、前記適性基準は、前記オーディオオブジェクト(si)を時間/周波数ドメインで表現するための少なくとも前記第1又は第2の時間/周波数分解能の適性を示しており、前記オブジェクト特有サイド情報は前記オーディオ符号器によって出力される前記サイド情報(PSI)の中に導入される、ステップと、
を含む方法。 - ダウンミックス信号(X)とサイド情報(PSI)とからなるマルチオブジェクト・オーディオ信号を復号化するオーディオ復号器であって、前記サイド情報は、少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についてのオブジェクト特有サイド情報(PSIi)と、前記少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についての前記オブジェクト特有サイド情報のオブジェクト特有時間/周波数分解能(TFRh)を示すオブジェクト特有時間/周波数分解能情報(TFRIi)と、を含み、
前記少なくとも1つのオーディオオブジェクト(si)について、前記サイド情報(PSI)から前記オブジェクト特有時間/周波数分解能情報(TFRIi)を決定するよう構成されたオブジェクト特有時間/周波数分解能決定部(110)と、
前記オブジェクト特有時間/周波数分解能(TFRIi)に従って前記オブジェクト特有サイド情報を使用して、前記ダウンミックス信号(X)から前記少なくとも1つのオーディオオブジェクト(si)を分離するよう構成されたオブジェクト分離部(120)であって、前記ダウンミックス信号内の少なくとも1つの他のオーディオオブジェクト(sj)についてのオブジェクト特有サイド情報は異なるオブジェクト特有時間/周波数分解能(TFR)を有する、オブジェクト分離部(120)と、
を含むオーディオ復号器。 - ダウンミックス信号(X)とサイド情報(PSI)とからなるマルチオブジェクト・オーディオ信号を復号化する方法であって、前記サイド情報は、少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についてのオブジェクト特有サイド情報(PSIi)と、前記少なくとも1つの時間/周波数領域(R(tR,fR))における少なくとも1つのオーディオオブジェクト(si)についての前記オブジェクト特有サイド情報のオブジェクト特有時間/周波数分解能(TFRh)を示すオブジェクト特有時間/周波数分解能情報(TFRIi)と、を含み、
前記方法は、
前記少なくとも1つのオーディオオブジェクト(si)について、前記サイド情報(PSI)から前記オブジェクト特有時間/周波数分解能情報(TFRIi)を決定するステップと、
前記オブジェクト特有時間/周波数分解能(TFRIi)に従って前記オブジェクト特有サイド情報を使用して、前記ダウンミックス信号(X)から前記少なくとも1つのオーディオオブジェクト(si)を分離するステップであって、前記ダウンミックス信号内の少なくとも1つの他のオーディオオブジェクト(sj)についてのオブジェクト特有サイド情報は異なるオブジェクト特有時間/周波数分解能(TFR)を有する、ステップと、
を含む方法。 - コンピュータ上で作動したとき請求項14、15又は17に記載の方法を実行する、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13167484.8A EP2804176A1 (en) | 2013-05-13 | 2013-05-13 | Audio object separation from mixture signal using object-specific time/frequency resolutions |
EP13167484.8 | 2013-05-13 | ||
PCT/EP2014/059570 WO2014184115A1 (en) | 2013-05-13 | 2014-05-09 | Audio object separation from mixture signal using object-specific time/frequency resolutions |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016524721A true JP2016524721A (ja) | 2016-08-18 |
JP6289613B2 JP6289613B2 (ja) | 2018-03-07 |
Family
ID=48444119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016513308A Active JP6289613B2 (ja) | 2013-05-13 | 2014-05-09 | オブジェクト特有時間/周波数分解能を使用する混合信号からのオーディオオブジェクト分離 |
Country Status (17)
Country | Link |
---|---|
US (2) | US10089990B2 (ja) |
EP (2) | EP2804176A1 (ja) |
JP (1) | JP6289613B2 (ja) |
KR (1) | KR101785187B1 (ja) |
CN (1) | CN105378832B (ja) |
AR (1) | AR096257A1 (ja) |
AU (2) | AU2014267408B2 (ja) |
BR (1) | BR112015028121B1 (ja) |
CA (1) | CA2910506C (ja) |
HK (1) | HK1222253A1 (ja) |
MX (1) | MX353859B (ja) |
MY (1) | MY176556A (ja) |
RU (1) | RU2646375C2 (ja) |
SG (1) | SG11201509327XA (ja) |
TW (1) | TWI566237B (ja) |
WO (1) | WO2014184115A1 (ja) |
ZA (1) | ZA201509007B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018203471A1 (ja) * | 2017-05-01 | 2018-11-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び符号化方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2804176A1 (en) | 2013-05-13 | 2014-11-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object separation from mixture signal using object-specific time/frequency resolutions |
US9812150B2 (en) | 2013-08-28 | 2017-11-07 | Accusonus, Inc. | Methods and systems for improved signal decomposition |
US10468036B2 (en) * | 2014-04-30 | 2019-11-05 | Accusonus, Inc. | Methods and systems for processing and mixing signals using signal decomposition |
FR3041465B1 (fr) * | 2015-09-17 | 2017-11-17 | Univ Bordeaux | Procede et dispositif de formation d'un signal mixe audio, procede et dispositif de separation, et signal correspondant |
EP3293733A1 (en) * | 2016-09-09 | 2018-03-14 | Thomson Licensing | Method for encoding signals, method for separating signals in a mixture, corresponding computer program products, devices and bitstream |
CN108009182B (zh) * | 2016-10-28 | 2020-03-10 | 京东方科技集团股份有限公司 | 一种信息提取方法和装置 |
WO2019105575A1 (en) * | 2017-12-01 | 2019-06-06 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
US11972767B2 (en) * | 2019-08-01 | 2024-04-30 | Dolby Laboratories Licensing Corporation | Systems and methods for covariance smoothing |
CN114424586A (zh) * | 2019-09-17 | 2022-04-29 | 诺基亚技术有限公司 | 空间音频参数编码和相关联的解码 |
TWI825492B (zh) * | 2020-10-13 | 2023-12-11 | 弗勞恩霍夫爾協會 | 對多個音頻對象進行編碼的設備和方法、使用兩個以上之相關音頻對象進行解碼的設備和方法、電腦程式及資料結構產品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011501544A (ja) * | 2007-10-17 | 2011-01-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ダウンミックスを用いたオーディオコーディング |
WO2011013381A1 (ja) * | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 符号化装置および復号装置 |
WO2011039195A1 (en) * | 2009-09-29 | 2011-04-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value |
JP2012525600A (ja) * | 2009-04-28 | 2012-10-22 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ダウンミックス信号表現に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置、オブジェクト関連のパラメトリック情報を用いたオーディオ信号デコーダ、オーディオ信号トランスコーダ、オーディオ信号エンコーダ、オーディオビットストリーム、方法およびコンピュータ・プログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1839426A (zh) * | 2003-09-17 | 2006-09-27 | 北京阜国数字技术有限公司 | 多分辨率矢量量化的音频编解码方法及装置 |
US7809579B2 (en) * | 2003-12-19 | 2010-10-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Fidelity-optimized variable frame length encoding |
WO2005098826A1 (en) * | 2004-04-05 | 2005-10-20 | Koninklijke Philips Electronics N.V. | Method, device, encoder apparatus, decoder apparatus and audio system |
CN1981326B (zh) * | 2004-07-02 | 2011-05-04 | 松下电器产业株式会社 | 音频信号解码装置和方法及音频信号编码装置和方法 |
RU2473062C2 (ru) * | 2005-08-30 | 2013-01-20 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ кодирования и декодирования аудиосигнала и устройство для его осуществления |
MY145497A (en) * | 2006-10-16 | 2012-02-29 | Dolby Sweden Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
BRPI0715312B1 (pt) * | 2006-10-16 | 2021-05-04 | Koninklijke Philips Electrnics N. V. | Aparelhagem e método para transformação de parâmetros multicanais |
EP2015293A1 (en) * | 2007-06-14 | 2009-01-14 | Deutsche Thomson OHG | Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain |
DE102007040117A1 (de) * | 2007-08-24 | 2009-02-26 | Robert Bosch Gmbh | Verfahren und Motorsteuereinheit zur Aussetzerkennung bei einem Teilmotorbetrieb |
EP3296992B1 (en) * | 2008-03-20 | 2021-09-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for modifying a parameterized representation |
EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
BRPI0914056B1 (pt) * | 2008-10-08 | 2019-07-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Esquema de codificação/decodificação de áudio comutado multi-resolução |
BRPI1009648B1 (pt) * | 2009-06-24 | 2020-12-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | decodificador de sinal de áudio, método para decodificador um sinal de áudio e programa de computador com o uso de etapas de processamento de objeto de áudio em cascata |
CA2781310C (en) * | 2009-11-20 | 2015-12-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter |
EP2360681A1 (en) * | 2010-01-15 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information |
TWI557723B (zh) * | 2010-02-18 | 2016-11-11 | 杜比實驗室特許公司 | 解碼方法及系統 |
KR102033985B1 (ko) * | 2012-08-10 | 2019-10-18 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 공간적 오디오 객체 코딩에 오디오 정보를 적응시키기 위한 장치 및 방법 |
EP2717262A1 (en) * | 2012-10-05 | 2014-04-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder, decoder and methods for signal-dependent zoom-transform in spatial audio object coding |
EP2717261A1 (en) * | 2012-10-05 | 2014-04-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding |
EP2757559A1 (en) * | 2013-01-22 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
EP2804176A1 (en) * | 2013-05-13 | 2014-11-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object separation from mixture signal using object-specific time/frequency resolutions |
-
2013
- 2013-05-13 EP EP13167484.8A patent/EP2804176A1/en not_active Withdrawn
-
2014
- 2014-05-09 MY MYPI2015002733A patent/MY176556A/en unknown
- 2014-05-09 EP EP14725403.1A patent/EP2997572B1/en active Active
- 2014-05-09 KR KR1020157035229A patent/KR101785187B1/ko active IP Right Grant
- 2014-05-09 CA CA2910506A patent/CA2910506C/en active Active
- 2014-05-09 JP JP2016513308A patent/JP6289613B2/ja active Active
- 2014-05-09 CN CN201480027540.7A patent/CN105378832B/zh active Active
- 2014-05-09 MX MX2015015690A patent/MX353859B/es active IP Right Grant
- 2014-05-09 SG SG11201509327XA patent/SG11201509327XA/en unknown
- 2014-05-09 WO PCT/EP2014/059570 patent/WO2014184115A1/en active Application Filing
- 2014-05-09 AU AU2014267408A patent/AU2014267408B2/en active Active
- 2014-05-09 RU RU2015153218A patent/RU2646375C2/ru active
- 2014-05-09 BR BR112015028121-4A patent/BR112015028121B1/pt active IP Right Grant
- 2014-05-12 TW TW103116692A patent/TWI566237B/zh active
- 2014-05-12 AR ARP140101905A patent/AR096257A1/es active IP Right Grant
-
2015
- 2015-11-12 US US14/939,677 patent/US10089990B2/en active Active
- 2015-12-10 ZA ZA2015/09007A patent/ZA201509007B/en unknown
-
2016
- 2016-09-01 HK HK16110381.8A patent/HK1222253A1/zh unknown
-
2017
- 2017-07-27 AU AU2017208310A patent/AU2017208310C1/en active Active
-
2018
- 2018-09-13 US US16/130,841 patent/US20190013031A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011501544A (ja) * | 2007-10-17 | 2011-01-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ダウンミックスを用いたオーディオコーディング |
JP2012525600A (ja) * | 2009-04-28 | 2012-10-22 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ダウンミックス信号表現に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置、オブジェクト関連のパラメトリック情報を用いたオーディオ信号デコーダ、オーディオ信号トランスコーダ、オーディオ信号エンコーダ、オーディオビットストリーム、方法およびコンピュータ・プログラム |
WO2011013381A1 (ja) * | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 符号化装置および復号装置 |
WO2011039195A1 (en) * | 2009-09-29 | 2011-04-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018203471A1 (ja) * | 2017-05-01 | 2018-11-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び符号化方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2997572B1 (en) | 2023-01-04 |
ZA201509007B (en) | 2017-11-29 |
US20160064006A1 (en) | 2016-03-03 |
MX2015015690A (es) | 2016-03-04 |
HK1222253A1 (zh) | 2017-06-23 |
CA2910506A1 (en) | 2014-11-20 |
WO2014184115A1 (en) | 2014-11-20 |
AU2017208310B2 (en) | 2019-06-27 |
MX353859B (es) | 2018-01-31 |
EP2997572A1 (en) | 2016-03-23 |
MY176556A (en) | 2020-08-16 |
EP2804176A1 (en) | 2014-11-19 |
JP6289613B2 (ja) | 2018-03-07 |
KR101785187B1 (ko) | 2017-10-12 |
CN105378832B (zh) | 2020-07-07 |
US10089990B2 (en) | 2018-10-02 |
RU2646375C2 (ru) | 2018-03-02 |
AU2017208310A1 (en) | 2017-10-05 |
AU2014267408A1 (en) | 2015-12-03 |
SG11201509327XA (en) | 2015-12-30 |
AU2014267408B2 (en) | 2017-08-10 |
TWI566237B (zh) | 2017-01-11 |
BR112015028121B1 (pt) | 2022-05-31 |
US20190013031A1 (en) | 2019-01-10 |
KR20160009631A (ko) | 2016-01-26 |
AR096257A1 (es) | 2015-12-16 |
RU2015153218A (ru) | 2017-06-14 |
TW201503112A (zh) | 2015-01-16 |
BR112015028121A2 (pt) | 2017-07-25 |
AU2017208310C1 (en) | 2021-09-16 |
CA2910506C (en) | 2019-10-01 |
CN105378832A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6289613B2 (ja) | オブジェクト特有時間/周波数分解能を使用する混合信号からのオーディオオブジェクト分離 | |
KR101685860B1 (ko) | 공간 오디오 객체 코딩에 있어서 신호 종속적인 줌 변환을 위한 인코더, 디코더 및 방법들 | |
JP6285939B2 (ja) | 後方互換性のある多重分解能空間オーディオオブジェクト符号化のためのエンコーダ、デコーダおよび方法 | |
AU2021221466B2 (en) | Apparatus for encoding or decoding an encoded multichannel signal using a filling signal generated by a broad band filter | |
KR101837686B1 (ko) | 공간적 오디오 객체 코딩에 오디오 정보를 적응시키기 위한 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6289613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |