JP2015527611A - マルチチャネル・ダウンミックス/アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法 - Google Patents

マルチチャネル・ダウンミックス/アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法 Download PDF

Info

Publication number
JP2015527611A
JP2015527611A JP2015524811A JP2015524811A JP2015527611A JP 2015527611 A JP2015527611 A JP 2015527611A JP 2015524811 A JP2015524811 A JP 2015524811A JP 2015524811 A JP2015524811 A JP 2015524811A JP 2015527611 A JP2015527611 A JP 2015527611A
Authority
JP
Japan
Prior art keywords
channels
downmix
channel
processing units
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015524811A
Other languages
English (en)
Other versions
JP6141978B2 (ja
Inventor
カシュトナー,トルシュテン
ヘッレ,ユェルゲン
テレンティフ,レオン
ヘルムート,オリファー
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2015527611A publication Critical patent/JP2015527611A/ja
Application granted granted Critical
Publication of JP6141978B2 publication Critical patent/JP6141978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】1以上のダウンミックスチャネルを含むダウンミックス信号から1以上のオーディオ出力チャネルを含むオーディオ出力信号を生成するデコーダを提供する。【解決手段】ダウンミックス信号には、1以上のオーディオオブジェクトの信号が符号化される。デコーダは、1以上のオーディオオブジェクト信号のうちの少なくとも1つの信号エネルギーおよび/もしくはノイズエネルギーに応じて、ならびに/または前記1以上のダウンミックスチャネルのうちの少なくとも1つの信号エネルギーおよび/もしくはノイズエネルギーに応じて、閾値を決定する閾値決定器(110)を備える。さらに、デコーダは、閾値に応じて1以上のダウンミックスチャネルから1以上のオーディオ出力チャネルを生成する処理部(120)を備える。【選択図】図1

Description

本発明は、マルチチャネル・ダウンミックス/アップミックス構成用のパラメトリックコンセプトを採用した、マルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法に関する。
現在のデジタルオーディオシステムでは、送信コンテンツについて、受信機側でオーディオオブジェクト関連の変更を行うことを許容することが主流となっている。これらの変更には、オーディオ信号の選択部位についてのゲイン変更、および/または空間的に分散したスピーカを通じてマルチチャネル再生を行う場合の専用オーディオオブジェクトの空間的再配置が含まれる。これは、それぞれのスピーカに対して、オーディオコンテンツの各部位を個別に伝達することによって達成される。
つまり、オーディオ処理、オーディオ送信およびオーディオ蓄積の分野においては、オブジェクト指向のオーディオコンテンツ再生について、ユーザの相互反応を許容したいという要望が高まっているとともに、聴覚的印象を改善するために、オーディオコンテンツまたはその一部について、個別にマルチチャネル再生を行うという拡張的可能性を利用したいというニーズがある。これによって、マルチチャネル・オーディオコンテンツの利用は、ユーザに対して、大きな改善をもたらす。例えば、三次元の聴覚的印象を得ることができ、これによって、エンタテインメント利用した場合には、さらなるユーザ満足がもたらされる。しかしながら、マルチチャネル・オーディオコンテンツは、商業環境においてもまた有用であり、例えば、電話会議に利用した場合、マルチチャネル・オーディオ再生を利用することによって、話者を容易に認識することができる。その他の潜在的用途としては、楽曲の聴き手に対して、再生レベルを個別に調整すること、および/またはヴォーカルパートや異なる楽器等の異なるパーツ(以下「オーディオオブジェクト」ともいう。)またはトラックの空間的位置を個別に調整することが考えられる。ユーザは、個人的嗜好のために、楽曲の1以上の部位の簡単な複写、教育、カラオケやリハーサル等の目的のために、そのような調整を行うことができる。
全てのデジタルマルチチャネルまたはマルチオブジェクト・オーディオコンテンツを、そのまま、例えば、パルス符号変調(PCM)データ形式や、さらには圧縮オーディオ形式などで、個別に送信すると、非常に高いビットレートを要する。しかしながら、ビットレート効率よく、オーディオデータを送信し蓄積することが望ましい。したがって、マルチチャネル/マルチオブジェクト・アプリケーションにより生じる過度なリソース負担を回避するため、オーディオ品質とビットレート要件との間で、合理的なバランスを図ることが望ましい。
近年、オーディオ符号化の分野においては、ビットレート効率のよいマルチチャネル/マルチオブジェクト・オーディオ信号の送信/記憶に関するパラメータ技術が、例えばムービング・ピクチャー・エクスパーツ・グループ(MPEG)やその他によって導入されている。一例としては、チャネル志向のアプローチとして、MPEGサラウンド(MPS)(非特許文献1、非特許文献2)が、オブジェクト指向のアプローチとして、MPEG空間音響オブジェクト符号化(SAOC)(非特許文献3、非特許文献6、非特許文献4、非特許文献5)が挙げられる。他のオブジェクト志向アプローチは、「インフォームド情報源分離」と称される(非特許文献7、非特許文献8、非特許文献9、非特許文献10、非特許文献11、非特許文献12)。これらの技術は、対象となる出力オーディオシーン、または対象となるオーディオソースオブジェクトを、チャネル/オブジェクトのダウンミックス、および送信または蓄積されたオーディオシーンおよび/または当該オーディオシーンにおけるオーディオソースオブジェクトを記載する追加的副情報に基づき、再構成することを目的とする。
そのようなシステムでのチャネル/オブジェクト関連副情報の推定および適用は、時間−周波数選択的態様で行われる。したがって、そのようなシステムは、離散フーリエ変換(DFT)、短時間フーリエ変換(STFT)またはフィルタバンク的な直交ミラーフィルタ(QMF)バンクなどの時間−周波数変換を使用する。このシステムの基本的原理を、MPEG SAOCの例を用いて図2に示す。
STFTの場合には、時間の次元が時間ブロック数によって表され、スペクトルの次元がスペクトル係数(「ビン」)によって捕捉される。QMFの場合には、時間の次元がタイムスロット数によって表され、スペクトルの次元がサブバンド数によって捕捉される。QMFのスペクトル解像度が後続の第2のフィルタ段の適用によって向上された場合、フィルタバンク全体はハイブリッドQMFと称され、高解像度のサブバンドはハイブリッドサブバンドと称される。
上述のように、SAOCでは、一般的な処理が、時間−周波数選択的態様で実行され、図2に示すように、各周波数帯域内で以下のように説明される:
− N個の入力オーディオ信号s・・・sを、エンコーダ処理の一部として、要素d1,1・・・dN,Pからなるダウンミックス行列を用いてP個のチャネルx・・・xへとミックスダウンする。さらに、エンコーダは、入力オーディオオブジェクトの特性を記述する副情報を抽出する(副情報推定器(SIE)モジュール)。MPEG SAOCにとって、オブジェクトのパワーの相互の関係が、そのような副情報の最も基本的なものである。
− ダウンミックス信号および副情報を送信/蓄積する。この目的のため、例えば、MPEG−1/2 Layer2または3(mp3)、MPEG−2/4 Advanced Audio Coding(AAC)など周知の知覚オーディオコーダを用いて、ダウンミックスオーディオ信号を圧縮することができる。
− 受信端において、デコーダは、概念的には、送信された副情報を用いて(復号された)ダウンミックス信号から元のオブジェクト信号を復元しようとする(「オブジェクト分離」)。そして、これらの近似オブジェクト信号
は、図2における係数r1,1・・・rN,Mによって記述されたレンダリング行列を用いて、M個のオーディオチャネル
によって表される目標シーンにミキシングされる。所望の目標シーンは、極端な場合では、ミキシングの中の1つだけの音源信号のレンダリングであってもよいし(音源分離シナリオ)、送信されるオブジェクトからなる他の任意の音響シーンであってもよい。例えば、出力は、単一チャネル、2チャネルステレオまたは5.1マルチチャネルの目標シーンとすることができる。
オーディオ符号化の分野における利用可能な帯域/蓄積容量の増加および進行中の改善によって、ユーザは、徐々に増加している選択肢からマルチチャネル・オーディオ製品を選択することができる。マルチチャネル5.1オーディオフォーマットは、既にDVDおよびブルーレイ製品において標準となっている。より多くのオーディオ移送チャネルを持つMPEG−H 3D Audioのような新たなオーディオフォーマットが出現し、これは高度な没入型のオーディオ体験をエンドユーザに提供することになる。
ISO/IEC 23003−1:2007,MPEG−D(MPEG audio technologies),Part 1:MPEG Surround,2007 C.Faller and F.Baumgarte,"Binaural Cue Coding−Part II:Schemes and applications,"IEEE Trans. on Speech and Audio Proc.,vol.11,no.6,Nov.2003 C.Faller,"Parametric Joint−Coding of Audio Sources",120th AES Convention,Paris,2006 J.Herre,S.Disch,J.Hilpert,O.Hellmuth:"From SAC To SAOC−Recent Developments in Parametric Coding of Spatial Audio",22nd Regional UK AES Conference,Cambridge,UK,April 2007 J.Engdegaerd,B.Resch,C.Falch,O.Hellmuth,J.Hilpert,A.Hoelzer,L.Terentiev,J.Breebaart,J.Koppens,E.Schuijers and W.Oomen:"Spatial Audio Object Coding(SAOC)−The Upcoming MPEG Standard on Parametric Object Based Audio Coding",124th AES Convention,Amsterdam 2008 ISO/IEC,"MPEG audio technologies−Part 2:Spatial Audio Object Coding(SAOC)",ISO/IEC JTC1/SC29/WG11(MPEG) International Standard 23003−2 M.Parvaix and L.Girin:"Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding",IEEE ICASSP,2010 M.Parvaix,L.Girin,J.−M.Brossier:"A watermarking−based method for informed source separation of audio signals with a single sensor",IEEE Transactions on Audio,Speech and Language Processing,2010 A.Liutkus and J.Pinel and R.Badeau and L.Girin and G.Richard:"Informed source separation through spectrogram coding and data embedding",Signal Processing Journal,2011 A.Ozerov,A.Liutkus,R.Badeau,G.Richard:"Informed source separation:source coding meets source separation",IEEE Workshop on Applications of Signal Processing to Audio and Acoustics,2011 Shuhua Zhang and Laurent Girin:"An Informed Source Separation System for Speech Signals",INTERSPEECH,2011 L.Girin and J.Pinel:"Informed Audio Source Separation from Compressed Linear Stereo Mixtures",AES 42nd International Conference:Semantic Audio,2011
パラメトリックなオーディオオブジェクト符号化手法は、現在、最大2個のダウンミックスチャネルに制限されている。この手法は、マルチチャネルのミキシング、例えば、2個だけのダウンミックスチャネルに対して、ある程度しか適用され得ない。したがって、この符号化手法によって、オーディオシーンをユーザ自身の好みに調整できるようにユーザに与えられる柔軟性は非常に制限され、例えば、スポーツ放送においてスポーツ解説者と周辺とのオーディオレベルを変化させることなどに限定される。
さらに、現在のオーディオオブジェクト符号化手法は、エンコーダ側でのミキシング処理において、制限された多様性しか与えない。ミキシング処理は、オーディオオブジェクトの時間変数ミキシングに制限され、周波数変数ミキシングは可能でない。
したがって、オーディオオブジェクト符号化について、改善された概念が提供されることが非常に望ましい。
本発明の課題は、オーディオオブジェクト符号化に関する改善された概念を提供することである。本発明の課題は、請求項1に記載のデコーダ、請求項16に記載の方法、および請求項17のコンピュータプログラムによって解決される。
3以上のダウンミックスチャネルを有し3以上のオーディオオブジェクト信号を符号化したダウンミックス信号から、1以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダが提供される。
このデコーダは、3以上のダウンミックスチャネルを受け取り、かつ副情報を受け取る入力チャネルルータと、1以上のオーディオ出力チャネルを得るために、少なくとも2つの処理済チャネルを生成する少なくとも2つのチャネル処理部とを備える。
入力チャネルルータは、3以上のダウンミックスチャネルの少なくとも2つをそれぞれ、少なくとも2つのチャネル処理部のうち少なくとも1つに供給し、少なくとも2つのチャネル処理部のそれぞれが、3以上のダウンミックスチャネルのうち1以上を受け取ると共に、少なくとも2つのチャネル処理部のそれぞれが、3以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取るよう構成される。
少なくとも2つのチャネル処理部のそれぞれは、副情報に基づき、かつチャネル処理部が入力チャネルルータから受け取った3以上のダウンミックスチャネルの少なくとも2つのうちの1以上に基づいて、少なくとも2つの処理済チャネルの1以上を生成するよう構成される。
ミキシング処理におけるさらなる柔軟性によって、信号オブジェクト特性の最適な利用が可能となる。ダウンミックスは、知覚品質についてデコーダ側でのパラメトリック分離に最適となるよう生成されることができる。
実施形態において、SAOCシステムにおけるパラメトリック部分を、任意の数のダウンミックス/アップミックスチャネルに対して拡張する。本発明の方法によって、オーディオオブジェクトのミキシングを完全に柔軟に行うことができる。
一実施形態によると、入力チャネルルータは、3以上のダウンミックスチャネルのうち少なくとも2つをそれぞれ、少なくとも2つのチャネル処理部のうちただ1つに対して供給するよう構成されてもよい。
一実施形態において、入力チャネルルータは、3以上のダウンミックスチャネルのそれぞれを、少なくとも2つのチャネル処理部のうち少なくとも1つに供給し、3以上のダウンミックスチャネルのそれぞれが、少なくとも2つのチャネル処理部の1以上に受け取られるよう構成されてもよい。
一実施形態によると、少なくとも2つのチャネル処理部のそれぞれが、少なくとも2つの処理済チャネルの1以上を、3以上のダウンミックスチャネルの少なくとも1つから独立して生成するよう構成されてもよい。
一実施形態において、少なくとも2つのチャネル処理部のそれぞれは、モノラル処理部またはステレオ処理部のいずれかであり、モノラル処理部は、3以上のダウンミックスチャネルのうちただ1つを受け取り、3以上のダウンミックスチャネルのそのだだ1つと副情報とに基づき、少なくとも2つの処理済チャネルのうちただ1つ、またはただ2つを生成するよう構成され、ステレオ処理部は、3以上のダウンミックスチャネルのうちただ2つを受け取って、3以上のダウンミックスチャネルのうちそのただ2つと副情報とに基づき、少なくとも2つの処理済チャネルのうちただ1つ、またはただ2つを生成するよう構成されてもよい。
少なくとも2つのチャネル処理部の少なくとも1つは、3以上のダウンミックスチャネルのうちただ1つを受け取り、3以上のダウンミックスチャネルのうちのそのただ1つと副情報とに基づき、少なくとも2つの処理済チャネルのうちただ2つを生成するよう構成されてもよい。
一実施形態によると、少なくとも2つのチャネル処理部の少なくとも1つは、3以上のダウンミックスチャネルのうちただ2つを受け取り、3以上のダウンミックスチャネルのそのただ2つと副情報とに基づき、少なくとも2つの処理済チャネルのうちただ1つを生成するよう構成されてもよい。
一実施形態において、入力チャネルルータは、4以上のダウンミックスチャネルを受け取るよう構成され、少なくとも2つのチャネル処理部の少なくとも1つは、4以上のダウンミックスチャネルの少なくとも3つを受け取り、4以上のダウンミックスチャネルのうちその少なくとも3つと副情報に基づき、処理済チャネルを少なくとも3つ生成するよう構成されてもよい。
一実施形態によると、少なくとも2つのチャネル処理部の少なくとも1つは、4以上のダウンミックスチャネルのうちただ3つを受け取り、4以上のダウンミックスチャネルのうちその3つと副情報に基づき、処理済チャネルをただ3つ生成するよう構成されてもよい。
一実施形態において、入力チャネルルータは、6以上のダウンミックスチャネルを受け取るよう構成され、少なくとも2つのチャネル処理部の少なくとも1つは、6以上のダウンミックスチャネルのうちただ5つを受け取り、6以上のダウンミックスチャネルのうちそのただ5つと副情報とに基づき、処理済チャネルを5つだけ生成するよう構成されてもよい。
一実施形態において、入力チャネルルータは、3以上のダウンミックスチャネルの少なくとも1つを、少なくとも2つのチャネル処理部のいずれに対しても供給しないよう構成され、3以上のダウンミックスチャネルの少なくとも1つは、少なくとも2つのチャネル処理部のいずれによっても受け取られないよう構成されてもよい。
一実施形態によると、このデコーダは、少なくとも2つの処理済チャネルを組み合わせて1以上のオーディオ出力チャネルを得る出力チャネルルータをさらに備えることができる。
一実施形態において、このデコーダは、レンダラをさらに備え、このレンダラは、レンダリング情報を受け取り、少なくとも2つの処理済チャネルとレンダリング情報とに基づき、1以上のオーディオ出力チャネルを生成するよう構成されてもよい。
一実施形態によると、少なくとも2つのチャネル処理部は、少なくとも2つの処理済チャネルを並列に生成するよう構成されてもよい。
一実施形態によると、少なくとも2つのチャネル処理部の第1のチャネル処理部は、少なくとも2つの処理済チャネルのうちの第1の処理済チャネルを、少なくとも2つのチャネル処理部の第2のチャネル処理部に供給し、第2の処理部は、第1の処理済チャネルに基づいて、少なくとも2つの処理済チャネルのうちの第2の処理済チャネルを生成するよう構成されてもよい。
さらに、3以上のダウンミックスチャネルを有するダウンミックス信号から、1以上のオーディオ出力チャネルを有するオーディオ出力信号を生成する方法が提供される。ダウンミックス信号には、3以上のオーディオオブジェクト信号が符号化されている。この方法は:
入力チャネルルータにより、3以上のダウンミックスチャネルを受け取ると共に副情報を受け取り、
3以上のダウンミックスチャネルの少なくとも2つをそれぞれ、少なくとも2つのチャネル処理部の少なくとも1つに供給し、
少なくとも2つのチャネル処理部により、1以上のオーディオ出力チャネルを得るために、少なくとも2つの処理済チャネルを生成する。
この方法において、入力チャネルルータは、3以上のダウンミックスチャネルの少なくとも2つのそれぞれを、少なくとも2つのチャネル処理部の少なくとも1つに供給し、少なくとも2つのチャネル処理部のそれぞれが、3以上のダウンミックスチャネルのうち1以上を受け取り、かつ少なくとも2つのチャネル処理部のそれぞれが、3以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取る。
そして、少なくとも2つの処理済チャネルの生成は、少なくとも2つのチャネル処理部のそれぞれが、副情報に基づき、かつ入チャネル処理部が力チャネルルータから受け取った3以上のダウンミックスチャネルの少なくとも2つのうちの1以上に基づき、少なくとも2つの処理済チャネルの1以上を生成することによって行われる。
さらに、コンピュータまたは信号処理装置において実行されたとき、上述の方法を実施するコンピュータプログラムが提供される。
以下、本発明の実施形態を、図面を参照してより詳しく説明する。
一実施形態による、オーディオ出力信号生成デコーダである。 MPEG SAOCの例を用いて、システムの基本的原理を図示するSAOCシステム概略図である。 一実施形態による、複数のSAOCモノラルおよびステレオデコーダ/トランスコーダ段を並列に組み合わせて、パラメトリックにマルチチャネル混合信号を復号する原理を示す概略図である。 一実施形態による、SAOCモノラルおよびステレオデコーダ/トランスコーダ段をカスケード構成として、マルチチャネル混合信号を復号する原理を示す概略図である。
本発明の実施形態を説明する前に、現行技術のSAOC方式についての背景をさらに説明する。
図2は、SAOCエンコーダ10およびSAOCデコーダ12の一般的構成を示す。SAOCエンコーダ10は、N個の入力オブジェクト、すなわち、オーディオ信号s1〜を受信する。具体的には、エンコーダ10は、オーディオ信号s1〜を受信し、それをダウンミックス信号18にダウンミックスするダウンミキサ16を備える。あるいは、ダウンミックスが外部から与えられ(「アーティスティックなダウンミックス」)、システムが、追加の副情報を推定して、与えられたダウンミックスを、計算されたダウンミックスに一致させるようにしてもよい。図2において、ダウンミックス信号は、Pチャネル信号として示される。ここでは、モノラル(P=1)、ステレオ(P=2)またはマルチチャネル(P>2)のいずれのダウンミックス信号構成でもよい。
ステレオダウンミックスの場合、ダウンミックス信号18のチャネルはL0およびR0と表記され、モノラルダウンミックスの場合、単にL0と表記される。SAOCデコーダ12が個々のオブジェクトs1〜を受信することができるようにするため、副情報推定器17は、SAOCパラメータを含む副情報をSAOCデコーダ12に与える。例えば、ステレオダウンミックスの場合、SAOCパラメータは、オブジェクトレベルの差(OLD)、オブジェクト間相関(IOC)(オブジェクト間相互相関パラメータ)、ダウンミックスゲイン値(DMG)およびダウンミックスチャネルレベルの差(DCLD)を含む。SAOCパラメータを含む副情報20は、ダウンミックス信号18とともに、SAOCデコーダ12によって受信されたSAOC出力データストリームを形成する。
SAOCデコーダ12はアップミキサを備え、このアップミキサは、副情報20とともにダウンミックス信号18を受信して、SAOCデコーダ12に入力されたレンダリング情報26により規定されているレンダリングで、オーディオ信号
を、任意のユーザ選択によるチャネルセット
上に復元およびレンダリングする。
オーディオ信号sからsは、時間領域またはスペクトル領域のような何らかの符号化領域で、エンコーダ10に入力される。オーディオ信号sからsがPCM符号化されるなどして時間領域でエンコーダ10に供給される場合、エンコーダ10は、信号をスペクトル領域、すなわちオーディオ信号が異なるスペクトル部分に関連付けられた複数のサブバンドに特定のフィルタバンク解像度で表される領域、に変換するために、ハイブリッドQMFバンクのようなフィルタバンクを用いることができる。オーディオ信号sからsが、既にエンコーダ10によって想定されているよう表現となっている場合には、スペクトル分解を行う必要はない。
図1は、一実施形態による、3以上のダウンミックスチャネルを有するダウンミックス信号から、1以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダを示す。ダウンミックス信号には、3以上のオーディオオブジェクト信号が符号化される。
デコーダは、3以上のダウンミックスチャネルDMX1、DMX2、DMX3を受け取ると共に副情報Slを受け取る入力チャネルルータ110と、1以上のオーディオ出力チャネルを得るために少なくとも2つの処理済チャネルを生成する少なくとも2つのチャネル処理部121、122とを備える。
入力チャネルルータ110は、3以上のダウンミックスチャネルDMX1、DMX2、DMX3の少なくとも2つをそれぞれ、少なくとも2つのチャネル処理部121、122の少なくとも1つに供給し、少なくとも2つのチャネル処理部121、122のそれぞれが、3以上のダウンミックスチャネルのうち1以上を受け取り、また少なくとも2つのチャネル処理部121、122のそれぞれが、3以上のダウンミックスチャネルDMX1、DMX2、DMX3の総数よりも少ない数のダウンミックスチャネルを受け取る。
特に、図1の実施形態においては、3つのダウンミックスチャネルDMX1、DMX2、DMS3のそれぞれが、ただ1つのチャネル処理部に入力される。しかしながら、その他の実施形態においては、入力チャネルルータ110によって受け取られた3以上のダウンミックスチャネルの全てが、処理部に入力されなくともよい。いずれにせよ、3以上のダウンミックスチャネルのうち、少なくとも2つのダウンミックスチャネルがそれぞれ、チャネル処理部の少なくとも1つに入力される。
少なくとも2つのチャネル処理部121、122のそれぞれは、入力チャネルルータ110からチャネル処理部121、122が受け取った副情報Slおよび3以上のダウンミックスチャネル(DMX1、DMX2、DMX3)のうち少なくとも2つのうちの1以上に基づき、少なくとも2つの処理済チャネルの1以上を生成するよう構成される。
図1の例においては、チャネル処理部121は、2つのダウンミックスチャネル(DMX1、DMX2)を受け取り、2つの処理済チャネル(PCH1、PCH2)を生成する。したがって、処理部121は、ステレオ−ステレオ処理部と考えてよい。
さらに、図1の例においては、チャネル処理部122は、ダウンミックスチャネルDMX3を受け取り、2つの処理済チャネル(PCH3、PCH4)を生成する。
図1の例においては、処理済チャネルPCH1、PCH2、PCH3、PCH4は、デコーダによって生成されたオーディオ出力チャネルである。しかしながら、その他の実施形態においては、オーディオ出力チャネルは、例えば、レンダリング情報を用いて、処理済チャネルに基づき生成される。
ダウンミックスチャネルからの処理済チャネルの生成は、副情報を用いることでなされる。副情報は、例えば、当該3以上のダウンミックスチャネルを得るために、オーディオオブジェクトがどのようにダウンミックスされているかを示すダウンミックス情報を含んでいる。さらに、副情報は、N×Nの大きさの共分散マトリックに関する情報も含んでおり、これには、符号化されたN個のオーディオオブジェクトすなわちN個のオーディオオブジェクト信号について、これらN個のオーディオオブジェクトのOLDおよびIOCパラメータが示されている。
少なくとも2つの処理部121、122のうち一方は、例えば、モノラル−モノラル「x−1−1」処理モードを実行するモノラル−モノラル処理部であってもよい。あるいは、少なくとも2つの処理部121、122のうち一方は、例えば、モノラル−ステレオ「x−1−2」処理モードを実行するよう構成されてもよい。さらには、少なくとも2つの処理部121、122のうち一方は、例えば、ステレオ−モノラル「x−2−1」処理モードを実行するよう構成されてもよい。また、少なくとも2つの処理部121、122のうち一方は、例えば、ステレオ−ステレオ「x−2−2」処理モードを実行するステレオ−ステレオ処理部であってもよい。
モノラル−モノラル「x−1−1」処理モード、モノラル−ステレオ「x−1−2」処理モード、ステレオ−モノラル「x−2−1」処理モードおよびステレオ−ステレオ「x−2−2」処理モードは、SAOC規格(非特許文献6参照)において、SAOC規格の復号モードとして記載されている。
特に、例えば、非特許文献6の“SAOC Processing”の章、さらには“Decoding modes”の項を参照されたい。
一実施形態において、少なくとも2つのチャネル処理部121、122のそれぞれは、モノラル処理部またはステレオ処理部のいずれであってもよい。この場合において、モノラル処理部は、3以上のダウンミックスチャネルのうち1つのみを受け取って、1つのダウンミックスチャネルおよび副情報に基づき、少なくとも2つの処理信号のうちただ1つまたはただ2つを生成するよう構成される。また、ステレオ処理部は、3以上のダウンミックスチャネルのうちただ2つを受け取って、その2つのダウンミックスチャネルおよび副情報に基づき、少なくとも2つの処理信号のうちただ1つまたはただ2つを生成するよう構成される。
少なくとも2つのチャネル処理部121、122の少なくとも一方は、3以上のダウンミックスチャネルのうちただ1つを受け取って、その1つのダウンミックスチャネルおよび副情報に基づいて、少なくとも2つの処理信号のうちただ2つを生成するよう構成されてもよい。
一実施形態によると、少なくとも2つのチャネル処理部121、122の少なくとも一方は、3以上のダウンミックスチャネルのうちただ2つを受け取って、その2つのダウンミックスチャネルおよび副情報に基づいて、少なくとも2つの処理信号のうちただ1つを生成するよう構成されてもよい。
少なくとも2つの処理部121、122のうち一方は、例えば、1つのモノラル・ダウンミックスチャネルから5つの処理済チャネルを生成するよう、モノラル・ダウンミックス(「x−1−5」)処理モードを実行してもよい。あるいは、少なくとも2つの処理部121、122のうち一方は、例えば、2つのダウンミックスチャネルから5つの処理済チャネルを生成するよう、ステレオダウンミックス(「x−2−5」)処理モードを実行してもよい。
モノラル・ダウンミックス(「x−1−5」)処理モード、およびステレオ・ダウンミックス「x−2−5」処理モードは、SAOC規格(非特許文献6)において、SAOC規格の変換コードモードとして記載されている。
特に、例えば、非特許文献6の特に“SAOC Processing”の章、さらには“Transcoding modes”の項を参照されたい。
ある実施形態においては、チャネル処理部121、122のうち一方、一部または全部が異なる構成とされてもよい。
一実施形態において、入力チャネルルータ110は4以上のダウンミックスチャネルを受け取るよう構成されてもよく、少なくとも2つのチャネル処理部121、122の少なくとも一方は、4以上のダウンミックスチャネルのうち少なくとも3つを受け取り、その少なくとも3つのダウンミックスチャネルおよび副情報に基づいて、少なくとも3つの処理信号を生成するよう構成されてもよい。
一実施形態によると、少なくとも2つのチャネル処理部121、122の少なくとも一方は、4以上のダウンミックスチャネルのうちただ3つを受け取って、そのただ3つのダウンミックスチャネルおよび副情報に基づいて、ただ3つの処理信号を生成するよう構成されてもよい。
一実施形態において、入力チャネルルータ110は、6以上のダウンミックスチャネルを受け取るよう構成されてもよい。この場合においては、少なくとも2つのチャネル処理部121、122の少なくとも一方は、6つのダウンミックスチャネルのうちただ5つを受け取り、その5つのダウンミックスチャネルおよび副情報に基づいて、ただ5つの処理済チャネルを生成するよう構成されてもよい。
一実施形態において、入力チャネルルータは、3以上のダウンミックスチャネルのうち少なくとも2つをそれぞれ、少なくとも2つのチャネル処理部121、122のうち一方のみに入力するよう構成されてもよい。したがって、例えば、図1の例に示すように、ダウンミックスチャネルDMX1、DMX2、DMX3のいずれも、2以上のチャネル処理部121、122には入力されない。しかしながら、その他の実施形態においては、1以上のダウンミックスチャネルが、2以上のチャネル処理部に入力されてもよい。
一実施形態において、入力チャネルルータ110は、3以上のダウンミックスチャネルをそれぞれ、少なくとも2つのチャネル処理部121、122のうち少なくとも一方に入力し、少なくとも2つのチャネル処理部121、122のうち1以上の処理部は、3以上のダウンミックスチャネルのそれぞれを受け取る。しかしながら、その他の実施形態においては、入力チャネルルータ110は、3以上のダウンミックスチャネルのうち少なくとも1つを、少なくとも2つのチャネル処理部121、122のいずれにも入力しないよう構成され、3以上のダウンミックスチャネルの少なくとも1つが、少なくとも2つのチャネル処理部のいずれによっても受け取られないものとしている。
一実施形態によると、少なくとも2つのチャネル処理部121、122のそれぞれが、少なくとも2つの処理済チャネルの1以上を、3以上のダウンミックスチャネルのうち少なくとも1つから独立して生成するよう構成されてもよい。つまり、図1に示す通り、いずれのチャネル処理部も、ダウンミックスチャネルDMX1、DMX2、DMX3の全てを受け取るわけではない。
一実施形態によると、マルチチャネル・ダウンミックス処理機能は、複数のSAOCデコーダ/トランスコーダ段(またはそのパーツ)をカスケード構成または/および並列構成とすることにより、実現されてもよい。
図3は、一実施形態による、複数のSAOCモノラルおよびステレオデコーダ/トランスコーダ・インスタンスを並列に組み合わせて、パラメトリックにマルチチャネル混合信号を復号する原理を示す概略図である。
特に、図3においては、複数のSAOCモノラルおよびステレオのデコーダ/トランスコーダ段が並列に駆動され、マルチチャネル・ダウンミックスを処理する。
例えば、図3のチャネル処理部121、122、123、124、125、126は、少なくとも2つの処理済チャネルを並列に生成するよう構成されてもよい。例えば、チャネル処理部121、122、123、124、125、126は、少なくとも2つの処理済チャネルを並列に生成するように構成され、少なくとも2つのチャネル処理部の他のいずれかチャネル処理部が2つの処理済チャネルの他方の生成を完了する前に、少なくとも2つのチャネル処理部のそれぞれが、2つの処理済チャネルの1つの生成を開始することができる。
図3の入力チャネルルータ110は、入力チャネルを複数のデコーダ/トランスコーダに送る。なお、デコーダ/トランスコーダは、任意の数の入力チャネルによって駆動されることができるものとし、図3視覚的明瞭性のために示すような、モノラルまたはステレオ信号だけに限定されるものではない。
図3の実施形態によると、デコーダは、少なくとも2つの処理済チャネルを組み合わせて1以上のオーディオ出力チャネルを得る出力チャネルルータ130をさらに備える。デコーダ/トランスコーダ部から処理された(処理済)信号は、出力チャネルルータ130に供給される。出力チャネルルータ130は、複数の入力ストリームを組み合わせ、オーディオオブジェクト信号の最終推定結果を生成して、レンダラ140に出力する。
図3に示す実施形態においては、デコーダは、さらにレンダラ140を備える。このレンダラ140は、レンダリング情報を受け取るよう構成され、少なくとも2つの処理済チャネルおよびレンダリング情報に基づき、1以上のオーディオ出力チャネルを生成するよう構成される。
なお、パラメトリック処理は、対象となるダウンミックスチャネルに適用されさえすればよい。これにより、計算上の手間を低減することができる。ダウンミックス信号は、もし必要でなければ、この処理を完全に迂回してもよい(例えば、フロントシーンのみ操作されるのであれば、サラウンドチャネルは迂回してもよい)。これらの実施形態においては、入力チャネルルータ110によって受け取られた3以上のダウンミックスチャネルは、全てがチャネル処理部に供給されるのではなく、これらのダウンミックスチャネルの一部のみが供給される。いずれにせよ、3以上の受け取られたダウンミックスチャネルのうち、少なくとも2つのダウンミックスチャネルが、チャネル処理部に提供される。
図4は、一実施形態による、SAOCモノラルおよびステレオデコーダ/トランスコーダをカスケード構成とし、マルチチャネル混合信号を復号する原理を示す概略図である。
図4に示される実施形態によると、少なくとも2つのチャネル処理部のうち第1のチャネル処理部121は、少なくとも2つの処理済チャネルのうち第1の処理済チャネルPCH11を、少なくとも2つのチャネル処理部のうち第2のチャネル処理部126に供給するにように構成される。第2のチャネル処理部126は、第1処理済チャネルPCH11に基づいて、少なくとも2つの処理済チャネルのうち第2処理済チャネルPCH22を生成するよう構成されてもよい。
複数のデコーダ/トランスコーダの組み合わせは、静的であらかじめ決められたものであってもよいし、動的に構成されてもよい。
このアプローチは、マルチチャネル・ダウンミックス・システムの取り扱いの、完全にSAOC上位互換性のある拡張方法を示している。
上述した発明の実施形態は、任意の数のダウンミックス/アップミックスチャネルに対して適用できる。いかなる既存のまたは今後開発されるオーディオ形式と組み合わせることができる。
発明した方法の柔軟性によって、変更のないチャネルを迂回して、計算上の手間を回避することができる。これによって、ビットストリームペイロードが低減でき、データ量も低減できる。
一部の実施形態は、オーディオエンコーダ、エンコーディング方法、またはエンコーディングコンピュータプログラムに関するものである。また、一部の実施形態は、上述の通り、オーディオデコーダ、デコーディング方法、またはデコーディングコンピュータプログラムに関するものである。さらに、一部の実施形態は、エンコードされた信号に関するものである。
一部の側面は装置の観点から説明されたものであるが、これらの側面がまた対応する方法の説明としても機能することは明らかであり、ブロックや装置は、方法過程または方法過程の特徴に対応する。同様に、、方法の観点から説明された側面もまた、対応するブロックもしくは物品または対応する装置の特徴の説明としても機能するものである。
本発明に係る分解信号は、デジタル記憶媒体に記憶されることができ、または無線通信媒体やインターネットなどの有線通信媒体のような通信媒体において通信されることもできる。
所定の実施要件によっては、本発明に係る実施形態は、ハードウェアとして実施されてもよいし、ソフトウェアとして実施されてもよい。実施は、例えばフレキシブルディスク、DVD、CD、ROM、PROM、EPROM、EEPROM(登録商標)、またはフラッシュメモリーなどのような、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体を用いてすることができ、それぞれの方法が実行されるようこれらのデジタル記憶媒体が、プログラム可能なコンピュータシステムと協働する(または協働することできる)。
本発明による一部の実施形態では、電子的に読み取り可能な制御信号を有する固定データ担体を備え、この担体は、開示される方法のいずれかが実施されるよう、プログラム可能なコンピュータシステムと協働することができる。
総じて、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することが可能であり、そのコンピュータプログラム製品がコンピュータにおいて実行されたとき、そのプログラムコードがいずれかの方法を実行するよう動作する。このプログラムコードは、例えば機械で読み取り可能な担体に記憶されてもよい。
その他の実施形態においては、開示されるいずれかの方法を実行する、機械で読み取り可能な担体に記憶されたコンピュータプログラムを備える。
すなわち、本発明に係る方法は、その一実施形態においては、コンピュータプログラムがコンピュータで実行されたとき、開示されるいずれかの方法を実行するプログラムコードを有するコンピュータプログラムとして構成される。
したって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムが記録されたデータキャリア(またはデジタル記憶媒体またはコンピュータに読み取り可能な媒体)として構成される。
したがって、本発明に係る方法のさちなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムを示すデータストリームまたは信号シーケンスとして構成される。このデータストリームまたは信号シーケンスは、例えば、データコミュニケーション接続(例えばインターネットなど)を介して伝送されるよう構成されてもよい。
その他の実施形態においては、開示されるいずれかの方法を実行するよう構成または採用された処理手段、例えばコンピュータ、プログラム可能な論理機構を備える。
その他の実施形態においては、開示されるいずれかの方法を実行するコンピュータプログラムをインストールしたコンピュータを備える。
一部の実施形態においては、開示される方法の機能の一部または全部を実行するために、プログラム可能な論理機構(例えば、フィールドプログラマブルゲートアレイ)を用いてもよい。一部の実施形態においては、開示される方法のいずれかを実行するために、フィールドプログラマブルゲートアレイとマイクロプロセッサとを協働させてもよい。一般的に、方法は、ハードウェア装置によって実行されることが好ましい。
上述の実施形態は、本発明の原理を単に例示するものに過ぎない。開示される構成や詳細に対して変更または調整が可能であることは、当該分野に知識を有する者にとっては明らかである。したがって、本発明は、特許請求の範囲によってのみ限定されるものであり、開示の方法や実施形態の説明によって提供された具体的詳細によっては何ら限定されるものではない。

Claims (17)

  1. 3以上のダウンミックスチャネルを有するダウンミックス信号から、1以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダであって、
    前記ダウンミックス信号には3以上のオーディオオブジェクト信号が符号化され、
    前記3以上のダウンミックスチャネルを受け取ると共に副情報を受け取る入力チャネルルータ(110)と、
    前記1以上のオーディオ出力チャネルを得るために、少なくとも2つの処理済チャネルを生成する少なくとも2つのチャネル処理部(121,122,123,124,125,126)と、
    を備え、
    前記入力チャネルルータ(100)は、前記3以上のダウンミックスチャネルの少なくとも2つをそれぞれ、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つに供給し、これにより、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれが、前記3以上のダウンミックスチャネルの1以上を受け取ると共に、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれが、前記3以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取るよう構成され、
    前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれは、前記副情報に基づき、かつ前記チャネル処理部が前記入力チャネルルータ(110)から受け取った前記3以上のダウンミックスチャネルの少なくとも2つのうちの1以上に基づいて、前記少なくとも2つの処理済チャネルの1以上を生成するよう構成される
    デコーダ。
  2. 請求項1に記載のデコーダにおいて、前記入力チャネルルータ(110)は、前記3以上のダウンミックスチャネルの少なくとも2つをそれぞれ、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のうちただ1つに対して供給するよう構成されるデコーダ。
  3. 請求項1または2に記載のデコーダにおいて、前記入力チャネルルータ(110)は、前記3以上のダウンミックスチャネルのそれぞれを、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つに供給し、前記3以上のダウンミックスチャネルのそれぞれが、前記少なくとも2つのチャネル処理の1以上に受け取られるよう構成されるデコーダ。
  4. 請求項1または2に記載のデコーダにおいて、前記入力チャネルルータ(110)は、前記3以上のダウンミックスチャネルの少なくとも1つを、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のいずれに対しても供給せず、前記3以上のダウンミックスチャネルのうち前記少なくとも1つは、前記少なくとも2つのチャネル処理のいずれによっても受け取られないよう構成されるデコーダ。
  5. 請求項1から4のいずれか1項に記載のデコーダにおいて、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれは、前記少なくとも2つの処理済チャネルの前記1以上を、前記3以上のダウンミックスチャネルの少なくとも1つから独立して生成するよう構成されるデコーダ。
  6. 請求項1から5のいずれか1項に記載のデコーダにおいて、
    前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれは、モノラル処理部またはステレオ処理部のいずれかであり、
    前記モノラル処理部は、前記3以上のダウンミックスチャネルのうちただ1つを受け取って、前記3以上のダウンミックスチャネルのうち前記ただ1つと前記副情報とに基づき、前記少なくとも2つの処理済チャネルのうちただ1つ、またはただ2つを生成するよう構成され、
    前記ステレオ処理部は、前記3以上のダウンミックスチャネルのうちただ2つを受け取って、前記3以上のダウンミックスチャネルのうち前記ただ2つと前記副情報とに基づき、前記少なくとも2つの処理済チャネルのうちただ1つ、またはただ2つを生成するよう構成される
    デコーダ。
  7. 請求項1から6のいずれか1項に記載のデコーダにおいて、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つは、前記3以上のダウンミックスチャネルのうちただ1つを受け取り、前記3以上のダウンミックスチャネルのうち前記ただ1つと前記副情報とに基づき、前記少なくとも2つの処理済チャネルのうちただ2つを生成するよう構成されるデコーダ。
  8. 請求項1から7のいずれか1項に記載のデコーダにおいて、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つは、前記3以上のダウンミックスチャネルのうちただ2つを受け取り、前記3以上のダウンミックスチャネルのうち前記ただ2つと前記副情報とに基づき、前記少なくとも2つの処理済チャネルのうちただ1つを生成するよう構成されるデコーダ。
  9. 請求項1から8のいずれか1項に記載のデコーダにおいて、
    前記入力チャネルルータ(110)は、4以上のダウンミックスチャネルを受け取るよう構成され、
    前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つは、前記4以上のダウンミックスチャネルの少なくとも3つを受け取り、前記4以上のダウンミックスチャネルのうち前記少なくとも3つと前記副情報とに基づき、前記処理済チャネルを少なくとも3つ生成するよう構成されるデコーダ。
  10. 請求項9に記載のデコーダにおいて、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つは、前記4以上のダウンミックスチャネルのうちただ3つを受け取り、前記4以上のダウンミックスチャネルのうち前記ただ3つと前記副情報とに基づき、前記処理済チャネルをただ3つ生成するよう構成されるデコーダ。
  11. 請求項9または10に記載のデコーダにおいて、
    前記入力チャネルルータ(110)は、6以上のダウンミックスチャネルを受け取るよう構成され、
    前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つは、前記6以上のダウンミックスチャネルのうちただ5つを受け取り、前記6以上のダウンミックスチャネルのうち前記ただ5つと前記副情報とに基づき、前記処理済チャネルをただ5つ生成するよう構成されるデコーダ。
  12. 請求項1から11のいずれか1項に記載のデコーダにおいて、前記少なくとも2つの処理済チャネルを組み合わせて前記1以上のオーディオ出力チャネルを得る出力チャネルルータ(130)をさらに備えるデコーダ。
  13. 請求項1から12のいずれか1項に記載のデコーダにおいて、レンダラ(140)をさらに備え、このレンダラ(140)は、レンダリング情報を受け取り、前記少なくとも2つの処理済チャネルと前記レンダリング情報とに基づき、前記1以上のオーディオ出力チャネルを生成するよう構成される、デコーダ。
  14. 請求項1から13のいずれか1項に記載のデコーダにおいて、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)は、前記少なくとも2つの処理済チャネルを並列に生成するよう構成されるデコーダ。
  15. 請求項1から14のいずれか1項に記載のデコーダにおいて、
    前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のうちの第1のチャネル処理部は、前記少なくとも2つの処理済チャネルのうちの第1の処理済チャネルを、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のうちの第2のチャネル処理部に供給するように構成され、
    前記第2の処理部は、前記第1の処理済チャネルに基づいて、前記少なくとも2つの処理済チャネルのうちの第2の処理済チャネルを生成するよう構成される、
    デコーダ。
  16. 3以上のダウンミックスチャネルを有するダウンミックス信号から、1以上のオーディオ出力チャネルを有するオーディオ出力信号を生成する方法であり、
    前記ダウンミックス信号には、3以上のオーディオオブジェクト信号が符号化され、
    入力チャネルルータ(110)により、前記3以上のダウンミックスチャネルを受け取ると共に副情報を受け取り、
    前記3以上のダウンミックスチャネルの少なくとも2つを少なくとも2つのチャネル処理部(121,122,123,124,125,126)の少なくとも1つに供給し、
    前記少なくとも2つのチャネル処理部(121,122,123,124,125,126)により少なくとも2つの処理済チャネルを生成して、前記1以上のオーディオ出力チャネルを取得し、
    ここで、前記入力チャネルルータ(100)は、前記3以上のダウンミックスチャネルの少なくとも2つをそれぞれ、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)の少なくとも1つに供給し、これにより、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれが、前記3以上のダウンミックスチャネルの1以上を受け取ると共に、前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれが、前記3以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取り、
    前記少なくとも2つのチャネル処理部(121、122、123、124、125、126)のそれぞれが、前記副情報に基づき、かつ前記チャネル処理部が前記入力チャネルルータ(110)から受け取った前記3以上のダウンミックスチャネルの少なくとも2つのうちの1以上に基づいて、前記少なくとも2つの処理済チャネルの1以上を生成することによって、前記少なくとも2つの処理済チャネルを生成する、
    方法。
  17. コンピュータまたは信号処理装置において実行されたとき、請求項16に記載の方法を実施することを特徴とするコンピュータプログラム。
JP2015524811A 2012-08-03 2013-08-05 マルチチャネル・ダウンミックス/アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法 Active JP6141978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261679412P 2012-08-03 2012-08-03
US61/679,412 2012-08-03
PCT/EP2013/066374 WO2014020181A1 (en) 2012-08-03 2013-08-05 Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases

Publications (2)

Publication Number Publication Date
JP2015527611A true JP2015527611A (ja) 2015-09-17
JP6141978B2 JP6141978B2 (ja) 2017-06-07

Family

ID=48916076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015524811A Active JP6141978B2 (ja) 2012-08-03 2013-08-05 マルチチャネル・ダウンミックス/アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法

Country Status (12)

Country Link
US (1) US10176812B2 (ja)
EP (1) EP2880653B1 (ja)
JP (1) JP6141978B2 (ja)
KR (1) KR101660004B1 (ja)
CN (1) CN104756186B (ja)
AU (1) AU2013298462B2 (ja)
BR (1) BR112015002367B1 (ja)
CA (1) CA2880891C (ja)
ES (1) ES2654792T3 (ja)
MX (1) MX351687B (ja)
RU (1) RU2604337C2 (ja)
WO (1) WO2014020181A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013298462B2 (en) * 2012-08-03 2016-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
KR102529121B1 (ko) 2014-03-28 2023-05-04 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN107211227B (zh) 2015-02-06 2020-07-07 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
US11432099B2 (en) 2018-04-11 2022-08-30 Dolby International Ab Methods, apparatus and systems for 6DoF audio rendering and data representations and bitstream structures for 6DoF audio rendering
CN110808054B (zh) * 2019-11-04 2022-05-06 思必驰科技股份有限公司 多路音频的压缩与解压缩方法及系统
GB202002900D0 (en) * 2020-02-28 2020-04-15 Nokia Technologies Oy Audio repersentation and associated rendering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507115A (ja) * 2006-10-16 2010-03-04 ドルビー スウェーデン アクチボラゲット 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現
US20120183148A1 (en) * 2011-01-14 2012-07-19 Korea Electronics Technology Institute System for multichannel multitrack audio and audio processing method thereof
JP2015531078A (ja) * 2012-07-31 2015-10-29 インテレクチュアル ディスカバリー シーオー エルティディIntellectual Discovery Co.,Ltd. オーディオ信号処理方法および装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4610087B2 (ja) * 1999-04-07 2011-01-12 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 損失のない符号化・復号へのマトリックス改良
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
CN101361121B (zh) * 2006-01-19 2012-01-11 Lg电子株式会社 处理媒体信号的方法和装置
MX2008012251A (es) * 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
RU2417549C2 (ru) * 2006-12-07 2011-04-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки аудиосигнала
EP2102858A4 (en) * 2006-12-07 2010-01-20 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
CN101542597B (zh) * 2007-02-14 2013-02-27 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
PL2137725T3 (pl) * 2007-04-26 2014-06-30 Dolby Int Ab Urządzenie i sposób do syntetyzowania sygnału wyjściowego
US8527282B2 (en) * 2007-11-21 2013-09-03 Lg Electronics Inc. Method and an apparatus for processing a signal
KR20100131467A (ko) * 2008-03-03 2010-12-15 노키아 코포레이션 복수의 오디오 채널들을 캡쳐하고 렌더링하는 장치
US8060042B2 (en) * 2008-05-23 2011-11-15 Lg Electronics Inc. Method and an apparatus for processing an audio signal
CN102016982B (zh) * 2009-02-04 2014-08-27 松下电器产业株式会社 结合装置、远程通信系统以及结合方法
US8112168B2 (en) 2009-07-29 2012-02-07 Texas Instruments Incorporated Process and method for a decoupled multi-parameter run-to-run controller
KR101615262B1 (ko) * 2009-08-12 2016-04-26 삼성전자주식회사 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN103026406B (zh) * 2010-09-28 2014-10-08 华为技术有限公司 用于对已解码多通道音频信号或已解码立体声信号进行后处理的装置和方法
EP2477188A1 (en) * 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
RU2014133903A (ru) * 2012-01-19 2016-03-20 Конинклейке Филипс Н.В. Пространственные рендеризация и кодирование аудиосигнала
AU2013298462B2 (en) * 2012-08-03 2016-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
AU2013301831B2 (en) * 2012-08-10 2016-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder, decoder, system and method employing a residual concept for parametric audio object coding
EP2830046A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal to obtain modified output signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507115A (ja) * 2006-10-16 2010-03-04 ドルビー スウェーデン アクチボラゲット 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現
US20120183148A1 (en) * 2011-01-14 2012-07-19 Korea Electronics Technology Institute System for multichannel multitrack audio and audio processing method thereof
JP2015531078A (ja) * 2012-07-31 2015-10-29 インテレクチュアル ディスカバリー シーオー エルティディIntellectual Discovery Co.,Ltd. オーディオ信号処理方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Spatial Audio Object Coding (SAOC) The Upcoming MPEG Standard on Parametric Object Based Audio Codin", 124TH AES CONVENTION, JPN7016001386, January 2008 (2008-01-01), ISSN: 0003527435 *

Also Published As

Publication number Publication date
CN104756186B (zh) 2018-01-02
AU2013298462A1 (en) 2015-02-19
RU2604337C2 (ru) 2016-12-10
CN104756186A (zh) 2015-07-01
CA2880891A1 (en) 2014-02-06
US20150149187A1 (en) 2015-05-28
EP2880653A1 (en) 2015-06-10
BR112015002367B1 (pt) 2021-12-14
MX351687B (es) 2017-10-25
EP2880653B1 (en) 2017-11-01
ES2654792T3 (es) 2018-02-15
BR112015002367A2 (pt) 2018-09-11
KR101660004B1 (ko) 2016-09-27
CA2880891C (en) 2017-10-17
JP6141978B2 (ja) 2017-06-07
AU2013298462B2 (en) 2016-10-20
WO2014020181A1 (en) 2014-02-06
MX2015001514A (es) 2015-07-06
RU2015107245A (ru) 2016-09-27
KR20150040997A (ko) 2015-04-15
US10176812B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
JP6346278B2 (ja) ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム
JP6141978B2 (ja) マルチチャネル・ダウンミックス/アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法
JP6133422B2 (ja) マルチチャネルをダウンミックス/アップミックスする場合のため一般化された空間オーディオオブジェクト符号化パラメトリック概念のデコーダおよび方法
JP6289613B2 (ja) オブジェクト特有時間/周波数分解能を使用する混合信号からのオーディオオブジェクト分離
JP2011501544A (ja) ダウンミックスを用いたオーディオコーディング
JP6141980B2 (ja) 空間オーディオオブジェクト符号化においてオーディオ情報を適応させる装置および方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6141978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250