JP2015529850A - パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法 - Google Patents

パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法 Download PDF

Info

Publication number
JP2015529850A
JP2015529850A JP2015525786A JP2015525786A JP2015529850A JP 2015529850 A JP2015529850 A JP 2015529850A JP 2015525786 A JP2015525786 A JP 2015525786A JP 2015525786 A JP2015525786 A JP 2015525786A JP 2015529850 A JP2015529850 A JP 2015529850A
Authority
JP
Japan
Prior art keywords
signals
audio object
downmix
residual
object signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015525786A
Other languages
English (en)
Other versions
JP6113282B2 (ja
Inventor
カシュトナー，トルシュテン
ヘッレ，ユェルゲン
パウルス，ヨウニ
テレンティフ，レオン
ヘルムート，オリファー
フクス，ハラルト
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2015529850A publication Critical patent/JP2015529850A/ja
Application granted granted Critical
Publication of JP6113282B2 publication Critical patent/JP6113282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

デコーダが提供される。デコーダは、３つ以上のダウンミックス信号をアップミキシングすることにより複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部（１１０）を備える。３つ以上のダウンミックス信号は、複数のオリジナルオーディオオブジェクト信号を符号化し、パラメトリックデコード部（１１０）は、複数のオリジナルオーディオオブジェクト信号を示すパラメトリック副情報に基づいて、３つ以上のダウンミックス信号をアップミキシングするように構成される。さらに、デコーダは、第１推定オーディオオブジェクト信号の１つ以上を変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する残差処理部（１２０）を備える。残差処理部（１２０）は、１つ以上の残差信号に基づいて、第１推定オーディオオブジェクト信号の１つ以上を変更修正するように構成される。【選択図】図１Ａ

Description

本発明は、オーディオ信号のエンコーディング、デコーディング、および処理に関し、より具体的には、パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、および方法に関する。
近年、複数のオーディオオブジェクトを有するオーディオシーンを、効率良いビットレートで送信／蓄積するためのパラメトリック技術が、オーディオコーディング（例えば、非特許文献１から５参照）およびインフォームドソース分離（例えば、非特許文献６から１１参照）の分野で提案されている。これらの技術は、送信および／または蓄積されたオーディオシーンおよび／またはそのオーディオシーンにおけるオーディオソースオブジェクトについて記述する追加的副情報を基礎として、所望の出力オーディオシーンまたは所望のオーディオソースオブジェクトを再構築することを目的とする。
図５は、ＳＡＯＣ（空間オーディオオブジェクトコーディング）システムの概略を示し、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ＳＡＯＣの例を用いて、パラメトリックシステムの原理を示す（例えば、非特許文献５、３および４を参照）。
一般的処理は、時間／周波数を選択可能な態様により実行されるが、これについては以下の通り説明できる。
ＳＡＯＣエンコーダ５１０、特に、このＳＡＯＣエンコーダ５１０の副情報推定部５３０は、最大で３２個の入力オーディオオブジェクト信号Ｓ１〜Ｓ３２の特徴を記述する副情報を抽出する（最も簡易な形式では、オーディオオブジェクト信号のオブジェクト電力の関係）。ＳＡＯＣエンコーダ５１０のミキサー５２０は、オーディオオブジェクト信号Ｓ１〜Ｓ３２をダウンミックスし、ダウンミックスゲイン要素ｄ１，１〜ｄ３２，２を用いたモノラルまたは２チャンネル混合信号（つまり、１つまたは２つのダウンミックス信号）を生成する。
ダウンミックス信号と副情報は、送信あるいは蓄積される。このために、ダウンミックスオーディオ信号は、オーディオエンコーダ５４０を用いて符号化される。オーディオエンコーダ５４０としては、良く知られた知覚オーディオエンコーダを用いることができ、例えば、ＭＰＥＧ−１レイヤーＩＩまたはＩＩＩ（別名：ｍｐ３）オーディオエンコーダや、ＭＰＥＧアドバンスオーディオコーディング（ＡＡＣ）オーディオエンコーダなどを用いることができる。
受信側では、対応するオーディオデコーダ５５０、例えば、ＭＰＥＧ−１レイヤーＩＩまたはＩＩＩ（別名：ｍｐ３）オーディオデコーダやＭＰＥＧアドバンストオーディオコーディング（ＡＡＣ）オーディオデコーダなどの知覚オーディオデコーダが、符号化されたダウンミックスオーディオ信号をデコードする。
ＳＡＯＣデコーダ５６０は、概念的には、例えばヴァーチャルオブジェクト分離器５７０により、送信および／または蓄積された副情報を使って、１つまたは２つのダウンミックス信号から、オリジナルの（オーディオ）オブジェクト信号（「オブジェクト分離」）復元しようと試みる。そして、これらの近似（オーディオ）オブジェクト信号Ｓ１，ｅｓｔ〜Ｓ３２，ｅｓｔは、ＳＡＯＣデコーダ５６０のレンダラー５８０によって、レンダリングマトリックス（係数ｒ１，１〜ｒ３２，６により記述される）を用いて、最大で６個のオーディオ出力チャンネルｙ１，ｅｓｔ〜ｙ６，ｅｓにより示される目標シーンにミキシングされる。出力は、シングルチャンネル目標シーン、２チャンネルステレオ目標シーン、または５．１マルチチャンネル目標シーン（例えば、１、２または６のオーディオ出力信号）となる。
デコーダ側におけるオーディオオブジェクトのパラメトリック推定に根本的な制約があるため、ほとんどの場合、所望の出力シーンを完全に生成することはできない。例えば、１つのオーディオオブジェクトの単一再生などのように、極端な動作点においては、十分な主観的な音が処理によってはもはや実現できないということがよくある。このために、拡張オーディオオブジェクト（ＥＡＯ）を導入することによって、ＳＡＯＣのシステムが拡張されてきた（例えば、非特許文献１２、さらには非特許文献５を参照）。ＥＡＯとしてエンコーダされたオーディオオブジェクトは、副情報レートの増加という負担はあるものの、同じダウンミックス信号にエンコードされた他の（通常の）非拡張オーディオオブジェクト（ｎｏｎ−ＥＡＯ）からの高い分離性能を示す。ＥＡＯコンセプトは、各ＥＡＯについて、パラメトリックモデルの推定エラー（残差信号）を考慮する。
図６は、エンコーダ側における残差推定を示し、各ＥＡＯの残差信号の算出を示す概略図である。ＳＡＯＣエンコーダにおいて、残差信号（４つのＥＡＯまで）は、抽出されたパラメトリック副情報（ＰＳＩ）と、波形が符号化されＳＡＯＣビットストリームに非パラメトリック残差副情報（ＲＳＩ）として導入されたオリジナルのソース信号とを用いて推定される。さらに詳しくは、ＥＡＯ用ＰＳＩ ＳＡＯＣデコーダ６１０は、ダウンミックスＸから、推定オーディオオブジェクト信号Ｓｅｓｔ，ＥＡＯを生成する。そして、ＲＳＩ生成部６２０は、生成された推定オーディオオブジェクト信号Ｓｅｓｔ，ＥＡＯおよびオリジナルのＥＡＯオーディオオブジェクト信号Ｓ１〜Ｓ４に基づき、４つまでの残差信号Ｓｒｅｓ，ＲＳＩ｛１〜４｝を生成する。
図７は、ＥＡＯ支援のあるＳＡＯＣデコーダの基本構成を示し、ＳＡＯＣデコーディング／トランスコーディング（あるエンコーディングから別のエンコーディングへのデータ変換）のチェーンに組み込まれたＥＡＯ処理スキームの概念的概略図である。
ダウンミックス信号志向のパラメータ、すなわちチャンネル推定係数（ＣＰＣ）が、ＣＰＣ推定部７１０により、パラメトリック副情報（ＰＳＩ）から導き出される。
ＣＰＣおよびダウンミックス信号は、２対Ｎ（Ｔｗｏ−ｔｏ−Ｎ）ボックス（ＴＴＮボックス）７２０に入力される。ＴＴＮボックス７２０は、送信ダウンミックス信号（Ｘ）からＥＡＯ（Ｓｅａｔ，ＥＡＯ）を推定して、非ＥＡＯのみから構成される推定非ＥＡＯダウンミックス（Ｘｅｓｔ，ｎｏｎＥＡＯ）を提供するようコンセプトとして試みる。
送信／蓄積されデコードされた残差信号（Ｓｒｅｓ，ＲＳＩ）は、ＲＳＩ処理部７３０により用いられ、ＥＡＯ（Ｓｅｓｔ，ＥＡＯ）および対応する非ＥＡＯオブジェクト（ＸｎｏｎＥＡＯ）のみのダウンミックスの推定値を向上させる。
先行技術によると、次のステップにおいて、ＲＳＩ処理部７３０は、非ＥＡＯダウンミックス信号（ＸｎｏｎＥＡＯ）をＳＡＯＣダウンミックス処理器（ＰＳＩデコーディング部）７４０に供給し、ＰＳＩデコーディング部７４０は、非ＥＡＯオブジェクトＳｅｓｔ，ｎｏｎＥＡＯを推定する。ＰＳＩデコーディング部７４０は、推定非ＥＡＯオーディオオブジェクトＳｅｓｔ，ｎｏｎＥＡＯを、レンダリング部７５０に渡す。さらに、ＲＳＩ処理部は、改善されたＥＡＯ、Ｓ＾ ｅｓｔ，ＥＡＯをレンダリング部７５０に直接入力する。そして、レンダリング部７５０は、推定非ＥＡＯオーディオオブジェクトＳｅｓｔ，ｎｏｎＥＡＯおよび改善されたＥＡＯ、Ｓ＾ ｅｓｔ，ＥＡＯに基づき、モノラルまたはステレオ出力信号を生成する。
Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，"Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ - Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ"，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．， ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ．２００３ Ｃ．Ｆａｌｌｅｒ，"Ｐａｒａｍｅｔｒｉｃ Ｊｏｉｎｔ‐Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ Ｓｏｕｒｃｅｓ"，１２０ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ｐａｒｉｓ，２００６ Ｊ．Ｈｅｒｒｅ，Ｓ．Ｄｉｓｃｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ｏ．Ｈｅｌｌｍｕｔｈ："Ｆｒｏｍ ＳＡＣ Ｔｏ ＳＡＯＣ ‐ Ｒｅｃｅｎｔ Ｄｅｖｅｌｏｐｍｅｎｔｓ ｉｎ Ｐａｒａｍｅｔｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｓｐａｔｉａｌ Ａｕｄｉｏ"， ２２ｎｄ Ｒｅｇｉｏｎａｌ ＵＫ ＡＥＳ Ｃｏｎｆｅｒｅｎｃｅ，Ｃａｍｂｒｉｄｇｅ，ＵＫ，Ａｐｒｉｌ ２００７ Ｊ．Ｅｎｇｄｅｇａｅｒｄ，Ｂ．Ｒｅｓｃｈ，Ｃ．Ｆａｌｃｈ，Ｏ．Ｈｅｌｌｍｕｔｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ａ．Ｈａｅｌｚｅｒ，Ｌ．Ｔｅｒｅｎｔｉｅｖ，Ｊ．Ｂｒｅｅｂａａｒｔ， Ｊ．Ｋｏｐｐｅｎｓ，Ｅ．Ｓｃｈｕｉｊｅｒｓ ａｎｄ Ｗ．Ｏｏｍｅｎ："Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ （ＳＡＯＣ） − Ｔｈｅ Ｕｐｃｏｍｉｎｇ ＭＰＥＧ Ｓｔａｎｄａｒｄ ｏｎ Ｐａｒａｍｅｔｒｉｃ Ｏｂｊｅｃｔ Ｂａｓｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ"，１２４ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ａｍｓｔｅｒｄａｍ ２００８ ＩＳＯ／ＩＥＣ，"ＭＰＥＧ ａｕｄｉｏ ｔｅｃｈｎｏｌｏｇｉｅｓ ‐ Ｐａｒｔ ２：Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ （ＳＡＯＣ）"，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ （ＭＰＥＧ） Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ２３００３‐２：２０１０． Ｍ．Ｐａｒｖａｉｘ ａｎｄ Ｌ．Ｇｉｒｉｎ："Ｉｎｆｏｒｍｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ ｏｆ ｕｎｄｅｒｄｅｔｅｒｍｉｎｅｄ ｉｎｓｔａｎｔａｎｅｏｕｓ Ｓｔｅｒｅｏ Ｍｉｘｔｕｒｅｓ ｕｓｉｎｇ Ｓｏｕｒｃｅ Ｉｎｄｅｘ Ｅｍｂｅｄｄｉｎｇ"，ＩＥＥＥ ＩＣＡＳＳＰ，２０１０ Ｍ．Ｐａｒｖａｉｘ，Ｌ．Ｇｉｒｉｎ，Ｊ．Ｍ．Ｂｒｏｓｓｉｅｒ："Ａ ｗａｔｅｒｍａｒｋｉｎｇ‐ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｓｉｇｎａｌｓ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｓｅｎｓｏｒ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１０ Ａ．Ｌｉｕｔｋｕｓｒ，Ｊ．Ｐｉｎｅｌ，Ｒ．Ｂａｄｅａｕ，Ｌ．Ｇｉｒｉｎ，Ｇ．Ｒｉｃｈａｒｄ："Ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｔｈｒｏｕｇｈ ｓｐｅｃｔｒｏｇｒａｍ ｃｏｄｉｎｇ ａｎｄ ｄａｔａ ｅｍｂｅｄｄｉｎｇ"，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｊｏｕｒｎａｌ，２０１１ Ａ．Ｏｚｅｒｏｖ，Ａ．Ｌｉｕｔｋｕｓ，Ｒ．Ｂａｄｅａｕ，Ｇ．Ｒｉｃｈａｒｄ："Ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ ｃｏｄｉｎｇ ｍｅｅｔｓ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ"，ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ｔｏ Ａｕｄｉｏ ａｎｄ Ａｃｏｕｓｔｉｃｓ， ２０１１ Ｓｈｕｈｕａ Ｚｈａｎｇ ａｎｄ Ｌａｕｒｅｎｔ Ｇｉｒｉｎ："Ａｎ Ｉｎｆｏｒｍｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｓｐｅｅｃｈ Ｓｉｇｎａｌｓ"，ＩＮＴＥＲＳＰＥＥＣＨ，２０１１ Ｌ．Ｇｉｒｉｎ ａｎｄ Ｊ．Ｐｉｎｅｌ："Ｉｎｆｏｒｍｅｄ Ａｕｄｉｏ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ ｆｒｏｍ Ｃｏｍｐｒｅｓｓｅｄ Ｌｉｎｅａｒ Ｓｔｅｒｅｏ Ｍｉｘｔｕｒｅｓ"，ＡＥＳ ４２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ：Ｓｅｍａｎｔｉｃ Ａｕｄｉｏ，２０１１ Ｃ．Ｆａｌｃｈ，Ｌ．Ｔｅｒｅｎｔｉｅｖ ａｎｄ Ｊ．Ｈｅｒｒｅ："Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ ｗｉｔｈ Ｅｎｈａｎｃｅｄ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｓｅｐａｒａｔｉｏｎ"，１０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｅｆｆｅｃｔｓ，２０１０
先行技術システムには、以下のような課題がある。
残差信号を適用してＳＡＯＣデコーダでＥＡＯを計算する前に、ダウンミックス志向のＣＰＣが、送信／蓄積されたパラメトリック副情報から算出される必要がある。
全てのダウンミックス信号は、そのＥＡＯ処理における有用性に拘わらず、ＳＡＯＣ残差コンセプト内において処理されなければならない。
ＳＡＯＣ残差コンセプトは、ＴＴＮボックス制限のため、単一または２チャンネル混合信号と組み合わせてのみ使用可能である。ＥＡＯ残差コンセプトは、例えば５．１マルチチャンネル混合信号などのようなマルチチャンネル混合信号と組み合わせて使用することができない。
さらに、その推定の対応する計算上の煩雑さのため、ＳＡＯＣ ＥＡＯ処理は、ＥＡＯの数に制限を設定している（つまり４までという制限）。
この制限のため、ＳＡＯＣ ＥＡＯ残差取り扱いコンセプトは、マルチチャンネル（例えば５．１）ダウンミックス信号には適用できず、また４を超えるＥＡＯには使用できない。
したがって、オーディオ信号エンコーディング、オーディオ信号デコーディング、およびオーディオ信号処理についてのコンセプトが改善されることが非常に重視される。
本発明の目的は、オーディオ信号エンコーディング、オーディオ信号デコーディング、およびオーディオ信号処理についてのコンセプトの改善を行うことである。また、本発明の目的は、請求項１に記載のデコーダ、請求項１１に記載の残差信号生成器、請求項１９に記載のエンコーダ、請求項２１に記載のシステム、請求項２２に記載の符号化信号、請求項２３に記載の方法、請求項２４に記載の方法および請求項２５に記載のコンピュータプログラムによって解決される。
デコーダが提供される。このデコーダは、３つ以上のダウンミックス信号をアップミキシングすることにより複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部を備える。上述の３つ以上のダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化されており、パラメトリックデコード部は、複数のオリジナルオーディオオブジェクト信号を示すパラメトリック副情報に基づき、３つ以上のダウンミックス信号をアップミキシングするよう構成される。さらにこのデコーダは、上述の第１推定オーディオオブジェクト信号の１つ以上を変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する残差処理部を備える。残差処理部は、１つ以上の残差信号に基づき、第１推定オーディオオブジェクト信号の１つ以上を変更修正するよう構成される。
実施形態によると、ＥＡＯの感性品質を改善するオブジェクト志向の残差コンセプトが提供される。従来のシステムと異なり、この提供されるコンセプトにおいて、ダウンミックス信号の数やＥＡＯの数は制限されない。オブジェクト関連の残差信号を導き出す２つの方法が提供される。ひとつはカスケードコンセプトであり、計算が複雑になるという代償はあるものの、残差信号のエネルギーが、ＥＡＯの数の増加ととともに反復的に削減する。もうひとつのは計算の複雑さが少ないコンセプトであり、全ての残差が同時に推定される。
さらに、実施形態によると、デコーダ側においてオブジェクト志向の残差信号を適用する改善されたコンセプトが提供され、デコーダ側においてＥＡＯのみが処理される適用形態、または非ＥＡＯの変更修正が利得の拡大縮小に限定されている適用形態のために設計された複雑性を低減したコンセプトが提供される。
一実施形態によると、残差処理部は、少なくとも３つの残差信号に基づき、１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成される。当該デコーダは、複数の第２推定オーディオオブジェクト信号に基づき、少なくとも３つのオーディオ出力チャンネルを生成するよう構成される。
一実施形態によると、デコーダは、さらにダウンミックス変更部を備えることができる。残差処理部は、複数の第２推定オーディオオブジェクト信号のうち、１つ以上のオーディオオブジェクト信号を決定することができる。ダウンミックス変更部は、決定された１つ以上の第２推定オーディオオブジェクト信号を、３つ以上のダウンミックス信号から除去し、３つ以上の変更ダウンミックス信号を得るよう構成される。パラメトリックデコード部は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づき決定するよう構成される。
特定の実施形態においては、ダウンミックス変更部は、例えば、次式を適用するよう構成される。
Figure 2015529850
さらに、デコーダは、２つ以上の反復ステップを実行するよう構成されてもよい。各反復ステップにおいて、パラメトリックデコード部は、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてる。さらに、各反復ステップにおいて、残差処理部は、当該複数の第１推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。さらに、その反復ステップにおいて、ダウンミックス変更部は、３つ以上のダウンミックス信号から当該複数の第２推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を除去して、３つ以上のダウンミックス信号を変更修正するよう構成される。その反復ステップの次の反復ステップにおいて、パラメトリックデコード部は、変更された３つ以上のダウンミックス信号に基づいて、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号のみを決定するよう構成される。
一実施形態においては、１つ以上の残差信号のそれぞれが、複数のオリジナルオーディオオブジェクト信号の１つと複数の第１推定オーディオオブジェクト信号の１つとの間の相違を示すことができる。
一実施形態において、残差処理部は、第１推定オーディオオブジェクト信号を５つ以上変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成するよう構成されてもよく、また残差処理部は、５つ以上の残差信号に基づいて、第１推定オーディオオブジェクト信号のうち５つ以上を変更修正するよう構成されてもよい。
他の実施形態においては、デコーダは、７つ以上のオーディオ出力チャンネルを、複数の第２オーディオオブジェクト信号に基づいて生成するよう構成されてもよい。
さらに他の実施形態によれば、デコーダは、複数の第２推定オーディオオブジェクト信号を決定するためのチャンネル予測係数を決定しないよう構成されてもよい。実施形態によると、従来のＳＡＯＣでのデコードについては、チャンネル予測係数の計算が必要であったが、これが必要となくなるコンセプトが提供される。
さらに他の実施形態においては、デコーダがＳＡＯＣデコーダであってもよい。
さらに、残差信号生成器が提供される。この残差信号生成器は、３つ以上のダウンミックス信号をアップミキシングすることにより複数の推定オーディオオブジェクト信号を生成するパラメトリックデコード部を備える。３つ以上のダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化され、パラメトリックデコード部は、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づき、３つ以上のダウンミックス信号をアップミキシングするよう構成される。さらに、この残差信号生成器は、複数のオリジナルオーディオオブジェクトに基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、それぞれが複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示す複数の残差信号を生成する残差推定部を備える。
一実施形態において、残差推定部は、複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づいて、少なくとも５つの残差信号を生成するよう構成されてもよい。
一実施形態において、残差信号生成器は、３つ以上のダウンミックス信号を変更修正して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部をさらに備えることができる。パラメトリックデコード部は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づいて決定するよう構成されてもよい。
一実施形態において、ダウンミックス変更部は、例えば、３つ以上のオリジナルダウンミックス信号から、複数のオリジナルオーディオオブジェクト信号のうち１つ以上の信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。
他の実施形態においては、ダウンミックス変更部は、例えば、推定オーディオオブジェクト信号の１つ以上に基づいて、かつ残差信号の１つ以上に基づいて、１つ以上の変更オーディオオブジェクト信号を生成することにより、さらに、その１つ以上の変更オーディオオブジェクト信号を、当該３つ以上のオリジナルダウンミックス信号から除去することにより、当該３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。例えば、１つ以上の変更オーディオオブジェクト信号は各々、ダウンミックス変更部によって、推定オーディオオブジェクト信号の１つを変更修正することにより生成されてもよい。この場合、ダウンミックス変更部は、当該推定オーディオオブジェクト信号を、１つ以上の残差信号に基づき変更修正するよう構成されてもよい。
上述の２つの実施形態のいずれにおいても、ダウンミックス変更部は、例えば、
Figure 2015529850
 を適用して、複数のオリジナルオーディオオブジェクト信号の１つ以上を、３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成されることができる。ここで、Ｘは、変更修正対象の３つ以上のダウンミックス信号を示し、Ｄは、ダウンミキシング情報を示し、Ｓｅａｏは、複数の第２推定オーディオオブジェクト信号のうちの当該１つ以上のオーディオオブジェクト信号からなり、Ｚ＊ ｅａｏは、複数の第２推定オーディオオブジェクト信号のうちの当該１つ以上のオーディオオブジェクト信号の所在を示し、Ｘ〜は、３つ以上の変更ダウンミックス信号である。例えば、あるオーディオオブジェクト信号の所在（位置）は、全てのオブジェクトリストにおける当該オブジェクトの所在（位置）に相当する。
一実施形態によると、残差信号生成器は、２つ以上の反復ステップを実行するよう構成されてもよい。各反復ステップにおいて、パラメトリックデコード部は、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてもよい。さらに、当該反復ステップにおいて、残差推定部は、当該複数の推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の残差信号のうちのまさに１つの残差信号のみを決定するよう構成されてもよい。さらに、当該反復ステップにおいて、ダウンミックス変更部は、３つ以上のダウンミックス信号を変更修正するよう構成されてもよい。当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部は、変更された３つ以上のダウンミックス信号に基づいて、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてもよい。
一実施形態において、３つ以上のダウンミックス信号を生成し、パラメトリック副情報を生成し、かつ複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化するエンコーダが提供される。このエンコーダは、複数のオリジナルオーディオオブジェクト信号のダウンミックスを示す３つ以上のダウンミックス信号を生成するダウンミックス生成器を備える。さらに、このエンコーダは、複数のオリジナルオーディオオブジェクト信号に関する情報を示すパラメトリック副情報を生成して、パラメトリック副情報を得るパラメトリック副情報推定器を備える。さらにこのエンコーダは、上述の実施形態のいずれかによる残差信号生成器を備える。残差信号生成器のパラメトリックデコード部は、ダウンミックス生成器により提供される３つ以上のダウンミックスをアップミキシングすることによって、複数の推定オーディオオブジェクト信号を生成するよう構成され、このダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化される。パラメトリックデコード部は、３つ以上のダウンミックス信号を、パラメトリック副情報推定器によって生成されたパラメトリック副情報に基づいてアップミキシングするよう構成される。残差信号生成器の残差推定部は、複数のオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、複数の残差信号を生成し、複数の残差信号は各々、複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示すよう構成されている。
一実施形態において、エンコーダはＳＡＯＣエンコーダである。
さらに、システムが提供される。このシステムは、上述の実施形態のいずれかによるエンコーダを備え、このエンコーダは、３つ以上のダウンミックス信号、パラメトリック副情報および複数の残差信号を生成することによって、複数のオリジナルオーディオオブジェクト信号を符号化する。さらに、このシステムは、上述の実施形態のいずれかによるデコーダを備え、このデコーダは、エンコーダによって生成された３つ以上のダウンミックス信号、エンコーダによって生成されたパラメトリック副情報、およびエンコーダによって生成された複数の残差信号に基づき、複数のオーディオ出力チャンネルを生成するよう構成される。
さらに、符号化オーディオ信号が提供される。この符号化オーディオ信号には、３つ以上のダウンミックス信号、パラメトリック副情報、および複数の残差信号が含まれる。３つ以上のダウンミックス信号は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものである。パラメトリック副情報には、複数のオリジナルオーディオオブジェクト信号上の副情報を示すパラメータが含まれる。複数の残差信号のそれぞれは、複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である。
さらに、方法が提供される。この方法は、複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の第１推定オーディオオブジェクト信号を生成し、第１推定オーディオオブジェクト信号の１つ以上を、１つ以上の残差信号に基づき変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成することを含む。
さらに、別の方法が提供される。この方法は、複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の推定オーディオオブジェクト信号を生成し、複数のオリジナルオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、それぞれが複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示す差異信号である複数の残差信号を生成することを含む。
さらに、コンピュータまたは信号プロセッサによって実行されるとき、上述のいずれかの方法を実行するためのコンピュータプログラムが提供される。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
一実施形態によるデコーダを示す。 別の実施形態であって、レンダラーをさらに備えるデコーダを示す。 一実施形態による残差信号生成器を示す。 一実施形態によるエンコーダを示す。 一実施形態によるシステムを示す。 一実施形態による符号化オーディオ信号を示す。 ＳＡＯＣシステム概略図であり、ＭＥＰＧ ＳＡＯＣの例を用いて、そのようなパラメトリックシステムの原理を示す エンコーダ側における残差推定を示し、各ＥＡＯの残差信号計算の概略を示す。 ＥＡＯサポートを含むＳＡＯＣデコーダの基本構成を示し、ＳＡＯＣデコーディング／トランスコーディング（あるエンコーディングから別のエンコーディングへのデータ変換）の連鎖に組み込まれたＥＡＯ処理スキームの概念概略図である。 一実施形態により提供された、パラメトリックおよび残差に基づくオーディオオブジェクトコーディングの仕組みを概念的に示した概略図である。 一実施形態による、各ＥＡＯ信号のための残差信号をエンコーダ側で一体的に推定するコンセプトを示す。 一実施形態による、デコーダ側での一体残差デコーディングのコンセプトを示す。 一実施形態による、ダウンミックス変更部をさらに備える残差信号生成器を示す。 一実施形態による、ダウンミックス変更部をさらに備えるデコーダを示す。 一実施形態による、残差要素をカスケード形式によりエンコーダ側で算出するコンセプトを示す。 一実施形態による、デコーダ側でのカスケード残差算出とともに採用される、カスケードＲＳＩデコード部を示す。 カスケードコンセプトを利用した、一実施形態による残差信号生成器を示す。 カスケードコンセプトを採用した、一実施形態によるデコーダを示す。
図２Ａは、一実施形態による残差信号生成器２００を示す。
残差信号生成器２００は、複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト信号＃１〜推定オーディオオブジェクト信号＃Ｍ）を、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）をアップミキシングすることにより生成するパラメトリックデコード部２３０を備える。この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）には、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）が符号化されている。パラメトリックデコード部２３０は、この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）を、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）に関する情報を示すパラメトリック副情報に基づいて、アップミキシングするよう構成されている。
さらに、残差信号生成器２００は、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）に基づき、かつ複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト＃１〜推定オーディオオブジェクト＃Ｍ）に基づき、複数の残差信号（残差信号＃１〜残差信号＃Ｍ）を生成する残差推定部２４０を備える。そして、複数の残差信号（残差信号＃１〜残差信号＃Ｍ）はそれぞれ、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）の１つと、複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト＃１〜推定オーディオオブジェクト＃Ｍ）の１つと、の間の相違を示す相違信号となる。
上述の実施形態におけるエンコーダは、先行技術のＳＡＯＣ制限（非特許文献５参照）を克服している。
現行のＳＡＯＣシステムは、１つ以上の２対１ボックスまたは１つ以上の３対１ボックスを採用して、ダウンミキシングを実施する。とりわけ、これらの潜在的制限のため、現行のＳＡＯＣシステムは、オーディオオブジェクト信号を、最大で２つのダウンミックスチャンネル／２つのダウンミックス信号へとダウンミックスすることができる。
本発明による残差信号生成器およびエンコーダのコンセプトによると、３つ以上の送信チャンネルを採用している送信システムにおいてオーディオオブジェクトコーディングが好適となるよう、ＳＡＯＣの制限を克服することができる。
一実施形態において、残差推定部２４０は、複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づき、かつ複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づき、少なくとも５つの残差信号を生成するよう構成される。
図２Ｂは、一実施形態によるエンコーダを示す。図２Ｂのエンコーダは、残差信号生成器２００を備える。
さらに、このエンコーダは、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ、さらなるオリジナルオーディオオブジェクト信号）のダウンミックスを示す、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）を生成するダウンミックス生成器２１０を備える。
オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍについて、残差推定部２４０は、残差信号（残差信号＃１〜残差信号＃Ｍ）を生成する。したがって、オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍは、拡張オーディオオブジェクト（ＥＡＯ）と称される。
しかしながら、図２Ｂに示されるように、さらなるオリジナルオーディオオブジェクト信号が選択的に存在し、これはダウンミックスされるものの、残差信号は生成されない。したがって、これらのさらなるオーディオオブジェクト信号は、非拡張オーディオオブジェクト（非ＥＡＯ）と称される。
図２Ｂのエンコーダは、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ、さらなるオリジナルオーディオオブジェクト信号）に関する情報を示すパラメトリック副情報を生成するパラメトリック副情報推定器２２０をさらに備える。これによってパラメトリック副情報を得る。図２Ｂの実施形態において、パラメトリック副情報推定器は、非ＥＡＯであるオリジナルオーディオオブジェクト信号（さらなるオリジナルオーディオオブジェクト信号）も考慮する。
一実施形態において、オリジナルオーディオオブジェクト信号の数は、例えば全てのオリジナルオーディオオブジェクト信号がＥＡＯであるとき、残差信号の数と等しくなってもよい。
しかしながら、その他の実施形態においては、残信号の数は、オリジナルオーディオオブジェクト信号の数と異なってもよく、例えばオリジナルオーディオオブジェクト信号が非ＥＡＯであるとき、推定オーディオオブジェクト信号の数と異なってもよい。
ある実施形態において、エンコーダは、ＳＡＯＣエンコーダである。
図１Ａは、一実施形態によるデコーダを示す。
デコーダは、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）をアップミキシングすることにより、複数の第一オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を生成するパラメトリックデコード部１１０を備える。ここで、この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）には、複数のオリジナルオーディオオブジェクト信号が符号化されている。パラメトリックデコード部１１０は、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）を、複数のオリジナルオーディオオブジェクト信号に関する情報を表示するパラマトリック副情報に基づき、アップミックスするよう構成されている。
さらに、デコーダは、１つ以上の第１推定オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を変更修正することによって、複数の第２推定オーディオオブジェクト信号（第２オーディオオブジェクト信号＃１〜第２オーディオオブジェクト信号＃Ｍ）を生成する残差処理部１２０を備える。この残差処理部１２０は、１つ以上の第１推定オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を、１つ以上の残差信号（残差信号＃１〜残差信号＃Ｍ）に基づき、変更修正する。
上述の実施形態におけるデコーダは、先行技術のＳＡＯＣ制限（非特許文献５参照）を克服している。
さらに、現行のＳＡＯＣシステムは、１つ以上の１対２ボックス（ＯＴＴボックス）または１つ以上の２対３ボックス（ＴＴＴボックス）を採用することにより、アップミキシングを実行する。とりわけ、これらの制限により、３以上のダウンミックス信号／ダウンミックスチャンネルを符号化したオーディオオブジェクト信号は、先行技術のＳＡＯＣデコーダではアップミックスできない。
本発明によるデコーダのコンセプトによると、３つ以上の送信チャンネルを採用している送信システムにおいてオーディオオブジェクトコーディングが好適となるよう、ＳＡＯＣの制限を克服することができる。
図１Ｂは、別の実施形態に係るデコーダを示す。このデコーダは、レンダリング情報に基づき、第２推定オーディオオブジェクト信号（第２推定オーディオオブジェクト信号＃１〜第２推定オーディオオブジェクト信号＃Ｍ）から複数のオーディオ出力チャンネル（オーディオ出力チャンネル＃１〜オーディオ出力チャンネル＃Ｒ）を生成するレンダラー１３０をさらに備える。例えば、レンダリング情報とは、レンダリングマトリックスおよび／またはレンダリングマトリックスの係数であってもよく、レンダリング部１３０は、レンダリングマトリックスを第２推定オーディオオブジェクト信号（第２推定オーディオオブジェクト信号＃１〜第２推定オーディオオブジェクト信号＃Ｍ）に対して適用し、複数のオーディオ出力チャンネル（オーディオ出力チャンネル＃１〜オーディオ出力チャンネル＃Ｒ）を得る。
一実施形態によると、残差処理部１２０は、少なくとも３つの残差信号に基づき、１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成される。デコーダは、複数の第２推定オーディオオブジェクト信号に基づき、少なくとも３つのオーディオ出力チャンネルを生成するよう構成される。
また別の実施形態においては、１つ以上の残差信号が、複数のオリジナルオーディオオブジェクト信号の１つと複数の第１推定オーディオオブジェクト信号の１つとの間の相違を示す。
一実施形態によれば、残差処理部１２０は、５つ以上の第１推定オーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号を生成するよう構成される。残差処理部１２０は、当該５つ以上の第１推定オーディオオブジェクト信号を、５つ以上の残差信号に基づき変更修正するよう構成される。
他の実施形態においては、デコーダは、７つ以上のオーディオ出力チャンネルを、複数の第２オーディオオブジェクト信号に基づき生成するよう構成される。
さらに他の実施形態によれば、デコーダは、複数の第２推定オーディオオブジェクト信号を決定するためのチャンネル予測係数を決定しないよう構成される。
さらに他の実施形態においては、デコーダは、ＳＡＯＣデコーダである。
図３は、一実施形態によるシステムを示す。このシステムは、上記実施形態のいずれかによるエンコーダ３１０を備え、このエンコーダ３１０は、パラメトリック副情報および複数の残差信号を生成することによって、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）を符号化する。さらに、このシステムは、上記実施形態のいずれかによるデコーダ３２０を備え、このデコーダ３２０は、エンコーダ３１０の生成した３つ以上のダウンミックス信号、エンコーダ３１０の生成したパラメトリック副情報、およびエンコーダ３１０によって生成された複数の残差信号に基づき、複数の第２推定オーディオオブジェクト信号を生成するよう構成される。
図４は、一実施形態による符号化オーディオ信号を示す。符号化オーディオ信号には、３つ以上のダウンミックス信号４１０、パラメトリック副情報４２０、および複数の残差信号４３０が含まれる。当該３つ以上のダウンミックス信号４１０は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものである。当該パラメトリック副情報４２０には、複数のオリジナルオーディオオブジェクト信号に関する副情報を示すパラメータが含まれる。当該複数の残差信号４３０は各々、複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である。
以下において、一実施形態によるコンセプト概略を説明する。
図８は、一実施形態により提供された、パラメトリックおよび残差に基づくオーディオオブジェクトコーディングの仕組みを、概念的に示した概略図である。ここでは、コーディングの仕組みによって、進化したダウンミックス信号および進化したＥＡＯ支援が示されている。
エンコーダ側で、パラメトリック副情報推定器（「ＰＳＩ生成部」）２２０は、ソースおよびダウンミックス関連特性を利用しているデコーダでのオブジェクト信号を推定するために、ＰＳＩを算出する。ＲＳＩ生成部２４５は、拡張すべき各オブジェクト信号に対して、推定オブジェクト信号とオリジナルオブジェクト信号との間の相違を分析することにより、残差信号を算出する。ＲＳＩ生成部２４５は、例えば、パラメトリックデコード部２３０と、残差推定部２４０とを備えてもよい。
デコーダ側では、パラメトリックデコード部（「ＰＳＩデコード」部）が、ダウンミックス信号および所定のＰＳＩから、オブジェクト信号を推定する。第２ステップにおいては、残差処理部（「ＲＳＩデコード」部）１２０が、拡張対象となる推定オブジェクト信号の品質を、ＲＳＩを用いて改善する。全てのオブジェクト信号（拡張オーディオオブジェクトおよび非拡張オーディオオブジェクト）は、例えば、レンダリング部１３０へ渡され、目的の出力シーンを生成してもよい。
なお、全てのダウンミックス信号を考慮する必要はない。オブジェクト信号の推定または／および推定と拡張に対するダウンミックス信号の貢献度が無視できる程度なのであれば、ダウンミックス信号を計算の対象から外してもよい。
理解を容易にするため、図８およびその後の図面における処理ステップは、別個の処理部として図示されている。実際には、これらは、効果的に結合され、計算上の手間を省いている。
以下において、一体残差エンコーディング／デコーディング（ｊｏｉｎｔ ｒｅｓｉｄｕａｌ ｅｎｃｏｄｉｎｇ／ｄｅｃｏｄｉｎｇ）のコンセプトを説明する。
図９は、一実施形態による、各ＥＡＯ信号のための残差信号を、エンコーダ側で一体的に推定するコンセプトを示す。
パラメトリックデコード部（「ＰＳＩデコード」部）２３０は、推定されたＰＳＩとダウンミックス信号とが入力として与えられ、オーディオオブジェクト信号の推定値（推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝）を生成する。推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ｛１〜Ｍ｝は、残差推定部（「ＲＳＩ推定」部）２４０において、オリジナルの変更されていないソース信号Ｓ１〜ＳＭと比較される。残差推定部２４０は、各オーディオオブジェクトを拡張するための残差／エラー信号項ｓｒｅｓ，ＲＳＩ，｛１〜Ｍ｝を提供する。
図１０は、デコーダにおける一体残差計算と組み合わせて用いられる「ＲＳＩデコード」部を表す。特に、図１０は、一実施形態による、デコーダ側での一体残差デコーディングのコンセプトを示す。
パラメトリックデコード部（「ＰＳＩデコード」部）１１０からの（第１）推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝は、残差情報（「残差副情報」）とともに、残差処理部（「ＲＳＩデコード」）１２０に入力される。残差処理部２１０は、残差（サイド）情報および推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝から、第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，｛１〜Ｍ｝、例えば拡張および非拡張オーディオオブジェクト信号を算出し、この第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，｛１〜Ｍ｝、例えば拡張および非拡張オーディオオブジェクト信号を、残差処理部１２０の出力として出力する。
さらに、非ＥＡＯの再推定を実行することができる（図１０には図示しない）。ＥＡＯは、混合信号から除外され、残りの非ＥＡＯが、この混合信号から再度推定される。これによって、全てのオブジェクト信号を含む混合信号からの推定と比較したオブジェクトについて、その推定を改善することができる。その目的が、混合信号における拡張オブジェクト信号のみを処理することにある場合には、この再推定は省略してもよい。
図１１は、一実施形態による残差信号生成器を示す。
図１１において、残差信号生成器２００は、３つ以上のダウンミックス信号を変更修正して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部２５０をさらに備える。
パラメトリックデコード部２３０は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づき決定するよう構成される。
そして、残差推定部２４０は、第１推定オーディオオブジェクト信号における当該１つ以上のオーディオオブジェクト信号に基づき、例えば、１つ以上の残差信号を決定してもよい。
一実施形態において、ダウンミックス変更部２５０は、例えば、３つ以上のオリジナルダウンミックス信号から、複数のオリジナルオーディオオブジェクト信号のうち１つ以上の信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。
他の実施形態においては、ダウンミックス変更部２５０は、例えば、１つ以上の推定オーディオオブジェクト信号、および１つ以上の残差信号に基づき１つ以上の変更オーディオオブジェクト信号を生成し、かつ３つ以上のオリジナルダウンミックス信号から、１つ以上の変更オーディオオブジェクト信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。例えば、１つ以上の変更オーディオオブジェクト信号は各々、推定オーディオオブジェクト信号の１つを変更修正することにより、ダウンミックス変更部によって生成されてもよい。この場合、ダウンミックス変更部は、当該推定オーディオオブジェクト信号を、１つ以上の残差信号に基づき変更修正するよう構成されてもよい。
上述の実施形態の両方において、ダウンミックス変更部は、例えば、次式を適用するように構成される。
Figure 2015529850
 ここで、
Ｘは、変更修正の対象となる３つ以上のダウンミックス信号を示し、Ｄは、関連するダウンミキシング情報を示し、Ｓｅａｏには、除去されるべきオリジナルオーディオオブジェクト信号または除去されるべき変更オーディオオブジェクト信号が含まれ、Ｚ＊ ｅａｏは、除去されるべき信号の所在を示し、Ｘ〜は、変更対象となるダウンミックスである。
例えば、あるオーディオオブジェクト信号の所在（位置）は、全てのオブジェクトリストにおける当該オブジェクトの所在（位置）に相当する。
図１２は、一実施形態によるデコーダを示す。
図１２の実施形態において、デコーダは、ダウンミックス変更部１４０をさらに備える。
残差処理部１２０は、複数の第２推定オーディオオブジェクト信号のうち、１つ以上のオーディオオブジェクト信号を決定する。
ダウンミックス変更部１４０は、決定された１つ以上の第２推定オーディオオブジェクト信号を、３つ以上のダウンミックス信号から除去し、３つ以上の変更ダウンミックス信号を得るよう構成されている。
パラメトリックデコード部１１０は、当該３つ以上の変更ダウンミックス信号に基づき、第１推定オーディオオブジェク信号のうち、１つ以上のオブジェクト信号を決定するよう構成される。
残差処理部１２０は、例えば、第１推定オーディオオブジェクト信号における当該決定された１つ以上のオーディオオブジェクト信号に基づいて、１つ以上の更なる第２推定オーディオオブジェクト信号を決定してもよい。
特定の実施形態においては、ダウンミックス変更部１３０は、複数の第２推定オーディオオブジェクト信号のうち残差処理部１２０によって決定された１つ以上のオーディオオブジェクト信号を３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るために、例えば、下記の式を適用するよう構成されてもよい。
Figure 2015529850
 ここで、Ｘは、変更修正前の３つ以上のダウンミックス信号を示し、Ｘ〜 ｎｏｎＥＡＯは、３つ以上の変更ダウンミックス信号を示し、Ｄは、ダウンミックスマトリックスを示し、Ｚｅａｏは、ＥＡＯの位置（所在）を示すマッピングサブマトリックスを示す（この実施形態の特定の変数に関する詳細は下記を参照）。
以下において、カスケード残差エンコーディング／デコーディングコンセプトを説明する。
図１３は、一実施形態による、残差要素をカスケード形式によりエンコーダ側で算出するコンセプトを示す。一体残差算出コンセプトと比較して、カスケード方式のアプローチは、各反復ステップにおいて、計算が複雑になるという代償はあるものの、残差エネルギーのエネルギーを削減する。各ステップにおいては、拡張オーディオオブジェクトにおけるオリジナルオーディオオブジェクト信号（ＳＭ）の１つ（または別の実施形態においては、推定オーディオオブジェクト信号、破線矢印２４６１、２４６２を参照。）が、混合信号（ダウンミックス）が次の処理器２４５２へと渡される前に、混合信号（ダウンミックス）から除去される。これによって、混合信号（ダウンミックス）におけるオブジェクト信号の数が、各処理ステップを経る度に減少する。次のステップにおける拡張オーディオオブジェクト信号の推定（第２推定オーディオオブジェクト信号）がこれによって改善され、よって残差信号のエネルギーを連続的に削減することができる。
（なお、推定オーディオオブジェクト信号が各反復ステップにおいて混合信号から除去される別の実施形態においては、ダウンミックス変更サブ部２５０１、２５０２は、オリジナルオーディオオブジェクト信号ＳＭを受け取る必要はない。反対に、オリジナルオーディオオブジェクト信号が各反復ステップにおいて混合信号から除去される実施形態においては、ダウンミックス変更サブ部２５０１、２５０２は、推定オーディオオブジェクト信号を受け取る必要はない。）
より詳細には、図１３は、複数のＲＳＩ生成サブ部２４５１、２４５２を示す。この複数のＲＳＩ生成サブ部２４５１、２４５２がともに、ＲＳＩ生成部を構成する。
複数のＲＳＩ生成サブ部２４５１、２４５２は各々、パラメトリックデコードサブ部２３０１を備える。複数のパラメトリックデコードサブ部２３０１がともに、パラメトリックデコード部を構成する。パラメトリックデコードサブ部２３０１は、第１推定オーディオオブジェクト信号Ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝を生成する。
複数のＲＳＩ生成サブ部２４５１、２４５２は各々、残差推定サブ部２４０１を備える。複数の残差推定サブ部２４０１がともに、残差推定部を構成する。残差推定サブ部２４０１は、第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，Ｍおよびｓｅｓｔ，ＲＳＩ，Ｍ−１を生成する。
また、図１３は、複数のダウンミックス変更サブ部２５０１、２５０２を示す。ダウンミックス変更サブ部２５０１、２５０２がともに、ダウンミックス変更部を構成する。
図１４は、一実施形態において、デコーダ側のカスケード式残差算出との組み合わせにおいて採用されるカスケード式「ＲＳＩデコード」部を表す。
各ステップにおいて、拡張対象となるオブジェクト信号の１つが、パラメトリックデコードサブ部（「ＰＳＩデコード）１１０１によって、（第１推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，Ｍを得るために）推定され、そして第１推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，Ｍの１つが、残差処理サブ部（「ＲＳＩ処理」）１２０１によって、対応する残差信号ｓｒｅｓ，ＲＳＩ，Ｍとともに処理される。そして、オブジェクト信号の拡張バージョン（第２推定オーディオオブジェクト信号の１つ）ｓｅｓｔ，ＲＳＩ，Ｍが出力される。拡張オブジェクト信号ｓｅｓｔ，ＲＳＩ，Ｍは、変更ダウンミックス信号が次の残差デコードサブ部（「残差デコード」）に入力される前に、ダウンミックス変更サブ部（「ダウンミックス変更」）１４０１によって、ダウンミックス信号から消去される。
一体残差エンコーディング／デコーディングコンセプトと同様、非ＥＡＯについても再推定が追加的になされてもよい。
その詳細として、図１４は、複数の残差デコードサブ部１２５１、１２５２を示す。複数の残差デコードサブ部１２５１、１２５２がともに、残差デコード部を構成する。
複数の残差デコードサブ部１２５１、１２５２は各々、パラメトリックデコードサブ部１１０１を備える。複数のパラメトリックデコードサブ部１１０１がともに、パラメトリックデコード部を構成する。パラメトリックデコードサブ部１１０１は、第１推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝を生成する。
複数の残差デコードサブ部１２５１、１２５２は各々、残差処理サブ部１２０１を備える。複数の残差処理サブ部１２０１がともに、残差処理部を構成する残差処理サブ部１２０１は、第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，Ｍ、ｓｅｓｔ，ＲＳＩ，Ｍ−１を生成する。
また、図１４は、複数のダウンミックス変更サブ部１４０１、１４０２を示す。複数のダウンミックス変更サブ部１４０１、１４０２がともに、ダウンミックス変更部を構成する。
図１５は、カスケードコンセプトを利用した、一実施形態による残差信号生成器を示す。
図１５において、残差信号生成器は、ダウンミックス変更部２５０を備える。
残差信号生成器２００は、２つ以上の反復ステップを実行するよう構成される。
各反復ステップにおいて、パラメトリックデコード部２３０は、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
さらに、当該反復ステップにおいて、残差推定部２４０は、当該複数の推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の残差信号のうちのまさに１つの残差信号を決定するよう構成される。
さらに、当該反復ステップにおいて、ダウンミックス変更部２５０は、３つ以上のダウンミックス信号を変更修正するよう構成される。
当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部２３０は、変更された３つ以上のダウンミックス信号に基づいて、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
図１６は、カスケードコンセプトを採用した、一実施形態によるデコーダを示す。図１６において、デコーダは、ダウンミックス変更部１４０を再度備えている。
図１６のデコーダは、２つ以上の反復ステップを実行するよう構成される。
各反復ステップにおいて、パラメトリックデコード部１１０は、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
さらに、各反復ステップにおいて、残差処理部１２０は、当該複数の第１推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
さらに、当該反復ステップにおいて、ダウンミックス変更部１４０は、３つ以上のダウンミックス信号から当該複数の第２推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を除去して、３つ以上のダウンミックス信号を変更修正するよう構成される。
当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部１１０は、変更された３つ以上のダウンミックス信号に基づいて、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
以下に、一体残差エンコーディング／デコーディング概念の一例における数学的導出について説明する。
以下において、以下の表記が用いられる。
サイズ：
ＮＯｂｊｅｃｔ：オーディオオブジェクト信号の数
ＮＤｍｘＣｈ：ダウンミックス信号の数
ＮＵｐｍｉｘＣｈ：アップミックスチャンネルの数
ＮＳａｍｐｌｅｓ：処理データの数
ＮＥＡＯ：ＥＡＯの数
項目：
Ｚ＊：ター演算子（＊）は、あるマトリックスの共役転置を意味する。
Ｓ：エンコーダに入力されたオリジナルオーディオオブジェクト信号（サイズ：ＮＯｂｊｅｃｔ×ＮＳａｍｐｌｅｓ）
Ｄ：ダウンミックスマトリックス（サイズ：ＮＤｍｘＣｈ×ＮＯｂｊｅｃｔ）
Ｒ：レンダリングマトリックス（サイズ：ＮＵｐｍｉｘＣｈ×ＮＯｂｊｅｃｔ）
Ｘ：ダウンミックスオーディオ信号Ｘ＝ＤＳ（サイズ：ＮＤｍｘＣｈ×ＮＳａｍｐｌｅｓ）
Ｙ：理想的オーディオ出力信号Ｙ＝ＲＳ（サイズ：ＮＵｐｍｉｘＣｈ×ＮＳａｍｐｌｅｓ）
Ｓｅｓｔ：Ｓｅｓｔ＝ＧＸ と定義されるＳｅｓｔ Ｓに近似するパラメトリックに再構築されたオブジェクト信号（サイズＮＯｂｊｅｃｔ×ＮＳａｍｐｌｅｓ）
Ｓ＾ ｅｓｔ：（パラメトリックに推定された）全ての非ＥＡＯとＥＡＯ（パラメトリック＋残差）信号推定とを含むデコーダ出力、サイズ：ＮＯｂｊｅｃｔ×ＮＳａｍｐｌｅｓ
Ｙ＾ ｅｓｔ：Ｙ＾ ｅｓｔ＝ＲＳ＾ ｅｓｔと定義されるＹ＾ ｅｓｔ Ｙに近似するアップミックスオーディオ出力信号 （サイズ：ＮＵｐｍｉｘＣｈ×ＮＳａｍｐｌｅｓ）
ＺｎｏｎＥａｏ；Ｚｅａｏ：全てのオブジェクトリストにおける非ＥＡＯおよびＥＡＯの所在を示すマッピングサブマトリックス。なお、ＺｎｏｎＥａｏ×Ｚｅａｏ＝［０］である。（サイズ：（ＮＯｂｊｅｃｔ−ＮＥＡＯ）×ＮＯｂｊｅｃｔ；ＮＥＡＯ×ＮＯｂｊｅｃｔ）
非ＥＡＯのＺｎｏｎＥａｏおよび対応するＺｅａｏマッピングマトリックスは次のように定義される。
Figure 2015529850
 例えば、ＮＯｂｊｅｃｔ＝５でオブジェクト数２および４がＥＡＯの場合、これらのマトリックスは次の通りである。
Figure 2015529850
 ＤｎｏｎＥａｏ：非ＥＡＯに対応するダウンミックスサブマトリックであって、ＤｎｏｎＥａｏ＝ＤＺｎｏｎＥａｏと定義される（サイズ：ＮＤｍｘＣｈ×（ＮＯｂｊｅｃｔ−ＮＥＯＡ））
Ｄｅａｏ：ＥＡＯに対応するダウンミックスサブマトリックであって、Ｄｅａｏ＝ＤＺ＊ ｅａｏと定義される（サイズ：ＮＤｍｘＣｈ×ＮＥＯＡ）
Ｇ：パラメトリックソース推定マトリックス（サイズ：ＮＯｂｊｅｃｔ×ＮＥＯＡ）
Ｅ：オブジェクト共分散マトリックス（サイズ：ＮＯｂｊｅｃｔ×ＮＯｂｊｅｃｔ）
ＥｎｏｎＥａｏ：非ＥＡＯに対応する共分散サブマトリックであって、ＥｎｏｎＥａｏ＝ＺｎｏｎＥａｏＥＺ＊ ｎｏｎＥａｏと定義される（サイズ：（ＮＯｂｊｅｃｔ−ＮＥＯＡ）×（ＮＯｂｊｅｃｔ−ＮＥＯＡ））
Ｓｅａｏ：ＥＡＯの再構築を含むＥＡＯ信号（サイズ：ＮＥＯＡ×ＥＳａｍｐｌｅｓ）
ＳｎｏｎＥａｏ：非ＥＡＯの再構築を含む非ＥＡＯ信号（サイズ：（ＮＯｂｊｅｃｔ−ＮＥＯＡ）×ＮＳａｍｐｌｅｓ）
Ｓｒｅｓ：ＥＡＯの残差信号（サイズ：ＮＥＯＡ×ＥＳａｍｐｌｅｓ）
Ｘ〜 ｎｏｎＥＡＯ：非ＥＡＯ信号のみを含む変更ダウンミックス信号であって、ＳＡＯＣダウンミックスと再構築ＥＡＯのダウンミックスとの差異として算出される（サイズ：ＮＤｍｘＣｈ×ＮＳａｍｐｌｅｓ）
紹介されるマトリックスは全て、（一般に）時間と周波数の変数である。
ここで、デコーダ側における非ＥＡＯ信号の再推定の一般的方法を考慮する。
一般的な方法は、２段階プローチとして説明することができる。まず、対応するダウンミックス信号から全てのＥＡＯ信号を抽出し、そして全ての非ＥＡＯ信号をＥＡＯを考慮して再構築する。オブジェクト信号は、ＰＳＩ（Ｅ，Ｄ）および取り込まれた残差信号（Ｓｒｅｓ）を使って、ダウンミックス信号（Ｘ）から復元される。
最終的にレンダリングされた出力信号Ｙ＾ ｅｓｔは、次のように与えられると考えられる。
Figure 2015529850
デコーダ出力オブジェクト信号Ｓ＾ ｅｓｔは、次の合計として表すことができる。
Figure 2015529850
ＥＡＯ信号Ｓｅａｏは、ダウンミックスＸから、パラメトリックＥＡＯ再構築マトリックスＧｅａｏおよび対応するＥＡＯ残差Ｓｒｅｓを用いて、次のように算出される。
Figure 2015529850
非ＥＡＯ信号ＳｎｏｎＥａｏは、変更ダウンミックスＸ〜 ｎｏｎＥａｏから、パラメトリック非ＥＡＯ再構築マトリックスＧ〜 ｎｏｎＥａｏを用いて、次のように算出される。
Figure 2015529850
変更ダウンミックス信号Ｘ〜 ｎｏｎＥａｏは、ダウンミックスＸと再構築されたＥＡＯの対応するダウンミックスとの差として定義され、これにより、ＥＡＯがダウンミックス信号Ｘからキャンセルされる。
Figure 2015529850
ここで、ＥＡＯおよび非ＥＡＯ用のパラメトリックオブジェクト再構築マトリックスＧｅａｏ，Ｇ〜 ｎｏｎＥａｏは、ＰＳＩ（Ｅ，Ｄ）を使って、次のように決定される。
Figure 2015529850
以下において、デコーダ側において非ＥＡＯ信号の再推定をしないシンプルな手法「Ａ」を説明する。
混合信号内のＥＡＯのみを取り扱う場合には、目標シーンは、ダウンミックス信号とＥＡＯ信号の線形結合と解釈できる。したがって、非ＥＡＯ信号の追加的再推定を省略できる。非ＥＡＯ信号再推定を伴う一般的方法は、単一ステップ手順へと簡略化できる。
Figure 2015529850
信号
Figure 2015529850
 は、送信されたＥＡＯの残差信号と、残差補償項とを含み、次の定義を有する。
Figure 2015529850
この条件は、ＥＡＯのみの取り扱いに限定されている音響シーンをレンダリングするのに十分である。
Figure 2015529850
 と
Figure 2015529850
 とにより、項Ｘｄｉｆに対して、次の制約が満たされなければならない。
Figure 2015529850
項Ｘｄｉｆは、エンコーダによって決定され（そして送信または蓄積され）た成分Ｓｒｅｓと、この等式を用いて定義される成分ＸｎｏｎＥａｏとから構成される。
ダウンマトリックスの定義
Figure 2015529850
 と補償項の定義
Figure 2015529850
 を用いて、次の式を導き出すことができる。
Figure 2015529850
この式は、
Figure 2015529850
 と
Figure 2015529850
 とを用いて、次のように簡略化される。
Figure 2015529850
この線形方程式をＸｎｏｎＥａｏについて解くと、次の通りとなる。
Figure 2015529850
この線形方程式の系を解いた後、目標シーンが、次の通り、パラメトリック予測項と残差拡張項との合計として計算される。
Figure 2015529850
 できる。
以下において、デコーダ側において非ＥＡＯ信号の再推定をしないシンプルな手法「Ｂ」を説明する。
補償項Ｘｄｉｆが、パラメトリック信号予測Ｓｅｓｔに対して、
Figure 2015529850
 であり、残差信号Ｓｒｅｓの関数
Figure 2015529850
 であることから、次の式が導かれる。
Figure 2015529850
代替的な数式化は、ダウンミックス信号ＨｄｍｘＸ、拡張オブジェクトＨｅｎｈＺ＊ ｅａｏＺｅａｏＳｅｎｈ、および非拡張オブジェクトＨｅｓｔＳｅｓｔの３つの部分で構成され、これらの適切な線形結合を含み、次のようになる。
Figure 2015529850
マトリックスのサイズは、ＨｄｍｘがＮｏｂｊｅｃｔｓ×ＮＤｍｘＣｈであり、ＨｅｎｈがＮｏｂｊｅｃｔｓ×Ｎｏｂｊｅｃｔｓであり、ＳｄｍｘがＮｏｂｊｅｃｔｓ×ＮＳａｍｐｌｅｓであり、ＨｅｓｔがＮｏｂｊｅｃｔｓ×Ｎｏｂｊｅｃｔｓである。
この式は、
Figure 2015529850
 と仮定し、
Figure 2015529850
 の定義から、以下のように書き換えられる。
Figure 2015529850
これと再構築信号の上述の定義（数２９）とを比較すると、次の通りとなり、
Figure 2015529850
 項Ｈｅｓｔが、次の通り導き出される。
Figure 2015529850
非拡張信号の寄与が最小限となるとき、最終的再構築におけるエラーが最小限となる。したがって、Ｈｅｓｔ ０を目標とすると、線形方程式の系から項Ｈｅｓｔを解くことができる。
Figure 2015529850
 ここで、拡張ダウンミックスマトリックスＤｅｘｔおよびアップミックスマトリックスＨｅｘｔは、次の連結マトリックスとして定義される。
Figure 2015529850
Figure 2015529850
 したがって、
Figure 2015529850
この線形方程式の系を解いた後に、所望の修正項Ｘｄｉｆが、以下の通り得られ、
Figure 2015529850
 最終の出力
Figure 2015529850
 が得られる。
以下において、シンプルな手法「Ｃ」を説明する。
混合信号においてＥＡＯのみを任意に取り扱う場合には、目標シーンは、ダウンミックス信号とＥＡＯとの線形結合として生成することができる。なお、ダウンミックスの代わりに、ＥＡＯを削除したダウンミックスを用いてもよい。残差処理が完全にＥＡＯを復元する場合には、目標シーンが完全に生成される。目標シーンは、ダウンミックスおよびＥＡＯ再構築について、２つの要素レンダリングマトリックスＲＤおよびＲｅａｏを使ってレンダリングすることができる。マトリックスのサイズは、ＲＤ：ＮＵｐｍｉｘＣｈ×ＮＤｍｘＣｈおよびＲｅａｏ：ＮＵｐｍｉｘＣｈ×ＮＥＡＯである。目標レンダリングマトリックスＲは、レンダリングマトリックスとダウンミックスマトリックスとを結合した結果として、次の通り表される。
Figure 2015529850
これから、Ｒｅｘｔについて、次の通り解くことができ、
Figure 2015529850
 この解から、サブマトリックスＲＤおよびＲｅａｏが、
Figure 2015529850
Figure 2015529850
 を用いて抽出される。
ここで、目標シーンは、
Figure 2015529850
 により計算される。ここで、Ｓｅａｏは、ＥＡＯの完全な再構築を含み、上述の通り、
Figure 2015529850
 と定義される。
ダウンミックスからＤｅａｏＳｅａｏを差し引くことによってＥＡＯをミックスから削除したダウンミックスを用いて対象をレンダリングする場合にも、同様の方程式を組むことができる。
以下において、一体残差エンコーディング／デコーディング概念における他の数学的導出およびさらなる詳細について説明し、一般的方法と簡略方法「Ａ」との統合について説明する。
以下の説明においては、以下の表記を用いる。一部の要素について、以下の表記が上述の表記と一貫しない場合には、以下の説明については、以下の表記のみが当該要素について適用される。
定義：
Ｓは、サイズＮＯｂｊｅｃｔｓ×ＮＳａｍｏｌｅｓのオブジェクト信号であり、
Ｅ＝ＳＳ＊は、サイズＮＯｂｊｅｃｔｓ×ＮＯｂｊｅｃｔｓのオブジェクト共分散マトリックスであり、
Ｄは、サイズＮＤｍｘＣｈ×ＮＯｂｊｅｃｔｓのダウンミキシングマトリックスであり、
Ｘ＝ＤＳは、サイズＮＤｍｘＣｈ×ＮＳａｍｏｌｅｓのダウンミックス信号であり、
Ｇ＝ＥＤ＊Ｊは、サイズＮＯｂｊｅｃｔｓ×ＮＤｍｘＣｈのアップミキシングマトリックスであり、
Ｍｒｅｎは、サイズＮＵｐｍｉｘＣｈ×ＮＯｂｊｅｃｔｓのレンダリングマトリックスであり、
Ｘｒｅｓは、サイズＮＥＡＯ×ＮＳａｍｏｌｅｓの残差信号であり、
Ｒｅａｏは、サイズＮＥＡＯ×ＮＯｂｊｅｃｔｓのマトリックスであって、
Figure 2015529850
 として定義される非ＥＡＯの位置（所在）を示し、
ＲｎｏｎＥａｏは、サイズ（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）×ＮＯｂｊｅｃｔｓのマトリックスであって、
Figure 2015529850
 として定義される非ＥＡＯの位置（所在）を示す。
非ＥＡＯに相当する上記のいくつかのサブマトリクスは、次の通り、選択マトリクスＲｎｏｎＥａｏを用いて特定できる。
Figure 2015529850
以下において、デコーダ側において非ＥＡＯ信号の再推定を行う一般的方法の別の詳細なる数学的説明を記載する。
オブジェクト信号は、副情報と取り込まれた残差信号を使って、ダウンミックスから復活される。デコーダからの出力Ｘ＾は、次の通り生成される。
Figure 2015529850
ＥＡＯからなるサイズＮＥＡＯのＥＡＯ項は、次の通り計算される。
Figure 2015529850
 ここで、サイズＮＥＡＯの残差信号Ｘｒｅｓ項は、ＥＡＯに対する残差信号を含む。
非ＥＡＯを有するサイズＮＯｂｊｅｃｔｓ−ＮＥＡＯの非ＥＡＯ項は、次の通り計算される。
Figure 2015529850
 ここで、非ＥＡＯ信号のみからなる変更ダウンミックス信号Ｘ~ｎｏｎＥａｏは、ＳＡＯＣダウンミックスと再構築ＥＡＯのダウンミックスの差として計算される。
Figure 2015529850
非ＥＡＯに対応するサイズ（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）×（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）の共分散サブマトリックスが、次の通り計算される。
Figure 2015529850
非ＥＡＯに対応するサイズＮＤｍｘＣｈ×（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）のダウンミックスサブマトリックスＤｎｏｎＥａｏが、次の通り計算される。
Figure 2015529850
以下では、簡略方法「Ａ」（デコーダ側において非ＥＡＯ信号の再推定を行わない）の別の詳細な数学的説明を提供する。
オブジェクト信号は、副情報と取り込まれた残差信号を使って、ダウンミックスから復活される。デコーダからの最終出力Ｘ＾は、次の通り示される。
Figure 2015529850
サイズＮＯｂｊｅｃｔのＸｄｉｆ項は、次のように、ＥＡＯに対するサイズＮＥＡＯの残差信号Ｘｒｅｓと、非ＥＡＯに対する予測項ＸｎｏｎＥａｏとを包含する。
Figure 2015529850
予測項ＸｎｏｎＥａｏは、次の通り推定される。
Figure 2015529850
ＥＡＯに対応するダウンミックスサブマトリックスＤｅａｏおよび通常のオブジェクトに対応するダウンミックスサブマトリックスＤｎｏｎＥａｏは、次の通り定義される。
Figure 2015529850
以下では、レンダリングマトリックス１の特殊の場合を検討する。
ＥＡＯの任意の変形と非ＥＡＯの均一のスケーリング（ダウンミックスと比較して）とを伴うサイズＮＤｍｘＣｈ×ＮＯｂｊｅｃｔｓのダウンミックス様レンダリングマトリックスＭＤの、次の特別な場合を検討する。
Figure 2015529850
ここで、一般的方法の詳細な数学的説明は、以下の通りとなる。
Figure 2015529850
 次に、簡略化した方法「Ａ」の詳細な数学的説明は、以下の通りとなる。
Figure 2015529850
 レンダリングマトリックスの想定が適用されるとき、上記２つの結果が同じになることが分かる。
次に、レンダリングマトリックス２の特別なケースを検討する。
サイズＮＤｍｘＣｈ×ＮＯｂｊｅｃｔｓのレンダリングマトリックスＭＳの構造に追加的な制限を加え、全ての非ＥＡＯが、ダウンミックスに比べて共通のスケーリングファクタａによってのみ変更され、全てのＥＡＯがダウンミックスに比べて共通のスケーリングファクタｂによってのみ変更されるものとする。
Figure 2015529850
 前の結果から引き続いて、システムの出力は、次のようになる。
Figure 2015529850
一部の側面について装置の文脈において説明したが、これらの側面は、対応する方法の記載も示していることは明らかであり、ブロックや装置は、方法的ステップまたは方法的ステップの特徴に対応する。同様に、方法の観点から説明された側面もまた、対応するブロックもしくは物品または対応する装置の特徴の説明としても機能するものである。
本発明に係る分解信号は、デジタル記憶媒体に格納することができ、または無線通信媒体やインターネットなどの有線通信媒体のような通信媒体上を転送することもできる。
所定の実施要件によっては、本発明に係る実施形態は、ハードウェアとして実施してもよいしソフトウェアとして実施してもよい。実施は、例えばフレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、またはフラッシュメモリなどのような、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体を用いてすることができ、当該方法が実行されるようこれらのデジタル記憶媒体がプログラム可能なコンピュータシステムと協働する（または協働することできる）。
本発明による一部の実施形態では、電子的に読み取り可能な制御信号を有する固定データ担体を備え、その担体は、開示される方法のいずれかが実施されるよう、プログラム可能なコンピュータシステムと協働することができる。
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することが可能であり、当該コンピュータプログラム製品がコンピュータにおいて実行されたとき、当該プログラムコードがいずれかの方法を実行するよう動作する。このプログラムは、例えば機械で読み取り可能な担体に記憶されてもよい。
その他の実施形態においては、開示されるいずれかの方法を実行する機械で読み取り可能な担体に記憶されたコンピュータプログラムを備える。
すなわち、本発明に係る方法は、その一実施形態においては、コンピュータプログラムがコンピュータで実行されたとき、開示されるいずれかの方法を実行するプログラムコードを有するコンピュータプログラムとして構成される。
したがって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムが記録されたデータ担体（またはデジタル記憶媒体またはコンピュータに読み取り可能な媒体）として構成される。
したがって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムを示すデータストリームまたは信号シーケンスとして構成される。 このデータストリームまたは信号シーケンスは、例えば、データコミュニケーション接続（例えばインターネットなど）を介して伝送されるよう構成されてもよい。
さらなる実施形態においては、開示されるいずれかの方法を実行するよう構成された処理手段、例えばコンピュータ、プログラム可能な論理機構を備える。
さらなるの実施形態においては、開示されるいずれかの方法を実行するコンピュータプログラムをインストールしたコンピュータを備える。
いくつかの実施形態においては、開示される方法の機能の一部または全部を実行するために、プログラム可能な論理機構（例えば、フィールドプログラマブルゲートアレイ）を用いてもよい。いくつかの実施形態においては、開示される方法のいずれかを実行するために、フィールドプログラマブルゲートアレイとマイクロプロセッサとを協働させてもよい。一般的に、方法は、ハードウェア装置によって実行されることが好ましい。
上述の実施形態は、本発明の原理を単に例示するものに過ぎない。開示される構成や詳細に対して変更または調整が可能であることは、当該分野に知識を有する者にとっては明らかである。従って、現時点における特許クレームの範囲によってのみ限定されるものであり、開示の方法や実施形態の説明によって提供された具体的詳細によっては何ら限定されるものではない。

Claims (25)

  1. 複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオ信号上の情報を示すパラメトリック副情報に基づいてアップミックスするよう構成され、前記３つ以上のダウンミックス信号をアップミックスすることにより、複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部（１１０）と、
    １つ以上の残差信号に基づいて前記第１推定オーディオオブジェクト信号の１つ以上を変更修正するよう構成され、前記前記第１推定オーディオオブジェクト信号の１つ以上を変更修正することにより複数の第２推定オーディオオブジェクト信号を生成する残差処理部（１２０）と、
    を備えるデコーダ。
  2. 請求項１に記載のデコーダにおいて、
    前記残差処理部（１２０）は、少なくとも３つの残差信号に基づいて前記第１推定オーディオオブジェクト信号の前記１つ以上を変更修正するよう構成され、
    前記デコーダは、前記複数の第２推定オーディオオブジェクト信号に基づいて、少なくとも３つのオーディオ出力チャンネルを生成する、
    デコーダ。
  3. 請求項１または２に記載のデコーダにおいて、
    前記複数の第２推定オーディオオブジェクト信号のうち、前記残差処理部（１２０）によって決定された１つ以上のオーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部（１４０）をさらに備え、
    前記パラメトリックデコード部（１１０）は、前記３つ以上の変更ダウンミックス信号に基づいて、前記第１推定オーディオオブジェクト信号の１つ以上のオーディオオブジェクト信号を決定するよう構成された、
    デコーダ。
  4. 請求項３に記載のデコーダにおいて、
    前記ダウンミックス変更部（１４０）は、
    Figure 2015529850
     を適用して、前記複数の第２推定オーディオオブジェクトのうち、前記残差処理部（１２０）により決定された前記１つ以上のオーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
    ここで、
    Ｘは、変更修正される前の３つ以上のダウンミックス信号を示し、
    Ｘ〜 ｎｏｎＥＡＯは、前記３つ以上の変更ダウンミックス信号を示し、
    Ｄは、ダウンミキシング情報を示し、
    Ｓｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号からなり、
    Ｚ＊ ｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号の所在を示す、
    デコーダ。
  5. 請求項３または４に記載のデコーダにおいて、
    前記デコーダは、２つ以上の反復ステップを実行する実施するよう構成され、
    各反復ステップにおいて、前記パラメトリックデコード部（１１０）は、前記複数の第１推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成され、
    その反復ステップにおいて、前記残差処理部（１２０）は、前記複数の第１推定オーディオオブジェクト信号のうちの前記１つのオーディオオブジェクト信号を変更修正することにより、前記複数の第２推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成され、
    前記その反復ステップにおいて、前記ダウンミックス変更部（１４０）は、前記３つ以上のダウンミックス信号から、前記第２推定オーディオオブジェクト信号のうちの前記１つのオーディオオブジェクト信号を除去し、前記３つ以上のダウンミックス信号を変更修正するよう構成され、
    前記その反復ステップの次に続く反復ステップにおいて、前記パラメトリックデコード部（１１０）は、変更修正された前記３つ以上のダウンミックス信号に基づいて、前記複数の第１推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成された、
    デコーダ。
  6. 請求項１から５のいずれか１項に記載のデコーダにおいて、前記１つ以上の残差信号はそれぞれ、前記複数のオリジナルオーディオオブジェクト信号の１つと前記１つ以上の第１推定オーディオオブジェクト信号の１つとの間の差異を示す、デコーダ。
  7. 請求項１または２に記載のデコーダにおいて、
    前記残差処理部（１２０）は、前記第１推定オーディオオブジェクト信号のうちの５つ以上を変更修正することにより、前記複数の第２推定オーディオオブジェクト信号を生成するよう構成され、
    前記残差処理部（１２０）は、５つ以上の残差信号に基づいて、前記第１推定オーディオオブジェクト信号のうちの５つ以上を変更修正するよう構成された、
    デコーダ。
  8. 請求項１または２に記載のデコーダにおいて、前記複数の第２推定オーディオオブジェクト信号に基づきて、７つ以上のオーディオ出力チャンネルを生成するデコーダ。
  9. 請求項１から８のいずれか１項に記載のデコーダにおいて、チャンネル推定係数を決定せずに前記複数の第２推定オーディオオブジェクト信号を決定するよう構成されたデコーダ。
  10. 請求項１から９のいずれか１項に記載のデコーダにおいて、ＳＡＯＣデコーダとして構成されたデコーダ。
  11. 複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオ信号上の情報を示すパラメトリック副情報に基づいてアップミックスするよう構成され、前記３つ以上のダウンミックス信号をアップミックスすることにより、複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部（２３０）と、
    前記複数のオリジナルオーディオオブジェクトに基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示す複数の残差信号を生成する残差推定部（２４０）と、
    を備える残差信号生成器（２００）。
  12. 請求項１１に記載の残差信号生成器（２００）において、
    前記３つ以上のダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部（２５０）をさらに備え、
    前記パラメトリックデコード部（２３０）は、前記３つ以上の変更ダウンミックス信号に基づいて、前記第１推定オーディオオブジェクト信号のうちの１つ以上のオーディオオブジェクト信号を決定するよう構成された、
    残差信号生成器。
  13. 請求項１２に記載の残差信号生成器（２００）において、前記ダウンミックス変更部（２５０）は、前記複数のオリジナルオーディオオブジェクト信号の１つ以上を、前記３つ以上のオリジナルダウンミックス信号から除去することにより、前記３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成された、残差信号生成器。
  14. 請求項１３に記載の残差信号生成器において、
    前記ダウンミックス変更部（２５０）は、
    Figure 2015529850
     を適用して、前記複数のオリジナルオーディオオブジェクト信号の前記１つ以上を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
    ここで、
    Ｘは、変更修正される前の３つ以上のダウンミックス信号を示し、
    Ｘ〜 ｎｏｎＥＡＯは、前記３つ以上の変更ダウンミックス信号を示し、
    Ｄは、ダウンミキシング情報を示し、
    Ｓｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号からなり、
    Ｚ＊ ｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号の所在を示す、
    残差信号生成器。
  15. 請求項１２に記載の残差信号生成器（２００）において、前記ダウンミックス変更部（２５０）は、前記推定オーディオオブジェクト信号の１つ以上に基づいて、かつ前記残差信号の１つ以上に基づいて、１つ以上の変更オーディオオブジェクト信号を生成することにより、さらに、前記１つ以上の変更オーディオオブジェクト信号を、前記３つ以上のオリジナルダウンミックス信号から除去することにより、前記３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成された、残差信号生成器。
  16. 請求項１５に記載の残差信号生成器において、
    前記ダウンミックス変更部（２５０）は、
    Figure 2015529850
     を適用して、前記複数のオリジナルオーディオオブジェクト信号の前記１つ以上を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
    ここで、
    Ｘは、変更修正対象の３つ以上のダウンミックス信号を示し、
    Ｘ〜 ｎｏｎＥＡＯは、前記３つ以上の変更ダウンミックス信号を示し、
    Ｄは、ダウンミキシング情報を示し、
    Ｓｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号からなり、
    Ｚ＊ ｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号の所在を示す、
    残差信号生成器。
  17. 請求項１２から１６のいずれか１項に記載の残差信号生成器（２００）において、
    前記残差信号生成器（２００）は、２つ以上の反復ステップを実行するように構成され、
    各反復ステップにおいて、前記パラメトリックデコード部（２３０）は、前記複数の推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成され、
    その反復ステップにおいて、前記残差推定部（２４０）は、前記複数の推定オーディオオブジェクト信号のうちの前記１つのオーディオオブジェクト信号を変更修正することにより、前記複数の残差信号のうちの１つの残差信号を決定するよう構成され、
    前記その反復ステップにおいて、前記ダウンミックス変更部（２５０）は、前記３つ以上のダウンミックス信号を変更修正するよう構成され、
    前記その反復ステップの次の反復ステップにおいて、前記パラメトリックデコード部（２３０）は、変更修正された前記３つ以上のダウンミックス信号に基づいて、前記複数の推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成された
    残差信号生成器。
  18. 請求項１１から１７のいずれか１項に記載の残差信号生成器（２００）において、前記残差推定部（２４０）は、前記複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づいて、少なくとも５つの残差信号を生成するよう構成された、残差信号生成器。
  19. ３つ以上のダウンミックス信号を生成し、パラメトリック副情報を生成し、かつ複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化するエンコーダであって、
    前記複数のオリジナルオーディオオブジェクト信号のダウンミックスを示す３つ以上のダウンミックス信号を生成するダウンミックス生成器（２１０）と、
    前記複数のオリジナルオーディオオブジェクト信号に関する情報を示す前記パラメトリック副情報を生成して、パラメトリック副情報を得るパラメトリック副情報推定器（２２０）と、
    請求項１１から１８のいずれか１項に記載の残差信号生成器（２００）と、
    を備え、
    前記残差信号生成器（２００）の前記パラメトリックデコード部（２３０）は、前記パラメトリック副情報推定器（２２０）によって生成されたパラメトリック副情報に基づいて前記３つ以上のダウンミックス信号をアップミックスするよう構成され、前記ダウンミックス生成器（２１０）により提供される前記複数のオリジナルオーディオオブジェクト信号が符号化された前記３つ以上のダウンミックス信号をアップミックスすることによって、複数の推定オーディオオブジェクト信号を生成するよう構成され、
    前記残差信号生成器（２００）の前記残差推定部（２４０）は、前記複数の残差信号を、前記複数のオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示すように生成するよう構成された、
    エンコーダ。
  20. 請求項１９に記載のエンコーダにおいて、前記エンコーダがＳＡＯＣエンコーダであることを特徴とする、エンコーダ。
  21. ３つ以上のダウンミックス信号、パラメトリック副情報および複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化する請求項１９または２０に記載のエンコーダ（３１０）と、
    請求項１から１０のいずれか１項に記載のデコーダ（３２０）と、
    を備え、
    前記デコーダ（３２０）は、前記エンコーダ（３１０）によって生成された前記３つ以上のダウンミックス信号、前記エンコーダ（３１０）によって生成された前記パラメトリック副情報、および前記エンコーダ（３１０）によって生成された前記複数の残差信号に基づき、複数の第２推定オーディオオブジェクト信号を生成するよう構成された
    システム。
  22. ３つ以上のダウンミックス信号（４１０）と、パラメトリック副情報（４２０）と、複数の残差信号（４３０）とを有する符号化オーディオ信号において、
    前記３つ以上のダウンミックス信号（４１０）は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものであり、
    前記パラメトリック副情報（４２０）には、前記複数のオリジナルオーディオオブジェクト信号に関する副情報を示すパラメータが含まれ、
    前記複数の残差信号（４３０）のそれぞれは、前記複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である、
    符号化オーディオ信号。
  23. 複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の第１推定オーディオオブジェクト信号を生成し、
    前記第１推定オーディオオブジェクト信号の１つ以上を、１つ以上の残差信号に基づき変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する
    方法。
  24. 複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の推定オーディオオブジェクト信号を生成し、
    前記複数のオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示す差異信号である複数の残差信号を生成する
    方法。
  25. コンピュータまたは信号プロセッサによって実行されるときに請求項２３または２４に記載の方法を実行するためのコンピュータプログラム。
JP2015525786A 2012-08-10 2013-04-16 パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法 Active JP6113282B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261681730P 2012-08-10 2012-08-10
US61/681,730 2012-08-10
PCT/EP2013/057932 WO2014023443A1 (en) 2012-08-10 2013-04-16 Encoder, decoder, system and method employing a residual concept for parametric audio object coding

Publications (2)

Publication Number Publication Date
JP2015529850A true JP2015529850A (ja) 2015-10-08
JP6113282B2 JP6113282B2 (ja) 2017-04-12

Family

ID=48092997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015525786A Active JP6113282B2 (ja) 2012-08-10 2013-04-16 パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法

Country Status (20)

Country Link
US (1) US10818301B2 (ja)
EP (1) EP2883225B1 (ja)
JP (1) JP6113282B2 (ja)
KR (2) KR101903664B1 (ja)
CN (1) CN104769669B (ja)
AR (1) AR090703A1 (ja)
AU (1) AU2013301831B2 (ja)
BR (1) BR112015002793B1 (ja)
CA (1) CA2881065C (ja)
ES (1) ES2638391T3 (ja)
HK (1) HK1211734A1 (ja)
MX (1) MX351193B (ja)
MY (1) MY176406A (ja)
PL (1) PL2883225T3 (ja)
PT (1) PT2883225T (ja)
RU (1) RU2628900C2 (ja)
SG (1) SG11201500878PA (ja)
TW (1) TWI517141B (ja)
WO (1) WO2014023443A1 (ja)
ZA (1) ZA201501570B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021507314A (ja) * 2018-01-18 2021-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 音場表現信号を符号化する方法及びデバイス

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2880653B1 (en) * 2012-08-03 2017-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
BR112015002793B1 (pt) 2012-08-10 2021-12-07 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Codificador, decodificador, sistema e método empregando um conceito residual para codificação de objeto de áudio paramétrico
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
WO2015059154A1 (en) 2013-10-21 2015-04-30 Dolby International Ab Audio encoder and decoder
US9779739B2 (en) * 2014-03-20 2017-10-03 Dts, Inc. Residual encoding in an object-based audio system
CN111556426B (zh) 2015-02-06 2022-03-25 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
US10893373B2 (en) 2017-05-09 2021-01-12 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal
EP3588495A1 (en) * 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010149700A1 (en) * 2009-06-24 2010-12-29 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI497485B (zh) 2004-08-25 2015-08-21 Dolby Lab Licensing Corp 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
CN101617360B (zh) * 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
MX2010004138A (es) * 2007-10-17 2010-04-30 Ten Forschung Ev Fraunhofer Codificacion de audio usando conversion de estereo a multicanal.
WO2009054665A1 (en) * 2007-10-22 2009-04-30 Electronics And Telecommunications Research Institute Multi-object audio encoding and decoding method and apparatus thereof
EP2077551B1 (en) * 2008-01-04 2011-03-02 Dolby Sweden AB Audio encoder and decoder
PL2146344T3 (pl) * 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
EP2345027B1 (en) * 2008-10-10 2018-04-18 Telefonaktiebolaget LM Ericsson (publ) Energy-conserving multi-channel audio coding and decoding
KR20110018107A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
KR101569702B1 (ko) * 2009-08-17 2015-11-17 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
EP2489038B1 (en) * 2009-11-20 2016-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
CA2793140C (en) * 2010-04-09 2016-05-31 Dolby International Ab Mdct-based complex prediction stereo coding
KR20110116079A (ko) * 2010-04-17 2011-10-25 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
CN103250206B (zh) * 2010-10-07 2015-07-15 弗朗霍夫应用科学研究促进协会 用于比特流域中的编码音频帧的强度估计的装置及方法
WO2012058805A1 (en) * 2010-11-03 2012-05-10 Huawei Technologies Co., Ltd. Parametric encoder for encoding a multi-channel audio signal
TWI800092B (zh) * 2010-12-03 2023-04-21 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
BR112015002793B1 (pt) 2012-08-10 2021-12-07 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Codificador, decodificador, sistema e método empregando um conceito residual para codificação de objeto de áudio paramétrico

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010149700A1 (en) * 2009-06-24 2010-12-29 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021507314A (ja) * 2018-01-18 2021-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 音場表現信号を符号化する方法及びデバイス
US11322164B2 (en) 2018-01-18 2022-05-03 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals

Also Published As

Publication number Publication date
BR112015002793A2 (pt) 2020-04-22
AR090703A1 (es) 2014-12-03
HK1211734A1 (en) 2016-05-27
KR101903664B1 (ko) 2018-11-22
US20150162012A1 (en) 2015-06-11
TWI517141B (zh) 2016-01-11
BR112015002793B1 (pt) 2021-12-07
RU2628900C2 (ru) 2017-08-22
ES2638391T3 (es) 2017-10-20
US10818301B2 (en) 2020-10-27
MY176406A (en) 2020-08-06
AU2013301831B2 (en) 2016-12-01
EP2883225B1 (en) 2017-06-07
SG11201500878PA (en) 2015-03-30
KR102050455B1 (ko) 2019-12-02
JP6113282B2 (ja) 2017-04-12
PL2883225T3 (pl) 2017-10-31
EP2883225A1 (en) 2015-06-17
CN104769669B (zh) 2020-09-29
PT2883225T (pt) 2017-09-04
KR20170042809A (ko) 2017-04-19
RU2015107578A (ru) 2016-09-27
CA2881065C (en) 2020-03-10
ZA201501570B (en) 2018-05-30
TW201407603A (zh) 2014-02-16
MX351193B (es) 2017-10-04
CN104769669A (zh) 2015-07-08
WO2014023443A1 (en) 2014-02-13
KR20150040921A (ko) 2015-04-15
CA2881065A1 (en) 2014-02-13
MX2015001676A (es) 2015-04-10
AU2013301831A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
JP6113282B2 (ja) パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法
JP6735053B2 (ja) マルチチャネル符号化におけるステレオ充填装置及び方法
US9431019B2 (en) Apparatus for decoding a signal comprising transients using a combining unit and a mixer
KR101391110B1 (ko) 오디오 신호 디코더, 오디오 신호 인코더, 업믹스 신호 표현을 제공하는 방법, 다운믹스 신호 표현을 제공하는 방법, 공통 객체 간의 상관 파라미터 값을 이용한 컴퓨터 프로그램 및 비트스트림
JP6289613B2 (ja) オブジェクト特有時間／周波数分解能を使用する混合信号からのオーディオオブジェクト分離
JP2011522472A (ja) パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ
AU2016234987A1 (en) Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases
EP3201916B1 (en) Audio encoder and decoder
JP6277202B2 (ja) 隠しオブジェクトを信号混合操作に使用する空間オーディオオブジェクト符号化の装置及び方法
EP3025334B1 (en) Apparatus and method for decoding an encoded audio signal to obtain modified output signals
JP6564068B2 (ja) 符号化されたオーディオ信号を処理するための装置および方法
AU2015201672A1 (en) Apparatus for generating a decorrelated signal using transmitted phase information

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170314

R150 Certificate of patent or registration of utility model

Ref document number: 6113282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250