JP2010521866A - オーディオ信号の処理方法及び装置 - Google Patents

オーディオ信号の処理方法及び装置 Download PDF

Info

Publication number
JP2010521866A
JP2010521866A JP2009553525A JP2009553525A JP2010521866A JP 2010521866 A JP2010521866 A JP 2010521866A JP 2009553525 A JP2009553525 A JP 2009553525A JP 2009553525 A JP2009553525 A JP 2009553525A JP 2010521866 A JP2010521866 A JP 2010521866A
Authority
JP
Japan
Prior art keywords
information
enhanced
channel
downmix
enhanced object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009553525A
Other languages
English (en)
Inventor
オ オー，ヒェン
ウォン ジュン，ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2010521866A publication Critical patent/JP2010521866A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、前記独立オブジェクトを制御するための第１のマルチチャネル情報を生成し、前記ダウンミックス情報及び前記第１マルチチャネル情報を用いて、前記バックグラウンドオブジェクトを制御するための第２のマルチチャネル情報を生成するオーディオ信号処理方法が開示される。

Description

本発明は、オーディオ信号の処理方法及び装置に関するものであり、より詳細には、デジタル媒体、放送信号などで受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関するものである。
一般的に、複数個のオブジェクトをモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号から各パラメータが抽出される。このような各パラメータはデコーダで使用されるが、それぞれのオブジェクトのパニングや利得は、ユーザの選択によって制御される。
それぞれのオブジェクト信号を制御するためには、ダウンミックスに含まれている各ソースが適切にポジショニング又はパニングされなければならない。
また、チャネル基盤のデコーディング方式で下位互換性を有するためには、オブジェクトパラメータは、アップミキシングのためのマルチチャネルパラメータに柔軟に変換されなければならない。
本発明は、前記のような問題点を解決するためになされたもので、オブジェクトの利得及びパニングを制限なしに制御することができるオーディオ信号処理方法及び装置を提供することを目的とする。
本発明の他の目的は、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御することができるオーディオ信号処理方法及び装置を提供することにある。
本発明の更に別の目的は、ボーカルや背景音楽の利得を大幅に調節する場合にも、音質の歪曲を発生させないオーディオ信号処理方法及び装置を提供することにある。
前記のような目的を達成するために、本発明に係るオーディオ信号処理方法は、二つ以上の独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、第１のエンハンストオブジェクト情報を用いて前記ダウンミックスを第１の独立オブジェクトと臨時バックグラウンドオブジェクトに分離し、第２のエンハンストオブジェクト情報を用いて前記臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出する。
本発明によれば、前記独立オブジェクトは、オブジェクト基盤信号であり、前記バックグラウンドオブジェクトは、一つ以上のチャネル基盤信号を含む信号か、一つ以上のチャネル基盤信号がダウンミックスされた信号である。
本発明によれば、前記バックグラウンドオブジェクトは、左チャネル信号及び右チャネル信号を含むことができる。
本発明によれば、前記第１のエンハンストオブジェクト情報及び前記第２のエンハンストオブジェクト情報はレジデュアル信号である。
本発明によれば、前記第１のエンハンストオブジェクト情報及び前記第２のエンハンストオブジェクト情報は、付加情報ビットストリームに含まれており、前記付加情報ビットストリームに含まれているエンハンストオブジェクト情報の数と、前記ダウンミックス情報に含まれている独立オブジェクトの数とは同一である。
本発明によれば、前記分離することは、Ｎ個の入力を用いてＮ＋１個の出力を生成するモジュールによって行われる。
本発明によれば、オブジェクト情報及びミックス情報を受信し、前記オブジェクト情報及び前記ミックス情報を用いて、前記第１の独立オブジェクト及び前記第２の独立オブジェクトの利得を調整するためのマルチチャネル情報を生成することができる。
本発明によれば、前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報及び再生設定情報のうち一つ以上に基づいて生成してもよい。
本発明によれば、前記抽出することは、第２の臨時バックグラウンドオブジェクト及び第２の独立オブジェクトを抽出することであり、第２のエンハンストオブジェクト情報を用いて前記第２の臨時バックグラウンドオブジェクトから第３の独立オブジェクトを抽出する。
本発明の他の側面によれば、二つ以上の独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、第１のエンハンストオブジェクト情報を用いて前記ダウンミックスを第１の独立オブジェクトと臨時バックグラウンドオブジェクトに分離し、第２のエンハンストオブジェクト情報を用いて前記臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
本発明の更に別の側面によれば、二つ以上の独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信する情報受信部と、第１のエンハンストオブジェクト情報を用いて前記ダウンミックスを臨時バックグラウンドオブジェクトと第１の独立オブジェクトに分離する第１エンハンストオブジェクト情報デコーディング部と、第２のエンハンストオブジェクト情報を用いて前記臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出する第２エンハンストオブジェクト情報デコーディング部とを含むオーディオ信号処理装置が提供される。
本発明の更に別の側面によれば、第１の独立オブジェクト及びバックグラウンドオブジェクトを用いて臨時バックグラウンドオブジェクト及び第１のエンハンストオブジェクト情報を生成し、第２の独立オブジェクト及び臨時バックグラウンドオブジェクトを用いて第２のエンハンストオブジェクト情報を生成し、前記第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報を伝送するオーディオ信号処理方法が提供される。
本発明の更に別の側面によれば、第１の独立オブジェクト及びバックグラウンドオブジェクトを用いて臨時バックグラウンドオブジェクト及び第１のエンハンストオブジェクト情報を生成する第１エンハンストオブジェクト情報生成部と、第２の独立オブジェクト及び臨時バックグラウンドオブジェクトを用いて第２のエンハンストオブジェクト情報を生成する第２エンハンストオブジェクト情報生成部と、前記第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報を伝送するためのマルチプレクサとを含むオーディオ信号処理装置が提供される。
本発明の更に別の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、前記独立オブジェクトを制御するための第１のマルチチャネル情報を生成し、前記ダウンミックス情報及び前記第１のマルチチャネル情報を用いて、前記バックグラウンドオブジェクトを制御するための第２のマルチチャネル情報を生成するオーディオ信号処理方法が提供される。
本発明によれば、前記第２のマルチチャネル情報を生成することは、第１のマルチチャネル情報が適用された信号を前記ダウンミックス情報から差し引くことを含むことができる。
本発明によれば、前記差し引くことは、時間ドメイン又は周波数ドメイン上で行われる。
本発明によれば、前記差し引くことは、前記ダウンミックス情報のチャネル数と、前記第１のマルチチャネル情報が適用された信号のチャネル数とが同一である場合、チャネル別に行われる。
本発明によれば、前記第１のマルチチャネル情報及び前記第２のマルチチャネル情報を用いて、前記ダウンミックス情報から出力チャネルを生成することができる。
本発明によれば、エンハンストオブジェクト情報を受信し、前記エンハンストオブジェクト情報を用いて、前記ダウンミックス情報から前記独立オブジェクトと前記バックグラウンドオブジェクトを分離することができる。
本発明によれば、ミックス情報を受信し、前記第１のマルチチャネル情報を生成し、前記第２のマルチチャネル情報を生成することは、前記ミックス情報に基づいて行われる。
本発明によれば、前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報及び再生設定情報のうち一つ以上に基づいて生成してもよい。
本発明によれば、前記ダウンミックス情報は、放送信号を介して受信されてもよい。
本発明によれば、前記ダウンミックス情報は、デジタル媒体を介して受信されてもよい。
本発明の更に別の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、前記独立オブジェクトを制御するための第１のマルチチャネル情報を生成し、前記ダウンミックス情報及び前記第１のマルチチャネル情報を用いて、前記バックグラウンドオブジェクトを制御するための第２のマルチチャネル情報を生成することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
本発明の更に別の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信する情報受信部と、前記独立オブジェクトを制御するための第１のマルチチャネル情報を生成し、前記ダウンミックス情報及び前記第１のマルチチャネル情報を用いて、前記バックグラウンドオブジェクトを制御するための第２のマルチチャネル情報を生成するマルチチャネル生成部とを含むことを特徴とするオーディオ信号装置が提供される。
本発明の更に別の側面によれば、一つ以上の独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信し、前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックス情報から一つ以上の独立オブジェクトを抽出するオーディオ信号処理方法が提供される。
本発明によれば、前記オブジェクト情報は、前記独立オブジェクト及び前記バックグラウンドオブジェクトに関する情報に相当してもよい。
本発明によれば、前記オブジェクト情報は、前記独立オブジェクトと前記バックグラウンドオブジェクトとの間のレベル情報及び相関情報のうち一つ以上を含んでもよい。
本発明によれば、前記エンハンストオブジェクト情報は、レジデュアル信号を含んでもよい。
本発明によれば、前記レジデュアル信号は、一つ以上のオブジェクト基盤の信号をエンハンストオブジェクトにグルーピングする過程で抽出されたものである。
本発明によれば、前記独立オブジェクトは、オブジェクト基盤信号であり、前記バックグラウンドオブジェクトは、一つ以上のチャネル基盤信号を含む信号か、一つ以上のチャネル基盤信号がダウンミックスされた信号である。
本発明によれば、前記バックグラウンドオブジェクトは、左チャネル信号及び右チャネル信号を含んでもよい。
本発明によれば、前記ダウンミックス情報は、放送信号を介して受信されてもよい。
本発明によれば、前記ダウンミックス情報は、デジタル媒体を介して受信されてもよい。
本発明の更に別の側面によれば、一つ以上の独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信し、前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックス情報から一つ以上の独立オブジェクトを抽出することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
本発明の更に別の側面によれば、一つ以上の独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信する情報受信部と、前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックスから一つ以上の独立オブジェクトを抽出する情報生成ユニットとを含むオーディオ信号処理装置が提供される。
本発明は、次のような効果及び利点を提供する。
第一に、オブジェクトの利得及びパニングを制限することができる。
第二に、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御することができる。
第三に、ボーカルや背景音楽のうち一つを完全に抑圧する場合にも、利得調整による音質の歪曲を防止することができる。
第四に、ボーカルなどのような独立オブジェクトが二つ以上である場合（ステレオチャネル又は複数個のボーカル信号）、利得調整による音質の歪曲を防止することができる。
本発明の実施例に係るオーディオ信号処理装置の構成図である。 本発明の実施例に係るオーディオ信号処理装置のうちエンハンストオブジェクトエンコーダの細部構成図である。 エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第１の例を示した図である。 エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第２の例を示した図である。 エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第３の例を示した図である。 エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第４の例を示した図である。 エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第５の例を示した図である。 付加情報ビットストリームの多様な例を示した図である。 本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの細部構成図である。 エンハンストオブジェクト情報デコーディング部の細部構成の一例を示した図である。 オブジェクト情報デコーディング部の細部構成の一例を示した図である。
以下、添付された図面を参照して本発明の好適な実施例を詳細に説明する。本発明の実施例を説明する前に、本明細書及び特許請求の範囲で使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならなく、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるとの原則に立脚して、本発明の技術的思想に符合する意味及び概念で解釈しなければならない。したがって、本明細書に記載された実施例及び図面に示した構成は、本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物及び変形例が存在しうることを理解しなければならない。
特に、本明細書で、情報は、値、パラメータ、係数、成分などを総称する用語で、場合によって異なる意味に解釈されることもあるが、本発明がこれに限定されることはない。
特に、オブジェクトは、オブジェクト基盤信号及びチャネル基盤信号を含む概念であるが、場合によってオブジェクト基盤信号のみを称することができる。
図１は、本発明の実施例に係るオーディオ信号処理装置の構成を示す図である。図１を参照すると、まず、本発明の実施例に係るオーディオ信号処理装置は、エンコーダ１００及びデコーダ２００を含むが、前記エンコーダ１００は、オブジェクトエンコーダ１１０、エンハンストオブジェクトエンコーダ１２０及びマルチプレクサ１３０を含み、前記デコーダ２００は、デマルチプレクサ２１０、情報生成ユニット２２０、ダウンミックス処理ユニット２３０及びマルチチャネルデコーダ２４０を含む。ここで、各構成要素に対して概略に説明した後、エンコーダ１００のエンハンストオブジェクトエンコーダ１２０及びデコーダ２００の情報生成ユニット２２０については、図２〜図１１を参照して具体的に説明することにする。
まず、オブジェクトエンコーダ１１０は、一つ以上のオブジェクト（ｏｂｊN）を用いてオブジェクト情報（ＯＰ：ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成するが、ここで、オブジェクト情報（ＯＰ）は、オブジェクト基盤信号に関する情報で、オブジェクトレベル情報、オブジェクト相関情報などを含むことができる。一方、オブジェクトエンコーダ１１０は、一つ以上のオブジェクトをグルーピングしてダウンミックスを生成することができる。これは、図２を参照して説明されるエンハンストオブジェクト生成部１２２で一つ以上のオブジェクトをグルーピングしてエンハンストオブジェクトを生成する過程と同一であるが、本発明がこれに限定されることはない。
エンハンストオブジェクトエンコーダ１２０は、一つ以上のオブジェクト（ｏｂｊN）を用いてエンハンストオブジェクト情報（ＯＰ）及びダウンミックス（ＤＭＸ）（ＬL、ＲL）を生成する。具体的には、一つ以上のオブジェクト基盤信号をグルーピングしてエンハンストオブジェクト（ＥＯ）を生成し、チャネル基盤信号及びエンハンストオブジェクト（ＥＯ）を用いてエンハンストオブジェクト情報（ＥＯＰ：ｅｎｈａｎｃｅｄ ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成する。まず、エンハンストオブジェクト情報（ＥＯＰ）は、エンハンストオブジェクトのエネルギー情報（レベル情報を含む）、レジデュアル信号などであるが、これに対しては図２を参照して説明することにする。一方、ここで、チャネル基盤信号は、オブジェクト別に制御不可能な背景信号であるので、バックグラウンドオブジェクトと称し、エンハンストオブジェクトは、デコーダ２００で独立的にオブジェクト別に制御可能であるので、独立オブジェクトと称することができる。
マルチプレクサ１３０は、オブジェクトエンコーダ１１０で生成されたオブジェクト情報（ＯＰ）、及びエンハンストオブジェクトエンコーダ１２０で生成されたエンハンストオブジェクト情報（ＥＯＰ）をマルチプレキシングし、付加情報ビットストリームを生成する。一方、付加情報ビットストリームは、前記チャネル基盤信号に対する空間情報（ＳＰ：ｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ）（図示せず）を含むことができる。空間情報は、チャネル基盤信号をデコーディングするために必要な情報で、チャネルレベル情報及びチャネル相関情報などを含むが、本発明がこれに限定されることはない。
デコーダ２００のデマルチプレクサ２１０は、付加情報ビットストリームからオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を抽出する。付加情報ビットストリームに前記空間情報（ＳＰ）が含まれる場合、空間情報（ＳＰ）をさらに抽出する。
情報生成ユニット２２０は、オブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を用いてマルチチャネル情報（ＭＩ：Ｍｕｌｔｉ―ｃｈａｎｎｅｌ ｉｎｆｏｒｍａｔｉｏｎ）及びダウンミックス処理情報（ＤＰＩ：ｄｏｗｎｍｉｘ ｐｒｏｃｅｓｓｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を生成する。マルチチャネル情報（ＭＩ）及びダウンミックス処理情報（ＤＰＩ）を生成する際に、ダウンミックス情報（ＤＭＸ）を用いることができるが、これに対しては図８を参照して説明することにする。
ダウンミックス処理ユニット２３０は、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス（ＤＭＸ）を処理する。例えば、オブジェクトの利得又はパニングを調節するためにダウンミックス（ＤＭＸ）を処理することができる。
マルチチャネルデコーダ２４０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号をアップミキシングし、マルチチャネル信号を生成する。
以下では、図２〜図６を参照しながら、エンコーダ１００のエンハンストオブジェクトエンコーダ１２０の細部構成の多様な実施例について説明し、図８を参照しながら、付加情報ビットストリームに対する多様な実施例について説明し、図９〜図１１を参照しながら、デコーダ２００の情報生成ユニット２２０の細部構成について説明する。
図２は、本発明の実施例に係るオーディオ信号処理装置のうちエンハンストオブジェクトエンコーダの細部構成を示す図である。図２を参照すると、エンハンストオブジェクトエンコーダ１２０は、エンハンストオブジェクト生成部１２２、エンハンストオブジェクト情報生成部１２４及びマルチプレクサ１２６を含む。
エンハンストオブジェクト生成部１２２は、一つ以上のオブジェクト（ｏｂｊN）をグルーピングし、一つ以上のエンハンストオブジェクト（ＥＯL）を生成する。ここで、エンハンストオブジェクト（ＥＯL）は、高品質の制御のためにグルーピングされるものである。例えば、前記バックグラウンドオブジェクトに対してエンハンストオブジェクト（ＥＯL）が独立的に完全に抑圧（または、反対の場合、すなわち、エンハンストオブジェクト（ＥＯL）のみが再生され、バックグラウンドオブジェクトが完全に抑圧）されるようにするものである。ここで、グルーピング対象になるオブジェクト（ｏｂｊN）は、チャネル基盤信号でないオブジェクト基盤信号である。エンハンストオブジェクト（ＥＯ）は多様な方法で生成することができる。すなわち、１）一つのオブジェクトを一つのエンハンストオブジェクトとして活用することができ（ＥＯ1＝ｏｂｊ1）、２）二つ以上のオブジェクトを加えてエンハンストオブジェクトを構成することができ（ＥＯ2＝ｏｂｊ1＋ｏｂｊ2）、３）ダウンミックスから特定のオブジェクトのみを除外した信号をエンハンストオブジェクトとして活用したり（ＥＯ3＝Ｄ−ｏｂｊ2）、二つ以上のオブジェクトを除外した信号をエンハンストオブジェクトとして活用することができる（ＥＯ4＝Ｄ−ｏｂｊ1−ｏｂｊ2）。前記３）及び４）で言及されたダウンミックス（Ｄ）は、上述したダウンミックス（ＤＭＸ）（ＬL、ＲL）とは異なる概念であり、オブジェクト基盤信号のみがダウンミックスされた信号と称することができる。このように説明された四つの方法のうち一つ以上を適用し、エンハンストオブジェクト（ＥＯ）を生成することができる。
エンハンストオブジェクト情報生成部１２４は、エンハンストオブジェクト（ＥＯ）を用いてエンハンストオブジェクト情報（ＥＯＰ）を生成する。ここで、エンハンストオブジェクト情報（ＥＯＰ）は、エンハンストオブジェクト（ＥＯ）に関する情報であり、ａ）エンハンストオブジェクト（ＥＯ）のエネルギー情報（レベル情報を含む）、ｂ）エンハンストオブジェクト（ＥＯ）とダウンミックス（Ｄ）との間の関係（例えば、ミキシング利得）、ｃ）高い時間解像度又は高い周波数解像度によるエンハンストオブジェクトレベル情報又はエンハンストオブジェクト相関情報、ｄ）エンハンストオブジェクト（ＥＯ）に関する時間領域での予測情報又は包絡線情報、ｅ）レジデュアル信号のようにエンハンストオブジェクトに対する時間領域又はスペクトル領域の情報を符号化したビットストリームなどである。
一方、上述した例でエンハンストオブジェクト（ＥＯ）が第１の例及び第３の例で生成された場合（ＥＯ1＝ｏｂｊ1、ＥＯ3＝Ｄ−ｏｂｊ2）、エンハンストオブジェクト情報（ＥＯＰ）は、第１の例及び第３の例のエンハンストオブジェクト（ＥＯ1及びＥＯ3）に関するエンハンストオブジェクト情報（ＥＯＰ1、ＥＯＰ3）を生成することができる。このとき、第１の例によるエンハンストオブジェクト情報（ＥＯＰ1）は、第１の例によるエンハンストオブジェクト（ＥＯ1）を制御するために必要な情報に相当し、第３の例によるエンハンストオブジェクト情報（ＥＯＰ3）は、特定のオブジェクト（ｏｂｊ2）のみを抑圧する場合を表現するために用いられる。
エンハンストオブジェクト情報生成部１２４は、一つ以上のエンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌを含むことができる。具体的には、エンハンストオブジェクト情報生成部１２４は、一つのエンハンストオブジェクト（ＥＯ1）に関するエンハンストオブジェクト情報（ＥＯＰ1）を生成する第１のエンハンストオブジェクト情報生成部１２４―１を含むことができ、二つ以上のエンハンストオブジェクト（ＥＯ1、ＥＯ2）に関するエンハンストオブジェクト情報（ＥＯＰ2）を生成する第２のエンハンストオブジェクト情報生成部１２４―２を含むことができる。一方、エンハンストオブジェクト（ＥＯ1）のみならず第２のエンハンストオブジェクト情報生成部１２４―２の出力を用いてエンハンストオブジェクト情報（ＥＯＰL）を生成する第Ｌのエンハンストオブジェクト情報生成部１２４―Ｌを含んでもよい。前記エンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌは、それぞれＮ＋１個の入力を用いてＮ個の出力を生成するモジュールによって動作し、例えば、３個の入力を用いて２個の出力を生成するモジュールによって動作することができる。以下、エンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌに関する多様な実施例を、図３〜図７を参照して説明する。一方、エンハンストオブジェクト情報生成部１２４は、ダブルエンハンストオブジェクト（ＥＥＯＰ）をさらに生成することができるが、これは、図７を参照して詳細に説明することにする。
マルチプレクサ１２６は、エンハンストオブジェクト情報生成部１２４で生成された一つ以上のエンハンストオブジェクト情報（ＥＯＰ1，・・・，ＥＯＰL）（及びダブルエンハンストオブジェクト（ＥＥＯＰ））をマルチプレキシングする。
図３〜図７は、エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第１乃至第５の例を示した図である。図３は、エンハンストオブジェクト情報生成部が一つの第１のエンハンストオブジェクト情報生成部を含む例を示し、図４〜図６は、二つ以上のエンハンスト情報生成部（第１乃至第Ｌのエンハンストオブジェクト情報生成部）が直列的に含まれている例を示す。一方、図７は、ダブルエンハンストオブジェクト情報（ＥＥＯＰ：ｅｎｈａｎｃｅｄ ｅｎｈａｎｃｅｄ ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成する第１のダブルエンハンストオブジェクト情報生成部をさらに含む例を示す。
まず、図３を参照すると、エンハンストオブジェクト生成部１２２Ａは、チャネル基盤信号として、左チャネル信号（Ｌ）及び右チャネル信号（Ｒ）をそれぞれ受信し、オブジェクト基盤信号として、各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）をそれぞれ受信し、一つのエンハンストオブジェクト（Ｖｏｃａｌ）を生成する。まず、チャネル基盤信号（Ｌ、Ｒ）は、多チャネル信号（例えば、Ｌ、Ｒ、ＬS、ＲS、Ｃ、ＬＦＥ）がダウンミックスされた信号であるが、この過程で抽出された空間情報は、上述したように付加情報ビットストリームに含まれる。
一方、オブジェクト基盤信号としての各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）は、歌手１の音声（Ｖｏｃａｌ1）に相当する左チャネル信号（Ｖｏｃａｌ1L）及び右チャネル信号（Ｖｏｃａｌ1R）と、歌手２の音声（Ｖｏｃａｌ2）に該当する左チャネル信号（Ｖｏｃａｌ2L）及び右チャネル信号（Ｖｏｃａｌ2R）を含むことができる。一方、ここでは、ステレオオブジェクト信号について示したが、マルチチャネルオブジェクト信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ1Ls、Ｖｏｃａｌ1Rs、Ｖｏｃａｌ1C、Ｖｏｃａｌ1LFE）を受信し、一つのエンハンストオブジェクト（Ｖｏｃａｌ）にグルーピングすることも可能である。
このように一つのエンハンストオブジェクト（Ｖｏｃａｌ）が生成されたので、エンハンストオブジェクト情報生成部１２４Ａは、これに対応する一つの第１のエンハンストオブジェクト情報生成部１２４―１のみを含む。第１のエンハンストオブジェクト情報生成部１２４Ａ―１は、エンハンストオブジェクト（Ｖｏｃａｌ）及びチャネル基盤信号（Ｌ、Ｒ）を用いてエンハンストオブジェクト情報（ＥＯＰ1）として第１のレジデュアル信号（ｒｅｓ1）及び臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を生成する。臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）は、チャネル基盤信号、すなわち、バックグラウンドオブジェクト（Ｌ、Ｒ）にエンハンストオブジェクト（Ｖｏｃａｌ）が加えられた信号であり、一つのエンハンストオブジェクト情報生成部のみが存在する第３の例では、この臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）が最終的なダウンミックス信号（ＬL、ＲL）になる。
図４を参照すると、図３に示した第１の例と同様に、各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）が受信される。ただし、図４に示した第２の例では、一つのエンハンストオブジェクトにグルーピングされずに、二つのエンハンストオブジェクト（Ｖｏｃａｌ1、Ｖｏｃａｌ2）にグルーピングされるという点で差がある。このように二つのエンハンストオブジェクトが存在するので、エンハンストオブジェクト生成部１２４Ｂは、第１エンハンストオブジェクト生成部１２４Ｂ―１及び第２エンハンストオブジェクト生成部１２４Ｂ―２を含む。
第１エンハンストオブジェクト生成部１２４Ｂ―１は、バックグラウンド信号（チャネル基盤信号（Ｌ、Ｒ））及び第１のエンハンストオブジェクト信号（Ｖｏｃａｌ1）を用いて第１のエンハンストオブジェクト情報（ｒｅｓ1）及び臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を生成する。
第２エンハンストオブジェクト生成部１２４Ｂ―２は、第２のエンハンストオブジェクト信号（Ｖｏｃａｌ2）のみならず、第１の臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）も用いて、第２のエンハンストオブジェクト情報（ｒｅｓ2）及び最終ダウンミックス（ＬL、ＲL）としてのバックグラウンドオブジェクト（Ｌ2、Ｒ2）を生成する。図４に示した第２の例の場合にも、エンハンストオブジェクト（ＥＯ）とエンハンストオブジェクト情報（ＥＯＰ：ｒｅｓ）の数がそれぞれ２個であることが分かる。
図５を参照すると、図４に示した第２の例と同様に、エンハンストオブジェクト情報生成部１２４Ｃは、第１エンハンストオブジェクト情報生成部１２４Ｃ―１及び第２エンハンストオブジェクト生成部１２４Ｃ―２を含む。ただし、エンハンストオブジェクト（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R）は、二つのオブジェクト基盤信号がグルーピングされたものでなく、一つのオブジェクト基盤信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R）で構成される点で差異点が存在する。第３の例の場合にも、エンハンストオブジェクト（ＥＯ）の個数（Ｌ）とエンハンストオブジェクト情報（ＥＯＰ）の個数（Ｌ）とが同一であることが分かる。
図６を参照すると、図４に示した第２の例と類似しているが、エンハンストオブジェクト生成部１２２で合計Ｌ個のエンハンストオブジェクト（Ｖｏｃａｌ1，・・・，ＶｏｃａｌL）が生成されるという点で差がある。また、エンハンストオブジェクト情報生成部１２４Ｄは、第１エンハンストオブジェクト情報生成部１２４Ｄ―１及び第２エンハンストオブジェクト情報１２４Ｄ―２のみならず、第Ｌエンハンストオブジェクト情報生成部１２４Ｄ―Ｌまで備えるという点で差異点が存在する。第Ｌエンハンストオブジェクト情報生成部１２４―Ｌは、第２エンハンストオブジェクト情報生成部１２４―２で生成された第２の臨時バックグラウンドオブジェクト（Ｌ2、Ｒ2）及び第Ｌのエンハンストオブジェクト（ＶｏｃａｌL）を用いて第Ｌのエンハンストオブジェクト情報（ＥＯＰL、ｒｅｓL）及びダウンミックス情報（ＬL、ＲL）（ＤＭＸ）を生成する。
図７を参照すると、図６に示した第４の例で、第１ダブルエンハンストオブジェクト情報生成部１２４ＥＥ―１をさらに備える。ダウンミックス（ＤＭＸ：ＬL、ＲL）からエンハンストオブジェクト（ＥＯL）を差し引いた信号（ＤＤＭＸ）は、次のように定義することができる。
［式１］
ＤＤＭＸ＝ＤＭＸ−ＥＯL
ダブルエンハンスト情報（ＥＥＯＰ）は、ダウンミックス（ＤＭＸ：ＬL、ＲL）とエンハンストオブジェクト（ＥＯL）との間の情報でなく、前記式１によって定義された信号（ＤＤＭＸ）及びエンハンストオブジェクト（ＥＯL）に関する情報である。ダウンミックス（ＤＭＸ）からエンハンストオブジェクト（ＥＯL）を差し引く場合、エンハンストオブジェクトと関連して量子化雑音が発生しうる。このような量子化雑音をオブジェクト情報（ＯＰ）を用いて相殺することによって、音質を改善することができる（これについては、図９〜図１１を参照して説明することにする。）。この場合、エンハンストオブジェクト（ＥＯ）が含まれたダウンミックス（ＤＭＸ）に対して量子化雑音を制御するが、実際的には、エンハンストオブジェクト（ＥＯ）が除去されたダウンミックスに存在する量子化雑音を制御する。したがって、より精密に量子化雑音を除去するためには、エンハンストオブジェクト（ＥＯ）が除去されたダウンミックスに対して量子化雑音を除去するための情報が必要である。上記のように定義されたダブルエンハンスト情報（ＥＥＯＰ）を用いることができる。このとき、ダブルエンハンスト情報（ＥＥＯＰ）は、オブジェクト情報（ＯＰ）の生成方式と同一の方式によって生成される。
本発明の実施例に係るオーディオ信号処理装置のうちエンコーダ１００は、上述したような構成要素を備えることによって、ダウンミックス（ＤＭＸ）及び付加情報ビットストリームを生成する。
図８は、付加情報ビットストリームの多様な例を示した図である。まず、図８の（ａ）〜（ｂ）を参照すると、付加情報ビットストリームは、図８の（ａ）のように、オブジェクトエンコーダ１１０などによって生成されたオブジェクト情報（ＯＰ）のみを含むことができ、図８の（ｂ）のように、前記オブジェクト情報（ＯＰ）のみならず、エンハンストオブジェクトエンコーダ１２０によって生成されたエンハンストオブジェクト情報（ＥＯＰ）まで含むことができる。一方、付加情報ビットストリームは、図８の（ｃ）を参照すると、オブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）のみならず、ダブルエンハンストオブジェクト情報（ＥＥＯＰ）をさらに含んでいる。一般的なオブジェクトデコーダでは、オブジェクト情報（ＯＰ）のみを用いてオーディオ信号をデコーディングすることができるので、このようなデコーダで図８の（ｂ）又は（ｃ）に示したビットストリームを受信する場合、エンハンストオブジェクト情報（ＥＯＰ）及び／又はダブルエンハンストオブジェクト情報（ＥＥＯＰ）を除去し、オブジェクト情報（ＯＰ）のみを抽出してデコーディングに用いることができる。
図８の（ｄ）を参照すると、エンハンストオブジェクト情報（ＥＯＰ1，・・・，ＥＯＰL）がビットストリームに含まれている。上述したように、エンハンストオブジェクト情報（ＥＯＰ）は多様な方式で生成される。第１のエンハンストオブジェクト情報（ＥＯＰ1）及び第２のエンハンストオブジェクト（ＥＯＰ2）が第１の方式で生成され、第３のエンハンストオブジェクト情報（ＥＯＰ3）乃至第５のエンハンストオブジェクト情報（ＥＯＰ5）が第２の方式で生成された場合、各生成方法を表す識別子（Ｆ1、Ｆ2）をビットストリームに含ませることができる。図８の（ｄ）に示すように、生成方法を表す識別子（Ｆ1、Ｆ2）を、同一の方式で生成されたエンハンストオブジェクト情報の前のみに１回挿入することもできるが、各エンハンストオブジェクト情報の前に全て挿入することもできる。
本発明の実施例に係るオーディオ信号処理装置のうちデコーダ２００は、上記のように生成された付加情報ビットストリーム及びダウンミックスを受信してデコーディングすることができる。
図９は、本発明の実施例に係るオーディオ信号処理装置のうちの情報生成ユニットの細部構成を示す図である。情報生成ユニット２２０は、オブジェクト情報デコーディング部２２２、エンハンストオブジェクト情報デコーディング部２２４及びマルチチャネル情報生成部２２６を含む。一方、デマルチプレクサ２１０からバックグラウンドオブジェクトを制御するための空間情報（ＳＰ）が受信された場合、この空間情報（ＳＰ）は、エンハンストオブジェクト情報デコーディング部２２４及びオブジェクト情報デコーディング部２２２で使用されずに、直接マルチチャネル情報生成部２２６に伝達される。
まず、エンハンストオブジェクト情報デコーディング部２２４は、デマルチプレクサ２１０から受信したオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を用いてエンハンストオブジェクト（ＥＯ）を抽出し、バックグラウンドオブジェクト（Ｌ、Ｒ）を出力する。エンハンストオブジェクト情報デコーディング部２２４の細部構成の一例は、図１０に示されている。
図１０を参照すると、エンハンストオブジェクト情報デコーディング部２２４は、第１のエンハンストオブジェクト情報デコーディング部２２４―１乃至第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌを含む。第１のエンハンストオブジェクトデコーディング部２２４―１は、第１のエンハンストオブジェクト情報（ＥＯＰL）を用いて、ダウンミックス（ＭＸＩ）を第１のエンハンストオブジェクト（ＥＯL）（第１の独立オブジェクト）と第１の臨時バックグラウンドオブジェクト（ＬL―1、ＲL―1）に分離するためのバックグラウンドパラメータ（ＢＰ：Ｂａｃｋｇｏｕｎｄ Ｐａｒａｍｅｔｅｒ）を生成する。ここで、第１のエンハンストオブジェクトは、センターチャネルに相当し、第１の臨時バックグラウンドオブジェクトは、左チャネル及び右チャネルに相当する。
これと同様に、第Ｌエンハンストオブジェクト情報デコーディング部２２４―Ｌは、第Ｌのエンハンストオブジェクト情報（ＥＯＰ1）を用いて、第Ｌ―１の臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を第Ｌのエンハンストオブジェクト（ＥＯ1）とバックグラウンドオブジェクト（Ｌ、Ｒ）に分離するためのバックグラウンドパラメータ（ＢＰ）を生成する。
一方、第１のエンハンストオブジェクト情報デコーディング部２２４―１乃至第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌは、Ｎ入力を用いてＮ＋１出力を生成（例えば、２入力を用いて３出力を生成）するモジュールによって具現される。
一方、前記のようなバックグラウンドパラメータ（ＢＰ）を生成するためには、エンハンストオブジェクト情報デコーディング部２２４は、エンハンストオブジェクト情報（ＥＯＰ）のみならず、オブジェクト情報（ＯＰ）も用いることができる。以下では、オブジェクト情報（ＯＰ）を用いる目的及び利点について説明する。
本発明では、エンハンストオブジェクト（ＥＯ）をダウンミックス（ＤＭＸ）から除去することが目的であるが、ダウンミックス（ＤＭＸ）の符号化方法及びエンハンストオブジェクト情報（ＥＯＰ）の符号化方法によって量子化雑音が出力に含まれる。この場合、量子化雑音は元の信号と関連しているので、エンハンストオブジェクトにグルーピングされる前のオブジェクトに関する情報であるオブジェクト情報（ＯＰ）を用いてさらに音質を改善することが可能である。例えば、１番目のオブジェクトがボーカルオブジェクトである場合、第１のオブジェクト情報（ＯＰ1）はボーカルの時間、周波数、及び空間に関する情報を含む。ダウンミックス（ＤＭＸ）からボーカルを差し引いた出力は、次の式に示す通りであるが、ボーカルを差し引いた出力に対して第１のオブジェクト情報（ＯＰ1）を用いてボーカルを抑圧する場合、この出力は、ボーカルが存在していた区間に残余する量子化雑音をさらに抑圧する。
［式２］
Ｏｕｔｐｕｔ＝ＤＭＸ−ＥＯ1’
（ここで、ＤＭＸは、入力ダウンミックス信号を表し、ＥＯ1’は、コーデックでエンコーディング／デコーディングされた第１のエンハンストオブジェクトを表す。）
したがって、特定のオブジェクトに対してエンハンストオブジェクト情報（ＥＯＰ）及びオブジェクト情報（ＯＰ）を適用することによって、さらに性能を改善することができ、このようなエンハンストオブジェクト情報（ＥＯＰ）及びオブジェクト情報（ＯＰ）の適用は順次的又は同時的なものである。一方、オブジェクト情報（ＯＰ）は、エンハンストオブジェクト（独立オブジェクト）及び前記バックグラウンドオブジェクトに関する情報に相当する。
再び図９を参照すると、オブジェクト情報デコーディング部２２２は、デマルチプレクサ２１０から受信したオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報デコーディング部２２４から受信したエンハンストオブジェクト（ＥＯ）に関するオブジェクト情報（ＯＰ）をデコーディングする。オブジェクト情報デコーディング部２２２の細部構成の一例は、図１１に示されている。
図１１を参照すると、オブジェクト情報デコーディング部２２２は、第１のオブジェクト情報デコーディング部２２２―１乃至第Ｌのオブジェクト情報デコーディング部２２２―Ｌを含む。第１のオブジェクト情報デコーディング部２２２―１は、一つ以上のオブジェクト情報（ＯＰN）を用いて第１のエンハンストオブジェクト（ＥＯ1）を一つ以上のオブジェクト（例えば、Ｖｏｃａｌ1、Ｖｏｃａｌ2）に分離するための独立パラメータ（ＩＰ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｐａｒａｍｅｔｅｒ）を生成する。これと同様に、第Ｌのオブジェクト情報デコーディング部２２２―Ｌは、一つ以上のオブジェクト情報（ＯＰN）を用いて第Ｌのエンハンストオブジェクト（ＥＯL）を一つ以上のオブジェクト（例えば、Ｖｏｃａｌ4）に分離するための独立パラメータ（ＩＰ）を生成する。このように、オブジェクト情報（ＯＰ）を用いてエンハンストオブジェクト（ＥＯ）にグルーピングされていたそれぞれのオブジェクトを個別に制御することができる。
再び図９を参照すると、マルチチャネル情報生成部２２６は、ユーザインターフェースなどを介してミックス情報（ＭＸＩ：ｍｉｘ ｉｎｆｏｒｍａｔｉｏｎ）を受信し、デジタル媒体、放送媒体などを介してダウンミックス（ＤＭＸ）を受信する。そして、受信されたミックス情報（ＭＸＩ）及びダウンミックス（ＤＭＸ）を用いてバックグラウンドオブジェクト（Ｌ、Ｒ）及び／又はエンハンストオブジェクト（ＥＯ）をレンダリングするためのマルチチャネル情報（ＭＩ）を生成する。
ここで、ミックス情報（ＭＸＩ）は、オブジェクト位置情報、オブジェクト利得情報及び再生設定情報などに基づいて生成された情報であり、オブジェクト位置情報は、ユーザが各オブジェクトの位置又はパニングを制御するために入力した情報であり、オブジェクト利得情報は、ユーザが各オブジェクトの利得を制御するために入力した情報である。再生設定情報は、スピーカーの個数、スピーカーの位置、アンビエント情報（スピーカーの仮想位置）などを含む情報であり、ユーザから入力を受けることもでき、予め保存することも可能であり、他の装置から受信することもできる。
マルチチャネル情報（ＭＩ）を生成するために、マルチチャネル情報生成部２２６は、オブジェクト情報デコーディング部２２２から受信した独立パラメータ（ＩＰ）及び／又はエンハンストオブジェクト情報デコーディング部２２４から受信したバックグラウンドパラメータ（ＢＰ）を用いることができる。まず、ミックス情報（ＭＸＩ）によってエンハンストオブジェクト（独立オブジェクト）を制御するための第１のマルチチャネル情報（ＭＩ1）を生成する。例えば、ユーザがボーカル信号のようなエンハンストオブジェクトを完全に抑圧するための制御情報を入力した場合、この制御情報が適用されたミックス情報（ＭＸＩ）によって、ダウンミックス（ＤＭＸ）からエンハンストオブジェクトを除去するための第１のマルチチャネル情報を生成する。
上記のように独立オブジェクトを制御するための第１のマルチチャネル情報（ＭＩ1）を生成した後、この第１のマルチチャネル情報（ＭＩ1）及びデマルチプレクサ２１０から伝達された空間情報（ＳＰ）を用いて、バックグラウンドオブジェクトを制御するための第２のマルチチャネル情報（ＭＩ2）を生成する。具体的には、次の式で表現されるように、第１のマルチチャネル情報が適用された信号（すなわち、エンハンストオブジェクト（ＥＯ））をダウンミックス（ＤＭＸ）から差し引く方式で第２のマルチチャネル情報（ＭＩ2）を生成することができる。
［式３］
ＢＯ＝ＤＭＸ−ＥＯL
（ＢＯは、バックグラウンドオブジェクト信号を表し、ＤＭＸは、ダウンミックス信号を表し、ＥＯLは、第Ｌのエンハンストオブジェクトを表す。）
ここで、ダウンミックスからエンハンストオブジェクトを差し引く過程は、時間ドメイン又は周波数ドメイン上で行われる。また、ダウンミックス（ＤＭＸ）のチャネル数と、第１のマルチチャネル情報が適用された信号のチャネル数（すなわち、エンハンストオブジェクトのチャネル数）とが同一である場合には、チャネル別に差し引かれる。
第１のマルチチャネル情報（ＭＩ1）及び第２のマルチチャネル情報（ＭＩ2）を含むマルチチャネル情報（ＭＩ）を生成し、これをマルチチャネルデコーダ２４０に伝達する。
マルチチャネルデコーダ２４０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号をアップミキシングし、マルチチャネル信号を生成する。
以上のように、本発明は、限定された実施例及び図面に基づいて説明されたが、これによって限定されるものでなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び下記の特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用される。

Claims (12)

  1. 独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、
    前記独立オブジェクトを制御するための第１のマルチチャネル情報を生成し、
    前記ダウンミックス情報及び前記第１のマルチチャネル情報を用いて、前記バックグラウンドオブジェクトを制御するための第２のマルチチャネル情報を生成することを特徴とするオーディオ信号処理方法。
  2. 前記第２のマルチチャネル情報を生成することは、
    第１のマルチチャネル情報が適用された信号を前記ダウンミックス情報から差し引くことを含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  3. 前記差し引くことは、時間ドメイン又は周波数ドメイン上で行われることを特徴とする、請求項２に記載のオーディオ信号処理方法。
  4. 前記差し引くことは、前記ダウンミックス情報のチャネル数と、前記第１のマルチチャネル情報が適用された信号のチャネル数とが同一である場合、チャネル別に行われることを特徴とする、請求項２に記載のオーディオ信号処理方法。
  5. 前記第１のマルチチャネル情報及び前記第２のマルチチャネル情報を用いて、前記ダウンミックス情報から出力チャネルを生成することを特徴とする、請求項１に記載のオーディオ信号処理方法。
  6. エンハンストオブジェクト情報を受信し、
    前記エンハンストオブジェクト情報を用いて、前記ダウンミックス情報から前記独立オブジェクトと前記バックグラウンドオブジェクトを分離することを特徴とする、請求項１に記載のオーディオ信号処理方法。
  7. ミックス情報を受信し、
    前記第１のマルチチャネル情報を生成し、前記第２のマルチチャネル情報を生成することは、前記ミックス情報に基づいて行われることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  8. 前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報及び再生設定情報のうち一つ以上に基づいて生成されることを特徴とする、請求項７に記載のオーディオ信号処理方法。
  9. 前記ダウンミックス情報は、放送信号を介して受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  10. 前記ダウンミックス情報は、デジタル媒体を介して受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  11. 請求項１に記載の方法を実行するためのプログラムが保存されたコンピュータ読取可能記録媒体。
  12. 独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信する情報受信部と、
    前記独立オブジェクトを制御するための第１のマルチチャネル情報を生成し、前記ダウンミックス情報及び前記第１のマルチチャネル情報を用いて、前記バックグラウンドオブジェクトを制御するための第２のマルチチャネル情報を生成するマルチチャネル生成部と、を含むことを特徴とするオーディオ信号装置。
JP2009553525A 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置 Pending JP2010521866A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US89531407P 2007-03-16 2007-03-16
KR1020080024248A KR101100214B1 (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치
PCT/KR2008/001493 WO2008114982A1 (en) 2007-03-16 2008-03-17 A method and an apparatus for processing an audio signal
KR1020080024245A KR101100213B1 (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치
KR1020080024247A KR20080084757A (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2010521866A true JP2010521866A (ja) 2010-06-24

Family

ID=40024880

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009553527A Active JP5161893B2 (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置
JP2009553525A Pending JP2010521866A (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置
JP2009553526A Expired - Fee Related JP4851598B2 (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009553527A Active JP5161893B2 (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2009553526A Expired - Fee Related JP4851598B2 (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置

Country Status (6)

Country Link
US (4) US8725279B2 (ja)
EP (3) EP2130304A4 (ja)
JP (3) JP5161893B2 (ja)
KR (3) KR101100213B1 (ja)
CN (3) CN101636919B (ja)
WO (3) WO2008114985A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535958A (ja) * 2012-10-05 2015-12-17 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 後方互換性のある多重分解能空間オーディオオブジェクト符号化のためのエンコーダ、デコーダおよび方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2212882A4 (en) * 2007-10-22 2011-12-28 Korea Electronics Telecomm SOUND CODING AND DECODING METHOD WITH SEVERAL OBJECTS AND DEVICE THEREFOR
EP2194526A1 (en) 2008-12-05 2010-06-09 Lg Electronics Inc. A method and apparatus for processing an audio signal
KR101187075B1 (ko) * 2009-01-20 2012-09-27 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2209328B1 (en) 2009-01-20 2013-10-23 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
KR101387808B1 (ko) * 2009-04-15 2014-04-21 한국전자통신연구원 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
US9042559B2 (en) 2010-01-06 2015-05-26 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
KR20140027954A (ko) * 2011-03-16 2014-03-07 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
EP2717262A1 (en) 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for signal-dependent zoom-transform in spatial audio object coding
JP6196437B2 (ja) * 2012-11-07 2017-09-13 日本放送協会 受信機、及びプログラム
CN109166588B (zh) 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
JP6231762B2 (ja) * 2013-04-10 2017-11-15 日本放送協会 受信装置及びプログラム
EP2830048A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
US9779739B2 (en) 2014-03-20 2017-10-03 Dts, Inc. Residual encoding in an object-based audio system
KR101814403B1 (ko) * 2014-05-21 2018-01-04 엘지전자 주식회사 방송 신호 송/수신 처리 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03236691A (ja) * 1990-02-14 1991-10-22 Hitachi Ltd テレビジョン受信機用音声回路
JPH0654400A (ja) * 1992-07-29 1994-02-25 Mitsubishi Electric Corp 音場再生装置
JP2001100792A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 符号化方法、符号化装置およびそれを備える通信システム
JP2002044793A (ja) * 2000-07-25 2002-02-08 Yamaha Corp 音響信号処理方法及び装置
WO2006005390A1 (en) * 2004-07-09 2006-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a multi-channel output signal
JP2006100869A (ja) * 2004-09-28 2006-04-13 Sony Corp 音声信号処理装置および音声信号処理方法
WO2006084916A2 (en) * 2005-02-14 2006-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Parametric joint-coding of audio sources

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155971A (en) * 1992-03-03 1992-10-20 Autoprod, Inc. Packaging apparatus
JP2001268697A (ja) 2000-03-22 2001-09-28 Sony Corp データ伝送システム、データ伝送装置、データ伝送方法
US20040096065A1 (en) 2000-05-26 2004-05-20 Vaudrey Michael A. Voice-to-remaining audio (VRA) interactive center channel downmix
AU2003219426A1 (en) 2002-04-22 2003-11-03 Koninklijke Philips Electronics N.V. pARAMETRIC REPRESENTATION OF SPATIAL AUDIO
CN1946798A (zh) * 2004-03-03 2007-04-11 克拉通聚合物研究有限公司 包含具有高流动性和高弹性的嵌段共聚物的聚合物组合物
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US8046217B2 (en) * 2004-08-27 2011-10-25 Panasonic Corporation Geometric calculation of absolute phases for parametric stereo decoding
WO2006060279A1 (en) 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
CN2807615Y (zh) 2005-05-27 2006-08-16 熊猫电子集团有限公司 外差式am同步解调广播接收机
WO2007004830A1 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8494667B2 (en) * 2005-06-30 2013-07-23 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8147979B2 (en) * 2005-07-01 2012-04-03 Akzo Nobel Coatings International B.V. Adhesive system and method
PL2088580T3 (pl) 2005-07-14 2012-07-31 Koninl Philips Electronics Nv Kodowanie sygnałów audio
CN101223821B (zh) 2005-07-15 2011-12-07 松下电器产业株式会社 音频解码器
KR100733965B1 (ko) 2005-11-01 2007-06-29 한국전자통신연구원 객체기반 오디오 전송/수신 시스템 및 그 방법
PT2372701E (pt) 2006-10-16 2014-03-20 Dolby Int Ab Codificação aprimorada e representação de parâmetros de codificação de objeto de downmix multicanal
KR101244515B1 (ko) * 2007-10-17 2013-03-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 업믹스를 이용한 오디오 코딩

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03236691A (ja) * 1990-02-14 1991-10-22 Hitachi Ltd テレビジョン受信機用音声回路
JPH0654400A (ja) * 1992-07-29 1994-02-25 Mitsubishi Electric Corp 音場再生装置
JP2001100792A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 符号化方法、符号化装置およびそれを備える通信システム
JP2002044793A (ja) * 2000-07-25 2002-02-08 Yamaha Corp 音響信号処理方法及び装置
WO2006005390A1 (en) * 2004-07-09 2006-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a multi-channel output signal
JP2008505368A (ja) * 2004-07-09 2008-02-21 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャネル出力信号を生成するための装置及び方法
JP2006100869A (ja) * 2004-09-28 2006-04-13 Sony Corp 音声信号処理装置および音声信号処理方法
WO2006084916A2 (en) * 2005-02-14 2006-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Parametric joint-coding of audio sources
JP2008530603A (ja) * 2005-02-14 2008-08-07 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． オーディオソースのパラメトリックジョイント符号化

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535958A (ja) * 2012-10-05 2015-12-17 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 後方互換性のある多重分解能空間オーディオオブジェクト符号化のためのエンコーダ、デコーダおよび方法
US11074920B2 (en) 2012-10-05 2021-07-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding

Also Published As

Publication number Publication date
JP5161893B2 (ja) 2013-03-13
JP2010521867A (ja) 2010-06-24
EP2137824A4 (en) 2012-04-04
EP2137824A1 (en) 2009-12-30
EP2137825A4 (en) 2012-04-04
JP4851598B2 (ja) 2012-01-11
US20100087938A1 (en) 2010-04-08
KR101100214B1 (ko) 2011-12-28
KR20080084756A (ko) 2008-09-19
CN101636919B (zh) 2013-10-30
EP2130304A1 (en) 2009-12-09
JP2010521703A (ja) 2010-06-24
US8712060B2 (en) 2014-04-29
US20140222440A1 (en) 2014-08-07
KR101100213B1 (ko) 2011-12-28
US8725279B2 (en) 2014-05-13
US20100106271A1 (en) 2010-04-29
WO2008114982A1 (en) 2008-09-25
KR20080084757A (ko) 2008-09-19
EP2130304A4 (en) 2012-04-04
CN101636919A (zh) 2010-01-27
EP2137825A1 (en) 2009-12-30
WO2008114984A1 (en) 2008-09-25
US9373333B2 (en) 2016-06-21
CN101636918A (zh) 2010-01-27
WO2008114985A1 (en) 2008-09-25
US20100111319A1 (en) 2010-05-06
CN101636917B (zh) 2013-07-24
KR20080084758A (ko) 2008-09-19
CN101636917A (zh) 2010-01-27

Similar Documents

Publication Publication Date Title
JP4851598B2 (ja) オーディオ信号の処理方法及び装置
JP5243556B2 (ja) オーディオ信号の処理方法及び装置
JP5243554B2 (ja) オーディオ信号の処理方法及び装置
JP5232795B2 (ja) オブジェクトベースのオーディオ信号の符号化及び復号化方法並びにその装置
AU2007300812B2 (en) Methods and apparatuses for encoding and decoding object-based audio signals
JP5883561B2 (ja) アップミックスを使用した音声符号器
TW201514972A (zh) 使用聯合編碼殘餘信號之音訊編碼器、音訊解碼器、方法及電腦程式

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111213