JP2009512892A - マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置 - Google Patents

マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置 Download PDF

Info

Publication number
JP2009512892A
JP2009512892A JP2008536503A JP2008536503A JP2009512892A JP 2009512892 A JP2009512892 A JP 2009512892A JP 2008536503 A JP2008536503 A JP 2008536503A JP 2008536503 A JP2008536503 A JP 2008536503A JP 2009512892 A JP2009512892 A JP 2009512892A
Authority
JP
Japan
Prior art keywords
signal
audio signal
channel audio
downmix signal
spatial information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008536503A
Other languages
English (en)
Other versions
JP2009512892A5 (ja
JP5536335B2 (ja
Inventor
ウォン ジュン,ヤン
スク パン,ヒー
オ オー,ヒェン
スー キム,ドン
ヒュン リム,ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009512892A publication Critical patent/JP2009512892A/ja
Publication of JP2009512892A5 publication Critical patent/JP2009512892A5/ja
Application granted granted Critical
Publication of JP5536335B2 publication Critical patent/JP5536335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本発明は、マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置に関するものである。本符号化方法では、マルチチャンネルオーディオ信号とダウンミックス信号とを用いて空間情報を算出し、マルチチャンネルオーディオ信号とダウンミックス信号とを用いてダウンミックス信号を補償する補償パラメータを算出する。そして、算出した空間情報と補償パラメータを符号化された付加情報と符号化されたダウンミックス信号とを結合したビットストリームを生成する。本発明によると、ダウンミックス信号を補償する補償パラメータを使用して復号化されたマルチチャンネルオーディオ信号を補償することにより、マルチチャンネルオーディオ信号の全体的な音質の低下を防止することができる。

Description

本発明は、符号化及び復号化方法とその装置に関し、より詳しくは、ダウンミックス信号を補償できる付加情報を使用してマルチチャンネルオーディオ信号を符号化及び復号化できる符号化及び復号化方法とその装置に関する。
一般的なマルチチャンネルオーディオ信号符号化方法では、各々のチャンネル別信号を全て符号化する代わりに、マルチチャンネルオーディオ信号をモノあるいはステレオ信号にダウンミックスした(down-mixed)信号を空間情報と共に符号化する方式を使用する。この際、空間情報はダウンミックス信号から本来のマルチチャンネルオーディオ信号を生成することに使われる。
図1は、一般的なマルチチャンネルオーディオ信号符号化/復号化装置の一例に対するブロック図である。図1を参照すると、オーディオ信号エンコーダは、マルチチャンネルオーディオ信号をステレオあるいはモノ信号にダウンミックスしたダウンミックス信号を生成するダウンミックス(down-mix)モジュール、及び空間情報を生成する空間パラメータ推定(spatial parameter estimation)モジュールを具備する。使用環境によってはダウンミックス信号を外部で加工したアーティステックダウンミックス(artistic down-mix)信号にて入力を受けることもある。オーディオ信号デコーダは転送された空間情報を解析した後、これに基づいてダウンミックス信号で本来のマルチチャンネルオーディオ信号を生成する。ところが、オーディオ信号エンコーダでダウンミックス信号を生成する場合、あるいはアーティステックダウンミックス信号を生成する場合、互いに異なるチャンネルの信号を合算する過程で信号レベルの減衰が発生することがある。例えば、信号レベルが各々L1及びL2である2つのチャンネルを合算する場合、2つのチャンネルの信号が完壁に重畳されず、一部相殺されて、2つのチャンネルを合算したチャンネルのレベルDL12がL1+L2より小さくなる場合である。
このような場合、減衰されたダウンミックス信号のレベルは、復号化過程で信号歪みをもたらす。例えば、空間情報の中で、相互チャンネル間のレベル差を表すCLD(Channel Level Difference)の場合、CLD値に相互チャンネル間のレベル関係は分かるが、これらのチャンネルを合算して生成したダウンミックス信号のレベルが減衰されている場合は、復号化された信号は本来の信号より大きさが減ることになる。
このような現象により、復号化されたマルチチャンネルオーディオ信号が特定周波数で信号が上昇(boost)されるか、抑制(suppress)される効果が発生し、これによって、全体的に音質の低下が発生することになる。また、信号の一部の相殺によりレベル減衰の発生は周波数領域によって異なるので、オーディオ信号がエンコーダとデコーダを経ることになると、周波数によって歪みの程度が変化することになる。したがって、このような現象を防止するために、ダウンミックス信号の特定周波数領域のエネルギーが変化する方法では解決が容易でない。
本発明の目的は、ダウンミックス信号を補償できる付加情報を使用して符号化される符号化及びその装置を提供することにある。
本発明の他の目的は、ダウンミックス信号を補償できる付加情報を使用して符号化されたマルチチャンネルオーディオ信号を復号化する復号化方法とその装置を提供することにある。
上記の目的を達成するための本発明に係る符号化方法は、マルチチャンネルオーディオ信号とダウンミックス信号とを用いて空間情報を算出するステップと、上記マルチチャンネルオーディオ信号と上記ダウンミックス信号とを用いて、補償パラメータを算出するステップを含む。
また、上記の目的を達成するための本発明に係る符号化装置は、マルチチャンネルオーディオ信号とダウンミックス信号とを用いて空間情報を算出する空間情報算出部と、上記マルチチャンネルオーディオ信号と上記ダウンミックス信号とを用いて、補償パラメータを算出する補償パラメータ算出部を含む。
一方、本発明に係る復号化方法は、受信した信号からダウンミックス信号と付加情報とを抽出するステップと、上記付加情報から空間情報及び補償パラメータを抽出するステップと、上記ダウンミックス信号と上記空間情報とを用いてマルチチャンネルオーディオ信号を生成するステップと、生成したマルチチャンネルオーディオ信号を上記補償パラメータを使用して補償されたマルチチャンネルオーディオ信号を生成するステップを含む。
本発明によると、受信したオーディオ信号のビットストリームで符号化されたダウンミックス信号と付加情報とを抽出するデマルチプレクサ、上記ダウンミックス信号を復号化してダウンミックス信号を生成するコアエンコーダ、上記付加情報から空間情報及び補償パラメータを抽出するパラメータエンコーダ、及び上記ダウンミックス信号と上記空間情報とを用いてマルチチャンネルオーディオ信号を生成し、生成した上記マルチチャンネルオーディオ信号を上記補償パラメータを用いて補償したマルチチャンネルオーディオ信号を出力するマルチチャンネル合成部を含む復号化装置が提供される。
上記の目的を達成するために、本発明では、上記の符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取可能な記録媒体を提供する。
上記の目的を達成するために、本発明では、上記の復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取可能な記録媒体を提供する。
符号化方法において、マルチチャンネルオーディオ信号及びダウンミックス信号に基づいて空間情報が算出され、マルチチャンネルオーディオ信号及びダウンミックス信号に基づいてダウンミックス信号を補償するための補償パラメータが算出される。その後、空間情報、補償パラメータ及びダウンミックス信号を符号化し、符号化の結果を合成することによってビットストリームが生成される。したがって、ダウンミックス信号を補償するための補償パラメータを利用してマルチチャンネルオーディオ信号を補償することによって、マルチチャンネルオーディオ信号に関し音質が歪曲されることを防止することができる。
以下、図面を参照しつつ本発明をより詳細に説明する。
本発明に係る符号化及び復号化方法とその装置は、基本的にマルチチャンネルオーディオ信号の処理過程に適用されるが、必ずしもそれに限定されるのではなく、本発明に係る条件を満たす他の信号の処理過程に適用可能である。
図2は、本発明の一実施形態に係る符号化装置のブロック図である。図2を参照すると、本実施形態に係る符号化装置は、ダウンミックス部110、補償パラメータ算出部120、空間情報算出部130、及びビットストリーム生成部170を含む。ビットストリーム生成部170は、コアエンコーダ140、パラメータエンコーダ150、及びマルチプレクサ160を含む。
ダウンミックス部110は、マルチチャンネルオーディオ信号をモノ信号あるいはステレオ信号にダウンミックスしたダウンミックス信号を生成する。補償パラメータ算出部120は、ダウンミックス部110で生成されるか、あるいは入力されたアーティステックダウンミックス信号と、ダウンミックス信号の生成に使われたマルチチャンネルオーディオ信号との間のレベルサイズを比較した結果、あるいはエンベロープ(envelope)を比較した結果などにより、ダウンミックス信号の補償のために使われる補償パラメータを算出する。空間情報算出部130は、マルチチャンネルオーディオ信号の空間情報を算出する。
ビットストリーム生成部170において、コアエンコーダ140はダウンミックス信号を符号化して符号化されたダウンミックス信号を生成する。パラメータエンコーダ150は、補償パラメータと空間情報とを符号化して付加情報を生成する。そして、マルチプレクサ160は、符号化されたダウンミックス信号と付加情報とを結合したビットストリームを生成する。このような構成において、ダウンミックス部110は、入力されるマルチチャンネルオーディオ信号をダウンミックスしてダウンミックス信号を生成する。例えば、5個のチャンネルを有するマルチチャンネルオーディオ信号をステレオ信号にダウンミックスする場合、ダウンミックスチャンネル1は、マルチチャンネルオーディオ信号で1、3、4チャンネルの成分を組合せて算出することができ、ダウンミックスチャンネル2は、チャンネル2、3、5の成分を組合せて算出することができる。
ダウンミックス信号が生成されると、補償パラメータ算出部120は、ダウンミックス信号の補償に使われる補償パラメータを算出する。この際、補償パラメータは多様な方法により算出可能であり、その一例として次のような方法により算出することもできる。
5個のチャンネルを有するマルチチャンネルオーディオ信号において、特定周波数バンドで5個のチャンネルの信号レベルが各々L1、L2、L3、L4、L5とし、ダウンミックスチャンネル1は1、3、4チャンネルの成分を有し、ダウンミックスチャンネル2は2、3、5チャンネルの成分を有する場合、ダウンミックスチャンネル1の信号レベルDL134と、ダウンミックスチャンネル2の信号レベルDL235は、次の式1のような関係を有することになる。
(式1)
DL134DL1+g3L3+g4L4
DL235DL2+g3L3+g5L5
ここで、g3、g4、g5はダウンミックス時に発生する利得(gain)を表す。復号化過程において、このようなダウンミックス信号からまたマルチチャンネルオーディオ信号に生成する場合、生成された5個のチャンネル信号のレベルL1´、L2´、L3´、L4´、L5´は、各々本来の信号レベルであるL1、L2、L3、L4、L5と等しくなることが理想的である。したがって、このために、ダウンミックスチャンネル1の補償パラメータCF123、及びダウンミックスチャンネル2の補償パラメータCF235を次の式2の通り算出することができる。
(式2)
CF134=(L1+g3L3+g4L4)/DL134
CF235=(L2+g3L3+g5L5)/DL235
上記の例では、転送されるデータ量の減少のために、ダウンミックスチャンネル別に補償パラメータを算出したが、補償パラメータはマルチチャンネルオーディオ信号の各チャンネル別に算出することもできる。即ち、ダウンミックス信号と各チャンネルのエネルギーあるいはエンベロープの比で算出することも可能である。
補償パラメータの生成と共に、空間情報算出部130は空間情報を算出する。空間情報には、CLD、ICC(Inter-channel Cross Correlation)、CPC(Channel Prediction Coefficient)のような情報が含まれる。
コアエンコーダ140はダウンミックス信号を符号化し、パラメータエンコーダ150は空間情報と補償パラメータとを符号化して付加情報を生成する。この際、補償パラメータは既存のCLD符号化に使われることと同一な方式により符号化することができ、あるいは異なる方式により符号化することができる。例えば、補償パラメータは、時間あるいは周波数差分符号化(differential coding)、グループPCM符号化、パイロットベース(pilot-based)符号化、及びホフマンコードブック(Huffman code book)などを用いて符号化することができる。マルチプレクサ160は、このような生成された符号化されたダウンミックス信号と付加情報とを結合してビットストリームを生成する。このような過程により、ダウンミックス信号のレベル減殺を補償する補償パラメータが付加情報として含まれたビットストリームを生成することができる。
一方、レベル補償を必要としない場合は、補償パラメータと関連したフラグを「0」に置くことにより、転送される付加情報のビットレートを低減させることができる。また、補償パラメータCF134、CF235の値があまり差がない場合、2つの補償パラメータを転送する代わりに、一つの代表値を有する補償パラメータを使用することもできる。また、補償パラメータが時間によって変化せず、一定の値に維持された場合、特定フラグを通じて以前の値を使用するという情報を与えることもできる。
本実施形態に従って、補償パラメータは、入力を受けたマルチチャンネルオーディオ信号とダウンミックス信号との間のレベルを比較した結果を用いて設定されるが、これと異なる方法により補償パラメータを設定するか、推定して使用することができる。即ち、補償パラメータは本来の信号とダウンミックス信号との間のレベル減殺が生じることをモデリングした値であるので、上記した実施形態のように、レベル比だけでなく、如何なるウェーブ形態や、線形/非線形な特性を有する利得補償値で表現されることができる。このように、数学的にモデリングされる値に補償パラメータを使用する場合、はるかに少ないビットでも効率的に転送及び補償が可能になる。
図3は、本発明の一実施形態に係る復号化装置に対するブロック図である。図3を参照すると、本実施形態に係る復号化装置は、デマルチプレクサ310、コアデコーダ320、パラメータデコーダ330、及びマルチチャンネル合成部340を含む。
デマルチプレクサ310は、伝送を受けたビットストリームで付加情報と符号化されたダウンミックス信号とを各々分離する。コアデコーダ320は、デマルチプレクサ310から分離された符号化されたダウンミックス信号を復号化してダウンミックス信号を生成する。パラメータデコーダ330は、デマルチプレクサ310から分離された付加情報から空間情報と補償パラメータとを生成する。そして、マルチチャンネル合成部340は、ダウンミックス信号、空間情報、及び補償パラメータを用いてマルチチャンネルオーディオ信号を生成する。
図4は、本発明の一実施形態に係る復号化装置の動作方法の説明に提供されるフローチャートである。図3及び図4を参照して、本発明の一実施形態に係る復号化装置の動作方法を説明すると、次の通りである。まず、マルチチャンネルオーディオ信号のビットストリームを受信すると(S400)、デマルチプレクサ310は、受信したビットストリームで符号化されたダウンミックス信号と付加情報とを各々分離する(S405)。コアデコーダ320は、符号化されたダウンミックス信号を復号化してダウンミックス信号を生成する(S410)。そして、パラメータデコーダ330は、付加情報データを復号化して補償パラメータ及び空間情報を生成する(S420)。マルチチャンネル合成部340では、空間情報とダウンミックス信号とを用いてマルチチャンネルオーディオ信号を生成し(S430)、生成したマルチチャンネルオーディオ信号を補償パラメータを使用して補償する(S440)。この際、マルチチャンネル合成部340は、復号化によって、ダウンミックス信号と空間情報に基づいて式(3)の通り補償パラメータを使用して各チャンネル出力を補償することができる。
(式3)
L1″=L1´CF134
L2″=L2´CF235
L3″=L3´(CF124+CF235)/2
L4″=L4´CF134
L5″=L5´CF235
ここでL1´,L2´,L3´,L4´及びL5´は、チャンネルのエネルギーレベルを表し、CF134及びCF235は補償パラメータを表している。
このような過程により、空間情報と共に転送された補償パラメータを用いてマルチチャンネルオーディオ信号の復号化過程に使用して復号化されたマルチチャンネルオーディオ信号を補償することで、特定周波数帯域で信号歪みを防止することができる。また、前述したような補償パラメータを使用して各チャンネル出力を補償することは一例であり、本発明は前述したような補償パラメータに限定されるのではない。例えば、各補償パラメータとして各チャンネルのエンベロープを転送する場合、空間情報を転送せず、各チャンネルのエンベロープ情報を使用して空間情報に代わるように構成することもできる。延いては、空間情報が転送されない場合、ダウンミックスされた2つのチャンネル以上の信号のみを用いて復号化装置で類似空間情報を抽出して、これを用いて復号化過程を遂行することもできる。
図5は、本発明の他の実施形態に係る復号化装置に対するブロック図である。図5では、空間情報を付加情報として使用せず、ダウンミックス信号のみを用いてマルチチャンネルオーディオ信号を生成する場合を説明する。
図5を参照すると、本実施形態に係る復号化装置は、コアデコーダ510、フレーム化部520、空間情報推定部530、及びマルチチャンネル合成部540を含む。
コアデコーダ510は、伝送を受けたビットストリームを復号化してダウンミックス信号を生成してフレーム化部520に伝達する。この際、ビットストリームへ転送されるダウンミックスされた信号はPrologicやLogic7のようなマトリックス形態でダウンミックスされているものが好ましいか、必ずこれに限定されるのではない。
フレーム化部520は、コアデコーダ510から出力されたダウンミックスされた信号に対し、SACフレーム単位の同期を合せることができるようにデータを整列する。このようなフレーム化過程において、ダウンミックス信号に対して分析フィルタバンク(analysis filter bank)を通過したQMF(quadrature mirror filter)及びハイブリッドバンドドメイン(hybrid band domain)信号を作り出す場合、この信号は直ちに復号化過程に使用することができるので、ハイブリッドドメイン信号自体を直接マルチチャンネル合成部540に伝達することも可能である。
空間情報推定部530は、フレーム化部520で整列されたダウンミックス信号のみを用いて、CLD、ICC、CPCなどの空間情報を生成する。空間情報推定部530は、SACフレームに合せて空間情報を生成するが、この場合、フレーム長さだけのダウンミックス信号を集めて処理することもでき、サンプル単位でPCMサンプルに対応する空間情報を生成することもできる。空間情報推定部530で生成される空間情報は転送するデータでないので、量子化などの圧縮のための処理過程は不要であるので、最大限多くの情報を使用することが有利である。
そして、マルチチャンネル合成部540は、フレーム化部520を通じて転送されるダウンミックス信号と空間情報推定部530を通じて転送される空間情報とを用いてマルチチャンネルオーディオ信号を生成する。
このような構成と動作により、空間情報を付加情報として転送する一般的な方式にビット率を低めることができ、既存のマトリックス形態のダウンミックスされたコンテンツに対しても同一な方法によりマルチチャンネル信号を生成することができる。
図6は、本発明の更に他の実施形態に係る復号化装置に対するブロック図である。図6では、転送されたビットストリームにダウンミックスオーディオ信号だけでなく、空間情報を含んでいる場合、転送された空間情報を参照して復号化装置で追加的な空間情報を生成し、これを復号化に使用する場合を説明する。
図6を参照すると、本実施形態に係る復号化装置は、デマルチプレクサ610、コアデコーダ620、フレーム化部630、空間情報推定部640、マルチチャンネル合成部650、及び結合部660を含む。
デマルチプレクサ610は、伝送されたビットストリームで空間情報と符号化されたダウンミックス信号とを各々分離する。コアデコーダ620は、デマルチプレクサ610から分離された符号化されたダウンミックス信号を復号化してダウンミックス信号を生成する。フレーム化部630はコアデコーダ620から出力されたダウンミックスされた信号に対し、SACフレーム単位の同期を合せることができるようにデータを整列する。空間情報推定部640は、転送された空間情報を用いて追加的な空間情報を推定して生成する。結合部660は、転送された空間情報と空間情報推定部640で生成した空間情報とを結合してマルチチャンネル合成部650に伝達する。そして、マルチチャンネル合成部650は、ダウンミックス信号と空間情報とを用いてマルチチャンネルオーディオ信号を生成する。
このような構成により、入力ビットストリームを含む空間情報だけでなくダウンミックス信号などから推定された追加の空間情報を全て利用することができる。この際、入力ビットストリームを含む空間情報のタイプに従って、次のような多様な形態の応用が可能であり、以下に詳細を記載する。
少しのタイムスロット及びデータバンド(data band)しか有さない空間情報を受信した場合であって、即ち空間情報に対する転送ビット率が低く、空間情報のデータバンド数が低い、又は空間情報の転送頻度が低い場合、空間情報推定部640が空間情報とダウンミックスPCM信号とに基づいて空間情報によって省略された情報を生成し、これによってマルチチャンネル信号の品質を向上させることができる。例えば、受信した空間情報のデータバンド数が5の場合、空間情報推定部640で空間情報と供に受信したダウンミックス信号を参照して、空間情報を28のデータバンドを有する空間情報に変換する。受信したタイムスロット数が2つだけである場合、空間情報推定部640が空間情報と供に受信したダウンミックス信号を参照して補間された8個のタイムスロットを生成する。
CLD、ICC、CPCのうち、一部データのみ受信された場合、例えばビット率を低めるために、空間情報のうちのICCのみを受信し、CLDやCPCは受信しない場合、空間情報推定部640でCLDとCPCを推定して生成することによって、マルチチャンネル信号の品質を向上させることができる。同様に、CLDのみ受信された場合、ICCを推定して使用する等の方法が可能である。
符号化装置は、OTT(One-To-Two)又はTTT(Two-To-Three)ボックス(box)を利用して、入力されたマルチチャンネル信号をダウンミックス信号へダウンミックスする。OTT又はTTTボックスのうちの一部のみを受信する場合、空間情報推定部640は、推定によって他のOTT及びTTTボックスに従って空間情報を生成し、及び受信した空間情報及び生成した空間情報に基づいてマルチチャンネルオーディオ信号を生成することが可能である。この場合、空間情報の推定は、受信した空間情報に対応するSAC復号化の後、遂行することが好ましい。例えば、2つのチャンネルのダウンミックス信号(例えば、左(L)及び右(R)チャンネル)とTTTボックスに対応する空間情報のみを受信した場合、空間情報推定部640は、受信したダウンミックス信号のL及びRチャンネル信号に基づいて(L)、(C)及び(R)チャンネル信号を生成することが可能である。
その後、空間情報推定部640はOTTボックスに対応した空間情報を生成することが可能である。次に、マルチチャンネル合成部650が、受信した空間情報及び空間情報推定部640によって生成された空間情報に基づいて、マルチチャンネルオーディオ信号を生成することが可能である。この方法は、出力チャンネル数が多い場合に出力チャンネル数に対応する信号を生成することに適用可能である。例えば、525フォーマットを有するビットストリームが7チャンネルまで再生可能な復号化装置に入力された場合、復号化装置は、SAC復号化により5チャンネル信号(ハイブリッドドメイン)を生成し、推定によって5チャンネルを7チャンネルに拡張することに必要とされる空間情報を生成し、追加復号化を遂行して、一つのビットストリームが提供可能なチャンネル数以上の信号を生成することができる。
本発明は、コンピュータで読取可能な記録媒体にコンピュータが読取可能なコードとして具現することが可能である。コンピュータが読取可能な記録媒体は、コンピュータシステムにより読取られることができるデータが格納される全ての種類の記録装置を含む。コンピュータが読取できる記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、またインターネットを通じた転送のようなキャリアウェーブの形態で具現されることも含む。また、コンピュータが読取可能な記録媒体はネットワークにより連結されたコンピュータシステムに分散されて、分散方式によりコンピュータが読取できるコードが格納され、実行されることができる。
以上では、本発明の好ましい実施形態に対して図示及び説明したが、本発明は前述した特定の実施形態に限定されず、請求範囲で請求する本発明の要旨を逸脱することなく、当該発明が属する技術分野で通常の知識を有する者により多様な変形実施が可能であることは勿論であり、このような変形実施は本発明の技術的思想や展望から個別的に理解されてはならない。
本発明によると、入力を受けたマルチチャンネルオーディオ信号とダウンミックスされた信号のレベルなどを比較した結果により算出された補償パラメータを付加情報に使用して、復号化されたマルチチャンネルオーディオ信号を補償することができる。また、空間情報の一部を付加情報に使用して転送された付加情報とダウンミックス信号を用いて追加的な空間情報を生成して使用することもできる。したがって、復号化されたマルチチャンネルオーディオ信号が特定周波数で信号が歪曲されることを防止することができ、復号化されたマルチチャンネルオーディオ信号の全体的な音質を向上させることができる。
本発明は、マルチチャンネルオーディオ信号の符号化及び復号課過程などに使われて、補償パラメータを用いてダウンミックス信号を補償することで、音質の低下などを防止することができる。
一般的なマルチチャンネルオーディオ信号符号化/復号化装置の一例を示すブロック図である。 本発明の一実施形態に係る符号化装置のブロック図である。 本発明の一実施形態に係る復号化装置のブロック図である。 本発明の一実施形態に係る復号化装置の動作方法の説明に提供されるフローチャートである。 本発明の他の実施形態に係る復号化装置のブロック図である。 本発明の更に他の実施形態に係る復号化装置のブロック図である。

Claims (16)

  1. 受信した信号からダウンミックス信号と付加情報とを抽出するステップと、
    前記付加情報から空間情報及び補償パラメータを抽出するステップと、
    前記ダウンミックス信号と前記空間情報とを用いてマルチチャンネルオーディオ信号を生成するステップと、
    生成したマルチチャンネルオーディオ信号を前記補償パラメータを使用して補償されたマルチチャンネルオーディオ信号を生成するステップと、
    を有することを特徴とする復号化方法。
  2. 前記補償パラメータは、ダウンミックス信号レベルと前記ダウンミックス信号の生成に使われたマルチチャンネルオーディオ信号のレベルの比較結果に基づいて算出されたパラメータである、請求項1に記載の復号化方法。
  3. 前記補償パラメータは、ダウンミックス信号のエンベロープと前記ダウンミックス信号の生成に使われたマルチチャンネルオーディオ信号のエンベロープとの比較結果に基づいて算出されたパラメータである、請求項1に記載の復号化方法。
  4. 受信した信号から符号化されたダウンミックス信号と付加情報とを抽出するデマルチプレクサと、
    前記ダウンミックス信号を復号化してダウンミックス信号を生成するコアエンコーダと、
    前記付加情報から空間情報及び補償パラメータを抽出するパラメータエンコーダと、
    前記ダウンミックス信号と前記空間情報とを用いてマルチチャンネルオーディオ信号を生成し、生成した前記マルチチャンネルオーディオ信号を前記補償パラメータを用いて補償したマルチチャンネルオーディオ信号を出力するマルチチャンネル合成部と、
    を有することを特徴とする復号化装置。
  5. 前記補償パラメータは、ダウンミックス信号レベルと前記ダウンミックス信号の生成に使われたマルチチャンネルオーディオ信号のレベルとの比較結果に基づいて算出されたパラメータである、請求項4に記載の復号化装置。
  6. 前記補償パラメータは、ダウンミックス信号のエンベロープと前記ダウンミックス信号の生成に使われたマルチチャンネルオーディオ信号のエンベロープとの比較結果に基づいて算出されたパラメータである、請求項4に記載の復号化装置。
  7. 前記マルチチャンネル合成部は、補償されたマルチチャンネルオーディオ信号は、前記生成したマルチチャンネルオーディオ信号の各チャンネル別信号のレベルに対応する補償パラメータを用いて、前記補償されたマルチチャンネルオーディオ信号を生成する、請求項4に記載の復号化装置。
  8. マルチチャンネルオーディオ信号とダウンミックス信号とを用いて空間情報を算出するステップと、
    前記マルチチャンネルオーディオ信号と前記ダウンミックス信号とを用いて、前記ダウンミックス信号を補償する補償パラメータを算出するステップと、
    を有することを特徴とする符号化方法。
  9. 前記空間情報、前記補償パラメータ、及び前記ダウンミックス信号を符号化して結合したビットストリームを生成するステップをさらに有する、請求項8に記載の符号化方法。
  10. 前記補償パラメータは、前記ダウンミックス信号のレベルと前記マルチチャンネルオーディオ信号のレベルとの比較結果に基づいて算出される、請求項8に記載のマルチチャンネルオーディオ信号符号化方法。
  11. 前記補償パラメータは、前記ダウンミックス信号のエンベロープと前記マルチチャンネルオーディオ信号のエンベロープとの比較結果に基づいて算出される、請求項8に記載のマルチチャンネルオーディオ信号符号化方法。
  12. マルチチャンネルオーディオ信号とダウンミックス信号とを用いて空間情報を算出する空間情報算出部と、
    前記マルチチャンネルオーディオ信号と前記ダウンミックス信号とを用いて、前記ダウンミックス信号を補償する補償パラメータを算出する補償パラメータ算出部と、
    前記補償パラメータ及び前記空間情報を符号化して生成した付加情報と、前記ダウンミックス信号を符号化された信号を結合したビットストリームを生成するビットストリーム生成部と、
    を有することを特徴とする符号化装置。
  13. 前記補償パラメータ算出部は、前記ダウンミックス信号レベルと前記マルチチャンネルオーディオ信号のレベルとの比較結果に基づいて、前記補償パラメータを算出する、請求項12に記載の符号化装置。
  14. 前記補償パラメータ算出部は、前記ダウンミックス信号のエンベロープと前記マルチチャンネルオーディオ信号のエンベロープとの比較結果に基づいて、前記補償パラメータを算出する、請求項12に記載の符号化装置。
  15. 受信した信号からダウンミックス信号と付加情報とを抽出するステップと、
    前記付加情報から空間情報及び補償パラメータを抽出するステップと、
    前記ダウンミックス信号と前記空間情報を用いてマルチチャンネルオーディオ信号を生成するステップと、
    生成したマルチチャンネルオーディオ信号を前記補償パラメータを使用して補償されたマルチチャンネルオーディオ信号を生成するステップと、
    を有する復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取可能な記録媒体。
  16. マルチチャンネルオーディオ信号とダウンミックス信号とを用いて空間情報を算出するステップと、
    前記マルチチャンネルオーディオ信号と前記ダウンミックス信号とを用いて、前記ダウンミックス信号を補償する補償パラメータを算出するステップと、
    前記空間情報、前記補償パラメータ、及び前記ダウンミックス信号を符号化して結合したビットストリームを生成するステップと、
    を有する符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取可能な記録媒体。
JP2008536503A 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置 Active JP5536335B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US72830905P 2005-10-20 2005-10-20
US60/728,309 2005-10-20
US73429205P 2005-11-08 2005-11-08
US60/734,292 2005-11-08
US76573006P 2006-02-07 2006-02-07
US60/765,730 2006-02-07
KR10-2006-0071753 2006-07-28
KR20060071753 2006-07-28
PCT/KR2006/004284 WO2007046659A1 (en) 2005-10-20 2006-10-20 Method for encoding and decoding multi-channel audio signal and apparatus thereof

Publications (3)

Publication Number Publication Date
JP2009512892A true JP2009512892A (ja) 2009-03-26
JP2009512892A5 JP2009512892A5 (ja) 2012-07-05
JP5536335B2 JP5536335B2 (ja) 2014-07-02

Family

ID=38178049

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008536504A Active JP5507844B2 (ja) 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
JP2008536503A Active JP5536335B2 (ja) 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008536504A Active JP5507844B2 (ja) 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置

Country Status (6)

Country Link
US (4) US20080255859A1 (ja)
EP (2) EP1952391B1 (ja)
JP (2) JP5507844B2 (ja)
KR (3) KR100866885B1 (ja)
ES (1) ES2587999T3 (ja)
WO (2) WO2007046660A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968984A (zh) * 2016-10-20 2018-04-27 中国科学院声学研究所 一种5-2通道音频转换优化方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1769491B1 (en) * 2004-07-14 2009-09-30 Koninklijke Philips Electronics N.V. Audio channel conversion
WO2006126843A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US20090028344A1 (en) * 2006-01-19 2009-01-29 Lg Electronics Inc. Method and Apparatus for Processing a Media Signal
KR100991795B1 (ko) 2006-02-07 2010-11-04 엘지전자 주식회사 부호화/복호화 장치 및 방법
KR100923156B1 (ko) * 2006-05-02 2009-10-23 한국전자통신연구원 멀티채널 오디오 인코딩 및 디코딩 시스템 및 방법
US8571875B2 (en) * 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
KR100881312B1 (ko) * 2007-06-28 2009-02-03 엘지전자 주식회사 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치
EP2232485A4 (en) * 2008-01-01 2012-09-26 Lg Electronics Inc METHOD AND APPARATUS FOR SIGNAL PROCESSING
KR101614160B1 (ko) 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
US8139773B2 (en) * 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
KR20110022251A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
US9508351B2 (en) * 2009-12-16 2016-11-29 Dobly International AB SBR bitstream parameter downmix
PL3779975T3 (pl) 2010-04-13 2023-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i powiązane sposoby przetwarzania wielokanałowych sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji
DE102010015630B3 (de) * 2010-04-20 2011-06-01 Institut für Rundfunktechnik GmbH Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
KR101606665B1 (ko) * 2012-04-05 2016-03-25 후아웨이 테크놀러지 컴퍼니 리미티드 파라미터 공간 오디오 코딩 및 디코딩을 위한 방법, 파라미터 공간 오디오 코더 및 파라미터 공간 오디오 디코더
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
JP6192813B2 (ja) * 2013-05-24 2017-09-06 ドルビー・インターナショナル・アーベー オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
RU2763374C2 (ru) 2015-09-25 2021-12-28 Войсэйдж Корпорейшн Способ и система с использованием разности долговременных корреляций между левым и правым каналами для понижающего микширования во временной области стереофонического звукового сигнала в первичный и вторичный каналы
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
EP3516560A1 (en) 2016-09-20 2019-07-31 Nuance Communications, Inc. Method and system for sequencing medical billing codes
CZ2017323A3 (cs) 2017-06-06 2018-12-19 Karel Hršel Cyklistický pedál se zarážkou
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
WO2023210978A1 (ko) * 2022-04-28 2023-11-02 삼성전자 주식회사 다채널 오디오 신호 처리 장치 및 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4209544A1 (de) * 1992-03-24 1993-09-30 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen oder Speichern digitalisierter, mehrkanaliger Tonsignale
CA2365529C (en) * 1999-04-07 2011-08-30 Dolby Laboratories Licensing Corporation Matrix improvements to lossless encoding and decoding
JP3529665B2 (ja) 1999-04-16 2004-05-24 パイオニア株式会社 情報変換方法及び情報変換装置並びに情報再生装置
JP2001177889A (ja) 1999-12-21 2001-06-29 Casio Comput Co Ltd 身体装着型音楽再生装置、及び音楽再生システム
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
DE60326782D1 (de) * 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
AU2003281128A1 (en) * 2002-07-16 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
EP1611772A1 (en) * 2003-03-04 2006-01-04 Nokia Corporation Support of a multichannel audio extension
DE10350340B4 (de) 2003-10-29 2006-04-20 Infineon Technologies Ag Vorrichtung und Verfahren zur Übertragung eines analogen Datenstroms mit Kompensation von spektralen Nebenanteilen
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
AU2005219956B2 (en) * 2004-03-01 2009-05-28 Dolby Laboratories Licensing Corporation Multichannel audio coding
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
TWI498882B (zh) 2004-08-25 2015-09-01 Dolby Lab Licensing Corp 音訊解碼器
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
EP1938663A4 (en) * 2005-08-30 2010-11-17 Lg Electronics Inc DEVICE FOR ENCODING AND DECODING AUDIO SIGNAL AND CORRESPONDING METHOD
TWI390993B (zh) 2005-10-20 2013-03-21 Lg Electronics Inc 用於將多頻道音訊信號編碼與解碼之方法及其裝置
ES2391116T3 (es) 2006-02-23 2012-11-21 Lg Electronics Inc. Método y aparato para procesar una señal de audio

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6012013759; J. Herre, et al.: 'The Reference Model Architecture for MPEG Spatial Audio Coding' Convention Paper of the Audio Engineering Society 118th Convention 6447, 20050528, p.1-13, Audio Engineering Society *
JPN6012013761; J. Breebaart, et al.: 'MPEG Spatial Audio Coding / MPEG Surround: Overview and Current Status' Convention Paper of the Audio Engineering Society 119th Convention , 20051007, p.1-17, Audio Engineering Society *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968984A (zh) * 2016-10-20 2018-04-27 中国科学院声学研究所 一种5-2通道音频转换优化方法
CN107968984B (zh) * 2016-10-20 2019-08-20 中国科学院声学研究所 一种5-2通道音频转换优化方法

Also Published As

Publication number Publication date
WO2007046660A1 (en) 2007-04-26
KR20080086550A (ko) 2008-09-25
ES2587999T3 (es) 2016-10-28
EP1952392A4 (en) 2009-07-22
EP1952392A1 (en) 2008-08-06
KR101165640B1 (ko) 2012-07-17
WO2007046659A1 (en) 2007-04-26
US20100310079A1 (en) 2010-12-09
US20080262853A1 (en) 2008-10-23
EP1952391A1 (en) 2008-08-06
US8804967B2 (en) 2014-08-12
US20080255859A1 (en) 2008-10-16
JP5507844B2 (ja) 2014-05-28
KR20080066808A (ko) 2008-07-16
EP1952392B1 (en) 2016-07-20
KR20070043651A (ko) 2007-04-25
EP1952391B1 (en) 2017-10-11
KR100866885B1 (ko) 2008-11-04
JP5536335B2 (ja) 2014-07-02
US20110085669A1 (en) 2011-04-14
US8498421B2 (en) 2013-07-30
EP1952391A4 (en) 2009-07-22
JP2009512893A (ja) 2009-03-26

Similar Documents

Publication Publication Date Title
JP5536335B2 (ja) マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
JP5054034B2 (ja) 符号化/復号化装置及び方法
JP5455647B2 (ja) オーディオデコーダ
CN101385075B (zh) 用于编码/解码信号的装置和方法
US20070168183A1 (en) Audio distribution system, an audio encoder, an audio decoder and methods of operation therefore
JP2011209745A (ja) マルチチャンネル・エンコーダ
TWI390993B (zh) 用於將多頻道音訊信號編碼與解碼之方法及其裝置
MX2008009565A (en) Apparatus and method for encoding/decoding signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130308

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130319

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140424

R150 Certificate of patent or registration of utility model

Ref document number: 5536335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250