JP4714416B2 - 空間的オーディオのパラメータ表示 - Google Patents

空間的オーディオのパラメータ表示 Download PDF

Info

Publication number
JP4714416B2
JP4714416B2 JP2003586873A JP2003586873A JP4714416B2 JP 4714416 B2 JP4714416 B2 JP 4714416B2 JP 2003586873 A JP2003586873 A JP 2003586873A JP 2003586873 A JP2003586873 A JP 2003586873A JP 4714416 B2 JP4714416 B2 JP 4714416B2
Authority
JP
Japan
Prior art keywords
signal
spatial
spatial parameters
audio signal
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003586873A
Other languages
English (en)
Other versions
JP2005523480A (ja
Inventor
イェー ブレーバールト,ディルク
デ パール,ステーフェン エル イェー デー エー ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=29255420&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4714416(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2005523480A publication Critical patent/JP2005523480A/ja
Application granted granted Critical
Publication of JP4714416B2 publication Critical patent/JP4714416B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereo-Broadcasting Methods (AREA)

Description

発明の詳細な説明
本発明はオーディオ信号の符号化に関し、特にマルチチャンネルオーディオ信号の符号化に関する。
オーディオ符号化の分野では、例えば、オーディオ信号の知覚品質を不当に妥協することなく、信号の通信のためのビットレートや信号を記憶するための記憶容量を減らすために、オーディオ信号を符号化することが一般的に望まれている。これは、オーディオ信号を通信容量が制限された通信チャンネルを介して送信しなければならないときや、記憶容量が制限された記憶媒体に記憶しなければならないときに、重要な問題である。
ステレオプログラムのビットレートを減らすために提案されたオーディオコーダの先行ソリューションには、以下のものがある。
「インテンシティステレオ」。このアルゴリズムでは、高い周波数(典型的には5kHzより上)は時間的に変化する周波数に依存するスケールファクターと結合した単一のオーディオ信号(すなわち、モノラル)により表される。
「M/Sステレオ」。このアルゴリズムでは、信号は和信号(または中間、若しくは共通信号)と差信号(サイド、または非共通信号)に分解される。この分解は、主成分分析または時間変動スケールファクターと組み合わせられることもある。その後、これらの信号は、変換コーダまたは波形コーダのいずれかによって、独立に符号化される。このアルゴリズムにより達成される情報量の低減は、ソース信号の空間特性に強く依存する。例えば、ソース信号がモノラルのとき、差信号はゼロであり捨てることができる。しかし、左右のオーディオ信号の相関が低いとき(こういう場合が頻繁におこる)、この方法にはほとんど有利性がない。
近年オーディオ信号のパラメータによる記述が特にオーディオ符号化の分野において注目を集めている。オーディオ信号を記述する(量子化された)パラメータの送信は、受信側において、知覚的に等しい信号を再合成するためにほとんど送信容量を必要としない。しかし、現在のパラメータによるオーディオコーダは、モノラル信号の符号化に焦点を絞っており、ステレオ信号は2つのモノラル信号として頻繁に処理される。
欧州特許出願EP1107232は、LとR成分を持つステレオ信号を符号化する方法を開示している。これによると、ステレオ信号はステレオ成分の1つと、オーディオ信号の位相差とレベル差を捉えたパラメータ情報により表される。デコーダにおいて、他のステレオ成分は、符号化されたステレオ成分とパラメータ情報に基づき回復される。
本発明の目的は、回復した信号の知覚的品質が高い改良されたオーディオ符号化を提供する問題を解決することである。
上記およびその他の問題は、オーディオ信号を符号化する方法であって、
− 少なくとも2つの入力オーディオチャンネルの組み合わせを有するモノラル信号を生成するステップと、
− 前記少なくとも2つの入力オーディオチャンネルの空間的特性を示す一組の空間パラメータを決定するステップと、ここで前記一組の空間パラメータは前記少なくとも2つの入力オーディオチャンネルの波形の類似度を表すパラメータを含み、
− 前記モノラル信号と前記一組の空間パラメータを有する符号化信号を生成するステップとを有する方法により解決される。
本願の発明者は、モノラルオーディオ信号および対応する波形の類似度を含む多数の空間的特性としてマルチチャンネルオーディオ信号を符号化することにより、マルチチャンネル信号を高い知覚的品質で回復できることに想到した。本発明がさらに有する有利性は、マルチチャンネル信号、すなわち少なくとも第1と第2のチャンネルを有する、例えばステレオ信号や4チャンネル信号の効率的な符号化を提供することである。
よって、本発明の一態様によると、マルチチャンネルオーディオ信号の空間的特性がパラメータ表示される。一般的なオーディオ符号化アプリケーションについて、これらのパラメータを1つだけのモノラルオーディオ信号と組み合わせて送信することは、チャンネルを独立に処理するオーディオコーダと比較して、ステレオ信号を送信するのに必要な送信容量を非常に減少させるが、元の空間的印象は維持できる。重要な問題は、視聴者は聴覚的オブジェクトの波形を2回(1回は左耳で、もう一回は右耳で)受け取るが、一定の位置にあり一定のサイズ(または空間的発散)の単一の聴覚的オブジェクトのみを知覚する。
それゆえ、オーディオ信号を2つ以上の(独立な)波形として記述することが必要と思われ、一組の聴覚的オブジェクトであって各々がそれ自身の空間的特性を持つものとしてマルチチャンネルオーディオを記述する方がよいであろう。直ちに持ち上がる困難として、与えられた聴覚的オブジェクトのアンサンブル、例えば音楽録音から個々の聴覚的オブジェクトを自動的に分離することはほとんど不可能だということである。この問題は個々の聴覚的オブジェクトのプログラムマテリアルを分離しないで、聴覚システムの有効な(周辺の)処理に似た方法で空間的パラメータを記述することにより回避することができる。空間的属性が対応する波形の(非)類似度を含むとき、高い知覚的品質を維持しつつ効率的な符号化を達成することができる。
特に、ここで提示したマルチチャンネルオーディオのパラメータ表示は、Breebaart等により提示されたバイノーラル処理モデルに関する。このモデルは、バイノーラル聴覚システムの効果的な信号処理を記述することを目的としている。Breebaart等によるバイノーラル聴覚処理モデルの記述は、
Breebaart, J.、van de Par, S.、Kohlrausch, A.(2001a)「反側性抑制に基づくバイノーラル処理モデルI モデル設定」J. Acoust. Soc. Am.、110、1074-1088;
Breebaart, J.、van de Par, S.、Kohlrausch, A.(2001b)「反側性抑制に基づくバイノーラル処理モデルII スペクトルパラメータへの依存性」J. Acoust. Soc. Am.、110、1089-1104;
Breebaart, J.、van de Par, S.、Kohlrausch, A.(2001c)「反側性抑制に基づくバイノーラル処理モデルIII モデル設定」J. Acoust. Soc. Am.、110、1105-1117を参照せよ。本発明を理解するのに役立つように、短い解釈を以下に記す。
好ましい実施形態において、一組の空間的パラメータは少なくとも1つの位置推定キューを含む。対応する波形の(非)類似度と同様に、1以上の、好ましくは2つの位置推定キューを空間的属性が有するとき、特に高い知覚的品質のレベルを維持しつつ、特に効率的な符号化が達成される。
位置推定キューという用語は、オーディオ信号に貢献する聴覚的オブジェクトの位置推定、例えば聴覚的オブジェクトの方向と距離に関する情報を運ぶ好適なパラメータを含む。
本発明の好ましい実施形態において、一組の空間的パラメータは、チャンネル間レベル差(ILD)、およびチャンネル間時間差(ITD)とチャンネル間位相差(IPD)のうちの選択された一方を有する少なくとも2つの位置推定キューを含む。チャンネル間レベル差とチャンネル間時間差は水平面内において最も重要な位置推定キューであると考えられることは興味深い。
第1と第2のオーディオチャンネルに対応する波形の類似度は、対応する波形がどのくらい類似するか、または非類似であるかを記述するいかなる好適な関数であってもよい。よって、類似度は類似性の単調増加関数、例えばチャンネル間相互相関(関数)から決められるパラメータであってもよい。
好ましい実施形態によると、類似度は、相互相関関数が最大となる(コヒーレンスとしても知られている)前記相互相関関数の値に対応する。最大のチャンネル間相互相関は、サウンドソースの知覚的空間的発散(または密集)と強く関係している。すなわち、上記位置推定キューにより説明されない付加的情報を提供する。それにより、伝えられる情報の冗長度の低い一組のパラメータを提供し、よって効率的な符号化を可能とする。
代替的に、類似性の他の測度、例えば波形の非類似性とともに増加する関数等を用いてもよいことに注意すべきである。上記の関数としては、例えば1-cであり、ここでcは0と1の間の値を取ると仮定した相互相関である。
本発明の好ましい実施形態によると、空間的特性を示す一組の空間パラメータを決定する前記ステップは、一組の空間パラメータを時間と周波数の関数として決定するステップを有する。
本願発明者の洞察によると、ILD、ITD(またはIPD)、および時間と周波数の関数としての最大相関を特定することにより、いかなるマルチチャンネルオーディオ信号の空間的特性を記述するにも十分である。
本発明のさらに好適な実施形態において、空間的特性を示す一組の空間パラメータを決定する前記ステップは、
− 前記少なくとも2つのオーディオチャンネルの各々を対応する複数の周波数帯に分けるステップと、
− 前記複数の周波数帯の各々について、前記対応する周波数帯中の前記少なくとも2つの入力オーディオチャンネルの空間特性を現す前記一組の空間パラメータを決定するステップとを有する。
よって、入来するオーディオ信号はいくつかの帯域制限信号に分割され、(好ましくは)ERBレートスケールで線形に間隔をあけられる。好ましくは、分析フィルターにより周波数および/または時間ドメインの部分的重複を示す。これらの信号の帯域幅は中心周波数に依存し、ERBレートにも依存する。その後、好ましくはすべての周波数帯域について、入来信号の以下の特性が分析される:
− チャンネル間レベル差、すなわちILD。左右の信号から生じる帯域制限信号の相対的レベルにより定義される。
− チャンネル間時間(または位相)差(ITDまたはIPD)。チャンネル間相互相関関数のピークの位置に対応するチャンネル間遅延(または位相シフト)により定義される。
− ITDやILDで説明できない波形の(非)類似性。チャンネル間の最大相互相関によりパラメータ表示が可能である(すなわち、最大ピークの位置における正規化された相互相関関数の値であり、コヒーレンスとしても知られている)。
上で説明した3つのパラメータは、時間により変化する。しかし、バイノーラル聴覚システムは処理が非常に遅いので、これらの特性の更新レートはむしろ低い(一般的に数10ミリ秒)。
上で説明した(ゆっくりと)時間変化する特性は、バイノーラル聴覚システムが有する空間的信号特性のみであり、これらの時間および周波数に依存するパラメータから知覚された聴覚世界は聴覚システムのより高いレベルにより再構成されると仮定してもよい。
本発明の一実施形態は、
入力信号の一定の組み合わせから構成される1つのモノラル信号と、
一組の空間的パラメータ:好ましくはすべての時間/周波数スロットについての2つの位置推定キュー(ILD、ITD、およびIPD)と、ILDおよび/またはITDにより説明できない波形の類似性また非類似性を記述するパラメータ(例えば、相互相関関数の最大値)によりマルチチャンネルオーディオ信号を記述することを目的としている。好ましくは、空間的パラメータは、各付加的聴覚チャンネルについて空間的パラメータが含まれる。
パラメータの送信において重要な問題は、パラメータ表示の正確性(すなわち、量子化エラーの大きさ)である。この正確性は必要な送信容量に直接関係する。
本発明のさらに他の好ましい実施形態によると、前記モノラル信号と前記一組の空間パラメータを有する符号化信号を生成する前記ステップは、一組の量子化された空間的パラメータであって各々は前記対応する決定された空間的パラメータに関係する対応する量子化エラーを導入するものを生成するステップを有し、前記導入された量子化エラーの少なくとも1つが前記決定された空間的パラメータの少なくとも1つの値に依存するよう制御される。
よって、パラメータの量子化により入り込んだ量子化エラーは、これらのパラメータの変化に対する人間の聴覚システムの感度により制御される。この感度はパラメータ自身の値に強く依存する。よって、パラメータの値に依存するように量子化エラーを制御することにより改良された符号化が達成される。
オーディオコーダにおいてモノラルとバイノーラル信号パラメータの分離をすることは本発明の有利性である。よって、ステレオオーディオコーダに関連した問題が非常に少なくなる(聴覚間相関量子化ノイズと比較される聴覚間非相関量子化ノイズの可聴性、またはデュアルモノモードで符号化しているパラメータコーダの聴覚間位相不一致)。
空間的パラメータは低い更新レートと低い周波数解像度しか要しないので、オーディオコーダのビットレートを大幅に低減できることが本発明のさらなる有利性である。空間的パラメータを符号化する関連するビットレートは、一般的には10kbit/sより低い(以下の実施形態を参照)。
既存のオーディオコーダと容易に組み合わせることができることは、本発明のさらなる有利性である。提案された方法によると、既存の符号化ストラテジーで符号化および復号できる1つのモノラル信号が作られる。モノラル復号の後、ここに説明したシステムは適当な空間的属性でステレオマルチチャンネル信号を再生する。
一組の空間的パラメータは、オーディオコーダの拡張レイヤーとして用いることもできる。例えば、モノラル信号は、低いビットレートだけが許されるとき送信されるが、空間拡張レイヤーを含めることにより、デコーダはステレオサウンドを再生できる。
本発明はステレオ信号に限定されず、nチャンネル(n>1)を有するいかなるマルチチャンネル信号に適用してもよい。特に、本発明は、(n-1)組の空間的パラメータが送信されたとき、1つのモノラル信号からnチャンネルを生成するために用いることができる。この場合、空間的パラメータは、単一のモノラル信号からn個の異なるオーディオチャンネルをどのように形成するかを記述する。
本発明は、上で説明した、および以下で説明する方法、符号化されたオーディオ信号を復号する方法、エンコーダ、デコーダ、プロダクト手段を含む異なる態様で実施することができる。これらは各々、さらに最初に説明した方法に関して説明した1以上の利益と利点を生じ、最初に説明した方法に関して説明したおよび従属項に開示した好ましい実施形態に対応する1以上の好ましい実施形態を有する。
上で説明した方法および以下に説明する方法の特徴は、ソフトウェアで実施してもよく、コンピュータ実行可能な命令の実行によりデータ処理システムまたは他の処理手段で実行してもよい。この命令は、記憶媒体からまたはコンピュータネットワークを介して他のコンピュータからRAM等のメモリーにロードされたプログラムコード手段でもよい。代替的に、説明した特徴は、ソフトウェアまたはその組み合わせではなく、物理的に組み込まれた回路により実施してもよい。
本発明は、オーディオ信号を符号化するエンコーダであって、
− 少なくとも2つの入力オーディオチャンネルの組み合わせを有するモノラル信号を生成する手段と、
− 前記少なくとも2つの入力オーディオチャンネルの空間的特性を示す一組の空間パラメータを決定する手段と、ここで前記一組の空間パラメータは前記少なくとも2つの入力オーディオチャンネルの波形の類似度を表すパラメータを含み、
− 前記モノラル信号と前記一組の空間パラメータを有する符号化信号を生成する手段とを有するエンコーダにさらに関する。
上記のモノラル信号を生成する手段、一組の空間パラメータを決定する手段、および符号化信号を生成する手段は、好適な回路または機器により実施してもよい。例えば、汎用または特定用途用プログラマブルマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途用集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途電子回路、またはこれらの組み合わせ等である。
本発明は、オーディオ信号を供給する装置であって、
− オーディオ信号を受信する入力と、
− 符号化されたオーディオ信号を取得するために前記オーディオ信号を符号化する、上で説明したまたは以下で説明するエンコーダと、
− 前記符号化されたオーディオ信号を供給する出力とを有する装置にさらに関する。
本装置は、据え置き型またはポータブルのコンピュータ、据え置き型またはポータブルのラジオ通信機器、その他のハンドヘルドまたはポータブルデバイス、例えばメディアプレーヤ、レコーディング機器等である電子機器またはその一部であってもよい。ポータブルラジオ通信機器という用語は、携帯電話、ページャ、コミュニケータ、すなわち電子オーガナイザ、スマートフォン、パーソナルデジタルアシスタント(PDA)、ハンドヘルドコンピュータ、その他を含む。
入力は、例えば、ラインジャック等の有線コネクションを介して、ラジオ信号等の無線コネクションを介して、またはその他の好適な方法で、アナログまたはデジタル形式のマルチチャンネルオーディオ信号を受信するための好適な回路または機器を有する。
同様に、出力は、符号化された信号を供給するいかなる好適な回路または機器を有していてもよい。上記の出力の例としては、LAN、インターネット等のコンピュータネットワークに信号を供給するネットワークインターフェイス、無線通信チャンネル等の通信チャンネルを介して信号を通信する通信回路を含む。他の実施形態において、本出力は、信号を記憶媒体に記憶する機器を有してもよい。
本発明は、符号化されたオーディオ信号であって、
少なくとも2つのオーディオチャンネルの組み合わせを有するモノラル信号と、
前記少なくとも2つの入力オーディオチャンネルの空間的特性を示す一組の空間的パラメータであって、前記少なくとも2つの入力オーディオチャンネルの波形の類似度を表すパラメータを含むものとを有する信号にさらに関する。
本発明は、上記の符号化された信号を記憶した記憶媒体にさらに関する。ここで、記憶媒体という用語は、磁気テープ、光ディスク、デジタルビデオディスク(DVD)、コンパクトディスク(CDまたはCD-ROM)、ミニディスク、ハードディスク、フロッピー(登録商標)ディスク、強誘電メモリ、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリ、EPROM、リードオンリメモリ(ROM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、強磁性メモリ、光記憶、電荷結合素子、スマートカード、PCMCIAカード等を含むが、これらに限定されない。
本発明は、符号化されたオーディオ信号を復号する方法であって、
少なくとも2つのオーディオチャンネルの組み合わせモノラル信号を前記符号化されたオーディオ信号から取得するステップと、
前記少なくとも2つのオーディオチャンネルの波形の類似度を表すパラメータを含む一組の空間的パラメータを前記符号化されたオーディオ信号から取得するステップと、
前記モノラル信号と前記空間的パラメータからマルチチャンネル出力信号を生成するステップとを有する方法にさらに関する。
本発明は、符号化されたオーディオ信号を復号するデコーダであって、
少なくとも2つのオーディオチャンネルの組み合わせモノラル信号を前記符号化されたオーディオ信号から取得する手段と、
前記少なくとも2つのオーディオチャンネルの波形の類似度を表すパラメータを含む一組の空間的パラメータを前記符号化されたオーディオ信号から取得する手段と、
前記モノラル信号と前記空間的パラメータからマルチチャンネル出力信号を生成する手段とを有するデコーダにさらに関する。
上記の手段は、いかなる好適な回路または機器により実施してもよい。例えば、汎用または特定用途用プログラマブルマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途用集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途電子回路、またはこれらの組み合わせ等である。
本発明は、復号されたオーディオ信号を供給する装置であって、
− 符号化されたオーディオ信号を受信する入力と、
− マルチチャンネル出力信号を取得するために符号化されたオーディオ信号を復号する、請求項14に記載のデコーダと、
− 前記マルチチャンネル出力信号を供給または再生する出力とを有する装置にさらに関する。
本装置は、上で説明したように、いかなる電子機器またはその一部であってもよい。
入力は、符号化されたオーディオ信号を受信するいかなる好適な回路または機器を有していてもよい。上記の入力の例としては、LAN、インターネット等のコンピュータネットワークに信号を受信するネットワークインターフェイス、無線通信チャンネル等の通信チャンネルを介して信号を受信する通信回路を含む。他の実施形態において、本入力は、信号を記憶媒体から読み出す機器を有してもよい。
同様に、出力は、デジタルまたはアナログ形式でマルチチャンネル信号を供給するいかなる好適な回路または機器であってもよい。

本発明のこれらのおよびその他の態様は、図面を参照して以下に説明した実施形態から明らかとなるであろう。

図1は、本発明の一実施形態によるオーディオ信号を符号化する方法を示すフロー図である。
最初のステップS1において、入来信号LとRは、バンドパス信号(好ましくは、周波数に従って増加するバンド幅で)に分離している。参照番号101により示されている。それらのパラメータを時間の関数として分析できる。時間/周波数スライスの可能な方法としては、時間ウィンドウを使用しその後変換操作をすることである。しかし、時間連続法を用いることもできる(例えば、フィルターバンク)。このプロセスの時間および周波数解像度は、好ましくは信号に適合される。過渡信号においては、微細な時間分解能(数ミリ秒のオーダー)と粗い周波数分解能が好ましい。一方、非過渡信号においては、より細かい周波数分解能をより粗い時間分解能(数十ミリ秒のオーダー)が好ましい。その後、ステップS2において、対応するサブバンド信号のレベル差(ILD)が決定される。ステップS3において、対応するサブバンド信号時間差(ITDまたはIPD)が決定される。ステップS4において、ILDまたはITDで説明できない波形の類似度または非類似度を記述する。これらのパラメータの分析については、下で説明する。

ステップS2:ILDの分析
ILDは、与えられた周波数バンドの一定の時刻において信号のレベル差により決定される。ILDを決定する1つの方法は、両方の入力チャンネルの対応する周波数バンドの自乗平均(rms)値を測り、これらの自乗平均値の比を算出する(好ましくはdBで表される)ことである。

ステップS3:ITDの分析
ITDは、両方のチャンネルの波形の間で最もよく一致するよう、時間または位相の調整を行うことにより決定される。ITDを取得する方法としては、2つの対応するサブバンド信号間の相互相関関数を算出し、その最大値を探すことがある。相互相関関数のこの最大値に対応する遅延をITD値として用いることができる。第2の方法は、左右サブバンドの分析信号を算出(すなわち、位相と包絡線の値を算出)し、IPDパラメータとしてチャンネル間の(平均)位相差を用いることである。

ステップS4:相関の分析
対応するサブバンド信号が最も一致するILDとITDを見つけ、そのITDおよび/またはILDを補正した後、波形の類似性を測定することにより相関を取得する。よって、このフレームワークにおいては、相関は、ILDおよび/またはITDに帰せられない対応するサブバンド信号の類似性または非類似性として定義される。このパラメータに好適な測度は、相互相関関数の最大値(すなわち、一組の遅延をわたる最大値)である。しかし、他の測度、例えば対応するサブバンドの合計信号と比較した、ILDおよび/またはITD補正後の差信号の相対的エネルギーを用いることもできる。この差パラメータは基本的には(最大)相関の線形変換である。
この後のステップS5、S6、S7において、決定されたパラメータが量子化される。パラメータの送信の重要な問題は、パラメータ表示の正確性(すなわち、数量化エラーの大きさ)である。その正確性は、必要とされる送信容量に直接関係する。このセクションにおいて、空間パラメータの量子化に関していくつかの問題を説明する。基本的なアイデアは、量子化エラーが空間的キューのいわゆる「まさしく顕著な差」(JND)に基づくことである。より具体的には、量子化エラーは、そのパラメータの変化に対する人間の聴覚システムの感度により決定される。そのパラメータの変化に対する感度はパラメータ自身の値に強く依存するので、具体的な量子化ステップを決定するために次の方法を適用する。

ステップS5:ILDの量子化
音響心理学的な研究から、ILDの変化への感度はILD自体に依存することが知られている。ILDをdBで表すと、基準となる0dBから約1dBの違いは検出可能であるが、基準レベル差20dBであると3dBオーダーの変化が必要となる。それゆえ、左右のチャンネルの信号がより大きなレベル差を持っているとき、量子化エラーはより大きくなる可能性がある。例えば、チャンネル間のレベル差を最初に測定し、取得したレベル差を非線形(圧縮)変換し、その後線形量子化プロセスを行うことにより、または非線形分布したILD値のルックアップテーブルを用いることにより適用することができる。以下の実施形態において、ルックアップテーブルの例を与える。

ステップS6:ITDの量子化
被験者のITDの変化に対する感度は、一定の位相閾値を持つことにより特徴付けられる。これは、遅延時間に関してITDを量子化するステップは周波数とともに減少することを意味する。代替的に、ITDが位相差の形で表されているとき、量子化ステップは周波数からは独立していなければならない。これを実施する方法としては、量子化ステップとして固定された位相差をとり、各周波数バンドの対応する時間遅延を決定することがある。このITD値が量子化ステップとして用いられる。他の方法として、周波数独立量子化法の後に位相差を送信する方法がある。一定の周波数より高い周波数において、人間の聴覚システムは波形の微細な構造のITDに対しては敏感ではないことも知られている。この減少は、一定の周波数(一般に2kHz)までのITDパラメータを送信することだけによって活用することができる。
ビットストリームを減らす第3の方法は、ILDおよび/または同じサブバンドの相関パラメータに依存するITD量子化ステップを組み込むことである。ILDが大きいときは、ITDの符号化はそれほど正確でなくともよい。さらにまた、相関が非常に低いとき、ITDの変化に対する人間の感度は減少することが知られている。よって、相関が小さいとき、ITD量子化エラーは大きくてもよい。この考え方の極端な例は、相関が一定の閾値より低いときおよび/または同じサブバンドについてILDが十分大きい(一般的には約20dB)とき、ITDはまったく送信しないことである。

ステップS7:相関の量子化
相関の量子化エラーは、(1)相関値それ自身、または(2)ILDに依存する。相関値が+1に近いときは正確性高く符号化できる(すなわち、小さい量子化ステップ)が、一方、相関値が0に近いときは正確性が低くなる(大きな量子化ステップ)。一組の非線形に分散した相関値の例が実施形態に与えられている。第2の可能性は、同じサブバンドの測定されたILDに依存する相関を量子化するステップを用いることである。ILDがより大きいとき(すなわち、エネルギーの点で、一方のチャンネルが支配的であるとき)、相関の量子化エラーはより大きくなる。この原理の極端な例は、サブバンドのILDの絶対値が一定の閾値を超えるとき、そのサブバンドの相関値をまったく送信しないことである。
ステップS8において、例えば入来信号成分から主成分信号を生成することによって、支配的信号を決定することによって、入来信号成分の和信号として入来オーディオ信号からモノラル信号Sが生成される。このプロセスは、好ましくは、モノラル信号を生成するために、すなわち組み合わせる前にITDまたはIPDを用いてサブバンド波形を最初に調整することによって、抽出された空間パラメータを用いる。
最後に、ステップS9において、符号化された信号102が、モノラル信号および決定されたパラメータから生成される。代替的に、和信号と空間パラメータは、同じまたは違うチャンネルを介して別々の信号として通信されてもよい。
上記の方法は、対応する装置、例えば汎用または特定用途プログラマブルマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定目的電子回路、またはこれらの組み合わせにより実施されてもよい。
図2は、本発明の一実施形態による符号化システムの概略を示すブロック図である。このシステムは、エンコーダ201および対応するデコーダ202を有する。エンコーダ201は、LとRを成分とするステレオ信号を受信し、デコーダ202に通信される和信号Sと空間的パラメータPを有する符号化信号203を生成する。信号203は、いずれでも好適な通信チャンネル204を介して通信される。代替的にまたは付加的に、信号はリムーバブル記憶媒体214、例えばメモリーカードに記憶され、そのメモリーカードがエンコーダからデコーダに送られてもよい。
エンコーダ201は、好ましくは各時間/周波数スロットごとに、それぞれ入来する信号LとRの空間的パラメータを分析する分析モジュール205と206とを有する。エンコーダは、量子化された空間的パラメータを生成するパラメータ抽出モジュール207を有する。和信号(または支配的な信号)を生成するコンバイナモジュール208は少なくとも2つの入力信号の一定の組み合わせから構成される。エンコーダは、モノラル信号と空間的パラメータを有する結果として得られる符号化信号203を生成する符号化モジュール209をさらに有する。一実施形態において、モジュール209は、ビットレート割当て、フレーミング、ロスレス符号化等の1以上の機能をさらに実行する。
合成(デコーダ202)は、左右の出力信号を生成するために空間的パラメータを和信号に適用することにより実行される。よって、デコーダ202は、モジュール209の逆演算を実行し、符号化された信号203から和信号SとパラメータPを抽出する復号モジュール210を有する。デコーダは、和信号(または支配的信号)と空間的パラメータからステレオ成分LとRを回復する合成モジュール211をさらに有する。
この実施形態において、空間的パラメータ表示は、ステレオオーディオ信号を符号化するためにモノラル(単一チャンネル)オーディオコーダと結合される。説明した実施形態はステレオ信号で動作するが、一般的な考え方はnチャンネル(n>1)のオーディオ信号に適用できる。
分析モジュール205と206において、左右の入来信号LとRは、様々な時間フレーム(例えば、各々44.1kHzのサンプリングレートで2048サンプル)に分かれていて、平方根ハミングウィンドウでウィンドウされている。その後FFTが算出される。負のFFT周波数は捨てられ、結果として得られるFFTはFFTビンのグループ(サブバンド)に分けられる。サブバンドgに分けられるFFTビンの数は、周波数に依存する。周波数が高ければより多くのビンが結合される。一実施形態において、約1.8ERB(等価方形バンド幅)に対応するFFTビンがグループ化され、全体のオーディオ周波数レンジを表す20のサブバンドとなる。各後続するサブバンド(最も低い周波数から始まる)の結果として得られるFFTビンの数S[g]は、
S=[4 4 4 5 6 8 9 12 13 17 21 25 30 38 45 55 68 82 100 477]
である。
よって、最初の3つのサブバンドは4つのFFTビンを有し、4番目のサブバンドは5つのFFTビンを有する。各サブバンドについて、対応するILD、ITD、および相関(r)が算出される。ITDと相関は、他のグループに属するFFTビンをすべてゼロに設定し、左右チャンネルから結果として得られる(バンドが制限された)FFTをかけ、逆FFT変換することにより算出される。結果として得られる相互相関関数をスキャンし、-64と+63の間のチャンネル間遅延内のピークを求める。ピークに対応する内部遅延は、ITD値として用いられ、このピークにおける相互相関関数の値は、サブバンドのチャンネル間相関として用いられる。最後に、各サブバンドの左右チャンネルのパワー比率を取ることにより、ILDが算出される。
コンバイナモジュール208において、左右のサブバンドは位相修正(時間的調整)の後合計される。この位相修正は、そのサブバンドのために算出されたITDの後行われ、左チャンネルのサブバンドをITD/2、右チャンネルのサブバンドを-ITD/2遅延させることから構成される。その遅延は、各FFTビンの位相角を適当に修正することにより周波数ドメインで実行される。その後、和信号は、左右のサブバンド信号を位相変更したものを加えることにより算出される。最後に、非相関または相関した和を補正するために、和信号の各サブバンドはsqrt(2/(1+r))倍される。ここで、rは対応するサブバンドの相関である。もし必要であれば、和信号は、(1)負の周波数に共役複素数を入れること、(2)逆FFT、(3)ウィンドウ、および(4)オーバーラップ加法により、時間ドメインに変換することができる。
パラメータ抽出モジュール207において、空間的パラメータは量子化される。ILD(dB)は、次の組Iの一番近い値に量子化される。
I=[-19 -16 -13 -10 -8 -6 -4 -2 0 2 4 6 8 10 13 16 19]
ITD量子化ステップは、0.1ラジアンの各サブバンドにおける一定の位相差により決定される。よって、各サブバンドについて、サブバンドの中心周波数の0.1ラジアンに対応する時間差は、量子化ステップとして用いられる。2kHzより高い周波数について、ITD情報は送信されない。
チャンネル間相関値rは、次のアンサンブルRの最も近い値に量子化される。
R=[1 0.95 0.9 0.82 0.75 0.6 0.3 0]。
この場合、相関値あたり3ビット余分にかかる。
現在のサブバンドの(量子化された)ILDの絶対値が19dBである場合、このサブバンドについてはITDも相関値も送信されない。サブバンドの(量子化された)相関値がゼロのとき、そのサブバンドについてはITDは送信されない。
このように、各フレームは空間的パラメータを送信するのに最大233ビット必要とする。フレーム長は1024ビットなので、送信の最大ビットレートは10.25kbit/sとなる。エントロピー符号化または微分符号化を用いることにより、このビットレートをさらに減らすことができることに注意すべきである。
エンコーダは、合成モジュール211を有し、ステレオ信号は受信した和信号と空間的パラメータから合成される。よって、この説明のために、上で説明したように、合成モジュールは和信号の周波数ドメイン表示を受信すると仮定する。この表示は、時間ドメイン波形をウィンドウし、FFT変換をすることにより取得される。最初に、和信号は左右の出力信号にコピーされる。その後、左右の信号間の相関がデコリレータで修正される。好ましい実施形態において、上で説明したデコリレータが用いられる。その後、そのサブバンドに対応する(量子化された)ITDを与えられ、左信号の各サブバンドは-ITD/2だけ遅延され、右信号はITD/2だけ遅延される。最後に、左右のサブバンドはそのサブバンドについてILDによりスケールされる。一実施形態において、上記の変更は、下で説明するフィルターにより実行される。出力信号を時間ドメインに変換するため、以下のステップが実行される。(1)負の周波数で共役複素数を入れ、(2)逆FFTし、(3)ウィンドウし、(4)オーバーラップ加法する。
図3は、オーディオ信号の合成に用いるフィルター方法を示す図である。最初のステップ301において、入来するオーディオ信号x(t)は多数のフレームにセグメント化される。セグメント化ステップ301は、信号を好適な長さ、例えば500-5000サンプルの範囲、例えば1024または2048サンプルのフレームxn(t)に分割する。
好ましくは、セグメント化は、オーバーラッピング分析と合成ウィンドウ関数を用い実行されるので、フレーム境界で入り込む可能性のあるアーティファクトを抑制することができる(例えば、Princen, J. P.、Bradley, A. Bによる「時間ドメインエイリアシングキャンセレーションに基づく分析・合成フィルターバンク設計」、IEEE transactions on Acoustics, Speech and Signal Processing、Vol. ASSP 34, 1986を参照)。
ステップ302において、フレームxn(t)の各々は、好ましくは高速フーリエ変換(FFT)として実装されているフーリエ変換を適用することにより、周波数ドメインに変換される。結果として得られるn番目のフレームxn(t)の周波数表示は、多数の周波数成分X(k,n)を有する。ここで、nはフレーム番号を示し、パラメータk(0<k<K)は周波数ωkに対応する周波数成分または周波数ビンを示す。
ステップ303において、カレントフレームの所望のフィルターは、受信した時間変化する空間的パラメータにより決定される。所望のフィルターは、n番目のフレームの一組のK複素重みファクターF(k,n)(0<k<K)を有する所望のフィルター応答として表される。フィルター応答F(k,n)は2つの実数、すなわちF(k,n)=a(k,n)・exp[jφ(k,n)]として、振幅a(k,n)および位相φ(k,n) により表されてもよい。
周波数ドメインにおいて、フィルターされた周波数成分はY(k,n)=F(k,n)・X(k,n)である。すなわち、そのフィルターされた周波数成分は、入力信号の周波数成分X(k,n)とフィルター応答F(k,n)の積から得られる。当業者には明らかなように、周波数ドメインにおけるこの積は、入力信号フレームxn(t)の対応するフィルターfn(t)との繰り込みに対応する。
ステップ304において、所望のフィルター応答F(k,n)は、カレントフレームX(k,n)にそれを適用する前に変更される。特に、適用される実際のフィルター応答F´(k,n)は、所望のフィルター応答F(k,n)と以前のフレームに関する情報308の関数として決定される。好ましくは、この情報は、次式により、1以上の前のフレームの実際および/または所望のフィルター応答を有する。
Figure 0004714416
よって、前のフィルター応答のヒストリーに依存する実際のフィルター応答をつくることにより、連続するフレーム間のフィルター応答の変化によって入ったアーティファクトを効果的に抑制することができる。好ましくは、変換関数Φの実際の形は、動的に変化するフィルター応答から生じるオーバーラップ加法アーティファクトを減らすように選択される。
例えば、変換関数Φは、単一の前の応答関数、例えばF´(k,n)=Φ1[F(k,n),F(k,n-1)]またはF´(k,n)=Φ2[F(k,n),F´(k,n-1)]であってもよい。他の実施形態において、変換関数は多数の前の応答関数の移動平均、例えば前の応答関数のフィルターされたもの等を有してもよい。変換関数Φの好ましい実施形態は、以下でより詳しく説明する。
ステップ305において、実際のフィルター応答F´(k,n)は、Y(k,n)=F´(k,n)・X(k,n)によって、入力信号のカレントフレームの周波数成分X(k,n)を対応するフィルター応答ファクターF´(k,n)と掛け合わせることにより適用される。
ステップ306において、結果として得られる処理された周波数成分Y(k,n)は、フィルターされたフレームyn(t)になる時間ドメインに変換して戻される。好ましくは、逆変換は、逆高速フーリエ変換(IFFT)として実施される。
最後に、ステップ307として、フィルターされたフレームは、オーバーラップ加法によりフィルターされた信号y(t)に再結合される。オーバーラップ加法の効率的な実施は、Bergmans, J. W. M.、「デジタルベースバンド送信および記録」、Kluwer、1996に開示されている。
一実施形態において、ステップ304の変換関数は、カレントおよび前のフレーム間の位相変化リミッターとして実施される。この実施形態において、対応する周波数成分の前のサンプルに適用された実際の位相変更φ´(k,n-1)と比較される各周波数成分F(k,n)の位相変化δ(k)が算出される。すなわち、δ(k)=φ(k,n)-φ´(k,n-1)である。
その後、所望のフィルターF(k,n)の位相成分は、フレームをわたる位相変化が減るように変更される。この実施形態によると、これは、例えば、次式(1)
Figure 0004714416
により、位相差を切ることにより、実際の位相差が所定の閾値cを超えないようにすることにより達成される。
閾値cは、所定の定数、例えばπ/8とπ/3の間の値であってもよい。一実施形態において、閾値cは定数でなくともよく、例えば時間、周波数の関数等であってもよい。さらにまた、位相変化の上記の固定した制限に変えて、他の位相変化制限関数を用いてもよい。
一般に、上記の実施形態において、個々の周波数成分の後の時間フレームにわたる所望の位相変化は、入出力関数P(δ(k))により変換され、実際のフィルター応答F´(k,n)は次式(2)により与えられる。
Figure 0004714416
よって、本実施形態において、皇族の時間フレームに渡る位相変化の変換関数Pが導入される。
フィルター応答の変換の他の実施形態において、位相を制限する手続きは、好適な音質の測度、例えば下で説明する予測方法によりなされる。これは、ノイズのような信号で起こる連続するフレーム間の位相ジャンプが本発明による位相変化制限手続きから除外されてもよいという利点を有する。ノイズのような信号の上記の位相ジャンプを制限することは、そのノイズのような信号を合成的またはメタリックとしばしば感じる音色に聞こえる。
本実施形態によると、予測された位相エラーθ(k)=φ(k,n)-φ(k,n-1)-ωk・hが計算される。ここで、ωkは、k番目の周波数成分に対応する周波数を表し、hはサンプルのホップサイズを表す。ここで、ホップサイズという用語は、2つの隣り合ったウィンドウ中心間の違い、すなわち、対称的なウィンドウの分析長の半分を指す。以下では、上記のエラーは区間[-π,+π]に丸められていると仮定する。
その後、k番目の周波数ビンの位相予測製の量を表す予測測度Pkは、Pk=(π-|θ(k)|)/π∈[0,1]により計算される。ここで、||は絶対値を表す。
ここで、上記測度Pkは、k番目の周波数ビンの位相予測製の量に対応する0と1の間の値である。Pkが1に近いとき、基礎をなす信号は高い程度の音色を有する、すなわち、ほぼシヌソイド波形を有すると仮定してもよい。上記の信号については、位相ジャンプは、例えばオーディオ信号のリスナーにとって容易に知覚可能である。よって、位相ジャンプはこの場合好ましくは取り除かれるべきである。一方、Pkの値が0に近いとき、基礎にある信号はノイズを多く含むと仮定することができる。ノイズの多い信号については、位相ジャンプは容易には知覚できず、それゆえ許容されてもよい。
従って、Pkが所定の閾値を超えるとき、すなわちPk>Aのとき、位相制限関数が適用され、その結果、実際のフィルター応答F´(k,n)は次式により与えられる。
Figure 0004714416
ここで、Aは、Pの上限+1と下限-1により制限されている。Aの値は、実際の実施に依存する。例えば、Aは0.6と0.9の間で選択されてもよい。
代替的に、音色を評価する他の好適な測度を用いてもよいことが分かる。さらに別の実施形態において、上で説明した許容された位相ジャンプcは、音色の好適な測度、例えば上記の測度Pkに依存するようにして、Pkが大きいときはより大きな位相ジャンプを、小さいときにはその逆を許容するようにしてもよい。
図4は、オーディオ信号の合成に用いるデコリレータを示す。デコリレータは、モノラル信号と、チャンネル間相互相関rとチャンネルの差cを表すパラメータを含む一組の空間的パラメータとを受信する全部パスフィルター401を有する。パラメータcは、チャンネル間レベル差とILD=k・log(c)により関係している。ここで、kは定数であり、すなわちILDはcの対数に比例する。
好ましくは、全部パスフィルターは、低い周波数より高い周波数において比較的小さな遅延となる周波数依存遅延を有する。これは、シュローダ位相コンプレックスの1つの期間を有する全部パスフィルターで、その全部パスフィルターの固定遅延を置換することにより達成できる(M.R.Schroeder、「低ピークファクター信号と低自己相関のバイナリシーケンスの合成」、IEEE Transact. Inf. Theor.、16:85-89、1970を参照)。デコリレータは、デコーダからの空間的パラメータを受信し、チャンネル間相互相関rとチャンネル差cを抽出する分析回路402を有する。回路402は、下で説明するように、ミキシングマトリックスM(α,β)を決定する。ミキシングマトリックスの成分は、入力信号xとフィルターされた信号
Figure 0004714416
をさらに受信する変換回路403に入力される。回路403は次式(3)
Figure 0004714416
によりミキシング操作を実行し、結果として出力信号LとRを得る。
信号LとR間の相関は、信号xと
Figure 0004714416
により張られる空間において、r=cos(α)によって、それぞれLとR信号を表すベクトル間の角度αとして表されてもよい。結果として、正しい角度の距離を表すベクトルのペアは、特定された相関を持っている。
よって、信号xと
Figure 0004714416
を所定の相関rを持つ信号LとRに変換するミキシングマトリックスMは、次式(4)のように表してもよい。
Figure 0004714416
よって、全部パスフィルターされた信号の量は、所望の相関に依存する。さらにまた、全部パス信号成分のエネルギーは、両方の出力チャンネルで同じである(しかし、180°位相シフトしている)。
次式(5)によりマトリックスMが与えられている場合、
Figure 0004714416
すなわち、相関していない出力信号(=0)に対応するα=90°の場合は、Lauridsenデコリレータに対応する。
行列方程式(5)の問題を例示するために、左チャンネルに極端に振幅をパンした状況を仮定する、すなわち左チャンネルのみに一定の信号がある場合である。出力間の所望の相関はゼロであるとさらに仮定する。この場合、方程式(5)のミキシングマトリックスで、方程式(3)の変換の左チャンネルの出力は、
Figure 0004714416
となる。よって、出力は、元の信号xが全部パスフィルタされたもの
Figure 0004714416
に結合したその元の信号xから構成される。
しかし、全部パスフィルターは、通常、信号の知覚品質を低下させるので、これは好ましくない状況である。さらにまた、元の信号とフィルターされた信号を加えると、結果として、出力信号に音色がつく等のコムフィルター効果を生じる。この仮定の極端な場合において、左出力信号が入力信号から構成されることが最善のソリューションとなる。2つの出力信号の相関は依然ゼロであろう。
レベルの差がより極端でない状況において、好ましい状況は、より大きな出力チャンネルが、比較的多くのオリジナル信号を含み、より小さい出力チャンネルがより大きなフィルターされた信号を含むことである。よって、一般に、2つの出力にともに存在するオリジナル信号の量を最大化し、フィルターされた信号の量を最小化することが好ましい。
本実施形態において、これは、付加的な共通の回転を含む異なるミキシングマトリックス(6)
Figure 0004714416
を導入することにより達成される。
ここで、βは付加的回転、C
Figure 0004714416
は出力信号間の相対的レベル差がcとするためのスケーリングマトリックスである。
式(3)に式(6)を代入することにより、本実施形態によるマトリックス演算により生成される出力信号が得られる。
Figure 0004714416
よって、出力信号LとRは、角度差αを依然有している、すなわち、LとR信号間の相関は、所望のレベル差と、両信号LとRの角度βによる付加的回転とによる信号LとRのスケーリングにより影響されない。
上で述べたとおり、好ましくは、加えられた出力LとRの中のオリジナル信号xの量が最大になるべきである。この条件を、
Figure 0004714416
角度βを決定するために用いると、以下の条件を得る。
Figure 0004714416
要約すると、このアプリケーションは音響心理学により動機付けられた、マルチチャンネルオーディオ信号の空間的属性のパラメータ表示を説明している。このパラメータ表示によると、信号の空間的特性を記述する(量子化された)パラメータをあわせて、ただ1つのモノラル信号を送信するだけなので、オーディオコーダにおいてビットレートを大幅に減らすことができる。デコーダは、その空間的パラメータを適用することによって、オーディオチャンネルの元の量を形成することができる。CD品質に近いステレオオーディオのために、10kbit/s以下の空間的パラメータと関連したビットレートは、受信側で正しい空間的印象を再生するために十分であると思われる。空間的パラメータのスペクトルおよび/または時間的分解能を減らすことにより、および/またはロスレス圧縮アルゴリズムを用いて空間的パラメータを処理することにより、このビットレートをさらに低くすることができる。
上述の実施形態は本発明を限定するものではなく、当業者は添付したクレームの範囲から逸脱することなく、多くの代替的実施形態を設計することができるということに注意すべきである。
例えば、2つのローカライゼーションキューILDとITD/IPDを用いた実施形態に関して本発明を説明した。代替的実施形態において、他のローカライゼーションキューを用いてもよい。さらにまた、一実施形態において、ILD、ITD/IPD、およびチャンネル間相互相関を上で説明したように決定してもよいが、チャンネル間相互相関のみがモノラル信号とともに送信される。それにより、オーディオ信号を送信・記憶するために要するバンド幅・記憶容量をさらに減らすことができる。代替的に、チャンネル間相互相関と、ILDおよびITD/IPDのいずれか一方とが送信されてもよい。これらの実施形態において、信号は送信されたパラメータだけに基づいてモノラル信号から合成される。
請求項において、括弧内の参照記号はその請求項を限定するものと解釈してはならない。「有する」という言葉は、請求項に列挙された構成要素やステップ以外のものを排除するものではない。構成要素の前の「1つの」という言葉は、その構成要素が複数あることを排除するものではない。
本発明は、個別のいくつかの構成要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実施することができる。いくつかの手段を列挙した装置の請求項において、いくつかの手段は1つの同一なハードウェアにより実施することができる。ある手段が互いに異なる従属項に列挙されているということは、これらの手段の組み合わせを用いることができないことを示すものではない。
本発明の一実施形態によるオーディオ信号を符号化する方法を示すフロー図である。 本発明の一実施形態による符号化システムの概略ブロック図である。 オーディオ信号の合成に用いるフィルター方法を示す図である。 オーディオ信号の合成に用いるデコリレータを示す図である。

Claims (12)

  1. オーディオ信号を符号化する方法であって、
    少なくとも2つの入力オーディオチャンネルの組み合わせを含むモノラル信号を生成するステップと、
    前記少なくとも2つの入力オーディオチャンネルの空間的特性を示す一組の空間パラメータを決定するステップであって、前記一組の空間パラメータは前記少なくとも2つの入力オーディオチャンネルの波形の類似度を表すパラメータを含むステップと、
    前記モノラル信号と前記一組の空間パラメータを含む符号化信号を生成するステップとを含み、
    前記類似度は、相互相関関数の最大値における前記相互相関関数の値に対応することを特徴とする方法。
  2. 請求項1に記載の方法であって、空間的特性を示す一組の空間パラメータを決定する前記ステップは、時間と周波数の関数として一組の空間パラメータを決定するステップを含む方法。
  3. 請求項2に記載の方法であって、空間的特性を示す一組の空間パラメータを決定する前記ステップは、
    前記少なくとも2つのオーディオチャンネルの各々を対応する複数の周波数帯に分けるステップと、
    前記複数の周波数帯の各々について、前記対応する周波数帯中の前記少なくとも2つの入力オーディオチャンネルの空間特性を表す前記一組の空間パラメータを決定するステップとを含む方法。
  4. 請求項1ないし3いずれか一項に記載の方法であって、前記一組の空間パラメータは少なくとも1つの位置推定キューを含む方法。
  5. 請求項4に記載の方法であって、前記一組の空間パラメータは、チャンネル間レベル差と、チャンネル間時間差およびチャンネル間位相差のうち選択された一方とを含む、少なくとも2つの位置推定キューを含む方法。
  6. 請求項4または5に記載の方法であって、前記類似度は、前記位置推定キューにより説明できない情報を含む方法。
  7. 請求項1ないし6いずれか一項に記載の方法であって、前記モノラル信号と前記一組の空間パラメータを含む符号化信号を生成する前記ステップは、一組の量子化された空間的パラメータであって、各々は前記対応する決定された空間的パラメータに関係する対応する量子化エラーを導入するものを生成するステップを有し、
    前記導入された量子化エラーの少なくとも1つが前記決定された空間的パラメータの少なくとも1つの値に依存するよう制御される方法。
  8. オーディオ信号を符号化するエンコーダであって、
    少なくとも2つの入力オーディオチャンネルの組み合わせを含むモノラル信号を生成する手段と、
    前記少なくとも2つの入力オーディオチャンネルの空間的特性を示す一組の空間パラメータを決定する手段であって、前記一組の空間パラメータは前記少なくとも2つの入力オーディオチャンネルの波形の類似度を表すパラメータを含む手段と、
    前記モノラル信号と前記一組の空間パラメータを含む符号化信号を生成する手段とを有し、
    前記類似度は、相互相関関数の最大値における前記相互相関関数の値に対応することを特徴とするエンコーダ。
  9. オーディオ信号を供給する装置であって、
    オーディオ信号を受信する入力と、
    前記オーディオ信号を符号化して符号化オーディオ信号を求める、請求項8に記載のエンコーダと、
    前記符号化オーディオ信号を供給する出力とを有する装置。
  10. 符号化されたオーディオ信号を復号する方法であって、
    少なくとも2つのオーディオチャンネルの組み合わせを含むモノラル信号を前記符号化されたオーディオ信号から取得するステップと、
    一組の空間パラメータを前記符号化されたオーディオ信号から取得するステップと、
    前記モノラル信号と前記空間パラメータとからマルチチャンネル出力信号を生成するステップであって、前記一組の空間パラメータは前記マルチチャネル出力信号の波形の類似度を示すパラメータを含むステップとを含み、
    前記類似度は、相互相関関数の最大値における前記相互相関関数の値に対応することを特徴とする方法。
  11. 符号化されたオーディオ信号を復号するデコーダであって、
    少なくとも2つのオーディオチャンネルの組み合わせを含むモノラル信号を前記符号化されたオーディオ信号から取得する手段と、
    一組の空間パラメータを前記符号化されたオーディオ信号から取得する手段と、
    前記モノラル信号と前記空間パラメータとからマルチチャンネル出力信号を生成する手段であって、前記一組の空間パラメータは前記マルチチャネル出力信号の波形の類似度を示すパラメータを含む手段とを有し、
    前記類似度は、相互相関関数の最大値における前記相互相関関数の値に対応することを特徴とするデコーダ。
  12. 復号されたオーディオ信号を供給する装置であって、
    符号化されたオーディオ信号を受信する入力と、
    前記符号化されたオーディオ信号を復号してマルチチャネル出力信号を求める、請求項11に記載のデコーダと、
    前記マルチチャンネル出力信号を供給または再生する出力とを有する装置。
JP2003586873A 2002-04-22 2003-04-22 空間的オーディオのパラメータ表示 Expired - Lifetime JP4714416B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
EP02076588.9 2002-04-22
EP02076588 2002-04-22
EP02077863.5 2002-07-12
EP02077863 2002-07-12
EP02079303.0 2002-10-14
EP02079303 2002-10-14
EP02079817.9 2002-11-20
EP02079817 2002-11-20
PCT/IB2003/001650 WO2003090208A1 (en) 2002-04-22 2003-04-22 pARAMETRIC REPRESENTATION OF SPATIAL AUDIO

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009188196A Division JP5101579B2 (ja) 2002-04-22 2009-08-17 空間的オーディオのパラメータ表示

Publications (2)

Publication Number Publication Date
JP2005523480A JP2005523480A (ja) 2005-08-04
JP4714416B2 true JP4714416B2 (ja) 2011-06-29

Family

ID=29255420

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2003586873A Expired - Lifetime JP4714416B2 (ja) 2002-04-22 2003-04-22 空間的オーディオのパラメータ表示
JP2009188196A Expired - Lifetime JP5101579B2 (ja) 2002-04-22 2009-08-17 空間的オーディオのパラメータ表示
JP2012084531A Expired - Lifetime JP5498525B2 (ja) 2002-04-22 2012-04-03 空間的オーディオのパラメータ表示

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2009188196A Expired - Lifetime JP5101579B2 (ja) 2002-04-22 2009-08-17 空間的オーディオのパラメータ表示
JP2012084531A Expired - Lifetime JP5498525B2 (ja) 2002-04-22 2012-04-03 空間的オーディオのパラメータ表示

Country Status (11)

Country Link
US (3) US8340302B2 (ja)
EP (2) EP1500084B1 (ja)
JP (3) JP4714416B2 (ja)
KR (2) KR100978018B1 (ja)
CN (1) CN1307612C (ja)
AT (2) ATE426235T1 (ja)
AU (1) AU2003219426A1 (ja)
BR (2) BRPI0304540B1 (ja)
DE (2) DE60326782D1 (ja)
ES (2) ES2300567T3 (ja)
WO (1) WO2003090208A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271554A (ja) * 2002-04-22 2009-11-19 Koninkl Philips Electronics Nv 空間的オーディオのパラメータ表示

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7461002B2 (en) 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7644003B2 (en) 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
ATE354161T1 (de) * 2002-04-22 2007-03-15 Koninkl Philips Electronics Nv Signalsynthese
ATE487213T1 (de) 2003-03-17 2010-11-15 Koninkl Philips Electronics Nv Verarbeitung von mehrkanalsignalen
FR2853804A1 (fr) * 2003-07-11 2004-10-15 France Telecom Procede de decodage d'un signal permettant de reconstituer une scene sonore et dispositif de decodage correspondant
WO2005024783A1 (en) * 2003-09-05 2005-03-17 Koninklijke Philips Electronics N.V. Low bit-rate audio encoding
US7725324B2 (en) 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
EP1719115A1 (en) * 2004-02-17 2006-11-08 Koninklijke Philips Electronics N.V. Parametric multi-channel coding with improved backwards compatibility
DE102004009628A1 (de) * 2004-02-27 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Beschreiben einer Audio-CD und Audio-CD
ATE390683T1 (de) 2004-03-01 2008-04-15 Dolby Lab Licensing Corp Mehrkanalige audiocodierung
CA2808226C (en) * 2004-03-01 2016-07-19 Dolby Laboratories Licensing Corporation Multichannel audio coding
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
WO2005098824A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Multi-channel encoder
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
EP1600791B1 (en) * 2004-05-26 2009-04-01 Honda Research Institute Europe GmbH Sound source localization based on binaural signals
CN1981326B (zh) 2004-07-02 2011-05-04 松下电器产业株式会社 音频信号解码装置和方法及音频信号编码装置和方法
EP1779385B1 (en) * 2004-07-09 2010-09-22 Electronics and Telecommunications Research Institute Method and apparatus for encoding and decoding multi-channel audio signal using virtual source location information
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100773539B1 (ko) * 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
TWI393120B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式
JP4963962B2 (ja) 2004-08-26 2012-06-27 パナソニック株式会社 マルチチャネル信号符号化装置およびマルチチャネル信号復号装置
JP4936894B2 (ja) 2004-08-27 2012-05-23 パナソニック株式会社 オーディオデコーダ、方法及びプログラム
WO2006022190A1 (ja) * 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ
KR20070056081A (ko) 2004-08-31 2007-05-31 마츠시타 덴끼 산교 가부시키가이샤 스테레오 신호 생성 장치 및 스테레오 신호 생성 방법
DE102004042819A1 (de) 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
JP5166030B2 (ja) * 2004-09-06 2013-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号のエンハンスメント
DE102004043521A1 (de) 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
US7860721B2 (en) * 2004-09-17 2010-12-28 Panasonic Corporation Audio encoding device, decoding device, and method capable of flexibly adjusting the optimal trade-off between a code rate and sound quality
JP2006100869A (ja) * 2004-09-28 2006-04-13 Sony Corp 音声信号処理装置および音声信号処理方法
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US8090120B2 (en) 2004-10-26 2012-01-03 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
BRPI0516658A (pt) * 2004-11-30 2008-09-16 Matsushita Electric Ind Co Ltd aparelho de codificação de estéreo, aparelho de decodificação de estéreo e seus métodos
JP5017121B2 (ja) * 2004-11-30 2012-09-05 アギア システムズ インコーポレーテッド 外部的に供給されるダウンミックスとの空間オーディオのパラメトリック・コーディングの同期化
EP1817767B1 (en) 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
KR100657916B1 (ko) 2004-12-01 2006-12-14 삼성전자주식회사 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
JP5046653B2 (ja) * 2004-12-28 2012-10-10 パナソニック株式会社 音声符号化装置および音声符号化方法
WO2006070760A1 (ja) * 2004-12-28 2006-07-06 Matsushita Electric Industrial Co., Ltd. スケーラブル符号化装置およびスケーラブル符号化方法
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US9626973B2 (en) 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
ES2623551T3 (es) * 2005-03-25 2017-07-11 Iii Holdings 12, Llc Dispositivo de codificación de sonido y procedimiento de codificación de sonido
ATE470930T1 (de) * 2005-03-30 2010-06-15 Koninkl Philips Electronics Nv Skalierbare mehrkanal-audiokodierung
RU2411594C2 (ru) 2005-03-30 2011-02-10 Конинклейке Филипс Электроникс Н.В. Кодирование и декодирование аудио
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
DE602006010687D1 (de) * 2005-05-13 2010-01-07 Panasonic Corp Audiocodierungsvorrichtung und spektrum-modifikationsverfahren
CN101185118B (zh) * 2005-05-26 2013-01-16 Lg电子株式会社 解码音频信号的方法和装置
WO2006126843A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2006132857A2 (en) 2005-06-03 2006-12-14 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
CN101213592B (zh) * 2005-07-06 2011-10-19 皇家飞利浦电子股份有限公司 用于参量多声道解码的设备和方法
US7411528B2 (en) 2005-07-11 2008-08-12 Lg Electronics Co., Ltd. Apparatus and method of processing an audio signal
US8626503B2 (en) 2005-07-14 2014-01-07 Erik Gosuinus Petrus Schuijers Audio encoding and decoding
CN102013256B (zh) * 2005-07-14 2013-12-18 皇家飞利浦电子股份有限公司 用于生成多个输出音频通道的方法及设备
WO2007011157A1 (en) * 2005-07-19 2007-01-25 Electronics And Telecommunications Research Institute Virtual source location information based channel level difference quantization and dequantization method
KR100755471B1 (ko) * 2005-07-19 2007-09-05 한국전자통신연구원 가상음원위치정보에 기반한 채널간 크기 차이 양자화 및역양자화 방법
WO2007010451A1 (en) * 2005-07-19 2007-01-25 Koninklijke Philips Electronics N.V. Generation of multi-channel audio signals
US7706905B2 (en) 2005-07-29 2010-04-27 Lg Electronics Inc. Method for processing audio signal
KR100841332B1 (ko) * 2005-07-29 2008-06-25 엘지전자 주식회사 분할 정보를 시그널링 하는 방법
TWI396188B (zh) 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
WO2007027056A1 (en) 2005-08-30 2007-03-08 Lg Electronics Inc. A method for decoding an audio signal
KR20070025905A (ko) * 2005-08-30 2007-03-08 엘지전자 주식회사 멀티채널 오디오 코딩에서 효과적인 샘플링 주파수비트스트림 구성방법
WO2007026763A1 (ja) 2005-08-31 2007-03-08 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法
KR101277041B1 (ko) * 2005-09-01 2013-06-24 파나소닉 주식회사 멀티 채널 음향 신호 처리 장치 및 방법
KR100857108B1 (ko) 2005-09-14 2008-09-05 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
CN101351839B (zh) * 2005-09-14 2012-07-04 Lg电子株式会社 解码音频信号的方法和装置
CN101427307B (zh) * 2005-09-27 2012-03-07 Lg电子株式会社 编码/解码多声道音频信号的方法和装置
JP2009518659A (ja) 2005-09-27 2009-05-07 エルジー エレクトロニクス インコーポレイティド マルチチャネルオーディオ信号の符号化/復号化方法及び装置
KR20070041398A (ko) * 2005-10-13 2007-04-18 엘지전자 주식회사 신호 처리 방법 및 신호 처리 장치
US7970072B2 (en) 2005-10-13 2011-06-28 Lg Electronics Inc. Method and apparatus for processing a signal
US20080255859A1 (en) * 2005-10-20 2008-10-16 Lg Electronics, Inc. Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof
EP1946310A4 (en) 2005-10-26 2011-03-09 Lg Electronics Inc METHOD FOR CODING AND DECODING A MULTI CHANNEL AUDIO SIGNAL AND DEVICE THEREFOR
US7760886B2 (en) 2005-12-20 2010-07-20 Fraunhofer-Gesellschaft zur Foerderung der Angewandten Forscheng e.V. Apparatus and method for synthesizing three output channels using two input channels
EP1971978B1 (en) * 2006-01-09 2010-08-04 Nokia Corporation Controlling the decoding of binaural audio signals
EP1806593B1 (en) * 2006-01-09 2008-04-30 Honda Research Institute Europe GmbH Determination of the adequate measurement window for sound source localization in echoic environments
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
US8239209B2 (en) 2006-01-19 2012-08-07 Lg Electronics Inc. Method and apparatus for decoding an audio signal using a rendering parameter
JPWO2007088853A1 (ja) * 2006-01-31 2009-06-25 パナソニック株式会社 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法
CN101410891A (zh) 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
CN101379555B (zh) * 2006-02-07 2013-03-13 Lg电子株式会社 用于编码/解码信号的装置和方法
US8285556B2 (en) 2006-02-07 2012-10-09 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
EP1987597B1 (en) 2006-02-23 2013-04-10 LG Electronics Inc. Method and apparatus for processing an audio signal
US7965848B2 (en) * 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
US8626515B2 (en) 2006-03-30 2014-01-07 Lg Electronics Inc. Apparatus for processing media signal and method thereof
TWI517562B (zh) 2006-04-04 2016-01-11 杜比實驗室特許公司 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式
MY141426A (en) 2006-04-27 2010-04-30 Dolby Lab Licensing Corp Audio gain control using specific-loudness-based auditory event detection
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
EP1862813A1 (en) * 2006-05-31 2007-12-05 Honda Research Institute Europe GmbH A method for estimating the position of a sound source for online calibration of auditory cue to location transformations
JP4999846B2 (ja) * 2006-08-04 2012-08-15 パナソニック株式会社 ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法
US20080235006A1 (en) 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
EP2071564A4 (en) 2006-09-29 2009-09-02 Lg Electronics Inc METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS
CN101479786B (zh) * 2006-09-29 2012-10-17 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
JP5232791B2 (ja) * 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
US8849433B2 (en) 2006-10-20 2014-09-30 Dolby Laboratories Licensing Corporation Audio dynamics processing using a reset
EP2092516A4 (en) 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING
EP2122613B1 (en) 2006-12-07 2019-01-30 LG Electronics Inc. A method and an apparatus for processing an audio signal
CN101632117A (zh) 2006-12-07 2010-01-20 Lg电子株式会社 用于解码音频信号的方法和装置
KR101370354B1 (ko) 2007-02-06 2014-03-06 코닌클리케 필립스 엔.브이. 낮은 복잡도 파라메트릭 스테레오 디코더
JP2010518460A (ja) * 2007-02-13 2010-05-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
EP2115739A4 (en) 2007-02-14 2010-01-20 Lg Electronics Inc METHODS AND APPARATUSES FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS
JP4277234B2 (ja) * 2007-03-13 2009-06-10 ソニー株式会社 データ復元装置、データ復元方法及びデータ復元プログラム
WO2008114984A1 (en) 2007-03-16 2008-09-25 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
ES2593822T3 (es) 2007-06-08 2016-12-13 Lg Electronics Inc. Método y aparato para procesar una señal de audio
JP5556175B2 (ja) * 2007-06-27 2014-07-23 日本電気株式会社 信号分析装置と、信号制御装置と、そのシステム、方法及びプログラム
KR101450940B1 (ko) * 2007-09-19 2014-10-15 텔레폰악티에볼라겟엘엠에릭슨(펍) 멀티채널 오디오의 조인트 인핸스먼트
GB2453117B (en) * 2007-09-25 2012-05-23 Motorola Mobility Inc Apparatus and method for encoding a multi channel audio signal
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
BRPI0816557B1 (pt) * 2007-10-17 2020-02-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Codificação de áudio usando upmix
KR101597375B1 (ko) 2007-12-21 2016-02-24 디티에스 엘엘씨 오디오 신호의 인지된 음량을 조절하기 위한 시스템
KR20090110244A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
JP5309944B2 (ja) * 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
MY160545A (en) * 2009-04-08 2017-03-15 Fraunhofer-Gesellschaft Zur Frderung Der Angewandten Forschung E V Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
BRPI1009648B1 (pt) * 2009-06-24 2020-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V decodificador de sinal de áudio, método para decodificador um sinal de áudio e programa de computador com o uso de etapas de processamento de objeto de áudio em cascata
US8538042B2 (en) 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
TWI433137B (zh) 2009-09-10 2014-04-01 Dolby Int Ab 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法
WO2011045549A1 (fr) * 2009-10-16 2011-04-21 France Telecom Decodage parametrique stereo optimise
CA2781310C (en) * 2009-11-20 2015-12-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
CN102792378B (zh) * 2010-01-06 2015-04-29 Lg电子株式会社 处理音频信号的设备及其方法
JP5333257B2 (ja) 2010-01-20 2013-11-06 富士通株式会社 符号化装置、符号化システムおよび符号化方法
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
WO2011095913A1 (en) * 2010-02-02 2011-08-11 Koninklijke Philips Electronics N.V. Spatial sound reproduction
CN102157152B (zh) * 2010-02-12 2014-04-30 华为技术有限公司 立体声编码的方法、装置
WO2011104146A1 (en) 2010-02-24 2011-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program
US9628930B2 (en) * 2010-04-08 2017-04-18 City University Of Hong Kong Audio spatial effect enhancement
US9378754B1 (en) 2010-04-28 2016-06-28 Knowles Electronics, Llc Adaptive spatial classifier for multi-microphone systems
CN102314882B (zh) * 2010-06-30 2012-10-17 华为技术有限公司 声音信号通道间延时估计的方法及装置
SG187950A1 (en) * 2010-08-25 2013-03-28 Fraunhofer Ges Forschung Apparatus for generating a decorrelated signal using transmitted phase information
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
CN103718466B (zh) 2011-08-04 2016-08-17 杜比国际公司 通过使用参量立体声改善fm立体声无线电接收器
ES2568640T3 (es) * 2012-02-23 2016-05-03 Dolby International Ab Procedimientos y sistemas para recuperar de manera eficiente contenido de audio de alta frecuencia
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
US9761229B2 (en) * 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
EP2717262A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for signal-dependent zoom-transform in spatial audio object coding
US10219093B2 (en) * 2013-03-14 2019-02-26 Michael Luna Mono-spatial audio processing to provide spatial messaging
EP2974010B1 (en) * 2013-03-15 2021-08-18 DTS, Inc. Automatic multi-channel music mix from multiple audio stems
KR20230020553A (ko) 2013-04-05 2023-02-10 돌비 인터네셔널 에이비 스테레오 오디오 인코더 및 디코더
US20160064004A1 (en) * 2013-04-15 2016-03-03 Nokia Technologies Oy Multiple channel audio signal encoder mode determiner
TWI579831B (zh) 2013-09-12 2017-04-21 杜比國際公司 用於參數量化的方法、用於量化的參數之解量化方法及其電腦可讀取的媒體、音頻編碼器、音頻解碼器及音頻系統
RU2641463C2 (ru) 2013-10-21 2018-01-17 Долби Интернэшнл Аб Структура декоррелятора для параметрического восстановления звуковых сигналов
EP2963648A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using vertical phase correction
US10068586B2 (en) 2014-08-14 2018-09-04 Rensselaer Polytechnic Institute Binaurally integrated cross-correlation auto-correlation mechanism
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
US10224042B2 (en) 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
CN109215667B (zh) * 2017-06-29 2020-12-22 华为技术有限公司 时延估计方法及装置
US11328735B2 (en) * 2017-11-10 2022-05-10 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274500A (ja) * 1996-04-09 1997-10-21 Matsushita Electric Ind Co Ltd ディジタルオーディオ信号の符号化方法
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第1成分と第2成分を含む信号を処理する装置と方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8901032A (nl) * 1988-11-10 1990-06-01 Philips Nv Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting.
JPH0454100A (ja) * 1990-06-22 1992-02-21 Clarion Co Ltd 音声信号補償回路
GB2252002B (en) * 1991-01-11 1995-01-04 Sony Broadcast & Communication Compression of video signals
NL9100173A (nl) * 1991-02-01 1992-09-01 Philips Nv Subbandkodeerinrichting, en een zender voorzien van de kodeerinrichting.
GB2258781B (en) * 1991-08-13 1995-05-03 Sony Broadcast & Communication Data compression
FR2688371B1 (fr) * 1992-03-03 1997-05-23 France Telecom Procede et systeme de spatialisation artificielle de signaux audio-numeriques.
DE19647399C1 (de) 1996-11-15 1998-07-02 Fraunhofer Ges Forschung Gehörangepaßte Qualitätsbeurteilung von Audiotestsignalen
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
GB9726338D0 (en) 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
US6016473A (en) * 1998-04-07 2000-01-18 Dolby; Ray M. Low bit-rate spatial coding method and system
GB2353926B (en) * 1999-09-04 2003-10-29 Central Research Lab Ltd Method and apparatus for generating a second audio signal from a first audio signal
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
EP1500084B1 (en) * 2002-04-22 2008-01-23 Koninklijke Philips Electronics N.V. Parametric representation of spatial audio

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274500A (ja) * 1996-04-09 1997-10-21 Matsushita Electric Ind Co Ltd ディジタルオーディオ信号の符号化方法
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第1成分と第2成分を含む信号を処理する装置と方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271554A (ja) * 2002-04-22 2009-11-19 Koninkl Philips Electronics Nv 空間的オーディオのパラメータ表示

Also Published As

Publication number Publication date
JP5101579B2 (ja) 2012-12-19
DE60326782D1 (de) 2009-04-30
EP1500084A1 (en) 2005-01-26
ES2300567T3 (es) 2008-06-16
JP2005523480A (ja) 2005-08-04
JP2009271554A (ja) 2009-11-19
KR101016982B1 (ko) 2011-02-28
JP5498525B2 (ja) 2014-05-21
WO2003090208A1 (en) 2003-10-30
BR0304540A (pt) 2004-07-20
DE60318835D1 (de) 2008-03-13
EP1500084B1 (en) 2008-01-23
CN1307612C (zh) 2007-03-28
US8331572B2 (en) 2012-12-11
DE60318835T2 (de) 2009-01-22
US8340302B2 (en) 2012-12-25
CN1647155A (zh) 2005-07-27
US20090287495A1 (en) 2009-11-19
KR20040102164A (ko) 2004-12-03
BRPI0304540B1 (pt) 2017-12-12
KR20100039433A (ko) 2010-04-15
US20130094654A1 (en) 2013-04-18
JP2012161087A (ja) 2012-08-23
EP1881486A1 (en) 2008-01-23
ATE385025T1 (de) 2008-02-15
ES2323294T3 (es) 2009-07-10
US9137603B2 (en) 2015-09-15
AU2003219426A1 (en) 2003-11-03
ATE426235T1 (de) 2009-04-15
US20080170711A1 (en) 2008-07-17
EP1881486B1 (en) 2009-03-18
KR100978018B1 (ko) 2010-08-25

Similar Documents

Publication Publication Date Title
JP4714416B2 (ja) 空間的オーディオのパラメータ表示
US11410664B2 (en) Apparatus and method for estimating an inter-channel time difference
US7542896B2 (en) Audio coding/decoding with spatial parameters and non-uniform segmentation for transients
US8843378B2 (en) Multi-channel synthesizer and method for generating a multi-channel output signal
KR101049751B1 (ko) 오디오 코딩
KR101021076B1 (ko) 신호 합성
KR100745688B1 (ko) 다채널 오디오 신호 부호화/복호화 방법 및 장치
US9311925B2 (en) Method, apparatus and computer program for processing multi-channel signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110328

R150 Certificate of patent or registration of utility model

Ref document number: 4714416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term