JP2007531916A - 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム - Google Patents

方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム Download PDF

Info

Publication number
JP2007531916A
JP2007531916A JP2007506884A JP2007506884A JP2007531916A JP 2007531916 A JP2007531916 A JP 2007531916A JP 2007506884 A JP2007506884 A JP 2007506884A JP 2007506884 A JP2007506884 A JP 2007506884A JP 2007531916 A JP2007531916 A JP 2007531916A
Authority
JP
Japan
Prior art keywords
signal
processing
parameter
channel
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007506884A
Other languages
English (en)
Other versions
JP5284638B2 (ja
Inventor
ローン,マヒール ウェー ファン
ハー ホトー,ヘラルド
イェー ブレーバールト,ディルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007531916A publication Critical patent/JP2007531916A/ja
Application granted granted Critical
Publication of JP5284638B2 publication Critical patent/JP5284638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ステレオ信号の処理方法であって:ステレオ信号(L0,R0)と空間パラメータ(wl,wr)中のNチャンネルオーディオ信号を符号化する段階と、処理されたステレオ信号(L0w,R0w)を発生するために空間パラメータを用いてステレオ信号を処理する段階と、を有する。処理されたステレオ信号の行列は、ステレオ信号の行列として記述してフィルタ関数(H)をかける。その要素は空間パラメータ(wl,wr)及び定数(a)で演算されたフィルタ関数(H1,H2,H3,H4)である。フィルタ関数は時間不変であり、行列が可逆であるように選択される。

Description

発明の詳細な説明
本発明は、Nチャンネルオーディオ信号を左右の信号と空間パラメータにエンコードするエンコーダから取得したステレオ信号を処理する方法と装置に関する。また、本発明は、このようなエンコーダとデバイスを有するエンコーダ装置にも関する。
エンコーダから取得したステレオ信号を処理する上記の方法とデバイスにより得られたステレオ信号を処理する方法とデバイスにも関する。また、本発明は、ステレオ信号を処理する上記デバイスを有するデコーダ装置にも関する。
本発明は上記のエンコーダ装置及びデコーダ装置を有するオーディオシステムにも関する。
長い間、音楽のステレオ再生が、例えば家庭環境にあっては普及していた。1970年代に、家庭の音楽機器で4チャンネル再生が実験的に取り入れられたことがある。
映画館などの大きなホールでは、マルチチャンネルのサウンド再生は長い間行われている。ドルビーデジタル(登録商標)その他のシステムが開発され、大きなホールにおいて現実感があり印象的なサウンド再生を提供してきた。
このようなマルチチャンネルシステムがホームシアターにも取り入れられ、大きな注目を集めている。このように、5つのフルレンジチャンネルと1つの部分レンジチャンネルまたは低周波数効果(LFE)チャンネルを有するシステムであるいわゆる5.1システムが、今日、市場では一般的である。他のシステムもある。例えば、2.1、4.1、7.1、さらには8.1などである。
SACDとDVDの導入により、マルチチャンネルオーディオ再生にさらに注目が集まっている。消費者の多くはすでに自宅でマルチチャンネル再生ができ、マルチチャンネルのソースマテリアルに人気を集めている。
マルチチャンネル素材の人気が高まっているので、効果的な符号化がより重要になりつつある。このことは、MPEG等の標準規格団体にも認識されている。
従来知られたエンコーダの方法は、効率的なマルチチャンネルオーディオのエンコード方法ではないことが多い。入力チャンネルは、基本的には個別にエンコードされ(マトリックス化後の場合もある)、それゆえにチャンネル数が多いため高いビットレートを必要とする。
しかし、マルチチャンネルオーディオエンコーダは2チャンネルのダウンミックス(down-mix)を生成することもある。これは、2チャンネルの再生システムと互換性があるが、デコーダ側において高品質のマルチチャンネル再構成が可能となる。この高品質再構成は、送信されるパラメータPにより制御される。このパラメータPは、ステレオからマルチチャンネルへのアップミックス(upmix)プロセスを制御する。これらのパラメータは、なかんずく、2チャンネルダウンミックスにあるフロント対サラウンド信号の比率を示す情報を含む。このようなアプローチを用いて、デコーダはアップミックスプロセス中のフロント対サラウンド信号の大きさを制御することができる。言い換えると、パラメータにより元のマルチチャンネル信号にあったがダウンミックスプロセスでステレオミックスでは失われる、空間的音場の重要な特性が記述される。
本発明は、このパラメータ化した空間情報を用いて2チャンネルのダウンミックスへの(パラメータに依存し、好ましくは可逆な)後処理に適用し、そのダウンミックスの知覚品質や空間的特性などの画質を向上(enhance)する。
本発明の一目的は、マルチチャンネルエンコーダで決定されたパラメータに基づいて、エンコーディング後にダウンミックスを後処理し、後処理の影響を受けずにマルチチャンネルエンコーディングを可能とすることである。
この目的は、Nチャンネル(N>2)信号を左右の信号と空間パラメータにエンコードするエンコーダから取得したステレオ信号を処理する方法と装置により達成される。該方法は、処理済みの信号を供給するために前記左右信号を処理する段階を有する。該処理は前記空間パラメータにより制御される。一般的なアイデアとしては、Nチャンネルからステレオへのコーダから取得する空間パラメータを用いて、後処理アルゴリズムを制御する。このように、エンコーダから取得したステレオ信号を処理して、例えば空間的印象を改善(enhance)する。
本発明の一実施形態では、処理は各入力チャンネル(すなわち、左右信号の各々)の第1のパラメータにより制御される。第1のパラメータは空間パラメータに依存する。第1のパラメータは、時間及び/または周波数の関数であってもよい。よって、システムの後処理量は可変であり、後処理の実際の量は空間パラメータに依存する。後処理は異なる周波数帯域において個別に実行される。エンコーダは、一組の周波数帯域の空間的イメージを記述する独立した空間パラメータを出力する。その場合、第1のパラメータは周波数に依存する。
本発明の他の実施形態では、後処理は、前記処理済みのチャンネル信号を取得するために第1、第2、及び第3の信号を加える段階を有する。第1の信号は、第1の伝達関数により修正された第1の入力信号(すなわち、左右信号)を含む。第2の信号は、第2の伝達関数により修正された第1の入力信号を含む。第3の信号は、第3の伝達関数により修正された第2の入力信号(すなわち左右信号)を含む。第2の伝達関数は、前記第1のパラメータと第1のフィルタ関数とを有する。第1の伝達関数は第2のパラメータを有し、前記第1のパラメータと前記第2のパラメータの和は1となる。第3の伝達関数は、第2の入力信号の前記第1のパラメータと第2のフィルタ関数とを有する。
フィルタ関数は時間不変である。
一実施形態では、信号は次式により記述され:
Figure 2007531916
ここでaは定数である。
この表現を用いて、パラメータwlとwrを変化させることにより、フィルタ関数H1、H2、H3、及びH4のフィルタ効果が変化する。両パラメータの値がゼロである場合、後処理された信号L0w、R0wは、ステレオ入力信号ペアL0、R0に基本的に等しい。一方、パラメータが+1である場合、後処理されたステレオペアL0w、R0wは、フィルタ関数H1、H2、H3、及びH4により完全に処理される。本発明により、空間パラメータPによる実際のフィルタ量、すなわちパラメータwlとwrの値の制御が可能となる。
一実施形態では、伝達関数行列が可逆になるように、フィルタ関数とパラメータを選択する。これにより、元のステレオ信号の再構成が可能となる。
本発明の他の一実施形態では、上記方法によりステレオ信号を処理するデバイスと、そのようなデバイスを有するエンコーダ装置とを有する。
本発明の他の一態様では、上記方法により逆処理をする方法とデバイスと、そのような逆処理デバイスを有するデコーダ装置とを提供する。
本発明のさらに別の態様では、上記のエンコーダ装置と上記のデコーダ装置とを有するオーディオ獅子テムを提供する。
本発明のさらに別の目的、特徴、利点は、実施形態と添付した図面とを参照して以下の発明の詳細な説明を読めば明らかになる。
図1は、本発明が使用されるエンコーダ/デコーダシステムを示すブロック図である。オーディオシステム1において、Nチャンネルオーディオ信号はエンコーダ2に供給される。ここで、Nは2より大きい整数である。エンコーダ2は、Nチャンネルオーディオ信号を信号L0とR0及び数値デコーダ情報Pに変換する。デコーダはその信号L0とR0及び数値デコーダ情報Pにより情報をデコードして出力すべき元のNチャンネル信号を推定することができる。空間パラメータセットPは、時間及び/または周波数に依存することが好ましい。Nチャンネル信号は5.1システム用の信号であってもよく、1つのセンターチャンネル、2つのフロントチャンネル、2つのサラウンドチャンネル、及びLFEチャンネルを有する。
エンコードされたステレオ信号のペアL0とR0及びデコーダ空間情報Pは、好適な方法でユーザに送られる。好適な方法とは、例えば、CD、DVD、VHSハイファイ、放送、レーザディスク、DBS、デジタルケーブル、インターネット、その他の送信または配信システムなどである。この方法は図1において円で束ねたライン(circle
line)4で示した。左右信号が送信されるので、このシステムはステレオ信号のみを再生できる莫大な数の受信機器と互換性がある。受信機器がデコーダを含む場合、そのデコーダはNチャンネル信号をデコードし、ステレオ信号ペアL0とR0及びデコーダ空間情報信号または空間パラメータP中の情報に基づいて、その推定をする。
しかし、プレイバック信号の数は減っているので、ステレオ信号にはNチャンネル信号と比較して空間情報や、状況に応じてあった方が望ましいその他の特性が欠けている。よって、本発明では、レシーバへの送配信の前にステレオ信号を処理する後処理器5が備えられる。後処理は、位置に応じたバスまたは残響の「付加」、またはボーカルの削除(センターチャンネルにボーカルがあるカラオケ)であってもよい。
他の後処理の例はステレオベースワイドニング(stereo-base-widening)である。この実行には元のサラウンドミックス(surround
mix)(例えばフロント/バック)の成分に関する知識を使用する。個々の入力信号の貢献は、デコーダ情報信号Pから知ることができるからである。原理的には、ステレオワイドニングはエンコーダで適用することが可能であるが、一般的には可逆ではない。デコーダで利用可能な信号は、N個ではなく2つだけだからである。一般的には不可逆である。しかし、ステレオワイドニング以外に、個別のマルチチャンネルによる貢献に対するその他の後処理方法も可能である。
本発明によると、後処理された信号は図1の円6で示したように、レシーバに送信される。エンコーダから取得したステレオ信号を処理する本発明のデバイスは、後処理器5を有する。本発明によるエンコーダ装置は、エンコーダ2と後処理器5とを有する。
例えば、レシーバがマルチチャンネルデコーダを含まない場合、受信信号を直接用いてもよい。これは、コンピュータがインターネットを介して信号6を受信する場合、またはレシーバが2つのラウドスピーカのみを有する場合である。このような受信信号は高品質信号であると感じられる。エンコーダと後処理器により処理されて空間的印象その他の特徴が改善されているからである。
従来のNチャンネルデコーダ3でデコードするために信号を使用すべき場合、デコーダ情報または空間パラメータPとともに推定Nチャンネル信号を作るために、元のステレオ信号ペアL0とR0を再構成するために、最初に逆後処理器7により逆後処理をする。本発明によると、マルチチャンネルミックスの上記の再構成が可能であり、その再構成は後処理にほとんど影響を受けない。また、ユーザの選択機能として、マルチチャンネル信号を最初に決定する必要なしに、ステレオプレイバックのデコーダにおける後処理が可能である。左右信号を含むステレオ信号を処理する本発明のデバイスは、逆後処理器7を有する。本発明によるデコーダ装置は、デコーダ3と逆後処理器7とを有する。
後処理をしないので、ダウンミックス(down-mix)は標準のITUダウンミックスと互換性がある。しかし、本発明の方法はダウンミックスを大幅に改善できるかも知れない。
本発明の方法は、エンコーダにおいて決定された空間パラメータPのおかげでマルチチャンネルミックス中の元のチャンネルのダウンミックスにおける貢献を決定することができる。このように、後処理は、例えばリアチャンネルのステレオベースワイドニングのために、マルチチャンネルミックスの特定のチャンネル適用することができ、その他のチャンネルは影響されない。後処理は、可逆であれば、最終的なマルチチャンネル再構成には影響しない。後処理は、マルチチャンネルミックスを最初に再構成する必要なしにステレオプレイバックに適用して、改善することができる。
この方法の既存の後処理方法との相違点は、元のマルチチャンネルミックスの知識、すなわち決定された空間パラメータPを使用することである。
エンコーダ2は、次のように動作する。
エンコーダ2への入力信号としてNチャンネルのオーディオ信号を仮定する。ここで、z1[n]、
z2[n]、 …、 zN[n]は、Nチャンネルの離散時間領域波形を記述する。これらのN個の信号は、一般的なセグメンテーションを用いて、好ましくは重なり分析ウィンドウ(overlapping
analysis windows)を用いてセグメント化されている。その後、複素変換(例えば、FFT)を用いて各セグメントを周波数領域に変換する。しかし、時間/周波数タイルを取得するためには、複素フィルタバンク構成も適当である。このプロセスの結果、入力信号のセグメント化されたサブバンド表現が得られ、Z1[k]、Z2[k]、....、ZN[k]と表される。ここで、kは周波数インデックスを示す。
これらのNチャンネルから、2つのダウンミックスチャンネルを生成し、L0[k]とR0[k]とする。各ダウンミックスチャンネルはN個の入力信号の線形結合である。
Figure 2007531916
L0[k]とR0[k]よりなるステレオ信号のステレオイメージがよくなるように、パラメータαiとβiを選択する。Lf、Rf、C、Ls及びRs(それぞれ左フロント、右フロントチャンネル、センターチャンネル、左サラウンドチャンネル、右サラウンドチャンネルチャンネル)よりなる5チャンネル入力の場合、次式により好適なダウンミックスを求めることができる:
Figure 2007531916
信号LとRは、次式により求めることができる。
Figure 2007531916
また、空間パラメータPを抽出して信号L0とR0からLf、 Rf、 C、 Ls及びRsを知覚的に再構成できるようにする。
一実施形態では、パラメータセットPは、信号ペア(Lf, Ls)と(Rf,
Rs)間のチャンネル間強度差(IID)と、場合によってはチャンネル間相互相関(ICC)の値を含む。Lf、Lsペアの間のIIDとICCは次式により求められる:
Figure 2007531916
ここで(*)は、複素共役を表す。他の信号ペアの場合、同様な式を使用することができる。よって、パラメータIID1は左フロントと左サラウンドのチャネル間の相対的エネルギー量を記述し、パラメータICC1は左フロントと左サラウンドのチャネル間の相互相関量を記述する。これらのパラメータは、基本的に、フロントとサラウンドのチャンネル間の知覚的に関連するパラメータを記述する。
L0、R0にあるセンター信号の量のパラメータ化は、2つの予測パラメータc1とc2を推定することにより求めることができる。これら2つの予測パラメータにより2×3行列が決まる。この行列は、L0、R0、L、C及びRからのデコーダアップミックスプロセスを制御する。
Figure 2007531916
アップミックス行列Mは次式により与えられる:
Figure 2007531916
上に示した例の場合、パラメータセットPは各時間/周波数タイルについて{c1,c2,IIDl,ICCl,IIDr,ICCr}を含む。
結果として得られるステレオ信号ペア(L0,R0)に対して、例えば、ステレオミックス中のLsとRsであるZi[k]の組合あわせに主に影響するように、後処理を適用する。図1では、コーデック中のこのブロックの位置を示した。
図2は、本発明の一実施形態による、図1の後処理器5を示す詳細図である。後処理された左信号L0wは、3つの信号の合計である。3つの信号とは、すなわち、伝達関数HAにより修正された左信号L0と、伝達関数HBにより修正された左信号L0と、伝達関数HDにより修正された右信号R0とである。同様に、後処理された右信号R0wは、3つの信号の合計である。3つの信号とは、すなわち、伝達関数HFにより修正された右信号R0と、伝達関数HEにより修正された右信号R0と、伝達関数HCにより修正された左信号L0とである。伝達関数HA−HFは、FIRタイプまたはIIRタイプのフィルタとして実施でき、または単に周波数に依存する(複素)スケールファクタである。さらに、伝達関数HAは第2のパラメータ(1−wl)をかけることであってもよく、伝達関数HBは第1のパラメータwlを含む。ここで、このパラメータwlはステレオ信号の後処理量を決定する。
これは図3に示した。パラメータw1は、L0[k]の後処理とR0[k]のwrとを決める。wlが0である場合、L0[k]は影響を受けない。wlが1である場合、L0[k]は最大限の影響を受ける。R0[k]に関してwrについても同様である。
次の式が後処理パラメータwlとwrについて成り立つ:
Figure 2007531916
図3において、ブロックH1、H2、H3及びH4はフィルタ関数であり、様々なタイプのフィルタであってもよい。例えば、以下に示すように、ステレオワイドニングフィルタであってもよい。
結果として出力は次式で表される:
Figure 2007531916
ここで、aは任意の定数(例えば、+1)である。
フィルタ関数H1、H2、H3及びH4を適当に選択した場合、伝達関数行列Hは可逆にすることができる。さらに、デコーダ側における逆行列の計算を可能にするため、フィルタ関数H1、H2、H3及びH4とパラメータwl及びwrがデコーダで分かっていなければならない。これは可能である。wlとwrは送信されたパラメータから計算できるからである。よって、マルチチャンネルミックスをデコードするために必要な元のステレオ信号L0、R0を再び得ることができる。
他の可能性として、元のステレオ信号を送信し、デコーダにおいて後処理を適用してステレオプレイバックを改善することができる。マルチチャンネルミックスを最初に決定する必要はない。
以下、後処理の一実施形態について詳細に説明する。しかし、本発明はこの詳細そのものに限定されるものではなく、添付した特許請求の範囲に記載した発明の範囲内で、変更することができる。
後処理パラメータすなわち重みwlとwrは、送信された空間パラメータの関数である:
Figure 2007531916
関数fは、信号L0が左フロントまたはセンター信号と比較して左サラウンド信号からのエネルギーをより多く含む場合、wlが大きくなるようになっている。同様に、wrは、R0中にある右サラウンド信号の相対的エネルギーが大きくなると、大きくなる。wlとwrの便利な表記は次式により与えられる:
Figure 2007531916
ここで、
Figure 2007531916
であり、かつ
Figure 2007531916
フィルタ関数H1、H2、H3及びH4について、(z領域において)以下の関数例を選ぶことができる:
Figure 2007531916
本発明は、ステレオ互換のダウンミックスを生成するマルチチャンネルオーディオエンコーダ装置に組み込むことができる。上記のように、後処理方法により音質改善される、このようなマルチチャンネル数値化オーディオエンコーダの一般的な方法(scheme)の概略を以下に説明する:
− マルチチャンネル入力信号の周波数領域への変換であって、セグメント化と変換によるか、またはフィルタバンクの適用による。
− 空間パラメータPの抽出と、周波数領域におけるダウンミックスの生成。
− 周波数領域における後処理アルゴリズムの適用、後処理した信号の時間領域への変換。
− 従来の符号化方法(例えば、MPEGで規定されたもの)を用いたステレオ信号のエンコード。
− ステレオビットストリームにエンコードされたパラメータPをかけて総出力ビットストリームの形成。
対応するマルチチャンネルデコーダ装置(すなわち、後処理の逆処理を組み込んだデコーダ)の概要を以下に説明する:
− パラメータビットストリームをデマルチプレックスして、パラメータPとエンコードされたステレオ信号を読み出し。
− ステレオ信号のデコード。
− デコードしたステレオ信号を周波数領域に変換。
− パラメータPに基づく後処理の逆処理の適用。
− パラメータPに基づくステレオからマルチチャンネル出力へのアップミックス(upmix)。
− マルチチャンネル出力の時間領域への変換。
後処理と逆後処理は周波数領域で実行されるので、フィルタ関数H1ないしH4は、簡単な(実数値または複素数値の)スケールファクタにより周波数領域で変換または近似される。このスケールファクタは周波数に依存するものであってもよい。
上記のように、1つ以上の処理段階は単一の処理段階として結合することもできることは、当業者には言うまでもない。
本発明の他のアプリケーションは、デコーダ側だけで(すなわち、エンコーダ側における後処理なしに)ステレオ信号に対して後処理を適用することである。このアプローチを用いて、デコーダは音質改善(enhanced)していないステレオ信号から音質改善したステレオ信号を生成することができる。
余分な情報はビットストリームで供給される。そのビットストリームにより、後処理がなされたか否か、パラメータ関数f1、f2及びどのフィルタ関数H1、H2、H3及びH4を用いたか、どれが逆後処理可能であるか等を知らせる。
フィルタ関数は周波数領域における乗算として記述できる。パラメータは個々の周波数帯域に対してあるので、本発明はフィルタではなく簡単な複素利得として実施され、別々の周波数帯域において個別に適用される。この場合、L0w、R0wの周波数帯域は、(L0,R0)からの対応する周波数帯域から簡単な(2×2)の行列乗算により得られる。実際の行列エントリーは、フィルタ関数Hのパラメータ及び周波数帯域表現により決定されるので、時間不変利得Hと時間/周波数可変でパラメータ制御されたゲインwlとwrを構成する。フィルタは各帯域ではスカラーなので、逆処理が可能である。
エンコーダにおける後処理は、次の行列の式により記述される:
Figure 2007531916
ここで、
Figure 2007531916
この行列の式は各周波数帯域について適用される。行列Hはすべてのスカラーを含む。スカラーを使用するので、後処理と逆後処理が比較的容易である。
パラメータwlとwrはスカラーであり、パラメータセットPの関数である。これらの2つのパラメータは入力チャンネルの後処理量を決定する。
パラメータH1ないしH4は複素フィルタ関数である。
このプロセスの逆処理は、周波数帯域ごとの簡単な行列乗算により行うこともできる。次式は周波数帯域ごとに適用される:
Figure 2007531916
ここで、
Figure 2007531916
行列H−1はスカラーだけを含む。H−1の要素k1ないしk4もパラメータセットPの関数である。デコーダにおいてマトリックスH中の関数h11ないしh22及びパラメータPが分かっていれば、後処理を逆にすることができる。
このような逆後処理を実行する逆後処理器3のブロック図を図4に示した。
この逆処理は、行列Hの行列式がゼロでないときに可能である。Hの行列式は:
Figure 2007531916
好適な関数h11ないしh22を選択するとdet(H)はゼロではなく、処理を逆にすることができる。
「有する」という表現は他の要素やステップを排除するものではなく、「1つの」という表現は要素が複数ある場合を排除するものではない。さらに、請求項中の参照符号は、その請求項を限定するものと解釈してはならない。
本発明を具体的な実施形態を参照して説明した。しかし、本発明は説明した様々な実施形態に限定されるものではなく、異なるやり方で修正及び組み合わせできることは、本明細書を読んだ当業者には明らかであろう。
本発明による後処理及び逆後処理を含むエンコーダ/デコーダオーディオシステムを示すブロック図である。 マルチチャンネルエンコーダから取得したステレオ信号を後処理するデバイスの一実施形態を示す詳細なブロック図である。 マルチチャンネルデコーダから取得したステレオ信号を後処理するデバイスの他の一実施形態を示すブロック図である。 左右信号を有するステレオ信号を逆後処理するデバイスの一実施形態を示すブロック図である。

Claims (20)

  1. Nチャンネルのオーディオ信号を左右信号と空間パラメータにエンコードするエンコーダから取得したステレオ信号の処理方法であって、
    処理済み信号を供給するために前記左右信号を処理する段階であって、前記処理は前記空間パラメータにより制御される段階を有することを特徴とする方法。
  2. 請求項1に記載の方法であって、
    前記処理は前記左右信号のそれぞれの第1のパラメータにより制御され、前記第1のパラメータは空間パラメータに依存することを特徴とする方法。
  3. 請求項2に記載の方法であって、
    前記第1のパラメータは時間及び/または周波数の関数であることを特徴とする方法。
  4. 請求項1ないし3いずれか一項に記載の方法であって、
    前記処理は、空間パラメータに依存する伝達関数で前記左右信号の少なくとも一方をフィルタすることを特徴とする方法。
  5. 請求項1ないし4いずれか一項に記載の方法であって、
    前記処理は、
    前記処理済みチャンネル信号を取得するために第1、第2、及び第3の信号を加える段階を有し、第1の信号は第1の伝達関数により修正されたステレオ信号を含み、第2の信号は第2の伝達関数により修正された同一チャンネルのステレオ信号を含み、第3の信号は第3の伝達関数により修正された他のチャンネルのステレオ信号を含むところの段階を有することを特徴とする方法。
  6. 請求項5に記載の方法であって、
    前記第2の伝達関数は前記第1のパラメータをかけて、次に第1のフィルタ関数をかける段階を有することを特徴とする方法。
  7. 請求項5に記載の方法であって、
    前記第1の伝達関数は第2のパラメータをかける段階を有することを特徴とする方法。
  8. 請求項5に記載の方法であって、
    前記第1の伝達関数は第2のパラメータをかける段階であって、前記第1のパラメータは前記第2のパラメータの関数であるところの段階を有することを特徴とする方法。
  9. 請求項5ないし8いずれか一項に記載の方法であって、
    前記第3の伝達関数は、左右信号に前記第1のパラメータをかけて、次に第2のフィルタ関数を有することを特徴とする方法。
  10. 請求項6ないし9いずれか一項に記載の方法であって、
    前記フィルタ関数は時間不変であることを特徴とする方法。
  11. 請求項1ないし10いずれか一項に記載の方法であって、
    前記信号は次式により記述され、
    Figure 2007531916
    伝達関数は空間パラメータの関数であることを特徴とする方法。
  12. 請求項11に記載の方法であって、
    前記伝達関数行列は次式で記述され、
    Figure 2007531916
    ここでaは定数であることを特徴とする方法。
  13. 請求項11または12に記載の方法であって、
    前記フィルタ関数とパラメータは、伝達関数行列が可逆になるように選択されることを特徴とする方法。
  14. 請求項1ないし10いずれか一項に記載の方法であって、
    前記空間パラメータはNチャンネルの信号レベルを記述する情報を含むことを特徴とする方法。
  15. Nチャンネルのオーディオ信号を左右信号と空間パラメータにエンコードするエンコーダから取得したステレオ信号の処理デバイスであって、
    処理済み信号を供給するために前記左右信号を後処理する後処理器であって、前記後処理は前記空間パラメータにより制御される後処理器を有することを特徴とするデバイス。
  16. エンコーダ装置であって、
    Nチャンネルのオーディオ信号を左右信号と空間パラメータにエンコードするエンコーダと、
    前記空間パラメータにより前記左右信号を処理する、請求項15に記載のデバイスと、を有することを特徴とするエンコーダ装置。
  17. 左右信号を含むステレオ信号の処理方法であって、
    請求項1ないし14いずれか一項に記載の方法による処理を逆にする段階を有することを特徴とする方法。
  18. 左右信号を含むステレオ信号の処理デバイスであって、
    請求項1ないし14いずれか一項に記載の方法による処理を逆にする手段を有することを特徴とするデバイス。
  19. デコーダ装置であって、
    左右信号を含むステレオ信号を処理する、請求項18に記載のデバイスと、
    処理済みのステレオ信号をNチャンネルオーディオ信号にデコードするデコーダと、を有することを特徴とするデコーダ装置。
  20. 請求項16に記載のエンコーダ装置と、請求項19に記載のデコーダ装置とを有することを特徴とするオーディオシステム。
JP2007506884A 2004-04-05 2005-03-30 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム Active JP5284638B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP04101405 2004-04-05
EP04101405.1 2004-04-05
EP04103367.1 2004-07-14
EP04103367 2004-07-14
PCT/IB2005/051065 WO2005098826A1 (en) 2004-04-05 2005-03-30 Method, device, encoder apparatus, decoder apparatus and audio system

Publications (2)

Publication Number Publication Date
JP2007531916A true JP2007531916A (ja) 2007-11-08
JP5284638B2 JP5284638B2 (ja) 2013-09-11

Family

ID=34962191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007506884A Active JP5284638B2 (ja) 2004-04-05 2005-03-30 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム

Country Status (12)

Country Link
US (1) US9992599B2 (ja)
EP (1) EP1735779B1 (ja)
JP (1) JP5284638B2 (ja)
KR (1) KR101183862B1 (ja)
CN (1) CN1947172B (ja)
BR (1) BRPI0509110B1 (ja)
ES (1) ES2426917T3 (ja)
MX (1) MXPA06011397A (ja)
PL (1) PL1735779T3 (ja)
RU (1) RU2396608C2 (ja)
TW (1) TWI455614B (ja)
WO (1) WO2005098826A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508157A (ja) * 2005-09-13 2009-02-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化
JP2009527970A (ja) * 2006-02-21 2009-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化及び復号
JP2016530789A (ja) * 2013-07-22 2016-09-29 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 修正された出力信号を得るために符号化されたオーディオ信号を復号化するための装置および方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175671B1 (en) 2004-07-14 2012-05-09 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
EP1899958B1 (en) 2005-05-26 2013-08-07 LG Electronics Inc. Method and apparatus for decoding an audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US8626503B2 (en) 2005-07-14 2014-01-07 Erik Gosuinus Petrus Schuijers Audio encoding and decoding
CN102013256B (zh) * 2005-07-14 2013-12-18 皇家飞利浦电子股份有限公司 用于生成多个输出音频通道的方法及设备
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
CA2636494C (en) 2006-01-19 2014-02-18 Lg Electronics Inc. Method and apparatus for processing a media signal
KR100908055B1 (ko) 2006-02-07 2009-07-15 엘지전자 주식회사 부호화/복호화 장치 및 방법
AU2007312598B2 (en) 2006-10-16 2011-01-20 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
WO2008046530A2 (en) 2006-10-16 2008-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multi -channel parameter transformation
AU2007322487B2 (en) * 2006-11-24 2010-12-16 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
US8855795B2 (en) 2007-01-09 2014-10-07 Mediatek Inc. Multiple output audio system
EP2083584B1 (en) 2008-01-23 2010-09-15 LG Electronics Inc. A method and an apparatus for processing an audio signal
WO2009093867A2 (en) 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing audio signal
KR100998913B1 (ko) * 2008-01-23 2010-12-08 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2011080916A1 (ja) 2009-12-28 2011-07-07 パナソニック株式会社 音声符号化装置および音声符号化方法
CN102280107B (zh) * 2010-06-10 2013-01-23 华为技术有限公司 边带残差信号生成方法及装置
JP5681290B2 (ja) 2010-09-28 2015-03-04 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス
AR084091A1 (es) 2010-12-03 2013-04-17 Fraunhofer Ges Forschung Adquisicion de sonido mediante la extraccion de informacion geometrica de estimativos de direccion de llegada
BR112013017063A2 (pt) * 2011-01-05 2018-06-05 Koninl Philips Electronics Nv sistema de áudio e método de operação de um sistema de áudio
EP2804176A1 (en) 2013-05-13 2014-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio object separation from mixture signal using object-specific time/frequency resolutions
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165079A (ja) * 1992-11-25 1994-06-10 Matsushita Electric Ind Co Ltd マルチチャンネルステレオ用ダウンミキシング装置
JP3193921B2 (ja) * 1994-03-18 2001-07-30 フラウンホーファー・ゲゼルシャフト ツア フェルデルンク デル アンゲワンテン フォルシュンク アインゲトラーゲナー フェライン 複数のオーディオ信号を符号化する方法
WO2004008805A1 (en) * 2002-07-12 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
JP2004048741A (ja) * 2002-06-24 2004-02-12 Agere Systems Inc オーディオミキシングのための等化技術
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル/キュー符号化/復号化
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
WO2005081229A1 (ja) * 2004-02-25 2005-09-01 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ及びオーディオデコーダ
JP4574626B2 (ja) * 2004-01-20 2010-11-04 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャネル出力信号を構築する装置および方法またはダウンミックス信号を生成する装置および方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4095049A (en) * 1976-03-15 1978-06-13 National Research Development Corporation Non-rotationally-symmetric surround-sound encoding system
US4236039A (en) * 1976-07-19 1980-11-25 National Research Development Corporation Signal matrixing for directional reproduction of sound
DE4209544A1 (de) * 1992-03-24 1993-09-30 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen oder Speichern digitalisierter, mehrkanaliger Tonsignale
JP2693893B2 (ja) * 1992-03-30 1997-12-24 松下電器産業株式会社 ステレオ音声符号化方法
US5727119A (en) * 1995-03-27 1998-03-10 Dolby Laboratories Licensing Corporation Method and apparatus for efficient implementation of single-sideband filter banks providing accurate measures of spectral magnitude and phase
US5642423A (en) 1995-11-22 1997-06-24 Sony Corporation Digital surround sound processor
US6697491B1 (en) 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
SG54379A1 (en) 1996-10-24 1998-11-16 Sgs Thomson Microelectronics A Audio decoder with an adaptive frequency domain downmixer
DE69712230T2 (de) 1997-05-08 2002-10-31 Stmicroelectronics Asia Pacific Pte Ltd., Singapur/Singapore Verfahren und gerät zur frequenzdomäneabwärtsumsetzung mit zwangblockschaltung für audiodekoderfunktionen
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US6067361A (en) * 1997-07-16 2000-05-23 Sony Corporation Method and apparatus for two channels of sound having directional cues
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US20050247756A1 (en) 2004-03-31 2005-11-10 Frazer James T Connection mechanism and method
MXPA06011361A (es) 2004-04-05 2007-01-16 Koninkl Philips Electronics Nv Codificador de canales multiples.
EP2175671B1 (en) * 2004-07-14 2012-05-09 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165079A (ja) * 1992-11-25 1994-06-10 Matsushita Electric Ind Co Ltd マルチチャンネルステレオ用ダウンミキシング装置
JP3193921B2 (ja) * 1994-03-18 2001-07-30 フラウンホーファー・ゲゼルシャフト ツア フェルデルンク デル アンゲワンテン フォルシュンク アインゲトラーゲナー フェライン 複数のオーディオ信号を符号化する方法
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
JP2004048741A (ja) * 2002-06-24 2004-02-12 Agere Systems Inc オーディオミキシングのための等化技術
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル/キュー符号化/復号化
WO2004008805A1 (en) * 2002-07-12 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
JP4574626B2 (ja) * 2004-01-20 2010-11-04 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャネル出力信号を構築する装置および方法またはダウンミックス信号を生成する装置および方法
WO2005081229A1 (ja) * 2004-02-25 2005-09-01 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ及びオーディオデコーダ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508157A (ja) * 2005-09-13 2009-02-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化
JP2009527970A (ja) * 2006-02-21 2009-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化及び復号
JP2016530789A (ja) * 2013-07-22 2016-09-29 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 修正された出力信号を得るために符号化されたオーディオ信号を復号化するための装置および方法
US10607615B2 (en) 2013-07-22 2020-03-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for decoding an encoded audio signal to obtain modified output signals

Also Published As

Publication number Publication date
US20070183601A1 (en) 2007-08-09
TW200611588A (en) 2006-04-01
WO2005098826A1 (en) 2005-10-20
BRPI0509110A8 (pt) 2016-02-10
CN1947172A (zh) 2007-04-11
KR20070001205A (ko) 2007-01-03
PL1735779T3 (pl) 2014-01-31
MXPA06011397A (es) 2006-12-20
CN1947172B (zh) 2011-08-03
JP5284638B2 (ja) 2013-09-11
BRPI0509110B1 (pt) 2019-07-09
EP1735779A1 (en) 2006-12-27
ES2426917T3 (es) 2013-10-25
KR101183862B1 (ko) 2012-09-20
BRPI0509110A (pt) 2007-08-28
US9992599B2 (en) 2018-06-05
RU2396608C2 (ru) 2010-08-10
RU2006139068A (ru) 2008-05-20
TWI455614B (zh) 2014-10-01
EP1735779B1 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5284638B2 (ja) 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム
JP4898673B2 (ja) 方法、装置、エンコーダ装置、デコーダ装置及びオーディオシステム
US20190066703A1 (en) Parametric joint-coding of audio sources
JP5081838B2 (ja) オーディオ符号化及び復号
KR101010464B1 (ko) 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성
TWI396188B (zh) 依聆聽事件之函數控制空間音訊編碼參數的技術
US20090240505A1 (en) Audio decoding
EP1991984A1 (en) Method, medium, and system synthesizing a stereo signal
JP7383685B2 (ja) バイノーラル・ダイアログ向上

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110704

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121003

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130530

R150 Certificate of patent or registration of utility model

Ref document number: 5284638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250