JP2020500336A - 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法 - Google Patents

位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法 Download PDF

Info

Publication number
JP2020500336A
JP2020500336A JP2019545853A JP2019545853A JP2020500336A JP 2020500336 A JP2020500336 A JP 2020500336A JP 2019545853 A JP2019545853 A JP 2019545853A JP 2019545853 A JP2019545853 A JP 2019545853A JP 2020500336 A JP2020500336 A JP 2020500336A
Authority
JP
Japan
Prior art keywords
channel
signal
gain
residual
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019545853A
Other languages
English (en)
Other versions
JP7102427B2 (ja
Inventor
ヤン・ビューテ
ギヨーム・フックス
ヴォルフガング・イェーガーズ
フランツ・ロイテルフーバー
ユルゲン・ヘレ
エレニ・フォトポウロウ
マルクス・ムルトゥルス
スリカンス・コルセ
Original Assignee
フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．, フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． filed Critical フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
Publication of JP2020500336A publication Critical patent/JP2020500336A/ja
Priority to JP2022109004A priority Critical patent/JP2022132345A/ja
Application granted granted Critical
Publication of JP7102427B2 publication Critical patent/JP7102427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Abstract

少なくとも2つのチャネル(101、102)を含むマルチチャネル信号(100)をダウンミックスするための装置は、マルチチャネル信号(100)からダウンミックス信号(122)を計算する(34)ためのダウンミキサ(120)であって、ダウンミキサが、ダウンミックス信号(122)を計算する際に、少なくとも2つのチャネルのうちのより低いエネルギーを有するチャネルのみが回転されるか、またはより大きいエネルギーを有するチャネルよりも強く回転されるように、絶対位相補償を使用してダウンミックスを計算する(34)ように構成される、ダウンミキサ(120)と、出力信号を生成するための出力インターフェース(160)であって、出力信号がダウンミックス信号(122)に関する情報を含む、出力インターフェース(160)とを備える。

Description

本発明は、オーディオ符号化の分野に関し、詳細には、ステレオまたはマルチチャネル符号化/復号の分野に関する。
低ビットレートにおけるステレオ信号の非可逆パラメトリック符号化のための最新技術の方法は、MPEG-4 Part-3において標準化されているようにパラメトリックステレオに基づく。一般的な考え方は、サイド情報としてデコーダに送信されるステレオパラメータを抽出した後、2つの入力チャネルからダウンミックス信号を計算することによってチャネル数を減らすことである。これらのステレオパラメータは、通常、チャネル間レベル差ILD、チャネル間位相差IPD、およびチャネル間コヒーレンスICCであり、それらは、サブバンドにおいて計算され、ある程度、空間像を取り込む。
デコーダは、モノ入力のアップミックスを実行し、ILD、IPD、およびICCの関係を満たす2つのチャネルを作成する。これは、入力信号を、デコーダにおいて生成されるその信号の非相関化バージョンと共にマトリックス化することによって行われる。
例えば、そのようなパラメータの使用は、これらのパラメータを計算および処理するためのかなりの複雑さを招くことがわかった。具体的には、ILDパラメータは、それが非常に小さいまたは非常に大きい値を有する可能性があり、このほとんど制限のない値の範囲が効率的な計算、量子化などに関して問題を引き起こすので、問題となる。
本発明の目的は、マルチチャネルデータを処理するための改善された概念を提供することである。
この目的は、請求項1によるマルチチャネル信号をダウンミックスするための装置、請求項17による符号化マルチチャネル信号をアップミックスするための装置、請求項33のマルチチャネル信号をダウンミックスする方法、請求項34の符号化マルチチャネル信号をアップミックスする方法、または請求項35のコンピュータプログラムによって達成される。
第1の態様の本発明は、従来技術とは対照的に、2つのゲインパラメータ、すなわち、サイドゲインパラメータおよび残余ゲインパラメータに依存する異なるパラメトリック符号化手順が採用されることを見出すことに基づく。両方のゲインパラメータは、マルチチャネル信号の少なくとも2つのチャネルのうちの第1のチャネルと、マルチチャネル信号の少なくとも2つのチャネルのうちの第2のチャネルとから計算される。これらのゲインパラメータの両方、すなわち、サイドゲインおよび残余ゲインは、ダウンミキサによってマルチチャネル信号から計算されたダウンミックス信号と共に送信もしくは記憶されるか、または一般的には出力される。
第1の態様の本発明の実施形態は、パラメータの新しいセットをもたらす新しいミッド/サイド手法に基づき、エンコーダにおいて、2つの入力チャネルの全情報を一緒に取り込むミッド/サイド変換が入力チャネルに適用される。ミッド信号は、左および右のチャネルの加重平均値であり、重みは、複雑であり、位相差を補償するために選択される。したがって、サイド信号は、入力チャネルの対応する重み付けされた差である。ミッド信号のみが波形コード化され、サイド信号は、パラメトリックにモデル化される。エンコーダはサブバンドにおいて動作し、そこで、IPDと2つのゲインパラメータとをステレオパラメータとして抽出する。サイドゲインと呼ばれる第1のゲインは、ミッド信号によるサイド信号の予測から得られ、残余ゲインと呼ばれる第2のゲインは、ミッド信号のエネルギーに対する残りのエネルギーを取り込む。ミッド信号は次いで、ステレオパラメータと共にデコーダに送信されるダウンミックス信号として機能する。
デコーダは、サイドゲインと残余ゲインとに基づいて失われたサイドチャネルを推定し、残りに代用物を使用することによって、2つのチャネルを合成する。
第1の態様の本発明は、一方でサイドゲインおよび他方で残余ゲインが特定の小さい範囲の数に制限されるゲインであるという点で有利である。具体的には、サイドゲインは、好ましい実施形態では、-1から+1の範囲に制限され、残余ゲインは、0および1の範囲にさらに制限される。また、好ましい実施形態においてさらにより有用なことは、残余ゲインが有することができる値の範囲が、サイドゲインがより大きくなるにつれてより小さくなるように、残余ゲインがサイドゲインに依存することである。
具体的には、サイドゲインは、第1および第2のチャネルのサイド信号を予測するために第1および第2のチャネルのミッド信号に適用可能なサイド予測ゲインとして計算され得る。そして、パラメータ計算器はまた、ミッド信号およびサイドゲインによるサイド信号のそのような予測の残余信号のエネルギーまたは振幅を示す残余予測ゲインとして残余ゲインを計算するように構成される。
しかしながら、重要なことに、エンコーダ側において実際に予測を実行すること、またはエンコーダ側においてサイド信号を実際に符号化することは、必要ではない。代わりに、サイドゲインおよび残余ゲインは、左および右のチャネルの振幅に関連するエネルギー、パワー、または他の特性のような振幅関連尺度のみを使用することによって計算され得る。加えて、サイドゲインおよび残余ゲインの計算は、両方のチャネル間の内積のみに関連し、すなわち、ダウンミックスチャネル自体またはサイドチャネル自体のような左チャネルおよび右チャネル以外のどのような他のチャネルも、実施形態において計算される必要がない。しかしながら、他の実施形態では、サイド信号は、計算され得、予測のための様々な試行が計算され得、サイドゲインおよび残余ゲインのようなゲインパラメータが、特定のサイドゲイン予測に関連付けられた残余信号から計算され得、結果として残余信号または剰余信号の最小エネルギーのような様々な試行における定義済み基準をもたらす。したがって、高い柔軟性と、それにもかかわらず、一方でサイドゲイン、他方で残余ゲインを計算するための低い複雑性とが存在する。
ILDおよびICCを上回るゲインパラメータの例示的な2つの利点が存在する。第1に、それらは、任意の大きいまたは小さい値を取り得るILDパラメータとは対照的に有限区間([-1,1]におけるサイドゲインおよび[0,1]における残余ゲイン)内に自然に存在する。そして第2に、ILDおよびICCの計算が2つを含むのに対し、1つの特別な関数評価のみを含むので、計算は、より単純である。
第1の態様の好ましい実施形態は、スペクトル領域におけるパラメータの計算に依存し、すなわち、パラメータは、様々な周波数ビンに対して、またはより好ましくは各サブバンドが特定の数の周波数ビンを含む様々なサブバンドに対して計算される。好ましい実施形態では、サブバンド内に含まれる周波数ビンの数は、人間の聴取知覚の特性を模倣するために、より低いサブバンドからより高いサブバンドまで増加し、すなわち、より高い帯域がより高い周波数範囲または帯域幅をカバーし、より低い帯域がより低い周波数範囲または帯域幅をカバーする。
好ましい実施形態では、ダウンミキサは、絶対位相補償されたダウンミックス信号を計算し、ここで、IPDパラメータに基づいて、左および右のチャネルに位相回転が適用されるが、位相補償は、より多くのエネルギーを有するチャネルがより少ないエネルギーを有するチャネルよりも少なく回転されるように実行される。位相補償を制御するために、好ましくはサイドゲインが使用されるが、他の実施形態では、任意の他のダウンミックスが使用され得、これはまた、サイド信号のパラメトリック表現、すなわち、一方でサイドゲイン、および他方で残余ゲインが、元の第1および第2のチャネルのみに基づいて計算され、送信されたダウンミックスに関するどのような情報も必要とされないという本発明の特別な利点である。したがって、サイドゲインと残余ゲインとからなる新しいパラメトリック表現と一緒に任意のダウンミックスが使用され得るが、本発明はまた、サイドゲインに基づく絶対位相補償と一緒に適用されるのに特に有用である。
絶対位相補償のさらなる実施形態では、位相補償パラメータは、位相補償パラメータを計算する際に生じる逆正接関数(atanまたはtan-1)の特異点が中心から特定の横位置に移動されるように、特定の所定の数に基づいて特に計算される。特異点のこのシフトは、+/-180°の位相シフトおよび0に近いゲインパラメータに対して、すなわち、まったく同様のエネルギーを有する左および右のチャネルに対して、特異点によるいかなる問題も生じないことを確実にする。そのような信号は、かなり頻繁に生じることがわかっているが、互いに位相がずれているが、例えば、3dBと12dBとの間または約6dBの差を有する信号は、自然の状況では発生しない。したがって、特異点はシフトされるだけであるが、それにもかかわらず、このシフトは、通常の状況では、単純な逆正接関数がその特異点を有する場合よりもはるかに少なく発生する信号配置状況において特異点が発生することを確実にするので、ダウンミキサの全体的な性能を改善することがわかった。
さらなる実施形態は、効率的な量子化手順を実施するためにサイドゲインおよび残余ゲインの依存性を利用する。この目的のため、第1の実施形態では、サイドゲインが最初に量子化され、次いでサイドゲインの値に基づく量子化ステップを使用して残余ゲインが量子化されるように実行される結合量子化(joint quantization)を実行することが好ましい。しかしながら、他の実施形態は、両方のパラメータが単一のコードに量子化される結合量子化に依存し、このコードの特定の部分は、エンコーダによって符号化される2つのチャネルの特定のレベル差特性に属する量子化点の特定のグループに依存する。
第2の態様は、少なくとも2つのチャネルを含むマルチチャネル信号をダウンミックスするための装置に関し、装置は、マルチチャネル信号からダウンミックス信号を計算するためのダウンミキサであって、ダウンミキサが、ダウンミックス信号を計算する際に、少なくとも2つのチャネルのうちのより低いエネルギーを有するチャネルのみが回転されるか、またはより大きいエネルギーを有するチャネルよりも強く回転されるように、絶対位相補償を使用してダウンミックスを計算するように構成される、ダウンミキサと、出力信号を生成するための出力インターフェースであって、出力信号がダウンミックス信号に関する情報を含む、出力インターフェースとを備える。
好ましくは、回転は、好ましくはマイナーチャネル上で実行されるが、その場合は、マイナーチャネルが常にメジャーチャネルよりも回転されるわけではない小さいエネルギー差の状況で可能である。しかし、エネルギー比が十分に大きいかまたは十分に小さい場合、好ましい実施形態は、マイナーチャネルをメジャーチャネルよりも回転させる。したがって、好ましくは、エネルギー差が有意であるとき、または1dB以上のような定義済み閾値を超えるときにのみ、マイナーチャネルは、メジャーチャネルよりも回転される。これは、ダウンミキサだけでなくアップミキサにも当てはまる。
本発明の好ましい実施形態は、添付図面に関して後に論じられる。
一実施形態のマルチチャネル信号を符号化するための装置のブロック図である。 パラメータ計算器の一実施形態のブロック図である。 パラメータ計算器のさらなる実施形態の図である。 絶対位相補償を実行するダウンミキサの一実施形態の図である。 特定の量子化を実行する出力インターフェースの一実施形態のブロック図である。 例示的なコードワードを示す図である。 符号化マルチチャネル信号を復号するための装置の一実施形態の図である。 アップミキサの一実施形態の図である。 残余信号合成器の一実施形態の図である。 入力インターフェースの一実施形態の図である。 重複フレームの処理を示すである。 時間-スペクトル変換器の一実施形態を示す図である。 左チャネルまたは右チャネルのスペクトルと、様々なサブバンドの構成とを示す図である。 スペクトル-時間変換器の一実施形態を示す図である。 第1の実施形態における条件付き量子化に関する線を示す図である。 さらなる実施形態による結合量子化に関する線を示す図である。 サイドゲインおよび残余ゲインに関する結合量子化点を示す図である。
図1は、少なくとも2つのチャネルを含むマルチチャネル信号を符号化するための装置を示す。具体的には、マルチチャネル信号は、図1中の100に示されており、第1のチャネル101と第2のチャネル102とを有し、追加のチャネルがないかまたは任意の選択された数の追加のチャネルを有し、さらなる追加のチャネルが103に示されている。
マルチチャネル信号100は、マルチチャネル信号100からダウンミックス信号122を計算するためのダウンミキサ120に入力される。ダウンミキサは、マルチチャネル信号を計算するために、特定の実装形態に応じて、第1のチャネル101、第2のチャネル102、および第3のチャネル103、または第1および第2のチャネルのみ、またはマルチチャネル信号のすべてのチャネルを使用することができる。
さらに、符号化するための装置は、少なくとも2つのチャネルの第1のチャネル101および第2のチャネル102からサイドゲイン141を計算するためのパラメータ計算器140を備え、加えて、パラメータ計算器140は、第1のチャネルおよび第2のチャネルから残余ゲイン142を計算する。他の実施形態では、143に示すようにオプションのチャネル間位相差(IPD)も計算される。ダウンミックス信号122、サイドゲイン141、および残余ゲイン142は、ダウンミックス信号122、サイドゲイン141、および残余ゲイン142に関する情報を含む符号化マルチチャネル信号162を生成する出力インターフェース160に転送される。
サイドゲインおよび残余ゲインは、典型的には、各フレームについて単一のサイドゲインおよび単一の残余ゲインが計算されるように、フレームについて計算されることが留意されるべきである。しかしながら、他の実施形態では、単一のサイドゲインおよび単一の残余ゲインのみが各フレームについて計算されるだけでなく、サイドゲインのグループおよび残余ゲインのグループがフレームについて計算され、ここで、各サイドゲインおよび各残余ゲインは、第1のチャネルおよび第2のチャネルの特定のサブバンドに関連する。したがって、好ましい実施形態では、パラメータ計算器は、第1および第2のチャネルの各フレームについて、サイドゲインのグループと残余ゲインのグループとを計算し、ここで、フレームに対するサイドゲインおよび残余ゲインの数は、典型的にはサブバンドの数に等しい。DFTのような高分解能の時間-スペクトル変換が適用されるとき、特定のサブバンドに対するサイドゲインおよび残余ゲインは、第1のチャネルおよび第2のチャネルの周波数ビンのグループから計算される。しかしながら、サブバンド信号をもたらす低分解能の時間-周波数変換が適用されるとき、パラメータ計算器140は、各サブバンドに対して、またはサブバンドのグループに対してさえ、サイドゲインおよび残余ゲインを計算する。
サイドゲインおよび残余ゲインがサブバンド信号のグループに対して計算されるとき、パラメータ分解能は、低減され、より低いビットレートをもたらすが、サイド信号のパラメトリック表現のより低い品質の表現をもたらす。他の実施形態では、サイドゲインおよび残余ゲインが各フレームについて計算されるのではなく、フレームのグループについて計算されるように、時間分解能が修正もされ得、ここで、フレームのグループは、2つ以上のフレームを有する。したがって、そのような実施形態では、サブバンド関連のサイド/残余ゲインを計算することが好ましく、ここで、サイド/残余ゲインは、特定のサブバンドに関連するが、2つ以上のフレームを含むフレームのグループに関連する。したがって、本発明によれば、ブロック140によって実行されるパラメータ計算の時間および周波数分解能は、高い柔軟性で修正され得る。
パラメータ計算器140は、好ましくは、第1の実施形態に関して図2に概説されているように、または第2の実施形態に関して図3に概説されているように実施される。図2の実施形態において、パラメータ計算器は、第1の時間-スペクトル変換器21と第2の時間-スペクトル変換器22とを備える。さらに、図1のパラメータ計算器140は、第1の振幅関連特性を計算するための計算器23と、第2の振幅関連特性を計算するための計算器24と、ブロック21および22の出力の内積、すなわち、第1および第2のチャネルのスペクトル表現の内積を計算するための計算器25とを備える。
ブロック23、24、25の出力は、サイドゲイン計算器26に転送され、残余ゲイン計算器27にも転送される。サイドゲイン計算器26および残余ゲイン計算器27は、第1の振幅関連特性と、第2の振幅関連特性と、内積との間に特定の関係を適用し、両方の入力を組み合わせるために残余ゲイン計算器によって適用される関係は、サイドゲイン計算器26によって適用される関係とは異なる。
好ましい実施形態では、第1および第2の振幅関連特性は、サブバンド内のエネルギーである。しかしながら、他の振幅関連特性は、サブバンド自体における振幅に関係するか、サブバンド内の信号電力に関係するか、または1よりも大きい指数を有する振幅の任意の他のべき乗に関係し、ここで、指数は、1よりも大きい実数、または、信号電力およびエネルギーに関する2の整数、もしくはラウドネスに関連する3の整数に関するなどのような、1よりも大きい整数であり得る。したがって、各振幅関連特性は、サイドゲインおよび残余ゲインを計算するために使用され得る。
好ましい実施形態では、サイドゲイン計算器および残余ゲイン計算器27は、第1および第2のチャネルのサイド信号を予測するために、第1および第2のチャネルのミッド信号に適用可能なサイド予測ゲインとしてサイドゲインを計算するように構成されるか、または、パラメータ計算器、特に残余ゲイン計算器27は、サイドゲインを使用するミッド信号によるサイド信号の予測の残余信号の振幅関連尺度を示す残余予測ゲインとして残余ゲインを計算するように構成される。
具体的には、図2のパラメータ計算器140およびサイドゲイン計算器26は、分子と分母とを有する分数を使用してサイド信号を計算するように構成され、ここで、分子は、第1および第2のチャネルの振幅特性を含み、分母は、第1および第2のチャネルの振幅特性と、内積から導出される値とを含む。内積から導出される値は、好ましくは内積の絶対値であるが、代替的には、1よりも大きいべき乗のような絶対値の任意のべき乗であり得、または、共役複素項もしくは内積自体のような絶対値とは異なる特性でさえあり得る。
さらなる実施形態では、図2のパラメータ計算器、残余ゲイン計算器27は、内積から導出される値と、加えて他のパラメータの両方を使用する分子と分母とを有する分数も使用する。再び、内積から導出される値は、好ましくは内積の絶対値であるが、代替的には、1よりも大きいべき乗のような絶対値の任意のべき乗であり得、または、共役複素項もしくは内積自体のような絶対値とは異なる特性でさえあり得る。
具体的には、図2のサイドゲイン計算器26は、サイドゲインを計算するために、第1のチャネルのエネルギーの差を使用するように構成され、分母は、両方のチャネルのエネルギーまたは振幅特性の合計を使用し、加えて、内積、好ましくは内積の2倍を使用するが、内積に対する他の乗数も使用され得る。
残余ゲイン計算器27は、分子において、第1および第2のチャネルの振幅特性の加重和と、内積とを使用するように構成され、ここで、内積は、第1および第2のチャネルの振幅特性の加重和から減算される。残余ゲイン計算器を計算するための分母は、第1および第2のチャネルの振幅特性の和と、内積とを含み、ここで、内積は、好ましくは、2が乗算されるが、同様の他の係数が乗算され得る。
さらに、接続線28によって示されるように、残余ゲイン計算器27は、サイドゲイン計算器によって計算されるサイドゲインを使用して残余ゲインを計算するように構成される。
好ましい実施形態では、残余ゲインおよびサイドゲインは、以下のように作用する。具体的には、後に説明する帯域ごとのチャネル間位相差が計算され得る。しかしながら、式(9)において後に示すようなサイドゲインの計算と式(10)において後に示すようなサイドゲインの具体的な好ましい計算とを具体的に概説する前に、ゲインパラメータの計算に加えてIPDおよびダウンミキシングの計算も参照するエンコーダのさらなる説明が与えられる。
ステレオパラメータの符号化、およびダウンミックス信号の計算は、周波数領域において行われる。この目的のため、左および右チャネルの時間周波数ベクトルLtおよびRtが、分析ウィンドウを同時に適用し、離散フーリエ変換(DFT)を続けることによって生成される。DFTビンは、次いで、それぞれ、サブバンド(Lt,k)K∈Ib、(Rt,k)K∈Ibにグループ化され、ここで、Ibは、サブバンドインデックスのセットを示す。
IPDの計算およびダウンミキシング
ダウンミックスについて、帯域ごとのチャネル間位相差(IPD)が、
Figure 2020500336
のように計算され、ここで、z*は、zの複素共役を表す。これは、k∈Ibについて、帯域ごとのミッドおよびサイド信号
Figure 2020500336
および
Figure 2020500336
を生成するために使用される。絶対位相回転パラメータβは、
Figure 2020500336
によって与えられ、ここで、gt,bは、以下で指定されるサイドゲインを表す。ここで、atan2(y,x)は、その値が点(x,y)と正のx軸との間の角度である引数2つの逆正接関数である。それは、むしろより少ないエネルギーを有するチャネル上でIPD補償を実行することを意図している。係数2は、IPDt,b=±πおよびgt,b=0における特異点をIPDt,b=±πおよびgt,b=-1/3に移動させる。このようにして、左および右チャネルにおいてほぼ等しいエネルギー分布を有する位相がずれた状況において、βのトグリングが回避される。ダウンミックス信号は、逆DFTをMtに適用し、合成ウィンドウおよび重複加算を続けることによって生成される。
他の実施形態では、単純な正接関数のような、atan2関数とは異なる他の逆正接関数が同様に使用され得るが、atan2関数は、提起された問題に対するその安全な適用のために好ましい。
ゲインパラメータの計算
帯域ごとのIPDに加えて、2つの他のステレオパラメータが抽出される。Mt,bによってSt,bを予測するための最適なゲイン、すなわち、残りのエネルギー
pt,k=St,k-gt,bMt,k (5)
が最小になるような数gt,b、および、ミッド信号Mtに適用された場合、各帯域におけるptおよびMtのエネルギーを等しくするゲイン係数rt,b、すなわち、
Figure 2020500336
。最適予測ゲインは、サブバンドにおけるエネルギー
Figure 2020500336
、ならびに、LtおよびRtの内積の絶対値
Figure 2020500336
から、
Figure 2020500336
として計算され得る。これから、gt,bが[-1,1]内にあるということになる。残余ゲインは、エネルギーおよび内積から、
Figure 2020500336
として同様に計算され得、これは、
Figure 2020500336
を意味する。具体的には、これは、rt,b∈[0,1]を示す。このように、ステレオパラメータは、対応するエネルギーおよび内積を計算することによってダウンミックスから独立して計算され得る。具体的には、そのエネルギーを計算するために残余pt,kを計算する必要はない。ゲインの計算が1つの特別な関数評価のみを含むのに対して、EL,t,b、ER,t,b、およびXL/R,t,bからのILDおよびICCの計算が2つ、すなわち、平方根および対数、
Figure 2020500336
および
Figure 2020500336
を含むことは、注目すべきである。
低下するパラメータ分解能
ウィンドウ長によって与えられるようなより低いパラメータ分解能が望まれる場合、(9)および(10)において、XL/R,t,bを
Figure 2020500336
によって置き換え、EL,t,b、ER,t,bを、それぞれ、
Figure 2020500336
によって置き換えることによって、hの連続するウィンドウにわたるゲインパラメータを計算してもよい。このとき、サイドゲインは、個々のウィンドウに関するサイドゲインの加重平均であり、ここで、重みは、Mt+i,kのエネルギーに依存するか、または帯域ごとのエネルギーEM,s,bに依存し、ここで、sは、式14および15における合計インデックスである。
同様に、IPD値は次いで、いくつかのウィンドウにわたって、
Figure 2020500336
のように計算される。好ましくは、図1に示すパラメータ計算器140は、複素数値スペクトルのシーケンスとしてサブバンドごとの表現を計算するように構成され、ここで、各スペクトルは、第1のチャネルまたは第2のチャネルの時間フレームに関係し、ここで、シーケンスの時間フレームは、互いに隣接し、ここで、隣接する時間フレームは、互いに重なり合う。
さらに、パラメータ計算器140は、例えば、式(7)においても前に示したように、サブバンド内の複素スペクトル値の大きさを二乗すること、および、サブバンド内の二乗した大きさを合計することによって、第1および第2の振幅関連尺度を計算するように構成され、ここで、インデックスbは、サブバンドを表す。
さらに、式8においても概説されているように、パラメータ計算器140、特に図2の内積計算器25は、サブバンド内で積を合計することによって内積を計算するように構成され、ここで、各積は、第1のチャネルの周波数ビンにおけるスペクトル値と、周波数ビンに関する第2のチャネルの共有複素スペクトル値とを含む。その後、合計の結果の大きさが形成される。
式1から4においても概説されているように、絶対位相補償を使用することが好ましい。したがって、この実施形態では、ダウンミキサ120は、ダウンミックス信号を計算するとき、2つのチャネルのうちでより低いエネルギーを有するチャネルのみが回転されるか、または、2つのチャネルのうちでより低いエネルギーを有するチャネルが、より大きいエネルギーを有する他のチャネルよりも強く回転されるように、絶対位相補償を使用してダウンミックス122を計算するように構成される。そのようなダウンミキサ120が図4に示されている。具体的には、ダウンミキサは、チャネル間位相差(IPD)計算器30と、絶対位相回転計算器32と、ダウンミックス計算器34と、エネルギー差またはサイドゲイン計算器36とを備える。エネルギー差またはサイドゲイン計算器36が図2中のサイドゲイン計算器26として実装され得ることは、強調されるべきである。しかしながら、代替的には、位相回転の目的のために、エネルギー差、または一般に、エネルギー、電力、または振幅自体、もしくはべき乗が1つと2つ以上との間のべき乗のような2以外である場合に加算される振幅のべき乗であり得る振幅関連特性の差のみを計算する、ブロック36における異なる実装形態も存在し得る。
具体的には、指数または3のべき乗は、例えば、エネルギーではなくラウドネスに対応する。
具体的には、図4のIPD計算器30は、典型的には、ブロック30に入力される第1および第2のチャネル101、102の各々の複数のサブバンドの各々のサブバンドについてチャネル間位相差を計算するように構成される。さらに、ダウンミキサは、第1のチャネルと第2のチャネルとの間のブロック36によって提供されるエネルギー差に基づくか、または、一般的には、両方のチャネル101、102間の振幅関連特性の差に基づいて作用する、再び典型的には複数のサブバンドの各々のサブバンドに関する絶対位相回転パラメータを有する。加えて、ダウンミックス計算器34は、ダウンミックス信号を計算するとき、IPDパラメータと、βとして示される絶対位相回転パラメータとを使用して、第1および第2のチャネルに重み付けするように構成される。
好ましくは、ブロック36は、絶対位相回転計算器がサイドゲインに基づいて動作するようにサイドゲイン計算器として実装される。
したがって、好ましい実施形態では、図4のブロック30は、式(1)を実施するように構成され、ブロック32は、式(4)を実施するように構成され、ブロック34は、式(2)を実施するように構成される。
具体的には、サイドゲインgt,bを含む項の前の式(4)中の係数2は、2とは異なって設定され得、例えば、好ましくは0.1と100との間の値であり得る。当然、-0.1および-100も使用され得る。この値は、ほぼ等しい左および右チャネルに対して+-180°のIPDにおいて存在する特異点が異なる場所、すなわち、例えば、係数2について-1/3の異なるサイドゲインに移動されることを確実にする。しかしながら、2とは異なる他の係数が使用され得る。これらの他の係数は、特異点を-1/3とは異なるサイドゲインパラメータに移動させる。すべてのこれらの異なる係数は、これらの係数が、典型的には位相がずれて等しいかほぼ等しいエネルギーを有する信号よりも少ない頻度で発生する関連する左および右チャネル信号を有するサウンドステージ内の「場所」に問題の特異点があることを達成するので、有用であることがわかった。
好ましい実施形態では、図1の出力インターフェース160は、パラメトリック情報の量子化、すなわち、パラメータ計算器140によって線141上に提供されるようなサイドゲイン、および図1のパラメータ計算器140から線142上に提供されるような残余ゲインの量子化を実行するように構成される。
具体的には、残余ゲインがサイドゲインに依存する実施形態では、サイドゲインを量子化し、次いで残余ゲインを量子化することが好ましい場合、この実施形態では、残余ゲインのための量子化ステップは、サイドゲインの値に依存する。
具体的には、これは、図11に示されており、同様に図12および図13においても類似的に示されている。
図1は、条件付き量子化に関する線を示す。具体的には、残余ゲインは、常に(1-g2)1/2によって決定される範囲内にあることが示されている。したがって、g=0のとき、rは、0と1との間の範囲内にあり得る。しかしながら、gが0.5に等しいとき、rは、0.866と0の範囲内にあり得る。さらに、例えば、g=0.75のとき、範囲rは、0と0.66との間に制限される。g=0.9の極端な実施形態では、rは、0と0.43との間の範囲のみであり得る。さらに、g=0.99のとき、rは、例えば、0と0.14との間の範囲内にのみあり得る。
したがって、この依存性は、より高いサイドゲインに対して残余ゲインの量子化の量子化ステップサイズを低減することによって使用され得る。したがって、図11を考慮すると、rの値範囲を示す垂直線は、各線が8の量子化ステップを有するように8のような特定の整数で常に除算され得る。したがって、より高いサイドゲインを反映する線について、より低いサイドゲインを有する線についてよりも量子化ステップが小さいことは明らかである。したがって、より高いサイドゲインは、いかなるビットレートの増加もなしでより細かく量子化され得る。
さらなる実施形態では、量子化器は、量子化点のグループを使用して結合量子化を実行するように構成され、ここで、量子化点の各グループは、第1のチャネルと第2のチャネルとの間の固定された振幅関連比によって定義される。振幅関連比の一例は、左と右との間のエネルギーであり、すなわち、これは、図12に示すように第1のチャネルと第2のチャネルとの間の同じILDに関する線を意味する。この実施形態では、出力インターフェースは、図5aに示すように構成され、入力として第1のチャネルおよび第2のチャネル、または、代替的にはサイドゲインgおよび残余ゲインrを受信するサブバンドごとのILD計算器を備える。参照番号50によって示されるサブバンドごとのILD計算器は、量子化されるべきパラメータ値g、rに関する特定のILDを出力する。ILD、または一般に、振幅関連比は、グループ整合器52に転送される。グループ整合器52は、最も一致するグループを決定し、この情報を点整合器54に転送する。グループ整合器52と点整合器54の両方は、コードブックからのコードワードのようなコードを最終的に出力するコードビルダ56に供給する。
具体的には、コードビルダは、サイドゲインgの符号を受信し、サブバンドに関するg、rに関するコードを示す図5bに示す符号ビット57aを決定する。さらに、決定されたILDと一致する量子化点の特定のグループを決定したグループ整合器は、57bに示すビット2から5をグループIDとして出力する。最後に、点整合器は、57cに示す図5bの実施形態においてビット6から8を出力し、ここで、これらのビットは、点ID、すなわち、ビット57bによって示されるグループ内の量子化点のIDを示す。図5bは、単一の符号ビットと、4つのグループビットと、3つの点ビットとを有する8ビットコードを示しているが、符号ビットと、より多いまたはより少ないグループビットと、より多いまたはより少ない点ビットとを有する他のコードが使用され得る。サイドゲインが正および負の値を有するという事実のために、グループビットおよび点ビット、すなわち、ビットのセット57bおよびビットのセット57cは、純粋に負の値か、または好ましくは純粋に正の値のいずれかのみを有し、符号ビットが負の符号を示す場合、残余ゲインは、常に正の値として復号されるが、サイドゲインは、負の値として復号され、これは、式9に示すような規則がサイドゲインを計算するために適用されるとき、左チャネルのエネルギーが右チャネルのエネルギーよりも低いことを意味する。
続いて、量子化に関するさらなる実施形態が概説される。
サイドゲインおよび残余ゲインの量子化
(11)における不等式は、サイドゲインが残余ゲインの範囲を決定するので、サイドゲインに対する残余ゲインの強い依存性を明らかにする。したがって、gが±1に向かう傾向があるとき、rのための可能な量子化点の数が減少するので、[-1,1]および[0,1]内の量子化点を選択することによってサイドゲインgおよび残余ゲインrを独立して量子化することは、非効率的である。
条件付き量子化
この問題を処理する様々な方法が存在する。最も簡単な方法は、最初にgを量子化し、次いで、量子化点が区間
Figure 2020500336
内に入ることになる量子化された値
Figure 2020500336
を条件としてrを量子化することである。量子化点は、次いで、例えば、これらの量子化線上で一様に選択され得、そのうちのいくつかを図11に示す。
結合量子化
量子化点を選択するためのより洗練された方法は、LとRとの間の固定されたエネルギー比に対応する(g,r)平面内の線を調べることである。c2≧1がそのようなエネルギー比を示す場合、対応する線は、c=1の場合0≦s≦1に対して(0,s)か、または
Figure 2020500336
のいずれかによって与えられる。これは、LtとRtとを交換することがgt,bの符号のみを変更し、rt,bを変更させないので、c2<1の場合もカバーする。
この手法は、図12からわかるように、同じ数の量子化点を有するより大きい領域をカバーする。再び、線上の量子化点は、例えば、個々の線の長さに従って一様に選択され得る。他の可能性は、予め選択されたICC値と一致させるためにそれらを選択すること、または、音響的な方法でそれらを最適化することを含む。
うまく機能することがわかった量子化方式は、ILD値
±{0,2,4,6,8,10,13,16,19,22,25,30,35,40,45,50} (23)
に対応するエネルギー線に基づき、その各々において8つの量子化点が選択される。これは、gの非負値に対応する値と符号ビットとを保持する量子化点の8×16テーブルとして編成される256のエントリを有するコードブックを生じる。これは、量子化点(g,r)の8ビット整数表現を生じ、ここで、例えば、最初のビットは、gの符号を指定し、次の4ビットは、8×16テーブルにおける列インデックスを保持し、最後の3ビットは、行インデックスを保持する。
(gt,b,rt,b)の量子化は、徹底的なコードブック検索によって行われ得るが、最初にサブバンドILDを計算し、検索を最も一致するエネルギー線に制限することがより効率的である。このように、8つの点のみが考慮される必要がある。
逆量子化は、単純なテーブルルックアップによって行われる。
gの非負値をカバーするこの方式に関する128の量子化点が図12に示されている。
サイド信号、すなわち、式(9)および式(10)に示すように左信号と右信号との間の信号差の実際の計算なしにサイドゲインと残余ゲインとを計算するための手順が開示されているが、さらなる実施形態は、サイドゲインと残余ゲインとを、異なって、すなわち、サイド信号の実際の計算を用いて計算するように動作する。この手順は、図3に示されている。
この実施形態では、図1に示すパラメータ計算器140は、サイド信号計算器60を備え、サイド信号計算器60は、入力として第1のチャネル101と第2のチャネル102とを受信し、時間領域内であり得るが、好ましくは、例えば、式3によって示されているように周波数領域において計算される実際のサイド信号を出力する。しかしながら、式3は、帯域およびフレームごとに絶対位相回転パラメータβおよびIPDパラメータを用いるサイド信号の計算の状況を示しているが、サイド信号は、位相補償なしでも計算され得る。式3は、Lt,kおよびRt,kのみが生じる式になる。したがって、サイド信号は、左チャネルと右チャネルとの間または第1のチャネルと第2のチャネルとの間の単純な差としても計算され得、2の平方根を用いる正規化は、使用されてもされなくてもよい。
サイド信号計算器60によって計算されたサイド信号は、残余信号計算器61に転送される。残余信号計算器61は、例えば、式5に示す手順を実行する。残余信号計算器61は、異なるテストサイドゲイン、すなわち、サイドゲインgd,bに対する異なる値、すなわち、同一の帯域およびフレームに対する異なるテストサイドゲインを使用するように構成され、その結果、ブロック61の複数の出力によって示されるように、異なる残余信号が取得される。
図3中のサイドゲイン選択器62は、すべての異なる残余信号を受信し、異なる残余信号のうちの1つ、または、定義済みの条件を満たす異なる残余信号のうちの1つに関連するテストサイドゲインを選択する。この定義済みの条件は、例えば、すべての異なる残余信号の中で最小のエネルギーを有する残余信号をもたらすサイドゲインが選択されることであり得る。しかしながら、ラウドネスのようなエネルギーとは異なる最小の振幅関連条件のような他の所定の条件が使用され得る。しかしながら、最も小さいエネルギーではなく、5つの最も小さいエネルギーのうちの1つであるエネルギーを有する残余信号が使用されるなど、他の手順も適用され得る。実際には、定義済みの条件はまた、特定の周波数範囲内の特定の特徴のような特定の他のオーディオ特性を示している残余信号を選択することであり得る。
選択された特定のテストサイドゲインは、サイドゲイン選択器62によって、特定のフレームまたは特定の帯域および特定のフレームに対するサイドゲインパラメータとして決定される。選択された残余信号は、残余ゲイン計算器63に転送され、残余ゲイン計算器は、一実施形態では、選択された残余信号の振幅関連特性を単に計算することができ、または、好ましくは、残余信号の振幅関連特性とダウンミックス信号もしくはミッド信号の振幅関連特性との間の関係として残余ゲインを計算することができる。位相補償されたダウンミックスとは異なる、または左および右の合計からなるダウンミックスとは異なるダウンミックスが使用される場合であっても、それにもかかわらず、残余ゲインは、場合によっては、左および右の位相補償なしの加算に関連し得る。
したがって、図3は、サイド信号の実際の計算を用いてサイドゲインおよび残余ゲインを計算する方法を示しているが、式9および式10を概ね反映する図2の実施形態では、サイドゲインおよび残余ゲインは、サイド信号の明示的な計算なしに、そして異なるテストサイドゲインを用いる残余信号計算を実行せずに計算される。したがって、両方の実施形態が予測から残余信号をパラメータ化するサイドゲインおよび残余ゲインをもたらし、図2および図3に示したものまたは対応する式5から10によるもの以外のサイドゲインおよび残余ゲインを計算するための他の手順も可能であることが明らかになる。
さらに、与えられたすべての式は常に、対応する式によって決定された値に対する好ましい実施形態であることが留意されるべきである。しかしながら、式によって決定される値からの偏差がより小さくなると、利点はより大きくなるが、対応する式によって決定される値と好ましくは±20%の範囲内で異なる値も有用であり、すでに従来技術を上回る利点を提供することがわかった。したがって、他の実施形態では、対応する式によって決定される値と±10%だけ異なる値を使用することが好ましく、最も好ましい実施形態では、式によって決定される値は、いくつかのデータ項目の計算のために使用される値である。
図6は、符号化マルチチャネル信号200を復号するための装置を示す。復号するための装置は、入力インターフェース204と、入力インターフェース204に接続された残余信号合成器208と、一方で入力インターフェース204に接続され他方で残余信号合成器208に接続されたアップミキサ212とを備える。好ましい実施形態では、デコーダは、217および218において示すように時間領域の第1および第2のチャネルを最終的に出力するためにスペクトル-時間変換器216を加えて備える。
具体的には、入力インターフェース204は、符号化マルチチャネル信号200を受信し、符号化マルチチャネル信号200からダウンミックス信号207と、サイドゲインg206と、残余ゲインr205とを取得するように構成される。残余信号合成器208は、残余ゲイン205を使用して残余信号を合成し、アップミキサ212は、再構成された第1のチャネル213と再構成された第2のチャネル214とを取得するために、サイドゲイン206と残余信号合成器208によって決定される残余信号209とを使用してダウンミックス信号207をアップミックスするように構成される。残余信号合成器208およびアップミキサ212がスペクトル領域において動作するか、または少なくともアップミキサ212がスペクトル領域において動作する実施形態では、再構成された第1および第2のチャネル213、214は、スペクトル領域表現において与えられ、各チャネルに関するスペクトル領域表現は、時間領域の第1および第2の再構成されたチャネルを最終的に出力するために、スペクトル-時間変換器216によって時間領域に変換され得る。
具体的には、アップミキサ212は、第1の重み付きダウンミックスチャネルを取得するために、図7に示す第1の重み付け器70を使用して第1の重み付け演算を実行するように構成される。さらに、アップミキサは、第2の重み付きダウンミックス信号を取得するために、一方でサイドゲイン206と他方でダウンミックス信号207とを使用して、再び第2の重み付け器を使用して第2の重み付け演算を実行する。好ましくは、ブロック70によって実行される第1の重み付け演算は、第1の重み付きダウンミックス76が第2の重み付きダウンミックス77と異なるように、ブロック71によって実行される演算の第2の重み付けとは異なる。さらに、アップミキサ212は、第1の重み付きダウンミックス信号76と残余信号209との第1のコンバイナ72によって実行される組合せを使用して、再構成された第1のチャネルを計算するように構成される。さらに、アップミキサは、加えて、第2の重み付きダウンミックス信号77と残余信号209との第2の組合せを実行するための第2のコンバイナ73を備える。
好ましくは、ブロック72、73における異なる組合せ規則のため、ならびにブロック70およびブロック71によって実行される異なる重み付け規則のために、一方でブロック72の出力および他方でブロック73の出力が互いに実質的に異なるように、第1のコンバイナ72および第2のコンバイナ73によって実行される組合せ規則は、互いに異なる。
好ましくは、一方の組合せ規則が加算演算であり、他方の組合せ規則が減算演算であるという事実により、第1および第2の組合せ規則は、互いに異なる。しかしながら、第1および第2の組合せ規則の他の対も同様に使用され得る。
さらに、一方の重み付け規則が、所定の数とサイドゲインとの間の差によって決定される重み付け係数を用いる重み付けを使用し、他方の重み付け規則が、所定の数とサイドゲインとの間の合計によって決定される重み付け係数を使用するので、ブロック70およびブロック71において使用される重み付け規則は、互いに異なる。所定の数は、両方の重み付け器において互いに等しくてもよく、または互いに異なってもよく、所定の数は、ゼロとは異なり、整数または非整数であってもよく、好ましくは1に等しい。
図8は、残余信号合成器208の好ましい実装形態を示す。残余信号合成器208は、一種の生の残余信号選択器、または一般に、無相関信号計算器80を備える。さらに、ブロック80によって出力された信号は、参照番号205を用いて示された図6の入力インターフェース204によって出力された残余ゲインを入力として受信する重み付け器82に入力される。さらに、残余信号合成器は、好ましくは、正規化器84を備え、正規化器84は、現在のフレームのミッド信号85を入力として受信し、ブロック80によって出力された信号、すなわち、生の信号または無相関信号86をさらなる入力として受信する。これら2つの信号に基づいて、正規化係数gnorm87が計算され、ここで、正規化係数87は、好ましくは、合成された残余信号209を最終的に取得するために残余ゲインrと共に重み付け器82によって使用される。
好ましい実施形態では、生の残余信号選択器80は、直前のフレームまたはさらにより以前のフレームのような先行フレームのダウンミックス信号を選択するように構成される。しかしながら、実装形態に応じて、生の残余信号選択器80は、先行フレームに対して計算される左もしくは右信号もしくは第1のもしくは第2のチャネル信号を選択するように構成され、または、生の残余信号選択器80は、例えば、直前のフレームもしくはさらに以前の先行フレームのいずれかに対して決定された左および右信号の和、差、などのような組合せに基づいて残余信号を決定することもできる。他の実施形態では、無相関信号計算器80は、無相関信号を実際に生成するようにも構成され得る。しかしながら、生の残余信号選択器80は、残響フィルタのような無相関フィルタのような特定の無相関器なしで動作するが、低い複雑性の理由のため、ミッド信号、再構成された左信号、再構成された右信号、または、特定の残響もしくは無相関フィルタに依存しない重み付き組合せ、すなわち、(重み付き)加算、(重み付き)減算などのような単純な演算によってより以前の再構成された左および右信号から導出された信号のような、過去からすでに存在する信号のみを選択することが好ましい。
一般に、重み付け器82は、残余信号のエネルギーが残余ゲインrによって示される信号エネルギーと等しくなるように残余信号を計算するように構成され、ここで、このエネルギーは、絶対項において示され得るが、好ましくは、現在のフレームのミッド信号85に対する相対項において示される。
エンコーダ側およびデコーダ側に関する好ましい実施形態では、サイドゲインの値、および適切であれば残余ゲインからの値は、ゼロとは異なる。
続いて、デコーダに関する追加の好ましい実施形態が方程式の形で与えられる。
アップミックスは、再び周波数領域において行われる。この目的のため、エンコーダからの時間-周波数変換が復号されたダウンミックスに適用され、時間-周波数ベクトル
Figure 2020500336
をもたらす。逆量子化された値
Figure 2020500336
、
Figure 2020500336
、および
Figure 2020500336
を使用し、左および右チャネルは、k∈Ibに対して、
Figure 2020500336
および
Figure 2020500336
として計算され、ここで、
Figure 2020500336
は、エンコーダからの欠けている残余ρt,kの代用であり、gnormは、エネルギー調節係数
Figure 2020500336
であり、このエネルギー調節係数は、相対的ゲイン係数
Figure 2020500336
を絶対的なものに変える。例えば、
Figure 2020500336
を取ることができ、ここで、db>0は、帯域ごとのフレーム遅延を表す。位相回転係数
Figure 2020500336
は、
Figure 2020500336
として再び計算される。左チャネルおよび右チャネルは、次いで、逆DFTを
Figure 2020500336
および
Figure 2020500336
に適用し、合成ウィンドウおよび重複加算を続けることによって生成される。
図9は、入力インターフェース204のさらなる実施形態を示す。この実施形態は、図5aおよび図5bに関してエンコーダ側について前述したように、逆量子化演算を反映する。具体的には、入力インターフェース204は、符号化マルチチャネル信号から結合コードを抽出する抽出器90を備える。この結合コード91は、結合コードブック92に転送され、結合コードブック92は、コードごとに、符号情報、グループ情報、もしくは点情報を出力するように構成され、または、コードごとに、最終逆量子化値gおよび最終逆量子化値r、すなわち、逆量子化サイドゲインおよび逆量子化残余ゲインを出力するように構成される。
図10aは、時間領域の第1および第2のチャネルまたは左および右チャネルl(t)およびr(t)の概略表現を示す。
サイドゲインおよび残余ゲインがスペクトル領域において計算される実施形態では、左および右チャネルまたは第1および第2のチャネルは、好ましくは重なり合うフレームF(1)、F(2)、F(3)、およびF(4)などに分離される。図10aに示す実施形態では、フレームは、50%重なり合っているが、他の重なりも同様に有用である。さらに、2フレームの重複のみが示されており、すなわち、常に2つの後続のフレームのみが互いに重なり合っていることが示されている。しかしながら、3、4、または5重複フレームのような複数重複フレームも同様に使用され得る。このとき、アドバンス値、すなわち、次のフレームが現在のフレームとどれくらい異なるかは、図10aに示す実施形態のように50%ではなく、10%、20%、または30%などのようにより小さいだけである。
図10bは、図2に示すブロック21またはブロック22のような時間-スペクトル変換器の好ましい実装形態を示す。そのような時間-周波数変換器は、入力としてフレームのシーケンスl(t)またはr(t)を受信する。分析ウィンドウ化器(windower)1300は、次いで、好ましくは同じ分析ウィンドウを用いてすべてウィンドウ化されたウィンドウ化フレームのシーケンスを出力する。分析ウィンドウは、正弦ウィンドウまたは任意の他のウィンドウであり得、第1のチャネルに対して別個のシーケンスが計算され、第2のチャネルに対してさらに別個のシーケンスが計算される。
次いで、ウィンドウ化フレームのシーケンスは、変換ブロック1302に入力される。好ましくは、変換ブロック1302は、DFT、具体的にはFFTのような複素スペクトル値をもたらす変換アルゴリズムを実行する。しかしながら、他の実施形態では、DCTまたはMDCT(修正離散コサイン変換)のような純粋な実変換アルゴリズムも同様に使用され得、その後、虚数部は、当該技術分野で知られているように、例えばUSAC(統合スピーチおよびオーディオコーディング)規格において実施されているように、純粋な実数部から推定され得る。他の変換アルゴリズムは、複素数値のサブバンド信号をもたらすQMFフィルタバンクのようなサブバンドフィルタバンクであり得る。典型的には、サブバンド信号フィルタ帯域は、FFTアルゴリズムよりも低い周波数分解能を有し、特定の数のDFTビンを有するFFTまたはDFTスペクトルは、特定のビンを収集することによってサブバンドごとの表現に変換され得る。これは、図10cに示されている。
具体的には、図10cは、特定のフレームtに関する第1または第2のチャネルLk、Rkの周波数領域表現の複素スペクトルを示す。スペクトル値は、大きさ/位相表現において、または実数部/虚数部表現において与えられる。典型的には、DFTは、同じ周波数分解能または帯域幅を有する周波数ビンをもたらす。しかしながら、好ましくは、サイドゲインおよび残余ゲインは、残余ゲインとサイドゲインとを送信するためのビット数を減らすために、サブバンドごとに計算される。好ましくは、サブバンド表現は、より低い周波数からより高い周波数へと増加するサブバンドを使用して生成される。したがって、一例では、サブバンド1は、2つのビンのような第1の数の周波数ビンを有することができ、サブバンド2、サブバンド3、または任意の他のサブバンドのような第2のより高いサブバンドは、例えば、サブバンド3によって示されるように8つの周波数ビンのような、より多数の周波数ビンを有することができる。したがって、個々のサブバンドの周波数帯域幅は、好ましくは、バーク尺度に関して当該技術分野で知られているように、人間の耳の特性に対して調整され得る。
したがって、図10cは、前に開示した式中のパラメータkによって示される異なる周波数ビンを示し、図10cに示す個々のサブバンドは、サブバンドインデックスbによって示される。
図10dは、例えば、図6中のブロック216によって実装されるような、スペクトル-時間変換器の実装形態を示す。スペクトル-時間変換器は、最終的に時間領域チャネルを取得するために、逆変換器(backward transformer)1310と、その後に接続される合成ウィンドウ化器1312と、その後に接続される重複/加算器1314とを必要とする。したがって、1310への入力において、図6に示す再構成されたスペクトル領域チャネル213、214があり、重複/加算器1340の出力において、時間領域の再構成された第1および第2のチャネル217、218が存在する。
逆変換器1310は、逆変換をもたらすアルゴリズム、具体的には、好ましくは、エンコーダ側において図10bのブロック1302において適用されるアルゴリズムの逆のアルゴリズムを実行するように構成される。さらに、合成ウィンドウ化器1312は、対応する分析ウィンドウと一致する合成ウィンドウを適用するように構成され、好ましくは、同じ分析および合成ウィンドウが使用されるが、これは、必ずしもそうではない。重複加算器1314は、図10aに示すように重複を実行するように構成される。したがって、重複/加算器1314は、例えば、図10aのF(3)に対応する合成ウィンドウ化フレームを取り、加えて図10aの合成ウィンドウ化フレームF(4)を取り、次いで、最終的に実際の時間領域出力チャネルのサンプルを取得するために、サンプルごとに、F(3)の第2の半分の対応するサンプルをF(4)の第1の半分の対応するサンプルに加算する。
続いて、本発明の異なる特定の態様が簡潔に与えられる。
・IPD補償および式(4)による絶対位相補償によるステレオM/S。
・IPD補償および(10)によるMによるSの予測によるステレオM/S
・IPD補償、(9)によるMによるSの予測、およびゲイン係数(10)による残余予測によるステレオM/S
・結合量子化によるサイドゲイン係数および残余ゲイン係数の効率的な量子化
・(g,r)平面内のLtおよびRtの固定されたエネルギー比に対応する線上のサイドゲイン係数および残余ゲイン係数の結合量子化。
好ましくは、上述の5つの異なる態様のすべてが、同一のエンコーダ/デコーダフレームワークにおいて実施されることに留意すべきである。しかしながら、前に与えた個々の態様がまた、互いに別々に実施され得ることにさらに留意すべきである。したがって、IPD補償および絶対位相補償を用いる第1の態様は、いかなるサイドゲイン/残余ゲイン計算にもかかわらず、任意のダウンミキサにおいて実行され得る。さらに、例えば、サイドゲイン計算および残余ゲイン計算の態様は、任意のダウンミックスを用いて、すなわち、特定の位相補償によって計算されないダウンミックスを用いても実行され得る。
さらに、一方でサイドゲインの計算、および他方で残余ゲインの計算は、互いに独立して実行され得、ここで、単独の、または残余ゲインとは異なる任意の他のパラメータと一緒のサイドゲインの計算はまた、特にICCまたはILD計算に関して、当該技術分野に対して有利であり、さらに、単独の、またはサイドゲインとは別の任意の他のパラメータと一緒の残余ゲインの計算もすでに有用である。
さらに、サイドゲインおよび残余ゲインまたはゲイン係数の効率的な結合量子化または条件付き量子化は、任意の特定のダウンミックスに有用である。したがって、効率的な量子化はまた、いかなるダウンミックスもまったくなしに使用され得る。そして、非常に効率的で低い複雑性の量子化が、もちろん同様にサイドゲインおよび残余ゲインとは異なるパラメータであり得るそのような依存パラメータに対して実行され得るように、この効率的な量子化は、第2のパラメータがその値範囲に関して第1のパラメータに依存する任意の他のパラメータにも適応され得る。
したがって、上述した5つの態様のすべては、特定のエンコーダ/デコーダ実装形態において、互いに独立してまたは一緒に実行および実施され得、また、態様のサブグループのみが一緒に実施され得、すなわち、場合によって、3つの態様が他の2つの態様なしで一緒に実施され、または5つの態様のうちの2つのみが他の3つの態様なしで一緒に実施される。
いくつかの態様について装置の文脈において説明したが、これらの態様が対応する方法の説明も表すことは明らかであり、ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップの文脈において説明した態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表す。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実装され得る。実装は、それぞれの方法が実行されるようにプログラム可能コンピュータシステムと協働する(または協働することができる)電子的に読み取り可能な制御信号が記憶されているデジタル記憶媒体、例えば、フロッピーディスク、DVD、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して実行され得る。
本発明によるいくつかの実施形態は、本明細書で説明した方法のうちの1つが実行されるようにプログラム可能コンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装され得、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると、方法のうちの1つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリア上に記憶され得る。
他の実施形態は、機械可読キャリアまたは非一時的記憶媒体上に記憶された、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを含む。
言い換えれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されると本明細書で説明した方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムが記録されているデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。
したがって、本発明の方法のさらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成され得る。
さらなる実施形態は、本明細書で説明した方法のうちの1つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラム可能論理デバイスを備える。
さらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムがインストールされているコンピュータを備える。
いくつかの実施形態では、本明細書で説明した方法の機能の一部またはすべてを実行するために、プログラム可能論理デバイス(例えば、フィールドプログラマブルゲートアレイ)が使用され得る。いくつかの実施形態では、本明細書で説明した方法のうちの1つを実行するために、フィールドプログラマブルゲートアレイがマイクロプロセッサと協働し得る。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。
上記で説明した実施形態は、本発明の原理に関する単なる実例である。本明細書で説明した構成および詳細の修正および変形が当業者に明らかであるものと理解される。したがって、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の記述および説明によって提示された具体的な詳細によっては限定されないことが意図である。
参考文献
MPEG-4 High Efficiency Advanced Audio Coding (HE-AAC) v2
FROM JOINT STEREO TO SPATIAL AUDIO CODING-RECENT PROGRESS AND STANDARDIZATION, Proc. of the 7th Int. Conference on digital Audio Effects (DAFX-04)、ナポリ、イタリア、2004年10月5〜8日
21 第1の時間-スペクトル変換器、ブロック
22 第2の時間-スペクトル変換器、ブロック
23 計算器、ブロック
24 計算器、ブロック
25 計算器、内積計算器、ブロック
26 サイドゲイン計算器
27 残余ゲイン計算器
28 接続線
30 チャネル間位相差(IPD)計算器、IPD計算器、ブロック
32 絶対位相回転計算器、ブロック
34 ダウンミックス計算器、ブロック
36 エネルギー差またはサイドゲイン計算器、ブロック
50 サブバンドごとのILD計算器
52 グループ整合器
54 点整合器
56 コードビルダ
57a 符号ビット
57b ビット2から5、ビットのセット
57c ビット6から8、ビットのセット
60 サイド信号計算器
61 残余信号計算器、ブロック
62 サイドゲイン選択器
63 残余ゲイン計算器
70 第1の重み付け器、ブロック
71 ブロック
72 第1のコンバイナ、ブロック
73 第2のコンバイナ、ブロック
76 第1の重み付きダウンミックス、第1の重み付きダウンミックス信号
77 第2の重み付きダウンミックス、第2の重み付きダウンミックス信号
80 無相関信号計算器、ブロック、無相関信号計算器
82 重み付け器
84 正規化器
85 現在のフレームのミッド信号
86 生の信号または無相関信号
87 正規化係数gnorm、正規化係数
90 抽出器
91 結合コード
92 結合コードブック
100 マルチチャネル信号
101 第1のチャネル
102 第2のチャネル
103 追加のチャネル、第3のチャネル
120 ダウンミキサ
122 ダウンミックス信号、ダウンミックス
140 パラメータ計算器
141 サイドゲイン
142 残余ゲイン
143 チャネル間位相差(IPD)
160 出力インターフェース
162 符号化マルチチャネル信号
200 符号化マルチチャネル信号
204 入力インターフェース
205 残余ゲインr、残余ゲイン
206 サイドゲインg、サイドゲイン
207 ダウンミックス信号
208 残余信号合成器
209 残余信号
212 アップミキサ
213 第1のチャネル、スペクトル領域チャネル
214 第2のチャネル、スペクトル領域チャネル
216 スペクトル-時間変換器
217 第1のチャネル
218 第2のチャネル
1300 分析ウィンドウ化器
1302 変換ブロック、ブロック
1310 逆変換器
1312 合成ウィンドウ化器
1314 重複/加算器、重複加算器

Claims (35)

  1. 少なくとも2つのチャネル(101、102)を含むマルチチャネル信号(100)をダウンミックスするための装置であって、
    前記マルチチャネル信号(100)からダウンミックス信号(122)を計算する(34)ためのダウンミキサ(120)であって、前記ダウンミックス信号(122)を計算する際に、前記少なくとも2つのチャネルのうちのより低いエネルギーを有するチャネルのみが回転されるか、またはより大きいエネルギーを有するチャネルよりも強く回転されるように、絶対位相補償を使用して前記ダウンミックスを計算する(34)ように構成される、ダウンミキサ(120)と、
    出力信号を生成するための出力インターフェース(160)であって、前記出力信号が前記ダウンミックス信号(122)に関する情報を含む、出力インターフェース(160)と
    を備える装置。
  2. 前記ダウンミキサ(120)が、前記少なくとも2つのチャネルを使用してチャネル間位相差を計算する(30)ように構成され、
    前記ダウンミキサ(120)が絶対位相回転パラメータを計算する(32)ように構成され、
    前記ダウンミキサ(120)が、前記ダウンミックス信号を計算する際に、前記チャネル間位相差と前記絶対位相回転パラメータとを使用して第1のチャネルと第2のチャネルとに重み付けする(34)ように構成される、
    請求項1に記載の装置。
  3. 前記装置が、前記少なくとも2つのチャネルのうちの第1のチャネル(101)および第2のチャネル(102)からサイドゲイン(141)を計算するためのパラメータ計算器(140)をさらに備え、
    前記ダウンミキサ(120)が、前記パラメータ計算器(140)によって決定される前記サイドゲイン(141)に基づいて前記絶対位相回転パラメータを計算する(32)ように構成される、
    請求項2に記載の装置。
  4. 前記ダウンミキサ(120)が、フレームの各サブバンドについて前記チャネル間位相差を計算する(30)ように構成され、前記ダウンミキサ(120)が、前記フレームの各サブバンドについて前記絶対位相回転パラメータを計算する(32)ように構成される、請求項2または3に記載の装置。
  5. 前記ダウンミキサ(120)が、前記絶対位相回転パラメータが、以下の式、
    Figure 2020500336
     によって決定される値の±20%以内にあるように前記絶対位相回転パラメータを計算するように構成され、atanが逆正接関数であり、βが前記絶対位相回転パラメータであり、IPDが前記チャネル間位相差であり、tがフレームインデックスであり、bがサブバンドインデックスであり、gt,bがフレームtおよびサブバンドbに関する前記サイドゲインであり、Aが0.1と100との間の値、または-0.1と-100との間の値である、請求項1から4のいずれか一項に記載の装置。
  6. 前記atan関数がatan2関数を含み、前記atan2(y,x)関数が、その値が点(x,y)と正のx軸との間の角度である引数2つの逆正接関数である、請求項5に記載の装置。
  7. 前記ダウンミキサ(120)が、前記ダウンミックス信号(122)が、以下の式、
    Figure 2020500336
     によって決定される値の±20%位内にある値を有するように前記ダウンミックス信号(122)を計算する(34)ように構成され、Mt,kがフレームtおよび周波数ビンkに関するダウンミックス信号であり、Lt,kが前記フレームtおよび前記周波数ビンkに関する第1のチャネルであり、Rt,kが前記フレームtおよび前記周波数ビンkに関する第2のチャネルであり、IPDt,bが、前記周波数ビンkを含む前記フレームtおよび前記サブバンドbに関するチャネル間位相差であり、βが前記位相回転パラメータである、請求項1から6のいずれか一項に記載の装置。
  8. 前記少なくとも2つのチャネルのうちの第1のチャネル(101)および前記少なくとも2つのチャネルのうちの第2のチャネル(102)からサイドゲイン(141)を計算するか、または前記第1のチャネル(101)および前記第2のチャネル(102)から残余ゲイン(142)を計算するためのパラメータ計算器(140)と、
    出力信号を生成するための出力インターフェース(160)であって、前記出力信号が、前記ダウンミックス信号(122)に関する情報と、前記サイドゲイン(141)および前記残余ゲイン(142)に関する情報とを含む、出力インターフェース(160)と
    をさらに備える、請求項1から7のいずれか一項に記載の装置。
  9. パラメータ計算器(140)が、
    第1のチャネルおよび第2のチャネルのサブバンドごとの表現を生成し(21)、
    サブバンド内の前記第1のチャネルの第1の振幅関連特性を計算し(21、22、23、24)、前記サブバンド内の前記第2のチャネルの第2の振幅関連特性を計算し、
    前記サブバンド内の前記第1のチャネルと前記第2のチャネルの内積を計算する(25)か、
    前記第1の振幅関連特性と、前記第2の振幅関連特性と、前記内積とを含む第1の関係を使用して前記サブバンド内の前記サイドゲインを計算する(26)か、または、
    前記第1の振幅関連特性と、前記第2の振幅関連特性と、前記内積とを含む第2の関係を使用して前記サブバンド内の残余ゲインを計算する(27)
    ように構成され、前記第2の関係が前記第1の関係とは異なり、
    振幅関連特性が、振幅から、電力から、エネルギーから、または1よりも大きい指数を有する振幅の任意のべき乗から決定される、請求項3、5、8のいずれか一項に記載の装置。
  10. パラメータ計算器(140)が、第1のチャネルおよび第2のチャネルの複数のサブバンドの各サブバンドについて、前記サイドゲイン(141)または残余ゲイン(142)を計算するように構成されるか、または、
    前記パラメータ計算器が、前記第1および第2のチャネルのサイド信号を予測するために、前記第1および第2のチャネルのミッド信号に適用可能なサイド予測ゲインとして前記サイドゲインを計算するように構成されるか、または、
    前記パラメータ計算器(140)が、前記サイドゲインを使用して前記ミッド信号による前記サイド信号の予測の残余信号の振幅関連特性を示す残余予測ゲインとして前記残余ゲインを計算するように構成される、
    請求項3、5、8、または9に記載の装置。
  11. パラメータ計算器(140)が、分子と分母とを有する分数を使用して前記サイドゲインを計算する(26)ように構成され、前記分子が第1のチャネルの振幅関連特性と第2のチャネルの振幅関連特性とを含み、前記分母が前記第1のチャネルの前記振幅関連特性と、前記第2のチャネルの前記振幅関連特性と、内積から導出された値とを含むか、または、
    前記パラメータ計算器(140)が、分子と分母とを有する分数を使用して残余ゲインを計算する(27)ように構成され、前記分子が前記内積から導出された値を含み、前記分母が前記内積を含む、
    請求項3、5、8から10のいずれか一項に記載の装置。
  12. 前記パラメータ計算器(140)が、前記サイドゲインを計算する(26)ように構成され、前記分子が、前記第1のチャネルの第1の振幅関連特性と第2のチャネルの前記第2の振幅関連特性との差を含み、前記分母が前記第1のチャネルの前記第1の振幅関連特性と、前記第2のチャネルの前記第2の振幅関連特性と、前記内積から導出された値との合計を含むか、または、
    前記パラメータ計算器(140)が、前記分子と前記分母とを有する前記分数を使用して前記残余ゲインを計算する(27)ように構成され、前記分子が、前記第1のチャネルの前記第1の振幅関連特性と前記第2のチャネルの前記第2の振幅関連特性との加重和と、前記内積から導出された値との間の差を含み、前記分母が、前記第1のチャネルの前記振幅関連特性と、前記第2のチャネルの前記振幅関連特性と、前記内積から導出された値との前記合計を含む、
    請求項11に記載の装置。
  13. パラメータ計算器(140)が、サブバンドに関する前記サイドゲインを計算し、前記サブバンドの前記サイドゲインを使用して(28)前記サブバンドに関する残余ゲインを計算するように構成される、請求項3、5、8から12のいずれか一項に記載の装置。
  14. パラメータ計算器(140)が、前記サイドゲインに関する値が、以下の式、
    Figure 2020500336
     に基づいて決定される値の±20%の範囲内にあるように前記サイドゲインを計算するように構成されるか、または、
    前記パラメータ計算器(140)が、残余ゲインに関する値が、以下の式、
    Figure 2020500336
     に基づいて決定された値の±20%の範囲内にあるように前記残余ゲインを計算するように構成され、
    tがフレームインデックスであり、bがサブバンドインデックスであり、Elが前記フレームおよび前記サブバンド内の左チャネルのエネルギーであり、ERがフレームtおよびサブバンドb内の前記第2のチャネルのエネルギーであり、Xが前記フレームtおよび前記サブバンドb内の第1のチャネルと第2のチャネルとの間の内積である、
    請求項3、5、8から12のいずれか一項に記載の装置。
  15. パラメータ計算器(140)が、第1のチャネルおよび第2のチャネルのサブバンドごとの表現を複素数値スペクトルのシーケンスとして計算するように構成され、各スペクトルが前記第1のチャネルもしくは前記第2のチャネルの時間フレームに関連し、前記シーケンスの前記時間フレームが前記スペクトルのシーケンス内で隣接し、互いに重なり合うか、または、
    前記パラメータ計算器(140)が、サブバンド内の複素スペクトル値の大きさを二乗し、前記サブバンド内の二乗された大きさを合計することによって第1の振幅関連尺度と第2の振幅関連尺度とを計算するように構成されるか、または、
    前記パラメータ計算器(140)が、前記サブバンド内で積を合計することであって、各積が、前記第1のチャネルの周波数ビン内のスペクトル値と、前記周波数ビンに関する前記第2のチャネルの共役複素スペクトル値とを含む、合計することと、前記合計の結果の大きさを形成することと、によって内積を計算するように構成される、
    請求項3、5、8から14のいずれか一項に記載の装置。
  16. 前記出力インターフェース(160)が、前記ダウンミックス信号(122)に関する前記情報を取得するために前記ダウンミックス信号(122)を波形符号化するように構成された波形エンコーダを備えるか、または、
    前記ダウンミキサが、チャネル間のエネルギー差が定義済みの閾値よりも大きいときにのみ、前記より低いエネルギーを有する前記チャネルをより高いエネルギーを有する前記チャネルよりも多く回転させるように構成される、
    請求項1から15のいずれか一項に記載の装置。
  17. 符号化マルチチャネル信号(200)をアップミックスするための装置であって、
    前記符号化マルチチャネル信号(200)を受信し、前記符号化マルチチャネル信号(200)からダウンミックス信号(207)を取得するための入力インターフェース(204)と、
    前記ダウンミックス信号(207)をアップミックスするためのアップミキサ(212)と
    を備え、前記アップミキサが、前記ダウンミックス信号が、再構成された第1のチャネル(213)および再構成された第2のチャネル(214)のうちのより低いエネルギーを有するチャネルを再構成する際にのみ回転されるか、または、前記再構成された第1のチャネル(213)および前記再構成された第2のチャネル(214)のうちの前記再構成された第1のチャネル(213)および前記再構成された第2のチャネル(214)のうちのより大きいエネルギーを有するチャネルよりも強く回転されるように、絶対位相補償を使用して前記再構成された第1のチャネル(213)と前記再構成された第2のチャネル(214)とを計算するように構成される、
    装置。
  18. 前記入力インターフェース(204)が、前記符号化マルチチャネル信号(200)からチャネル間位相差値を取得するように構成され、
    前記アップミキサ(212)が、前記再構成された第1および第2のチャネルを計算するとき、前記チャネル間位相差値を適用するように構成される、
    請求項17に記載の装置。
  19. 前記アップミキサ(212)が、
    チャネル間位相差値から位相回転パラメータを計算し、
    第1の様式において前記再構成された第1のチャネルを計算するときに前記位相回転パラメータを適用し、第2の様式において前記再構成された第2のチャネルを計算するときに前記チャネル間位相差値および/または前記位相回転パラメータを適用するように構成され、前記第1の様式が前記第2の様式とは異なる、
    請求項18に記載の装置。
  20. 前記入力インターフェース(204)が、前記符号化マルチチャネル信号(200)を受信し、前記符号化マルチチャネル信号(200)からサイドゲイン(206)を取得するように構成され、
    前記アップミキサ(212)が、絶対位相回転パラメータが、以下の式、
    Figure 2020500336
     によって決定される値の±20%以内にあるように前記位相回転パラメータを計算するように構成され、atanが逆正接関数であり、βが前記絶対位相回転パラメータであり、IPDが前記チャネル間位相差であり、tがフレームインデックスであり、bがサブバンドインデックスであり、gt,bがフレームtおよびサブバンドbに関する前記サイドゲインであり、Aが0.1と100との間の値、または-0.1と-100との間の値である、請求項19に記載の装置。
  21. 前記atan関数がatan2関数を含み、前記atan2(y,x)関数が、その値が点(x,y)と正のx軸との間の角度である引数2つの逆正接関数である、請求項20に記載の装置。
  22. 前記アップミキサ(212)が、前記再構成された第1のチャネルおよび前記再構成された第2のチャネルが、以下の式、
    Figure 2020500336
     および
    Figure 2020500336
     によって決定される値に対して±20%以内の範囲内にある値を有するように前記再構成された第1のチャネルおよび前記再構成された第2のチャネルを計算するように構成され、
    Figure 2020500336
     が前記フレームtおよび周波数ビンkに関する前記ダウンミックス信号である、
    請求項20または21に記載の装置。
  23. 前記アップミキサ(212)が、前記再構成された第1のチャネルおよび前記再構成された第2のチャネルが、以下の式、
    Figure 2020500336
     および
    Figure 2020500336
     によって決定される値に対して±20%の範囲内にある値を有するように前記再構成された第1のチャネルおよび前記再構成された第2のチャネルを計算するように構成され、
    Figure 2020500336
     がフレームtおよび周波数ビンkに関する前記ダウンミックス信号であり、
    Figure 2020500336
     が前記フレームtおよびサブバンドbに関するサイドゲインであり、
    Figure 2020500336
     が前記フレームtおよび前記サブバンドbに関する残余ゲインであり、gnormが、存在することも存在しないこともあるエネルギー調節係数であり、
    Figure 2020500336
     が前記フレームtおよび前記周波数ビンkに関する生の残余信号である、
    請求項19または20または21に記載の装置。
  24. 前記入力インターフェース(204)が、前記符号化マルチチャネル信号(200)を受信し、前記符号化マルチチャネル信号(200)からサイドゲイン(206)と残余ゲイン(205)とを取得するように構成され、
    前記装置が、前記残余ゲイン(205)を使用して残余信号(209)を合成するための残余信号合成器(208)をさらに備え、
    前記アップミキサ(212)が、第1の重み付きダウンミックス信号(76)を取得するために前記サイドゲイン(206)を使用して前記ダウンミックス信号(207)の第1の重み付け演算(70)を実行するように構成され、
    前記アップミキサ(212)が、第2の重み付きダウンミックス信号(77)を取得するために前記サイドゲイン(206)と前記ダウンミックス信号(207)とを使用して第2の重み付け演算(71)を実行するように構成され、
    前記第1の重み付きダウンミックス信号(76)が前記第2の重み付きダウンミックス信号(77)とは異なるように、前記第1の重み付け演算(70)が前記第2の重み付け演算(71)とは異なり、
    前記アップミキサ(212)が、前記第1の重み付きダウンミックス信号(76)と前記残余信号(209)との組合せ(72)を使用し、前記第2の重み付きダウンミックス信号(77)と前記残余信号(209)との第2の組合せ(73)を使用して、前記再構成された第1のチャネルを計算するように構成される、
    請求項17から23のいずれか一項に記載の装置。
  25. 前記アップミキサ(212)が、前記再構成された第1のチャネルを計算する際に前記重み付きダウンミックス信号(76)と前記残余信号(209)とを組み合わせる(72)ように構成され、
    前記アップミキサ(212)が、前記再構成された第2のチャネルを計算する際に第2の組合せ規則(73)を使用して前記第2の重み付きダウンミックス信号(77)と前記残余信号(209)とを組み合わせる(73)ように構成され、前記第1の組合せ規則(72)および前記第2の組合せ規則(73)が互いに異なる、または、
    前記第1および第2の組合せ規則(72、73)のうちの一方が加算演算であり、前記第1および第2の組合せ規則のうちの他方が減算演算である、
    請求項24に記載の装置。
  26. 前記アップミキサ(212)が、前記サイドゲインと第1の所定の数との合計から導出される重み付け係数を含む前記第1の重み付け演算(70)を実行するように構成され、
    前記アップミキサ(212)が、第2の所定の数と前記サイドゲインとの間の差から導出される重み付け係数を含む前記第2の重み付け演算(71)を実行するように構成され、前記第1および第2の所定の数が互いに等しいかまたは互いに異なる、
    請求項23から25のいずれか一項に記載の装置。
  27. 前記残余信号合成器(208)が、現在のフレームに関する前記残余信号(209)を取得するために前記現在のフレームに関する前記残余ゲイン(205)を使用して先行フレームのダウンミックス信号(207)に重み付けするように構成されるか、または、
    前記現在のフレームに関する前記残余信号(209)を取得するために前記現在のフレームに関する前記残余ゲイン(205)を使用して前記現在のフレームからまたは1つもしくは複数の先行フレームから導出される(80)無相関信号に重み付けする(88)ように構成される、
    請求項23から26のいずれか一項に記載の装置。
  28. 前記残余信号計算器(208)が、前記残余信号(209)のエネルギーが前記残余ゲイン(205)によって示される信号エネルギーと等しくなるように前記残余信号(209)を計算するように構成される、請求項23から27のいずれか一項に記載の装置。
  29. 前記残余信号計算器(208)が、前記残余信号の値が、次の式、
    Figure 2020500336
     に基づいて決定される値の±20%の範囲内にあるように前記残余信号を計算するように構成され、Rt,kがフレームtおよび周波数ビンkに関する前記残余信号であり、
    Figure 2020500336
     が前記フレームt、および前記周波数ビンkを含むサブバンドbに関する前記残余ゲインであり、
    Figure 2020500336
     が残余信号であり、gnormが存在してもしなくてもよいエネルギー調整係数である、請求項23から28のいずれか一項に記載の装置。
  30. gnormが、以下の式、
    Figure 2020500336
     によって決定される値の±20%の範囲内の値を有するエネルギー正規化係数であり、
    Figure 2020500336
     がフレームtおよびサブバンドbに関する前記ダウンミックス信号のエネルギーであり、
    Figure 2020500336
     が前記サブフレームbおよび前記フレームtに関する前記残余信号のエネルギーであるか、または、
    前記残余信号に関する生の信号が、以下の式、
    Figure 2020500336
     に基づいて決定され、
    Figure 2020500336
     が前記残余信号に関する前記生の信号であり、
    Figure 2020500336
     がフレームt-tbおよび周波数ビンkに関する前記ダウンミックス信号であり、dbが0よりも大きいフレーム遅延であるか、または、
    前記アップミキサ(212)が、前記再構成された第1のチャネルおよび前記再構成された第2のチャネルが、以下の式、
    Figure 2020500336
     および
    Figure 2020500336
     によって決定される値に対して±20%の範囲内にある値を有するように前記再構成された第1のチャネルおよび前記再構成された第2のチャネルを計算するように構成され、
    Figure 2020500336
     が前記フレームtおよび前記周波数ビンkに関する前記ダウンミックス信号であり、
    Figure 2020500336
     が前記フレームtおよび前記サブバンドbに関する前記サイドゲインであり、
    Figure 2020500336
     が前記フレームtおよび前記サブバンドbに関する前記残余ゲインであり、gnormが存在してもしなくてもよいエネルギー調整係数であり、
    Figure 2020500336
     が前記フレームtおよび前記周波数ビンkに関する生の残余信号である、
    請求項23から29のいずれか一項に記載の装置。
  31. 前記アップミキサ(212)が、スペクトル領域において前記再構成された第1のチャネル(213)と前記再構成された第2のチャネル(214)とを計算するように構成され、
    前記装置が、前記再構成された第1のチャネルと前記再構成された第2のチャネルとを時間領域に変換するためのスペクトル-時間変換器(216)をさらに備え、
    前記アップミキサが、チャネル間のエネルギー差が定義済みの閾値よりも大きいときにのみ、前記より低いエネルギーを有する前記チャネルをより高いエネルギーを有する前記チャネルよりも多く回転させるように構成される、
    請求項17から30のいずれか一項に記載の装置。
  32. 前記スペクトル-時間変換器(216)が、前記第1および第2の再構成されたチャネルの各々について、後続のフレームをフレームの時間シーケンスに変換し(301)、
    合成ウィンドウを使用して各時間フレームに重み付けし(1312)、
    前記第1の再構成されたチャネル(217)の時間ブロックと前記第2の再構成されたチャネル(218)の前記時間ブロックとを取得するために後続のウィンドウ化された時間フレームを重ね合わせて加算する(1314)
    ように構成された、請求項31に記載の装置。
  33. 少なくとも2つのチャネル(101、102)を含むマルチチャネル信号(100)をダウンミックスする方法であって、
    前記マルチチャネル信号(100)からダウンミックス信号(122)を計算するステップ(34)であって、前記ダウンミックス信号(122)を計算する際に、前記少なくとも2つのチャネルのうちのより低いエネルギーを有するチャネルのみが回転されるか、またはより大きいエネルギーを有するチャネルよりも強く回転されるように、絶対位相補償を使用して前記ダウンミックスを計算するステップを含む、ステップと、
    出力信号を生成するステップ(160)であって、前記出力信号が、前記ダウンミックス信号(122)に関する情報を含む、ステップと
    を含む方法。
  34. 符号化マルチチャネル信号(200)をアップミックスする方法であって、
    前記符号化マルチチャネル信号(200)を受信し(204)、前記符号化マルチチャネル信号(200)からダウンミックス信号(207)を取得するステップと、
    前記ダウンミックス信号(207)をアップミックスするステップ(212)と
    を含み、前記アップミックスするステップ(212)が、前記ダウンミックス信号が、再構成された第1のチャネル(213)および再構成された第2のチャネル(214)のうちのより低いエネルギーを有するチャネルを再構成する際にのみ回転されるか、または、前記再構成された第1のチャネル(213)および前記再構成された第2のチャネル(214)のうちのより大きいエネルギーを有するチャネルよりも強く回転されるように、絶対位相補償を使用して前記再構成された第1のチャネル(213)と前記再構成された第2のチャネル(214)とを計算するステップを含む、方法。
  35. コンピュータまたはプロセッサ上で実行されているとき、請求項33に記載の方法または請求項34に記載の方法を実行するためのコンピュータプログラム。
JP2019545853A 2016-11-08 2017-10-30 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法 Active JP7102427B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022109004A JP2022132345A (ja) 2016-11-08 2022-07-06 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16197816.8 2016-11-08
EP16197816 2016-11-08
PCT/EP2017/077824 WO2018086948A1 (en) 2016-11-08 2017-10-30 Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022109004A Division JP2022132345A (ja) 2016-11-08 2022-07-06 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法

Publications (2)

Publication Number Publication Date
JP2020500336A true JP2020500336A (ja) 2020-01-09
JP7102427B2 JP7102427B2 (ja) 2022-07-19

Family

ID=60190886

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2019545853A Active JP7102427B2 (ja) 2016-11-08 2017-10-30 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法
JP2019545852A Active JP7008716B2 (ja) 2016-11-08 2017-10-30 サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法
JP2021155666A Active JP7443307B2 (ja) 2016-11-08 2021-09-24 サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法
JP2022109004A Pending JP2022132345A (ja) 2016-11-08 2022-07-06 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法
JP2023184075A Pending JP2024008967A (ja) 2016-11-08 2023-10-26 サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2019545852A Active JP7008716B2 (ja) 2016-11-08 2017-10-30 サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法
JP2021155666A Active JP7443307B2 (ja) 2016-11-08 2021-09-24 サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法
JP2022109004A Pending JP2022132345A (ja) 2016-11-08 2022-07-06 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法
JP2023184075A Pending JP2024008967A (ja) 2016-11-08 2023-10-26 サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法

Country Status (19)

Country Link
US (4) US11488609B2 (ja)
EP (4) EP3539126B1 (ja)
JP (5) JP7102427B2 (ja)
KR (2) KR102291811B1 (ja)
CN (4) CN116994592A (ja)
AR (2) AR110146A1 (ja)
AU (3) AU2017357454B2 (ja)
BR (2) BR112019009318A2 (ja)
CA (3) CA3127805C (ja)
ES (2) ES2938244T3 (ja)
FI (1) FI3539125T3 (ja)
MX (2) MX2019005145A (ja)
MY (1) MY196198A (ja)
PL (2) PL3539125T3 (ja)
PT (2) PT3539125T (ja)
RU (2) RU2727799C1 (ja)
TW (2) TWI664625B (ja)
WO (2) WO2018086947A1 (ja)
ZA (2) ZA201903534B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022522706A (ja) * 2019-03-06 2022-04-20 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ダウンミキサ及びダウンミックス方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017357454B2 (en) * 2016-11-08 2021-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation
EP3588495A1 (en) 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding
CN115132214A (zh) * 2018-06-29 2022-09-30 华为技术有限公司 立体声信号的编码、解码方法、编码装置和解码装置
US11031024B2 (en) 2019-03-14 2021-06-08 Boomcloud 360, Inc. Spatially aware multiband compression system with priority
US11361776B2 (en) * 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
US11538489B2 (en) 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
CN115244619A (zh) 2020-03-09 2022-10-25 日本电信电话株式会社 声音信号编码方法、声音信号解码方法、声音信号编码装置、声音信号解码装置、程序以及记录介质
WO2021181473A1 (ja) * 2020-03-09 2021-09-16 日本電信電話株式会社 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体
WO2021181746A1 (ja) * 2020-03-09 2021-09-16 日本電信電話株式会社 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体
EP4120250A4 (en) 2020-03-09 2024-03-27 Nippon Telegraph & Telephone SOUND SIGNAL REDUCING MIXING METHOD, SOUND SIGNAL CODING METHOD, SOUND SIGNAL REDUCING MIXING DEVICE, SOUND SIGNAL CODING DEVICE, PROGRAM AND RECORDING MEDIUM
EP4226367A2 (en) 2020-10-09 2023-08-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, or computer program for processing an encoded audio scene using a parameter smoothing
AU2021358432A1 (en) 2020-10-09 2023-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, or computer program for processing an encoded audio scene using a parameter conversion
MX2023003965A (es) 2020-10-09 2023-05-25 Fraunhofer Ges Forschung Aparato, metodo, o programa de computadora para procesar una escena de audio codificada utilizando una extension de ancho de banda.
CN116962955A (zh) * 2022-04-15 2023-10-27 华为技术有限公司 多通道的混音方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253576A1 (en) * 2007-04-16 2008-10-16 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding stereo signal and multi-channel signal
WO2010097748A1 (en) * 2009-02-27 2010-09-02 Koninklijke Philips Electronics N.V. Parametric stereo encoding and decoding
JP2011522472A (ja) * 2008-05-23 2011-07-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ
JP2012512438A (ja) * 2009-04-08 2012-05-31 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 位相値平滑化を用いてダウンミックスオーディオ信号をアップミックスする装置、方法、およびコンピュータプログラム
JP2013511062A (ja) * 2009-11-12 2013-03-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パラメトリックエンコード及びデコード
JP2013546013A (ja) * 2010-10-22 2013-12-26 オランジュ 逆位相のチャネルに対する、改善されたステレオパラメトリック符号化／復号

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161089A (en) 1997-03-14 2000-12-12 Digital Voice Systems, Inc. Multi-subframe quantization of spectral parameters
JP4610087B2 (ja) * 1999-04-07 2011-01-12 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 損失のない符号化・復号へのマトリックス改良
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
MXPA02009345A (es) * 2000-03-28 2003-09-22 Interdigital Tech Corp Sistema cdma que utiliza pre-rotacion antes de la trasmision.
ATE354161T1 (de) * 2002-04-22 2007-03-15 Koninkl Philips Electronics Nv Signalsynthese
US7809579B2 (en) * 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
CN1906664A (zh) * 2004-02-25 2007-01-31 松下电器产业株式会社 音频编码器和音频解码器
CA2808226C (en) * 2004-03-01 2016-07-19 Dolby Laboratories Licensing Corporation Multichannel audio coding
ATE390683T1 (de) * 2004-03-01 2008-04-15 Dolby Lab Licensing Corp Mehrkanalige audiocodierung
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
ATE470930T1 (de) * 2005-03-30 2010-06-15 Koninkl Philips Electronics Nv Skalierbare mehrkanal-audiokodierung
JP4521032B2 (ja) * 2005-04-19 2010-08-11 ドルビー インターナショナル アクチボラゲット 空間音声パラメータの効率的符号化のためのエネルギー対応量子化
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
TWI396188B (zh) * 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
EP1989920B1 (en) * 2006-02-21 2010-01-20 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US7536006B2 (en) 2006-07-21 2009-05-19 Motorola, Inc. Method and system for near-end detection
CN101479786B (zh) * 2006-09-29 2012-10-17 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
CN101067931B (zh) * 2007-05-10 2011-04-20 芯晟(北京)科技有限公司 一种高效可配置的频域参数立体声及多声道编解码方法与系统
PL2198632T3 (pl) 2007-10-09 2014-08-29 Koninklijke Philips Nv Sposób i urządzenie do generowania dwuusznego sygnału audio
US8060042B2 (en) * 2008-05-23 2011-11-15 Lg Electronics Inc. Method and an apparatus for processing an audio signal
EP2374123B1 (fr) * 2008-12-15 2019-04-10 Orange Codage perfectionne de signaux audionumeriques multicanaux
ES2435792T3 (es) * 2008-12-15 2013-12-23 Orange Codificación perfeccionada de señales digitales de audio multicanal
MX2011009660A (es) * 2009-03-17 2011-09-30 Dolby Int Ab Codificacion estereo avanzada basada en una combinacion de codificacion izquierda/derecha o media/lateral seleccionable de manera adaptable y de codificacion estereo parametrica.
AU2013206557B2 (en) * 2009-03-17 2015-11-12 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
JP5212407B2 (ja) 2009-03-24 2013-06-19 株式会社豊田中央研究所 熱疲労試験装置
JP4725691B2 (ja) 2009-08-31 2011-07-13 凸版印刷株式会社 コーティング量測定方法及び装置、コーティング量判定方法及び装置、並びにコーティング装置、コーティング製品の製造方法
RU2425040C1 (ru) * 2010-02-24 2011-07-27 Новосибирский институт органической химии им. Н.Н. Ворожцова Сибирского отделения Российской академии наук (НИОХ СО РАН) Способ получения 2,3-эпоксипинана из скипидара
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
CN102884570B (zh) * 2010-04-09 2015-06-17 杜比国际公司 基于mdct的复数预测立体声编码
EP4254951A3 (en) * 2010-04-13 2023-11-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoding method for processing stereo audio signals using a variable prediction direction
KR20110116079A (ko) * 2010-04-17 2011-10-25 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
SG187950A1 (en) 2010-08-25 2013-03-28 Fraunhofer Ges Forschung Apparatus for generating a decorrelated signal using transmitted phase information
KR20120038311A (ko) * 2010-10-13 2012-04-23 삼성전자주식회사 공간 파라미터 부호화 장치 및 방법，그리고 공간 파라미터 복호화 장치 및 방법
EP2686848A1 (en) * 2011-03-18 2014-01-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frame element positioning in frames of a bitstream representing audio content
CN102446507B (zh) * 2011-09-27 2013-04-17 华为技术有限公司 一种下混信号生成、还原的方法和装置
UA107771C2 (en) * 2011-09-29 2015-02-10 Dolby Int Ab Prediction-based fm stereo radio noise reduction
EP2790419A1 (en) * 2013-04-12 2014-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio
KR20140128564A (ko) 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
EP2838086A1 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
TWI579831B (zh) * 2013-09-12 2017-04-21 杜比國際公司 用於參數量化的方法、用於量化的參數之解量化方法及其電腦可讀取的媒體、音頻編碼器、音頻解碼器及音頻系統
EP3067889A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
PL3503097T3 (pl) 2016-01-22 2024-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie oraz sposób do enkodowania lub dekodowania sygnału wielokanałowego z wykorzystaniem ponownego próbkowania w dziedzinie widmowej
AU2017357454B2 (en) * 2016-11-08 2021-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation
GB2559199A (en) * 2017-01-31 2018-08-01 Nokia Technologies Oy Stereo audio signal encoder
WO2019020757A2 (en) * 2017-07-28 2019-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. APPARATUS FOR ENCODING OR DECODING A MULTI-CHANNEL SIGNAL ENCODED USING A FILLING SIGNAL GENERATED BY A BROADBAND FILTER

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253576A1 (en) * 2007-04-16 2008-10-16 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding stereo signal and multi-channel signal
JP2011522472A (ja) * 2008-05-23 2011-07-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ
WO2010097748A1 (en) * 2009-02-27 2010-09-02 Koninklijke Philips Electronics N.V. Parametric stereo encoding and decoding
JP2012512438A (ja) * 2009-04-08 2012-05-31 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 位相値平滑化を用いてダウンミックスオーディオ信号をアップミックスする装置、方法、およびコンピュータプログラム
JP2013511062A (ja) * 2009-11-12 2013-03-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パラメトリックエンコード及びデコード
JP2013546013A (ja) * 2010-10-22 2013-12-26 オランジュ 逆位相のチャネルに対する、改善されたステレオパラメトリック符号化／復号

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022522706A (ja) * 2019-03-06 2022-04-20 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ダウンミキサ及びダウンミックス方法
JP7416816B2 (ja) 2019-03-06 2024-01-17 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ダウンミキサ及びダウンミックス方法

Also Published As

Publication number Publication date
AU2017357453A1 (en) 2019-05-30
AU2017357453B2 (en) 2021-01-28
CN117676451A (zh) 2024-03-08
RU2727799C1 (ru) 2020-07-24
FI3539125T3 (fi) 2023-03-21
EP3761311A1 (en) 2021-01-06
US11450328B2 (en) 2022-09-20
JP2022132345A (ja) 2022-09-08
US20190259398A1 (en) 2019-08-22
US20190259395A1 (en) 2019-08-22
WO2018086947A1 (en) 2018-05-17
AR110146A1 (es) 2019-02-27
JP2024008967A (ja) 2024-01-19
KR102291811B1 (ko) 2021-08-23
PT3539126T (pt) 2020-12-24
MY196198A (en) 2023-03-22
CN110114826A (zh) 2019-08-09
PL3539126T3 (pl) 2021-04-06
TW201830379A (zh) 2018-08-16
US20220392464A1 (en) 2022-12-08
CA3042580C (en) 2022-05-03
AR110148A1 (es) 2019-02-27
MX2019005145A (es) 2019-06-24
JP7008716B2 (ja) 2022-01-25
JP7443307B2 (ja) 2024-03-05
US11488609B2 (en) 2022-11-01
EP3539125A1 (en) 2019-09-18
EP4167233A1 (en) 2023-04-19
PT3539125T (pt) 2023-01-27
ZA201903535B (en) 2021-04-28
TW201820310A (zh) 2018-06-01
CN110100279B (zh) 2024-03-08
MX2019005147A (es) 2019-06-24
CA3045948C (en) 2023-09-19
JP7102427B2 (ja) 2022-07-19
KR20190072647A (ko) 2019-06-25
AU2021202390A1 (en) 2021-05-20
BR112019009318A2 (pt) 2019-07-30
ZA201903534B (en) 2021-04-28
CA3127805A1 (en) 2018-05-17
BR112019009315A2 (pt) 2019-07-30
CN110100279A (zh) 2019-08-06
TWI669705B (zh) 2019-08-21
CA3127805C (en) 2023-12-19
EP3539125B1 (en) 2022-11-30
ES2834083T3 (es) 2021-06-16
EP3539126A1 (en) 2019-09-18
PL3539125T3 (pl) 2023-05-15
CN116994592A (zh) 2023-11-03
CA3045948A1 (en) 2018-05-17
TWI664625B (zh) 2019-07-01
JP2022003405A (ja) 2022-01-11
JP2019536112A (ja) 2019-12-12
CN110114826B (zh) 2023-09-05
ES2938244T3 (es) 2023-04-05
EP3539126B1 (en) 2020-09-30
RU2725178C1 (ru) 2020-06-30
WO2018086948A1 (en) 2018-05-17
AU2017357454B2 (en) 2021-02-04
CA3042580A1 (en) 2018-05-17
US20220293111A1 (en) 2022-09-15
KR20190082870A (ko) 2019-07-10
AU2021202390B2 (en) 2022-12-15
KR102327767B1 (ko) 2021-11-17
AU2017357454A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP7443307B2 (ja) サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法
CN110998721B (zh) 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220706

R150 Certificate of patent or registration of utility model

Ref document number: 7102427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150