JP2008517337A - 予測ベースの多チャンネル再構築の性能を改善するための方法 - Google Patents

Abstract

少なくとも１個のベースチャンネルに基づくオーディオ信号の多チャンネル再構築のために、予測的アップミックスによるエネルギ損失を補償するためにエネルギ尺度が用いられる。エネルギ尺度はエンコーダまたはデコーダにおいて適用可能である。さらに、エネルギ損失を伴うアップミックス手順によって生成された出力チャンネルに、無相関化された信号が付加される。無相関化された信号のエネルギは、予測的アップミックスによって導入されたエネルギ誤差より小さいかこれと等しい。したがって、高周波数再構築技術で符号化されたアップミキシング信号等の、予測ベースのアップミックス方法で生じる問題を解決でき、アップミックス信号間の正しい相関が得られるか、またはアップミックスを任意のダウンミックスに適合させることができる。
【選択図】図１１

Description

本発明は利用可能なステレオ信号と付加的な制御データに基づいたオーディオ信号の多チャンネル再構築に関するものである。

オーディオ符号化の最近の発展により、ステレオ（またはモノラル）信号と対応する制御データとに基づいてオーディオ信号の多チャンネル表現を再生成する能力が利用可能となった。これらの方法はドルビープロロジック（Ｄｏｌｂｙ Ｐｒｏｌｏｇｉｃ）等の過去のマトリックスベースの解決策とは実質的に異なっている。なぜなら送信されたモノラルまたはステレオチャンネルに基づいてサラウンドチャンネルの、アップミックスとも称される、再生成を制御するために、付加的な制御データが送信されるからである。

すなわち、パラメータによる多チャンネルのオーディオデコーダは、Ｎ＞ＭであるＭ個の送信されたチャンネルと、付加的な制御データとに基づいてＮ個のチャンネルを再構築する。付加的なＮ−Ｍ個のチャンネルを送信するのに比べて、付加的な制御データのデータ速度はかなり遅いので、符号化を非常に効率化すると同時にＭチャンネルの装置とＮチャンネルの装置との互換性を確保する。

これらのパラメータによるサラウンド符号化方法は通常、ＩＩＤ（Ｉｎｔｅｒ ｃｈａｎｎｅｌ Ｉｎｔｅｎｓｉｔｙ Ｄｉｆｆｅｒｅｎｃｅ：チャンネル間強度差）およびＩＣＣ（Ｉｎｔｅｒ Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ：チャンネル間コヒーレンス）に基づいたサラウンド信号のパラメータ化を含む。これらのパラメータはアップミックス処理におけるチャンネル対間の出力比と相関とを示す。先行技術で用いられているさらなるパラメータは、アップミックス手順の間の中間または出力チャンネルを予測するのに用いられる予測パラメータを含む。

先行技術で説明された予測ベースの方法の最も魅力的な用途のひとつは、２個の送信チャネルから５．１チャネルを再生成するシステムのためのものである。この構成では、デコーダ側でステレオ送信が利用可能であるが、これはオリジナルの５．１多チャンネル信号のダウンミックスである。ここで特に興味深いのは、ステレオ信号からセンターチャンネルを可能な限り正確に抽出できる点であり、なぜなら通常センターチャンネルは左右のダウンミックスチャンネルの両者にダウンミックスされるからである。これは、センターチャンネルを構築するのに用いられる２個の送信チャネルの各々の量を記述した２個の予測係数を推定することによって行なわれる。これらのパラメータは、上述のＩＩＤおよびＩＣＣパラメータと同様に異なる周波数領域について推定される。

しかしながら、予測パラメータは２個の信号の出力比を示すものではなく、最小二乗誤差の意味で波形整合に基づくものであるため、この方法は予測パラメータの計算後のステレオ波形に何らかの変形があると本質的にその影響を受けやすくなる。

近年のオーディオ符号化におけるさらなる発展により、低いビットレートでのオーディオコーデックの非常に有用なツールとして、高周波再構築法がもたらされた。その一例はＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ：スペクトル帯域複製）であり［ＷＯ９８／５７４３６］、これはＭＰＥＧ−４高効率ＡＡＣ等のＭＰＥＧ標準化コーデックにおいて用いられている。これらの方法に共通するのは、基礎となるコアコーデックによって符号化された狭帯域信号と少量の付加的なガイド情報とから、デコーダ側で高周波数を再生成することである。１個または２個のチャネルに基づいて多チャンネル信号をパラメータによって再構築する場合と同様に、欠落した信号成分（ＳＢＲの場合、高周波数）を再生成するのに必要とされる制御データの量は、波形によるコーデックで完全な信号を符号化するのに必要とされるデータ量に比べかなり小さい。

しかしながらここで承知しておくべきことは、再生成された高帯域信号は知覚的にはオリジナルの高帯域信号と等しいものの、実際の波形はかなり異なるということである。さらに、低いビットレートでステレオ信号を符号化する波形コーダでは通常ステレオ前処理が用いられ、これはステレオ信号のミッド／サイド表現のサイド信号に制限が加えられることを意味する。

ＭＰＥＧ−４高効率ＡＡＣを用いたステレオコーデック信号、または高周波再構築技術を利用した何らかの他のコーデックに基づく多チャンネルの表現が望まれる場合には、ダウンミックスされたステレオ信号を符号化する際に用いられるコーデックのこれらのおよび他の局面を考慮しなければならない。

さらに多チャンネルオーディオ信号として利用可能な録音に関して通常は専用のステレオミックスが利用可能であり、これは多チャンネル信号を自動的にダウンミックスしたものではない。これは一般に「芸術的ダウンミックス」と称される。このダウンミックスは多チャンネル信号の線形組合せとして表現することはできない。

本発明の目的はより良い品質の再構築された多チャンネル出力をもたらす、改良された多チャンネルダウンミックス／エンコーダまたはアップミックス／デコーダの概念を提供することである。

この目的は請求項１に記載の多チャンネルシンセサイザ、請求項３０に記載の多チャンネル入力信号を処理するためのエンコーダ、請求項４２に記載の少なくとも３個の出力チャンネルを生成する方法、請求項４３に記載のエンコード方法、請求項４４に記載のエンコードされた多チャンネル信号、請求項４５に記載のデータキャリアによって達成される。

発明の概要

本発明は予測ベースのアップミックス方法が用いられる場合のダウンミックスされた多チャンネル信号の波形の変形の問題に関する。これは、ダウンミックスされた信号が、波形をかなり変形させるステレオ前処理、高周波再構築および他の符号化スキームによって符号化される場合を含む。さらに本発明は芸術的ダウンミックスの、すなわち多チャンネル信号から自動的に得られるものではないダウンミックス信号のために予測的アップミックス技術を用いた場合に生じる問題に対処するものである。

本発明は以下の特徴を含む。
−ダウンミックスされた波形に代えて変形された波形に基づいて予測パラメータを推定すること；
−予測ベースの方法を、それが有利である周波数域でのみ用いること；
−予測ベースのアップミックス手順において導入されたチャンネル間の不正確な相関とエネルギ損失とを訂正すること。

好ましい実施例の説明

以下で説明する実施例は単に本発明の原理を例示するものである。当業者にとっては構成の修正や変形およびここでの説明の詳細は明らかであることが理解される。したがってその範囲は添付の特許請求の範囲によってのみ限定されるものであって、以下の実施例の説明によって示される具体的な詳細によって限定されるものではない。

以下のパラメータの計算、応用、アップミックス、ダウンミックスまた他のいかなる行為も、周波数帯域選択ベースにより、すなわちフィルタバンクのサブバンドについて行なわれ得ることを強調しておく。

本発明の利点の概略を述べるために、先行技術によって公知の予測的アップミックスのより詳細な説明をまず最初に行なう。図１に概略を示すように、２つのダウンミックスチャネルに基づく３チャンネルのアップミックスを仮定する。ここで１０１は左オリジナルチャンネル、１０２はセンターオリジナルチャンネル、１０３は右オリジナルチャンネル、１０４はエンコーダ側ダウンミックスおよびパラメータ抽出モジュール、１０５および１０６は予測パラメータ、１０７は左ダウンミックスチャンネル、１０８は右ダウンミックスチャンネル、１０９は予測アップミックスモジュール、１１０、１１１および１１２はそれぞれ再構築された左、センターおよび右チャンネルを表わす。

ここで以下の定義を仮定する。Ｘは３×Ｌ行列であって、３個の信号セグメントｌ（ｋ）、ｒ（ｋ）、ｃ（ｋ）、ｋ＝０…、Ｌ−１を行として含む。

同様に、２個のダウンミックスされた信号ｌ_０（ｋ)、ｒ_０（ｋ）がＸ_０の行を形成するものとする。ダウンミックス処理は以下の式で説明される。

ここでダウンミックス行列は以下のように定義される。

ダウンミックス行列の好ましい選択例は以下のものである。

すなわち、左ダウンミックス信号ｌ_０（ｋ）はｌ（ｋ）およびαｃ（ｋ）のみを含み、ｒ_０（ｋ）はｒ（ｋ）およびαｃ（ｋ）のみを含むことを意味する。このダウンミックス行列が好ましいのはセンターチャンネルの同じ量を左と右のダウンミックスに割当てるからであり、さらにオリジナルの右チャンネルを左のダウンミックスに何ら割当てず、また逆も同様だからである。

アップミックスは以下のように定義される。

ここでＣは３×２アップミックス行列である。

先行技術から公知の予測的アップミックスは最小二乗の意味においてＣについて優決定系を解くという思想に依拠している。

これは以下の正規方程式を導く。

式（６）の左からＤで乗算することによりDCX₀X₀ ^*= X₀X₀ ^*が得られ、X₀X₀ ^*=DXX^*D^*となる通則的な場合にはこれが正則であることから、これは

を暗示する。ここでＩ_ｎはｎ個の単位行列を示す。この関係により、パラメータ空間
Ｃは次元２に減じられる。

上述のことから、アップミックス行列C（数式８）は、ダウンミックス行列Ｄが公知であってＣ行列の２個の要素、例えばｃ_１１およびｃ_２２が送信されていれば、デコーダ側で完全に定義することができる。

残差（予測誤差）信号は以下で与えられる。

左からＤを乗算することにより、（７）から以下が得られる。

以下のような１×Ｌ行ベクトル信号ｘ_ｒが存在することになる。

ここでｖはＤのカーネル（ゼロ空間）を張る３×１単位ベクトルである。例えばダウンミックス（３）の場合、以下を用いることができる。

一般に、（数式１３）かつ（数式１４）である場合、これは単にある重み付け因子までは残差信号が３個のチャンネルすべてについて共通であることを意味する。

直交射影原理により残差x_r(k)は３個の予測された信号（数式１６）、（数式１７）、（数式１８）の全てに直交する。

[本発明の好ましい実施例によって解決される問題および得られる改良点]

上で概要を述べた先行技術に従った予測に基づくアップミックスを用いる際に、明らかに以下のような問題が生じる：
・この方法は最小二乗誤差の意味で波形整合に依拠しており、ダウンミックスされた信号の波形が維持されないシステムでは効果がない。
・この方法は再構築されたチャンネル間に正しい相関構造を提供しない（以下で概略を述べる）。
・この方法は再構築されたチャンネルに正しい量のエネルギを再構築しない。

[エネルギ補償]

上述の通り、予測ベースの多チャンネル再構築に伴う問題の一つは、予測誤差が３個の再構築されたチャンネルのエネルギ損失に対応することである。以下ではこのエネルギ損失の理論と好ましい実施例によって教示される解決策との概略を述べる。第一に、理論的な分析を行い、その後、以下で概略を述べる理論に従った本発明の好ましい実施例を説明する。

E、（数式１９）（以下ｈａｔ｛Ｅ｝と記載する）およびE_rをXのオリジナル信号、（数式２０）（以下ｈａｔ｛Ｘ｝と記載する）の予測された信号およびX_rの予測誤差信号のそれぞれのエネルギの和であるとする。

直交性により、以下が成り立つ。

予測利得の総和はP=E/E_rとして定義することができるが、以下においては、パラメータ

を考えることがより便利であろう。

したがって、ρ²∈[0,1]が予測的アップミックスの相対的エネルギの総和を測定する。

このρにより、ｚ＝ｌ、ｒ、ｃについて（数式２３）となるように、補償利得（数式２４）を適用することによって、各チャンネルを再調整することが可能となる。

具体的には、目標エネルギは式（１２）から、以下で与えられる。

したがって、解くべき式は

となる。

したがって、ｖが単位ベクトルであるので、

となり、ρの定義（１４）と式（１３）とにより、以下が得られる。

これらすべてにより、利得は次のようになる。

この方法では、ρを送信することに加えて、デコードされたチャンネルのエネルギ分布をデコーダで計算しなければならないことは明らかである。さらに、正確に再構築されるのはエネルギだけであって、非対角の相関構造は無視される。

総エネルギが確実に保存されるような利得の値を引出すことは可能であるが、個別のチャンネルのエネルギが正しいか否かは保証されない。総エネルギが確実に保存されるすべてのチャンネルに対する共通の利得ｇ_ｚ＝ｇは、定義式（数式３０）によって得られる。

すなわち

線形性により、この利得はエンコーダにおいてダウンミックスされた信号に適用することができ、したがって付加的なパラメータを送信する必要はない。

図２は出力チャンネルの正確なエネルギを維持しながら３個のチャンネルを再生成する本発明の好ましい実施例を概略的に示す。ダウンミックスされた信号ｌ_０およびｒ_０は予測パラメータｃ_１およびｃ_２とともにアップミックスモジュール２０１に入力される。アップミックスモジュールはダウンミックス行列Ｄに関する知識と受信した予測パラメータとに基づいて、アップミックス行列Ｃを再生成する。２０１からの３個の出力チャンネルは調整パラメータρとともに２０２に入力される。３個のチャンネルは送信されたパラメータρの関数として利得調整され、エネルギ訂正されたチャンネルが出力される。

図３に調整モジュール２０２のより詳細な実施例を示す。３個のアップミックスされたチャンネルは調整モジュール３０４とモジュール３０１、３０２および３０３にそれぞれ入力される。エネルギ推定モジュール３０１−３０３は３個のアップミックスされた信号のエネルギを推定し、測定されたエネルギを調整モジュール３０４に入力する。エンコーダから受信された制御信号ρ（予測利得を表す）もまた３０４に入力される。調整モジュールは上で概略を述べた式（１９）を実現するものである。

本発明の別の実現例では、エネルギ訂正はエンコーダ側で行うことができる。図４はエンコーダの実現例を例示する図であって、ダウンミックスされた信号ｌ_０１０７およびｒ_０１０８は４０３によって計算された利得値にしたがって４０１および４０２で利得調整される。利得値は上述の式（２０）にしたがって導出される。上で概略を述べたとおり、本発明のこの実施例は、予測的アップミックスから３個の再生成されたチャンネルのエネルギを計算する必要がないため、有利である。しかしながら、これは単に３個の再生成されたチャンネルのエネルギの総和を確実に正しくするというだけである。個々のチャンネルのエネルギが確実に正しいというわけではない。

図４において、ダウンミキサの下に式（３）に対応するダウンミックス行列の好ましい例が記されている。しかしながら、ダウンミキサは式（２）で概略を示したいずれかの一般的なダウンミックス行列のいずれを適用することもできる。

後で概略を述べるように、入力として３個のチャンネルがあり、出力として２個のチャンネルがあるダウンミキサのこのような例では、少なくとも２個の付加的なアップミックスパラメータｃ_１、ｃ_２が必要である。ダウンミックス行列Ｄが可変であるか、またはデコーダに完全に知られていない場合には、用いられたダウンミックスの付加的な情報を、パラメータ１０５および１０６に加えて、エンコーダ側からデコーダ側に送信しなければならない。

[相関構造]

先行技術で説明されたアップミックス手順に伴う問題の一つは、これが再生成されたチャンネル間の正しい相関を再構築しない、ということである。したがって、上で概略を述べたとおり、センターチャンネルは左ダウンミックスチャンネルと右ダウンミックスチャンネルの線形組合せとして予測され、左右のチャンネルは、左右のダウンミックスチャンネルから予測されたセンターチャンネルを減じることによって再構築される。予測誤差があれば、予測された左右のチャンネルにオリジナルなセンターチャンネルの残り部分が生じることは明らかである。これは、再構築されたチャンネルにおいて３個のチャンネル間の相関がオリジナルの３個のチャンネルのそれと同じでないことを暗示する。

好ましい実施例では、予測された３個のチャンネルを、測定された予測誤差にしたがって無相関化された信号と組合せるべきであることが教示される。

正しい相関構造を達成するための基本的な理論を以下で簡単に説明する。残差の特別な構造を用いて、デコーダにおいて残差を無相関化された信号ｘ_ｄで置換することによって、完全な３×３相関構造XX^*を再構築することができる。

最初に、正規方程式（６）がX_ｒX₀ ^*=0を導くので、

となり、X=hat｛X｝+X_rであるから、

が得られ、ここで、最後の等式に（１０）および（１７）が適用される。

ｘ_ｄを、hat｛X｝・x_r ^*=0となるようにすべてのデコードされた信号（数式３４）、（数式３５）、（数式３６）から無相関化された信号であるとする。

強化された信号

はしたがって、相関行列

を有することとなる。元の相関行列（２２）を完全に再生するためには

であれば十分である。もしｘ_ｄがダウンミックスされた信号、例えば(1/2)・(l₀+r₀) を無相関化することによって、さらに利得γによって得られるのであれば、以下が成立するはずである。

この利得はエンコーダで計算可能である。しかしながら、式（１４）からのより良く定義されたパラメータρ²∈[0,1]を用いるとすれば、hat｛E｝および‖(1/2)・(l₀+r₀)‖²の推定はデコーダ側で行わなければならない。これに照らして、より魅力的な選択肢は、３個の無相関化要素を用いてｘ_ｄを生成することである。すなわち

というのも、この場合、‖χ_d‖²=γ²・hat｛E｝となり、したがって式（２５）は以下を選択することによって満足されるからである。

図５はチャンネル間の正確な相関構造を維持しながら、２個のダウンミックスチャンネルから３個のチャンネルの予測的アップミックスを行うための、本発明の一実施例を例示する図である。図５において、モジュール１０９、１１０、１１１および１１２は図１と同様であり、したがってここではさらなる詳細は説明しない。１０９から出力された３個のアップミックスされた信号は無相関化モジュール５０１、５０２および５０３に入力される。これらは相互に無相関化された信号を生成する。無相関化された信号は和を取られてミキシングモジュール５０４、５０５および５０６に入力され、ここで１０９からの出力と混合される。予測的にアップミックスされた信号と、これらの無相関化されたものとを混合することが本発明の本質的な特徴である。図６にミキシングモジュール５０４、５０５および５０６の一実施例を示す。本発明のこの実施例では、無相関化された信号のレベルは制御信号γに基づいて６０１で調整される。その後無相関化された信号は６０２において予測的にアップミックスされた信号に加えられる。

第三の好ましい実施例では、無相関化部５０１、５０２、５０３をアップミックスされたチャンネルに用いる。無相関化された信号はまた、無相関化部５０１’によって生成することもでき、これは入力信号として、ダウンミックスされた信号、またはすべてのダウンミックスされた信号を受信する。さらに、ダウンミックスチャンネルが２つ以上ある場合には、図５で示すように、無相関化信号は左ベースチャンネルｌ_０と右ベースチャンネルｒ_０とのための別個の無相関化部を用い、これら別個の無相関化部の出力を組合せることによって生成することができる。この方策は実質的には図５に示した方策と同じであるが、アップミックスの前のベースチャンネルが用いられる点で図５に示したものと異なる。

さらに、図５に関連して概略を述べるように、ミキシングモジュール５０４、５０５および５０６は、エネルギ尺度ρのみに依存するため３個のチャンネル全てに対し等しい因子γを受信するのみでなく、式（１０）および（１１）に関連して概略を述べるように決定される、チャンネルごとに特有の因子νｌ、νｃ、およびνｒも、また受信する。しかしながらこのパラメータは、デコーダがエンコーダで用いられたダウンミックスを知っている場合には、エンコーダからデコーダへ送信しなくても良い。代わりに、式（１０）および（１１）に示された行列ｖにおけるこれらのパラメータがミキシングモジュール５０４、５０５および５０６に予めプログラムされることが好ましく、こうすることによって、これらのチャンネルごとに特有の重み付け因子を送信する必要がなくなる（しかし当然のことながら、要求があれば送信することができる）。

図６では、重み付け装置６０１がγとチャンネルごとに特有のダウンミックス依存パラメータνｚとの積を用いて無相関化された信号のエネルギを調整することが示されており、ここでｚはｌ、ｒまたはｃを表す。ここで、式（２６a）により、ｘ_ｄのエネルギが予測的にアップミックスされた左、右およびセンターチャンネルのエネルギの和と確実に等しくされることが注目される。したがって装置６０１は単純にスケーリング因子ＧＩを用いるスケーラとして実現することができる。しかしながら、無相関化信号が別に生成される場合には、ミキシングモジュール５０４、５０５、５０６は、加算器６０２で加算された信号のエネルギが残差信号のエネルギ、すなわち非エネルギ保存の予測的アップミックスによって失われたエネルギ、と等しくなるように、加算装置６０２によって加算された無相関化信号の絶対的なエネルギ調整を行わなければならない。

チャンネルごとに特有のダウンミックス依存パラメータνｚに関しては、図６に関連して上で概略を述べた内容が図７の実施例についても同様に当てはまる。

さらに、ここで注目すべきことは、図６および図７の実施例は予測的アップミックスで失われたエネルギの少なくとも一部が無相関化信号を用いて付加されるという認識に基づいていることである。正しい信号エネルギと、ドライ信号成分（非相関）信号と「ウェット」信号成分（無相関化）の正しい部分を得るためには、ミキシングモジュール５０４への「ドライ」信号入力が前もってスケールされていないことを確実にする必要がある。例えば、ベースチャンネルがデ−エンコーダ側で前もって訂正されている場合（図４に示す）、この図４の事前の訂正はこのチャンネルをミキサボックス５０４、５０５または５０６に入力する前に（相対的）エネルギ尺度ρによってチャンネルを乗算することによって補償しなければならない。さらに、このようなエネルギの訂正がデコーダ側で行われている場合には、図５に示すように、ダウンミックスチャンネルをアップミキサ１０９に入れる前に、同様の手順を行わなければならない。

残差エネルギの一部のみを無相関化された信号でカバーする場合には、ρ依存因子によってミキシングボックス５０４、５０５、５０６に入力される信号を前もってスケーリングすることによって事前の訂正を部分的にのみ除去すればよいが、これは、因子ρそのものよりも１に近い。当然のことながら、この部分的に補償する事前スケーリング因子は図７において６０５に入力されるエンコーダによって生成された信号кに依存する。このように部分的に前もってスケーリングを行わなければならない場合、Ｇ_２で適用される重み付け因子は不要である。これに代えて、入力６０４から加算器６０２への分岐は図６と同じになる。

[無相関化の程度の制御]

本発明の好ましい実施例は、予測されたアップミックスされた信号に加えられる無相関化の量は、正しい出力エネルギを依然として維持しながら、エンコーダから制御できることを教示している。これは、センターチャンネルにドライな音声があり、左右のチャンネルに背景音がある典型的な「インタビュー」の例では、センターチャンネルの予測誤差を無相関化された信号で置換することが望ましくないからである。

本発明の好ましい実施例に従えば、図５で概略を述べたものに代わるミキシング手順を用いることができる。以下では、本発明にしたがって、総エネルギ保存の問題と真の相関再生の問題とをどのように分離することができ、また無相関化の量をパラメータкによってどのように制御できるか、が示される。

総エネルギ保存利得補償（２０）がダウンミックスされた信号に対して行われ、そのため最初にデコードされた信号hat｛X｝/ρが得られると仮定する。ここから、同じ総エネルギ‖d‖²=hat｛E｝/ρ²を備えた無相関化された信号ｄが、例えば上のセクションと同様に３個の無相関化部を用いることによって生成される。したがって、アップミックスの総和は以下のように定義される。

ここで、κ∈[ρ,1]は送信されたパラメータである。κ＝１を選択することは、無相関化された信号の付加なしの総エネルギ保存に対応し、κ＝ρは完全な３×３相関構造の再生に対応する。ここで以下が成り立つ。

したがって、全てのκ∈[ρ,1]について、総エネルギが保存され、これは、（３０）において行列のトレース（対角要素の値の和）を計算することによって理解されるとおりである。しかしながら正しい個々のエネルギが得られるのはк＝ρについてのみである。

図７は上で概略を述べた理論に従った図５のミキシングモジュール５０４、５０５および５０６の実施例を例示する図である。ミキシングモジュールのこの別の例においては、制御パラメータγは７０２および７０１に入力される。７０２について用いられる利得因子は上の式（２９）に従ったкに対応し、７０１に用いられる利得因子は上の式（２９）に従った（1-κ²）^1/2に対応する。

本発明の上述の実施例は、このシステムにおいてエンコーダ側に検出メカニズムを用いることを可能にし、これは予測ベースのアップミックスにおいて付加すべき無相関化の量を推定する。図７に示された実現例は示された量の無相関化信号を付加し、エネルギ訂正を適用するので、３個のチャンネルの総エネルギは正しくなり、一方で、予測誤差の任意の量を無相関化信号によって置換することができる。

これは、３個の背景音信号があるような例、例えば背景音が多いクラシック音楽の曲等で、エンコーダが「ドライ」なセンターチャンネルの欠如を検出し、デコーダに予測誤差全体を無相関化された信号と置換えさせて、先行技術の予測ベースの方法のみでは不可能であったような方法で、３個のチャンネルからの音の背景音を再生成できることを意味する。さらに、ドライなセンターチャンネルがある信号、例えばセンターチャンネルに音声があり、左右のチャンネルに背景音があるような場合、エンコーダは予測誤差を無相関化された信号で置換することは音響心理学的に正しくないと検出し、これに代えてデコーダに３個の再構築されたチャンネルのレベルを調整させて、３個のチャンネルのエネルギが正しくなるようにさせる。明らかに、上の極端な例は本発明の２つの生じうる結果を表すものである。これは上の例で概略を述べたような極端な例だけをカバーすることを意図したものではない。

[変形された波形に対する予測係数の適合化]

上で概略を述べたとおり、予測パラメータは所与のオリジナルの３個のチャンネルｘとダウンミックス行列Ｄについて平均二乗誤差を最小化することによって推定される。しかしながら多くの状況において、ダウンミックスされた信号がオリジナルの多チャンネル信号を示す行列Ｘによって乗算されたダウンミックス行列Ｄとして記述されうることに依拠することができない。この明らかな例は、いわゆる「芸術的ダウンミックス」が用いられる場合であって、２つのチャンネルのダウンミックスは多チャンネル信号の線形組合せとして示すことができない。別の例は、符号化効率を改善するために、ダウンミックスされた信号がステレオ前処理または他のツールを利用して知覚的オーディオコーデックによって符号化されている場合である。先行技術でよく知られているように、多くの知覚的オーディオコーデックはミッド／サイドステレオ符号化に依拠しており、ここではビットレートに制約のある条件下ではサイド信号が減衰され、エンコード用に用いられる信号よりもステレオイメージが狭い出力が生じる。

図８は本発明の好ましい実施例を表し、ここでは多チャンネル信号から離れたエンコーダ側でのパラメータ抽出が変形されたダウンミックス信号にもアクセスを有する。ここでは変形されたダウンミックスが８０１によって生成される。もしＣ行列の２個のパラメータのみが送信される場合、アップミックスを行い、全てのアップミックスされたチャンネルについて最小二乗誤差を得るためには、デコーダ側のＤ行列の知識が必要とされる。しかしながら、この実施例では、エンコーダ側のダウンミックスされた信号ｌ_０およびｒ_０を、デコーダ側で仮定されるのと必ずしも同じでないダウンミックス行列Ｄを用いて得られたダウンミックスされた信号ｌ’_０およびｒ’_０によって置換できることを教示している。エンコーダ側でパラメータ推定のために別のダウンミックスを用いることは、デコーダ側で正しいセンターチャンネルの再生のみを確実にする。エンコーダからデコーダへ付加的な情報を送信することにより、３個のチャンネルのより正確なアップミックスが得られる。極端な場合ではＣ行列の６個の要素全てを送信することができる。しかしながらこの実施例では、Ｃ行列のサブセットが８０２で用いられるダウンミックス行列Ｄの情報を伴う場合には、これを送信可能であることを教示している。

先に述べたとおり、知覚的なオーディオコーデックは低いビットレートでのステレオ符号化のためにミッド／サイド符号化を用いる。さらにビットレートに制約のある状況下では、サイド信号のエネルギを減じるために、ステレオ前処理が通常用いられる。これは耳に聞こえる量子化歪と帯域制限に比べて、ステレオ信号の幅でステレオ信号を減少させるほうが好ましい符号化上の加工であるという、音響心理学的な考えに基づいて行われるものである。

したがって、ステレオ前処理が用いられる場合、ダウンミックス式（３）は以下のように表される。

ここで、γはサイド信号の減衰である。先に概略を述べたとおり、３個のチャンネルを正確に再構築できるようにするためには、デコーダ側でＤ行列が知られている必要がある。したがって、この実施例は減衰因子がデコーダ側に送られるべきことを教示している。

図９は本発明の別の実施例を示し、ここで１０４から出力されるダウンミックス信号ｌ_０およびｒ_０は、ダウンミックス信号のミッド／サイド表現のサイド信号（ｌ_０-ｒ_０）を因子γによって制限する、ステレオ前処理装置９０１に入力される。このパラメータはデコーダに送信される。

[ＨＦＲコーデック信号のパラメータ化]

もし予測ベースのアップミックスがＳＢＲ［ＷＯ９８／５７４３６］等の高周波数再構築法とともに用いられる場合、エンコーダ側で推定された予測パラメータはデコーダ側で再生成された高帯域信号と整合しないであろう。この実施例は、２個のチャンネルから３個のチャンネルを再生成するために、別の、波形ベースでないアップミックス構造を用いることを教示する。ここで提案されるアップミックス手順は非相関ノイズ信号の場合に全てのアップミックスされたチャンネルの正しいエネルギを再生成するために設計されたものである。

式（３）で定義されたダウンミックス行列D_αが用いられると仮定する。ここでアップミックス行列Ｃを定義する。このアップミックスは以下のように定義される。

エネルギがＬ、Ｒ、Ｃである、アップミックス信号ｌ（ｋ）、ｒ（ｋ）およびｃ（ｋ）の正しいエネルギを再生成することのみのために、以下の式にしたがって、対角要素hat｛X｝・hat｛X^*｝およびXX^*が同じになるようなアップミックス行列が選ばれる。

ダウンミックス行列の対応する表現は以下のようになる。

対角要素hat｛X｝・hat｛X^*｝を対角要素XX ^*に等しく設定することは、Ｃ内の要素とＬ、ＲおよびＣとの関係を定義する３個の式に変換される。

上述のことに基づいて、アップミックス行列が定義され得る。右のダウンミックスされたチャンネルを左のアップミックスされたチャンネルに付加することなく、また逆もそうであるようなアップミックス行列を定義することが好ましい。したがって、好ましいアップミックス行列は以下のようなものであろう。

これによって、以下のようなＣ行列が与えられる。

Ｃ行列の要素は、送信された２個のパラメータc₁=(L+R)/Cおよびc₂=L/Rから、デコーダ側で再生成できることが示される。

図１０は本発明の好ましい実施例の概略を示す図である。ここで、１０１−１１２は図１と同じであり、したがって更なる詳細は説明しない。３個のオリジナルの信号１０１−１０３が推定モジュール１００１に入力される。このモジュールは２個のパラメータ、例えばc₁=(L+R)/Cおよびc₂=L/Rを推定し、ここからデコーダ側でＣ行列を導出することができる。これらのパラメータは１０４から出力されたパラメータとともに選択モジュール１００２に入力される。好ましい実施例では、もしパラメータが波形コーデックによって符号化された周波数域に対応する場合には、選択モジュール１００２は１０４からパラメータを出力し、パラメータがＨＦＲによって再構築された周波数域に対応する場合には、１００１からパラメータを出力する。選択モジュール１００２はまた、信号の異なる周波数域についてどのパラメータ化が用いられるかの情報１００５を出力する。

デコーダ側では、モジュール１００４が送信されたパラメータを受け、パラメータ１００５によって与えられる指示に依存して、上述のとおり、これらを予測的アップミックス１０９またはエネルギベースのアップミックス１００３に導く。エネルギベースのアップミックス１００３は式（４０）に従ったアップミックス行列Ｃを実現する。

式（４０）で概略が示されたアップミックス行列Ｃは、２個のダウンミックスされた信号ｌ_０（ｋ）、ｒ_０（ｋ）からの推定された（デコーダ）信号ｃ（ｋ）を得るために等しい重み（δ）を有する。２個のダウンミックスされた信号ｌ_０（ｋ）、ｒ_０（ｋ）において信号ｃ（ｋ）の相対的な量が異なるかもしれない（すなわちＣ／ＬがＣ／Ｒに等しくない）という観測に基づいて、以下のような一般的なアップミックス行列を考えることもできる。

ｃ（ｋ）を推定するために、この実施例はまた２個の制御パラメータｃ_１およびｃ_２の送信を必要とし、これらは例えばc₁=a²C/(L+a²C)およびc₂=a²C/(R+a²C)に等しい。したがってアップミックス行列関数ｆ_ｉの可能な実現例は以下で与えられる。

本発明に従ったＳＢＲ域のための異なるパラメータ化の信号処理は、ＳＢＲに限定されるものではない。上で概略を述べたパラメータ化は予測ベースのアップミックスの予測誤差が大きすぎると思われるいかなる周波数域でも使用可能である。したがって、モジュール１００２は、送信信号の符号化方法、予測誤差等の多数の基準に依存して、１００１または１０４からパラメータを出力することができる。

改良された予測ベースの多チャンネル再構築のための好ましい方法は、エンコーダ側で、異なる周波数域のために異なる多チャンネルパラメータ化を抽出するステップと、デコーダ側で、多チャンネルを再構築するために、周波数域にこれらのパラメータ化を適用するステップとを含む。

本発明の更なる好ましい実施例は、エンコーダ側で、用いられたダウンミックス処理の情報を抽出しその後この情報をデコーダに送るステップと、デコーダ側で、多チャンネルを再構築するために、抽出された予測パラメータとダウンミックスの情報とに基づいてアップミックスを適用するステップとを含む、改良された予測ベースの多チャンネル再構築方法を含む。

本件の発明の更なる好ましい実施例は、エンコーダ側で、ダウンミックス信号のエネルギが、抽出された予測的アップミックスパラメータについて得られた予測誤差にしたがって調整される、改良された予測ベースの多チャンネル再構築のため方法を含む。

本発明の更なる好ましい実施例は、デコーダ側で、予測誤差のために失われたエネルギが、アップミックスされたチャンネルに利得を適用することによって補償される、改良された予測ベースの多チャンネル再構築のための方法に関する。

本発明の更なる実施例は、デコーダ側で、予測誤差のために失われたエネルギが無相関化された信号によって置換される、改良された予測ベースの多チャンネル再構築のための方法に関する。

本発明の更なる好ましい実施例は、デコーダ側で、予測誤差のために失われたエネルギの一部が無相関化された信号によって置換され、失われたエネルギの一部がアップミックスされたチャンネルに利得を適用することによって置換される、改良された予測ベースの多チャンネル再構築のための方法に関する。失われたエネルギのこの部分は好ましくはエンコーダから信号で知らされる。

本発明の更なる好ましい実施例は、ダウンミックス信号のエネルギを、抽出された予測的アップミックスパラメータについて得られた予測誤差にしたがって調整する手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。

本発明の更なる好ましい実施例は、予測誤差のために失われたエネルギをアップミックスされたチャンネルに利得を適用することによって補償する手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。

本発明の更なる好ましい実施例は、予測誤差のために失われたエネルギを無相関化された信号によって置換する手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。

本発明の更なる好ましい実施例は、予測誤差のために失われたエネルギの一部を無相関化された信号によって置換し、失われたエネルギの一部をアップミックスされたチャンネルに利得を適用することによって置換するための手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。

本発明の更なる好ましい実施例は、抽出された予測的アップミックスパラメータについて得られた予測誤差にしたがってダウンミックス信号のエネルギを調整することを含む、改良された予測ベースの多チャンネル再構築のためのエンコーダである。

本発明の更なる好ましい実施例は、予測誤差のためのエネルギ損失をアップミックスされたチャンネルに利得を適用することによって補償することを含む、改良された予測ベースの多チャンネル再構築のためのデコーダである。

本発明の更なる好ましい実施例は、予測誤差のためのエネルギ損失を無相関化された信号によって置換することを含む、改良された予測ベースの多チャンネル再構築のためのデコーダに関する。

本発明の更なる好ましい実施例は、予測誤差によって失われたエネルギの一部を無相関化された信号によって置換し、失われたエネルギの一部をダウンミックスされたチャンネルに利得を適用することによって置換することを含む、改良された予測ベースの多チャンネル再構築のためのデコーダである。

図１１は少なくとも１個のベースチャンネル１１０２を有する入力信号を用いて少なくとも３個の出力チャンネル１１００を生成するための多チャンネルシンセサイザーを示し、少なくとも１個のベースチャンネルはオリジナルの多チャンネル信号から引き出されるものである。図１１に示す多チャンネルシンセサイザーはアップミキサ装置１１０４を含み、これは図２から図１０のいずれかに示すとおり実現することができる。一般に、アップミキサ装置１１０４は少なくとも３個の出力チャンネルが得られるようにアップミキシング規則を用いて少なくとも１個のベースチャンネルをアップミックスするように動作可能である。アップミキサ１１０４はエネルギ尺度１１０６と少なくとも２個の異なるアップミックスパラメータ１１０８とに応答し、エネルギ損失を伴うアップミキシング規則を用いて少なくとも３個の出力チャンネルを生成するように動作し、この少なくとも３個の出力チャンネルはエネルギ損失を伴うアップミキシング規則のみから結果として得られる信号のエネルギよりも高いエネルギを有する。しがたってエネルギ損失を伴うアップミキシング規則に依存するエネルギ誤差に関わりなく、本発明ではエネルギ補償された結果がもたらされ、ここではスケーリングおよび／または無相関化された信号の付加によってエネルギ補償を行なうことができる。少なくとも２個の異なるアップミキシングパラメータ１１０８とエネルギ尺度１１０６とは入力信号に含まれる。

好ましくは、エネルギ尺度はアップミキシング規則によって導入されるエネルギ損失に関連した何らかの尺度である。これはアップミックスにより導入されたエネルギ誤差またはアップミックス信号のエネルギ（これは通常オリジナルの信号のエネルギより低い）の絶対的な尺度であってもよいし、またはオリジナルの信号エネルギとアップミックス信号エネルギとの関係またはエネルギ誤差とオリジナルの信号エネルギとの関係、またはエネルギ誤差とアップミックス信号エネルギとの関係の相対的な尺度であってもよい。相対的なエネルギ尺度は訂正因子として用いることができるが、それにも関わらずこれはエネルギの尺度である。というのもこれはエネルギ損失を伴うアップミキシング規則、または言い方を変えれば、非エネルギ保存アップミキシング規則によって生成されたアップミックス信号に導入されたエネルギ誤差に依存するからである。

エネルギ損失を伴うアップミキシング規則（非エネルギ保存アップミキシング規則）の例は、送信された予測係数を用いたアップミックスである。フレームまたはフレームのサブバンドの不完全な予測の場合、アップミックス出力信号はエネルギ損失に対応する予測誤差の影響を受ける。当然、予測誤差はフレーム毎に変化する。というのもほとんど完璧な予測の場合には（低予測誤差）わずかな補償を行なうだけでよく（スケーリングまたは無相関化された信号の付加により）、一方予測誤差がより大きい場合には（不完全予測）より多くの補償をしなければならないからである。したがって、補償なしまたはごくわずかの補償を示す値と、大きな補償を示す値との間で、エネルギ尺度もまた変化する。

エネルギ尺度がチャンネル間コヒーレンス（ＩＣＣ）の値であると考えられる場合、この考察は自然であるが、エネルギ尺度に依存してスケールされた無相関化された信号を加えることによって補償がなされる場合、好ましく用いられる相対的エネルギ尺度（ρ）は典型的には０．８から１．０の間で変化し、ここで１．０はアップミックスされた信号が要求されるとおりに無相関化されたこと、または無相関化された信号を全く付加する必要がないこと、または予測アップミックスの結果のエネルギがオリジナルの信号のエネルギと等しいこと、または予測誤差が０であること、を示す。

しかしながら、本発明はまた、他のエネルギ損失を伴うアップミキシング規則、すなわち波形整合に基づくものでなくコードブック、スペクトル整合等の他の技術に基づくもの、またはエネルギ保存を考慮しない何らかの他のアップミキシング規則に関してもまた有益である。

一般に、エネルギ補償はエネルギ損失を伴うアップミキシング規則の適用前または適用後に行なうことができる。または、エネルギ損失の補償は、エネルギ尺度を用いて元の行列係数を変更することによって新たなアップミキシング規則が生成されアップミキサによって用いられるように、アップミキシング規則内に含めることもできる。この新たなアップミキシング規則はエネルギ損失を伴うアップミキシング規則とエネルギ尺度とに基づいている。言い換えれば、この実施例はエネルギ補償が「向上された」アップミキシング規則に「混合され」、それによってエネルギ補償および／または無相関化された信号の付加が、１または２以上のアップミックス行列を入力ベクトル（１または２以上のベースチャンネル）に適用することによって行われ、（１または２以上の行列演算後に）出力ベクトル（少なくとも３個のチャンネルを有する再構築された多チャンネル信号）を得るような状況に関する。

好ましくは、アップミキサ装置は２個のベースチャンネルｌ_０、ｒ_０を受け、３個の再構築されたｌ、ｒおよびｃを出力する。

この後に、エンコーダ-デコーダ経路の異なる位置でのエネルギの状況を例示する図１２を参照する。ブロック１２００は、図１に示したような、少なくとも左チャンネル、右チャンネルおよびセンターチャンネルを有する信号等の多チャンネルオーディオ信号のエネルギを示す。図１２の実施例では、図１の入力チャンネル１０１、１０２、１０３は完全に非相関であり、ダウンミキサはエネルギ保存型であると仮定する。この場合、ブロック１２０２で示された１または２以上のベースチャンネルのエネルギは多チャンネルのオリジナル信号のエネルギ１２００と同一である。もしオリジナルの多チャンネル信号が互いに相関している場合には、例えば左と右が（部分的に）互いをキャンセルする場合、ベースチャンネルエネルギ１２０２はオリジナルの多チャンネル信号のエネルギより低くなり得る。

しかしながら以下の議論では、ベースチャンネルのエネルギ１２０２はオリジナルの多チャンネル信号のエネルギ１２００と等しいと仮定する。

１２０４は図１に関連して説明した予測的アップミックスまたは非エネルギ保存アップミックスを用いてアップミックス信号（例えば、図１の１１０、１１１、１１２）が生成された場合の、アップミックス信号のエネルギを例示する。したがって、図１４ａおよび１４ｂに関連して後で概略を述べるように、このような予測的アップミックスはエネルギ誤差Ｅ_ｒを導入し、アップミックス結果のエネルギ１２０４はベースチャンネル１２０２のエネルギよりも低くなるであろう。

アップミキサ１１０４は、エネルギ１２０４よりも高いエネルギを有する出力チャンネルを出力するように動作する。好ましくは、アップミキサ装置１１０４は図１１のアップミックス結果１１００が１２０６で示されるエネルギを有するように、完全な補償を行なう。

好ましくは、そのエネルギが１２０４で示されるアップミックス結果は、図２に示すように単純にアップスケールされるのではなく、また図３に示すように個別にアップスケールされるのでもなく、または図４に示されるようにエンコーダ側でアップスケールされるのでもない。これに替えて、予測的アップミックスによる誤差に対応した残りのエネルギＥ_ｒが、無相関化された信号により「満たされる」。別の好ましい実施例では、エネルギ誤差Ｅ_ｒは無相関化された信号によって部分的にカバーされるだけであり、エネルギ誤差の残りはアップミックス結果をアップスケールすることによって補われる。無相関化信号によるエネルギ誤差の完全なカバーが図５および図６に示され、一方「部分的」解決策が図７に示される。

図１３は複数のエネルギ補償方法を示し、例えばエネルギ誤差に依存するエネルギ尺度に基づいて、出力チャンネルのエネルギが予測的アップミックスの純粋な結果よりも高い、すなわち（訂正なしの）エネルギ損失を伴うアップミックス規則の結果よりも高い、という共通の特徴を有する方法を示す。

図１３の番号１はデコーダ側エネルギ補償に関するものであり、これはアップミックスに続いて行なわれる。この選択肢は図２に示され、更に図３に関連して詳細が示されており、ここではチャンネル毎に特有のアップスケール因子ｇ_ｚが示されており、これはエネルギ尺度ρに依存するばかりでなく、チャンネルに依存するダウンミックス因子ν_ｚにも依存し、ここでｚはｌ、ｒまたはｃを意味する。

図１３の番号２はエンコーダ側エネルギ補償方法を含み、これはダウンミックスに続いて行なわれ、図４に例示される。この実施例は、エネルギ尺度ρまたはγをエンコーダからデコーダへ送信する必要がない点で好ましい。

図１３の表の番号３はデコーダ側エネルギ補償に関し、これはアップミックスに先立って行われる。図２を考慮すると、図２でアップミックス後に行われるエネルギ訂正２０２は図２のアップミックスブロック２０１に先立って行われることになる。図２と比較して、この実施例は実現がより容易である。なぜなら、図３に示すようなチャンネルごとに特有の訂正因子が必要とされないからである。しかしながら、品質の損失が起こるかもしれない。

図１３の番号４はさらなる実施例に関し、ここではダウンミックスの前にエンコーダ側の訂正が行われる。図１を考慮すると、チャンネル１０１、１０２、１０３は対応の補償因子によってアップスケールされ、ダウンミキサの出力は図１２の１２０８で示されるように、ダウンミキシング後に増加する。したがって図１３の番号４の実施例は、エンコーダによるベースチャンネルの出力について本発明の番号２の実施例と同じ結果となる。

図１３の番号５は図５の実施例に関するもので、図５において無相関化された信号が非エネルギ保存アップミキシング規則１０９によって生成されたチャンネルから導出される場合である。

図１３の表の番号６の実施例は残差エネルギの一部のみが無相関化信号によってカバーされる実施例に関する。この実施例は図７に例示される。

図１３の番号８の実施例は番号５または６の実施例と同様であるが、図５のボックス５０１’で概略を示すように、無相関化された信号がアップミックス前にベースチャンネルから導出される。

この後、エンコーダの好ましい実施例を詳細に説明する。図１４ａは少なくとも２個のチャンネル、好ましくは少なくとも３個のチャンネルｌ、ｃ、ｒを有する多チャンネル入力信号１４００を処理するためのエンコーダを例示する。

エンコーダは多チャンネル入力信号１４００のエネルギまたは少なくとも１個のベースチャンネル１４０４と、非エネルギ保存アップミックス動作１４０７によって生成されたアップミックス信号１４０６とのエネルギ差に依存する誤差尺度を計算するためのエネルギ尺度計算部１４０２を含む。

さらに、エンコーダはエネルギ尺度に依存したスケール因子４０３によってスケーリングされた（４０１、４０２）少なくとも１個のベースチャンネルを出力するか、またはエネルギ尺度そのものを出力するための出力インターフェィス１４０８を含む。

好ましい実施例では、エンコーダはオリジナルの多チャンネル１４００から少なくとも１個のベースチャンネル１４０４を生成するためのダウンミキサ１４１０を含む。アップミックスパラメータを生成するために、差計算部１４１４とパラメータ最適化部１４１６も存在する。これらの要素はベストマッチングのアップミックスパラメータ１４１２を見出すように動作する。好ましい実施例では最適にフィットするアップミックスパラメータの少なくとも２個の組が、パラメータ出力として出力インターフェィスから出力される。差計算部は好ましくはパラメータ線１４１２で入力されるパラメータについて、オリジナルの多チャンネル信号１４００とアップミキサから生成されたアップミックス信号との最小平均二乗誤差の計算を行うように動作する。このパラメータ最適化手順はいくつかの異なる最適化手順によって行うことができ、これらは全てアップミキサ１４０８に含まれるあるアップミックス行列によってベストマッチングのアップミックス結果１４０６を得るという目標によって駆動される。

図１４ａのエンコーダの機能を図１４ｂに示す。ダウンミキサ１４１０によってダウンミキシングステップ１４４０が行われた後、ベースチャンネルまたは複数個のベースチャンネルが１４４２で示されるように出力される。その後アップミックスパラメータ最適化ステップ１４４４が行われ、これはある最適化戦略に依存して反復または非反復手順であり得る。しかしながら、反復手順が好ましい。一般にアップミックスパラメータ最適化手順は、アップミックス結果とオリジナルの信号との差ができるだけ低くなるように実現され得る。実現に依存して、この差は個別のチャンネル関連の差または組合せた差であり得る。一般にアップミックスパラメータ最適化ステップ１４４４は個別のチャンネルまたは組合されたチャンネルから導出され得るコスト関数を最小化するように動作するので、例えば他の２つのチャンネルについてよりよい整合が達成されるのであれば１つのチャンネルについてより大きな差（誤差）があっても許容される。

その後、最適にフィットするパラメータの組、例えば最適にフィットするアップミックス行列が見出されると、ステップ１４４４で生成されたパラメータの組の少なくとも２個のアップミキシングパラメータがステップ１４４６で示されるように出力インターフェィスへ出力される。

さらに、アップミックスパラメータ最適化ステップ１４４４が完了した後、エネルギ尺度が計算されステップ１４４８で示されるように出力され得る。一般にエネルギ尺度はエネルギ誤差１２１０に依存するはずである。好ましい実施例ではエネルギ尺度は因子ρであり、これはアップミックス結果１４０６のエネルギと図２に示すオリジナルの信号１４００のエネルギとの関係に依存する。これに代えて、計算され出力されるエネルギ尺度はエネルギ誤差１２１０の絶対値であっても、またはアップミックス結果１４０６の絶対エネルギであってもよく、これは当然のことながら、エネルギ誤差に依存する。これに関連して、出力インターフェィス１４０８から出力されるエネルギ尺度は好ましくは量子化され、さらに好ましくは算術エンコーダ、ハフマンエンコーダ、またはランレングスエンコーダ等の周知のエントロピーエンコーダを用いてエントロピーによりエンコードされる。これは特に多くの後続の同一のエネルギ尺度がある場合に有益である。これに代えて、またはこれに加えて、後続の時間部分またはフレームのためのエネルギ尺度は差によりエンコードすることもできる。この差によるエンコードは好ましくはエントロピーによるコーディングの前に行われる。

この後、別のダウンミキサの実施例を示す図１５ａを参照する。これは本発明の好ましい実施例にしたがって図１４ａのエンコーダと組合わされる。図１５ａの実施例はＳＢＲによる実現をカバーしたものであるが、この実施例はまたスペクトル帯域複製が行われずベースチャンネルの全帯域が送信される場合にも用いることができる。図１５ａのエンコーダはオリジナルの信号１５００をダウンミックスして少なくとも１個のベースチャンネル１５０４を得る、ダウンミキサ１５００を含む。非ＳＢＲ実施例では、少なくとも１個のベースチャンネル１５０４はコアコーダ１５０６に入力され、これは単一のベースチャンネルの場合にはモノラル信号のためのＡＡＣエンコーダであり得るが、例えば２個のステレオベースチャンネルの場合には何らかのステレオコーダであり得る。コアコーダ１５０６の出力では、エンコードされたベースチャンネルを含む、または複数のエンコードされたベースチャンネルを含むビットストリームが出力される（１５０８）。

図１５ａの実施例がＳＢＲ機能を有する場合、少なくとも１個のベースチャンネル１５０４はコアコーダに入力される前にローパスフィルタ１５１０でフィルタ処理される。当然、ブロック１５１０および１５０６の機能は単一のエンコーダ装置で実現することができ、これは単一のエンコードアルゴリズム内でローパスフィルタ処理およびコアコーディングを行う。

出力１５０８でのエンコードされたベースチャンネルは、エンコードされた形の、ベースチャンネル１５０４の低帯域のみを含む。高帯域の情報はＳＢＲスペクトルエンベロープ計算部１５１２によって計算され、これはＳＢＲ情報エンコーダ１５１４に接続されて、エンコードされたＳＢＲ側情報を生成し出力１５１６に出力する。

オリジナルの信号１５０２はエネルギ計算部１５２０に入力され、これはチャンネルエネルギを生成する（オリジナルのチャンネルｌ、ｃ、ｒのある時間期間について、ここでチャンネルエネルギはＬ、Ｃ、Ｒによって示され、ブロック１５２０によって出力される）。チャンネルエネルギＬ、Ｃ、Ｒはパラメータ計算部ブロック１５２２に入力される。パラメータ計算部１５２２は２個のアップミックスパラメータｃ１、ｃ２を出力し、これらは、例えば図１５ａに示したパラメータｃ_１、ｃ_２であり得る。当然、全ての入力チャンネルのエネルギを含む他の（例えば線形の）エネルギの組合せがパラメータ計算部１５２２によって生成されデコーダに送信されてもよい。当然、送信されたアップミックスパラメータが異なれば、残りのアップミキシング行列要素を計算する方法も異なる。式（４０）または式（４１−４４）に関連して示したとおり、エネルギに関連する図１５の実施例のアップミックス行列は少なくとも４個の非ゼロ要素を有し、ここで第３行の要素は互いに等しい。したがって、パラメータ計算部１５２２は例えばアップミックス行列表示（４０）または（４１）等のアップミックス行列の４個の要素が導出できるような、エネルギＬ、Ｃ、Ｒのいかなる組合せを用いることもできる。

図１５ａの実施例は信号の全帯域についてエネルギ保存の、または一般的な言い方をすればエネルギ導出アップミックスを行うように動作するエンコーダを例示する。これは、図１５ａに例示されたエンコーダ側でパラメータ計算部１５２２によって出力されたパラメータ的表現が全信号について生成されることを意味する。これは、エンコードされたベースチャンネルの各サブバンドについて、対応のパラメータの組が計算され出力されることを意味する。例えば１０個のサブバンドを有する全帯域幅信号であるエンコードされたベースチャンネルを考えると、パラメータ計算部はエンコードされたベースチャンネルの各サブバンドについて１０個のパラメータｃ_１およびｃ_２を出力するであろう。しかしながら、エンコードされたベースチャンネルがＳＢＲ環境における低帯域信号、例えば５個のより低いサブバンドのみをカバーするものであったとすれば、パラメータ計算部１５２２は５個のより低いサブバンドの各々についてパラメータの組を出力することととなり、さらに、出力１５０８の信号は対応するサブバンドを含んではいないが、５個のより上のサブバンドの各々についても出力するであろう。これは、図１６ａに関連して後で説明するように、このようなサブバンドがデコーダ側で再生成されるという事実に基づくものである。

しかしながら、好ましくは、また図１０に関連して説明されたように、エネルギ計算部１５２０とパラメータ計算部１５２２とはオリジナルの信号の高帯域部分についてのみ動作し、オリジナルの信号の低帯域部分のパラメータは、図１０の予測的アップミキサ１０９に対応する、図１０の予測的パラメータ計算部１０４によって計算される。

図１５ｂは図１０の選択モジュール１００２によって出力されるパラメータ表現の概略的な表示である。すなわち本発明に従ったパラメータ表現は（エンコードされたベースチャンネルがある場合とない場合があり、任意にはエネルギ尺度がない場合もある）、低帯域、例えばサブバンド１からｉのための予測パラメータの組と、高帯域、例えばサブバンドｉ＋１からＮまでのサブバンドごとのパラメータとを含む。これに代えて予測パラメータとエネルギスタイルパラメータとを混合することもできる、例えばエネルギスタイルパラメータを有するサブバンドを予測パラメータを有するサブバンドの間に位置付けることができる。さらに、予測パラメータのみを有するフレームをエネルギスタイルパラメータのみを有するフレームの後に置くこともできる。したがって、一般的に言えば、図１０に関連して議論された本発明は異なるパラメータ化に関するものであり、これは図１５ｂに示されるように周波数の方向において異なるものであってもよく、または予測パラメータのみを有するフレームにエネルギスタイルパラメータのみを有するフレームが続く場合のように時間方向で異なるものであってもよい。当然、サブバンドのパラメータ化または分布はフレームごとに変えることができ、したがって、例えばサブバンドｉは第一のフレームで図１５ｂに示すように第一の（例えば予測）パラメータ設定を有し、別のフレームでは第二の（例えばエネルギスタイル）パラメータ設定を有する。

さらに、本発明は図１４ａに示された予測パラメータ化または図１５ａに示されたエネルギスタイルパラメータ化と異なるパラメータ化が用いられる場合にも有用である。さらにまた、予測的またはエネルギスタイルとは別に、例えばあるサブバンドまたはフレームについて、何らかのターゲットパラメータまたはターゲットイベントが、エンコーダ側またはデコーダ側での計算効率、ダウンミックスビットレート、アップミックス品質、または例えばバッテリーで動作する装置のエネルギ消費等について、第一のパラメータ化のほうが第二のパラメータ化より良いと示す場合には、別のパラメータ化を用いることができる。当然、目標とする機能は上で概略を述べた、異なる個別のターゲット／イベントの組合せであり得る。イベントの例はＳＢＲ−再構築された高帯域等である。

さらに、図１０の１００５で示すように、パラメータの周波数または時間選択的計算と送信とを明白に信号で知らせることもできる。または、図１６ａに関連して説明したように、暗示的なやり方で信号処理を行うこともできる。この場合、デコーダについて予め定義された規則が用いられる。例えば、デコーダは送信されたパラメータが図１５ｂの高帯域に属するサブバンド用のエネルギスタイルパラメータである、すなわちスペクトル帯域複製または高周波数再生技術によって再構築されたサブバンドのためのものであると、自動的に仮定する。

さらに、エンコーダ側での１、２またはそれ以上の異なるパラメータ化の計算、および、どのパラメータ化を送信するかというエンコーダ側の選択は何らかのエンコーダ側で利用可能な情報を用いた決定に基づいてなされ（この情報は実際に用いられるターゲット機能またはＳＢＲ処理および信号処理等の他の理由で用いられる信号処理情報であり得る）、これはエネルギ尺度の送信を伴って、または伴わずに行われ得る。たとえ好ましいエネルギ訂正が全く行われなくても、例えば非エネルギ保存アップミックス（予測的アップミックス）の結果がエネルギ訂正されない場合、またはエンコーダ側で対応の前補償がない場合でも、異なるパラメータ化の間で好ましい切替を行うことは、より良い多チャンネル出力品質および／またはより低いビットレートを得るために有用である。

特に、利用可能なエンコーダ側情報に依存した異なるパラメータ化間の好ましい切替は、図５ないし図７に関連して示した予測的アップミックスによって行われるエネルギ誤差を完全にまたは少なくとも部分的にカバーする、無相関化された信号の付加とともに、またはこれなしで、用いることができる。これに関連して、図５に関連して説明した無相関化された信号の付加は予測的アップミックスパラメータが送信されたサブバンド／フレームについてのみ行われ、エネルギスタイルパラメータが送信されたサブバンドまたはフレームについては無相関化の異なる手段が用いられる。このような手段は例えば、適切にスケールされた無相関化された信号がドライ信号に付加される場合のように、ＩＣＣ等の送信されたチャンネル間相関尺度によって要求されるような求められる量の無相関化が得られるように、ウェット信号をダウンスケールし、無相関化された信号を生成し、この無相関化された信号をスケーリングすることである。

この後、好ましいアップミキシングブロック２０１と、２０２での対応のエネルギ訂正とのデコーダ側での実現を例示する図１６ａについて説明する。図１１に関連して説明したように、送信されたアップミックスパラメータ１１０８が、受信された入力信号から抽出される。エネルギ補償を含むアップミックス行列１６０２が予測的アップミックスおよび先行するまたは後続のエネルギ訂正を行うべき場合には、これら送信されたアップミックスパラメータは残りのアップミックスパラメータを計算するための計算部１６００に好ましく入力される。残りのアップミックスパラメータを計算するための手順は図１６ｂに関連して後で説明する。

アップミックスパラメータの計算は図１６ｂの式に基づいて行われ、これはまた式（７）として繰返される。３入力信号／２出力信号の実施例において、ダウンミックス行列Ｄは６個の変数を有する。加えて、アップミックス行列Ｃもまた６個の変数を有する。しかしながら式（７）の右辺には４個の値しかない。したがって未知のダウンミックスと未知のアップミックスの場合、行列ＤおよびＣから未知の変数は１２個あり、これら１２個の変数を決定するために式は４つしかない。しかしながらダウンミックスは既知であるので、未知の変数の数はアップミックス行列Ｃの係数に減じられ、これは６個の変数を含むが、依然としてこれら６個の変数を決定するために式が４つあるだけである。したがって、図１４ｂのステップ１４４４と関連して説明し図１４ａで例示した最適化方法を用いて、アップミックス行列の少なくとも２個の変数、好ましくはｃ_１１およびｃ_２２を決定する。ここで例えばｃ_１２、ｃ_２１、ｃ_３１およびｃ_３２という４個の未知数があり、４個の式があるので、すなわち図１６ｂの式の右辺の単位行列Ｉの各要素について一つの等式があるので、アップミックス行列の残りの未知の変数は直接的な方法で計算することができる。この計算は残りのアップミックスパラメータを計算するための計算部１６００によって行われる。

装置１６０２のアップミックス行列は破線１６０４によって送られる２個の送信されるアップミックスパラメータと、ブロック１６００によって計算される残り４個のアップミックスパラメータとによって設定される。その後アップミックス行列は線１１０２を介して入力されるベースチャンネルに適用される。実現に依存して、低帯域訂正のためのエネルギ尺度が線１１０６を介して送られ、訂正されたアップミックスが生成され、出力される。線１６０６を介した暗黙の信号処理によって低帯域について予測的アップミックスのみが行われ、高帯域について線１１０８でエネルギスタイルアップミックスパラメータが存在する場合、この事実が対応するサブバンドについて計算部１６００とアップミックス行列装置１６０２とに信号で知らされる。エネルギスタイルの場合、アップミックス行列（４０）または（４１）のアップミックス行列要素を計算することが好ましい。この目的のために、下で式（４０）に示される送信されたパラメータまたは下で式（４１）によって示される対応するパラメータが用いられる。この実施例では送信されたアップミックスパラメータｃ_１、ｃ_２をアップミックス係数として直接用いることはできず、式（４０）または（４１）に示されるアップミックス行列のアップミックス係数は送信されたアップミックスパラメータｃ_１およびｃ_２を用いて計算しなければならない。

高帯域についてはエネルギベースのアップミックスパラメータについて決定されたアップミックス行列が多チャンネル出力信号の高帯域部分をアップミックスするのに用いられる。その後低帯域部分と高帯域部分とが低／高組合せ部１６０８で組合わされ、全帯域幅の再構築された出力チャンネルｌ、ｒ、ｃが出力される。図１６ａに示されるように、ベースチャンネルの高帯域は送信された低帯域ベースチャンネルをデコードするためのデコーダを用いて生成され、ここでこのデコーダはモノラルベースチャンネルについてはモノデコーダであり、２個のステレオベースチャンネルについてはステレオデコーダである。このデコードされた低帯域ベースチャンネルはＳＢＲ装置１６１４に入力され、これは図１５ａの装置１５１２によって計算されたエンベロープ情報もまた付加的に受信する。低帯域部分と高帯域エンベロープ情報とに基づき、ベースチャンネルの高帯域が生成されて、線１１０２上で全帯域幅のベースチャンネルが得られ、これがアップミックス行列装置１６０２に送られる。

好ましい方法または装置またはコンピュータプログラムはいくつかの装置で実現するかまたはそこに含めることができる。図１７は本発明のエンコーダを含む送信機と本発明のデコーダを含む受信機とを有する送信システムを示す。送信チャンネルは無線でも有線チャンネルでもよい。さらに図１８に示すように、エンコーダをオーディオレコーダに含め、デコーダをオーディオプレーヤーに含めることもできる。オーディオレコーダからのオーディオ記録はインターネットを介してまたは郵便や宅配リソースを用いて分配される記憶媒体を介して、またはメモリカード、ＣＤまたはＤＶＤ等の他の可能な分配記憶媒体を介してオーディオプレーヤーに分配される。

発明の方法のある実現要件に依存して、発明の方法はハードウェアまたはソフトウェアで実現できる。この実現は、電子的に可読な制御信号が記録されたデジタル記憶媒体、特にディスクまたはＣＤで行うことができ、これはプログラム可能なコンピュータシステムと共働して本発明の方法を行う。したがって本発明は一般に、機械可読キャリアに記憶されたプログラムコードを備えたコンピュータプログラムプロダクトであり、プログラムコードはコンピュータプログラムプロダクトがコンピュータで実行されると、本発明の方法の少なくとも１つを行うように構成される。言い換えれば、本発明の方法はコンピュータプログラムがコンピュータで実行されるときに発明の方法を実行するプログラムコードを有するコンピュータプログラムである。

添付の図面を参照して本発明を例に基づいて説明するが、これは本発明の範囲または精神を限定するものではない。

２個のチャンネルから３個のチャンネルを予測ベースで再構築することを例示する図である； エネルギ補償を伴う予測的アップミックスを例示する図である； 予測的アップミックスにおけるエネルギ補償を例示する図である； ダウンミックス信号のエネルギ補償を伴う、エンコーダ側の予測パラメータ推定部を例示する図である； 相関再構築を伴う予測的アップミックスを例示する図である； 相関再構築を伴うアップミックスにおいてアップミックスされた信号と無相関化された信号とを混合するミキシングモジュールを例示する図である； 相関再構築を伴うアップミックスにおいてアップミックスされた信号と無相関化された信号とを混合する別のミキシングモジュールを例示する図である； エンコーダ側の予測パラメータ推定を例示する図である； エンコーダ側の予測パラメータ推定を例示する図である； エンコーダ側の予測パラメータ推定を例示する図である； 本発明のアップミックス装置を例示する図である； エネルギ損失を伴うアップミックスの結果と、好ましい補償とを示すエネルギ図である； 好ましいエネルギ補償方法の表である； （ａ）は好ましい多チャンネルエンコーダの概略図である、（ｂ）は（ａ）の装置によって行なわれる好ましい方法のフローチャートである； （ａ）は図１４ａの装置と比較される、異なるパラメータ化を生成するためのスペクトル帯域複製機能を有する多チャンネルエンコーダの図である、（ｂ）はパラメータデータの周波数選択的生成と送信とを表の形で例示する図である；さらに （ａ）アップミックス行列係数の計算を例示する本発明のデコーダの図である、（ｂ）は予測的アップミックスのためのパラメータの計算を詳細に示す図である； 送信システムの送信機および受信機の図である；さらに 本発明のエンコーダを有するオーディオレコーダと、デコーダを有するオーディオプレーヤの図である。

Claims (51)

1. 少なくとも１個のベースチャンネル（１１０２）を有する入力信号を用いて少なくとも３個の出力チャンネル（１１００）を生成するための多チャンネルシンセサイザであって、ベースチャンネルはオリジナルの多チャンネル信号（１０１、１０２、１０３）から導出され、シンセサイザはエネルギ損失を伴うアップミキシング規則（２０１、１４０７）に基づいて少なくとも一つのベースチャンネルをアップミックスして少なくとも３個の出力チャンネルが得られるようにするアップミキサ（１１０４）を含み、
   アップミキサ（１１０４）は、エネルギ尺度（１１０６）と少なくとも２個の異なるアップミキシングパラメータ（１１０８）とに応答して、少なくとも３個の出力チャンネルがエネルギ誤差の代わりにエネルギ損失を伴うアップミキシング規則のみを用いて得られる信号のエネルギより高いエネルギを有するような少なくとも３個の出力チャンネルを生成するように動作し、エネルギ誤差はエネルギ損失を伴うアップミキシング規則に依存し、
   アップミキサを制御するためのエネルギ尺度と少なくとも２個の異なるアップミキシングパラメータ（１１０８）とは、入力信号に含まれる、多チャンネルシンセサイザ。
2. エネルギ損失を伴うアップミキシング規則は、予測係数に基づく行列係数を有するアップミキシング行列を用いた予測的アップミキシング規則であり、
   少なくとも２個の異なるアップミックスパラメータは、アップミキシング行列の２個の異なる要素（ｃ_１１、ｃ_１２）であるか、またはそこからアップミキシング行列の２個の異なる要素を導出可能なパラメータである、請求項１に記載の多チャンネルシンセサイザ。
3. エネルギ尺度は、エネルギ損失を伴うアップミキシング規則を用いたアップミックスの結果のエネルギの、オリジナルの多チャンネル信号のエネルギに対する関係、またはエネルギ誤差のオリジナルの多チャンネル信号のエネルギに対する関係、または絶対的表現のエネルギ誤差を直接的または間接的に示す、請求項１または請求項２に記載の多チャンネルシンセサイザ。
4. アップミキサは、少なくとも２個のアップミキシングパラメータと、オリジナルの多チャンネル信号から少なくとも１個のベースチャンネルを生成するのに用いられるダウンミックス規則の情報とに基づいて、アップミックス行列を導出する計算部（１６００）を含む、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
5. アップミキサは、左ベースチャンネルと右ベースチャンネルとを処理して左出力信号、右出力信号およびセンタ信号を出力するように動作し、左ベースチャンネルと右ベースチャンネルとは多チャンネル信号のステレオ互換表現である、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
6. アップミキサ（１１０４）はスケーリング因子を用いて少なくとも３個の出力チャンネルを個別にスケーリング（３０４）するように動作し、出力チャンネルのためのスケーリング因子（ｇ_ｚ）は、エネルギ損失を伴うアップミキシング規則のアップミックスの結果のエネルギと、エネルギ損失を伴うアップミキシング規則を用いたアップミキシング後の出力チャンネルのエネルギと、少なくともベースチャンネルを生成するためのダウンミックス（ｖ）の情報とに依存する、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
7. スケーリング因子は以下の数式１のように決定される請求項６に記載の多チャンネルシンセサイザ。
   

   
8. アップミキサ（１１０４）はさらに、少なくとも１個のベースチャンネルから、またはエネルギ損失を伴うアップミキシング規則の出力信号の少なくとも１個から、無相関化された信号を生成するための無相関化部（５０１、５０２、５０３、５０１’、５０３’）を含み、
   アップミキサは、出力チャンネルにおける無相関化された信号のエネルギ量がエネルギ尺度によって導出可能なエネルギ誤差の量より小さいかまたは等しくなるように動作する、請求項１から請求項６のいずれかに記載の多チャンネルシンセサイザ。
9. アップミキサは、ダウンスケール因子によってダウンスケールされた出力チャンネルのエネルギと等しいエネルギを有する無相関化された信号を生成するように動作し、ダウンスケール因子はエネルギ尺度に依存し、
   アップミキサは無相関化された信号とエネルギ損失を伴うアップミキシング規則（１０９）の出力信号とを加算するように動作する、請求項８に記載の多チャンネルシンセサイザ。
10. 無相関化部は、チャンネルごとに特有の因子（n）によって重み付けされエネルギ尺度（r）を用いて重み付けされた無相関化された信号を加算することによって少なくとも３個の出力チャンネルを個別に無相関化し、さらに重み付けされた無相関化された信号をエネルギ損失を伴うアップミキシング規則を行うアップミキサ（１０９）の出力信号に加算（６０２）するように動作する、請求項８または請求項９に記載の多チャンネルシンセサイザ。
11. 無相関化部は、デジタルフィルタを用いて入力信号をフィルタ処理するように動作する、請求項９または請求項１０に記載の多チャンネルシンセサイザ。
12. ダウンスケーリング因子は以下の数式２のように導出される請求項９に記載の多チャンネルシンセサイザ。
    

    

    ここでγはダウンスケーリング因子であり、ρはエネルギ尺度である。
13. アップミキサ（１１０４）は、エネルギ損失を伴うアップミキシング規則によるエネルギ損失を部分的にまたは完全に補償するために、エネルギ誤差より小さく０より大きいエネルギを有する無相関化された信号を、エネルギ損失を伴うアップミキシング規則によって生成された少なくとも１個のチャンネルに付加するように動作する、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
14. 無相関化された信号のエネルギがエネルギ誤差より小さい場合、アップミキサは、少なくとも１個のベースチャンネルまたはアップミキシング規則によって生成された信号を、アップスケールされた信号またはアップスケールされた少なくとも１個のベースチャンネルを用いて生成されたアップミックス信号と、付加された無相関化された信号との組合されたエネルギがオリジナルの信号のエネルギと等しいかこれより小さくなるように、アップスケールするように動作する、請求項１３に記載の多チャンネルシンセサイザ。
15. 付加された無相関化された信号のエネルギは無相関化因子によって決定され、１に近い高い無相関化因子は小さいレベルの無相関化された信号を付加すべきことを示し、０に近い小さい無相関化因子は高いレベルの無相関化された信号を付加すべきことを示し、
    無相関化尺度は入力信号から抽出される、請求項１４に記載の多チャンネルシンセサイザ。
16. 少なくとも１個のベースチャンネルはダウンミキシング行列によって生成されたベースチャンネルのスケーリングされた版であり、スケーリング因子はエネルギ尺度に依存し、無相関化情報（６０５）は誤差エネルギにも依存する唯一の送信されたエネルギ尺度である、請求項１３または請求項１４に記載の多チャンネルシンセサイザ。
17. 入力信号に含まれるエネルギ尺度はエネルギ誤差（ρ）に依存する第一のエネルギ値を含み、相関の程度（k）に依存する第二のエネルギ値を含む、請求項１４に記載の多チャンネルシンセサイザ。
18. 入力信号は、２個の異なるアップミキシングパラメータに加えて、少なくとも１個のベースチャンネルの元となるダウンミックス情報を含み、
    アップミキサは、付加的なダウンミキシング情報を用いてアップミキシング行列（８０２）を生成するように動作する、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
19. ステレオ前処理（９０１）の計算の情報（γ）が、入力信号中にダウンミックス情報として含まれる、請求項１８に記載の多チャンネルシンセサイザ。
20. 入力信号はさらに、第一の状態で、第一のアップミキシング規則を行うべきことを示し、第二の状態で、異なるアップミキシング規則を行うべきことを示す、アップミキサモード指示（１００５）を含み、
    アップミキサ（１１０４）はアップミキサモード指示（１００５）に依存して少なくとも２個の異なるアップミキシングパラメータ（１１０８）を用いてアップミキシング規則のためのパラメータを計算するように動作する、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
21. アップミキサモード指示は、サブバンドごとに、またはフレームごとに、アップミキサモードを信号で示すように動作する、請求項２０に記載の多チャンネルシンセサイザ。
22. 第一のアップミキシング規則が予測的アップミキシング規則であり、第二のアップミキシング規則がエネルギ依存のアップミキシングパラメータを有するアップミキシング規則である、請求項２０または請求項２１に記載の多チャンネルシンセサイザ。
23. 第二のアップミキシング規則は以下の数式３のように行われる請求項２１に記載の多チャンネルシンセサイザ。
    

    

    ここでＬは左入力チャンネルのエネルギ値であり、Ｃはセンタ入力チャンネルのエネルギ値であり、Ｒは右入力チャンネルのエネルギ値であり、αはダウンミックスの決定されたパラメータである。
24. 第二のアップミキシング規則は、右のダウンミックスチャンネルが左のアップミックスチャンネルに付加されず、逆もそうであるようなものである、請求項２０から請求項２３のいずれかに記載の多チャンネルシンセサイザ。
25. 第一のアップミキシング規則は、オリジナルの多チャンネル信号の波形と、第一のアップミキシング規則によって生成された信号の波形との波形整合によって決定される、請求項２０から請求項２４のいずれかに記載の多チャンネルシンセサイザ。
26. 第一または第二のアップミキシング規則が以下の数式４のように決定され：
    

    

    ここで関数ｆ_１、ｆ_２、ｆ_３は送信された２個の異なるアップミキシング関数ｃ_１、ｃ_２の関数を表し、
    関数は以下の数式５のように決定される請求項２０から請求項２５のいずれかに記載の多チャンネルシンセサイザ。
    

    

    ここでαは実数値パラメータである。
27. 入力信号に含まれる少なくとも１個のベースチャンネルの一部を用いて、送信されたベースチャンネル内に含まれていない少なくとも１個のベースチャンネルの帯域を再生成するためのＳＢＲユニット１６１４をさらに含み、
    多チャンネルシンセサイザは、少なくともベースチャンネルの再生成された帯域において第二のアップミックス規則を適用し、入力信号に含まれるベースチャンネルの帯域においては第一のアップミキシング規則を適用するように動作する、請求項２０から請求項２７のいずれかに記載の多チャンネルシンセサイザ。
28. アップミックスモード指示は入力信号中に含まれるＳＢＲ信号処理（１６０６）である、請求項２８に記載の多チャンネルシンセサイザ。
29. 多チャンネル入力信号を処理するためのエンコーダであって、多チャンネル入力信号または多チャンネル入力信号から導出される少なくとも１個のベースチャンネルと、エネルギ損失を伴うアップミキシング動作によって生成されるアップミックス信号とのエネルギ差に依存するエネルギ尺度（ρ）を計算するエネルギ尺度計算部（１４０２）と；
    エネルギ尺度に依存するスケーリング因子（４０３）によってスケーリングされた（４０１、４０２）後の少なくとも１個のベースチャンネルを出力するか、またはエネルギ尺度を出力する、出力インターフェィス（１４０８）を含む、エンコーダ。
30. エネルギ尺度（ρ）は少なくとも１個のベースチャンネルをエネルギを伴うアップミキシング規則を用いてアップミキシングすることによって生成されたアップミックス信号のエネルギとオリジナルの多チャンネル信号のエネルギとの関係に基づいて決定され、スケーリング因子はエネルギ尺度を反転させることによって決定される、請求項３０に記載のエンコーダ。
31. 相関の程度（к）を決定するための相関度計算部をさらに含み、出力インターフェィスは相関度に基づいて相関尺度（к）を出力するように動作する、請求項３０または請求項３１に記載の多チャンネルシンセサイザ。
32. 少なくとも２個の異なるアップミキシングパラメータ（１４１２）を計算するためのアップミキシングパラメータ計算部（１４０７、１４１４、１４１６）をさらに含み、
    出力インターフェィスは少なくとも２個の異なるアップミキシングパラメータを出力するように動作する、請求項３０から請求項３２のいずれかに記載のエンコーダ。
33. 少なくとも１個のベースチャンネルを計算するためのダウンミキサ装置（１４１０）をさらに含み、
    出力インターフェィス（１４０８）はダウンミックス動作の情報を出力するように動作する、請求項３０から請求項３３のいずれかに記載のエンコーダ。
34. ダウンミキサ装置はステレオ前処理装置を含み、出力インターフェィスはステレオ前処理装置の情報を出力するように動作する、請求項３４に記載のエンコーダ。
35. アップミキサパラメータ計算部は、アップミックスされたチャンネルの波形を用いてパラメータの最適化（１４４４）を行って、最適アップミキシングパラメータに基づいてデコーダに送信すべき少なくとも２個のアップミキシングパラメータを生成し、さらに最適アップミキシングパラメータを用いて少なくとも１個のベースチャンネルをアップミキシングすることによって生成された信号に基づきエネルギ尺度を計算し出力するように動作する、請求項３３に記載のエンコーダ。
36. エンコーダで利用可能な情報に基づいて複数個の異なるパラメータ表現のうちから特定のパラメータ表現を生成するためのパラメータ生成部（１０４、１００１、１５２０、１５２２、１４１４、１４１６）をさらに含み、
    出力インターフェィス（１４０８）は生成されたパラメータ表現と、複数個の異なるパラメータ表現のうちから特定のパラメータ表現を暗示的にまたは明示的に示す情報とを出力するように動作する、請求項３０から請求項３６のいずれかに記載のエンコーダ。
37. 複数個の異なるパラメータ表現は、波形ベースの予測的アップミキシングスキームのための第一のパラメータ表現と、非波形ベースのアップミキシング規則のための第二のパラメータ表現とを含む、請求項３７に記載のエンコーダ。
38. 非波形ベースのアップミキシング規則は、エネルギ保存アップミキシング規則である、請求項３８に記載のエンコーダ。
39. 第一のパラメータ表現は、そのパラメータが最適化手順によって決定されたパラメータ表現であり、
    第二のパラメータ表現は、オリジナルのチャンネルのエネルギを計算し（１５０２）、かつエネルギの組合せに基づいてパラメータを計算する（１５２２）ことによって決定される、請求項３７から請求項３９のいずれかに記載のエンコーダ。
40. オリジナルの入力信号の少なくとも１の帯域であって、エンコーダによって出力されるベースチャンネルに含まれていないものについて、スペクトル帯域複製サイド情報を生成するためのスペクトル帯域複製モジュール（１５１２、１５１４）をさらに含む、請求項３０から請求項４０のいずれかに記載のエンコーダ。
41. 少なくとも１個のベースチャンネル（１１０２）を有する入力信号を用いて少なくとも３個の出力チャンネル（１１００）を生成する方法であって、ベースチャンネルはオリジナルの多チャンネル信号（１０１、１０２、１０３）から導出され、
    エネルギ損失を伴うアップミキシング規則（２０１、１４０８）に基づいて少なくとも一つのベースチャンネルをアップミックスして少なくとも３個の出力チャンネルが得られるようにするステップ（１１０４）を含み、
    アップミキシングするステップにおいて、エネルギ尺度（１１０６）と少なくとも２個の異なるアップミキシングパラメータ（１１０８）とに応答して、少なくとも３個の出力チャンネルがエネルギ誤差の代わりにエネルギ損失を伴うアップミキシング規則のみを用いて得られる信号のエネルギより高いエネルギを有するような少なくとも３個の出力チャンネルが生成され、エネルギ誤差はエネルギ損失を伴うアップミキシング規則に依存し、
    少なくとも２個の異なるアップミキシングパラメータ（１１０８）とアップミキサを制御するためのエネルギ尺度とは、入力信号に含まれる、方法。
42. 多チャンネル入力信号を処理する方法であって、
    多チャンネル入力信号または多チャンネル入力信号から導出された少なくとも１個のベースチャンネルと、エネルギ損失を伴うアップミキシング動作によって生成されたアップミックス信号とのエネルギ差に依存する誤差尺度（ρ）を計算するステップ（１４０２）と、誤差尺度に依存するスケーリング因子（４０３）によってスケーリングされた（４０１、４０２）後の少なくとも１個のベースチャンネルを出力するか、またはエネルギ尺度を出力するステップ（１４０８）とを含む、方法。
43. 多チャンネル入力信号または多チャンネル入力信号から導出された少なくとも１個のベースチャンネルと、エネルギ損失を伴うアップミキシング動作によって生成されたアップミックス信号とのエネルギ差に依存する誤差尺度によってスケーリングされた少なくとも１個のベースチャンネルを有するか、またはエネルギ尺度を有するか、またはエネルギ尺度を出力するための、エンコードされた多チャンネル情報信号。
44. 請求項４４に記載のエンコードされた多チャンネル情報信号を記憶する、機械可読媒体。
45. 請求項３０から請求項４１のいずれかに記載のエンコーダを有する送信機またはオーディオレコーダ。
46. 請求項１から請求項２９のいずれに記載のデコーダを有する受信機またはオーディオプレーヤー。
47. 請求項４６に記載の送信機と請求項４７に記載の受信機とを有する送信システム。
48. 受信またはオーディオ再生方法であって、請求項４３に記載の処理方法を有する方法。
49. 受信またはオーディオ再生方法であって、請求項４２に記載の生成方法を含む方法。
50. 請求項５０に記載の受信および請求項４９に記載の送信方法。
51. コンピュータ上で実行されると、請求項４２、４３、４９、５０または５１の方法のいずれかに従った方法を行う、コンピュータプログラム。

Images