JP2011522472A

JP2011522472A - パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ

Info

Publication number: JP2011522472A
Application number: JP2011510076A
Authority: JP
Inventors: エリクジーピーシュエイエルス
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-05-23
Filing date: 2009-05-14
Publication date: 2011-07-28
Anticipated expiration: 2029-05-14
Also published as: US10136237B2; BRPI0908630A8; BRPI0908630B1; WO2009141775A1; MX2010012580A; US9591425B2; US20190058960A1; US20240121567A1; TWI484477B; KR101629862B1; JP5122681B2; RU2497204C2; US11871205B2; US20140321652A1; CN102037507A; BR122020009732B1; CN102037507B; BRPI0908630A2; US20210274302A1; US8811621B2

Abstract

空間パラメータ２０５に基づいてモノラルダウンミクス信号２０４から左信号２０６及び右信号２０７を生成する、パラメトリックステレオアップミクス装置３００、４００。該パラメトリックステレオアップミクス装置は、予測係数３２１を用いてスケーリングされたモノラルダウンミクス信号２０４に基づいて左信号２０６と右信号２０７との差を有する差分信号３１１を予測するための手段３１０を有することを特徴とする。該予測係数は、空間パラメータ２０５から導出される。パラメトリックステレオアップミクス装置３００、４００は更に、モノラルダウンミクス信号２０４と差分信号３１１との合計及び差分に基づいて左信号２０６及び右信号２０７を導出するための算術手段３３０を有する。

Description

本発明は、空間パラメータに基づいてモノラルのダウンミクス信号から左信号及び右信号を生成するための、パラメトリックステレオアップミクス装置に関する。本発明は更に、パラメトリックステレオアップミクス装置を有するパラメトリックステレオデコーダ、空間パラメータに基づいてモノラルのダウンミクス信号から左信号及び右信号を生成するための方法、オーディオ再生装置、パラメトリックステレオダウンミクス装置、パラメトリックステレオエンコーダ、差分信号のための予測残留信号を生成するための方法、及びコンピュータプログラムに関する。

パラメトリックステレオ（ＰＳ）は、ここ数年のオーディオエンコードにおける大きな進展のひとつである。パラメトリックステレオの基礎は、J. Breebaart、S. van de Par、A. Kohlrausch及びE. Schuijersによる「Parametric Coding of Stereo Audio」（EURASIP J. Appl. Signal Process. 、vol. 9、1305-1322頁、2004年）に説明されている。従来方法、即ちオーディオ信号のいわゆる離散符号化に比べ、図１に示されるようなＰＳエンコーダは、ステレオ信号対（ｌ、ｒ）１０１、１０２を、単一のモノラルのダウンミクス信号１０４と、空間像を記述する少量のパラメトリック１０３とに変換する。これらパラメータは、チャネル間強度差（ｉｉｄｓ）、チャネル間位相（又は時間）差（ｉｐｄｓ／ｉｔｄｓ）及びチャネル間コヒーレンス／相関（ｉｃｃｓ）を有する。ＰＳエンコーダ１００において、ステレオ入力信号（ｌ、ｒ）の空間像が解析され、ｉｉｄ、ｉｐｄ及びｉｃｃパラメータが得られる。好適には、これらパラメータは、時間及び周波数に依存する。各時間／周波数タイルについて、ｉｉｄ、ｉｐｄ及びｉｃｃパラメータが決定される。これらパラメータは量子化及びエンコードされ（１４０）、ＰＳビットストリームに帰着する。更に、これらパラメータは一般に、ステレオ入力信号のダウンミクスがどのように生成されるかを制御するためにも利用される。結果のモノラルの合計信号１０４は次いで、旧来のモノラルオーディオエンコーダ１２０を用いてエンコードされる。最後に、結果のモノラルのビットストリームとＰＳビットストリームとが併合され、全体のステレオビットステレオ１０７を構築する。

ＰＳデコーダ２００において、ステレオビットストリームは、モノラルのビットストリーム２０２とＰＳビットストリーム２０３とに分割される。モノラルのオーディオ信号がデコードされ、モノラルのダウンミクス信号２０４の再構築に帰着する。該モノラルのダウンミクス信号は、デコードされた空間像パラメータ２０５と共に、ＰＳアップミクス２３０に供給される。該ＰＳアップミクスは次いで、出力ステレオ信号対（ｌ、ｒ）２０６、２０７を生成する。ｉｃｃのキューを合成するため、ＰＳアップミクスは、いわゆる非相関信号（ｓｄ）を利用する。即ち、凡そ同じスペクトル及び時間エンベロープを持つが、モノラル入力信号に対して略ゼロの相関を持つモノラルオーディオ信号から、信号が生成される。次いで、空間像パラメータに基づいて、各時間／周波数タイルについてのＰＳアップミクス内で、以下のように２ｘ２行列が決定され適用される。

ここでＨ_ｉｊは（ｉ，ｊ）アップミクス行列Ｈのエントリを表す。Ｈ行列のエントリは、ＰＳパラメータであるｉｉｄ、ｉｉｃ及び任意にｉｐｄ／ｏｐｄの関数である。最先端のＰＳシステムにおいては、ｉｐｄ／ｏｐｄパラメータが利用される場合、アップミクス行列Ｈは以下のように分解されることができる。

ここで左辺の２ｘ２行列は位相回転を表し、ｉｐｄ及びｏｐｄパラメータの関数であり、右辺の２ｘ２行列は、ｉｉｄ及びｉｉｃパラメータを復元する部分を表す。

国際特許出願公開WO2003090206A1において、デコーダにおいてｉｐｄを左及び右チャネルに等しく分散させることが提案されている。更に、測定されたｉｐｄを半分にして整合を得ることにより、左及び右信号を共に互いに向かって回転させることにより、ダウンミクス信号を生成することが提案されている。実際には、略位相が整合していない信号の場合、このことは、エンコーダにおいて生成されたダウンミクスとデコーダにおいて生成されたアップミクスの両方について、時間とともにｉｐｄが約１８０度の周囲で僅かに変化することに帰着し、このことはラッピングが１７９、１７８、−１７９、１７７、−１７９、…のような角度のシーケンスから成り得ることによる。これらのジャンプの結果、ダウンミクスにおける後続する時間／周波数タイルは位相の不連続、又は換言すれば位相の不安定を呈する。本質的なオーバラップ−加算合成構成のため、このことは可聴のアーティファクトに帰着する。

一例として、或る時間／周波数タイルにおいて、ダウンミクスが
ｓ＝ｌｅ^{ｊ（π／２−ε）}＋ｒｅ^{ｊ（−π／２＋ε）}
のように生成され、ここでεは何らかの任意の小さな角度であり、測定されたｉｐｄが１８０度に近かったことを意味し、次の時間−周波数タイルについては、ダウンミクスが
ｓ＝ｌｅ^{ｊ（−π／２＋ε）}＋ｒｅ^{ｊ（π／２−ε）}
のように生成され、測定されたｉｐｄが−１８０度に近かったことを意味する、ダウンミクスを考える。一般的なオーバラップ−加算合成を用いると、連続する時間／周波数タイルの中間点の間で位相相殺が生じることとなる。

以上に議論されたパラメトリックステレオ符号化の主な欠点は、出力ステレオ対を生成する際に利用されるＰＳデコーダにおける両耳間位相差（ｉｐｄ）のキューの合成の不安定さである。該不安定さは、ダウンミクスを生成するためにＰＳエンコーダにおいて、及び出力信号を生成するためにＰＳデコーダにおいて、実行される位相修正に起因する。該不安定さの結果、出力ステレオ対の、より低いオーディオ品質が知覚されることとなる。

該位相不安定の問題に対処するため、実際には、ｉｐｄ合成がしばしば破棄される。しかしながら、このことは、再構築されたステレオ信号の低減された（空間）オーディオ品質に帰着する。

ｉｐｄパラメータが利用される場合の該不安定問題に対処する他の代替策は、位相基準を持つデコーダを提供するために、いわゆる全体位相差（ｏｐｄｓ）をビットストリームに組み込むことである。このようにして、共通の位相回転を可能とすることにより、時間／周波数タイルに亘る連続性が増大させられ得る。しかしながら、このことはビットレートの増大と引き換えに実現され、従って全体のシステム性能の低下に帰着する。

本発明の目的は、付加的なビットレートの増大を伴うことなく生成される左及び右信号の改善されたオーディオ品質を持ち、且つ両耳間位相差（ｉｐｄｓ）合成により引き起こされる不安定さの問題のない、モノラルのダウンミクス信号から左信号及び右信号を生成するための改善されたパラメトリックステレオアップミクス装置を提供することにある。

本目的は、予測係数を用いてスケーリングされたモノラルダウンミクス信号に基づいて左信号と右信号との差を有する差分信号を予測するための手段を有する、パラメトリックステレオ（ＰＳ）アップミクス装置により達成される。該予測係数は、前記空間パラメータから導出される。該ＰＳアップミクス装置は更に、前記モノラルダウンミクス信号と前記差分信号との合計及び差分に基づいて前記左信号及び前記右信号を導出するための算術手段を有する。

提案されるＰＳアップミクス装置は、既知のＰＳデコーダとは異なる、左信号及び右信号の導出の方法を提供する。既知のＰＳデコーダにおけるように統計的な意味で正しい空間像を復元するために空間パラメータを適用する代わりに、提案されるＰＳアップミクス装置は、モノラルダウンミクス信号及び空間パラメータから差分信号を構築する。既知のＰＳも提案されるＰＳも、正しい出力比（ｉｉｄｓ）、相互相関（ｉｃｃｓ）及び位相関係（ｉｐｄｓ）を復元することも目的としている。しかしながら、既知のＰＳデコーダは、最も正確な波形の合致を得ようとするものではない。その代わりに、測定されたエンコーダパラメータが、復元されたデコーダパラメータに統計的に合致することを保証するものである。提案されるＰＳアップミクスにおいては、モノラルダウンミクス信号及び推定された差分信号に適用される、合計及び差分のような単純な算術演算により、左信号及び右信号が得られる。斯かる構築は、再構築される左及び右信号の品質及び安定性に対して優れた結果をもたらす。なぜなら、信号の元の位相の振舞を復元する近接波形合致を提供するからである。

一実施例においては、前記予測係数は、前記差分信号に対する前記ダウンミクス信号の波形マッチングに基づく。波形マッチング自体が、ｉｐｄ及びｏｐｄ合成のために既知のＰＳデコーダにおいて利用される統計的手法ほど、不安定さの問題に直面しない。なぜなら、本質的に位相保存を提供するからである。従って、（複素値の）スケーリングされたモノラルダウンミクス信号として導出された差分信号を利用し、波形マッチングに基づいて予測計数を導出することにより、既知のＰＳデコーダの不安定さの要因が除去される。該波形マッチングは、例えば差分信号に対するモノラルダウンミクス信号の最小二乗マッチングを有し、差分信号を
ｄ＝α・ｓ
と算出し、ここでｓはダウンミクス信号であり、αは予測係数である。最小二乗予測法は、

により与えられることは良く知られており、ここで＜ｓ，ｄ＞＊はダウンミクスと差分信号との相互相関の複素共役を表し、＜ｓ，ｓ＞はダウンミクス信号の出力を表す。

更なる実施例においては、前記予測係数は、前記空間パラメータの関数として、

により与えられ、ここでｉｉｄ、ｉｐｄ及びｉｃｃは空間パラメータであり、ｉｉｄはチャネル間強度差であり、ｉｐｄはチャネル間位相差であり、ｉｃｃはチャネル間コヒーレンスである。知覚的に有意義な意味で複素値の予測係数αを量子化することは、一般に困難である。なぜなら、必要される正確さが、再構築されるべき左及び右信号の特性に依存するからである。それ故、本実施例の利点は、複素数の予測係数αと比べて、空間パラメータについての必要とされる量子化の正確さが、心理音響学から良く知られている点である。従って、心理音響学の知識の最適な利用が、予測係数を効率的に、即ちとり得る最小のステップで量子化して、ビットレートを低減するために利用され得る。更に、本実施例は、後方互換性のあるＰＳコンテンツを用いたアップミクスを可能とする。

更なる実施例においては、前記差分信号を予測するための手段は、スケーリングされた非相関モノラルダウンミクス信号を加算することにより前記差分信号を拡張するように構成される。一般に、モノラルダウンミクス信号から元のエンコーダ差分信号を完全に予測することは不可能であるため、残留信号をもたらす。該残留信号は、ダウンミクス信号とは相関を持たない。なぜなら、そうでないならば、予測係数により考慮に入れられているはずであるからである。多くの場合、残留信号は、録音の反響音場を有する。残留信号は、モノラルダウンミクス信号から導出される、非相関モノラルダウンミクス信号を用いて効果的に合成されることができる。

更なる実施例においては、前記非相関モノラルダウンミクスは、前記モノラルダウンミクス信号のフィルタリングにより得られる。該フィルタリングの目的は、モノラルダウンミクス信号と類似するスペクトル及び時間エンベロープを持つが、ゼロに略近い相関を持つ信号を効果的に生成し、該信号がエンコーダにおいて導出された残留成分の合成変形に対応するようにすることである。このことは例えば、全通過フィルタリング、遅延、格子反響フィルタリング、フィルタリング遅延網、又はこれらの組み合わせにより達成され得る。加えて、非相関信号の各時間／周波数タイルについての出力がモノラルダウンミクス信号の出力に略対応することを確実にするため、非相関信号に出力正規化が適用されても良い。このようにして、デコーダ出力信号が、適正な量の非相関信号出力を含むことが確実にされる。

更なる実施例においては、前記非相関モノラルダウンミクスに適用されるスケーリング因子は、予測エネルギー損失を補償するように設定される。非相関モノラルダウンミクスに適用されるスケーリング因子は、デコーダ側における左信号と右信号の全体の信号出力が、エンコーダ側におけるそれぞれ左信号と右信号の信号出力に合致することを確実にする。従って、スケーリング因子βは、予測エネルギー損失補償因子としても解釈され得る。

更なる実施例においては、前記非相関モノラルダウンミクスに適用されるスケーリング因子は、前記空間パラメータの関数として、

により与えられ、ここでｉｉｄ、ｉｐｄ及びｉｃｃは空間パラメータであり、ｉｉｄはチャネル間強度差であり、ｉｐｄはチャネル間位相差であり、ｉｃｃはチャネル間コヒーレンスであり、αは前記予測係数である。予測係数の場合と同様に、非相関スケーリング因子βを空間パラメータの関数として表現することは、これら空間パラメータの必要とされる量子化の正確さについての知識の利用を可能とする。従って、心理音響の最適な使用が、ビットレートを低減するために利用され得る。

更なる実施例においては、前記パラメトリックステレオアップミクスは、付加的な入力として前記差分信号についての予測残留信号を持ち、前記算術手段は、前記モノラルダウンミクス信号、前記差分信号及び前記差分信号についての前記予測残留信号に基づいて、前記左信号及び前記右信号を導出するように構成される。信号の長い名称を避けるため、予測残留信号なる語句は、本明細書の残りの部分を通じて、差分信号についての予測残留信号のために用いられる。予測残留信号は、元のエンコーダにおける該信号に相当する信号による、合成非相関信号の代替として動作する。このことは、デコーダにおいて元のステレオ信号を復元することを可能とする。しかしながら、このことは、付加的なビットレートと引き換えに為される。なぜなら、予測信号は、エンコードされデコーダに送信される必要があるからである。それ故、典型的には、予測残留信号の帯域幅は制限される。予測残留信号は、所与の時間／周波数タイルについての非相関モノラルダウンミクス信号を完全に置き換えても良いし、又は相補的な態様で動作しても良い。後者は、予測残留信号が僅かにしか符号化されない場合、例えば最上位周波数ビンの幾つかのみがエンコードされるような場合に、有益となり得る。この場合、エンコーダの状況に比べて、依然としてエネルギーが失われることとなる。このエネルギーの欠如は、非相関信号により埋め合わせられる。このとき、新たな非相関スケーリング因子β'が、

と算出され、ここで＜ｄ_{ｒｅｓ，ｃｏｄ}，ｄ_{ｒｅｓ，ｃｏｄ}＞は符号化された予測残留信号の信号出力であり、＜ｓ，ｓ＞はモノラルダウンミクス信号の出力である。これらの信号出力はデコーダ側で測定されることができ、従って信号パラメータとして送信される必要がない。

本発明は更に、前記パラメトリックステレオアップミクス装置を有するパラメトリックステレオデコーダ、及び前記パラメトリックステレオデコーダを有するオーディオ再生装置を提供する。

本発明はまた、パラメトリックステレオダウンミクス装置、及び前記パラメトリックステレオダウンミクス装置を有するパラメトリックステレオエンコーダを提供する。

本発明は更に、方法請求項、及びプログラム可能な装置が本発明による方法を実行することを可能とするコンピュータプログラムを提供する。

本発明のこれらの及び他の態様は、図面に示される実施例を参照しながら説明され明らかとなるであろう。

図面を通して、同一の参照番号は類似する又は対応する特徴を示す。図面に示される特徴の幾つかは、典型的にはソフトウェアで実装され、それ自体がソフトウェアモジュール又はオブジェクトのようなソフトウェアエンティティを表す。

パラメトリックステレオエンコーダ（先行技術）のアーキテクチャを模式的に示す。パラメトリックステレオデコーダ（先行技術）のアーキテクチャを模式的に示す。空間パラメータに基づいてモノラルのダウンミクス信号から左信号及び右信号を生成する、本発明によるパラメトリックステレオアップミクス装置を示す。スケーリングされた非相関モノラルダウンミクス信号を加算することにより差分信号を拡張するように構成された予測手段を有するパラメトリックステレオアップミクス装置を示す。付加的な入力として差分信号についての予測残留信号を持つパラメトリックステレオアップミクス装置を示す。本発明によるパラメトリックステレオアップミクス装置を有するパラメトリックステレオデコーダを示す。本発明による、空間パラメータに基づいてモノラルのダウンミクス信号から左信号及び右信号を生成するための方法についてのフロー図を示す。空間パラメータに基づいて左信号及び右信号からモノラルのダウンミクス信号を生成する、本発明によるパラメトリックステレオダウンミクス装置を示す。本発明によるパラメトリックステレオダウンミクス装置を有するパラメトリックステレオエンコーダを示す。

図３は、本発明によるパラメトリックステレオアップミクス装置３００を示す。該パラメトリックステレオアップミクス装置３００は、空間パラメータ２０５に基づいてモノラルのダウンミクス信号２０４から左信号２０６及び右信号２０７を生成する。

該パラメトリックステレオアップミクス装置３００は、予測係数３２１によりスケーリングされたモノラルダウンミクス信号２０４に基づいて左信号２０６と右信号２０７との間の差を有する差分信号３１１を予測するための手段３１０を有し、これにより、予測係数３２１は、モノラルダウンミクス信号２０４と該差分信号３１１との合計及び差分に基づいて左信号２０６及び右信号２０７を導出するための算出手段３３０及びユニット３２０における空間パラメータ２０５から導出される。

左信号２０６及び右信号２０７は好適には以下のように再構築される。
ｌ＝ｓ＋ｄ
ｒ＝ｓ−ｄ
ここでｓはモノラルダウンミクス信号であり、ｄは差分信号である。このことは、エンコーダ合計信号が

として算出されるという仮定に基づくものである。

実際には、左信号２０６及び右信号２０７を構築する際に利得正規化がしばしば適用される：

ここでｃは利得正規化定数であり、空間パラメータの関数である。利得正規化は、モノラルダウンミクス信号２０４の出力が、左信号２０６及び右信号２０７の出力の合計に等しくなることを確実にする。この場合、エンコーダ合計信号が、
ｓ＝ｃ・（ｌ＋ｒ）
として算出された。

空間パラメータは、予めエンコーダにおいて決定され、パラメトリックステレオアップミクス３００を有するデコーダに送信される。該空間パラメータは、以下のように、各時間／周波数タイル毎に、フレーム毎に決定される。

ここでｉｉｄはチャネル間強度差であり、ｉｃｃはチャネル間コヒーレンスであり、ｉｐｄはチャネル間位相差であり＜ｌ，ｌ＞及び＜ｒ，ｒ＞はそれぞれ左及び右信号出力であり、＜ｌ，ｒ＞は左信号と右信号との間の正規化されていない複素値共分散係数を表す。

ＤＦＴ（ＦＦＴ）のような典型的な複素値周波数ドメインについては、これら出力は、

のように測定される。ここでｋ_ｔｉｌｅはパラメータ帯域に対応するＤＦＴビンを表す。ここで、例えばP. Ekstrandによる「Bandwidth extension of audio signals by spectral band replication」（Proc. 1st IEEE Benelux Workshop on Model based Processing and Coding of Audio (MPCA-2002) 、Leuven、ベルギー、2002年11月、73−79頁）に記載されたような、複素指数変調ＱＭＦバンクのような、他の複素ドメイン表現が利用されても良いことに留意されたい。

１．５乃至２ｋＨｚまでの低周波数については、以上の式が成り立つ。しかしながら、より高い周波数については、ｉｐｄパラメータは知覚に重要ではなく、それ故これらパラメータはゼロ値に設定され、以下に帰着する。

代替としては、高い周波数においては位相差よりも広帯域エンベロープが知覚に重要であるため、ｉｃｃは

と算出される。

利得正規化定数ｃは、

と表現される。

左信号と右信号との位相が合っていないためにｃは無限大に近づき得るため、利得正規化定数ｃの値は典型的には以下のように制限される。

ここでｃ_ｍａｘは最大増幅因子であり、例えばｃ_ｍａｘ＝２である。

一実施例においては、前記予測係数は、波形マッチングを用いたモノラルダウンミクス信号２０４からの差分信号３１１の推定に基づく。該波形マッチングは、例えば差分信号３１１に対するモノラルダウンミクス信号２０４の最小二乗マッチングを有し、
ｄ＝α・ｓ
と与えられる差分信号に帰着し、ここでｓはモノラルダウンミクス信号２０４であり、αは予測係数３２１である。

最小二乗マッチングの他にも、Ｌ_２ノルム以外のノルムを用いた波形マッチングが利用され得る。代替としては、ｐノルム誤差||ｄ−α・ｓ||^ｐが、例えば知覚的に重み付けされても良い。しかしながら、送信された空間像パラメータから予測係数を導出するための比較的単純な計算に帰着するため、最小二乗マッチングが有利である。

予測係数αについての最小二乗予測法は、

により与えられることが良く知られている。ここで＜ｓ，ｄ＞^＊はモノラルダウンミクス信号２０４と差分信号３１１との相互相関の複素共役を表し、＜ｓ，ｓ＞はモノラルダウンミクス信号の出力を表す。

更なる実施例においては、予測係数３２１は、以下のように、空間パラメータの関数として与えられる。

該予測係数は、以上の式に従って、ユニット３２０において算出される。

図４は、スケーリングされた非相関モノラルダウンミクス信号を加算することにより差分信号を拡張するように構成された予測手段３１０を有する、パラメトリックステレオアップミクス装置３００を示す。モノラルダウンミクス信号２０４は、非相関化のためのユニット３４０に供給される。その結果、ユニット３４０の出力部において、非相関モノラルダウンミクス信号３４１が供給される。予測手段３１０において、差分信号の第１の部分が、予測係数３２１を用いてモノラルダウンミクス信号２０４をスケーリングすることにより算出される。更に、非相関モノラルダウンミクス信号３４１もまた、スケーリング因子３２２を用いて、予測手段３１０においてスケーリングされる。その結果の差分信号の第２の部分は、差分信号の第１の部分に加算され、拡張された差分信号３１１に帰着する。モノラルダウンミクス信号２０４及び拡張された差分信号３１１は算術手段３３０に供給され、該算術手段３３０が左信号２０６及び右信号２０７を算出する。

一般に、予測係数を用いてスケーリングを行うだけでは、モノラルダウンミクス信号から差分信号を正確に予測することはできない。このことは、残留信号ｄ_ｒｅｓ＝ｄ−α・ｓをもたらす。該残留信号は、ダウンミクス信号とは相関を持たない。なぜなら、そうでないならば、予測係数により考慮に入れられているはずであるからである。多くの場合、残留信号は、録音の反響音場を有する。残留信号は、モノラルダウンミクス信号から導出される、非相関モノラルダウンミクス信号を用いて効果的に合成される。該非相関信号は、予測手段３１０において算出された差分信号の第２の部分である。

更なる実施例においては、該非相関モノラルダウンミクス３４１は、モノラルダウンミクス信号２０４のフィルタリングにより得られる。該フィルタリングは、ユニット３４０において実行される。該フィルタリングは、モノラルダウンミクス信号２０４と類似するスペクトル及び時間エンベロープを持つが、ゼロに略近い相関を持つ信号を生成し、該信号がエンコーダにおいて導出された残留成分の合成変形に対応するようにする。この効果は例えば、全通過フィルタリング、遅延、格子反響フィルタリング、フィルタリング遅延網、又はこれらの組み合わせにより達成される。

更なる実施例においては、非相関モノラルダウンミクス３４１に適用されるスケーリング因子３２２が、予測エネルギー損失を補償するように設定される。非相関モノラルダウンミクス３４１に適用されるスケーリング因子３２２は、パラメトリックステレオアップミクス装置３００の出力部における左信号２０６及び右信号２０７の全体信号出力が、エンコーダ側におけるそれぞれ左及び右信号出力の信号出力と合致することを確実にする。従って、スケーリング因子（以下βとして示される）は、予測エネルギー損失補償因子として解釈される。このとき、差分信号ｄは、
ｄ＝α・ｓ＋β・ｓ_ｄ
として表され、ｓ_ｄは非相関モノラルダウンミクス信号である。

該スケーリング因子３２２は、差分信号ｄ及びモノラルダウンミクス信号ｓに対応する信号出力によって、

と表現され得ることが分かる。

更なる実施例においては、非相関モノラルダウンミクス３４１に適用されるスケーリング因子３２２が、以下のように、空間パラメータ２０５の関数として与えられる。

該スケーリング因子３２２は、ユニット３２０において導出される。

エンコーダにおいてダウンミクス正規化が適用されていない場合、即ちダウンミクス信号がｓ＝１／２（ｌ＋ｒ）として算出された場合、左信号２０６及び右信号２０７は、

と表現される。

ダウンミクスが適用されている場合、即ちダウンミクス信号がｓ＝ｃ（ｌ＋ｒ）として算出された場合、左信号２０６及び右信号２０７は、

と表現される。

図５は、付加的な入力として差分信号についての予測残余信号３３１を持つパラメトリックステレオアップミクス装置５００を示す。算術手段３３０は、モノラルダウンミクス信号２０４、差分信号３１１及び該予測残余信号３３１に基づいて、左信号２０６及び右信号２０７を導出するように構成される。手段３１０は、予測係数３２１を用いてスケーリングされたモノラルダウンミクス信号２０４に基づいて、差分信号３１１を予測する。該予測係数３２１は、空間パラメータ２０５に基づいて、ユニット３２０において導出される。

左信号２０６及び右信号２０７は、それぞれ
ｌ＝ｓ＋ｄ＋ｄ_ｒｅｓ
ｒ＝ｓ−ｄ−ｄ_ｒｅｓ
と与えられ、ここでｄ_ｒｅｓは予測残留信号である。

代替として、出力正規化がダウンミクスに適用されているが、残留信号には適用されていない場合には、左信号及び右信号は、

と導出される。

予測残留信号３３１は、元のエンコーダにおける該信号に相当する信号による、合成非相関信号３４１の代替として動作する。該信号は、パラメトリックステレオアップミクス装置３００により元のステレオ信号を復元することを可能とする。予測残留信号３３１は、所与の時間／周波数タイルについての非相関モノラルダウンミクス信号３４１を完全に置き換えても良いし、又は相補的な態様で動作しても良い。後者は、予測残留信号が僅かにしか符号化されない場合、例えば最上位周波数ビンの幾つかのみがエンコードされるような場合に、有益である。この場合、エンコーダ予測残留信号と比べて、依然としてエネルギーが失われることとなる。このエネルギーの欠如は、非相関信号３４１により埋め合わせられる。このとき、新たな非相関スケーリング因子β'が、

と算出され、ここで＜ｄ_{ｒｅｓ，ｃｏｄ}，ｄ_{ｒｅｓ，ｃｏｄ}＞は符号化された予測残留信号の信号出力であり、＜ｓ，ｓ＞はモノラルダウンミクス信号２０４の出力である。

パラメトリックステレオアップミクス装置３００は、パラメトリックステレオデコーダの最先端の構成において、いずれの追加的な適合なく利用されることができる。この場合、パラメトリックステレオアップミクス装置３００は、図２に示されたようなアップミクスユニット２３０を置き換える。予測残留信号３３１がパラメトリックステレオアップミクス４００により利用される場合には、図６に示される幾つかの適合が必要となる。

図６は、本発明によるパラメトリックステレオアップミクス装置４００を有するパラメトリックステレオデコーダを示す。パラメトリックステレオデコーダは、入力ビットストリームを、モノラルビットストリーム２０２と予測残留ビットストリーム３３２とパラメータビットストリーム２０３とに分割するための多重分離手段２１０を有する。モノラルデコード手段２２０は、該モノラルビットストリーム２０２をモノラルダウンミクス信号２０４にデコードする。該モノラルデコード手段は更に、予測残留ビットストリーム３３２を予測残留信号３３１にデコードするように構成される。パラメータデコード手段２４０は、パラメータビットストリーム２０３を空間パラメータ２０５にデコードする。パラメトリックステレオアップミクス装置４００は、空間パラメータ２０５に基づいて、モノラルダウンミクス信号２０４及び予測残留信号３３１から、左信号２０６及び右信号２０７を生成する。モノラルダウンミクス信号２０４及び予測残留信号のデコードはデコード手段２２０により実行されるが、該デコードはデコードされるべき信号のそれぞれのための別個のデコードソフトウェア及び／又はハードウェアにより実行されることも可能である。

図７は、本発明による、空間パラメータに基づいてモノラルダウンミクス信号２０４から左信号２０６及び右信号２０７を生成するための方法のフロー図を示す。第１のステップ７１０において、左信号２０６と右信号２０７との間の差を有する差分信号３１１が、予測係数３２１を用いてスケーリングされたモノラルダウンミクス信号２０４に基づいて予測され、ここで該予測係数は空間パラメータ２０５から導出される。第２のステップ７２０において、モノラルダウンミクス信号２０４と該差分信号３１１との合計及び差分に基づいて左信号２０６及び右信号２０７が導出される。

第２のステップ７２０において予測残留信号が利用可能である場合には、モノラルダウンミクス信号２０４及び分信号３１１に加えて該測残留信号が、左信号２０６及び右信号２０７を導出するために利用される。

パラメトリックステレオデコーダにおいてパラメトリックステレオアップミクス３００が利用される場合には、パラメトリックステレオエンコーダに対する変更は必要とされない。先行技術において知られたパラメトリックステレオエンコーダが用いられることができる。

しかしながら、パラメトリックステレオアップミクス４００が利用される場合には、パラメトリックステレオエンコーダは、ビットストリームに予測残留信号を供給するように適合される必要がある。

図８は、空間パラメータに基づいて左信号及び右信号からモノラルダウンミクス信号を生成する、本発明によるパラメトリックステレオダウンミクス装置８００を示す。該パラメトリックステレオダウンミクス装置８００は、モノラルダウンミクス信号１０４に加え、予測残留信号である更なる信号８０１を出力する。該パラメトリックステレオダウンミクス装置８００は、左信号１０１と右信号１０２との間の差を有する差分信号８１１、及びモノラルダウンミクス信号１０４を導出するための、更なる算術手段８１０を有する。該パラメトリックステレオダウンミクス装置８００は更に、空間パラメータ１０３から導出された所定の予測係数８３１を用いてスケーリングされたモノラルダウンミクス信号１０４と差分信号８１１との間の差として予測残留信号（差分信号についての）を導出するための更なる予測手段８２０を有する。該所定の予測係数は、ユニット８３０において決定される。該所定の予測係数は、モノラルダウンミクス信号１０４に直交する予測残留信号８０１を提供するように選択される。加えて、ダウンミクス信号の出力正規化が利用されても良い（図８には図示されていない）。

パラメトリックステレオアップミクス装置とパラメトリックステレオダウンミクス装置とにおいて、モノラルダウンミクス及び予測残留に対応する信号の番号は異なる参照番号を持っているが、モノラルダウンミクス信号２０４及び１０４は互いに対応し、予測残留信号３３１及び８０１も互いに対応することは明らかであろう。

図９は、本発明によるパラメトリックステレオダウンミクス装置８００を有するパラメトリックステレオエンコーダを示す。該パラメトリックステレオエンコーダは、
左信号１０１及び右信号１０２から空間パラメータ１０３を導出するための推定手段１３０と、
空間パラメータ１０３に基づいて左信号１０１及び右信号１０２からモノラルダウンミクス信号１０４を生成するための、本発明によるパラメトリックステレオダウンミクス手段１１０と、
モノラルダウンミクス信号１０４をモノラルビットストリーム１０５にエンコードするためのモノラルエンコード手段１２０であって、予測残留信号８０１を予測残留ビットストリーム８０２にエンコードするように更に構成されたモノラルエンコード手段１２０と、
空間パラメータ１０３をパラメータビットストリーム１０６にエンコードするためのパラメータエンコード手段１４０と、
モノラルビットストリーム１０５とパラメータビットストリーム１０６と予測残留ビットストリーム８０２とを出力ビットストリーム１０７へと併合するための多重化手段１５０と、
を有する。

モノラルダウンミクス信号１０４及び予測残留信号８０１のエンコードはエンコード手段１２０により実行されるが、該エンコードは、エンコードされるべき信号のそれぞれのための別個のエンコードソフトウェア及び／又はハードウェアにより実行されることも可能である。

更に、複数の手段、要素又は方法ステップは、別個に列記されていても、例えば単一のユニット又はプロセッサにより実装されても良い。加えて、個々の特徴が異なる請求項に含められ得るが、これら特徴は有利に組み合わせられても良く、異なる請求項に含められていることは、これら特徴の組み合わせが利用可能ではない及び／又は有利ではないことを意味するものではない。また、或るカテゴリの請求項に特徴を含むことは、該カテゴリに対する限定を意味するものではなく、該特徴が他の請求項のカテゴリに適宜等しく適用可能であることを示す。更に、請求項における特徴の順序は、これら特徴が動作する順序を示すものではなく、またとりわけ、方法の請求項における個々のステップの順序は、これらステップが該順序で実行される必要があることを示すものではない。これらステップは、いずれの適切な順序で実行されても良い。加えて、単数形の参照は複数を除外するものではない。従って、「１つの（a、an）」、「第１の（first）」及び「第２の（second）」等への参照は、複数を除外するものではない。請求項における参照記号は単に例を明確にするためのものであり、いずれの態様においても請求項の範囲を限定するものとして解釈されるべきではない。

Claims

空間パラメータに基づいてモノラルダウンミクス信号から左信号及び右信号を生成するための、パラメトリックステレオアップミクス装置において、前記パラメトリックステレオアップミクス装置は、前記空間パラメータから導出される予測係数を用いてスケーリングされた前記モノラルダウンミクス信号に基づいて前記左信号と前記右信号との差を有する差分信号を予測するための手段と、前記モノラルダウンミクス信号と前記差分信号との合計及び差分に基づいて前記左信号及び前記右信号を導出するための算術手段と、を有することを特徴とする、パラメトリックステレオアップミクス装置。
前記予測係数は、前記差分信号に対する前記ダウンミクス信号の波形マッチングに基づく、請求項１に記載のパラメトリックステレオアップミクス装置。
前記予測係数は、前記空間パラメータの関数として、

により与えられ、ここでｉｉｄ、ｉｐｄ及びｉｃｃは空間パラメータであり、ｉｉｄはチャネル間強度差であり、ｉｐｄはチャネル間位相差であり、ｉｃｃはチャネル間コヒーレンスである、請求項２に記載のパラメトリックステレオアップミクス装置。
前記差分信号を予測するための手段は、スケーリングされた非相関モノラルダウンミクス信号を加算することにより前記差分信号を拡張するように構成された、請求項１乃至３のいずれか一項に記載のパラメトリックステレオアップミクス装置。
前記非相関モノラルダウンミクスは、前記モノラルダウンミクス信号のフィルタリングにより得られる、請求項４に記載のパラメトリックステレオアップミクス装置。
前記非相関モノラルダウンミクスに適用されるスケーリング因子は、予測エネルギー損失を補償するように設定される、請求項４に記載のパラメトリックステレオアップミクス装置。
前記非相関モノラルダウンミクスに適用されるスケーリング因子は、前記空間パラメータの関数として、

により与えられ、ここでｉｉｄ、ｉｐｄ及びｉｃｃは空間パラメータであり、ｉｉｄはチャネル間強度差であり、ｉｐｄはチャネル間位相差であり、ｉｃｃはチャネル間コヒーレンスであり、αは前記予測係数である、請求項６に記載のパラメトリックステレオアップミクス装置。
前記パラメトリックステレオアップミクスは、付加的な入力として前記差分信号についての予測残留信号を持ち、前記算術手段は、前記モノラルダウンミクス信号、前記差分信号及び前記差分信号についての前記予測残留信号に基づいて、前記左信号及び前記右信号を導出するように構成された、請求項１乃至７のいずれか一項に記載のパラメトリックステレオアップミクス装置。
入力ビットストリームをモノラルビットストリームとパラメータビットストリームとに分割するための多重分離手段と、前記モノラルビットストリームをモノラルダウンミクス信号にデコードするためのモノラルデコード手段と、前記パラメータビットストリームを空間パラメータにデコードするためのパラメータデコード手段と、前記空間パラメータに基づいて前記モノラルダウンミクス信号から左信号及び右信号を生成するためのパラメトリックステレオアップミクス手段と、を有するパラメトリックステレオデコーダであって、前記パラメトリックステレオデコーダは更に、請求項１乃至７のいずれか一項に記載のパラメトリックステレオアップミクス装置を有する、パラメトリックステレオデコーダ。
入力ビットストリームをモノラルビットストリームとパラメータビットストリームとに分割するための多重分離手段と、前記モノラルビットストリームをモノラルダウンミクス信号にデコードするためのモノラルデコード手段と、前記パラメータビットストリームを空間パラメータにデコードするためのパラメータデコード手段と、前記空間パラメータに基づいて前記モノラルダウンミクス信号から左信号及び右信号を生成するためのパラメトリックステレオアップミクス手段と、を有するパラメトリックステレオデコーダにおいて、前記多重分離手段は更に、前記入力ビットストリームから予測残留ビットストリームを抽出するように構成され、前記モノラルデコード手段は更に、前記予測残留ビットストリームから差分信号についての予測残留信号をデコードするように構成され、前記パラメトリックステレオアップミクス手段は、請求項８に記載のパラメトリックステレオアップミクス装置であることを特徴とする、パラメトリックステレオデコーダ。
空間パラメータに基づいてモノラルダウンミクス信号から左信号及び右信号を生成するための方法において、
前記空間パラメータから導出される予測係数を用いてスケーリングされた前記モノラルダウンミクス信号に基づいて前記左信号と前記右信号との差を有する差分信号を予測するステップと、
前記モノラルダウンミクス信号と前記差分信号との合計及び差分に基づいて前記左信号及び前記右信号を導出するステップと、
を有することを特徴とする方法。
前記左信号及び前記右信号を導出するステップは、前記差分信号についての予測残留信号にも基づく、請求項１１に記載の空間パラメータに基づいてモノラルダウンミクス信号から左信号及び右信号を生成するための方法。
請求項９又は１０に記載のパラメトリックステレオデコーダを有する、オーディオ再生装置。
空間パラメータに基づいて左信号及び右信号からモノラルダウンミクス信号を生成するためのパラメトリックステレオダウンミクス装置において、前記パラメトリックステレオダウンミクス装置は、付加的な入力として差分信号についての予測残留信号を持ち、前記パラメトリックステレオダウンミクス装置は、前記左信号と前記右信号との間の差を有する差分信号及びモノラルダウンミクス信号を導出するための更なる算術手段と、前記空間パラメータから導出された所定の予測係数を用いてスケーリングされた前記モノラルダウンミクス信号と前記差分信号との間の差として前記差分信号についての予測残留信号を導出するための更なる予測手段と、を有することを特徴とする、パラメトリックステレオダウンミクス装置。
左信号及び右信号から空間パラメータを導出するための推定手段と、空間パラメータに基づいて前記左信号及び前記右信号からモノラルダウンミクス信号を生成するためのパラメトリックステレオダウンミクス手段と、前記モノラルダウンミクス信号をモノラルビットストリームにエンコードするためのモノラルエンコード手段と、空間パラメータをパラメータビットストリームにエンコードするためのパラメータエンコード手段と、前記モノラルビットストリームと前記パラメータビットストリームとを出力ビットストリームへと併合するための多重化手段と、を有するパラメトリックステレオエンコーダにおいて、前記パラメトリックステレオダウンミクス手段は、請求項１４に記載のパラメトリックステレオダウンミクス装置であり、前記モノラルエンコード手段は更に、差分信号についての予測残留信号を予測残留ビットストリームへとエンコードするように構成され、前記多重化手段は更に、前記予測ビットストリームを出力ストリームへ併合するように構成されたことを特徴とする、パラメトリックステレオエンコーダ。
空間パラメータに基づいて左信号及び右信号から差分信号についての予測残留信号を生成するための方法において、
前記左信号と前記右信号との間の差分信号を導出するステップと、
前記空間パラメータから導出された予測係数を用いてスケーリングされたモノラルダウンミクス信号と前記差分信号との間の差として前記差分信号についての予測残留信号を導出するステップと、
を有することを特徴とする方法。
併合されたモノラルダウンミクスストリーム、パラメータストリーム及び予測残留ストリームを有する、データビットストリーム。
請求項１１、１２又は１６に記載の方法を実行するためのコンピュータプログラム。