JP2011527456A - オーディオのエンコーディング及びデコーディングにおける位相情報の効率的な使用 - Google Patents

Abstract

第１及び第２の入力オーディオ信号の効率的なエンコード済み表現を、入力オーディオ信号の少なくとも第１又は第２の異なる特性を知らせる信号特性情報が追加で考慮される場合に、第１及び第２の入力オーディオ信号の間の相関を表わす相関情報を使用して導出することができる。入力オーディオ信号が第１の特性を有する場合に、第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報が導出される。入力オーディオ信号が第１の特性を有する場合には、位相情報及び相関の指標がエンコード済み表現に含められ、入力オーディオ信号が第２の特性を有する場合には、相関情報だけがエンコード済み表現に含められる。
【選択図】図４

Description

本発明は、オーディオエンコーディング及びオーディオデコーディングに関し、特に位相情報の再構成が知覚的に関係のある場合に位相情報を選択的に抽出及び／又は伝達するエンコーディング及びデコーディングの仕組みに関する。

バイノーラル・キュー・コーディング（ＢＣＣ）、パラメトリックステレオ（ＰＳ）又はＭＰＥＧサラウンド（ＭＰＳ）など、最近のパラメータによる多チャネルコーディングの仕組みは、空間知覚のために人間の聴覚系のキュー(cue)のコンパクトなパラメータ表現を使用する。これにより、２以上のオーディオチャネルを有するオーディオ信号を、レートに関して効率的に表現することができる。この目的のために、エンコーダが、Ｍ個の入力チャネルからＮ個の出力チャネルへのダウンミックスを実行し、抽出されたキューをダウンミックス信号とともに送信する。キューは、さらに、人間の知覚の原理に従って量子化され、すなわち人間の聴覚系にとって聞き取ることができないか又は識別することができない情報は、削除するか粗く量子化することができる。

ダウンミックス信号は「包括的(generic)」なオーディオ信号であるため、シングルチャネルのオーディオ圧縮器を使用してダウンミックス信号又はダウンミックス信号のチャネルを圧縮することによって、元のオーディオ信号のそのようなエンコード済みの表現によって消費される帯域幅をさらに減らすことができる。さまざまな種類のそのようなシングルチャネルのオーディオ圧縮器が、以下の段落においてコアコーダとして簡単に説明される。

２以上のオーディオチャネルの間の空間的な相互関係を記述するために使用される典型的なキューは、入力チャネル間のレベルの関係をパラメータ化するチャネル間レベル差（ＩＬＤ）、入力チャネル間の統計的依存性をパラメータ化するチャネル間相関／コヒーレンス（ＩＣＣ）、及び入力チャネルの類似の信号部分の間の時間差又は位相差をパラメータ化するチャネル間時間差／位相差（ＩＴＤ又はＩＰＤ）である。

ダウンミックス及び上述のキューによって表現される信号の知覚品質を高く保つために、通常は、異なる周波数帯に対して個々のキューが計算される。すなわち、信号の一定の時間部分について、同じ特性をパラメータ化する複数のキューであって、各々のキューパラメータが信号の所定の周波数帯を表現している複数のキューが送信される。

それらのキューは、時間及び周波数に関して人間の周波数分解能に近い尺度に依存して計算することができる。多チャネルオーディオ信号が表現されるときは常に、対応するデコーダが、送信された空間キュー及びダウンミックス送信信号にもとづいて、Ｍ個のチャネルからＮ個のチャネルへのアップミックスを実行する（したがって、送信されるダウンミックスは搬送信号と呼ばれることが多い）。

一般に、得られるアップミックスチャネルは、送信されたダウンミックスをレベル及び位相に関して重み付けしたバージョンとして記述することができる。信号のエンコーディング時に生成された脱相関は、送信された相関パラメータ（ＩＣＣ）によって示されるように、送信されたダウンミックス信号（「ドライ」信号）にダウンミックス信号から導出される脱相関信号(decorrelated signal)（「ウェット」信号）を混合し、かつダウンミックス信号を脱相関信号で重み付けすることによって合成することができる。その結果、アップミックスされたチャネルは、元のチャネルが有していたのと同様の互いの相関を有する。脱相関信号（すなわち、送信された信号と相互相関されたときにゼロに近い相互相関係数を有している信号）は、例えば全域通過フィルタ及び遅延線などの一連のフィルタへダウンミックス信号を供給することによって生成することができる。しかしながら、脱相関信号を生成するさらなる方法も使用可能である。

当然ながら、上述のエンコーディング／デコーディングの仕組みの特定の実施例においては、送信されるビットレート（理想的には可能なかぎり低い）と達成可能なエンコード後の信号の品質（理想的には可能なかぎり高い）との間の相対関係を成立させなければならない。

したがって、空間キューの一式すべてを送信するのではなく、１つの特定のパラメータの送信を省略するように決定することができる。さらには、この決定は、適切なアップミックスの選択によっても左右されうる。ある適切なアップミックスでは、例えば、送信されない空間キューを平均により再生することができる。すなわち、少なくとも全帯域幅の信号の長期部分においては、平均の空間特性は保存されている。

特に、パラメータによる多チャネルの仕組みのすべてがチャネル間の時間差又はチャネル間の位相差を利用しているわけではなく、それによってそれぞれの計算及び合成を避けている。ＭＰＥＧサラウンドなどの仕組みは、ＩＬＤとＩＣＣの合成のみに依存している。チャネル間の位相差は脱相関(decorrelation)の合成によって暗黙のうちに近似され、脱相関の合成では、１８０°の相対の位相シフトを有している脱相関信号の２つの表現が、送信されたダウンミックス信号に混合される。ＩＰＤの送信が省略されることで、必要とされるパラメータ情報の量が少なくなるが、それと同時に再生の低下を受け入れている。

したがって、必要とされるビットレートを大きくは増加させることなく、信号のより良好な再構成品質をもたらす必要が存在している。

本発明の一実施の形態は、第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報を該入力オーディオ信号の間の位相シフトが所定のしきい値を超える場合に導出する位相評価部を使用することによってこの目標を達成する。空間パラメータ及びダウンミックス信号を入力オーディオ信号のエンコード済み表現へと含ませる関連の出力インターフェイスが、位相情報の送信が知覚的見地から必要である場合にのみ、導出された位相情報を入力オーディオ信号のエンコード済み表現へと含ませる。

この目的のために、位相情報の割り出しを連続的に実行し、位相情報を含ませるべきか否かの判断だけを、しきい値にもとづいて行うことができる。そのしきい値は、例えば、追加の位相情報の処理を必要とせずに容認可能な品質の再構成信号を実現することができる許容可能な最大の位相シフトを表わすことができる。

あるいは、位相のしきい値を超えた場合に限って位相情報を導出するための適当な位相分析が行われるように、入力オーディオ信号の間の位相シフトを、位相情報の実際の生成とは別個独立に導出することができる。

あるいは、継続的に生成される位相情報を受信し、位相情報の条件が満たされる場合（例えば、入力信号の間の位相差が所定のしきい値を超える場合）に限って位相情報を含ませるように出力インターフェイスを制御する空間出力モード決定部を実装することができる。

すなわち、出力インターフェイスは、もっぱらＩＣＣパラメータ及びＩＬＤパラメータをダウンミックス信号とともに入力オーディオ信号のエンコード済み表現に含ませる。特定の信号特性を有する信号が生じたときに、エンコード済み表現を使用して再構成される信号をより高い品質で再構成できるよう、決定された位相情報が入力オーディオ信号のエンコード済み表現にさらに含められる。しかしながら、これは、位相情報が実際に送信されるのが重要な信号部分についてのみであるため、追加で送信される情報の量を最小限に抑えつつ達成することが可能である。

これにより、一方では高品質の再構成が可能になり、他方では低いビットレートの実現が可能になる。

本発明のさらなる実施の形態は、異なる信号種又は信号特性を有する入力オーディオ信号の間の区別を行う信号特性情報を導出するために信号を分析する。これは、例えば、スピーチ信号とミュージック信号の異なる特性とすることができる。位相評価部は、入力オーディオ信号が第１の特性を有する場合にのみ必要とすることができ、入力オーディオ信号が第２の特性を有する場合には位相の評価を不要にすることができる。したがって、出力インターフェイスは、容認できる品質の再構成信号をもたらすために位相合成が必要であるような信号がエンコードされるときにのみ、位相情報を含ませる。

例えば相関情報（例えば、ＩＣＣパラメータ）などの他の空間キューは、それらの存在が両方の信号種又は信号特性において重要である可能性があるため、常にエンコード済み表現に含められる。これは、例えば、２つの再構成チャネルの間のエネルギーの関係を本質的に表わすチャネル間のレベル差にも当てはまる可能性がある。

さらなる実施の形態においては、位相の評価は、第１及び第２の入力オーディオ信号の間の相関ＩＣＣなど、他の空間キューにもとづいて実行することができる。これは、信号特性についていくつかの追加の制約を含む特性情報が存在する場合に、実現可能にすることができる。その場合、ＩＣＣパラメータは、統計的情報の他に位相情報も抽出するために使用することができる。

さらなる実施の形態によれば、所定のサイズの位相シフトの適用を知らせるただ１つの位相スイッチが実装される点で、位相情報はビットに関してきわめて効率的に含ませることができる。それにもかかわらず、さらに詳しくは後述されるように、特定の信号種については再構成における位相関係の粗い再構成で充分である。さらなる実施の形態においては、位相情報は、はるかに高い分解能（例えば、１０又は２０の異なる位相シフト）にて知らせることができ、又は−１８０°〜＋１８０°の間の考えられる相対位相角を与える連続的なパラメータとして知らせることさえ可能である。

信号特性がわかっているとき、位相情報は、ＩＣＣ及び／又はＩＬＤパラメータの導出に使用された周波数帯域の数よりもはるかに少ない少数の周波数帯域についてのみ送信することができる。例えば、オーディオ入力信号がスピーチ特性を有することがわかっている場合、全帯域幅についてただ１つの位相情報だけしか必要でないかもしれない。さらなる実施の形態においては、ただ１つの位相情報は、例えば１００Ｈｚ〜５ｋＨｚの間の周波数範囲について導出することができる。なぜならば、話し手の信号エネルギーが、主としてこの周波数範囲に分布していると推定されるからである。全帯域について共通の位相情報パラメータは、例えば、位相シフトが９０度又は６０度を超える場合に実行できるようにすることができる。

さらには、信号特性がわかっているとき、位相情報は、すでに存在するＩＣＣパラメータ又は相関パラメータから、これらのパラメータにしきい値基準を適用することによって直接導出することができる。例えば、ＩＣＣパラメータが−０.１よりも小さい場合に、さらに詳しくは後述されるように入力オーディオ信号のスピーチ特性が他のパラメータを制約するため、この相関パラメータは一定の位相シフトに対応すると結論付けることができる。

本発明のさらなる実施の形態においては、信号から導出されたＩＣＣパラメータ（相関パラメータ）は、位相情報をビットストリームへと含ませるときに、さらに調節又は事後処理される。これは、ＩＣＣ（相関）パラメータが実際には２つの特性についての情報（すなわち、入力オーディオ信号間の統計的依存性についての情報及びそれらの信号間の位相シフトについての情報）を含む可能性があるという事実を利用する。したがって、追加の位相情報が送信されるとき、相関パラメータは、信号の再構成の際に位相及び相関が可能なかぎり良好に別個に考慮されるように調節することができる。

完全に下位互換(backwards compatible)な筋書きにおいては、そのような相関の調節は、本発明のデコーダの実施の形態によっても実行することができる。それは、デコーダが追加の位相情報を受信したとき行わせることができる。

そのような知覚的に優れた再構成を可能にするために、本発明のオーディオデコーダのいくつかの実施の形態は、オーディオデコーダの内部のアップミキサによって生成された中間信号に対して働く追加の信号プロセッサを備えることができる。そのアップミキサは、例えば、ダウンミックス信号及び位相情報以外のすべての空間キュー（ＩＣＣ及びＩＬＤ）を受信する。そのアップミキサは、空間キューによって記述されたとおりの信号特性を有する第１及び第２の中間オーディオ信号を導出する。この目的のため、脱相関信号部分（ウェット信号）及び送信されたダウンミックスチャネル（ドライ信号）を混合するために、追加の反響（脱相関）信号の生成を予見することができる。

しかしながら、前記の追加の信号プロセッサである中間信号ポストプロセッサは、位相情報がオーディオデコーダによって受信されたときに、中間信号の少なくとも１つに追加の位相シフトを適用する。すなわち、中間信号ポストプロセッサは、追加の位相情報が送信される場合に限って動作することができる。すなわち、本発明のオーディオデコーダのいくつかの実施の形態は、従来からのオーディオデコーダと完全な互換性をもつ。

デコーダのいくつかの実施の形態における処理は、エンコーダ側における処理と同様に、時間及び周波数に関して選択的な様相で実行することができる。すなわち、複数の周波数帯域を有している一連の隣接する時間スライスを処理することができる。したがって、オーディオエンコーダのいくつかの実施の形態は、時間的に連続したオーディオ信号がエンコーダによって出力されるよう、生成された中間オーディオ信号及び事後処理済みの中間オーディオ信号を組み合わせるための信号結合部を備えている。

すなわち、信号結合部は、第１のフレーム（時間部分）についてアップミキサによって導出された中間オーディオ信号を使用することができ、第２のフレームについて中間信号ポストプロセッサによって導出された事後処理済み中間信号を使用することができる。位相シフトの導入に加え、より高度な信号処理を中間信号ポストプロセッサに実装することも、当然ながら可能である。

これに代え、又はこれに加えて、オーディオデコーダのいくつかの実施の形態は、位相情報が追加で受信される場合に受信された相関情報ＩＣＣを事後処理するなどのために、相関情報プロセッサを備えることができる。次いで、事後処理された相関情報は、従来からのアップミキサによって、信号ポストプロセッサによって導入される位相シフトとの組み合わせにおいてオーディオ信号の自然に聞こえる再生を達成できるように、中間オーディオ信号を生成するために使用することができる。

次に、本発明のいくつかの実施の形態を、添付の図面を参照して以下で説明する。

ダウンミックス信号から２つの出力信号を生成するアップミキサを示している。 図１のアップミキサによるＩＣＣパラメータの使用の例を示している。 エンコードされるオーディオ入力信号の信号特性の例を示している。 オーディオエンコーダの実施の形態を示している。 オーディオエンコーダのさらなる実施の形態を示している。 図４及び図５のエンコーダのうちの１つによって生成されたオーディオ信号のエンコード済み表現の例を示している。 エンコーダのさらなる実施の形態を示している。 スピーチ／ミュージックのエンコーディングのためのエンコーダのさらなる実施の形態を示している。 デコーダの実施の形態を示している。 デコーダのさらなる実施の形態を示している。 デコーダのさらなる実施の形態を示している。 スピーチ／ミュージックのデコーダの実施の形態を示している。 エンコーディングのための方法の実施の形態を示している。 デコーディングのための方法の実施の形態を示している。

図１は、ダウンミックス信号６を使用して第１の中間オーディオ信号２及び第２の中間オーディオ信号４を生成するためにデコーダの実施の形態において使用することができるアップミキサを示している。さらに、追加のチャネル間相関情報及びチャネル間レベル差情報が、アップミックスを制御するための増幅器の制御パラメータとして使用される。

このアップミキサは、脱相関器(decorrelator)１０、３つの相関関連の増幅器１２ａ〜１２ｃ、第１のミキシングノード１４ａ、第２のミキシングノート１４ｂ、並びに第１及び第２のレベル関連の増幅器１６ａ及び１６ｂを備えている。ダウンミックスオーディオ信号６は、脱相関器１０並びに脱相関関連の増幅器１２ａ及び１２ｂの入力へと分配されるモノラル信号である。脱相関器１０は、ダウンミックスオーディオ信号６を使用し、脱相関アルゴリズムによってダウンミックスオーディオ信号６の脱相関バージョンを生成する。脱相関されたオーディオチャネル（脱相関信号）は、相関関連の増幅器のうちの第３の増幅器１２ｃへ入力される。ダウンミックスオーディオ信号のサンプルのみを含んでいるアップミキサの信号成分が、多くの場合に「ドライ」信号とも呼ばれ、脱相関信号のサンプルのみを含んでいる信号成分が、多くの場合に「ウェット」信号と呼ばれることに注目することができる。

ＩＣＣ関連の増幅器１２ａ〜１２ｃは、送信されたＩＣＣパラメータに応じたスケーリングルールに従って、ウェット及びドライの信号成分を拡大／縮小する。基本的には、これらの信号のエネルギーが、加算ノード１４ａ及び１４ｂによるドライ及びウェットの信号成分の加算に先立って調節される。この目的のため、相関関連の増幅器１２ａの出力が第１の加算ノード１４ａの第１の入力へともたらされ、相関関連の増幅器１２ｂの出力が加算ノード１４ｂの第１の入力へともたらされる。ウェット信号に関する相関関連の増幅器１２ｃの出力は、第１の加算ノード１４ａの第２の入力及び第２の加算ノード１４ｂの第２の入力へもたらされる。しかしながら、図１に示されているように、加算ノードにおけるウェット信号の符号は、ウェット信号が負の符号にて第１の加算ノード１４ａへ入力され、一方、元の符号を有するウェット信号が第２の加算ノード１４ｂへ入力される点で相違する。すなわち、脱相関信号が、元の位相にて第１のドライ信号成分に混合され、一方、逆の位相にて、すなわち１８０°の位相シフトを伴って、第２のドライ信号成分に混合される。

エネルギー比は、すでに述べたように、加算ノード１４ａ及び１４ｂから出力される信号が最初にエンコードされた信号の相関（送信されたＩＣＣパラメータによってパラメータ化されている）と同様の相関を有するように、相関パラメータに応じて前もって調節されている。最後に、第１のチャネル２と第２のチャネル４との間のエネルギーの関係が、エネルギー関連の増幅器１６ａ及び１６ｂを使用して調節される。両方の増幅器がＩＬＤパラメータに応じた関数によって制御されるように、エネルギーの関係はＩＬＤパラメータによってパラメータ化されている。

すなわち、このようにして生成された左チャネル２及び右チャネル４は、最初にエンコードされた信号の統計的依存と同様の統計的依存を有する。

しかしながら、送信されたダウンミックスオーディオ信号６に直接由来する生成された第１（左）出力信号２及び第２（右）出力信号４への寄与は、同一の位相を有している。

図１はアップミックスの広帯域の実施例を仮定しているが、さらなる実施例は、図４のアップミキサが元の信号の限られた周波数帯の表現について動作することができるように、複数の並行な周波数帯について個別にアップミックスを実行することができる。その後に、限られた帯域幅の出力信号のすべてを最終的な合成混合物へと足し合わせることによって、全帯域幅の再構成信号を得ることができる。

図２は、相関関連の増幅器１２ａ〜１２ｃを制御するために使用されるＩＣＣパラメータ依存の関数の例を示している。この関数を使用し、エンコードすべき元のチャネルからＩＣＣパラメータを適切に導出することによって、最初にエンコードされた信号の間の位相シフトを、（平均にて）粗く再生することができる。この検討のために、送信されるＩＣＣパラメータの生成についての理解が不可欠である。この検討のための基礎は、エンコードすべき２つの入力オーディオ信号の２つの対応する信号部分の間で導出され、以下のように定義される複素チャネル間コヒーレンスパラメータとすることができる。

上記式において、「ｌ」は処理される信号部分に含まれるサンプルの数を示し、一方、随意による指数「ｋ」は、いくつかの特定の実施の形態によれば、ただ１つのＩＣＣパラメータによって表わすことのできるいくつかのサブ帯域のうちの１つを指す。換言すると、Ｘ₁及びＸ₂は２つのチャネルの複素値によるサブ帯域サンプルであり、「ｋ」はサブ帯域のインデックスであり、「ｌ」は時間のインデックスである。

複素値によるサブ帯域サンプルは、最初にサンプリングされた入力信号を、例えば６４個のサブ帯域を導出するＱＭＦフィルタバンクへ供給することによって導出することができ、各々のサブ帯域に含まれるサンプルが複素値による数によって表わされる。上述の式を使用して複素相互相関を計算することで、２つの対応する信号部分の特徴が、以下の特性を有する１つの複素値によるパラメータＩＣＣ_complexによって表わされる。

長さ│ＩＣＣ_complex│が、２つの信号のコヒーレンスを表わす。ベクトルが長いほど、２つの信号の間の統計的依存が大である。

すなわち、１つのグローバルなスケーリング係数は別として、ＩＣＣ_complexの長さ又は絶対値が１に等しいときは常に両方の信号が同一である。しかし、ＩＣＣ_complexの位相角によって与えられる相対の位相差が存在しうる。その場合、実軸に対するＩＣＣ_complexの角度が２つの信号の間の位相角を表わす。しかしながら、ＩＣＣ_complexの導出が２つ以上のサブ帯域を使用して実行されるとき（すなわち、ｋ≧２のとき）、位相角は、結果的に、処理されたパラメータ帯域のすべての平均の角度である。

換言すると、２つの信号が統計的に強く依存している場合（│ＩＣＣ_complex│≒１）、実部Ｒｅ｛ＩＣＣ_complex｝が、ほぼ位相角の余弦であり、したがって信号間の位相差の余弦である。

ＩＣＣ_complexの絶対値が１よりも大幅に小さい場合、ベクトルＩＣＣ_complexと実軸との間の角度Θを、もはや同一の信号の間の位相角であると解釈することはできない。それはむしろ、統計的にかなり独立した信号の間の最良に一致する位相である。

図３は、考えられるベクトルＩＣＣ_complexの３つの例２０ａ、２０ｂ及び２０ｃを示している。ベクトル２０ａの絶対値（長さ）は１に近く、ベクトル２０ａによって表わされる２つの信号はほぼ同じであるが、互いの位相がずれていることを意味している。換言すると、両方の信号がきわめてコヒーレントである。その場合、位相角３０（Θ）は、ほぼ同一な信号の間の位相シフトに直接相当する。

しかしながら、ＩＣＣ_complexの評価がベクトル２０ｂをもたらす場合、位相角Θの意味はもはや明確ではない。複素ベクトル２０ｂが１よりも大幅に小さい絶対値を有するため、分析された両方の信号部分又は信号は統計的にかなり独立である。すなわち、観察された時間部分における信号は共通な形状を有していない。依然として、位相角３０は、両方の信号の最良の一致に対応する位相シフトを多少は表わしている。しかしながら、信号がコヒーレントでないとき、２つの信号の間の共通の位相シフトはほとんど意味を持たない。

ベクトル２０ｃは再び１に近い絶対値を有しているので、その位相角３２（Φ）は、やはり２つの類似の信号の間の位相差として明確に特定することができる。さらに、９０°よりも大きい位相シフトはベクトルＩＣＣ_complexの０よりも小さい実部に対応することが明らかである。

２つ以上のコード済み信号の統計的依存の正しい構成に注力するオーディオコーディングの仕組みにおいて、送信されたダウンミックスチャネルから第１及び第２の出力チャネルを生成するために考えられるアップミックスの手順が図１に示されている。

相関関連の増幅器２０ａ〜２０ｃを制御するためのＩＣＣ依存の関数として、図２に示した関数が、完全に相関した信号から完全に脱相関な信号への滑らかな移行をいかなる不連続も導入することなく可能にするために頻繁に使用される。図２は、信号のエネルギーがドライ信号成分（増幅器１２ａ及び１２ｂを制御することによる）とウェット信号成分（増幅器１２ｃを制御することによる）との間でどのように分配されるかを示している。これを実現するために、ＩＣＣ_complexの実部がＩＣＣ_complexの長さの指標として、したがって信号間の類似性の指標として、送信される。

図２においては、ｘ軸は送信されるＩＣＣパラメータの値を与え、ｙ軸はアップミキサの加算ノード１４ａ及び１４ｂによって混合されるドライ信号（実線３０ａ）及びウェット信号（破線３０ｂ）のエネルギーの量を与える。すなわち、信号が完璧に相関（同じ形状、同じ位相）している場合は、送信されるＩＣＣパラメータは１である。したがって、アップミキサは、受信したダウンミックスオーディオ信号６を、いかなるウェット信号部分も加えることなく、出力へと分配する。この場合のダウンミックスオーディオ信号は基本的にはエンコードされた元のチャネルの合計であるため、再生は、位相及び相関に関して正確である。

しかしながら、信号が反相関(anti-correlated)（位相＝１８０°、同じ信号形状）である場合には、送信されるＩＣＣパラメータは−１である。したがって、再構成された信号は、ドライ信号の信号部分を含まず、ウェット信号の信号部分だけを含む。ウェット信号部分が、生成された第１のオーディオチャネルへ加えられ、第２のオーディオチャネルから引かれるため、信号間の位相シフトが１８０°になるように正確に再構成されるが、再構成された信号はドライ信号部分をまったく含まない。これは、ドライ信号がデコーダへ送信されるすべての直接的な情報を実際に含んでいるため、不適当である。

したがって、その場合の再構成される信号の信号品質が低下する可能性がある。しかしながら、その低下はエンコードされる信号の種類に依存する可能性があり、すなわち基礎をなす信号の信号特性に依存する可能性がある。一般論として、脱相関器１０によってもたらされる相関信号は反響状の音響特性を有している。すなわち、例えば、脱相関信号のみを使用することからの可聴ひずみは、反響状のオーディオ信号からの再構成が不自然な音につながるスピーチ信号に比べて、音楽信号においてはかなり小さい。

要約すると、上述したデコーディングの仕組みは、位相特性が最良でも平均にて回復されるだけであるため、位相特性を粗く近似するだけである。これはきわめて粗い近似である。というのは、加えられる信号部分が１８０°という相対の位相差をもち、デコーディングは加えられる信号のエネルギーを変化させることによってのみ達成されるからである。明らかに相関がなく、又は反相関（ＩＣＣ≦０）ですらある信号については、この脱相関（すなわち、信号間の統計的独立）を復元するために、かなりの量の脱相関信号が必要である。一般に、全域通過フィルタの出力としての脱相関信号は、「反響状(reverb-like)」の音響を有するため、全体として達成できる品質は大きく損なわれる。

すでに述べたように、いくつかの信号の種類においては位相関係の復元はあまり重要でないかもしれないが、他の種類の信号においては正しい復元が知覚的に関係がある可能性がある。特に、信号から導出される位相情報が特定の知覚的動機による位相再構成基準を満足する場合に、元の位相関係の復元が必要とされる可能性がある。

したがって、本発明のいくつかの実施の形態は、特定の位相特性が満たされるとき、オーディオ信号のエンコード後の表現に位相情報を含ませる。すなわち、位相情報は、（レート−ひずみの評価における）利益が大きい場合に限って時々送信される。さらに、送信される位相情報は、必要とされる追加のビットレートの量が多くならないように、粗く量子化することができる。

送信された位相情報が与えられたとすると、ドライ信号成分間、すなわち元の信号から直接導出され、したがって知覚的にきわめて関係のある信号成分間の正しい位相関係をもって信号を再構成することができる。

もし、例えば、信号がＩＣＣ_complexベクトル２０ｃでエンコードされる場合、送信されるＩＣＣパラメータ（ＩＣＣ_complexの実部）は、約−０.４である。すなわち、アップミックスにおいて、エネルギーの５０％超が脱相関信号から導出される。しかしながら、可聴な量のエネルギーが依然としてダウンミックスオーディオチャネルから由来しているため、ダウンミックスオーディオチャネルから由来する信号成分の間の位相関係は、可聴であるため依然として重要である。すなわち、再構成信号のドライ信号部分の間の位相関係をより厳密に近似することが望ましいと考えられる。

したがって、ひとたび元のオーディオチャネルの間の位相シフトが所定のしきい値よりも大きいと判断されたならば、追加の位相情報が送信される。そのようなしきい値の例は、具体的な実施例に応じて、６０°、９０°又は１２０°とすることができる。しきい値に応じて、位相関係は高い分解能にて送信することができ、すなわち複数の所定の位相シフトのうちの１つが伝達され、あるいは連続的に変化する位相角が送信される。

本発明のいくつかの実施の形態においては、再構成される信号の位相を所定の位相角だけシフトさせるように知らせるただ１つの位相シフトインジケータ又は位相情報だけが送信される。一実施の形態によれば、この位相シフトは、ＩＣＣパラメータが所定の負の範囲内にある場合にのみ適用される。この範囲は、その位相しきい値の基準に応じて、例えば−１〜−０.３又は−０.８〜−０.３の範囲とすることができる。すなわち、わずか１ビットの位相情報だけでよい。

ＩＣＣ_complexの実部が正であるとき、再構成信号の間の位相関係は、ドライ信号成分の位相同一な処理により、平均で、図１のアップミキサによって正しく近似される。

しかしながら、もし、送信されるＩＣＣパラメータが０未満である場合には、元の信号の位相シフトが、平均で、９０°よりも大きい。同時に、ドライ信号の依然として可聴な信号部分がアップミキサによって使用される。したがって、ＩＣＣ＝０から始まって、例えばＩＣＣ＝約−０.６までの領域において、固定の位相シフト（例えば、先に導入された間隔の中央に対応する位相シフトに対応する）が、わずか１ビットの送信という代価にて、再構成信号について大きく向上した知覚的品質をもたらすことができる。ＩＣＣパラメータが、例えば−０.６未満など、さらに小さい値へと進むときは、第１の出力チャネル２及び第２の出力チャネル４の信号エネルギーのうちのごく少量だけがドライ信号成分から由来する。したがって、これらの知覚的にあまり関係のない信号部分の間の位相特性の正しい復元は、ドライ信号部分がほとんど可聴ではないため、再びまったく省略することができる。

図４は、第１の入力オーディオ信号４０ａ及び第２の入力オーディオ信号４０ｂのエンコード済み表現を生成するための本発明のエンコーダの一実施の形態を示している。オーディオエンコーダ４２は、空間パラメータ評価部４４、位相評価部４６、出力動作モード決定部４８及び出力インターフェイス５０を備えている。

第１の入力オーディオ信号４０ａ及び第２の入力オーディオ信号４０ｂが空間パラメータ評価部４４及び位相評価部４６へ分配される。空間パラメータ評価部は、例えばＩＣＣパラメータ及びＩＬＤパラメータなど、２つの信号のお互いに対する信号特性を示す空間パラメータを導出するように構成されている。導出されたパラメータは出力インターフェイス５０へもたらされる。

位相評価部４６は、２つの入力オーディオ信号４０ａ及び４０ｂの位相情報を導出するように構成されている。そのような位相情報は、例えば、２つの信号の間の位相シフトとすることができる。位相シフトは、例えば、２つの入力オーディオ信号４０ａ及び４０ｂの位相分析を直接実行することによって直接評価することができる。さらに別の実施の形態においては、空間パラメータ評価部４４によって導出されたＩＣＣパラメータを、随意による信号線５２を介して位相評価部へもたらすことができる。これにより、位相評価部４６は、いずれにせよ導出されるＩＣＣパラメータを利用して位相差の割り出しを実行することができる。これは、２つのオーディオ入力信号の完全な位相分析の実施の形態と比べて、より複雑さの少ない実現を可能にする。

導出された位相情報は出力動作モード決定部４８へ供給され、出力動作モード決定部４８は出力インターフェイス５０を第１の出力モードと第２の出力モードとの間で切り替えることができる。導出された位相情報は出力インターフェイス５０へ供給される。出力インターフェイス５０は、第１の入力オーディオ信号４０ａ及び第２の入力オーディオ信号４０ｂのエンコード済みの表現を、生成されたＩＣＣ、ＩＬＤ又はＰＩ（位相情報）の各パラメータからなる特定の部分集合を含ませることによって生成する。第１の動作モードでは、出力インターフェイス５０はＩＣＣ、ＩＬＤ及び位相情報ＰＩをエンコード済みの表現５４に含ませる。第２の動作モードでは、出力インターフェイス５０はＩＣＣ及びＩＬＤパラメータだけをエンコード済みの表現５４に含ませる。

出力モード決定部４８は、位相情報が第１のオーディオ信号４０ａ及び第２のオーディオ信号４０ｂの間の位相差が所定のしきい値よりも大きいことを示す場合に第１の出力モードを選択する。この場合の位相差は、例えば、信号の完全な位相分析を実行することによって割り出すことができる。これは、例えば、入力オーディオ信号をお互いに対してシフトさせ、各々の信号シフトについて相互相関を計算することによって実行することができる。最高の値を有する相互相関が位相シフトに対応する。

別の実施の形態においては、位相情報がＩＣＣパラメータから推定される。ＩＣＣパラメータ（ＩＣＣ_complexの実部）が所定のしきい値を下回る場合、位相差が大きいと推定される。検出のために考えられる位相シフトは、例えば６０°、９０°又は１２０°を超える位相シフトとすることができる。対照的に、ＩＣＣパラメータについての基準は、０.３、０又は−０.３というしきい値とすることができる。

エンコード済みの表現へ導入される位相情報は、例えば、所定の位相シフトを示すわずか１つのビットとすることができる。あるいは、送信される位相情報は、位相シフトの連続的な表現までのより細かい量子化にて位相シフトを送信することによって、より精密にすることができる。

さらに、図４のいくつかのオーディオエンコーダ４３が並列に実装され、各々のオーディオエンコーダが元の広帯域の信号のうちの１つの帯域幅にフィルタ処理された信号に対して働くように、オーディオエンコーダが入力オーディオ信号の限られた帯域の複製に対して働くことができる。

図５は相関評価部６２、位相評価部４６、信号特性評価部６６及び出力インターフェイス６８を備えている本発明のオーディオエンコーダのさらなる実施の形態を示している。位相評価部４６は、図４において紹介された位相評価部に相当する。したがって、不必要な冗長性を避けるために、位相評価部の特徴についてのさらなる説明は省略する。一般に、同じ又は類似の機能を有する構成要素には同じ参照番号が付されている。第１の入力オーディオ信号４０ａ及び第２の入力オーディオ信号４０ｂは信号特性評価部６６、相関評価部６２及び位相評価部４６へ分配される。

信号特性評価部は、入力オーディオ信号の第１又は第２の異なる特性を示す信号特性情報を導出するように構成されている。例えば、スピーチ信号を第１の特性として検出することができ、ミュージック信号を第２の信号特性として検出することができる。その追加の信号特性情報は、位相情報の送信の必要性を判断するために使用することができ、又は、相関パラメータを位相関係に関して解釈するためにさらに使用することができる。

一実施の形態において、信号特性評価部６６は、オーディオ信号（すなわち、第１の入力オーディオチャネル４０ａ及び第２の入力オーディオチャネル４０ｂ）の現在の抽出物がスピーチ状であるか、又は非スピーチであるかについての情報を導出するために使用される信号分類器である。導出された信号特性に応じて、位相評価部４６による位相の評価を、随意による制御リンク７０を介してオン及びオフに切り替えることができる。あるいは、随意による第２の制御リンク７２を介して出力インターフェイスを制御しつつ、入力オーディオ信号の第１の特性（例えば、スピーチの特性）が検出されたときにのみ位相情報７４を含ませるように、位相の評価を常に実行することができる。

対照的に、ＩＣＣの割り出しは、エンコードされた信号のアップミックスに必要な相関パラメータをもたらすように、常に実行される。

オーディオエンコーダのさらなる実施の形態は、随意により、オーディオエンコーダ６０によってもたらされるエンコード済み表現５４に随意により含ませることができるダウンミックスオーディオ信号７８を導出するように構成されたダウンミキサ７６を備えることができる。別の実施の形態においては、位相情報は、図４の実施の形態に関してすでに述べたように、相関情報ＩＣＣの分析にもとづくことができる。この目的のために、相関評価部６２の出力を、随意による信号線５２を介して位相評価部４６へもたらすことができる。

そのような判断は、例えば、信号がスピーチ信号とミュージック信号との間で区別される場合に、以下の考慮によるＩＣＣ_complexに基づくことができる。

信号特性情報６６から信号がスピーチ信号であることが知られる場合、ＩＣＣ_complex

を以下の考慮に従って評価することができる。スピーチ信号が確認される場合、スピーチ信号の発生源が点状であるため、人間の聴覚信号によって受け取られる信号は強く相関していると結論付けることができる。したがって、ＩＣＣ_complexの絶対値は１に近い。したがって、図３の位相角Θ（ＩＰＤ）は、複素ベクトルＩＣＣ_complexの評価さえ必要とせずに、以下の式に従ってＩＣＣ_complexの実部についての情報だけを使用することによって評価することができる。

位相情報はＩＣＣ_complexの実部にもとづいて得ることができ、ＩＣＣ_complexの虚部を決して計算することなく割り出すことができる。

要約すると、以下のように結論付けることができる。

上記式において、ｃｏｓ（ＩＰＤ）が図３のｃｏｓ（Θ）に対応することに注目されたい。

デコーダ側で位相合成を実行する必要性も、より一般的には、以下の考慮に従って導出することができる。

すなわち、コヒーレンス（ａｂｓ（ＩＣＣ_complex））が０よりも大幅に大きく、相関（Ｒｅａｌ（ＩＣＣ_complex））が１よりも大幅に小さく、又は位相角（ａｒｇ（ＩＣＣ_complex））が０から大きく異なっている。

これらが一般的な基準であり、スピーチの存在において、ａｂｓ（ＩＣＣ_complex）が０よりも大幅に大きいと暗黙裏に推定されることに注意されたい。

図６は図５のエンコーダ６０によって導出されたエンコード済みの表現の例を示している。時間部分８０ａ及び第１の時間部分８０ｂに関して、エンコード済みの表現は相関情報だけを含んでおり、第２の時間部分８０ｃに関しては、出力インターフェイス６８によって生成されたエンコード済みの表現が相関情報及び位相情報ＰＩを含んでいる。要約すると、オーディオエンコーダによって生成されたエンコード済みの表現は、第１及び第２の元の出力チャネルを使用して生成されたダウンミックス信号（簡単にするため、図示されていない）を含むことを特徴とすることができる。エンコード済みの表現は、さらに、第１及び第２の元のオーディオチャネルの間の相関を示す第１の相関情報８２ａを第１の時間部分８０ｂに含んでいる。さらに、この表現は、第１及び第２のオーディオチャネルの間の脱相関を示す第２の相関情報８２ｂを第２の時間部分８０ｃに含んでおり、第２の時間部分について第１及び第２の元のオーディオチャネルの間の位相関係を示す第１の位相情報８４を含んでおり、第１の時間部分８０ｂについては、位相情報を含んでいない。説明を容易にするために、図６においては副情報のみが示されており、やはり送信されるダウンミックスチャネルが図示されていないことに注意されたい。

図７はオーディオエンコーダ９０が相関情報調節部９２をさらに備えている本発明のさらなる実施の形態を概略的に示している。図７の例は、空間パラメータ９４がオーディオ信号９６と一緒にもたらされるように、例えばパラメータＩＣＣ及びＩＬＤの空間パラメータ抽出がすでに実行済みであると仮定している。オーディオエンコーダ９０は、上述のように動作する信号特性評価部６６及び位相評価部４６をさらに備えている。信号の分類及び／又は位相の分析の結果に応じ、上側の信号経路によって示されている第１の動作モードに従って、位相パラメータが抽出されて提供される。あるいは、信号の分類及び／又は位相の分析によって制御されるスイッチ９８が、供給された空間パラメータ９４が調節されることなく伝達される第２の動作モードを作動させることができる。

しかしながら、位相情報の伝達を必要とする第１の動作モードが選択されるとき、相関情報調節部９２は受信したＩＣＣパラメータから相関の指標を導出し、その導出された相関の指標がＩＣＣパラメータの代わりに送信される。その相関の指標は、第１及び第２の入力オーディオ信号の間の相対の位相シフトが割り出され、かつオーディオ信号がスピーチ信号であると分類されるとき、相関情報よりも大きくなるように選択される。さらに、位相パラメータが、位相パラメータ抽出部１００によって抽出され送信される。

随意によるＩＣＣの調節、又は最初に導出されたＩＣＣパラメータの代わりに提示される相関の指標の決定は、０よりも小さいＩＣＣにおいて再構成信号が実際に元のオーディオ信号から直接導出される唯一の信号であるドライ信号を５０％未満しか含まないという事実を考慮することで、さらに良好な知覚的品質という効果を有することができる。すなわち、オーディオ信号が位相シフトによってのみ有意に相違する可能性があることが知られているが、その場合の再構成は脱相関信号（ウェット信号）が支配的な信号をもたらす。ＩＣＣパラメータ（ＩＣＣ_complexの実部）が相関情報調節部によって増やされた場合は、位相の再生の必要性が出てきたときに、アップミックスがドライ信号からより多くの信号エネルギーを自動的に使用し、そのように「真の(genuine)」オーディオ情報をより多く使用することで、再生信号が元の信号にさらに近くなる。

換言すると、送信されたＩＣＣパラメータが、デコーダのアップミックスにおいて加えられる脱相関信号がより少なくなるような方法で調節される。ＩＣＣパラメータについて考えられる１つの調節は、ＩＣＣパラメータとして通常使用されるチャネル間相互相関の代わりに、チャネル間コヒーレンス（ＩＣＣ_complexの絶対値）を使用することである。チャネル間相互相関は、

として定義され、チャネルの位相関係に依存する。しかしながら、チャネル間コヒーレンスは位相関係とは無関係であり、以下のように定義される。

チャネル間の位相差は、計算されて残りの空間副情報と一緒にデコーダへ送信される。その表現は実際の位相値の量子化においてきわめて粗くすることができ、さらに、粗い周波数分解能を有することができ、図８の実施の形態から明らかなように広帯域の位相情報でも有益でありうる。

位相差は、以下のように複素チャネル間関係から導出することができる。

位相情報がビットストリーム（すなわち、エンコード済みの表現５４）に含まれる場合、デコーダの脱相関合成は、調節されたＩＣＣパラメータ（相関の指標）を使用して、反響音の少ないアップミックス信号を生成することができる。

もし、例えば、信号分類器がスピーチ及びミュージック信号の間の区別を行うのであれば、ひとたび信号の支配的なスピーチ特性が確認されたならば、位相合成が必要であるか否かの決定は以下の規則に従って行うことができる。

最初に、広帯域の指示値又は位相シフトインジケータを、ＩＣＣ及びＩＬＤパラメータを生成するために使用されるパラメータ帯域のいくつかについて導出することができる。すなわち、例えば、スピーチ信号が支配的に存在する周波数範囲を評価することができる（例えば、１００Ｈｚ〜２ＫＨｚの間）。考えられる１つの評価は、それらの周波数帯域のすでに導出されたＩＣＣパラメータにもとづいて、この周波数範囲における平均の相関を計算することであろう。この平均の相関が所定のしきい値よりも小さいことが明らかになった場合、その信号は位相がずれていると推定することができ、位相シフトが行われる。さらに、所望される位相の再構成の粒度に応じて異なる位相シフトを知らせるために、複数のしきい値を使用することができる。考えられるしきい値の値は、例えば０、−０.３、又は−０.５とすることができる。

図８は、エンコーダ１５０がスピーチ及びミュージック信号をエンコードすべく動作することができる本発明のさらなる実施の形態を示している。第１の入力オーディオ信号４０ａと第２の入力オーディオ信号４０ｂがエンコーダ１５０へ供給され、エンコーダ１５０は信号特性評価部６６、位相評価部４６、ダウンミキサ１５２、ミュージックコアコーダ１５４、スピーチコアコーダ１５６及び相関情報調節部１５８を備えている。信号特性評価部６６？は、第１の信号特性としてのスピーチ特性と第２の信号特性としてのミュージック特性との間の区別を行うように構成されている。信号特性評価部６６は、制御リンク１６０を介し、導出された信号特性に応じて出力インターフェイス６８を制御するように動作することができる。

位相評価部は、入力オーディオチャネル４０ａ及び４０ｂから直接に位相情報を評価するか、又はダウンミキサ１５２によって導出されるＩＣＣパラメータから位相情報を評価する。ダウンミキサはダウンミックスオーディオチャネルＭ（１６２）及び相関情報ＩＣＣ（１６４）を生成する。先に説明した実施の形態に従い、位相情報評価部４６は、代案として、供給されるＩＣＣパラメータ１６４から直接に位相情報を導出してもよい。ダウンミックスオーディオチャネル１６２は、ミュージックコアコーダ１５４及びスピーチコアコーダ１５６（どちらも、オーディオダウンミックスチャネルのエンコード済みの表現をもたらすための出力インターフェイス６８へ接続されている）へ供給することができる。相関情報１６４は、一方では、出力インターフェイス６８へ直接もたらされる。相関情報１６４は、他方では、相関情報調節部１５８の入力へもたらされる。相関情報調節部１５８は、もたらされた相関情報を調節し、調節によって得られた相関の指標を出力インターフェイス６８へもたらす。

出力インターフェイスは、信号特性評価部６６によって評価された信号特性に応じて、異なるパラメータからなる部分集合をデコード済みの表現に含ませる。第１（スピーチ）の動作モードにおいては、出力インターフェイス６８は、スピーチコアコーダ１５６によってエンコードされたダウンミックスオーディオチャネル１０６のエンコード済み表現、並びに位相評価部４６から導出された位相情報ＰＩ及び相関の指標を含ませる。相関の指標は、ダウンミキサ１５２によって導出された相関パラメータＩＣＣとすることができ、又は相関情報調節部１５８によって調節された相関の指標とすることができる。この目的のため、相関情報調節部１５８は、位相情報評価部４６によって制御及び／又は作動させることができる。

ミュージックの動作モードにおいては、出力インターフェイスは、ミュージックコアコーダ１５４によってエンコードされたダウンミックスオーディオチャネル１６２及びダウンミキサ１５２から導出された相関情報ＩＣＣを含ませる。

異なるパラメータの部分集合の包含は、上述の特定の実施の形態のように異なった方法で実施してもよいことは言うまでもない。例えば、ミュージック及び／又はスピーチコーダは、信号特性評価部６６から導出された信号特性に応じて、作動信号によって信号経路に入れられるまで非作動にすることができる。

図９は本発明によるデコーダの実施の形態を示している。オーディオデコーダ２００は、エンコード済みの表現２０４から、第１のオーディオチャネル２０２ａ及び第２のオーディオチャネル２０２ｂを導出するように構成されている。エンコード済みの表現２０４は、ダウンミックスオーディオ信号２０６ａと、ダウンミックス信号の第１の時間部分のための第１の相関情報２０８と、ダウンミックス信号の第２の時間部分のための第２の相関情報２１０とを含んでおり、位相情報２１２を第１又は第２の時間部分についてのみ含んでいる。

デマルチプレクサ（図示されていない）が、エンコード済み表現２０４の個々の成分を分離し、第１及び第２の相関情報をダウンミックスオーディオ信号２０６ａと一緒にアップミキサ２２０へ供給する。アップミキサ２２０は、例えば、図１において述べたアップミキサとすることができる。しかしながら、異なる内部アップミキシングアルゴリズムを有する別のアップミキサも使用可能である。一般に、アップミキサは、第１の相関情報２０８及びダウンミックスオーディオ信号２０６ａを使用して第１の時間部分のための第１の中間オーディオ信号２２２ａを導出し、第２の相関情報２１０及びダウンミックスオーディオ信号２０６ａを使用して第２の時間部分に対応する第２の中間オーディオ信号２２２ｂを導出するように構成される。

換言すると、第１の時間部分が脱相関情報ＩＣＣ₁を使用して再構成され、第２の時間部分がＩＣＣ₂を使用して再構成される。第１の中間信号２２２ａ及び第２の中間信号２２２ｂは中間信号ポストプロセッサ２２４へ供給され、中間信号ポストプロセッサ２２４は、対応する位相情報２１２を使用して第１の時間部分のための事後処理済み中間信号２２６を導出するように構成されている。この目的のために、中間信号ポストプロセッサ２２４は、位相情報２１２をアップミキサ２２０によって生成された中間信号とともに受信する。中間信号ポストプロセッサ２２４は、特定のオーディオ信号に対応する位相情報が存在するときに、中間オーディオ信号のオーディオチャネルのうちの少なくとも１つのオーディオチャネルであって、位相情報が存在するオーディオ信号のオーディオチャネルに位相シフトを加えるように構成されている。

すなわち、中間信号ポストプロセッサ２２４は、第１の中間オーディオ信号２２２ａに位相シフトを加え、中間オーディオ信号２２２ｂには位相シフトを加えない。中間信号ポストプロセッサ２２４は、第１の中間オーディオ信号の代わりの事後処理済み中間信号２２６と、変更なしの第２の中間信号２２２ｂとを出力する。

オーディオデコーダ２００は信号結合部２３０をさらに備えており、信号結合部２３０は中間信号ポストプロセッサ２２４から出力された信号を結合させて、オーディオデコーダ２００によって生成される第１のオーディオチャネル２０２ａ及び第２のオーディオチャネル２０２ｂを導出する。

一特定の実施の形態においては、信号結合部は中間信号ポストプロセッサから出力された信号を連結し、最終的に第１及び第２の時間部分のためのオーディオ信号を導出する。さらなる実施の形態においては、信号結合部は、中間信号ポストプロセッサからもたらされる信号の間のフェーディングによって第１のオーディオ信号２０２ａ及び第２のオーディオ信号２０２ｂを導出するように、ある種のクロスフェーディングを実現することができる。当然ながら、信号結合部２３０の別の実施例も実現可能である。

図９に示したような本発明のデコーダの実施の形態を使用することで、エンコーダ信号によって知らせることができる追加の位相シフトを加え、又は信号を下位互換の様相でデコードするための柔軟性がもたらされる。

図１０は、オーディオデコーダが送信された位相情報に応じて第１の脱相関規則及び第２の脱相関規則に従って動作することができる脱相関回路２４３を備えている本発明のさらなる実施の形態を示している。図１０の実施の形態によれば、送信されたダウンミックスオーディオチャネル２４０から脱相関信号２４２を導出するための脱相関規則は、存在する位相情報に応じて切り替えることができる。

位相情報が送信される第１のモードにおいては、脱相関信号２４２を導出するために第１の脱相関規則が使用される。位相情報が受信されない第２のモードにおいては、第２の脱相関規則が使用され、第１の脱相関規則を使用して生成される信号よりもさらに脱相関した脱相関信号が生成される。

すなわち、位相合成が必要とされるとき、位相合成が必要とされない場合に使用される信号ほどには脱相関していない脱相関信号を導出することができる。すなわち、デコーダは、ドライ信号により類似した脱相関信号を使用することができ、アップミックスにおいて一層多くのドライ信号成分を有する信号が自動的に生成される。これは、脱相関信号をドライ信号により類似させることによって達成される。

さらなる実施の形態においては、随意による位相シフタ２４６を、位相合成を有する再構成のために生成された脱相関信号へ適用することができる。これは、ドライ信号に対する正しい位相関係をすでに有している脱相関信号をもたらすことによって、再構成信号の位相特性のより厳密な再構成をもたらす。

図１１は分析フィルタバンク２６０と合成フィルタバンク２６２とを備えている本発明のオーディオデコーダのさらなる実施の形態を示している。このデコーダは、ダウンミックスオーディオ信号２０６を関連のＩＣＣパラメータ（ＩＣＣ₀、・・・、ＩＣＣ_n）と一緒に受信する。しかしながら、図１１においては、異なるＩＣＣパラメータが異なる時間部分に組み合わせられるだけでなく、オーディオ信号の異なる周波数帯域にも組み合わせられる。すなわち、各々の時間部分の処理が、関連の一式のＩＣＣパラメータ（ＩＣＣ₀、・・・、ＩＣＣ_n）の全体を有する。

その処理が周波数選択的なやり方で実行されるため、分析フィルタバンク２６０は、送信されたダウンミックスオーディオ信号２０６の６４個のサブ帯域表現を導出する。すなわち、帯域幅の限られた６４個の（フィルタバンク表現の）信号が導出され、各々の信号が１つのＩＣＣパラメータに関係している。あるいは、限られた帯域幅のいくつかの信号が共通のＩＣＣパラメータを共有してもよい。サブ帯域表現の各々が、アップミキサ２６４ａ、２６４ｂ、……によって処理される。各々のアップミキサは、例えば、図１の実施の形態によるアップミキサとすることができる。

したがって、限られた帯域幅の表現の各々について、第１及び第２のオーディオチャネル（どちらも帯域幅が限られている）が生成される。そのようにサブ帯域ごとに生成されたオーディオチャネルのうちの少なくとも１つが、例えば図９において説明した中間オーディオ信号ポストプロセッサのような中間オーディオ信号ポストプロセッサ２６６ａ、２６６ｂ、……へ入力される。図１１の実施の形態によれば、中間オーディオ信号ポストプロセッサ２６６ａ、２６６ｂ、……は、同じ共通の位相情報２１２によって制御される。すなわち、サブバンド信号が合成フィルタバンク２６２によって合成されてデコーダによって出力される第１のオーディオチャネル２０２ａ及び第２のオーディオチャネル２０２ｂとなる前に、同一の位相シフトが各々のサブ帯域信号へ加えられる。

このようにして、ただ１つの追加の共通の位相情報を送信するだけで、位相合成を実行することができる。したがって、図１１の実施の形態においては、元の信号の位相特性の正しい復元を、ビットレートをあまり増加させることなく実行することができる。

さらなる実施の形態によれば、共通の位相情報２１２が使用されるサブ帯域の数が信号に依存する。したがって、位相情報は、対応する位相シフトが適用されるときに、知覚的品質の向上が達成可能であるサブ帯域についてのみ評価することができる。これは、デコード後の信号の知覚的品質をさらに向上させることができる。

図１２は、スピーチ信号又はミュージック信号のどちらであってもよい元のオーディオ信号のエンコード済みの表現をデコードするように構成されたオーディオデコーダのさらなる実施の形態を示している。すなわち、信号特性情報がエンコード済みの表現においてどの信号特性が送信されているかを示しながら送信されるか、又は信号特性がビットストリーム中の位相情報の存在によって黙示的に導出することができる。この目的のため、位相情報の存在がオーディオ信号のスピーチ特性を示すと考えることができる。送信されたダウンミックスオーディオ信号２０６は、その信号特性に応じて、スピーチデコーダ２６６又はミュージックデコーダ２６８のいずれかによってデコードされる。さらなる処理は、図１１において図示及び説明したように実行される。したがって、さらなる実現の詳細については、図１１の説明を参照されたい。

図１３は、第１及び第２の入力オーディオ信号のエンコード済み表現を生成するための本発明の方法の実施の形態を示している。空間パラメータ抽出ステップ３００において、ＩＣＣ及びＩＬＤパラメータが第１及び第２の入力オーディオ信号から導出される。位相評価ステップ３０２において、第１及び第２の入力オーディオ信号の間の位相関係を示す位相情報が導出される。モードの決定３０４において、位相関係が第１及び第２の入力オーディオ信号の間の位相差が所定のしきい値よりも大きい旨を示している場合に第１の出力モードが選択され、位相差がしきい値よりも小さい場合に第２の出力モードが選択される。表現生成ステップ３０６において、第１の出力モードではＩＣＣパラメータ、ＩＬＤパラメータ及び位相情報がエンコード済みの表現に含められ、第２の出力モードでは位相関係を含まないＩＣＣパラメータ及びＩＬＤパラメータがエンコード済みの表現に含められる。

図１４は、オーディオ信号のエンコード済み表現を使用して第１及び第２のオーディオチャネルを生成するための方法の実施の形態を示している。エンコード済み表現は、ダウンミックスオーディオ信号と、ダウンミックス信号の生成に使用された第１及び第２の元のオーディオチャネルの間の相関を示している第１及び第２の相関情報（第１の相関情報はダウンミックス信号の第１の時間部分についての情報を有しており、第２の相関情報は第２の別の時間部分についての情報を有している。）と、第１の時間部分について第１及び第２の元のオーディオチャネルの間の位相関係を示している位相情報とを含んでいる。

アップミックスステップ４００において、第１の時間部分に対応し、第１及び第２のオーディオチャネルを含んでいる第１の中間オーディオ信号が、ダウンミックス信号及び第１の相関情報を使用して導出される。アップミックスステップ４００においては、第２の時間部分に対応し、第１及び第２のオーディオチャネルを含んでいる第２の中間オーディオ信号も、ダウンミックス信号及び第２の相関情報を使用して導出される。

事後処理ステップ４０２において、事後処理済みの中間信号が、第１の時間部分について第１の中間オーディオ信号を使用して導出されるが、ここでは、位相関係によって示される追加の位相シフトが、第１の中間オーディオ信号の第１又は第２のオーディオチャネルの少なくとも一方へ加えられる。

信号結合ステップ４０４において、第１及び第２のオーディオチャネルが、事後処理済みの中間信号及び第２の中間オーディオ信号を使用して生成される。

本発明の方法の特定の実施の要件に応じて、本発明の方法はハードウェア又はソフトウェアにて実現することができる。その実現は、本発明の方法を実行するようにプログラマブルなコンピューターシステムと協働する電子的に読み取ることが可能な制御信号が保存されてなるデジタル記憶媒体（特に、ディスク、ＤＶＤ又はＣＤ）を使用して実行可能である。したがって、一般的に、本発明は、機械で読み取ることができる担体上に保存されたプログラムコードを含むコンピュータープログラム製品であり、そのプログラムコードは、このコンピュータープログラム製品がコンピューター上で実行されるときに、本発明の方法を実行するように動作することができるものである。したがって、換言すると、本発明の方法は、コンピューター上で実行されたときに本発明の方法のうちの少なくとも１つを実行するためのプログラムコードを有しているコンピュータープログラムである。

以上、本発明の特定の実施の形態に関して詳しく図示及び説明したが、本発明の技術的思想及び技術的範囲から離れることなく、形態及び細部において他のさまざまな変更が可能であることを当業者であれば理解できるであろう。本明細書に開示され、以下の特許請求の範囲に包含される一層広い概念から逸脱することなく、さまざまな実施の形態への適合においてさまざまな変更が可能であることを、理解すべきである。

Claims (25)

1. 第１及び第２の入力オーディオ信号のエンコード済み表現を生成するためのオーディオエンコーダであって、
   前記第１及び第２の入力オーディオ信号の間の相関を表わす相関情報を導出するように構成された相関評価部と、
   前記入力オーディオ信号の第１又は第２の別々の特性を表わす信号特性情報を導出するように構成された信号特性評価部と、
   前記入力オーディオ信号が前記第１の特性を有する場合に、前記第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報を導出するように構成された位相評価部と、
   前記入力オーディオ信号が前記第１の特性を有する場合に、前記エンコード済み表現に前記位相情報及び相関の指標を含ませ、又は、前記入力オーディオ信号が前記第２の特性を有する場合に、前記エンコード済み表現に前記相関情報を含ませ、前記位相情報を含ませないように構成されている出力インターフェイスと、
   を備えたオーディオエンコーダ。
2. 前記信号評価部によって指示される前記第１の信号特性はスピーチ特性であり、
   前記信号評価部によって指示される前記第２の信号特性はミュージック特性である請求項１に記載のオーディオエンコーダ。
3. 前記位相評価部は、前記相関情報を使用して前記位相情報を導出するように構成されている請求項１に記載のオーディオエンコーダ。
4. 前記位相情報は前記第１及び第２の入力オーディオ信号の間の位相シフトを表わしている請求項１に記載のオーディオエンコーダ。
5. 前記相関評価部は、脱相関情報として、前記第１及び第２の入力オーディオ信号のサンプリングされた信号部分の複素相互相関ＩＣＣ_complexの実部によって表わされるＩＣＣパラメータを生成するように構成されており、
   前記出力インターフェイスは、前記相関情報が所定のしきい値よりも小さい場合に、前記エンコード済み表現に前記位相情報を含ませるように構成されている請求項３に記載のオーディオエンコーダ。
   ここで、前記各々の信号部分が１個のサンプル値Ｘ（ｌ）によって表わされるものとすると、前記ＩＣＣパラメータは以下の式によって表わすことができる。
   

   
6. 前記所定のしきい値は０.３以下である請求項５に記載のオーディオエンコーダ。
7. 前記相関情報の前記所定のしきい値は、９０°を超える位相シフトに相当する請求項５に記載のオーディオエンコーダ。
8. 前記相関評価部は前記相関情報として複数の相関パラメータを導出するように構成され、各々の相関パラメータは前記第１及び第２の入力オーディオ信号の対応するサブ帯域に関係しており、
   前記位相評価部は、前記相関パラメータに対応する前記サブ帯域のうちの少なくとも２つについて前記第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報を導出するように構成されている請求項１に記載のオーディオエンコーダ。
9. 前記相関の指標を前記相関情報よりも高い相関を表わすように導出するように構成された相関情報調節部をさらに備えており、
   前記出力インターフェイスは前記相関情報の代わりに前記相関の指標を含ませるように構成されている請求項１に記載のオーディオエンコーダ。
10. 前記相関情報調節部は、前記相関の指標ＩＣＣとして前記第１及び第２の入力オーディオ信号の２つのサンプリングされた信号部分の複素相互相関ＩＣＣ_complexの絶対値を使用するように構成されている請求項９に記載のオーディオエンコーダ。
    ここで、前記各々の信号部分が１個の複素値サンプル値Ｘ（ｌ）によって表わされるものとすると、前記相関の指標ＩＣＣは以下の式によって表わされる。
    

    
11. 第１及び第２の入力オーディオ信号のエンコード済み表現を生成するためのオーディオエンコーダであって、
    前記第１及び第２の入力オーディオ信号の間の相関を表わすＩＣＣパラメータ又は前記第１及び第２の入力オーディオ信号の間のレベルの関係を表わすＩＬＤパラメータを導出するように構成された空間パラメータ評価部と、
    前記第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報を導出するように構成された位相評価部と、
    前記位相関係が前記第１及び第２の入力オーディオ信号の間の位相差が所定のしきい値よりも大きい旨を示している場合に第１の出力モードを指示し、前記位相差が前記所定のしきい値よりも小さい場合に第２の出力モードを指示するように構成された出力動作モード決定部と、
    前記第１の出力モードにおいては前記エンコード済み表現に前記ＩＣＣ又はＩＬＤパラメータと前記位相情報とを含ませ、前記第２の出力モードにおいては前記エンコード済み表現に前記ＩＣＣ及びＩＬＤパラメータを含ませ、前記位相情報を含ませないように構成されている出力インターフェイスと、を備えているオーディオエンコーダ。
12. 前記所定のしきい値は６０°の位相シフトに相当する請求項１１に記載のオーディオエンコーダ。
13. 前記空間パラメータ評価部は複数のＩＣＣ又はＩＬＤパラメータを導出するように構成され、各々のＩＣＣ又はＩＬＤパラメータは前記第１及び第２の入力オーディオ信号のサブ帯域表現の対応するサブ帯域に関係しており、
    前記位相評価部は前記サブ帯域表現の前記サブ帯域のうちの少なくとも２つについて前記第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報を導出するように構成されている請求項１１に記載のオーディオエンコーダ。
14. 前記出力インターフェイスはただ１つの位相情報パラメータを前記位相情報として前記表現に含ませるように構成され、該ただ１つの位相情報パラメータは前記サブ帯域表現の前記サブ帯域のうちの所定の部分群の前記位相関係を示している請求項１３に記載のオーディオエンコーダ。
15. 前記位相関係は所定の位相シフトを表わすただ１つのビットによって表現されている請求項１１に記載のオーディオエンコーダ。
16. オーディオ信号のエンコード済み表現を使用して第１及び第２のオーディオチャネルを生成するためのオーディオデコーダであって、前記エンコード済み表現が、ダウンミックスオーディオ信号と、該ダウンミックスオーディオ信号を生成するために使用された第１及び第２の元のオーディオチャネルの間の相関を表わしている第１及び第２の相関情報とを含んでおり、該第１の相関情報が前記ダウンミックス信号の第１の時間部分についての情報を有しており、前記第２の相関情報が第２の別の時間部分についての情報を有しており、前記エンコード済み表現が前記第１及び第２の時間部分についての位相情報をさらに含んでおり、該位相情報が前記第１及び第２の元のオーディオチャネルの間の位相関係を表わしているオーディオデコーダであり、
    前記第１の時間部分に対応し、第１及び第２のオーディオチャネルを含んでいる第１の中間オーディオ信号を、前記ダウンミックスオーディオ信号及び前記第１の相関情報を使用して導出し、前記第２の時間部分に対応し、第１及び第２のオーディオチャネルを含んでいる第２の中間オーディオ信号を、前記ダウンミックスオーディオ信号及び前記第２の相関情報を使用して導出するように構成されたアップミキサと、
    前記位相関係によって示される追加の位相シフトを前記第１の中間オーディオ信号の前記第１又は第２のオーディオチャネルのうちの少なくとも一方へ加えるように構成され、前記第１の中間オーディオ信号及び前記位相情報を使用して前記第１の時間部分について事後処理済み中間オーディオ信号を導出するように構成された中間信号ポストプロセッサと、
    前記事後処理済み中間オーディオ信号及び前記第２の中間オーディオ信号を組み合わせることによって前記第１及び第２のオーディオチャネルを生成するように構成された信号結合部と、
    を備えたオーディオデコーダ。
17. 前記アップミキサは前記相関情報として複数の相関パラメータを使用するように構成されており、各々の相関パラメータは前記第１及び第２の元のオーディオ信号の複数のサブ帯域のうちの１つに対応しており、
    前記中間信号ポストプロセッサは前記位相関係によって示される前記追加の位相シフトを前記第１の中間オーディオ信号の前記対応するサブ帯域のうちの少なくとも２つへ加えるように構成されている請求項１６に記載のオーディオデコーダ。
18. 前記第１の相関よりも高い相関を表わす相関の指標を導出するように構成された相関情報プロセッサをさらに備えており、
    前記アップミキサは、前記位相情報が前記第１及び第２の元のオーディオチャネルの間の位相シフトが所定のしきい値よりも大きい旨を示している場合に、前記相関情報の代わりに前記相関の指標を使用する請求項１６に記載のオーディオデコーダ。
19. 前記第１の時間部分について第１の脱相関規則に従い、前記第２の時間部分について第２の脱相関規則に従って、前記ダウンミックスオーディオ信号から脱相関オーディオ信号を導出するように構成された脱相関器をさらに備えており、
    前記第１の脱相関規則は前記第２の脱相関規則よりも脱相関が少ないオーディオチャネルを生成する請求項１６に記載のオーディオデコーダ。
20. 前記脱相関器は位相シフタをさらに備えており、該位相シフタは前記位相情報に応じた追加の位相シフトを、前記第１の脱相関規則を使用して生成された前記脱相関オーディオチャネルへ加えるように構成されている請求項１９に記載のオーディオデコーダ。
21. 第１及び第２の入力オーディオ信号のエンコード済み表現を生成するための方法であって、
    前記第１及び第２の入力オーディオ信号の間の相関を表わす相関情報を導出するステップと、
    前記入力オーディオ信号の第１又は第２の別々の特性を表わす信号特性情報を導出するステップと、
    前記入力オーディオ信号が前記第１の特性を有する場合に、前記第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報を導出するステップと、
    を含んでおり、さらに、
    前記入力オーディオ信号が前記第１の特性を有する場合に、前記エンコード済み表現に前記位相情報及び相関の指標を含ませるステップ、又は
    前記入力オーディオ信号が前記第２の特性を有する場合に、前記エンコード済み表現に前記相関情報を含ませ、前記位相情報を含ませないステップ、
    を含んでいる方法。
22. 第１及び第２の入力オーディオ信号のエンコード済み表現を生成するための方法であって、
    前記第１及び第２の入力オーディオ信号の間の相関を表わすＩＣＣパラメータ又は前記第１及び第２の入力オーディオ信号の間のレベルの関係を表わすＩＬＤパラメータを導出するステップと、
    前記第１及び第２の入力オーディオ信号の間の位相関係を表わす位相情報を導出するステップと、
    前記位相関係として前記第１及び第２の入力オーディオ信号の間の位相差が所定のしきい値よりも大きい旨を示している場合に第１の出力モードを指示し、前記位相差が前記所定のしきい値よりも小さい場合に第２の出力モードを指示するステップと、
    前記第１の出力モードにおいては前記エンコード済み表現に前記ＩＣＣ又はＩＬＤパラメータと前記位相情報とを含ませ、又は、前記第２の出力モードにおいては前記エンコード済み表現に前記ＩＣＣ及びＩＬＤパラメータを含ませ、前記位相情報を含ませないステップと、
    を含んでいる方法。
23. オーディオ信号のエンコード済み表現を使用して第１及び第２のオーディオチャネルを導出するための方法であって、前記エンコード済み表現が、ダウンミックスオーディオ信号と、該ダウンミックスオーディオ信号を生成するために使用された第１及び第２の元のオーディオチャネルの間の相関を表わしている第１及び第２の相関情報とを含んでおり、該第１の相関情報が前記ダウンミックス信号の第１の時間部分についての情報を有しており、前記第２の相関情報が第２の別の時間部分についての情報を有しており、前記エンコード済み表現が前記第１及び第２の時間部分についての位相情報をさらに含んでおり、該位相情報が前記第１及び第２の元のオーディオチャネルの間の位相関係を表わしている方法であり、
    前記第１の時間部分に対応し、第１及び第２のオーディオチャネルを含んでいる第１の中間オーディオ信号を、前記ダウンミックスオーディオ信号及び前記第１の相関情報を使用して導出するステップと、
    前記第２の時間部分に対応し、第１及び第２のオーディオチャネルを含んでいる第２の中間オーディオ信号を、前記ダウンミックスオーディオ信号及び前記第２の相関情報を使用して導出するステップと、
    前記第１の中間オーディオ信号及び前記位相情報を使用し、前記位相関係によって示される追加の位相シフトを前記第１の中間信号の前記第１又は第２のオーディオチャネルのうちの少なくとも一方へと加えることによって、前記第１の時間部分について事後処理済み中間信号を導出するステップと、
    前記事後処理済み中間信号及び前記第２の中間オーディオ信号を組み合わせ、前記第１及び第２のオーディオチャネルを導出するステップと、
    を含んでいる方法。
24. オーディオ信号のエンコード済み表現であって、
    第１及び第２の元のオーディオチャネルを使用して生成されたダウンミックス信号と、
    第１の時間部分における前記第１及び第２の元のオーディオチャネルの間の相関を表わす第１の相関情報と、
    第２の時間部分における前記第１及び第２の元のオーディオチャネルの間の相関を表わす第２の相関情報と、
    前記第１の時間部分における前記第１及び第２の元のオーディオチャネルの間の位相関係を表わす位相情報と、を含んでおり、
    前記位相情報は前記第１及び第２の時間部分についての前記エンコード済み表現に含まれる唯一の位相情報であるエンコード済み表現。
25. コンピューター上で実行されたときに請求項２１から２３に記載の方法のいずれかを実行するためのプログラムコードを有しているコンピュータープログラム。

Images