JP2008527431A - 空間音声のパラメトリック符号化のためのコンパクトなサイド情報 - Google Patents

Abstract

音声エンコーダにおいて、１つ以上の音声チャネルに対しキューコードが生成され、２つ以上の推定されたキューコードを組合せて組合せキューコード（例えば、組合せチャネル間相関度（ＩＣＣ）コード）が生成され、各推定されたキューコードは、２つ以上のチャネルのグループから推定される。音声デコーダにおいて、Ｃ個の再生音声チャネルを生成するために、Ｅ個の送信音声チャネルが復号される。受信されるキューコードは、組合せキューコード（例えば、組合せＩＣＣコード）を含む。１つ以上の送信チャネルは、１つ以上のアップミックスされたチャネルを生成するために、アップミックスされる。キューコードを１つ以上のアップミックスされたチャネルに適用することによって、１つ以上の再生チャネルが合成され、組合せキューコードから、２つ以上の導出キューコードが導き出され、各導出キューコードが、２つ以上の合成されたチャネルを生成するために、適用される。
【選択図】図１１

Description

関連出願のクロスリファレンス
本出願の対象は、下記の米国特許出願に関連しており、これらのすべての教示は、参考として本明細書に組み込まれる。
○ ２００１年５月４日、代理人整理番号Ｆａｌｌｅｒ５として出願された、米国特許出願第０９／８４８，８７７号；
○ ２００１年１１月７日、代理人整理番号Ｂａｕｍｇａｒｔｅ１−６−８として出願された、米国特許出願第１０／０４５，４５８号。該出願自体は２００１年８月１０日に出願された米国特許仮出願第６０／３１１，５６５号の出願日付の利益を主張した；
○ ２００２年５月２４日、代理人整理番号Ｂａｕｍｇａｒｔｅ２−１０として出願された、米国特許出願第１０／１５５，４３７号；
○ ２００２年９月１８日、代理人整理番号Ｂａｕｍｇａｒｔｅ３−１１として出願された、米国特許出願第１０／２４６，５７０号；
○ ２００４年４月１日、代理人整理番号Ｂａｕｍｇａｒｔｅ７−１２として出願された、米国特許出願第１０／８１５，５９１号；
○ ２００４年９月８日、代理人整理番号Ｂａｕｍｇａｒｔｅ８−７−１５として出願された、米国特許出願第１０／９３６，４６４号；
○ ２００４年１月２０日出願された（Ｆａｌｌｅｒ１３−１）、米国特許出願第１０／７６２，１００号；
○ ２００４年１２月７日、代理人整理番号Ａｌｌａｍａｎｃｈｅ１−２−１７−３として出願された、米国特許出願第１１／００６，４９２号；および
○ ２００４年１２月７日、代理人整理番号Ａｌｌａｍａｎｃｈｅ２−３−１８−４として出願された、米国特許出願第１１／００６， 号。

また、本出願の対象は、以下の論文に記載された対象とも関連し、これら論文のすべての教示は、参考として本明細書に組み込まれる。
○ Ｆ．Ｂａｕｍｇａｒｔｅ（バウムガルテ）およびＣ．Ｆａｌｌｅｒ（ファーラー）、「バイノーラルキューコーディング−−パートＩ：心理音響的原理および設計原則（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ−−Ｐａｒｔ Ｉ： Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｆｕｎｄａｍａｎｔａｌｓ ａｎｄ ｄｅｓｉｇｎ ｐｒｉｎｃｉｐｌｅ）」，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．（音声および音響処理）、巻１１、Ｎｏ．６、２００３年１１月；
○ Ｃ．Ｆａｌｌｅｒ（ファーラー）およびＦ．Ｂａｕｍｇａｒｔｅ（バウムガルテ）、「バイノーラルキューコーディング−−パートＩＩ：スキームおよびアプリケーション（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ−−Ｐａｒｔ ＩＩ： Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ）」，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．（音声および音響処理）、巻１１、Ｎｏ．６、２００３年１１月；
○ Ｃ．Ｆａｌｌｅｒ（ファーラー）、「異なる再生フォーマットと互換性のある空間音声符号化（Ｃｏｄｉｎｇ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐｌａｙｂａｃｋ ｆｏｒｍａｔｓ）」，２００４年１０月、オーディオ技術協会（Ａｕｄ．Ｅｎｇ．Ｓｏｃ．）、第１１７回大会発表抄録。

本発明は、音声信号の符号化、およびその後の符号化された音声データからの聴覚情景の合成に関する。

人が、特定の音声源により生成された音声信号（すなわち音）を聞く場合、通常、音声信号は、その人の左と右との耳に、２つの異なる時間および２つの異なる音声レベル（例えば、デシベル）で到達することになり、これら異なる時間とレベルとは、該音声信号が、伝わって左と右との耳に到達するそれぞれの経路の差の関数である。聴取者の頭脳は、聞いた音声信号が、聴取者に対しある特定の位置（例えば、方角および距離）に所在する音声源から発生しているという知覚をその聴取者に与えるために、これら時間とレベルの差を解釈する。聴覚情景は、ある人に対し１つ以上の異なる位置に置かれた、１つ以上の異なる音声源によって生成された音声源を、その人が同時に聞いた場合の総合効果である。

この頭脳による処理過程の存在を聴覚情景の合成に用いることができる。そこでは１つ以上の異なる音声源からの音声は、さまざまな音声源が聴取者に対しさまざまな位置に置かれているという知覚を与えるように、左および右の音声信号に生成するために、意図的に修正される。

図１は、従来型のバイノーラル信号シンセサイザ１００の上位ブロック図を示し、該シンセサイザは、単一音声源の信号（例えば、モノラル信号）をバイノーラル信号の左右の音声信号に変換し、バイノーラル信号は、聴取者の鼓膜に受音される２つの信号として定義される。音声源信号に加えて、シンセサイザ１００は、聴取者に対する音声源の所望の位置に対応する空間音響情報（ｓｐａｔｉａｌ ｃｕｅ）のセットを受信する。典型的実装例において、空間音響情報のセットは、チャネル間レベル差（ＩＣＬＤ）値（左と右との耳でそれぞれ聴取される左右の音声信号間の音声レベルの差を識別する）およびチャネル間時間差（ＩＣＴＤ）値（左と右との耳でそれぞれ聴取される左右の音声信号の間の着信時間の差を識別する）を含む。これに加え、またはこれに代えて、一部の合成技術は、頭部伝達関数（ＨＲＴＦ）とも呼ばれる、信号源から鼓膜への音響に対する方向依存性伝達関数（ｄｉｒｅｃｔｉｏｎ−ｄｅｐｅｎｄｅｎｔ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）のモデリングが使われる。例えば、Ｊ．Ｂｌａｕｅｒｔ（ブラウエルト）の、人間、音響の局在性の精神物理学（Ｐｓｙｃｈｏｐｈｙｓｉｃｓ ｏｆ Ｈｕｍａｎ Ｓｏｕｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）、ＭＩＴプレス、１９８３年を参照するとよい。前記の教示は参考として本明細書に組み込まれる。

図１のバイノーラル信号シンセサイザ１００を使って、単一の音響源によって生成されたモノラル音声信号を処理し、適切な空間音響情報のセット（例えば、ＩＣＬＤ、ＩＣＴＤ、および／またはＨＲＴＦ）を用いて音源を空間的に配置し、ヘッドフォーンで聴いたときに、左右各々の耳のための音声信号を生成することができる。例えば、Ｄ．Ｒ．Ｂｅｇａｕｌｔ（ベゴート）の、バーチャルリアリティおよびマルチメディアのための３−Ｄ音響（３−Ｄ Ｓｏｕｎｄ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ）， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、マサチューセッツ州ケンブリッジ、１９９４年を参照するとよい。

図１のバイノーラル信号シンセサイザ１００は、聴取者に対し配置された単一の音声源を有する、最も単純な種類の聴覚情景を生成する。基本的には、バイノーラル信号合成装置の複数のインスタンスを使って実行される聴覚情景シンセサイザを用いて、聴取者に対しいろいろな位置に配置された２つ以上の音声源を含むもっと複雑な聴覚情景を生成することができ、バイノーラル信号合成装置の各インスタンスは、異なる音声源に対応するバイノーラル信号を生成する。各異なる音声源は、聴取者に対して異なる場所を占めているので、各異なる音声源に対するバイノーラル音声信号を生成するため、異なった空間音響情報セットが使われる。

米国特許出願第０９／８４８，８７７号 米国特許出願第１０／０４５，４５８号 米国特許出願第１０／１５５，４３７号 米国特許出願第１０／２４６，５７０号 米国特許出願第１０／８１５，５９１号 米国特許出願第１０／９３６，４６４号 米国特許出願第１０／７６２，１００号 米国特許出願第１１／００６，４９２号 Ｆ．Ｂａｕｍｇａｒｔｅ（バウムガルテ）およびＣ．Ｆａｌｌｅｒ（ファーラー）、「バイノーラルキューコーディング−−パートＩ：心理音響的原理および設計原則（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ−−Ｐａｒｔ Ｉ： Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｆｕｎｄａｍａｎｔａｌｓ ａｎｄ ｄｅｓｉｇｎ ｐｒｉｎｃｉｐｌｅ）」，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．（音声および音響処理）、巻１１、Ｎｏ．６、２００３年１１月 Ｃ．Ｆａｌｌｅｒ（ファーラー）およびＦ．Ｂａｕｍｇａｒｔｅ（バウムガルテ）、「バイノーラルキューコーディング−−パートＩＩ：スキームおよびアプリケーション（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ−−Ｐａｒｔ ＩＩ： Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ）」，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．（音声および音響処理）、巻１１、Ｎｏ．６、２００３年１１月 Ｃ．Ｆａｌｌｅｒ（ファーラー）、「異なる再生フォーマットと互換性のある空間音声符号化（Ｃｏｄｉｎｇ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐｌａｙｂａｃｋ ｆｏｒｍａｔｓ）」，２００４年１０月、オーディオ技術協会（Ａｕｄ．Ｅｎｇ．Ｓｏｃ．）、第１１７回大会発表抄録

１つの実施形態によれば、本発明は、音声チャネルを符号化するための方法、装置、およびマシン可読媒体である。２つ以上の音声チャネルに対し１つ以上のキューコードが生成され、少なくとも、１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、各推定されたキューコードは、２つ以上の音声チャネルのグループから推定される。

別の実施形態によれば、本発明は、Ｅ個の送信チャネルを生成するために、Ｃ個の入力音声チャネルを符号化する装置である。該装置は、コード推定器およびダウンミキサを含む。コード推定器は、２つ以上の音声チャネルに対し１つ以上のキューコードを生成し、少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、各推定されたキューコードは、２つ以上の音声チャネルのグループから推定される。ダウンミキサは、Ｅ個の送信チャネルを生成するために、Ｃ個の入力チャネルをダウンミックスし、Ｃ＞Ｅ≧１であり、該装置は、キューコードについての情報を送信し、デコーダが、Ｅ個の送信チャネルの復号過程で合成処理を行えるようにするように適応される。

別の実施形態によれば、本発明は、音声チャネルを符号化することにより生成される符号化音声ビットストリームであり、２つ以上の音声チャネルに対し１つ以上のキューコードが生成され、少なくとも、１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、各推定されたキューコードは、２つ以上の音声チャネルのグループから推定される。２つ以上の音声チャネルに対応する、１つ以上のキューコードとＥ≧１であるＥ個の送信音声チャネルとは、符号化音声ビットストリーム中にエンコードされる。

別の実施形態によれば、本発明は、１つ以上のキューコードとＥ個の送信音声チャネルとを含む符号化音声ビットストリームである。２つ以上の音声チャネルに対し１つ以上のキューコードが生成され、少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、各推定されたキューコードは、２つ以上の音声チャネルのグループから推定される。Ｅ個の送信音声チャネルは、２つ以上の音声チャネルに対応する。

別の実施形態によれば、本発明は、Ｅ個の送信音声チャネルを復号してＣ個の再生音声チャネルを生成するための方法、装置、およびマシン可読媒体であり、Ｃ＞Ｅ≧１である。Ｅ個の送信チャネルに対応するキューコードが受信され、少なくとも、１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、各推定されたキューコードは、Ｅ個の送信チャネルに対応する音声チャネルの２つ以上のチャネルのグループから推定される。１つ以上のＥ個の送信チャネルが、１つ以上のアップミックスされたチャネルを生成するために、アップミックスされる。キューコードを１つ以上のアップミックスされたチャネルに適用して、１つ以上のＣ個の再生チャネルが合成され、２つ以上の導出キューコードが組合せキューコードから導き出され、各導出キューコードは、２つ以上の合成チャネルを生成するために、適用される。

以降の詳細な説明、添付の特許請求内容、および添付図面により、本発明の各種の特徴、機能、および利点は、さらに十分に明確化されよう。図面中の同一の参照番号は、類似または同一の要素を特定する。

図１は、従来型のバイノーラル信号シンセサイザの上位ブロック図を示す。
図２は、一般的なバイノーラルキューコーディング（ＢＣＣ）音声処理システムのブロック図である。
図３は、図２のダウンミキサとして使用可能なダウンミキサのブロック図を示す。
図４は、図２のデコーダとして使用可能なＢＣＣシンセサイザのブロック図を示す。
図５は、本発明の１つの実施形態による、図２のＢＣＣ推定器のブロック図を示す。
図６は、５チャネルオーディオに対するＩＣＴＤおよびＩＣＬＤデータの生成を示す。
図７は、５チャネルオーディオに対するＩＣＣデータの生成を示す。
図８は、ＢＣＣデコーダの中で使用可能な、送信された信号和ｓ（ｎ）と空間音響情報とからステレオまたはマルチチャネル生成するための、図４のＢＣＣシンセサイザの実装例のブロック図を示す。
図９は、サブバンド内で、ＩＣＴＤおよびＩＣＬＤが、周波数の関数としてどのように変化するかを示す。
図１０は、５対２ＢＣＣスキームのため、図２のデコーダとして使用可能なＢＣＣシンセサイザのブロック図を示す。
図１１は、本発明の１つの実施形態に関連する、図２に示されるようなＢＣＣシステムによる処理の流れ図を示す。

バイノーラルキューコーディング（ＢＣＣ）において、エンコーダは、Ｅ個の送信音声チャネルを生成するために、Ｃ個の入力チャネルを符号化し、Ｃ＞Ｅ≧１である。具体的には、Ｃ個の入力チャネルの２つ以上が周波数領域で供給され、該周波数領域における２つ以上の入力各チャネルの中の、１つ以上の異なる周波数バンドの各々に対し、１つ以上のキューコードが生成される。また、該Ｃ個の入力チャネルは、Ｅ個の送信チャネルを生成するために、ダウンミックスされる。一部のダウンミックス実施例において、Ｅ個の送信チャネルの少なくとも１つは、Ｃ個の入力チャネルの２つ以上に基づいており、Ｅ個の送信チャネルの少なくとも１つは、Ｃ個の入力チャネルの１つ、それだけに基づいている。

１つの実施形態において、ＢＣＣエンコーダは、２つ以上のフィルタバンク、１つのコード推定器およびダウンミキサを備える。２つ以上のフィルタバンクは、Ｃ個の入力チャネルの２つ以上を時間領域から周波数領域に変換する。コード推定器は、２つ以上の変換された入力チャネル中の、１つ以上の異なる周波数バンドの各々に対し、１つ以上のキューコードを生成する。ダウンミキサは、Ｅ個の送信チャネルを生成するために、Ｃ個の入力チャネルをダウンミックスし、Ｃ＞Ｅ≧１である。

ＢＣＣ復号では、Ｃ個の再生音声チャネルを生成するために、Ｅ個の送信音声チャネルが復号される。具体的には、Ｅ個の送信チャネルの１つ以上は、周波数領域において、周波数領域におけるＣ個の再生チャネルの２つ以上を生成するために、１つ以上の異なる周波数バンドごとにアップミックスされ、Ｃ＞Ｅ≧１である。該周波数領域における２つ以上の再生チャネル中の１つ以上の異なる周波数バンドの各々に対し、１つ以上のキューコードが、２つ以上の修正チャネルを生成するために適用され、該２つ以上の修正チャネルは、周波数領域から時間領域に変換される。一部のアップサンプリング実施例において、Ｃ個の再生チャネルの少なくとも１つは、Ｅ個の送信チャネルの少なくとも１つと、少なくとも１つのキューコードとに基づいており、Ｃ個の再生チャネルの少なくとも１つは、Ｅ個の送信チャネルのただ１つに基づいており、いかなるキューコードにも依存していない。

１つの実施形態において、ＢＣＣデコーダは、アップミキサ、シンセサイザ、および１つ以上の逆方向フィルタバンクを有する。アップミキサは、周波数領域におけるＣ個の再生チャネルの２つ以上を生成するために、周波数領域におけるＥ個の送信チャネルの１つ以上を、１つ以上の異なる周波数バンドごとにアップミックスし、Ｃ＞Ｅ≧１である。シンセサイザは、２つ以上の修正チャネルを生成するために、１つ以上のキューコードを、周波数領域における２つ以上の再生チャネルの中の１つ以上の異なる周波数バンドの各々に適用する。１つ以上の逆方向フィルタバンクは、該２つ以上の修正チャネルを周波数領域から時間領域に変換する。

特定の実施例によっては、所定の再生チャネルを、２つ以上の送信チャネルの組合せでなく、単一の送信チャネルに基づかせることができる。例えば、１つの送信チャネルしかない場合、Ｃ個の再生チャネルの各々は、その１つの送信チャネルに基づくことになる。こういった状況では、アップミキシングは、当該送信チャネルをコピーすることに一致する。従って、送信チャネルが１つしかない場合のアプリケーションに対しては、各再生チャネルのため当該送信チャネルをコピーする複製器をアップミキサとして使うことができる。

ＢＣＣエンコーダ、および／またはデコーダを、例えば、デジタルビデオレコーダ／プレーヤー、デジタルオーディオレコーダ／プレーヤー、コンピュータ、衛星送信機／受信機、有線送信機／受信機、地上波放送送信機／受信機、ホームエンターテインメントシステム、および映画館システムを含め、多くのシステムまたはアプリケーションに組み入れることができる。

一般的ＢＣＣ処理
図２は、エンコーダ２０２およびデコーダ２０４を含む、一般的なバイノーラルキューコーディング（ＢＣＣ）音声処理システム２００のブロック図である。エンコーダ２０２は、ダウンミキサ２０６およびＢＣＣ推定器２０８を含む。

ダウンミキサ２０６は、Ｃ個の入力音声チャネルｘ_i（ｎ）をＥ個の送信音声チャネルｙ_i（ｎ）に変換し、Ｃ＞Ｅ≧１である。本明細書では、変数ｎを使って表現された信号は、時間領域の信号であり、変数ｋを使って表現された信号は、周波数領域の信号である。特定の実施例によっては、時間領域または周波数領域のいずれにおいても、ダウンミキシングを実施することができる。ＢＣＣ推定器２０８は、Ｃ個の入力音声チャネルからＢＣＣコードを生成し、それらＢＣＣコードを、Ｅ個送信音声チャネルに関連するバンド内、またはバンド外いずれかのサイド情報として送信する。典型的なＢＣＣコードは、周波数および時間の関数として入力チャネルの特定のペアの間で推定された、チャネル間時間差（ＩＣＴＤ）、チャネル間レベル差（ＩＣＬＤ）およびチャネル間相関度（ＩＣＣ）データの１つ以上を含む。該特定の実施例では、入力チャネルのどの特定ペアの間でＢＣＣコードが推定されるかが指定される。

ＩＣＣデータは、バイノーラル信号のコヒーレンスに対応し、知覚される音声源の幅に関連している。音声源の幅が広いほど、得られるバイノーラル信号の左チャネルと右チャネルとの間のコヒーレンスは低くなる。例えば、ホールのステージいっぱいに拡がったオーケストラに対応するバイノーラル信号のコヒーレンスは、通常、単一のバイオリンのソロ演奏に対応するバイノーラル信号のコヒーレンスよりも小さい。一般的に、より低いコヒーレンスを持つ音声信号は、通例、聴覚空間において大きな広がりを持って知覚される。従って、ＩＣＣデータは、典型的には見かけ上の音源の幅および聴取者の包み込み状態に関係する。例えば、Ｊ．Ｂｌａｕｅｒｔ（ブラウエルト）の、人間、音響の局在性の精神物理学（Ｐｓｙｃｈｏｐｈｙｓｉｃｓ ｏｆ Ｈｕｍａｎ Ｓｏｕｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）、ＭＩＴプレス、１９８３年を参照するとよい。

一般的なＢＣＣ音声処理システムは、エンコーダで音声信号をさらに圧縮し該音声信号をデコーダで解凍するために、図２に示したＢＣＣ処理に加え、追加の符号化および復号化ステージを含む。これらの音声コーデックを、パルス符号変調（ＰＣＭ）、差分ＰＣＭ（ＤＰＣＭ）、または適応的ＤＰＣＭ（ＡＤＰＣＭ）に基づく技法といった既存技術の音声圧縮／解凍技法に基づいたものとすることができる。

ダウンミキサ２０６が、単一の和信号（すなわちＥ＝１）を生成する場合でも、ＢＣＣ符号化は、モノラル音声信号を表現するために必要なビットレートより僅かに高いビットレートで、マルチチャネル音声信号を表現することができる。これが可能なのは、チャネルペアの間の推定されたＩＣＴＤ、ＩＣＬＤ、およびＩＣＣのデータが、音声波形より約２桁低い情報量しか包含していないからである。

ＢＣＣ符号化の低いビットレートだけでなく、その下位互換性の面も興味深い。単一の送信和信号は、元のステレオ、またはマルチチャネル信号のモノラルダウンミックスに対応する。ステレオ、またはマルチチャネル音響の再生に対応していない受信器にとって、該送信和信号を聴取することは、低仕様のモノラル再生装置で音声題材を表現する妥当な方法である。従って、モノラル音声の配信に関わる既存のサービスをマルチチャネル音声に格上げするため、ＢＣＣ符号化を使うこともできる。例えば、ＢＣＣサイド情報を既存の送信チャネルに組み込むことができれば、既存のモノラル音声ラジオ放送システムを、ステレオ、またはマルチチャネル再生放送に格上げすることができる。マルチチャネルを、ステレオ音声に対応する２つの和信号にダウンミックスする場合にも、同様なことが可能である。

ＢＣＣは、特定の時間および周波数処理方法を使って音声信号を処理する。使用される周波数処理方法は、人間の聴覚システムの周波数処理方法を大いに利用している。心理音響学は、空間知覚が、聴覚入力信号の臨界帯域の表現に基づいている可能性が高いことを示唆している。この周波数処理方法は、人間の聴覚システムの臨界帯域幅と等しいかこれと比例する帯域幅を持つサブバンドを備えた可逆フィルタバンク（例えば、高速フーリエ変換（ＦＦＴ）または直交ミラーフィルタ（ＱＭＦ）に基づくもの）を使って設定される。

一般的ダウンミキシング
好適な実施例において、送信和信号は、入力音声信号のすべての信号成分を包含する。目標は、各信号成分が完全に維持されることである。音声入力チャネルを単に合算するだけでは、多くの場合、信号成分の増幅または減衰を生じる。いいかえれば、多くの場合、「単純」な和における信号成分のパワーは、各チャネルの対応信号成分のパワーの和よりも大きいか、または小さくなる。ダウンミキシング技法を使って、和信号中の信号成分のパワーが、すべての入力チャネル中の対応パワーとほほ同じになるように、和信号を等化することができる。

図３は、ＢＣＣシステム２００の特定の実施例による、図２のダウンミキサ２０６として使用可能なダウンミキサ３００のブロック図を示す。ダウンミキサ３００は、各入力チャネルｘ_i（ｎ）に対するフィルタバンク（ＦＢ）３０２、ダウンミキシングブロック３０４、オプションのスケーリング／遅延ブロック３０６、および、各符号化チャネルｙ_i（ｎ）に対する逆方向ＦＢ（ＩＦＢ）３０８を有する。

オプションのスケーリングの実施に加え、またはこれに代えて、スケーリング／遅延ブロック３０６は、オプションとして、信号に遅延を適用することができる。

図３では、Ｃ個の入力チャネルのすべてが、周波数領域に変換されその後ダウンミックスされるように示されているが、別の実施例では、Ｃ個の入力チャネルの１つ以上（但しＣ−１より少ない数）を、図３に示された処理の一部、またはすべてをバイパスして、修正前の音声チャネルと同じ数で送信することができよう。特定の実施形態に応じ、図２のＢＣＣ推定器２０８は、送信ＢＣＣコードを生成する際、これら修正無しのチャネルを使うことも使わないこともできよう。

係数ｅ（ｋ）は、式（５）により、次のように与えられる。

各遅延素子４０６は、再生チャネルの特定のペアの間に所望のＩＣＴＤ値が現れることを確実にするために、ＩＣＴＤデータの対応ＢＣＣコードに基づいて遅延値ｄ_i（ｋ）を適用する。各乗算素子４０８は、再生チャネルの特定のペアの間に所望のＩＣＬＤ値が現れることを確実にするために、ＩＣＬＤデータの対応ＢＣＣコードに基づいて、スケーリング係数ａ_i（ｋ）を適用する。相関ブロック４１０は、再生チャネルの特定のペアの間に所望のＩＣＣ値が現れることを確実にするために、ＩＣＣデータの対応ＢＣＣコードに基づいて、デ・コリレーション操作Ａを実施する。Ｂａｕｍｇａｒｔｅ２−１０として２００２年５月２４日に出願された米国特許出願第１０／１５５，４３７号に、相関ブロック４１０の機能についてのさらなる記載がされている。

ＩＣＬＤ値の合成は、ＩＣＴＤおよびＩＣＣ値の合成ほどには面倒でない、というのは、ＩＣＬＤ合成にはサブバンド信号のスケーリングが必要なだけだからである。ＩＣＬＤキューは、最も広く使用されている方向キューなので、通常、ＩＣＬＤを値を元の音声信号の値に近付けることは、より重要である。従って、全チャネルペアの間のＩＣＬＤデータを推定することもできよう。各サブバンドに対するスケーリング係数ａ_i（ｋ）（１≦ｉ≦Ｃ）は、望ましくは、各再生チャネルのサブバンドのパワーが、元の入力チャネルの対応するパワーに近似するように選択される。

１つの目標は、ＩＣＴＤおよびＩＣＣ値を合成するために、比較的少ない信号修正を適用するとしてもよい。そこで、ＢＣＣデータは、全チャネルペアに対するＩＣＴＤおよびＩＣＣ値を含めないようにすることができよう。この場合、ＢＣＣシンセサイザ４００は、特定のチャネルペアの間だけのＩＣＴＤおよびＩＣＣ値を合成することになろう。

図４には、送信チャネルＥ個のすべてが、周波数領域に変換され、その後アップミックスされ、ＢＣＣ処理されるように示されているが、別の実施例では、Ｅ個の送信チャネルの１つ以上（但しすべてではない）は、図４に示された処理の一部、またはすべてをバイパスすることができよう。例えば、送信チャネルの１つ以上は、一切アップミキシングの対象としない無修正チャネルとすることができる。これら無修正チャネルは、Ｃ個の再生チャネルの１つ以上に割り当てるのに併せ、順番に、他の再生チャネルの１つ以上を合成するためのＢＣＣ処理に適用する参照チャネルとして使うこともできよう。いずれの場合においても、このような無修正チャネルについては、遅延処理の対象とし、残りの再生チャネルを生成するため費やされるアップミキシング、および／またはＢＣＣ処理に要する処理時間を補償することができる。

なお、図４には、Ｅ個の送信チャネルから、元の入力チャネルの数でもあったＣ個の再生チャネルが合成されるように示されているが、ＢＣＣ合成は、この数の再生チャネルに限定されるものではない。Ｃ個よりも多い、または少ない数を含め、場合によっては、再生チャネルの数が送信チャネルの数以下である状況も含め、一般に再生チャネルの数を任意の数とすることができる。

音声チャネルの間の「知覚的に適切な差」
ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣによって、元の音声信号の対応キューに近似されたステレオ、またはマルチチャネル音声信号をＢＣＣ合成する、単一の和信号を想定する。以下に、聴覚空間イメージ特性に関連させて、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣの役割が説明される。

空間聴覚についての知識によれば、ＩＣＴＤおよびＩＣＬＤは、１つの聴覚事象に対する知覚方向に関連することが知られている。１つの音源に対するバイノーラル室内インパルス応答（ＢＲＩＲ）を検討すると、聴覚事象および聴取者包み込み状態の幅と、ＢＲＩＲの前後の時間部分で推定されたＩＣＣデータとの間には関連がある。但し、ＩＣＣと、各種信号に対するこれら特性（ＢＲＩＲだけでなく）との間の関係は単純なものではない。

ステレオおよびマルチチャネル音声信号は、通常、閉ざされた空間での録音によりもたらされ、また、空間印象を人為的に生成するため録音技術者によって加えられた反響信号成分が重畳された、同時並行の対象音源信号の複雑な混成を含む。さまざまな音源からの信号およびそれらの反響は、時間−周波数プレーン中のさまざまな領域を占める。これはＩＣＴＤ、ＩＣＬＤ、およびＩＣＣに反映され、これらのキューは時間および周波数の関数として変化する。こういった場合、瞬間的なＩＣＴＤ、ＩＣＬＤ、およびＩＣＣと、聴覚事象の方向および空間印象との間の関係は明確ではない。ＢＣＣの一部の実施形態の方策は、これらのキューは、元の音声信号の対応キューに近似するよう無分別に合成される。

等価矩形帯域幅（ＥＲＢ）の２倍の帯域幅のサブバンドを持つフィルタバンクが使用される。非公式な試聴は、高い周波数分解能を選択すると、ＢＣＣの音声品質の顕著な改善は見られない。低めの周波数分解能が望ましい、というのは、これにより、デコーダに送信するＩＣＴＤ、ＩＣＬＤ、およびＩＣＣ値の数が減り、ビットレートが下がるからである。

時間分解能に関しては、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣは、通常、一定の時間間隔に設定される。ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣを４〜１６ｍｓに設定すると好成績が得られる。なお、非常に短い時間間隔のキューを設定しないと、直接的な先行音効果は得られない。古典的な音刺激の進み遅れペアを想定すると、進み音と遅れ音との間隔が、１セットのキューしか合成できないような時間になってしまった場合、進み音の先行音影響効果（ｌｏｃａｌｉｚａｔｉｏｎ ｄｏｍｉｎａｎｃｅ）は考慮されない。こうした事情にもかかわらず、ＢＣＣは、一般的なＭＵＳＨＲＡ法採点で、平均で約８７点（すなわち「優秀」な音声品質）、特定の音声信号では１００点に近い成績を達成している。

参照信号と合成信号との間の小さな知覚の差が、たいがいは実現されることは、一定の時間間隔でＩＣＴＤ、ＩＣＬＤ、およびＩＣＣが合成することによって、聴覚空間イメージの広範囲の特性に関連するキューが、暗に取り入れられていることを意味している。以下に、どのように、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣを一連の聴覚空間イメージ特性と関連付けることができるかについて、少し説明する。

空間音響情報の推定
以下に、どのようにＩＣＴＤ、ＩＣＬＤ、およびＩＣＣが推定されるかを説明する。これらの（量子化され、および符号化された）空間音響情報を送信するためのビットレートは、わずかのｋｂ／ｓにすることができ、これにより、ＢＣＣを用いて、単一の音声チャネルに必要なビットレート近いレートで、ステレオおよびマルチチャネル音声信号を送信することができる。

図５は、本発明の１つの実施形態によるＢＣＣ推定器２０８のブロック図を示す。ＢＣＣ推定器２０８は、図３のフィルタバンク３０２と同じものとするフィルタバンク（ＦＢ）５０２と、フィルタバンク５０２により生成された各異なる周波数サブバンドに対するＩＣＴＤ、ＩＣＬＤ、およびＩＣＣ空間音響情報を生成する、推定ブロック５０４とを含む。

上式中の正規化相互相関関係の短時間推定値は、次の式（８）で与えられる。

なお、正規化相互相関度は絶対値で設定され、Ｃ₁₂（ｋ）は［０，１］の範囲を取る。

マルチチャネル音声信号に対するＩＣＴＤ、ＩＣＬＤ、およびＩＣＣの推定
２より多い入力チャネルがある場合、図６のＣ＝５のケースに示すように、参照チャネル（例えば、チャネル番号１）と他のチャネルとの間のＩＣＴＤおよびＩＣＬＤを設定すれば通常は十分であり、図６のτ_1c（ｋ）およびΔＬ_1c（ｋ）は、それぞれ、参照チャネル１とチャネルｃとの間のＩＣＴＤおよびＩＣＬＤを表す。

ＩＣＴＤおよびＩＣＬＤとは対照的に、ＩＣＣは、通常もっと多くの自由度を有する。定義上のＩＣＣは、想定されるすべての入力チャネルペアとの間でさまざまな値を取ることができる。Ｃ個のチャネルに対して、Ｃ（Ｃ−１）／２個のチャネルペアがあり得、例えば、５チャネルに対しては、図７（ａ）に示すように１０のチャネルペアがある。しかしながら、このようなスキームは、各時間点におけるサブバンドごとに、Ｃ（Ｃ−１）／２個のＩＣＣ値が推定され、および送信され、高い計算複雑性と高いビットレートとをもたらす。

これに代えて、各サブバンドに対して、ＩＣＴＤとＩＣＬＤとは、サブバンド中の対応信号成分による聴覚事象が聞こえて来る方向を決定する。併せ、サブバンドごとに単一のＩＣＣパラメータが、全チャネル間の全体的コヒーレンスを表現するために用いられる。各時間インデックスにおいて、各サブバンドの中で最大エネルギーのサブバンドを有する２つのチャネルの間だけのＩＣＣキューを推定し、送信することによって良好な結果を得ることができる。これは図７（ｂ）に示されており、時間点ｋ−１およびｋにおいて、それぞれチャネルペア（３，４）および（１，２）が最強となっている。発見的ルールが、他のチャネルペアの間のＩＣＣを決定するために使われる。

ＩＣＴＤの合成
遅延値ｄ_cは、次の式（１２）により、ＩＣＴＤ、τ_1c（ｋ）から算定される。

参照チャネルに対する遅延値ｄ₁は、遅延値ｄ_c中の最大の値が最小化されるように計算される。サブバンド信号の修正度が小さいほど、アーチファクトが発生する危険が少なくなる。サブバンドサンプリングレートが、ＩＣＴＤ合成のために十分な高さの時間分解能が得られない場合には、適切なオールパスフィルタを使い、より高精度で遅延値を課すことができる。

ＩＣＬＤの合成
出力サブバンド信号が、チャネルｃと参照チャネル１との間で所望のＩＣＬＤ、ΔＬ₁₂（ｋ）を持つようにするためには、利得係数ａ_cが次の式（１３）を満たすようにする必要がある。

さらに、出力サブバンドは、望ましくは、全出力チャネルのパワーの和が、入力和信号のパワーと等しくなるように正規化される。各サブバンドにおける元の信号の合計パワーは、和信号で維持されているので、この正規化の結果、元のエンコーダへの入力音声信号の対応パワーに近似された、各出力チャネルの絶対サブバンドパワーが得られる。これらの制約条件を与えて、スケール係数ａ_cは、以下の式（１４）で与えられる。

ＩＣＣの合成
一部の実施形態において、ＩＣＣ合成の目的は、ＩＣＴＤおよびＩＣＬＤに影響を与えることなく、遅延およびスケーリングが適用された後のサブバンド間の相関度を低減することである。これは、各サブバンド（聴覚臨界帯域）内の変化の平均がゼロになるようにしながら、ＩＣＴＤおよびＩＣＬＤが周波数の関数として効果的に変化するように、図８のフィルタｈ_cを設計することによって達成することができる。

図９は、サブバンド内で、ＩＣＴＤとＩＣＬＤとが周波数の関数としてどのように変化するかを示す。ＩＣＴＤおよびＩＣＬＤの変化の振幅は、デ・コリレーションの程度を規定し、ＩＣＣの関数として制御される。なお、ＩＣＴＤは（図９（ａ）に示すように）滑らかに変化するが、ＩＣＬＤは（図９（ｂ）に示すように）ランダムに変化する。ＩＣＬＤをＩＣＴＤのように滑らかに変化させることもできるが、そうすると、得られる音声信号のさらなるカラレーションを招くことになる。

特にマルチチャネルのＩＣＣ合成に適した、ＩＣＣを合成するための別の方法が、Ｃ，Ｆａｌｌｅｒ（ファーラー）の「パラメトリックマルチチャネル音声符号化： コヒーレンスキューの合成（Ｐｒａｍｅｔｒｉｃ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｄｉｎｇ： Ｓｙｎｔｈｅｓｉｓ ｏｆ ｃｏｈｅｒｅｎｃｅ ｃｕｅ）」、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．（音声および音響処理）、２００３年、に記載されており、その教示は参考として本明細書に組み入れられる。所望のＩＣＣを達成するため、各々の出力チャネルに特定量の人為的残響が、時間および周波数の関数として加えられる。さらに、得られた信号のスペクトル包絡線が元の音声信号のスペクトル包絡線に近くなるようにスペクトル修正を適用することができる。

関連のあるまたは関連のない、他のステレオ信号（または音声チャネルペア）に対するＩＣＣ合成技法が、Ｅ．Ｓｃｈｕｉｊｅｒｓ（シュイジャース）、Ｗ．Ｏｏｍｅｎ（オーメン）、Ｂ．ｄｅｎ Ｂｒｉｎｋｅｒ（デン・ブリンカー）、Ｊ．Ｂｒｅｅｂａａｒｔ（ブリーバート）の「高品質オーディオのためのパラメトリック符号化の進展（Ａｄｖａｎｃｅｓ ｉｎ ｐａｒａｍｅｔｒｉｃ ｃｏｄｉｎｇ ｆｏｒ ｈｉｇｈ−ｑｕａｌｉｔｙ ａｕｄｉｏ）」、オーディオ技術協会（Ａｕｄ． Ｅｎｇ． Ｓｏｃ．）第１１４回大会発表抄録、２００３年３月；ならびに、Ｊ．Ｅｎｇｄｅｇａｒｄ（エングデガード）、Ｈ．Ｐｕｒｎｈａｇｅｎ（プルネハンゲン）、Ｊ．Ｒｏｄｅｎ（ローデン）およびＬ．Ｌｉｌｊｅｒｙｄ（リルジェリド）の「パラメトリックステレオ符号化の合成環境（Ｓｙｎｔｈｅｔｉｃ ａｍｂｉｅｎｃｅ ｉｎ ｐａｒａｍｅｔｒｉｃ ｓｔｅｒｅｏ ｃｏｄｉｎｇ）」，オーディオ技術協会，第１１７回大会発表抄録、２００４年５月に発表されており、これら双方の教示は、参考として本明細書に組み入れられる。

Ｃ対ＥのＢＣＣ
前に述べたように、ＢＣＣを１つ以上の送信チャネルに対し実施することができる。Ｃ個の音声チャネルを、単一の（送信）チャネルでなくＥ個のチャネルとして表す、Ｃ対Ｅ・ＢＣＣといわれるＢＣＣのバリエーションについて説明してきた。Ｃ対Ｅ・ＢＣＣには、少なくとも２つの利点がある。
○ ＢＣＣを使った送信チャネルは、既存のモノラルシステムを、ステレオ、またはマルチチャネル音声再生にアップグレードするための、下位互換性のある送信路を提供する。アップグレードされたシステムは、ＢＣＣダウンミックスされた和信号を、既存のモノラルのインフラを通して送信し、これに加えＢＣＣサイド情報を送信する。Ｃ対Ｅ・ＢＣＣは、Ｃ個のチャネルの音声を下位互換性のあるように符号化されたＥ個のチャネルに適用することができる。
○ Ｃ対Ｅ・ＢＣＣは、送信チャネル数の低減の程度の違いに応じたスケーラビリティを取り入れる。送信される音声チャネルが多いほど、音声品質を向上することができよう。どのようにＩＣＴＤ、ＩＣＬＤ、およびＩＣＣキューを設定するかといった、Ｃ対Ｅ・ＢＣＣの処理の詳細が、２００４年１月２０日に出願（Ｆａｌｌｅｒ１３−１）された米国特許出願第１０／７６２，１００号に記載されている。

コンパクトなサイド情報
前述したように、典型的ＢＣＣスキームでは、エンコーダは、音声チャネルのいろいろなペア、またはグループの間で推定されたＩＣＴＤ、ＩＣＬＤ、および／またはＩＣＣコードをデコーダに送信する。このサイド情報は、ＢＣＣ復号の後マルチチャネル音声信号を得るために、（例えば、モノラル、またはステレオへの）ダウンミックス信号に加えて送信される。従って、復号された音響本来の品質を低下させることなく、サイド情報の量を最少化することが望まれる。

通常、ＩＣＬＤおよびＩＣＴＤ値は、１つの参照チャネルと関連付けられているので、Ｃ個の符号化チャネルの特性を表現するために、Ｃ−１個のＩＣＬＤ値とＩＣＴＤ値とがあればよい。これに対し、ＩＣＣは、チャネルの任意のペアの間で設定される。従って、Ｃ個の符号化チャネルに対し、Ｃ（Ｃ−１）／２個のＩＣＣペアがあり得る。これは、５つの符号化チャネルに対し１０のＩＣＣペアに相当する。実際上は、送信されるＩＣＣ情報の量を制限するために、一部のペアに対するＩＣＣ情報だけが送信される。

本発明の１つの実施形態によれば、図１０の５対２ＢＣＣスキームに関連して、対応ＢＣＣエンコーダは、前面／後方のデ・コリレーションの全体量を効率的に表す単一の組合せＩＣＣ値を生成するために、各サブバンドの「左／左後方」チャネルペアに対して推定されたＩＣＣ値を、「右／右後方」チャネルペアに対して推定されたＩＣＣ値と組合せ、ＩＣＣサイド情報としてＢＣＣデコーダに送信される。非公式な実験は、この簡素化が、実質的に音声品質の損失にならないことを示した。その一方で、低減は、２倍のＩＣＣ情報を送信した。

一般に、本発明の実施形態は、異なるチャネルペア、またはチャネルのグループの間で推定された、２つ以上の異なるＩＣＣを組合せて送信するＢＣＣスキームを対象としており、該組合せＩＣＣは、次の式（１５）で表される。

ＩＣＣ_transmitted＝ｆ（ＩＣＣ₁、ＩＣＣ₂、…、ＩＣＣ_N） （１５）

上式のｆはＮ個の異なるＩＣＣを組合せる関数である。

空間イメージを表現する組合せＩＣＣ指標を得るために、個々のチャネルの重要度を取り入れた関数ｆの重み付き平均値を用いて、実効性を向上することができ、該チャネルの重要度を、次の式（１６）で表すように、チャネルのパワーに基づくものとすることができる。

上式のｐ_iはサブバンド中の対応チャネルペアのパワーである。この場合、より強いチャネルペアから推定されたＩＣＣは、より弱いチャネルペアから推定されたＩＣＣよりも大きく重み付けされる。チャネルペアの組合せパワーｐ_iは、各サブバンドに対する個別のチャネルパワーの和として計算することができる。

デコーダでは、ＩＣＣ_transmittedから、各チャネルペアに対するＩＣＣを導き出すことができる。考えられる１つの実施事例において、デコーダは、各チャネルペアに対し、導出ＩＣＣコードとして、ＩＣＣ_transmittedをそのまま使用する。例えば、図１１０の５対２ＢＣＣスキームに関連し、左／左後方チャネルペアおよび右／右後方チャネルペア双方のデ・コリレーションのため、ＩＣＣ_transmittedを直接に使用することができる。

考えられる別の実施例では、デコーダが合成された信号からチャネルペアのパワーを推定する場合、式（１６）の重み付けを推定することができ、デコーダの処理は、２つ個別の知覚的に最適化されたＩＣＣコードを導き出すためのルールを生成するために、この情報と他の知覚的および信号上の統計的引数とを最適に使う。

特定の５対２ＢＣＣスキームに関連させて、ＩＣＣ値の組合せを説明してきたが、Ｅ＝１のものも含め、任意のＣ対Ｅ・ＢＢＣスキームに関連させて本発明を実施することができる。

図１１は、図２で示したような、本発明の１つの実施形態に関連したＢＢＣシステムの処理過程の流れ図を示す。図１１は、ＩＣＣが関わる処理過程に関連するステップだけを示している。

具体的には、ＢＣＣエンコーダは、チャネルの２つ以上のグループの間を推定し（ステップ１１０２）、１つ以上の組合せＩＣＣ値を生成するために、これら推定されたＩＣＣ値の２つ以上を組合せ（ステップ１１０４）、該組合せＩＣＣ値を（場合により１つ以上の「組合せ無し」のＩＣＣ値と一緒に）ＢＣＣサイド情報として、ＢＣＣデコーダに送信する（ステップ１１０６）。ＢＣＣデコーダは、受信した組合せＩＣＣ値から２つ以上のＩＣＣ値を導き出し（ステップ１１０８）、導き出したＩＣＣ値（および、場合により、受信した１つ以上の組合せ無しＩＣＣを使って）チャネルのグループをデ・コリレーションする（ステップ１１１０）。

さらなる別の実施形態
図１０の５対２ＢＣＣスキームに関連させて本発明を説明してきた。この実施例では、ＢＣＣエンコーダは、（１）４つの異なるチャネルで構成される２つのチャネルペア（すなわち、左／左後方、および右／右後方）に対する２つのＩＣＣコードを推定し、（２）ＢＣＣデコーダに送信する組合せＩＣＣコードを生成するために、これら２つのコードを平均する。ＢＣＣデコーダは、（１）送信されてきた組合せＩＣＣコードから２つのＩＣＣコードを導き出し（組合せＩＣＣコードを、そのまま、双方の導き出されたＩＣＣコードの代わりに使うこともできる）、（２）４つのデ・コリレーションされたチャネル（すなわち、合成された左、左後方、右、および右後方チャネル）を生成するために、導き出された２つのＩＣＣコードの各々を、合成チャネルの個々のペアに適用する。

本発明を、他の状況で実施することもできる。例えば、ＢＣＣエンコーダは、３つの入力チャネルＡ、Ｂ、およびＣから、２つのＩＣＣコードを推定し、１つの推定されたＩＣＣコードは、チャネルＡおよびＢに対応し、他方の推定されたＩＣＣコードは、チャネルＡおよびＣに対応するようにできよう。この場合、エンコーダは、入力チャネルの２つのペアから２つのＩＣＣコードを推定すると言ってもよく、該入力チャネルの２つのペアは、共通のチャネル（すなわち、入力チャネルＡ）を分かち合うことになろう。次いで、エンコーダは、２つの推定されたＩＣＣコードに基づいて１つの組合せＩＣＣコードを生成し送信することができよう。次に、ＢＣＣデコーダは、送信された組合せＩＣＣコードから２つのＩＣＣコードを導き出し、３つのデ・コリレーションされたチャネル（すなわち、合成チャネルＡ、Ｂ、およびＣ）を合成するために、それら２つの導出ＩＣＣコードを適用する。この場合、デ・コリレーションされたチャネルペアを生成するために、各導出ＩＣＣコードが適用され、デ・コリレーションされたチャネルの２つのペアは、共通のチャネル（すなわち、合成されたチャネルＡ）を分かち合うことになると言えよう。

組合せＩＣＣコードを用いるＢＣＣ符号化スキームに関連させて本発明を説明してきたが、組合せＩＣＣコードを用いるのに代えて、またはこれに加えて、ＩＣＴＤコード、および／またはＩＣＬＤコードのような、ＩＣＣコード以外の２つ以上のＢＣＣキューコードを組合せて生成された、組合せＢＣＣキューコードを用いるＢＣＣ符号化スキームと関連させて本発明を実施することもできる。

ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣコードを用いるＢＣＣ符号化スキームに関連させて本発明を説明してきたが、これら３種類のコードのうち１つまたは２つだけを使って（例えば、ＩＣＬＤとＩＣＣとを使うがＩＣＴＤは使わない）、および／または１つ以上の追加種類のコードを使って本発明を実施することもできる。

図１０に提示した５対２ＢＣＣスキームにおいて、２つの送信チャネルｙ₁（ｎ）およびｙ₂（ｎ）は、典型的には、図６および図７に示された５チャネルに、特定な一段階のダウンミキシングを適用して生成され、チャネルｙ₁は、チャネル１、３、および４の重み付き和として生成され、チャネルｙ₂は、チャネル２、３、および５の重み付き和として生成されており、各々の重み付き和において、例えば、チャネル３に対する重み係数は、他の２つのチャネルの各々に適用される重み係数の半分である。この一段階ＢＣＣスキームにおいて、推定されたＢＣＣキューコードは、元の５つの入力チャネルの異なるペアに対応している。例えば、推定されたＩＣＣコードの１つのセットはチャネル１と４とに基づいており、推定されたＩＣＣコードの別のセットは、チャネル２と４とに基づいている。

多段階のＢＣＣスキームにおいて、別のチャネルは、シーケンシャルにダウンミックスされ、ＢＣＣキューコードグループは、ダウンミキシングシーケンスの各段階における異なったチャネルグループに潜在的に対応している。例えば、図６および７の５チャネルの場合であれば、ＢＣＣエンコーダでは、元の左チャネルと左後方チャネルとが、これら２つの元チャネルに対応して生成されたＢＣＣキューコードの第一セットから第一ダウンミックス左チャネルを形成するために、ダウンミックスされる。同様に、元の右および右後方チャネルが、これら２つの元チャネルに対応して生成されたＢＣＣキューコードの第二セットから第一ダウンミックス右チャネルを形成するために、ダウンミックスされる。第二ダウンミキシング段階では、第一ダウンミックス左チャネルと元のセンターチャネルとに対応する生成されたＢＣＣキューコードの第三セットから第二ダウンミックス左チャネルを形成するために、第一ダウンミックス左チャネルは、元のセンターチャネルと共にダウンミックスされる。同様に、第一ダウンミックス右チャネルと元のセンターチャネルとに対応する生成されたＢＣＣキューコードの第四セットから第二ダウンミックス右チャネルを形成するために、第一ダウンミックス右チャネルは、元のセンターチャネルと共にダウンミックスされる。次いで、第二ダウンミックス左チャネルと右チャネルとが、サイド情報として上記４つすべてのＢＣＣキューコードのセットと共に送信することができよう。これを受けて、類似の方法により、対応するＢＣＣデコーダは、２つの送信「ステレオ」チャネルから、５つの出力チャネルを合成するために、２段階のシーケンシャルアップミキシングスキームの異なる段階で、これら４つのＢＣＣキューコードを逐次に適用する。

組合せＩＣＣキューコードを、他のＢＣＣコードと併せ、１つ以上の音声チャネル（すなわち、Ｅ個の送信チャネル）と一緒に送信するＢＣＣ符号化スキームに関連させて、本発明を説明してきたが、別の実施形態において、組合せＩＣＣキューコードを単独で、または他のＢＣＣコードと共に、送信されたチャネル、および場合により他の送信されたＢＣＣコードが既に存在している場所（例えば、デコーダまたは記憶デバイス）に送信することもできよう。

ＢＣＣ符号化スキームに関連させて本発明を説明してきたが、音声信号が、デ・コリレーションされる他の音声処理システム、または信号をデ・コリレーションする必要のある他の音声処理過程に関連して本発明を実施することもできる。

エンコーダは、時間領域の音声入力信号を受信し、時間領域の送信音声信号を生成し、デコーダは、時間領域の送信信号を受信し、時間領域の再生音声信号を生成する実施例に関連させて、本発明を説明してきたが、本発明は前記に限定されない。例えば、他の実施例において、入力、送信、および再生音声信号の任意の１つ以上を周波数領域で表現することができよう。

ＢＣＣエンコーダ、および／またはデコーダは、テレビジョンまたは電子音楽配信のシステム、映画館、放送、ストリーミング、および／または受信を含め、各種多様なアプリケーション、またはシステムと関連させて、またはそれらに組み入れて使用することができる。これらには、例えば、地上波、衛星、ケーブル、インターネット、イントラネット、または物理媒体（例えば、コンパクトディスク、デジタル多目的ディスク、半導体チップ、ハードドライブ、メモリカードなど）を介する送信を、符号化／復号化するためのシステムが含まれる。また、例えば、複数のマシン、プラットフォーム、または媒体を対象に出版される、エンターテインメント（アクション、ロールプレイ、ストラテジー、アドベンチャ、シミュレーション、レース、スポーツ、ゲームセンター、カード、およびボードゲーム）用および／または教育用としてユーザとの相互交流を意図された双方向ソフトウエアを含め、ゲームおよびゲームシステムにＢＢＣエンコーダおよび／またはデコーダを用いることができる。さらに、ＢＢＣエンコーダおよび／またはデコーダを、オーディオレコーダ／プレーヤーまたはＣＤ−ＲＯＭ／ＤＶＤシステムに組み込むことができる。また、ＢＢＣエンコーダおよび／またはデコーダを、デジタル復号処理を内蔵するＰＣソフトウエアアプリケーション（例えば、プレーヤー、デコーダ）、またはデジタル符号化機能を内蔵するソフトウエアアプリケーション（例えば、エンコーダ、リッパー、レコーダ、およびジュークボックス）中に組み込むこともできる。

本発明を、１つの（ＡＳＩＣまたはＦＰＧＡのような）集積回路、マルチチップモジュール、一枚のカード、またはマルチカード回路パックとしての可能な実装を含め、回路ベースのプロセスとして実施することができる。当業者には自明のように、回路エレメントのさまざまな機能は、ソフトウエアプログラムの処理ステップとしても実行することができる。こういったソフトウエアを、例えば、デジタル信号プロセッサ、マイクロコントローラ、または汎用コンピュータで用いることができる。

本発明は、方法およびそれらの方法を実践する装置の形で具現することができる。また、本発明を、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードドライブ、または他の任意のマシン可読の記憶媒体のような有形の媒体の中に具現されたプログラムコードの形で具体化し、該プログラムコードを、コンピュータなどのマシンにロードし実行させると、該マシンが本発明を実行する装置となるようにすることができる。同様に、記憶媒体に格納された形であれ、マシンにロードされ、および／または実行される形であれ、あるいは、電線、ケーブル、光ファイバーを通しまたは電磁放射を介するといった、何らかの送信媒体、または搬送波による伝送の形であれ、本発明をプログラムコードの形で具現し、該プログラムコードを、コンピュータのようなマシンによりロードされ実行されると、そのマシンが本発明を実行する装置となるようにすることもできる。汎用プロセッサで実行されると、プログラムコードのセグメントが該プロセッサと組合さって、特定の論理回路と同じように動作する固有のデバイスが構成される。

当業者は、添付の特許請求内容に表された本発明の範囲を逸脱することなく、本発明の本質の説明のために記載、図示された構成部分の細部、材料および配列にさまざまな変更を加えることができよう。

添付の方法の請求項の中のステップが、対応する標識と共に特定の順序で記載されていても、その請求項の記述内容に、それらのステップの一部、またはすべてをその特定順序で実施する意味が別途に含まれていなければ、それらステップの提示は、必ずしもその特定の順序での実施に限定することを意図したものではない。

従来型のバイノーラル信号シンセサイザの上位ブロック図を示す。 一般的なバイノーラルキューコーディング（ＢＣＣ）音声処理システムのブロック図である。 図２のダウンミキサとして使用可能なダウンミキサのブロック図を示す。 図２のデコーダとして使用可能なＢＣＣシンセサイザのブロック図を示す。 本発明の１つの実施形態による、図２のＢＣＣ推定器のブロック図を示す。 ５チャネルオーディオに対するＩＣＴＤおよびＩＣＬＤデータの生成を示す。 ５チャネルオーディオに対するＩＣＣデータの生成を示す。 ＢＣＣデコーダの中で使用可能な、送信された信号和ｓ（ｎ）と空間音響情報とからステレオまたはマルチチャネル生成するために、図４のＢＣＣシンセサイザの実装例のブロック図を示す。 サブバンド内で、ＩＣＴＤおよびＩＣＬＤが、周波数の関数としてどのように変化するかを示す。 ５対２ＢＣＣスキームのため、図２のデコーダとして使用可能なＢＣＣシンセサイザのブロック図を示す。 本発明の１つの実施形態に関連する、図２に示されるようなＢＣＣシステムによる処理の流れ図を示す。

Claims (30)

1. 音声チャネルを符号化する方法であって、前記方法は、
   ２つ以上の音声チャネルに対し１つ以上のキューコードを生成する工程であって、
   少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
   各推定されたキューコードは、前記音声チャネルの２つ以上のグループから推定されている、生成工程と、
   前記１つ以上のキューコードを送信する工程とを含む方法。
2. 前記２つ以上の音声チャネルに対応するＥ個の送信音声チャネルを送信する工程をさらに含み、Ｅ≧１である、請求項１に記載の方法。
3. 前記２つ以上の音声チャネルはＣ個の入力音声チャネルを含み、Ｃ＞Ｅであり、
   前記Ｃ個の入力チャネルは、前記Ｅ個の送信チャネルを生成するために、ダウンミックスされる、請求項２に記載の方法。
4. 前記１つ以上のキューコードは、デコーダが、Ｅ個の送信チャネルの復号の過程で、前記組合せキューコードに基づいて合成処理を実行することを可能にするために、送信され、前記Ｅ個送信音声チャネルは、前記２つ以上の音声チャネルに対応しており、Ｅ≧１である、請求項１に記載の方法。
5. 前記１つ以上のキューコードは、組合せチャネル間相関度（ＩＣＣ）コード、組合せチャネル間レベル差（ＩＣＬＤ）コード、および組合せチャネル間時間差（ＩＣＴＤ）コードの１つ以上を含む、請求項１に記載の方法。
6. 前記組合せキューコードは、前記２つ以上の推定されたキューコードの平均値として生成される、請求項１に記載の方法。
7. 前記組合せキューコードは、前記２つ以上の推定されたキューコードの重み付き平均値として生成される、請求項６に記載の方法。
8. 前記組合せキューコードを生成するため使われる各推定されたキューコードは、前記重み付き平均値を生成するために使われる重み係数と関連付けられており、
   各推定されたキューコードに対する前記重み係数は、前記推定されたキューコードに対応するチャネルの前記グループの中のパワーに基づく、請求項７に記載の方法。
9. 前記組合せキューコードは、組合せＩＣＣコードである、請求項１に記載の方法。
10. 前記２つ以上の音声チャネルは、左チャネル、左後方チャネル、右チャネル、および右後方チャネルを含み、
    前記左および左後方チャネルから第一推定されたＩＣＣコードが生成され、
    前記右および右後方チャネルから第二推定されたＩＣＣコードが生成され、
    前記組合せＩＣＣコードは、前記第一および第二推定されたＩＣＣコードを組合せて生成される、請求項９に記載の方法。
11. 音声チャネルを符号化するための装置であって、前記装置は、
    ２つ以上の音声チャネルに対する１つ以上のキューコードを生成するための手段であって、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記音声チャネルの２つ以上のグループから推定されている、生成手段と、
    前記１つ以上のキューコードを送信するための手段とを含む装置。
12. Ｅ個の送信音声チャネル生成するために、Ｃ個の入力音声チャネルを符号化する装置であって、前記装置は、
    ２つ以上の音声チャネルに対する１つ以上のキューコードを生成するように適応されたコード推定器であって、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記音声チャネルの２つ以上のグループから推定されている、推定器と、
    前記Ｅ個の送信チャネルを生成するために、Ｃ個の入力チャネルをダウンミックスするように適応されたダウンミキサであって、Ｃ＞Ｅ≧１であり、前記装置は、デコーダが、前記Ｅ個の送信チャネルを復号する過程で合成処理を実行することを可能にするために、前記キューコードについての情報を送信するように適応されるダウンミキサとを含む装置。
13. 前記装置は、デジタルビデオレコーダ、デジタルオーディオレコーダ、コンピュータ、衛星送信機、ケーブル送信機、地上波送信機、ホームエンターテインメントシステム、および映画館システムから成るグループから選択されたシステムであり、
    前記システムは、前記コード推定器および前記ダウンミキサを含む、請求項１２に記載の装置。
14. プログラムコードをエンコードされたマシン可読の媒体であって、前記プログラムコードがマシンで実行されると、前記マシンは音声チャネルを符号化する方法を実行し、前記方法は、
    ２つ以上の音声チャネルに対する１つ以上のキューコードを生成する工程であって、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記音声チャネルの２つ以上のグループから推定されている、生成工程と、
    前記１つ以上のキューコードを送信する工程とを含む、マシン可読媒体。
15. 音声チャネルを符号化することによって生成される符号化音声ビットストリームであって、
    ２つ以上の音声チャネルに対し１つ以上のキューコードが生成され、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記音声チャネルの２つ以上のグループから推定されており、
    前記１つ以上のキューコードと、前記２つ以上の音声チャネルに対応するＥ個の送信音声チャネルとが、前記符号化音声ビットストリーム中に符号化され、Ｅ≧１である、ビットストリーム。
16. １つ以上のキューコードとＥ個の送信音声チャネルとを含む符号化音声ビットストリームであって、
    前記１つ以上のキューコードは、２つ以上の音声チャネルに対して生成され、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記音声チャネルの２つ以上のグループから推定されており、
    前記Ｅ個の送信音声チャネルは、前記２つ以上の音声チャネルに対応する、ビットストリーム。
17. Ｃ個の再生音声チャネルを生成するために、Ｅ個の送信音声チャネルを復号する方法であって、Ｃ＞Ｅ≧１であり、前記方法は、
    前記Ｅ個の送信チャネルに対応するキューコードを受信する工程であって、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記Ｅ個の送信チャネルに対応する２つ以上の音声チャネルのグループから推定されている、受信工程と、
    １つ以上のアップミックスされたチャネルを生成するために、前記Ｅ個の送信チャネルの１つ以上をアップミックスする工程と、
    前記キューコードを前記１つ以上のアップミックスされたチャネルに適用して、前記Ｃ個の再生チャネルの１つ以上を合成する工程であって、
    前記組合せキューコードから２つ以上の導出キューコードが導き出され、
    ２つ以上の合成チャネルを生成するために、各導出キューコードが適用される合成工程とを含む方法。
18. 前記キューコードは、組合せＩＣＣコード、組合せＩＣＬＤコード、および組合せＩＣＴＤコードの１つ以上を含む、請求項１７に記載の方法。
19. 前記組合せキューコードは、前記２つ以上の推定されたキューコードの平均値である、請求項１７に記載の方法。
20. 前記組合せキューコードは、前記２つ以上の推定されたキューコードの重み付き平均値である、請求項１９に記載の方法。
21. 前記組合せキューコードを生成するために使われる各推定されたキューコードは、前記重み付き平均値を生成する際に使われる重み係数に関連付けられており、
    各推定されたキューコードに対する前記重み係数は、前記推定されたキューコードに対応するチャネルの前記グループのパワーに基づいている、請求項２０に記載の方法。
22. 前記２つ以上の導出キューコードは、
    各推定されたキューコードに関連する、２つ以上のチャネルのグループの各々に対する重み係数を導き出し、
    前記組合せキューコードと導き出された２つ以上の重み係数との関数として、前記２つ以上の導出キューコードを導き出すことによって得られる、請求項１７に記載の方法。
23. 各導き出された重み係数は、
    推定されたキューコードに対応する、前記チャネルグループ中のパワーを推定し、
    異なる推定されたキューコードに対応する異なるチャネルグループの前記推定されたパワーに基づいて、前記重み係数を導き出すことによって得られる、請求項２２に記載の方法。
24. 前記組合せキューコードは、組合せＩＣＣコードである、請求項１７に記載の方法。
25. 前記２つ以上の音声チャネルは、左チャネル、左後方チャネル、右チャネル、および右後方チャネルを含み、
    前記左および左後方チャネルから、第一推定されたＩＣＣコードが生成され、
    前記右および右後方チャネルから、第二推定されたＩＣＣコードが生成され、
    前記第一および第二推定されたＩＣＣコードを組合せて、前記組合せＩＣＣコードが生成される、請求項２４に記載の方法。
26. 合成された左および左後方チャネルをデ・コリレーションするために、前記組合せＩＣＣコードが使用され、
    合成された右および右後方チャネルをデ・コリレーションするために、前記組合せＩＣＣコードが使用される、請求項２５に記載の方法。
27. Ｃ個の再生音声チャネルを生成するために、Ｅ個の送信音声チャネルを復号する装置であって、Ｃ＞Ｅ≧１であり、前記装置は、
    前記Ｅ個の送信チャネルに対応するキューコードを受信するための手段であって、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記Ｅ個の送信チャネルに対応する２つ以上の音声チャネルのグループから推定されている、受信手段と、
    １つ以上のアップミックスされたチャネルを生成するために、前記Ｅ個の送信チャネルの１つ以上をアップミックスする手段と、
    前記キューコードを、前記１つ以上のアップミックスされたチャネルに適用して、前記Ｃ個の再生チャネルの１つ以上を合成するための手段であって、
    前記組合せキューコードから２つ以上の導出キューコードが導き出され、
    ２つ以上の合成チャネルを生成するために、各導出キューコードが適用される、合成手段とを含む装置。
28. Ｃ個の再生音声チャネルを生成するために、Ｅ個の送信音声チャネルを復号する装置であって、Ｃ＞Ｅ≧１であり、前記装置は、
    前記Ｅ個の送信チャネルに対応するキューコードを受信するように適応された受信器であって、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記Ｅ個の送信チャネルに対応する２つ以上の音声チャネルのグループから推定されている、受信器と、
    １つ以上のアップミックスされたチャネルを生成するために、前記Ｅ個の送信チャネルの１つ以上をアップミックスするように適応されたアップミキサと、
    前記キューコードを前記１つ以上のアップミックスされたチャネルに適用して、前記Ｃ個の再生チャネルの１つ以上を合成するように適応されたシンセサイザであって、
    前記組合せキューコードから２つ以上の導出キューコードが導き出され、
    ２つ以上の合成チャネルを生成するために、各導出キューコードが適用される、シンセサイザとを含む装置。
29. 前記装置は、デジタルビデオプレーヤー、デジタルオーディオプレーヤー、コンピュータ、衛星受信機、ケーブル受信機、地上波放送受信機、ホームエンターテインメントシステム、および映画館システムから成るグループから選択されたシステムであり、
    前記システムは、前記受信器、前記アップミキサ、および前記シンセサイザを含む、請求項２８に記載の装置。
30. プログラムコードをエンコードされたマシン可読の媒体であって、マシンによって前記プログラムコードが実行されると、前記マシンは、Ｃ個の再生音声チャネルを生成するために、Ｅ個の送信音声チャネルを復号する方法を実施し、Ｃ＞Ｅ≧１であり、前記方法は、
    前記Ｅ個の送信チャネルに対応するキューコードを受信する工程であって、
    少なくとも１つのキューコードは、２つ以上の推定されたキューコードを組合せて生成された組合せキューコードであり、
    各推定されたキューコードは、前記Ｅ個の送信チャネルに対応する２つ以上の音声チャネルのグループから推定されている、受信工程と、
    １つ以上のアップミックスされたチャネルを生成するために、前記Ｅ個の送信チャネルの１つ以上をアップミックスする工程と、
    前記キューコードを前記１つ以上のアップミックスされたチャネルに適用することによって、前記Ｃ個の再生チャネルの１つ以上を合成する工程であって、
    前記組合せキューコードから２つ以上の導出キューコードが導き出され、
    ２つ以上の合成チャネルを生成するために、各導出キューコードが適用される、合成工程とを含む方法であるマシン可読媒体。

Images