JP2012177939A

JP2012177939A - 周波数領域のウィナーフィルターを用いた空間オーディオコーディングのための時間エンベロープの整形

Info

Publication number: JP2012177939A
Application number: JP2012122890A
Authority: JP
Inventors: Stewart Vinton Mark; ビントン、マーク・ステュアート; Alan Jeffrey Seefeldt; シーフェルト、アラン・ジェフリー
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2004-08-25
Filing date: 2012-05-30
Publication date: 2012-09-13
Anticipated expiration: 2025-08-15
Also published as: IL214135A0; TWI498882B; JP5292498B2; CN102968996B; KR20070051860A; EP3279893B1; ES2923661T3; EP3940697B1; TWI393120B; CN101006494A; ES2899286T3; CN102270453A; KR20110069179A; IL201469A; AU2011200680B2; AU2005280392A1; TW200611240A; CN101006494B; AU2005280392B2; JP2008511040A

Abstract

【課題】オーディオ信号の時間エンベロープを再整形するための方法を提供する。
【解決手段】合成された出力オーディオ信号の時間エンベロープを再整形して、入力オーディオ信号の時間エンベロープに、より近似させるための方法が提供され、方法は、ａ）ダウンミックスオーディオ信号及びエンベロープサイド情報を含む、空間的にエンコードされたビットストリームを受信すること、ｂ）空間的にエンコードされたビットストリームをデコードして、合成された出力オーディオ信号を生成すること、ｃ）エンベロープサイド情報に従って、合成された出力オーディオ信号の時間エンベロープを再整形して、入力オーディオ信号の時間エンベロープに、より近似させることを含む。
【選択図】図２

Description

本発明は、デコードされるときにオーディオ情報がブロックレートにより制限される時間エンベロープ分解能を有する場合における、知覚的パラメトリックオーディオエンコーダー、デコーダー、及びシステムを含んだ、ブロックベースのオーディオコーダーと、かかる方法を実行するコンピュータプログラムと、かかるエンコーダーにより作られたビットストリームとに関する。

ビットレートを削減するオーディオコーディング技法の多くは、１以上のエンコードされたオーディオ信号の各々を時間ブロックに分割し、このエンコードされたオーディオと関連のあるサイド情報の少なくともいくつかをブロックレート以下の頻度で更新する処理を含むエンコーディングにおける「ブロックベース」となっている。結果として、このオーディオ情報は、デコードされるときに、このブロックレートにより制限される時間エンベロープ分解能を有する。したがって、時間についてデコードされたオーディオ信号の詳細な構成においてそのコーディング技法の粒度より小さな時間周期（一般にブロック毎に８から５０ミリ秒の範囲）は保存されない。

このようなブロックベースのオーディオコーディング技法には、ＡＣ−３、ＡＡＣ、及びさまざまなＭＰＥＧのような、一般に個別のチャンネルがエンコーディング/デコーディングを経由して保存される、すでに確立された知覚コーディング技法のみならず、最近発表された、しばしば「バイノーラルキューコーディング」や「パラメトリックステレオコーディング」と称され、エンコーディング/デコーディングを経由して、多入力チャンネルがダウンミックスされ、また、単一のチャンネルがアップミックスされる限られたビットレートのコーディング技法も含まれる。このようなコーディングシステムの詳細は、「参照として編入」の見出しで以下に引用したさまざまな書面に記載されている。このようなコーディングシステムにおいて単一のチャンネルを用いる結果として、復元された出力チャンネルは、必然的にお互いに振幅が縮小拡大されたもの、すなわち特定のブロックについて、多様な出力信号が実質的に同じ詳細なエンベロープ構造を必然的に有する。

すべてのブロックベースのオーディオコーディング技法は、コード化されたオーディオ信号の時間エンベロープ分解能を改善することにより恩恵を受けるかもしれないが、このようは改善の必要性は、エンコーディング/デコーディングプロセスを通して個別のチャンネルを保存しないブロックベースのオーディオコーディング技法において特に大きい。例えば、拍手のような特定の入力信号は、再生されて知覚される空間音像が狭くなるか又は壊れてしまうので特に問題である。

オーディオ信号の時間エンベロープを再整形するための方法を提供する。

本発明の１つの特徴により、オーディオ信号のエンコーディング方法が提供され、本方法により、１以上のオーディオ信号がオーディオ情報とビットストリームをデコードするのに有用な該オーディオ情報に関するサイド情報とからなるビットストリームにエンコードされる。該エンコード処理には、１以上のオーディオ信号の各々を時間ブロックに分割し、デコードするときにブロックレートで制限される時間エンベロープ分解能をオーディオ情報が持つようなブロックレート以下の頻度で、少なくともいくつかのサイド情報を更新する処理が含まれる。少なくとも１つのオーディオ信号の時間エンベロープと、この少なくとも１つのオーディオ信号のそれぞれをデコードして復元したときの推定される時間エンベロープとの比較がなされる。復元の推定では、少なくともいくつかのオーディオ情報と、少なくともいくつかのサイド情報が用いられる。比較結果の表示は、デコードするときに、少なくともいくつかのオーディオ情報の時間エンベロープ分解能を改善するために有用である。

本発明の他の特徴により、オーディオ信号のエンコーディング方法及びデコーディング方法が提供され、本方法により、１以上の入力オーディオ信号がオーディオ情報と該オーディオ情報に関してビットストリームをデコードするのに有益なサイド情報とからなるビットストリームにエンコードされる。前記ビットストリームを受信して、前記オーディオ情報を前記サイド情報を用いてデコードし１以上の出力オーディオ信号にする。前記エンコード処理とデコード処理には、１以上の入力オーディオ信号と前記デコードされたビットストリームの各々をそれぞれ時間ブロックに分割し、デコードするときにブロックレートで制限される分解能を有する時間エンベロープをオーディオ情報が持つようなブロックレート以下の頻度で、少なくともいくつかのサイド情報を更新するエンコード処理が含まれる。少なくとも１つの入力オーディオ信号の時間エンベロープと、この少なくとも１つの入力オーディオ信号のそれぞれをデコードして復元したときの推定される時間エンベロープとの比較がなされる。復元の推定では、少なくともいくつかのオーディオ情報と、少なくともいくつかのサイド情報が用いられ、前記比較により、デコードするときに、少なくともいくつかのオーディオ情報の時間エンベロープ分解能を改善するために有用であるような比較結果の表示がもたらされる。この結果表示のいくつかの出力がなされ、ビットストリームのデコーディングがなされる。このデコーディングでは、オーディオ情報とサイド情報と出力された結果表示とが採用される。

本発明のさらなる特徴により、オーディオ信号のデコーディング方法が提供され、本方法により、１以上の入力オーディオ信号がオーディオ情報とこのオーディオ情報に関してビットストリームをデコードするのに有益なサイド情報とからなるビットストリームにエンコードされている。このエンコード処理には、１以上の入力オーディオ信号の各々を時間ブロックに分割し、前記サイド情報を用いてデコードするときにブロックレートで制限される時間エンベロープ分解能をオーディオ情報が持つようなブロックレート以下の頻度で、少なくともいくつかのサイド情報を更新する処理が含まれる。このエンコード処理にはさらに、少なくとも１つの入力オーディオ信号の時間エンベロープと、少なくとも１つのオーディオ信号のそれぞれをデコードして復元したときの推定される時間エンベロープとの比較がなされる。復元の推定では、少なくともいくつかのオーディオ情報と、少なくともいくつかのサイド情報とが用いられる。比較により比較結果の表示がもたらされ、この表示は、デコードするときに、少なくともいくつかのオーディオ情報の時間エンベロープ分解能を改善するために有用であり、このエンコード処理にはさらにこの表示の少なくともいくつかを出力する処理が含まれる。受信とデコード処理とがなされ、前記オーディオ情報とサイド情報と出力された表示とを用いてデコーディング処理がなされる。

本発明の他の特徴には、上述の方法を実施するための装置と、コンピュータに上述の方法を実行させるためにコンピュータ読み込み可能媒体に記憶させたコンピュータプログラムと、上述の方法で作られたビットストリームと、上述の方法を実施するための装置により作られたビットストリームとが含まれる。

本発明の特徴を具体化したエンコーダー又はエンコーディング機能の概略機能ブロックダイアグラムである。本発明の特徴を具体化したデコーダー又はデコーディング機能の概略機能ブロックダイアグラムである。

図１は、本発明の特徴を採用することのできるエンコーダー又はエンコーディング処理の例を示す。ＰＣＭ信号のような複数のオーディオ入力信号の、それぞれのアナログオーディオ信号の時間サンプル１からｎまでが、それぞれの時間領域から周波数領域への変換器又は変換機能（「Ｔ／Ｆ］）２−１から２−ｎに入力される。このオーディオ信号は、例えば、左、中央、右、などの空間的方向を表すことができる。各Ｔ／Ｆは、例えば、入力オーディオサンプルをブロックに分割し、このブロックを窓処理し、ブロックを重複させ、離散周波数変換（ＤＦＴ）を用いて計算することにより窓処理し重複のあるブロックの各々を周波数領域に変換し、結果得られた周波数スペクトルを、例えば等価矩形帯域幅（ＥＲＢ）スケールを用いて、耳の臨界帯域を模擬する例えば２１の帯域に区分することにより、実施することができる。このようなＤＦＴ処理は当業者に広く知られている。他の時間領域から周波数領域への変換パラメータ及びその技法を採用することもできる。その特別な変換パラメータあるいは技法はどちらも本発明にとって決定的なものではない。しかし、説明を分かりやすくするために以下の説明ではこのようなＤＦＴ変換技法が採用されることを想定する。

Ｔ／Ｆ２−１から２−ｎまでの周波数領域出力は各々スペクトル係数のセットである。これらのセットは、それぞれＹ［ｋ］_１からＹ［ｋ］_ｎで表される。これらのセットのすべては、ブロックベースのエンコーダー又はエンコーダー機能（「ブロックベースエンコーダー」）４に入力される。ブロックベースエンコーダーは、例えば、上述の公知のブロックベースエンコーダーを単独又はときには組み合わせたもの、あるいは、上述のこれらのエンコーダーを変形させたものを含む未来のブロックベースエンコーダーとすることができる。しかし、本発明の特徴はエンコーディング処理及びデコーディング処理のときに離散チャンネルを保持しないブロックベースエンコーダーと共に用いるためには特に有用であり、本発明の特徴は実質的にどんなブロックベースエンコーダーに対しても有用である。

一般的なブロックベースエンコーダー４の出力は「オーディオ情報」及び「サイド情報」として特徴づけられる。このオーディオ情報は、例えばＡＣ−３，ＡＡＣ，その他のような、ブロックベースのコーディングシステム中にあるような複数信号チャンネルを表すデータで構成してもよく、あるいは、前述のバイナリーキューコーディングシステムやパラメトリックステレオコーディングシステムのような、多数入力チャンネルをダウンミックスすることにより導き出した単一のチャンネルのみで構成してもよい（バイナリーキューコーディングエンコーダー又はパラメトリックステレオコーディングシステム中のこのダウンミックスしたチャンネルは、例えば、ＡＡＣ又は他の適切なコーディングにより知覚エンコードしてもよい）。これはまた、Ｄａｖｉｓ他による、２００４年７月１４日出願の米国暫定特許出願Ｓ．Ｎ．６０／５８８，２５６、表題「Low Bit Rate Audio Encoding and Decoding in Which Multiple Channels are Represented By Monophonic Channel and Auxiliary Information.」に開示されているように、多数入力チャンネルをダウンミックスすることにより導き出された単一のチャンネル又は複数のチャンネルで構成してもよい。この暫定特許出願Ｓ．Ｎ．６０／５８８，２５６はそのすべてをここに参照として編入する。サイド情報はオーディオ情報に関するデータであって、それをデコーディングする場合において有用なデータで構成してもよい。ダウンミックスする種々のコーディングシステムの場合において、サイド情報は、例えば、チャンネル間の振幅の差と、チャンネル間の時間と位相の差と、チャンネル間の相互相関とで構成してもよい。

ブロックベースエンコーダー４からのオーディオ情報とサイド情報は、次に、各々上述のＴ／Ｆと逆の機能、つまり逆ＦＦＴを行う周波数領域から時間領域への変換装置又は変換機能（「Ｆ／Ｔ」）６及び８にそれぞれ入力され、続いて、窓化と重複加算とをなすことができる。Ｆ／Ｔ６及び８からの時間領域の情報は、エンコードされたビットストリームを出力するビットストリームパッカー又はパッキング機能１０に入力される。あるいは、もしエンコーダーが周波数領域情報を表すビットストリームを提供する場合は、Ｆ／Ｔ６及び８は省略してもよい。

ブロックベースエンコーダー４からの周波数領域のオーディオ情報とサイド情報は、デコーディング推定器または推定機能（「デコーディング推定器」）１４にも入力される。デコーディング推定器１４は、ビットストリームパッカー１０により提供されるエンコードされたビットストリームをデコードするように設計されたデコーダー又はデコーディング機能の少なくとも一部をシミュレートすることができる。このようなデコーダー又はデコーディング機能について、図２と関連させて以下に説明する。デコーディング推定器１４は、デコーダー又はデコーディング機能において入手することになっている入力オーディオ信号に対応するＹ［ｋ］_１からＹ［ｋ］_ｎまでのスペクトル係数のセットに近似する、スペクトル係数のセットＸ［ｋ］_１からＸ［ｋ］_ｎまでを提供することができる。あるいは、すべての入力オーディオ信号より少ない、及び／又は、すべての入力オーディオ信号時間ブロックより少ない、及び／又は、すべての周波数帯域より少ない（すなわち、すべてのスペクトル係数を提供しない）ようなスペクトル係数を提供することとしてもよい。これは、例えば、他より重要だと思われるチャンネルを表す入力信号のみを改善したいときに生じる。もう１つの例として、耳が時間波形エンベロープの細部の詳細にまで敏感となる低周波数部分の信号のみを改善したいときに生じる。

周波数領域の出力Ｔ／Ｆ２−１から２−ｎまで、すなわちスペクトル係数Ｙ［ｋ］_１からＹ［ｋ］_ｎまでセットの各々は、それぞれ、比較装置又は機能１２−１から１２−ｎまでに入力される。このセットは、それぞれの１２−１から１２−ｎまでの比較において推定スペクトル係数Ｘ［ｋ］_１からＸ［ｋ］_ｎまでに対応する時間ブロックと比較される。１２−１から１２−ｎまでの比較における比較結果は、フィルター計算器又は計算機能（「フィルター計算器」）１５−１から１５−ｎまでに各々入力される。この情報は、デコーディングされた入力信号の復元のときに、フィルターが分解能を改善した時間エンベロープを有する信号を生じさせるような、各時間ブロックに対するフィルターの係数を定めるフィルター計算に十分な情報となる。言い換えれば、このフィルターは、元の信号の時間エンベロープをより厳密に複製するように信号を作り直す。改善された分解能は、ブロックレートより細かな分解能となる。好ましいフィルターのさらなる詳細は以下に説明する。

原則として、図１の例では周波数領域における比較とフィルター計算とが示されているが、比較とフィルター計算とは時間領域で行ってもよい。周波数領域で行われても時間領域で行われても、（連続する時間ブロックのいくつかで同じフィルター構成が適用されるかもしれないが）時間ブロック毎にただ１つのフィルター構成が決定される。原則として、フィルター構成は（ＥＲＢスケールの帯域毎のような）帯域毎に決定してもよいが、そのようにすることは、多数のサイド情報ビットを送ることを要求することになり、本発明の利点、すなわち、ビットレートを少し増やすだけで時間エンベロープの分解能を改善するという利点を無にする。

各比較１２−１から１２−ｎまでにおける比較指標は、決定器又は決定機能１６−１から１６−ｎまでに各々入力される。各決定器で比較指標と閾値とが比較される。比較指標は、さまざまな形態をとることができ決定的なものではない。例えば、対応する係数値の差の絶対値を計算し、その差の合計を、時間ブロックにおいて信号の波形の違いの程度を表す単一の数値としてもよい。この数値は、閾値を越えたならば「ｙｅｓ」の表示を対応するフィルター計算に提供するような閾値と比較することができる。「ｙｅｓ」の表示が無い場合、そのブロックのフィルター計算は禁止することができ、あるいは、計算したとしても、それはフィルター計算から出力されないようにすることができる。各信号に対するこのような「ｙｅｓ／ｎｏ」情報は、ビットストリームに封入するためのビットストリームパッカー１０に入力することもできるフラグを構成要素となる（このようにして、各入力信号に１つの複数のフラグが存在することになり、そのようなフラグの各々は１ビットで表現される）。あるいは、それぞれの比較１２−１から１２−ｎまでの代わりに、又はこれと共にそれぞれのフィルター計算１４−１から１４−ｎまでからの情報を各決定１６−１から１６−ｎまでが受け取ってもよい。各決定１６は、計算したフィルター特性（例えば、その平均又はピーク振幅）を決定を行うための基準として又は決定を補助するために採用することもできる。

上述の通り、各フィルター計算１４−１から１４−ｎまでにより、比較結果の表示が出力され、これがフィルターの係数となることができ、このフィルターにより、デコードした入力信号の復元に適用するときに改善された分解能を有する時間エンベロープを信号に持たせることとなる。もし、推定スペクトル係数Ｘ［ｋ］_１からＸ［ｋ］_ｎまでが不完全であれば（デコーディング推定器がすべての入力オーディオ信号より少ないか、及び／又は、すべての入力オーディオ信号のすべての時間ブロックより少ないか、及び／又は、すべての周波数帯域より少ないスペクトル係数を出力する場合は）、すべての時間ブロック、すべての周波数帯域、及びすべての入力信号に対して各比較１２−１から１２−ｎまでが出力されないかもしれない。ここでＸ［ｋ］_１からＸ［ｋ］_ｎまでは復元された出力と称し、Ｙ［ｋ］_１からＹ［ｋ］_ｎまでは入力と称す。

フィルター計算１４−１から１４−ｎまでの各出力はビットストリームアセンブラ１０に適用してもよい。フィルター情報はビットストリームからとは別に送られるが、ビットストリームの１部としてそしてサイド情報の１部として送られることが好ましい。本発明の特徴が既存のブロックベースのエンコーディングシステムに適用されたとき、本発明の特徴により提供される付加的な情報を補助情報を送るためのシステムのビットストリームの一部に挿入することができる。

特定の実施の形態において、オーディオ情報のみならずサイド情報及びフィルター係数も、伝達コストを最小限にするために同様の方法で量子化できるとおもわれる。しかし、説明を簡略化するため及びその詳細は広く知られており本発明の理解に役立たないので、量子化及び逆量子化については図示されていない。
［周波数領域におけるウィナーフィルターの設計］
フィルター計算装置又は計算機能１４−１から１４−ｎまでの各々は、信号チャンネルの元の時間エンベロープをより正確に復元したものを取得するために必要な、時間領域における乗法的な変化を表す周波数領域でのＦＩＲフィルターを特徴づけることが好ましい。このフィルター問題は少なくとも平方の問題として公式化することができ、しばしばウィナーフィルター設計と称される。例えば、X. Rong Liの、「Probability, Random Signals, and Statistics」CRC Press １９９９年、ニューヨーク、４２３ページ参照のこと。ウィナーフィルター技法を適用することは、再整形フィルター情報をデコーダに伝達するために必要とされる付加ビットを減らす利点がある。ウィナーフィルターの一般的な応用は時間領域において設計・適用される。周波数領域の最小２乗フィルター設計問題は以下ののように定義される。元の信号Ｙ［ｋ］のＤＦＴスペクトル表現とそのような元のチャンネルＸ［ｋ］の近似のＤＦＴスペクトル表現が与えられ、式１の最小化するフィルター係数（ａ_ｍ）のセットを計算する。Ｙ［ｋ］とＸ［ｋ］は複素数であり、従って、一般にａ_ｍもまた複素数となることに留意しなければならない。

ここで、ｋはスペクトル指標であり、Ｅは期待値（expectation operator）であり、Ｍは設計したフィルターの長さである。
式１は、式２に示すようにマトリックスを使った表現で表すこともできる

ここで

及び

である。
このようにして、式２の部分導関数をフィルター係数に関してゼロに設定することにより、最小化問題の解を示すことが簡単になり、式３で与えられる。

ここで

及び

となる。

式３は、特定のチャンネルにおける元のスペクトル（Ｙ［ｋ］）と復元されたスペクトル（Ｘ［ｋ］）との誤差を最小にする最適なフィルター係数の計算を定める。一般に、フィルター係数のセットは、入力信号毎の各時間ブロックに対して計算される。

本発明の特徴を用いた実際の実施の形態において、１２次元のウィナーフィルターが採用されるが、本発明はそのようなサイズのウィナーフィルターに限定されるものではない。そのような実際の実施の形態では、ＤＦＴの後に周波数領域での処理を採用する。その結果、ウィナーフィルター係数は複素数となり、各フィルターは２４個の実数を伝達することが必要となる。そのようなフィルター情報を効率的にデコーダーに伝達するために、各フィルターの係数をエンコードするためにベクトル量子化（ＶＱ）を用いることができる。コードブックは、１２次元の複素数フィルター情報を伝達するために、デコーダーに送るのに必要なただ１つの指標を採用してもよい。実際の実施の形態では、２４次元で１６，５３６個の入力があるＶＱテーブルのコードブックが有用であることが分かった。本発明はベクトル量子化を使うものやコードブックを使うものに限定されない。

上記説明ではスペクトルコンテンツを推定するため、及びウィナーフィルターを設計するためにＤＦＴを用いることを想定したが、一般にどんな変換を用いてもよい。
図２は、本発明の特徴を採用することのできるデコーダー又はデコーディング処理環境の例を示す。このようなエンコーダー又はエンコーディング処理は、図１の例に関連して説明したエンコーダー又はエンコーディング処理と協調して動作させるのに適切であろう。図１の構成により生成されたようなエンコードされたビットストリームは、適切な信号伝達様式又は信号記憶様式で受け取られ、エンコードされた情報をサイド情報とｙｅｓ／ｎｏフラグ（ビットストリームに含まれる場合）とから分離するために必要なときにビットストリームをアンパックするビットストリームアンパッカー３０に入力される。サイド情報には、図１のエンコーディングの構成に入力される１以上の入力信号のそれぞれの復元を改善するために用いられるフィルター係数のセットが含まれるようにすることが好ましい。

この例では、各入力信号に対応する再生された信号と時間エンベロープ再整形フィルターが各再生された信号に提供されることが想定されているが、このことは、上述のように問題ではない。このように、１からｎまでのフィルター係数サイド情報はビットストリームアンパッカー３０からの出力として示される。各入力信号に対するフィルター係数情報はそれぞれ再整形フィルター３６−１から３６−ｎまでに入力される。再整形フィルターの動作は以下に説明する。各フィルターは、特定の時間ブロック期間でアクティブかどうかを示す、それぞれのｙｅｓ／ｎｏフラグ３１−１から３１−ｎまでを受け取ることができる。

ビットストリームアンパッカー３０からのサイド情報には、例えば、チャンネル間の振幅差、チャンネル間の時間差又は位相差、及び、両耳性のキューコーディング又はパラメトリックステレオシステムの場合におけるチャンネル間の相互相関が含まれてもよい。ブロックベースデコーダー４２は、ビットストリームアンパッカー３０からの時間領域から周波数領域へ変換されたオーディオ情報と共に、ビットストリームアンパッカー３０からのサイド情報を受け取る。ビットストリームアンパッカー３０からのオーディオ情報は、図１の周波数領域変換装置又は変換機能（「Ｔ／Ｆ」）２−１から２−ｎまでのいずれかと同じとすることのできる、時間領域から周波数領域への変換装置又は変換機能（「Ｔ／Ｆ」）４６を経由して入力される。

ブロックベースデコーダーは、１以上の出力を出し、その各々は図１における対応する入力の近似値となる。いくつかの入力信号は対応する出力信号を持たないかもしれないが、図２の例では出力信号１からｎまでを示し、その各々は図１における入力信号１からｎまでのそれぞれに対応する近似値となる。この例において、デコーダー４２の出力信号１からｎまでの各々は、それぞれ、ＦＩＲフィルターとして実施することのできる再整形フィルター３６−１から３６−ｎまでに入力される。各ＦＩＲフィルターの係数は、ブロックベースで、その出力が改善された特定の入力チャンネルに関するそれぞれのフィルター情報により制御される。時間領域における倍数的に増加するエンベロープの整形は、ＦＩＲフィルターを各フィルター３６−１から３６−ｎまでにおけるブロックベースデコーダーの出力で畳み込むことにより実施されることが望ましい。このようにして、本発明の特徴による時間エンベロープの整形は時間と周波数の双対性での優位性を持つ。すなわち時間領域の畳み込み演算が周波数領域の乗算と等価であり、その逆も成り立つ。デコードされた出力信号とフィルターされた出力信号の各々は、それぞれ周波数領域から時間領域への変換器、すなわち各々上述のＴ／Ｆとは反対の機能、つまり逆ＦＦＴを行う変換機能（「Ｆ／Ｔ」）４４−１から４４−ｎまでに入力され、続いて、窓化されて重複加算される。あるいは、周波数から時間領域への各変換器の後に続いて、適切な時間領域再整形フィルターを採用してもよい。例えば、ＦＩＲフィルター係数と時間領域で乗算される曲線の代わりにサイド情報として、ｎ次多項式の曲線のｎ個の多項式の係数を送ってもよい。再整形フィルター情報をデコーダーに伝達するためにウィナーフィルター技術を採用することが好ましいが、TrumanとVintonによる米国特許出願Ｓ．Ｎ．１０／１１３，８５８、表題「Broadband Frequency Translation for High Frequency Regeneration」、２００２年３月２８日出願、ＵＳ２００３／０１８７６６３Ａｌとして、２００３年１０月２日に公開、に記載されたような他の周波数領域と時間領域の技術を採用してもよい。この出願は、そのすべてを参照として本明細書に編入するものとする。
［実施例］
本発明は、ハードウェア又はソフトウェア又はこれらの組み合わせ（例えばプログラマブルロジックアレー）により実施可能である。特に記述が無い場合は、本発明の１部として組み込まれるアルゴリズムは特定のコンピュータ又はその他の装置に本来的に結びついたものではない。特に、さまざまな汎用機でここに開示した記載のプログラムを用いてもよく、あるいは、必要な方法のステップを実行するためのもっと特化した装置（例えば集積回路）を組み立てたほうがもっと便利かもしれない。このように、本発明は、それぞれが少なくとも１つのプロセッサと、少なくとも１つのデータ記憶システム（揮発メモリ及び不揮発メモリ及び／又は記憶装置を含む）と、少なくとも１つの入力装置又は入力ポートと、少なくとも１つの出力装置からなる１以上のプログラム可能なコンピュータシステムで動作する１以上のコンピュータプログラムにより実行することができる。ここに記載した機能を実行し出力情報を出力するために入力データにプログラムコードが適用される。出力情報は、１以上の出力装置に既知の方法で適用される。

このようなプログラムの各々は、コンピュータシステムと通信するため必要とされるどのようなコンピュータ言語（機械言語、アセンブリ言語、高級手続言語又はロジック言語又はオブジェクト指向プログラミング言語を含む）、で実行してもよい。いずれにせよ、言語はコンパイル言語又はインタプリタ言語とすることができる。

このようなコンピュータプログラムの各々は、その記憶媒体又は記憶装置をコンピュータシステムが読み取り、ここに記載された手続を実行するときに、コンピュータを設定し実行させるために、汎用又は専用のプログラマブルコンピュータにより読み取り可能な記憶媒体又は記憶装置（例えば、半導体メモリ又は半導体媒体、又は磁気又は光学媒体）に保存又はダウンロードされることが好ましい。発明したシステムは、コンピュータプログラムコンピュータが設定された読取可能な記憶媒体であって、コンピュータシステムにここに記載した機能を実行するために、あらかじめ定めた特定の方法で動作させるよう構成されている記憶媒体としての実施も考えることができる。本発明の多くの実施の形態を記載した。しかしながら、本発明の精神と技術的範囲を逸脱することなく多くの変更を加えることができることは了解されよう。例えば、ここに記載したステップのいくつかは独立したものであり、したがって、この記載とは違った順序で実施することができる。
［参照としての編入］
以下の特許、特許出願、及び、刊行物は参照としてそのすべてを本明細書に編入する。
［ＡＣ−３］
ＡＴＳＣ標準Ａ５２／Ａ：Digital Audio Compression Standard (AC-3), Revision A、Advanced Television Systems Committee、２００１年８月２０日。このＡ５２／Ａ書面は、ワールドワイドウェブhttp://www.atsc.orR/standards.html.にて参照することができる。
Steve Vernon /EEE Trans．による、１９９５年８月のConsumer Electronics，Vol.41,No.3、「Design and Implementation of AC-3 Coders」、
Mark Davisによる、１９９３年１０月のAudio Engineering Society Preprint 3774, 95th AES Convention,「The AC-3 Multichannel Coder」、
Bosi他による、１９９２年１０月のAudio Engineering Society Preprint 3365, 93rd AES Convention,「High Quality, Low-Rate Audio Transform Coding for Transmission and Multimedia Applications」、
米国特許、5,583,962と、5,632,005と、5,633,981と、5,727,119と、6,021,386、
［ＡＡＣ］
ISO/IEC IS-14496（パート３、オーディオ）、１９９６年、AAC ISO/IEC JTC1/SC29, 「Information technology-very low bitrate audio-visual coding」、
ISO/IEC 13818-7、International Standard、１９９７年「MPEG-2 advanced audio coding, AAC」、
M. Bosi、K. Brandenburg、S. Quackenbush、L. Fielder、K. Akagiri、H. Fuchs、M. Dietz、J. Herre、G. Davidson、及び、Y. Oikawaによる、１９９６年、Proc. of the 101st AES-Convention、「ISO/IEC MPEG-2 Advanced Audio Coding」、
M. Bosi、K. Brandenburg、S. Quackenbush、L. Fielder、K. Akagiri、H. Fuchs、M. Dietz、J. Herre、G. Davidson、及び、Y. Oikawaによる、Journal of the AES, Vol.45, No.10, October 1997, pp. 789-814、「ISO/IEC MPEG-2 Advanced Audio Coding」、
Karlheinz Brandenburgによる、Proc. of the AES 17th International Conference on High Quality Audio Coding, Florence, Italy, 1999、「MP3 and AAC explained」、及び、
G. A. Soulodre他による、J. Audio Eng. Soc, Vol.46, No.3, pp 164-177 March 1998、「Subjective Evaluation of State-of-the-Art Two-Channel Audio Codecs」、
［ＭＰＥＧＩｎｔｅｎｓｉｔｙＳｔｅｒｅｏ］
米国特許、5,323,396と、5,539,829と、5,606,618と、5,621,855、
米国公開特許出願ＵＳ２００１／００４４７１３、
［空間的コーディング及びパラメトリックコーディング］
Davis他による２００４年７月１４日出願の米国暫定特許出願、Ｓ．Ｎ．６０／５８８，２５６、表題「Low Bit Rate Audio Encoding and Decoding in Which Multiple Channels are Represented By Monophonic Channel and Auxiliary Information」、
米国特許出願公開公報ＵＳ２００３／００２６４４１、２００３年２月６日公開、
米国特許出願公開公報ＵＳ２００３／００３５５５３、２００３年２月２０日公開、
米国特許出願公開公報ＵＳ２００３／０２１９１３０（Baumgarte & Faller）、２００３年１１月２７日公開、
Audio Engineering Society 論文５８５２、２００３年３月、
国際公開公報ＷＯ０３／０９０２０６、２００３年１０月３０日公開、
国際公開公報ＷＯ０３／０９０２０７、２００３年１０月３０日公開、
国際公開公報ＷＯ０３／０９０２０８、２００３年１０月３０日公開、
国際公開公報ＷＯ０３／００７６５６、２００３年１月２２日公開、
Baumgarte他による、２００３年１２月２５日に公開された、米国特許出願公開公報ＵＳ２００３／０２３６５８３Ａｌ、表題「Hybrid Multi-Channel/Cue Coding/Decoding of Audio Signals」、出願番号Ｓ．Ｎ．１０／２４６，５７０、
Faller他による、Audio Engineering Society Convention Paper 5574, 112th Convention, Munich, May 2002、「Binaural Cue Coding Applied to Stereo and Multi-Channel Audio Compression」、
Baumgarte他による、Audio Engineering Society Convention Paper 5575, 112th Convention, Munich, May 2002、「Why Binaural Cue Coding is Better than Intensity Stereo Coding」、
Baumgarte他による、Audio Engineering Society Convention Paper 5706, 113th Convention, Los Angeles, October 2002、「Design and Evaluatinof Binaural Cue Coding Schemes」、
Faller他による、IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2001, New Paltz, New York, October 2001, pp.199-202、「Efficient Representation of Spatial Audio Using Perceptual Parametrization」、
Baumgarte他による、Proc. ICASSP 2002, Orlando, Florida, May 2002, pp.II-1801-1804、「Estimation of Auditory Spatial Cues for Binaural Cue Coding」、
Faller他による、Proc. ICASSP 2002, Orlando, Florida, May 2002, pp.II-1841II-1844、「Binaural Cue Coding: A Novel and Efficient Representation of Spatial Audio」、
Breebaart他による、Audio Engineering Society Convention Paper 6072, 116th Convention, Berlin, May 2004、「High-quality parametric spatial audio coding at low bitrates」、
Baumgarte他による、Audio Engineering Society Convention Paper 6060, 116th Convention, Berlin, May 2004、「Audio Coder Enhancement using Scalable Binaural Cue Coding with Equalized Mixing」、
Schuijers他による、Audio Engineering Society Convention Paper 6073, 116th Convention, Berlin, May 2004、「Low complexity parametric stereo coding」、
Engdegard他による、Audio Engineering Society Convention Paper 6074, 116th Convention, Berlin, May 2004、「Synthetic Ambience in Parametric Stereo Coding」、
［その他］
Herreによる米国特許５，８１２，９７１、表題「Enhanced Joint Stereo Coding Method Using Temporal Envelope Shaping」１９９８年９月２２日付、
Herre他による、Audio Engineering Society Preprint 3799, 96th Convention, Amsterdam, 1994。

３０…ビットストリームアンパッカー、３６−１〜３６−ｎ…再整形フィルター、４２…ブロックベースデコーダー。

Claims

合成された出力オーディオ信号の時間エンベロープを再整形して、入力オーディオ信号の時間エンベロープに、より近似させるための方法であって、
ａ）ダウンミックスオーディオ信号及びエンベロープサイド情報を含む、空間的にエンコードされたビットストリームを受信することであって、
前記ダウンミックスオーディオ信号は、複数の時間スロットに分割されたオーディオ信号を含み、前記エンベロープサイド情報は、前記オーディオ信号に関連し、前記合成された出力オーディオ信号の時間エンベロープの再整形において有用であり、
前記エンベロープサイド情報は、前記入力オーディオ信号のエンベロープと、前記ダウンミックスオーディオ信号から導出されたオーディオ信号のエンベロープとを比較することにより得られる情報を含み、前記ダウンミックスオーディオ信号は、少なくとも前記入力オーディオ信号からダウンミックスされている、前記空間的にエンコードされたビットストリームを受信すること、
ｂ）前記空間的にエンコードされたビットストリームをデコードして、前記合成された出力オーディオ信号を生成すること、
ｃ）前記エンベロープサイド情報に従って、前記合成された出力オーディオ信号の時間エンベロープを再整形して、前記入力オーディオ信号の時間エンベロープに、より近似させること
を含む方法。
前記複数の時間スロットの粒度は、前記ダウンミックスオーディオ信号のエンベロープについて、入力オーディオ信号のエンベロープに関連している、請求項１に記載の方法。
前記ビットストリームをデコードすることは、再整形フィルターの、前記エンベロープサイド情報との相関除去を制御することを含む、請求項１に記載の方法。
入力オーディオ信号のエンベロープと前記ダウンミックスオーディオ信号から導出された信号のエンベロープとの比較は、比較されたエンベロープのサイド情報の表示を含む、請求項１に記載の方法。
前記空間的にエンコードされたビットストリームは、一つ又は複数の入力オーディオ信号から構築されたビットストリームを含む、請求項１に記載の方法。
前記一つ又は複数の入力オーディオ信号は、複数チャンネル音場を含む、請求項５に記載の方法。
前記オーディオ信号が分割されている複数の時間スロットはそれぞれ、時間のブロックを含む、請求項１に記載の方法。
前記時間スロットの粒度は、前記時間のブロックのレートにより制限される分解能を備える、請求項７に記載の方法。
前記時間のブロックは、前記エンベロープサイド情報の分解能を制限するブロックレートを有する、請求項７に記載の方法。
前記ダウンミックスオーディオ信号から導出される信号は、前記入力オーディオ信号の推定されデコードされた復元を含む、請求項１に記載の方法。