JP2016502139A - 圧縮されたオーディオ信号を修復するシステム、コンピュータ可読記憶媒体、および方法 - Google Patents

Abstract

圧縮されたオーディオの処理システムは、１つまたは複数の信号処理を生成するよう構成された信号エンハンサモジュールを有する。１つまたは複数の信号処理を、入ってくるオーディオ信号の分析に基づき、信号エンハンサモジュールにより生成してもよい。代わりにまたは加えて、入ってくるオーディオ信号の特性を、１つまたは複数の信号処理の生成で使用するため信号エンハンサモジュールに提供してもよい。１つまたは複数の信号処理を、オーディオ信号に追加してもよい。【選択図】図３

Description

（関連出願の相互参照）
本出願は、２０１２年１１月２６日出願の米国仮出願第６１／７３０，０５３号の受益を主張し、および２０１３年３月１５日出願の米国出願第１３／８４２，４７９号の優先権を主張し、それらの開示はこれによって全体が参照により組み込まれる。

（分野）
本発明は、オーディオ信号処理に関し、とりわけオーディオ信号の増強および修復に関する。

圧縮されたオーディオ信号は、知覚オーディオコーデックによるある形態のデータ圧縮を経た信号である。知覚オーディオコーデックは、可聴度が低い、または知覚的に重要性が低い知覚されるオーディオ信号の成分を廃棄することにより、オーディオ信号の格納、転送または送信に使用されるデータ量を減少する。データ圧縮プロセスは、原型の（圧縮されない）オーディオ信号と圧縮されたオーディオ信号の間に、しばしば望ましくない聴覚的な違いをもたらす。異なる知覚オーディオコーデックは、原型のオーディオ信号の廃棄する部分に対して異なる方法を採用しうるが、知覚される特性の聴覚的な違いは概して同様である。

圧縮されたオーディオ信号の知覚される増強および修復のシステムは信号エンハンサシステムを含み、信号エンハンサシステムは、圧縮プロセスで廃棄または変更されたかもしれない信号成分および特性が処理された出力信号内で増強または修復されて知覚されるように、圧縮されたオーディオ信号を変更する。信号エンハンサのいくつかの態様は、以下を含む。それは、圧縮されたオーディオ信号の帯域幅を拡張しうる。それは、なくなったまたは失われた帯域内信号調波を修復しうる。それは、トランジェントを増強しうる。それは、ドライな信号成分を修復しうる。それは、残響信号成分を修復しうる。それは、被マスク信号を修復しうる。そしてそれは、調波信号成分を位相整列しうる。さらに、信号エンハンサは、ステレオまたはマルチチャネルオーディオ信号に由来する個々の空間スライスに作動してもよい。信号エンハンサは、ステレオ信号のミッドサイド成分に作動してもよい。

後述の図および詳細な記載を検討すると、他のシステム、方法、機能および利点が当業者に明らかであり、または明らかになる。全てのそのような付加的なシステム、方法、機能および利点はこの記載内に含まれ、本発明の範囲内にあり、および後述の請求項により保護されることが意図される。

システムは、後述の図および記載を参照して、よりよく理解されうる。図内の構成要素は必ずしも縮尺通りではなく、本発明の原理を説明するに際し配置よりも強調されている。さらに、図内で、同様の参照番号は別の図を通して対応する部分を指す。

知覚オーディオエンコーダおよびデコーダと併せて使用される信号エンハンサシステムの例を有するブロック図である。 信号エンハンサシステム内に組み込まれた知覚オーディオデコーダの例を有するブロック図である。 信号エンハンサシステムの例のブロック図である。 ステレオ信号のミッドサイド部分に作動する信号エンハンサシステムの例のブロック図である。 オーディオ信号の個々の空間スライスに作動する分離した信号エンハンサモジュールの例のブロック図である。 ブロックベースの分解表現のインパルス応答の例の成分を示す。 図３で示される残響補充モジュールのブロック図の例である。 与えられた周波数の入力残響の一連のサンプルの成分の推定値の例である。 信号品質分析手段、処理レベル調整手段、および表示モジュールのブロック図の例である。 帯域幅増強信号処理をともなった出力信号の表示の例である。 図１１ａおよび１１ｂは、信号エンハンサシステムによる圧縮を示すスペクトル図（周波数領域）の例を示す。 図１２ａおよび１２ｂ信号エンハンサシステムによるトランジェント増強を示すスペクトル図の例を示す。 計算システムの例である。

圧縮されたオーディオ信号は、知覚オーディオコーデックによるようなある形態のデータ圧縮を経たオーディオコンテンツを含む信号である。知覚オーディオコーデックの一般的なタイプは、ＭＰ３、ＡＡＣ、ドルビーデジタルおよびＤＴＳを含む。これらの知覚オーディオコーデックは、オーディオ信号のかなりの部分を廃棄することにより、オーディオ信号のサイズを減少する。知覚オーディオコーデックは、オーディオ信号を格納するのに必要とされるスペース（メモリ）の量を減少するのに、またはオーディオ信号を送信または転送するのに必要とされる帯域幅の量を減少するのに使用可能である。オーディオ信号を９０％以上圧縮するのは、まれではない。知覚オーディオコーデックは、人間の聴覚系が音を知覚する方法モデルを採用可能である。このようにして、知覚オーディオコーデックは、聞き取れないかまたは聴取者の音の知覚にわずかに関連するかのどちらかと思われるオーディオ信号のそれらの部分を廃棄可能である。結果として、知覚オーディオコーデックは、オーディオ信号のサイズを減少しながら、残りの信号で比較的良好な知覚されるオーディオ品質をなお保持することが可能である。一般に、圧縮されたオーディオ信号の知覚される品質は、圧縮された信号のビットレートによって決まりうる。低いビットレートは原型のオーディオ信号のより多くの部分が廃棄されたことを示しえて、従って、一般に圧縮されたオーディオ信号の知覚される品質はより低下しうる。

多くのタイプの知覚オーディオコーデックが存在し、それぞれのタイプは、圧縮プロセスで原型のオーディオ信号のどの部分を廃棄するかの判断に、異なる基準セットを使用可能である。知覚オーディオコーデックは、符号化および復号プロセスを有することが可能である。エンコーダは、原型のオーディオ信号を受信し、信号のどの部分を廃棄するかを判断可能である。それからエンコーダは、残りの信号を圧縮された記憶および／または送信に適切なフォーマットにおくことが可能である。デコーダは、圧縮されたオーディオ信号を受信し、それを復号することが可能で、およびそれから復号されたオーディオ信号をオーディオ再生に適切なフォーマットに変換可能である。ほとんどの知覚オーディオコーデックにおいて、知覚モデルの使用を含みうる符号化プロセスは、圧縮されたオーディオ信号フォーマットの結果として生じる品質を決定しうる。これらのケースで、デコーダは、信号を圧縮されたフォーマット（通常ある形態の周波数領域の表現）からオーディオ再生に適切なフォーマットに変換するフォーマット変換手段として機能可能である。

圧縮プロセスで廃棄または変更された信号成分および特性が処理された出力信号で修復されたように知覚されるように、信号エンハンサシステムは、知覚オーディオコーデックにより処理された圧縮されたオーディオ信号を変更可能である。本明細書で使用するオーディオ信号という用語は、別に記載する場合を除いて、オーディオコンテンツの電気信号表現、または可聴音のどちらかを指しうる。

オーディオ信号が知覚オーディオコーデックを用いて圧縮されるとき、廃棄された信号成分を取り戻すことは不可能である。しかし信号エンハンサシステムは、圧縮されたオーディオ信号内の残りの信号成分を分析し、知覚的に廃棄された成分を置き換える新しい信号成分を生成することが可能である。

図１は、信号エンハンサシステム１１０の例を含むブロック図である。信号エンハンサシステム１１０は、周波数領域または時間領域で作動可能である。信号エンハンサシステム１１０は、サンプラモジュール１１２を有してもよい。サンプラモジュール１１２は、リアルタイムで入力信号（Ｘ）を受信し、入力信号（Ｘ）をサンプルに分割してもよい。周波数領域での動作の間、サンプラモジュール１１２は、シーケンシャル時間領域サンプルを収集してもよく、（ルートハン窓のような）適切な窓関数が適用され、窓をされたサンプルが、ＦＦＴ（高速フーリエ変換）の使用のような周波数領域の連続したビンに変換される。同様に、信号エンハンサシステム１１０の最終ステップとして、増強された周波数領域のビンを、サンプラモジュール１１２により逆ＦＦＴ（逆高速フーリエ変換）を用いて時間領域に変換可能であり、増強された時間領域サンプルのブロックを生成するため（ルートハン窓のような）適切な補足する窓が適用される。少なくとも５０％のような予め定められた量の重複を、時間領域サンプルを周波数領域に変換する前に、それらを追加および窓適用を実行するよう使用可能である。信号エンハンサシステム１１０の出力ライン１０５上の出力で、周波数領域から時間領域への変換に続き増強された時間領域サンプルを構成するとき、同様の少なくとも５０％のような予め定められた量の重複を使用可能である。代わりに信号エンハンサシステム１１０は、時間領域サンプルのシーケンシャルブロックを用いて時間領域で作動可能であり、変換手段をサンプラモジュール１１２から除去してもよい。説明と図を単純にするため、サンプラモジュール１１２、ならびに時間から周波数へおよび周波数から時間への変換のさらなる説明および例示は省略する。よって、本明細書に記載するシーケンシャルサンプルまたはサンプルのシーケンスは、時間領域サンプルの時系列シーケンス、またはサンプラモジュール１１２によりサンプル化された入力信号（Ｘ）の時系列受信に対応する周波数領域のビンの時系列シーケンスを同義で指しうる。

図１で、信号エンハンサ１１０は、知覚オーディオエンコーダ１０１および知覚オーディオデコーダ１０３と併せて使用されるように示される。原型のオーディオ信号（Ｚ）を、オーディオ信号入力ライン１００上で知覚オーディオエンコーダ１０１へ提供することが可能である。知覚オーディオエンコーダ１０１は、オーディオ信号成分を廃棄して、圧縮ビットストリームライン１０２上に圧縮されたオーディオビットストリーム（Ｑ）を生成してもよい。知覚オーディオデコーダ１０３は、圧縮されたオーディオビットストリーム（Ｑ）を復号して入力信号ライン１０４上に入力信号（Ｘ）を生成してもよい。入力信号（Ｘ）は、オーディオ再生に適切なフォーマットのオーディオ信号であってもよい。入力信号（Ｘ）を増強して出力信号ライン１０５上に出力信号（Ｙ）を生成するため、信号エンハンサシステム１１０は、入力信号（Ｘ）をサンプルのシーケンスに分割するよう作動してもよい。サイドチェーンデータは、使用されたオーディオコーデックのタイプ、コーデック製造者、ビットレート、ステレオ対ジョイントステレオの符号化、サンプリングレート、固有の入力チャネルの数、コード化ブロックサイズ、およびソング／トラック識別子の指標のような入力信号（Ｘ）の処理に関連する情報を含んでもよい。他の例では、オーディオ信号（Ｘ）または符号化／復号プロセスに関連するあらゆる他の情報を、サイドチェーンデータの一部として含んでもよい。サイドチェーンデータを、知覚オーディオデコーダ１０３からサイドチェーンデータライン１０６上で信号エンハンサシステム１１０へ提供してもよい。代わりにまたは加えて、サイドチェーンデータを入力信号（Ｘ）の一部として含んでもよい。

図２は、知覚オーディオエンコーダおよびデコーダと併せて使用される信号エンハンサシステム１１０の例のブロック図である。このケースでは、知覚オーディオデコーダ１０３を、信号エンハンサシステム１１０の一部として組み込み可能である。結果として、信号エンハンサシステム１１０は、圧縮ビットストリームライン１０２上で受信された圧縮されたオーディオビットストリーム（Ｑ）に、直接作動してもよい。代わりに他の例では、信号エンハンサシステム１１０は、知覚オーディオデコーダ１０３に包含されてもよい。この構成で、信号エンハンサシステム１１０は、圧縮されたオーディオビットストリーム（Ｑ）１０２の詳細へのアクセスを有してもよい。

図３は、信号エンハンサシステム１１０の例のブロック図である。図３で信号エンハンサシステム１１０は、入力信号ライン１０４上の入力信号（Ｘ）を受信しうる信号処理モジュール３００を有する。信号処理モジュール３００は、対応する信号処理ライン３１０上の多数の個々のおよび固有の信号処理（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、およびＳＴ７）を行ってもよい。７つの信号処理を示すが、他の例ではより少ないまたはより多い数（ｎ）の信号処理が可能である。信号処理（ＳＴｎ）のそれぞれの相対的なエネルギーレベルを、第１の総和ブロック３２１でともに加えられて総合信号処理（ＳＴＴ）３２３を生成する前に、処理ゲイン（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、およびｇ７）３１５により個別に調整してもよい。総合信号処理（ＳＴＴ）３２３のレベルを、第２の総和ブロック３２２で入力信号（Ｘ）１０４に加えられる前に、総合処理ゲイン（ｇＴ）３２０により調整してもよい。

信号処理モジュール３００は１つまたは複数の処理モジュール（３０１、３０２、３０３、３０４、３０５、３０６、および３０７）を有してもよく、それらは入力信号（Ｘ）のシーケンシャルサンプルの個々のサンプル成分に作動し、成分のそれぞれについてサンプル毎のベースで順次信号処理（３１０）を生成する。シーケンシャルサンプルの個々のサンプル成分は、オーディオ信号の異なる特性に関連してもよい。代わりに、または加えて、信号処理モジュール３００は、追加のまたはより少ない処理モジュール３００を有してもよい。示されたモジュールは独立していてもよく、またはモジュールを作るあらゆる種々の組み合わせで形成されたサブモジュールであってもよい。

図４は、ミッドサイド成分モジュール４００により抽出されるような入力信号（Ｘ）のミッドサイド成分に作動する信号エンハンサシステム１１０の例である。「ミッドサイド」という用語はステレオオーディオ信号内のオーディオ情報をいい、ステレオオーディオ信号内で左および右の両方のステレオチャネルに共通のオーディオ情報がオーディオ情報の「ミッド」信号成分とみなされ、オーディオ情報の「サイド」信号成分は左と右のステレオチャネルで異なるオーディオ情報である。知覚オーディオコーデックの性能向上のため、知覚オーディオコーデックは、オーディオ信号のミッドサイド成分に作動可能である。この状況で、エンコーダはより多くのサイド信号成分を破棄し、一方でより多くのミッド信号成分を保持することが可能である。そのように、この状況で、信号エンハンサシステム１１０が、ステレオ信号の左および右チャネルに直接ではなくステレオ入力信号（Ｘ）のミッドサイド信号成分に作動する場合、信号エンハンサシステム１１０の動作の最適化が向上されうる。

図４で、ステレオ−ミッドサイドモジュール４００はステレオ入力信号Ｘをミッドサイド信号構成Ｘｍｓに変換してもよく、次にミッドサイド信号構成Ｘｍｓをミッドサイド信号ライン４０１上で処理のため信号エンハンサシステム１１０へ提供してもよい。信号エンハンサシステム１１０は、ミッドサイド信号Ｘｍｓに作動して増強されたミッドサイド信号（Ｙｍｓ）を生成してもよい。増強されたミッドサイド信号（Ｙｍｓ）を、増強ミッドサイド信号ライン４０２上でミッドサイド−ステレオモジュール４０３に供給してもよい。ミッドサイド−ステレオモジュール４０３は、増強されたミッドサイド信号（Ｙｍｓ）を出力ライン１０５上に供給されるステレオ（左および右チャネル）出力信号（Ｙ）に変換してもよい。

図５は、空間スライスストリームライン５０１上の“ｎ”個の空間スライスストリーム（ＸＳＳ１、ＸＳＳ２、ＸＳＳ３、〜ＸＳＳｎ）のセットに作動する“ｎ”個の信号エンハンサシステム１１０のセットの例であり、空間スライスストリームを空間スライス分解モジュール５００から取得してもよい。空間スライス分解モジュール５００は、入力信号ライン１０４上のステレオまたはマルチチャネルオーディオ入力信号（Ｘ）を受信し、空間スライスストリームのセットを生成してもよい。空間スライスストリームは、知覚されるステレオまたはマルチチャネルサウンドステージ内のオーディオ信号源の空間的位置に基づき入力信号を分解する空間フィルタバンクの出力を含んでもよい。入力信号を空間スライスに分解して空間スライスストリーム５０１を生成する１つの可能な方法が、米国特許出願第１２／８９７，７０９号”ＳＹＳＴＥＭ ＦＯＲ ＳＰＡＴＩＡＬ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＡＵＤＩＯ ＳＩＧＮＡＬＳ”に記載され、その全体は本明細書に参照により組み込まれる。

図５で、“ｎ”個の信号エンハンサ１１０のそれぞれは、増強出力ストリームライン５０２上に増強された出力ストリーム（ＹＳＳ１、ＹＳＳ２、ＹＳＳ３、〜ＹＳＳｎ）を生成する。“ｎ”個の出力ストリームは、総和モジュール５０３で組み合わされ、出力ライン１０５上に出力信号（Ｙ）を生成する。分離した信号エンハンサシステム１１０を個々の空間スライスストリームに作動するとき、それぞれの信号エンハンサシステム１１０がオーディオ入力信号１０４のより多くの分離したサンプル成分に作動しえて、よってそれぞれの空間スライスストリーム（ＸＳＳｎ）について適切な信号処理（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、およびＳＴ７）をよりよく導出することができうるので、システムの性能向上が得られうる。それぞれの空間スライスストリーム（ＸＳＳｎ）のサンプルに含まれる異なるサンプル成分について、任意の数の異なる信号処理（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、およびＳＴ７）を独立して得てもよい。

図３で、信号処理モジュール３００は、オーディオ信号、またはオーディオ信号から生成された空間スライスストリームのどちらかのそれぞれのシーケンシャルサンプルの個々のサンプル成分について信号処理（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、およびＳＴ７）を導き出す１つまたは複数の処理モジュール（３０１、３０２、３０３、３０４、３０５、３０６、および３０７）を有してもよい。処理モジュール（３０１、３０２、３０３、３０４、３０５、３０６、および３０７）のそれぞれは、オーディオ信号または空間ストリームに関連する異なる特性について、信号処理（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、およびＳＴ７）を導出してもよい。オーディオ信号特性の例は、帯域幅、調波、トランジェント、拡大、残響、マスキングおよび調波位相整列を含む。他の例では、信号処理を、オーディオ信号に関連する追加のまたはより少ない特性について得てもよい。信号処理を、それぞれの処理モジュールの特性に対応するオーディオ信号の失われた部分について得てもよい。従って信号処理は、一連のサンプル内の個々のサンプル成分からなくなったと識別されるオーディオ信号の種々の異なる特性の交換部分を、効果的に供給しうる。よって、それぞれの特性の失われた部分が識別された一連のサンプル成分のいくつかに信号処理を加えてもよく、一方でそれぞれの特性のなくなった部分が確認されないシーケンス内の他のサンプル成分に、信号処理を加えなくてもよい。

オーディオ信号のなくなった部分である帯域幅の特性に関して、比較的低いビットレートで作動するものを含むいくつかの知覚オーディオコーデックは、いくつかの予め定められた閾値を超える信号成分を廃棄することにより、圧縮された信号の帯域幅を限定しうるものである。例えば、知覚オーディオコーデックは、１２ｋＨｚ超のような予め定められた周波数を超える全ての周波数成分を、知覚的に重要性はより少ないとみなし、よってそれらを廃棄しうる。帯域幅拡張モジュール３０１は、そのような予め定められたカットオフ周波数（Ｆｘ）を超える信号成分、または信号処理（ＳＴ１）を発生させるよう入力信号（Ｘ）に作動してもよい。帯域幅拡張モジュール３０１は、カットオフ周波数（Ｆｘ）を分析し、存在する場合は入力信号のカットオフ周波数（Ｆｘ）を判断してもよい。カットオフ周波数（Ｆｘ）の認識を、予め定められたカットオフ周波数（Ｆｘ）を超える新しい信号成分とともに信号処理ストリーム（ＳＴ１）を生成するよう導き、オーディオ信号の対応するサンプル成分内のこの特性の欠如を補正するように使用してもよい。

代わりにまたは加えて、図１に示されるように知覚オーディオデコーダ１０３からサイドチェーン情報１０６が利用可能なケースで、カットオフ周波数（Ｆｘ）を帯域幅拡張モジュール３０１に提供してもよい。図２の例のように、知覚オーディオデコーダ１０３および信号エンハンサシステム１１０が統合された他のケースで、カットオフ周波数（Ｆｘ）を、知覚オーディオデコーダ１０３により直接帯域幅拡張モジュール３０１に提供してもよい。

オーディオ信号のなくなったまたは失われた部分である調波の特性に関して、比較的低いビットレートで作動するものを含むいくつかの知覚オーディオコーデックは、信号内の所定の時点で圧縮された信号内の特定の「中調波」を廃棄してもよい。例えばある時点で、知覚オーディオコーデックは、いくつかの低調波とともに特定の音源の基本的な周波数成分を保持してもよい。知覚オーディオコーデックはまた、信号の最高の調波のいくつかまたは全てを保存し、一方で音源の中調波の１つまたは複数を廃棄してもよい。帯域内調波補充モジュール３０２は、入力信号（Ｘ）１０４を分析し、知覚オーディオコーデックがオーディオ信号の１つまたは複数の中調波特性を廃棄したイベントを探してもよい。帯域内調波補充モジュール３０２は、この特性がオーディオ信号のサンプル成分からなくなったことに応え、新しい中調波とともに信号処理ストリーム（ＳＴ２）を生成し、オーディオ信号に加えるよう作動してもよい。

オーディオ信号のなくなった部分であるトランジェントの特性に関して、比較的低いビットレートで作動するものを含むいくつかの知覚オーディオコーデックは、トランジェント信号の「不鮮明化」を起こしうる。このタイプのコード化アーチファクトを「プレエコー」として記述可能であり、トランジェント信号がシャープなアタックを有し、トランジェントイベントの時点で他の信号成分に対して比較的大音量であるとき、最も容易に聞き取ることが可能である。プレエコーは、トランジェント信号成分のくすみの知覚を起こす傾向がある。トランジェント増強モジュール３０３は、オーディオ信号の成分サンプルからなくなったものとしてこの特性を識別しようと試み、トランジェント信号成分の知覚されるシャープなアタックを修復するよう信号処理を導出してもよい。トランジェント増強モジュール３０３は、入力信号（Ｘ）を分析してもよく、トランジェントイベントおよびトランジェント信号成分を識別して紛失した特性を識別してもよい。トランジェント増強モジュール３０３は、既存のトランジェント信号成分の出だしの知覚を強化するため、オーディオ信号に適用する新しいトランジェント信号成分を含む信号処理ストリーム（ＳＴ３）を生成するよう作動してもよい。

オーディオ信号内のトランジェントを検出する方法の例は、以下の活動を有してもよい。時間領域入力信号サンプルの現在のブロックについて、ＦＦＴビンの大きさが計算され、ヒストリバッファ内に格納される。ＦＦＴビンの現在のセットの大きさがＦＦＴビンの過去のセットの大きさとビン対ビンベースで比較され、ここで現在のセットおよび過去のセットは、それぞれの一連のサンプルの一連のサンプル成分を示す。ＦＦＴビンの過去のセットの大きさは、ヒストリバッファ内に前に格納されており、この比較のため取り出される。現在のＦＦＴビンの大きさが振幅閾値のような予め定められた閾値分過去のＦＦＴビンの大きさを超えるビンの数が、計数される。計数が決定された計数閾値を超える場合、時間領域サンプルの現在のブロックがトランジェントイベントを有すると判断される。２０ｄＢのような予め定められた値が、トランジェントを検出する振幅閾値として適切でありうる。過去のＦＦＴビンを、サンプルの現在のブロックの１または２ブロック後ろから取ることが可能である。すなわち、ヒストリバッファは、サンプルのサンプル成分のシーケンシャル処理の１または２処理ブロックの遅延を示しうる。

オーディオ信号のなくなったまたは失われた部分である拡大の特性に関して、比較的低いビットレートで作動するものを含むいくつかの知覚オーディオコーデックは、オーディオ信号が可聴音として生成されるとき、聴取者に知覚されるステレオサウンドステージの狭小の知覚を起こしうる。すなわち、原型の非圧縮のオーディオ信号内で左端または右端に位置すると知覚される音は、圧縮プロセスの間、他の音に対して減衰されうる。結果として、その結果生じるオーディオ信号は、より「モノラル」らしく、より「ステレオ」らしくなく知覚されうる。サウンドステージ増強モジュール３０４は、一連のサンプル成分内のこの特性に関連するオーディオ信号のなくなったまたは失われた部分を識別し、入力信号（Ｘ）内で左端または右端に位置すると知覚される信号成分を、生成される信号処理として増幅する。例えばサウンドステージ増強モジュール３０４は、左端または右端の信号成分を抽出し、これらの信号成分の増幅されたバージョンを含む信号処理ストリーム（ＳＴ４）を生成するよう作動してもよい。左端または右端の信号成分を抽出する１つの可能な方法は、米国特許出願第１２／８９７，７０９号、“ＳＹＳＴＥＭ ＦＯＲ ＳＰＡＴＩＡＬ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＡＵＤＩＯ ＳＩＧＮＡＬＳ”に記載され、その全体は本明細書に参照により組み込まれる。

オーディオ信号のなくなったまたは失われた部分である残響の特性に関して、比較的低いビットレートで作動するものを含むいくつかの知覚オーディオコーデックは、オーディオ信号内の「アンビエンス」または「残響」特性の知覚の減少を起こしうるものである。この残響特性の減少は、音全体の「くすみ」の知覚、ならびにオーディオ信号の失われた部分による音の詳細の損失の知覚をもたらしうる。残響の減少はまた、音場全体の知覚されるサイズおよび幅を減少しうる。残響補充モジュール３０５は、入力信号（Ｘ）をドライおよび残響信号成分に分解するよう作動してもよい。残響補充モジュール３０５はそれから、対応するサンプル成分内のオーディオ信号のなくなった部分を識別し、サンプル成分内の残響の知覚されるレベルを増加し、新しい残響信号成分を含みうる信号処理ストリーム（ＳＴ５）を生成するよう作動してもよく、中のオーディオ信号の一部がなくなったと判断されるサンプルのシーケンスのそれらのサンプル成分にのみ適用するための増幅された残響信号成分を有してもよい。

入力信号（Ｘ）をドライおよび残響信号成分に分解することが可能な方法は、米国特許第８，１８０，０６７号、“ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”、および米国特許第８，０３６，７６７号、“ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”に記載され、それら両方の全体は本明細書に参照により組み込まれる。

オーディオ信号のなくなったまたは失われた部分であるマスク信号の特性に関して、比較的低いビットレートで作動するものを含むいくつかの知覚オーディオコーデックは、信号内の明瞭性および低レベルの詳細で知覚の減少を起こしうる。これは、知覚オーディオコーデックが、例えば知覚モデルにより多くの聴取者が聞き取れないと考えられる信号成分を廃棄することにより引き起こされうる。通常、知覚モデルは、第１の信号成分をマスクしうる他の主要な信号成分がある場合、特定の第１の信号成分を聞き取れないものとして識別する。すなわち、人間の聴覚系のマスキング特性により、主要な信号成分が第１の信号成分を聞き取れなく（マスク）しうる。しかし、それぞれの聴取者のマスキング特性はいくぶん異なり、知覚オーディオコーデックの知覚モデルは、ある聴取者のマスキング特性に近似することが可能であるのみである。結果として、知覚オーディオコーデックは、いくぶんかの聴取者が聞き取れる特定の信号成分を廃棄しうる。

被マスク信号補充モジュール３０６は、オーディオ信号の対応するサンプル成分のなくなった部分を識別し、低レベルの信号成分がマスクされる閾値ちょうどであるようにそれらを増幅するよう作動してもよい。被マスク信号補充モジュール３０６は、入力信号（Ｘ）を受信し、知覚モデルを適用してそれぞれの周波数について「同時マスキング閾値」を判断してもよい。同時マスキング閾値は、知覚モデルが、特定の周波数の信号成分が他の周波数の信号成分によりマスクされると判断するレベルを示す。例えば、１０００Ｈｚの充分に大音量の信号成分がある場合、１１００Ｈｚの信号成分は聞き取れないかもしれない。この例で、同時マスキング閾値は、（１１００Ｈｚのような）他の周波数の信号成分が１０００Ｈｚの信号成分によりマスクされるレベルを示す。従って、１１００Ｈｚの信号成分のレベルが同時マスキング閾値を下回る場合、そのとき知覚モデルはこの信号成分がマスクされる（聞き取れない）と判断する。

この例を続けると、被マスク信号補充モジュール３０６が、１１００Ｈｚの信号成分のレベルが同時マスキング閾値を下回ると判断し、それによってオーディオ信号の対応するサンプル成分の失われた部分を識別する場合、１１００Ｈｚの信号成分が同時マスキング閾値に達するように、被マスク信号補充モジュール３０６は、１１００Ｈｚの信号成分の増幅されたバージョンを有しうる信号処理ストリーム（ＳＴ６）を生成してもよい。同様に、被マスク信号補充モジュール３０６が種々の周波数の増幅された信号成分を有する信号処理ストリーム（ＳＴ６）を生成しえて、それで全ての周波数の信号成分が同時マスキング閾値に達しうるように、被マスク信号補充モジュール３０６は、対応するサンプル成分のなくなった部分を識別するよう、全ての周波数の信号成分についてこの動作を実行してもよい。

同時マスキング閾値を判断する知覚モデルの例は、米国特許第８，１８０，０６７号、“ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”および米国特許第８，０３６，７６７号、”ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”に記載され、それら両方の全体は本明細書に参照により組み込まれる。一般に知覚モデルは、（一連のサンプルについて成分サンプルの多数のスナップショットにわたるように）徐々に成分サンプルを生成する間、時間ベースの聴覚マスキング推定値、および周波数ベースの聴覚マスキング推定値のうち少なくとも１つに基づき補整を実行してもよい。

調波的に豊富な信号の基本および調波成分の位相は、徐々に互いになぞる傾向がありうる。つまり、調波的に豊富な信号の基本および調波成分は、何らかの方法で整列される傾向がありうる。オーディオ信号のなくなったまたは失われた部分である調波位相の整列の特性に関して、比較的低いビットレートで作動するものを含むいくつかの知覚オーディオコーデックは、与えられた音源の調波の位相に、位相に関してそれらの整列を失なわせうる。サンプル成分のなくなった部分としてのこの位相整列の喪失は、信号の少なくとも高次の調波で起こりうる。この位相整列の喪失は、異なる方法で聴取者が知覚しうる。位相整列の喪失の１つのよくある結果は、通常高い周波数で聞き取れる「シューシュー」音である。調波位相整列モジュール３０７は、調波的に関連する信号成分を、徐々に位相整列させるよう作動してもよい。調波位相整列モジュール３０７は、入力信号（Ｘ）を分析し、（トランジェントまたはノイズのような信号成分とではなく）音の信号成分を探し、その音の成分が調波的に関連するかどうか判断してもよい。さらに、調波位相整列モジュール３０７は、あらゆる調波的に関連する音の成分の位相が徐々に整列されるかどうか判断してもよい。対応するサンプル成分の特性が、オーディオ信号のなくなった部分、すなわち調波的に関連する音の成分の位相整列と識別される場合、整列内にないあらゆる調波の位相を調整してもよい。調波位相整列モジュール３０７は、これらの整列されていない音の成分の位相整列されたバージョンを含みうる信号処理ストリーム（ＳＴ７）を生成してもよい。代わりにまたは加えて、調波位相整列モジュール３０７は、音の成分の整列のいくつかの他の形態を提供してもよい。

入力信号（Ｘ）１０４がステレオまたはマルチチャネルである場合、図５に関連して記載したように、信号エンハンサ１１０により処理される前にそれを空間スライス５０１に分解してもよい。信号を空間スライスに分解するシステムおよび方法が、米国特許出願第１２／８９７，７０９号、“ＳＹＳＴＥＭ ＦＯＲ ＳＰＡＴＩＡＬ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＡＵＤＩＯ ＳＩＧＮＡＬＳ”に記載され、その全体は本明細書に参照により組み込まれる。入力信号の空間スライスへの分解は、種々の処理（３０１、３０２、３０３、３０４、３０４、３０５、３０６、および，３０７）をより正確に、それぞれの空間スライス（ＸＳＳ１、ＸＳＳ２、ＸＳＳ３、〜ＸＳＳｎ）５０１内に含まれる信号成分へ適用することを可能にしうる。例えば、トランジェント信号が与えられた空間スライス内に位置する場合、トランジェント増強処理３０３をその空間スライス内にのみ加え、一方で他の空間スライス内の非トランジェント信号成分に影響を与えなくてもよい。

それぞれの空間スライスに適切な処理が加えられると、それぞれの空間スライスからの増強された出力ストリーム（ＹＳＳ１、ＹＳＳ２、ＹＳＳ３、〜ＹＳＳｎ）５０２を総和モジュール５０３で組み合わせ、出力ライン１０５上に複合出力信号（Ｙ）を生成してもよい。

入力信号（Ｘ）の内容が変化するにつれて、与えられた空間スライス内の信号成分に適用される種々の処理は、変化してもよい。前述の例を用いると、トランジェント信号成分が与えられた空間スライス内で検出されたときの間にのみ、トランジェント増強処理３０３を、その空間スライス内のサンプル成分のいくつかに加えてもよい。

音楽または音声のようなオーディオ信号は、通常いくぶんかの量の残響を含む。この残響はオーディオ信号が記録された場所（例えばコンサートホール）によるものかもしれないし、またはそれが電子的に追加されるかもしれない。残響源は、残響系と呼ばれる。残響の特性は、残響系のインパルス応答により判断される。残響系のインパルス応答を、ブロックのセットに分割可能である。インパルス応答推定手段９１０は、インパルス応答の周波数領域表現の知覚的に関連する推定値を生成するよう入力信号に作動する。通常、インパルス応答推定手段は、インパルス応答のブロックベースの推定値を生成するよう入力信号に作動してもよい。インパルス応答のブロックベースの推定値は、インパルス応答の周波数領域の推定値に対応する複数のブロック推定値で構成される。

図６は、インパルス応答の例である。最初の垂直線は直接の音の成分６０２を示し、一方で残りの線は反響を示す。それぞれの線の高さはその振幅を示し、時間軸（ｔ）上のその位置は、マイクロホンのような音測定装置におけるその到達時間を示す。時間が経つにつれ、反響の数は個々の反響をもはや識別できない時点まで増加する。最終的に、反響は拡散し急激に減衰系に変化する。これは、一般的にインパルス応答の残響テール６０４と呼ばれる。

いわゆる初期反響６０６は、直接の音の成分６０２の直後に到達し、残響テールと異なる知覚効果を有する。これらの初期反響は、音響空間のサイズおよびオーディオ信号源とマイクロホンの間の距離に関する知覚の手掛かりを提供する。初期反響６０６はまた、それらが音の明瞭性および理解度を向上できる点で重要である。残響テールもまた、音響空間に関する知覚の手掛かりを提供する。

インパルス応答はまた、そのフーリエ変換（またはいくつかの他の変換）を計算することにより周波数領域内に見ることが可能で、それで残響系をその周波数領域表現に関して完全に記載可能である。変数は周波数を示す。インパルス応答のフーリエ表現は、振幅応答および位相応答の両方を提供する。一般的に言って、振幅応答はインパルス応答内の異なる周波数成分の相対的なレベルに関する情報を提供し、一方で位相応答は周波数成分の一時的な様相に関する情報を提供する。

残響補充モジュール３０５は、入力信号内の残響エネルギーの振幅の推定値の周波数領域推定値を生成してもよい。残響エネルギーの振幅のこの推定値が入力信号から減算され、よって入力信号のドライなオーディオ信号の振幅の推定値を提供する。原型のドライな信号の位相に近付けるため、残響入力信号の位相が使用される。本明細書で使用される、「ドライな信号」、「ドライなオーディオ信号成分」または「直接の信号成分」という用語は、オーディオ信号内に存在する残響エネルギーをほとんど有さないオーディオ信号またはオーディオ信号の一部を指す。よって原型のドライな信号は、それが直接のインパルス音６０２のほぼ全体を構成するので、残響エネルギーをほとんど有さないかもしれない。本明細書で使用される「残響エネルギー」、「残響入力信号」、「残響成分」、「残響信号成分」という用語は、オーディオ信号の初期反響、および残響テールを指す。またオーディオ信号に関して、本明細書で使用される「成分」の語は、１つまたは複数の成分を指す。

残響入力信号の位相が、まとめてインパルス応答の全体を用いて原型のドライな信号の位相を近づけるように使用される場合、重度の時間領域のアーチファクトが処理された信号内で聞き取れるだろうことがありうる。従って残響補充モジュール３０５は、インパルス応答全体の推定値をブロック６０８に分割可能であり、処理をブロックベースの方法で実行可能である。ブロック６０８の予め定められた長さは、処理された出力信号の位相のエラーにより、人間の耳があらゆる時間領域のアーチファクトを知覚しないよう、十分短いことが可能である。

残響入力信号が与えられた周波数で減衰する速度を判断するのに、２つの因子が組み合わさる。第１の因子はドライな（すなわち非残響の）音源の減衰速度であり、第２は残響系の減衰速度である。与えられた周波数の残響系の減衰速度が比較的時間的に一定である一方で、ドライな音源の減衰速度は継続的に変わる。入力信号（Ｘ）に関して可能な最も速い減衰速度は、ドライな音源が与えられた周波数で停止し、信号の減衰が完全に残響系の減衰によるときに起こる。図６の例で、例えばドライな音源は初期反響６０６の時間で停止しうる。 与えられた周波数の残響系の減衰速度は、その周波数の残響系のインパルス応答により直接判断可能である。従って入力信号（Ｘ）は、残響系のインパルス応答により決定される速度より速い速度で減衰するはずがない。

図７は、残響補充モジュール３０５のより詳細な図を示す。残響補充モジュール３０５は、入力信号（Ｘ）１０４を受信し、出力として信号処理３１０ ＳＴ５を提供してもよい。インパルス応答推定手段７１０、残響降下検出手段モジュール７１１および残響降下補充モジュール７１２、および分解プロセッサモジュール７１３を、残響補充モジュール３０５内に有してもよい。他の例では、述べられた機能を達成するため、より少ないまたはより大きい数のモジュールが記載されうる。

インパルス応答推定手段７１０を、入力信号（Ｘ）の残響系のインパルス応答の推定値を得るのに使用してもよい。入力信号（Ｘ）の残響系のインパルス応答の推定値を得る１つの可能な方法は、米国特許第８，１８０，０６７号、”ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”、および米国特許第８，０３６，７６７号、”ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”に記載され、それら両方の全体は本明細書に参照により組み込まれる。

図８は、残響補充モジュール３０５により推定可能なオーディオ信号の残響成分の推定値の例である。分解プロセッサモジュール７１３は、入力信号の前述のサンプル成分のうちの１つである入力残響成分８０２を導き出すよう、入力信号（Ｘ）に作動してもよい。入力残響成分８０２は、入力信号の残響成分（残響）または特性の推定値で構成されうる。入力信号（Ｘ）の入力残響成分８０２を導き出す１つの可能な方法は、米国特許第８，１８０，０６７号”ＳＹＳＴＥＭ ＦＯＲ ＳＥＬＥＣＴＩＶＥＬＹ ＥＸＴＲＡＣＴＩＮＧ ＣＯＭＰＯＮＥＮＴＳ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”、および米国特許第８，０３６，７６７号”ＳＹＳＴＥＭ ＦＯＲ ＥＸＴＲＡＣＴＩＮＧ ＡＮＤ ＣＨＡＮＧＩＮＧ ＴＨＥ ＲＥＶＥＲＢＥＲＡＮＴ ＣＯＮＴＥＮＴ ＯＦ ＡＮ ＡＵＤＩＯ ＩＮＰＵＴ ＳＩＧＮＡＬ”に記載され、それら両方の全体は本明細書に参照により組み込まれる。予測減衰速度８０６を、分解プロセッサモジュール７１３により、インパルス応答からそれぞれのシーケンシャルサンプルについて直接判断しうる。図８で、入力残響成分８０２は、時間（ｔ）にわたり与えられた周波数のサンプル成分のシーケンスとして示される。入力残響成分８０２が、ある時点で上昇（増加）し、他の時点で低下するのを見ることができる。

図７および図８を参照すると、残響降下検出手段７１１は、異なる時点で入力残響成分８０２の減衰速度を予測減衰速度８０６に比較してもよい。残響降下検出手段７１１は、個々のサンプル成分内でオーディオ信号のなくなったまたは失われた部分として１つまたは複数の残響降下８０４を識別してもよく、残響降下で入力残響成分８０２は予測減衰速度８０６を下回る。残響降下補充モジュール７１２は、残響降下８０４により失われたエネルギーを補正する信号処理として、残響補充処理を生成するよう作動してもよい。図８に示されるように、信号処理は、その中でオーディオ信号の一部がなくなったそれらのサンプル成分にのみ適用される。従って、サンプル成分のシーケンスは順次に処理されているので、入力信号のなくなったまたは失われた部分があると識別されたそれらのサンプル成分にのみ、信号処理を選択的に適用しうる。

図９は、増強コントローラモジュール９００に接続された信号エンハンサモジュール１１０の例のブロック図である。増強コントローラモジュール９００は、処理レベル調整手段モジュール９０１、信号品質分析手段モジュール９０２、および表示モジュール９０６を有してもよい。動作中、信号処理モジュール３００は、信号品質分析手段９０２に処理要求指標を提供してもよい。処理要求指標は、種々の処理モジュール（３０１、３０２、３０３、３０４、３０５、３０６、および３０７）からの、入力信号（Ｘ）の識別されたなくなった部分のために必要とされる信号処理量に関する関連情報を提供可能である。

可能な処理要求指標の１つの例として、帯域幅拡張モジュール３０１（図３）は、入力信号（Ｘ）のカットオフ周波数（Ｆｘ）の推定値を提供してもよい。カットオフ周波数の値が低いことは、知覚オーディオエンコーダ１０１が原型のオーディオ信号（Ｚ）１００（図１）により積極的にはたらき、従って入力信号（Ｘ）が信号の一部の高周波数の大部分をなくしていて、オーディオ信号が再生されるなら聴取者が知覚する品質の劣化をもたらすかもしれないことを示唆しうる。代わりにまたは加えて、帯域幅拡張処理モジュール３０１は、知覚オーディオエンコーダ１０１により廃棄されたカットオフ周波数を超える信号のなくなったエネルギー対保持された信号のエネルギーの比率の推定値を提供してもよい。この比率の値が大きいことは、原型のオーディオ信号（Ｚ）１００のより大部分がなくなって（廃棄され）、従ってオーディオ信号が再生されるなら入力信号（Ｘ）が、聴取者が知覚する品質の劣化を有しうることを示唆しうる。

他の例として、帯域内調波補充モジュール３０２（図３）は、中（帯域内）調波が廃棄されてオーディオ信号からなくなった頻度の指標を提供してもよい。代わりにまたは加えて、帯域内調波補充モジュール３０２は、廃棄された調波のエネルギーの推定値を提供してもよい。なくなった（廃棄された）帯域内調波エネルギーのレベルが大きいことは、オーディオ信号が再生されるなら入力信号（Ｘ）が、聴取者が知覚する品質の劣化を有することを示すかもしれない。

他の例として、残響補充モジュール３０５は、入力信号（Ｘ）内の残響エネルギーの測定値、ならびに知覚オーディオエンコーダ１０１により廃棄された失われた残響エネルギーの推定値を提供してもよい。なくなった残響エネルギーのレベルが大きいことは、オーディオ信号が再生されるなら入力信号（Ｘ）が、聴取者が知覚する品質の劣化を有することを示すかもしれない。

さらに他の例として、サウンドステージ拡大モジュール３０４（図３）は、知覚オーディオエンコーダ１０１により廃棄された、なくなったまたは失われたサイド（左マイナス右）エネルギーおよびミッド（左プラス右）エネルギーの量の推定値を提供してもよい。代わりにまたは加えて、サウンドステージ拡大モジュール３０４は、入力信号（Ｘ）の全エネルギーに対する左端または右端の信号成分のエネルギーの測定値を提供してもよい。左端または右端の信号エネルギーのレベルが低いことは、入力信号１０４から一部がなくなって、オーディオ信号が、再生されるなら聴取者が知覚する品質の劣化をもたらすことを示すかもしれない。

他の例として、トランジェント増強モジュール３０３は、入力信号（Ｘ）１０４内でトランジェントが起こる頻度を示すことにより、オーディオ信号のなくなった部分の指標を提供してもよい。他の例として、被マスク信号補充３０６モジュールは、入力信号（Ｘ）を検査し、同時マスキング閾値を下回った信号成分が廃棄され、従ってオーディオ信号からなくなった頻度の指標を提供してもよい。信号成分が頻繁になくなっている（廃棄されている）場合、これはオーディオ信号が再生されるなら入力信号（Ｘ）が、聴取者が知覚する品質の劣化を有することを示すかもしれない。

他の例として、調波位相整列モジュール３０７（図３）は、入力信号（Ｘ）を検査し、調波的に関連する信号成分が位相整列されていない頻度の指標を提供してもよい。代わりにまたは加えて、調波位相整列モジュール３０７は、位相整列されていない調波成分のエネルギーの測定値を提供してもよい。位相整列されていない調波成分のエネルギーのレベルが高いことは、入力信号（Ｘ）１０４の一部が失われ、それが、オーディオ信号が再生されるなら聴取者が知覚する品質の劣化を有しうることを示唆しうる。

信号品質分析手段９０２は、処理要求指標を受信し、信号品質指標を導き出してもよい。代わりにまたは加えて、信号品質分析手段９０２は、メタデータバッファ９０５からメタデータを受信してもよい。メタデータは、入力信号（Ｘ）の知覚される品質の直接の指標を提供してもよい。メタデータバッファ９０５に含まれるメタデータを、知覚オーディオデコーダ１０３、オーディオ信号、またはいくつかの他の発生源が提供してもよい。代わりにメタデータを信号品質分析手段９０２へ直接提供してもよく、メタデータバッファ９０５を省略してもよい。メタデータは、それらに限定されないが、カットオフ周波数（Ｆｘ）、知覚オーディオエンコーダ１０１が使用する現在の処理ブロックの長さ、入力信号（Ｘ）のビットレート、および／または入力信号（Ｘ）のサンプリングレートを含む入力信号の原型および特性に関する情報を提供してもよい。

１つまたは複数の受信された処理要求指標および／またはメタデータを用いて、信号品質分析手段９０２は、入力信号（Ｘ）の知覚される全体の品質の推定値を導き出してもよい。代わりにまたは加えて、信号品質分析手段９０２は、個々の信号処理についての入力信号の知覚される品質の推定値を導き出してもよい。

信号エンハンサモジュール１１０が入力信号（Ｘ）に適用する信号処理３１０の相対的なエネルギーレベルを、入力信号の相対的な品質および／または入力信号のサンプル成分によって変更してもよい。例えば、入力信号（Ｘ）の品質が比較的よい状況で、信号処理３１０の相対的なエネルギーレベルを減少してもよい。同様に、入力信号（Ｘ）の品質が比較的悪い状況で、信号処理３１０の相対的なエネルギーレベルを対応して増やしてもよい。処理レベル調整手段９０１は、１つまたは複数の処理ゲイン（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、およびｇ７）３１５を増加または減少することにより、信号処理３１０の相対的なエネルギーレベルを独立して変更してもよい。代わりにまたは加えて、処理レベル調整手段９０１は、総合処理ゲイン（ｇＴ）３２０を増加または減少することにより、信号処理３１０の総合の相対的なエネルギーレベルを変更してもよい。

処理レベル調整手段９０１は、パラメータとして１つまたは複数の信号品質指標を信号品質分析手段９０２から受信してもよい。処理レベル調整手段９０１は、１つまたは複数の可能な信号品質指標９０３を使用して、個々の処理ゲイン（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、およびｇ７）３１５のそれぞれについての適切な値、ならびに総合処理ゲイン（ｇＴ）３２０についての適切な値を独立して決定してもよい。代わりにまたは加えて、信号品質分析手段１００２は、入力信号（Ｘ）の知覚される品質の直接の指標を提供しうるメタデータを使用して、個々の処理ゲイン（ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、およびｇ７）３１５のそれぞれについての適切な値、ならびに総合処理ゲイン（ｇＴ）３２０についての適切な値を決定してもよい。このようにして、種々の信号処理３１０のレベルを、入力信号（Ｘ）の要求に合致するよう自動的に調整してもよい。

処理レベル調整手段モジュール９０１はまた、個々の処理ゲインおよび総合処理ゲインを決定するとき、他のパラメータを検討してもよい。よって、例えば処理レベル調整手段モジュール９０１が、パラメータに基づき、個別の処理ゲインのいくつかを減少してもよく、他の個別の処理ゲインのいくつかを増加してもよい。例えばロック音楽のジャンルについてドラムを強調するようトランジェント処理レベルゲインを増加しえて、クラシック音楽のジャンルについて音楽ホール効果を強調するよう残響処理レベルゲインを増加しうるように、そのようなパラメータは、生成されるオーディオ信号のジャンルのような入力信号のメタデータを有してもよい。他の例では、入力信号が会話対音楽であるとき、処理ゲインを調整してもよい。他の例では、任意の数の処理レベルゲインおよびパラメータを使用してもよい。処理レベル調整手段モジュール９０１によるゲイン調整はまた、予め定められた閾値を超える残響特性の処理があるときといった、規則に基づいたものであってもよく、トランジェント増強特性についてのゲインを、例えば比率に基づき対応して減少してもよい。ある状況または動作モード下で選択的に加えられる処理ゲインの量をもたらすよう、処理レベル調整手段モジュール９０１にユーザ設定もまた加えてもよい。

表示モジュール９０６は、入力信号（Ｘ）、出力信号（Ｙ）、ならびに信号エンハンサモジュール１１０の性能および／または動作の異なる側面の品質の視覚表現を提供してもよい。図９に示されるように、表示モジュール９０６は、１つまたは複数の信号処理（ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、およびＳＴ７）３１０を受信および表示してもよい。例えば、表示モジュール９０６は、帯域幅拡張モジュール３０１による信号処理ＳＴ１を表示してもよい。このケースでは、表示モジュール９０６は、帯域幅拡張モジュール３０１により生成されたカットオフ周波数（Ｆｘ）を超える新しい信号成分のスペクトル表現の視覚表現を生成してもよい。代わりにまたは加えて、表示モジュール９０６は、加えられた信号処理３１０の全てを含む出力信号（Ｙ）のスペクトルまたは時間領域表現を表示してもよい。代わりにまたは加えて、表示モジュール９０６は、信号品質分析手段９０２から１つまたは複数の信号品質指標を受信してもよい。表示モジュール９０６は次に、入力信号（Ｘ）の品質の視覚表現を生成してもよい。表示モジュール９０６はまた、入力信号（Ｘ）に加えられた信号処理３１０の総合レベルの視覚表現を生成してもよい。表示モジュール９０６はまた、出力信号（Ｙ）の品質の視覚表現を生成してもよい。よって、ディスプレイを見るユーザに、入力信号（Ｘ）の品質、また処理信号が加えられる範囲またはレベルの視覚的表示を提供してもよい。

図１０は出力信号（Ｙ）の表示例であり、帯域幅増強の信号処理が示される。図１０で、−１２０から−１５０ｄＢの範囲内にある入力信号（Ｘ）１００２の部分に示される、約１２ｋＨｚのカットオフ周波数を超える入力信号（Ｘ）１００２の部分が、以前の符号化の間に廃棄されている。帯域幅拡張モジュール３０１は、オーディオ信号の一部がなくなったまたは失われたことを識別し、同一範囲の周波数にわたり信号処理１００４を提供してもよい。信号処理１００４を、入力信号（Ｘ）１００２の処理されていない部分に適用することが可能である。従って、ユーザは、処理されていない出力信号の品質がどのようだったかだけではなく、信号エンハンサシステム１１０により提供されている処理のレベルおよび範囲の表示を見て、その指標を提供されることが可能である。他の例では、加えられる１つまたは複数の処理のいずれも示すよう、他の形態の表示を生成してもよい。

図１１ａおよび図１１ｂは、帯域幅拡張モジュール３０１の動作の結果の例を示す。図１１ａは、オーディオ信号が知覚オーディオコーデックにより圧縮された前および後の、その短いブロックのスペクトル図（周波数領域）を示す。原型の信号の曲線が示され、そこでかなりの信号エネルギーがナイキスト周波数まで続くことを見ることができる。圧縮されたオーディオ信号曲線は、それが知覚オーディオコーデックにより圧縮された後のこの同一の信号を示す。図１１ａで、特定のカットオフ周波数（Ｆｘ）を超える信号成分が廃棄され、残っているのは単に低レベルのノイズであることを見ることができる。

図１１ｂは、圧縮されたオーディオ信号が帯域幅拡張モジュール３０１により処理された前および後の、その短いブロックの例のスペクトル図を示す。ここで、カットオフ周波数（Ｆｘ）を超える信号成分が廃棄された圧縮されたオーディオ信号が示される。帯域幅拡張モジュール３０１に処理された後の同一の圧縮されたオーディオ信号の曲線が、図１１ｂに含まれる。カットオフ周波数（Ｆｘ）を超える新しい信号成分が生成されていることを、見ることができる。これらの新しい信号成分は、カットオフ（Ｆｘ）を下回る信号成分の少なくともいくつかに基づき、および／またはそれらを用いて生成されている。

図１２ａおよび図１２ｂは、トランジェント増強モジュール３０３の動作の例を示す。図１２ａは、トランジェント信号成分の時間領域図を示す。図１２ａの上の枠は、原型の信号を示す。開始信号はほぼ静寂であり、鋭いトランジェント信号が続き、それが徐々に低下することを見ることができる。図１２ａの下の枠は、知覚オーディオコーデックにより圧縮された後の同様のトランジェント信号成分を示す。トランジェントは、もう鋭く形成されていないことを見ることができる。また、圧縮されたオーディオ信号は、今度は実際のトランジェントが表れる前にエネルギーを有する。これは、前述したいわゆる「プレエコー」の例である。

図１２ｂは、トランジェント信号成分がトランジェント増強モジュール３０３により処理された前および後のその時間領域図の例を示す。図１２ｂの上の枠は、時間にわたり多数のトランジェントを有する圧縮されたオーディオ信号を示す。トランジェントが信号内でそれほど明確でないことを見ることができる。図１２ｂの下の枠は、トランジェント増強モジュール３０３により処理された後の同一のトランジェント信号を示し、ここで個々のトランジェントの出だしが、今度は鋭く形成され、容易に視認可能である。

図１３は、コンピュータシステム１３００の例である。コンピュータシステム１３００は、コンピュータシステム１３００に、記述された任意の１つまたは複数の方法またはコンピュータベースの機能を実行させるよう実行可能な命令セットを有してもよい。コンピュータシステム１３００は、スタンドアロン装置として作動してもよく、他の装置の一部であってもよく、ネットワークを用いるといったように他のコンピュータシステムまたは周辺装置に接続してもよい。

ネットワーク化された配置で、コンピュータシステム１３００は、サーバの機能で、またはサーバ−クライアントユーザネットワーク環境のクライアントユーザコンピュータとして、ピアツーピア（または分散）ネットワーク環境のピアコンピュータシステムとして、または種々の他の方法で作動してもよい。コンピュータシステム１３００をまた、例えば車両内のテレマティクスシステムのような種々の装置として実行してもよく、またはそれらに組み込むことが可能である。他の例では、行う動作を指定する命令セット（シーケンシャルまたは他）を実行可能なあらゆる任意の他の機械を使用してもよい。コンピュータシステム１３００を、音声、オーディオ、ビデオまたはデータ通信を提供する電子装置を用いて実現してもよい。１台のコンピュータシステム１３００が示されるが、「システム」の語は、１つまたは複数のコンピュータ機能を実行するため個別にまたは合同で命令のセット、または複数のセットを実行する、あらゆるシステムまたはサブシステムの集合体を含んでもよい。

コンピュータシステム１３００は、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、または異なるまたは同一のプロセッサのいくつかの組み合わせのようなプロセッサ１３０２を有してもよい。プロセッサ１３０２は、さまざまなシステム内の構成要素であってもよい。例えばプロセッサ１３０２は、車両内のヘッドユニットまたは増幅手段の一部であってもよい。プロセッサ１３０２は、１つまたは複数の汎用プロセッサ、デジタル信号プロセッサ、特定用途集積回路、フィールドプログラマブルゲートアレイ、デジタル回路、アナログ回路、それらの組み合わせ、またはデータの分析および処理に関して現在既知または後に開発される装置であってもよい。プロセッサ１３０２は、手動で生成されまたはプログラムされたコードのようなソフトウェアプログラムを実施してもよい。

プロセッサ１３０２は、システムの少なくとも一部を作動および制御してもよい。「モジュール」という用語は、１つまたは複数の実行可能モジュールを有するように定義してもよい。モジュールは、プロセッサ１３０２のようなプロセッサにより実行可能な、ソフトウェア、ハードウェア、ファームウェア、またはそれらのいくつかの組み合わせを含みうる。ソフトウェアモジュールは、メモリ１３０４、または他のメモリ装置のようなメモリ内に格納された命令を有してもよく、それらはプロセッサ１３０２または他のプロセッサにより実行可能でありうる。ハードウェアモジュールは、プロセッサ１３０２により実行可能、実行のために指示または制御される種々の装置、構成要素、回路、ゲート、回路基板などを有してもよい。

コンピュータシステム１３００は、バス１３０８を介して通信可能なメモリ１３０４のようなメモリ１３０４を含みうる。メモリ１３０４は、メインメモリ、静的メモリ、または動的メモリであってもよい。メモリ１３０４は、それらに限定されないが、ランダムアクセスメモリ、読み出し専用メモリ、プログラム可能読出専用メモリ、電気的にプログラム可能読出専用メモリ、電気的に消去可能読み出し専用メモリ、フラッシュメモリ、磁気テープまたはディスク、光学媒体などを含む、種々のタイプの揮発性および不揮発性記憶装置媒体のようなコンピュータ可読記憶媒体を含みうるが、それらに限定されない。１つの例では、メモリ１３０４は、プロセッサ１３０２のキャッシュまたはランダムアクセスメモリを含む。別の例で、メモリ１３０４は、プロセッサのキャッシュメモリ、システムメモリ、または他のメモリのように、プロセッサ１３０２から分離してもよい。メモリ１３０４は、データを格納する外部の記憶装置またはデータベースを含みうる。例は、ハードドライブ、コンパクトディスク（「ＣＤ」）、デジタルビデオディスク（「ＤＶＤ」）、メモリカード、メモリスティック、フロッピー（登録商標）ディスク、汎用シリアルバス（「ＵＳＢ」）メモリ装置、またはデータを格納するよう作動可能な任意の他の装置を含む。

コンピュータシステム１３００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、固体ディスプレイ、陰極線管（ＣＲＴ）、プロジェクタ、または判断された情報を出力する他の現在既知または後に開発されるディスプレイ装置のようなディスプレイユニット１３１０をさらに有しても有しなくてもよい。ディスプレイ１３１０は、ユーザがプロセッサ１３０２の機能を制御するインタフェースとして、または特にメモリ１３０４内に格納されたソフトウェアとのインタフェースとして作用してもよい。

コンピュータシステム１３００は、ユーザがコンピュータシステムの任意の構成要素と対話することを可能にするよう構成された入力装置１３１２を有してもよい。入力装置１３１２は、音声コマンドを受信するマイクロホン、キーパッド、キーボード、またはマウス、またはジョイスティック、タッチスクリーンディスプレイ、リモート制御、またはコンピュータシステム１３００と対話するよう作動可能な任意の他の装置のようなカーソル制御装置であってもよい。システムのユーザは、例えばシステムおよび／またはテレマティクスシステムにより検討される基準または条件を入力してもよい。

ネットワーク１３２６に接続された装置が、ネットワーク１３２６上で音声、ビデオ、オーディオ、画像またはあらゆる他のデータを通信可能なように、コンピュータシステム１３００は、命令を有する、または伝播された信号に応答して命令を受信および実行するコンピュータ可読な媒体を有してもよい。命令を、通信ポートまたはインタフェース１３２０により、またはバス１３０８を用いて、ネットワーク１３２６上で送信または受信してもよい。通信ポートまたはインタフェース１３２０は、プロセッサ１３０２の一部であってもよく、または別個の構成要素であってもよい。通信ポート１３２０を、ソフトウェア内で生成してもよく、またはハードウェア内の物理接続であってもよい。通信ポート１３２０を、ネットワーク１３２６、外部の媒体、ディスプレイ１３１０、またはコンピュータシステム１３００内の任意の他の構成要素、またはそれらの組み合わせと接続するよう構成してもよい。ネットワーク１３２６との接続は、有線イーサネット（登録商標）接続のような物理接続であってもよく、または無線で確立してもよい。コンピュータシステム１３００の他の構成要素との追加の接続は、物理接続であってもよく、または無線で確立してもよい。ネットワーク１３２６を、代わりに直接バス１３０８に接続してもよい。

ネットワーク１３２６は、有線ネットワーク、無線ネットワーク、イーサネット（登録商標）ＡＶＢネットワーク、またはそれらの組み合わせを含みうる。無線ネットワークは、携帯電話ネットワーク、８０２．１１、８０２．１６、８０２．２０、８０２．１ＱまたはＷｉＭａｘネットワークであってもよい。さらにネットワーク１３２６は、インターネットのような公衆ネットワーク、イントラネットのようなプライベートネットワーク、またはそれらの組み合わせであってもよく、ＴＣＰ／ＩＰベースネットワーキングプロトコルを含むが、それらに限定されない、現在可能な、または後に開発されるさまざまなネットワーキングプロトコルを使用してもよい。システムの１つまたは複数の構成要素は、ネットワーク１３２６により、またはネットワーク１３２６を通して互いに通信してもよい。

種々の本発明の実施形態を記載したが、もっと多くの実施形態および実行が本発明の範囲内で可能であることは、当業者に明らかになるであろう。従って、本発明は、添付された請求項およびそれらの均等物の観点を除いて制限されるべきではない。

Claims (23)

1. プロセッサと、
   一連のシーケンシャルサンプルにオーディオ信号を分割するようプロセッサにより実行可能なサンプラモジュールと、
   前記オーディオ信号の１つまたは複数のサンプル成分を順次受信および分析して、それぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分内の前記オーディオ信号の失われた部分を識別するよう前記プロセッサにより実行可能な信号エンハンサモジュールと
   を備え、
   前記信号エンハンサモジュールは、対応する識別された失われた部分があるそれぞれのシーケンシャルサンプルの前記１つまたは複数のサンプル成分のそれぞれについて、対応する信号処理を生成するようプロセッサによりさらに実行可能である、
   圧縮されたオーディオ信号の修復システム。
2. 前記サンプル成分が周波数成分であり、前記対応する信号処理が、カットオフ周波数の閾値を超える、なくなった周波数成分を有するサンプル成分に適用される周波数成分である、請求項１に記載のシステム。
3. 前記サンプル成分がトランジェント成分であり、前記対応する信号処理が、オーディオ信号内に存在する既存のトランジェントの出だしを増強するように、なくなったトランジェントを有するサンプル成分に適用されるトランジェント成分である、請求項１に記載のシステム。
4. 前記サンプル成分が残響成分であり、前記対応する信号処理が、前記オーディオ信号の減衰速度を減少するように、なくなった残響を有するサンプル成分に適用される、請求項１に記載のシステム。
5. 前記信号エンハンサモジュールが、前記オーディオ信号とともに受信されたサイドチェーンデータに基づき前記１つまたは複数のサンプル成分を分析するよう構成される、請求項１に記載のシステム。
6. 前記対応する信号処理が、帯域幅拡張処理、トランジェント増強処理および残響補充処理を含む複数の信号処理である、請求項１に記載のシステム。
7. 前記信号エンハンサモジュールが複数の信号エンハンサモジュールであり、それぞれの前記信号エンハンサモジュールが、少なくとも１つの信号処理を追加するよう聴取者に知覚されるサウンドステージの空間スライスに独立して作動し、前記聴取者に知覚されるサウンドステージが、前記オーディオ信号の再生の間聴取者により知覚される、請求項１に記載のシステム。
8. 前記信号エンハンサモジュールが複数の対応する信号処理を生成するよう構成され、前記対応する信号処理が前記オーディオ信号に追加される、請求項１に記載のシステム。
9. 圧縮されたオーディオ信号を修復するように、プロセッサにより実行可能なコンピュータ可読命令を格納するコンピュータ可読記憶媒体であって、前記コンピュータ可読媒体が
   オーディオ信号のサンプルのシーケンスを生成するように前記プロセッサにより実行可能な命令と、
   前記シーケンス内のそれぞれのサンプルを、前記オーディオ信号の異なる特性に関連するサンプル成分に分割するように前記プロセッサにより実行可能な命令と、
   前記サンプルのシーケンス内の一連のサンプル成分内に含まれるサンプル成分内の前記オーディオ信号のなくなった部分を識別するように前記プロセッサにより実行可能な命令と、
   前記サンプル成分内の前記オーディオ信号の前記なくなった部分の識別に応答して、前記一連のサンプル成分内に含まれる前記サンプル成分の信号処理を生成しかつ前記オーディオ信号に適用するように前記プロセッサにより実行可能な命令と
   を備える、コンピュータ可読記憶媒体。
10. 前記サンプル成分が第１のサンプル成分であり、前記コンピュータ可読記憶媒体が、第２のサンプル成分内の前記オーディオ信号のなくなった部分の識別がないことに応答して、前記一連のサンプル成分内に含まれる前記第２のサンプル成分へ前記信号処理をその後適用しないよう、前記プロセッサにより実行可能な命令をさらに備える、請求項９に記載のコンピュータ可読記憶媒体。
11. 前記オーディオ信号に関連するパラメータに基づき、前記オーディオ信号の品質を判断するよう前記プロセッサにより実行可能な命令と、前記オーディオ信号の前記判断された品質に従って、前記信号処理のゲインを調整する命令と、をさらに備える、請求項９に記載のコンピュータ可読記憶媒体。
12. 前記オーディオ信号の前記異なる特性が、周波数範囲特性、トランジェント特性および残響特性を含む、請求項９に記載のコンピュータ可読記憶媒体。
13. 前記オーディオ信号の前記サンプルのシーケンス内のそれぞれのサンプルが一定時間内に連続して受信され、前記サンプル成分がそれぞれの前記シーケンシャルサンプル内に含まれる、請求項９に記載のコンピュータ可読記憶媒体。
14. サンプル成分内の前記オーディオ信号のなくなった部分を識別するよう前記プロセッサにより実行可能な前記命令が、周波数カットオフを超える、なくなった周波数成分を識別する命令を含み、前記信号処理を生成しおよび前記オーディオ信号に適用するように前記プロセッサにより実行可能な前記命令が、前記周波数カットオフを超える周波数成分を生成する命令、および前記オーディオ信号に前記周波数成分を適用する命令を含む、請求項９に記載のコンピュータ可読記憶媒体。
15. 前記サンプル成分内の前記オーディオ信号のなくなった部分を識別するよう前記プロセッサにより実行可能な前記命令が、前記サンプル成分内のなくなったトランジェント成分を識別する命令を含み、前記信号処理を生成しおよび前記オーディオ信号に適用するように前記プロセッサにより実行可能な前記命令が、トランジェント成分を生成する命令と、前記トランジェント成分を前記オーディオ信号に適用する命令を含む、請求項９に記載のコンピュータ可読記憶媒体。
16. 前記サンプル成分内の前記オーディオ信号のなくなった部分を識別するよう前記プロセッサにより実行可能な前記命令が、前記オーディオ信号の最大減衰速度に基づき、なくなった残響成分を識別する命令を含み、前記信号処理を生成しおよび前記オーディオ信号に適用するように前記プロセッサにより実行可能な前記命令が、残響成分を生成する命令と、前記残響成分を前記オーディオ信号に適用する命令を含む、請求項９に記載のコンピュータ可読記憶媒体。
17. 前記オーディオ信号のなくなった部分がある前記一連のサンプル成分内のそれらのサンプル成分にのみ前記信号処理を加えるように前記プロセッサで実行可能な命令をさらに備える、請求項９に記載のコンピュータ可読記憶媒体。
18. 前記オーディオ信号の品質の表示、および加えられている前記信号処理のレベルの表示をディスプレイ上に出力するよう前記コンピュータで実行可能な命令をさらに備える、請求項９に記載のコンピュータ可読記憶媒体。
19. プロセッサを用いてオーディオ信号をサンプルに分離することと、
    前記プロセッサでそれぞれの前記サンプルをサンプル成分に分割し、前記サンプル成分は前記オーディオ信号の特性の表現であることと、
    前記プロセッサで前記オーディオ信号の特性の一連のサンプル成分を順次分析し、前記オーディオ信号の失われた部分があるサンプル成分を識別することと、
    前記プロセッサが、前記オーディオ信号の失われた部分があると識別された前記一連のサンプル成分内のそれらのサンプル成分にのみ信号処理を適用することと
    を含む、圧縮されたオーディオ信号の修復方法。
20. 前記プロセッサが、前記信号処理で前記オーディオ信号の前記失われた部分内にエネルギーを補充することをさらに含む、請求項１９に記載の方法。
21. 前記プロセッサが、前記オーディオ信号の失われた部分がないと識別された前記一連のサンプル成分内のそれらのサンプル成分に信号処理を加えないことをさらに含む、請求項１９に記載の方法。
22. 前記プロセッサで前記オーディオ信号の品質を判断し、前記プロセッサが前記判断された品質に基づき信号処理のレベルを変えることをさらに含む、請求項１９に記載の方法。
23. 前記オーディオ信号の前記品質および前記信号処理のレベルの表示をディスプレイに出力することをさらに含む、請求項２２に記載の方法。