JP2010504008A - ダイアログ増幅技術 - Google Patents

Abstract

複数のチャネルのオーディオ信号（例えば、ステレオオーディオ）は、周辺成分信号（反射または屈折される音）または他の成分信号と関連した音声成分信号（例えば、映画で俳優が話すダイアログ）のゲイン（例えば、ボリュームまたは騷音程度）を調節するように処理される。一実施例において、前記音声成分信号は識別及び修正される。一実施例において、前記音声成分信号は、前記音声ソース（例えば、前記俳優の現在のダイアログ）が複数のチャネルオーディオ信号のステレオ音像の中心に位置すると仮定し、音声成分信号のスペクトル成分を考慮して識別される。
本発明の直接的な具現方法、システム及びコンピュータで判読可能な記録媒体を含む他の具現例が開示される。
【選択図】図１

Description

本発明は、現在係留中の下記の米国仮出願を優先権として主張する。

２００６年９月１４日に出願された発明の名称“Ｍｅｔｈｏｄ ｏｆ Ｓｅｐａｒａｔｅｌｙ Ｃｏｎｔｒｏｌｌｉｎｇ Ｄｉａｌｏｇｕｅ Ｖｏｌｕｍｅ”、米国仮出願番号６０／８４４，８０６、代理人管理番号１９８１９−０４７Ｐ０１； ２００７年１月１１日に出願された発明の名称“Ｓｅｐａｒａｔｅ Ｄｉａｌｏｇｕｅ Ｖｏｌｕｍｅ（ＳＤＶ）”、米国仮出願番号６０／８８４，５９４、代理人管理番号１９８１９−１２０Ｐ０１； 及び２００７年６月１１日に出願された発明の名称“Ｅｎｈａｎｃｉｎｇ Ｓｔｅｒｅｏ Ａｕｄｉｏ ｗｉｔｈ Ｒｅｍｉｘ Ｃａｐａｂｉｌｉｔｙ ａｎｄ Ｓｅｐａｒａｔｅ Ｄｉａｌｏｇｕｅ”、米国仮出願番号６０／９４３，２６８、代理人管理番号１９８１９−１６０Ｐ０１の前記各仮出願は、全体が参照として本明細書に統合される。

本発明は、一般的な信号処理に関するものである。

オーディオ増幅技術は、しばしば家庭内の娯楽システム、立体音響及びその他の消費者の電子機器で低周波信号を増幅させ、多様な聴取環境（例えば、コンサートホール）を具現化するために使用される。例えば、一部の技術は、高周波信号を挿入することで、映画ダイアログをより明確にするために使用されることもある。しかしながら、如何なる技術においても、ダイアログを周辺環境や他の成分の信号と比較して相対的に増幅させる技術は開示されていない。

本発明の目的は、ダイアログを周辺環境や他の成分の信号と比較して相対的に増幅させる技術を提供することにある。

上記のような目的を達成するための本発明に係るダイアログ増幅技術は、音声成分信号と他の成分信号が含まれた複数のチャネルオーディオ信号を獲得する段階と、オーディオ信号の音像内での前記音声成分信号の位置に基づいて前記音声成分信号を修正する段階とを含むことを特徴とする。

本発明によると、ダイアログを周辺環境や他の成分の信号と比較して相対的に増幅させる技術を提供することができる。

ダイアログ増幅技術のためのミキシングモデルを示したブロック図である。 時間−周波数タイルを用いたステレオ信号の分解を示したグラフである。 音像の中心に位置する分解ゲインファクタの関数としてゲインを計算する関数のグラフである。 音像の中心に位置しない分解ゲインファクタの関数としてゲインを計算する関数のグラフである。 ダイアログ増幅システムを例示するブロック図である。 ダイアログ増幅プロセスを例示する順序図である。 図１乃至図５を参照して説明された機能とプロセスが行われるデジタルテレビジョンシステムの例を示したブロック図である。

ダイアログ増幅技術

図１は、ダイアログ増幅技術のためのミキシングモデル１００を示した図である。前記ミキシングモデル１００において、聴取者は、左右のチャネルからオーディオ信号を受信する。オーディオ信号ｓは、ファクターａによって決定される方向から局地化された音に対応する。以後に斜めに反射または反響される音に対応する独立的なオーディオ信号ｎ₁とｎ₂は、しばしば背景音または背景を意味する。ステレオ信号は、与えられたオーディオソースに対して前記ソースオーディオ信号が特定方向の情報（例えば、レベル差、時間差）を用いて前記左右のオーディオ信号チャネルと連関して入力され、前記以後に反射または反響された独立的な信号ｎ₁及びｎ₂が聴覚的イベント幅及び聴取者包格キュー（ｅｎｖｅｌｏｐｍｅｎｔ ｃｕｅｓ）を決定するチャネルに入力されるように記録またはミックスされる。前記ミキシングモデル１００は、ステレオ信号の知覚的に動機付けられた分解として数学的に表現されるが、これは、前記オーディオ信号の局地化及び背景音を含む一つのオーディオソースを用いる。

ｘ₁（ｎ）＝ｓ（ｎ）＋ｎ₁（ｎ）
ｘ₂（ｎ）＝ａｓ（ｎ）＋ｎ₂（ｎ） （１）

同時に活性化する複数のオーディオソースを含む非線形的なシナリオで効率的な分解を得るために、数学式１の前記分解は、複数の周波数領域で独立的であり、時間に順応的に行われる。

Ｘ₁（ｉ，ｋ）＝Ｓ（ｉ，ｋ）＋Ｎ₁（ｉ，ｋ）
Ｘ₂（ｉ，ｋ）＝Ａ（ｉ，ｋ）Ｓ（ｉ，ｋ）＋Ｎ₂（ｉ，ｋ） （２）

ここで、ｉは、サブバンドインデックスを表し、ｋは、サブバンドの時間インデックスを表している。

図２は、時間−周波数タイルを用いたステレオ信号の分解を示したグラフである。索引ｉとｋを有する各時間−周波数タイル２００、前記信号Ｓ，Ｎ₁，Ｎ₂及び分解ゲインファクタＡは独立的に推定される。簡潔な表記のために、前記サブバンド及び時間のインデックスｉとｋは下記の説明で省略される。

知覚的に誘発されたサブバンドのバンド幅を用いたサブバンドの分解を使用するとき、サブバンドの前記バンド幅は主要バンドと同一に選択される。Ｓ、Ｎ₁、Ｎ₂及びＡは、各サブバンド別に略毎ｔミリセカンド（例えば、２０ｍｓ）ごとに推定される。より低い演算複雑度のために、ＳＴＦＴ（ｓｈｏｒｔ ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）がＦＦＴ（ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を行うのに使用される。ステレオサブバンド信号であるＸ₁及びＸ₂が与えられるとき、Ｓ、Ａ、Ｎ₁、Ｎ₂の推定が決定される。Ｘ₁の累乗数の短期推定は下記のように表現される。

Ｐ_x1（ｉ，ｋ）＝Ｅ｛Ｘ₁ ²（ｉ，ｋ）｝ （３）

ここで、Ｅ｛．｝は、短期平均（ｓｈｏｒｔ−ｔｉｍｅ ａｖｅｒａｇｉｎｇ）演算である。他の信号において、前記同一の規則が利用可能であり、換言すると、Ｐ_x2、Ｐ_sを用いることができる。そして、Ｐ_N＝Ｐ_N1＝Ｐ_N2は、前記対応する短期パワー推定である。前記Ｎ₁及びＮ₂の累乗数は同一に仮定され、換言すると、側面の独立的な音の量は左右のチャネルにおいて同一であると仮定される。

Ｐ_s、Ａ及びＰ_Nの推定

前記ステレオ信号のサブバンド表現が与えられる場合、前記パワー（Ｐ_x1，Ｐ_x2）及び標準化された相互相関が決定される。左右のチャネルの間の前記標準化された相互相関は下記の通りである。

Ａ、Ｐ_s、Ｐ_Nは、推定されたＰ_x1、Ｐ_x2、及びΦの関数として計算される。知られた変数及び知られていない変数と関連した三つの方程式は下記の通りである。

数学式５は、Ａ、Ｐｓ、及びＰＮに対して計算される。

これと一緒に、下記の式が成立される。

Ｓ、Ｎ₁、及びＮ₂の最小二乗推定

次に、Ｓ、Ｎ₁、及びＮ₂の最小二乗推定がＡ、Ｐ_s、及びＰ_N関数として演算される。それぞれのｉとｋ、前記信号Ｓは、下記のように推定される。

ここで、ｗ₁とｗ₂は、実際の加重値である。前記推定エラーは下記の通りである。

Ｅ＝（１−ｗ₁−ｗ₂Ａ）Ｓ−ｗ₁Ｎ₁−ｗ₂Ｎ₂ （９）

エラーＥが下記のようにＸ₁及びＸ₂と直交する場合、前記加重値ｗ₁及びｗ₂は、最小二乗規範で最適化される。

Ｅ｛ＥＸ₁｝＝０
Ｅ｛ＥＸ₂｝＝０ （１０）

この式から二つの方程式が誘導される。

（１−ｗ₁−ｗ₂Ａ）Ｐ_s−ｗ₁Ｐ_N＝０
Ａ（１−ｗ₁−ｗ₂Ａ）Ｐ_s−ｗ₂Ｐ_N＝０ （１１）

この式から、前記加重値は下記のように計算される。

前記Ｎ₁の推定値は下記の通りである。

前記推定エラーは下記の通りである。

Ｅ＝（−ｗ₃−ｗ₄Ａ）Ｓ−（１−ｗ₃）Ｎ₁−ｗ₂Ｎ₂ （１４）

前記推定エラーがＸ₁及びＸ₂と直交するように前記加重値が再び計算され、下記のような結果が導出される。

前記Ｎ₂（下記の数学式１６）の最小二乗推定値を計算するための前記加重値は、

ポストスケーリング（ｐｏｓｔ−ｓｃａｌｉｎｇ）

これと同一の理由で、Ｎ₁及びＮ₂も下記のように調節される。

ステレオ信号合成

以前に説明された信号分解において、オリジナルステレオ信号と類似した信号は、各時間及び各サブバンド別に数学式２を適用し、前記各サブバンドを時間ドメインに変換することで得られる。

修正されたダイアログゲインを用いて前記信号を生成するために、前記各サブバンドは下記のように計算される。

ここで、ｇ（ｉ，ｋ）は、前記ダイアログゲインが所望の値に修正されたｄＢ単位のゲインファクタである。

ｇ（ｉ，ｋ）をどのように計算するか動機づける幾つかの注目すべき点がある。
・一般的に、ダイアログは音像のセンターに位置する。すなわち、ダイアログに属した時間ｋ及び周波数ｉである成分信号は、１（０ｄＢ）に近い分解ゲインファクタＡ（ｉ，ｋ）を有することができる。
・各音声信号は、最大４ｋＨｚまでのエネルギーを含む。８ｋＨｚ以上で、音声は実質的にエネルギーを含まない。
・音声は、一般的に非常に低い周波数帯域（例えば、約７０Ｈｚ以下）を含まない。

このような観察は、ｇ（ｉ，ｋ）が非常に低い周波数帯域と８ｋＨｚ以上の帯域で０ｄＢに決定され、ステレオ信号の修正可能性が非常に低いことを暗示する。他の周波数帯域で、ｇ（ｉ，ｋ）は、下記の数学式２２のように所定のダイアログゲインＧ_dとＡ（ｉ，ｋ）の関数として調節される。

ｇ（ｉ，ｋ）＝ｆ（Ｇ_d，Ａ（ｉ，ｋ）） （２２）

適切な関数ｆの例が図３Ａに示された。図３Ａを参照すると、ｆとＡ（ｉ，ｋ）の関係がログスケール（ｄＢ）に表示され、他の領域で、ｆとＡ（ｉ，ｋ）は線形スケールに定義される。ｆの特定例は下記の通りである。

ここで、Ｗは、図３Ａに示すように、前記関数ｆのゲイン領域の広さを決定する。前記常数Ｗは、前記ダイアログゲインの方向的な感度に関係する。例えば、Ｗ＝６ｄＢの値を有するとき、ほとんどの信号で良い結果が生成される。しかし、他の信号では、Ｗが異なる値を有するときに最適化される。

放送または受信装置の劣悪な測定（例えば、左右チャネルのゲインが互いに異なること）によって、ダイアログが正確にセンターに位置しないことがある。この場合、関数ｆは、前記ダイアログの位置によってセンターの位置を移動することができる。移動された関数ｆの例を図３Ｂに示した。

選択的遂行及び一般化

センター仮定（または、一般的な位置仮定）及び音声信号のスペクトル領域に基づいた前記ダイアログ成分信号の確認法は簡単であり、多くの場合によく一致する。しかし、前記ダイアログ確認法は、修正されるか、潜在的に向上される。フォルマント、ハーモニック構造、ダイアログ成分信号を探知するための転移のような音声信号の多くの特徴は調査される可能性がある。

上述したように、互いに異なるオーディオに対しては、互いに異なるゲイン関数の形状（例えば、図３Ａ及び図３Ｂ）が最適である。したがって、信号適応的ゲイン関数が使用される。

ダイアログゲイン調節は、サラウンド音響のホームシネマシステムで行われる。ダイアログゲイン調節の重要な特徴は、センターチャネルにダイアログが存在するかどうかを探知することにある。これを行う一つの方法は、センターチャネルが充分に大きい信号エネルギーを有している場合、ダイアログがセンターチャネルに位置していると探知することである。ダイアログがセンターチャネルに含まれた場合、ダイアログボリュームを調節するためにゲインがセンターチャネルに含まれる。そして、ダイアログがセンターチャネルに存在しない場合（例えば、サラウンドシステムがステレオコンテンツを再生する場合）、図１〜図３を参照して説明したように、二つのチャネルダイアログゲイン調節が適用される。

一部の実施例において、前記開示されたダイアログ増幅技術は、音声成分信号以外の信号を減少することで行われる。例えば、複数のチャネルオーディオ信号は、音声成分信号（例えば、ダイアログ信号）と他の成分信号（例えば、反響音）を含むことができる。前記他の成分信号は、複数のチャネルオーディオ信号の音像に含まれた音声成分信号の位置に基づいて変更され（例えば、減衰され）、音声成分信号は変化しない状態で残存しうる。

ダイアログ増幅システム

図４は、ダイアログ増幅システム４００を例示するブロック図である。一部の実施例において、前記システム４００は、分析フィルターバンク４０２、パワー推定器４０４、信号推定器４０６、ポストスケーリングモジュール４０８、信号合成モジュール４１０、及び合成フィルターバンク４１２を含む。ダイアログ増幅システム４００の前記各成分４０２〜４１２は、分離されたプロセスとして表現されたが、二つまたはそれ以上の成分のプロセスが一つの成分に結合されることもある。

ダイアログ増幅プロセス

図５は、ダイアログ増幅プロセス５００を例示する順序図である。一部の実施例において、前記プロセス５００は、複数のチャネルオーディオ信号を周波数サブバンド信号５０２に分解しながら開始される（５０２）。前記分解は、多相のフィルタバンク（ｐｏｌｙｐｈａｓｅ ｆｉｌｔｅｒｂａｎｋ）、ＱＭＦ（ｑｕａｄｒａｔｕｒｅ ｍｉｒｒｏｒ ｆｉｌｔｅｒｂａｎｋ）、ハイブリッドフィルタバンク（ｈｙｂｒｉｄ ｆｉｌｔｅｒｂａｎｋ）、ＤＦＴ（ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）及びＭＤＣＴ（ｍｏｄｉｆｉｅｄ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）を含むことができるが、これに限定されることなく、多様な公知の変換技術を用いてフィルタバンクによって行われる。

前記オーディオ信号の二つまたはそれ以上のチャネルのパワーの第１セットは、前記サブバンド信号を用いて推定される（５０４）。相互相関（ｃｒｏｓｓ―ｃｏｒｒｅｌａｔｉｏｎ）は、パワーの第１セットを用いて決定される（５０６）。分解ゲインファクタは、前記パワーの第１セットと前記相互相関を用いて推定される（５０８）。前記分解ゲインファクタは、音像においてダイアログソースのロケーションキューを提供する。音声成分信号及び背景音成分信号のパワーの第２セットは、前記パワーの第１セットと前記相互相関を用いて推定される（５１０）。音声及び背景音成分信号は、前記パワーの第２セットと前記分解ゲインファクタを用いて推定される（５１２）。前記推定された音声と背景音成分信号は後調節される（５１４）。サブバンド信号は、後調節された音声と背景音成分信号及び所定のダイアログゲインを用いて修正されたダイアログゲインと合成される（５１６）。前記所定のダイアログゲインは、自動的に設定されるか、使用者によって決定される。前記合成された各サブバンド信号は、例えば、合成フィルタバンクを用いて修正されたダイアログゲイン５１２を適用することで時間ドメインオーディオ信号に変換される。

背景音減衰のための出力標準化

知覚的な品質を最大化するために、ｇ_normが修正される。前記標準化は、周波数ドメインと時間ドメイン上で全て行われる。前記標準化が周波数ドメインで行われるとき、例えば、７０Ｈｚ乃至８ｋＨｚのダイアログゲインが適用される周波数領域で前記標準化が行われる。

選択的に、これと類似した結果は、Ｓ（ｉ，ｋ）にゲインが適用されない間にＮ₁（ｉ，ｋ）及びＮ₂（ｉ，ｋ）を減衰することで達成される。このような概念を下記の方程式を通して説明した。

モノ探索に基づく別個のダイアログボリューム利用

入力信号Ｘ₁（ｉ，ｋ）及びＸ₂（ｉ，ｋ）が実質的に類似している場合（例えば、入力信号がモノ類似信号で、入力信号のほぼ全ての部分がＳと見なされる場合）、使用者が所定のダイアログゲインを入力すると、前記所定のダイアログゲインは、前記信号の全体ボリュームを増加させる。これを防止するために、前記入力信号の特性を観測可能な別個のダイアログボリューム（ＳＤＶ）技術を用いることが使用者にとって好ましい。

数学式４において、前記ステレオ信号の標準化された相互相関が計算された。前記標準化された相互相関は、モノ信号探索で測定の基準として使用される。数学式４でファイ（ｐｈｉ）が与えられた臨界値を超える場合、前記入力信号はモノ信号と見なされ、分離されたダイアログボリュームは自動的にオフになる。これと対照的に、ファイが与えられた臨界値より小さい場合、前記入力信号はステレオ信号と見なされ、分離されたダイアログボリュームは自動的に動作する。前記ダイアログゲインは、下記の数学式２６のように別個のダイアログボリュームでアルゴリズム的なスイッチとして動作することができる。

デジタルテレビジョンシステムの例

図６は、図１〜図５を参照して説明された機能とプロセスが行われる例示的なデジタルテレビジョンシステム６００のブロック図である。デジタルテレビジョン（ＤＴＶ）は、デジタル信号による動映像及び音を受信して放送する遠隔通信システムである。デジタルテレビジョンは、デジタル的に圧縮され、特別にデザインされたテレビセット、セットトップボックスが備わった標準受信機、またはテレビジョンカードが備わったＰＣによって復号化されることが要求されるデジタル変調データを使用する。図６のシステムがデジタルテレビジョンシステムに関するものであるが、前記ダイアログ増幅のために開示された実施例は、ダイアログ増幅が必要なアナログテレビジョンシステムまたはその他のシステムに適用される。

一部の実施例において、前記システム６００は、インターフェース６０２、デモジュレータ６０４、デコーダ６０６、オーディオ／ビデオ出力部６０８、使用者入力インターフェース６１０、一つまたはそれ以上のプロセッサ６１２（例えば、Ｉｎｔｅｌ（登録商標） ｐｒｏｃｅｓｓｏｒｓ）、一つまたはそれ以上のコンピュータで判読可能な媒体６１４（例えば、ＲＡＭ、ＲＯＭ、ＳＤＲＡＭ、ハードディスク、光ディスク、フラッシュメモリ、ＳＡＮなど）を含むことができる。このような各要素は、一つまたはそれ以上の通信チャネル６１６（例えば、バス）と結合される。一部の実施例において、前記インターフェース６０２は、オーディオ信号または結合されたオーディオ／ビデオ信号を獲得するための多様な回路を含む。例えば、アナログテレビジョンシステムで、インターフェースは、アンテナ装置、チューナまたはミキサ、ラジオ周波数（ＲＦ）増幅器、ローカルオシレータ、ＩＦ（ｉｎｔｅｒｍｅｄｉａｔｅ ｆｒｅｑｕｅｎｃｙ）増幅器、一つまたはそれ以上のフィルタ、デモジュレータ、オーディオ増幅器などを含むことができる。これに付加または限定される構成要素を有する実施例を含むシステムの他の実施例が具現可能である。

前記チューナ６０２は、ビデオとオーディオコンテンツを含むデジタルテレビジョン信号を受信するデジタルテレビジョンチューナである。前記デモジュレータ６０４は、前記デジタルテレビジョン信号からビデオ及びオーディオ信号を抽出する。ビデオとオーディオ信号が符号化された場合（例えば、ＭＰＥＧ符号化）、前記デコーダ６０６は、その信号を復号化する。前記オーディオ／ビデオ出力はビデオを出力し、オーディオを再生可能な如何なる装置（例えば、テレビジョンディスプレイ、コンピュータモニター、ＬＣＤ、スピーカ、オーディオ・システム）でも出力される。

一部の実施例において、ダイアログボリュームレベルは、例えば、リモコンのディスプレイ装置またはＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を用いて前記使用者に出力される。前記ダイアログボリュームレベルは、主音量レベルと相対的な関係にある。一つまたはそれ以上の図式的な客体は、ダイアログボリュームレベルと主音量に対して相対的なダイアログボリュームレベルを出力するのに使用される。例えば、第１図式的な客体（例えば、バー形態）は、主音量を表すように出力され、第２図式的な客体（例えば、線形態）は、第１図式的な客体と一緒にまたは合成されてダイアログボリュームレベルを表すように出力される。

一部の実施例において、前記使用者入力インターフェースは、リモコンから生成された赤外線通信または無線通信信号を受信して復号化する回路素子（例えば、無線または赤外線通信受信機）及び／またはソフトウェアを含むことができる。リモコンは、分離されたダイアログボリューム調節キーまたはボタン、主音量調節キーまたはボタンの状態を転換する分離されたダイアログボリューム調節選択キーを含むことができる。したがって、前記主音量調節方法としては、主音量を調節するか、分離されたダイアログボリュームを調節する方法が選択的に使用される。一部の実施例において、前記ダイアログボリュームまたは主音量キーは、作動状態を表すために視覚的に変化される。

調節器と使用者インターフェースの例は、２００７年９月１４日に出願された、米国特許出願番号、"Ｄｉａｌｏｇｕｅ Ｅｎｈａｎｃｅｍｅｎｔ Ｔｅｃｈｎｉｑｕｅ（ダイアログ増幅技術）"、代理人管理番号１９８１９−１６０００１に開示されており、本特許は、全体が参照として本明細書に統合される。

一部の実施例において、前記一つまたはそれ以上のプロセッサは、図１〜図５を参照して示すように、前記特性と機能６１８，６２０，６２２，６２６，６２８，６３０及び６３２を行う前記コンピュータで判読可能な媒体６１４に保存されているコードを行うことができる。

前記コンピュータで判読可能な媒体は、運営体制６１８、分析／合成フィルタバンク６２０、パワー推定器６２２、信号推定器６２４、ポストスケーリングモジュール６２６及び信号合成器６２８をさらに含む。前記"コンピュータで判読可能な媒体"は、非揮発性媒体（例えば、光学または磁気ディスク）、揮発性媒体（例えば、メモリ）及び伝送媒体を含むが、これに限定されることなく、実行のためにプロセッサ６１２に命令を提供するっことに関係する何れの媒体を意味する。伝送媒体は、同軸ケーブル、銅線及び光繊維を含むが、これに限定されることはない。伝送媒体は、前記音響、光線またはラジオ周波数波動の形態を受信することができる。

前記運営体制６１８は、多重使用者（ｍｕｌｔｉ−ｕｓｅｒ）、マルチプロセッシング、マルチタスキング、マルチスレッディング（ｍｕｌｔｉｔｈｒｅａｄｉｎｇ）、実時間などが可能である。前記運営体制６１８は、前記使用者入力インターフェース６１０からの入力信号認識と、トラック維持、及びコンピュータで判読可能な媒体６１４（例えば、メモリまたは保存装置）でのファイルまたはディレクトリ管理と、周辺装置の制御と、前記一つまたはそれ以上の通信チャネル６１６の疎通管理とを含むが、これに限定されることなく、上記のような基本的な機能を行う。

上記のように説明された特性は、少なくとも一つ以上の入力装置と出力装置を有するデータ保存システムからデータ及び命令を受信し、データ及び命令を伝送する少なくとも一つ以上のプログラム化可能なプロセッサを含むプログラミングシステムで実行される一つまたはそれ以上のコンピュータプログラムで有利に行われる。コンピュータプログラムは、特定の行為を行うか、特定の結果をもたらすコンピュータで直接または間接的に使用される命令の集合である。コンピュータプログラムは、コンパイルまたは機械語（ｉｎｔｅｒｐｒｅｔｅｄ ｌａｎｇｕａｇｅｓ）を含む如何なるプログラミング言語（例えば、Ｏｂｊｅｃｔｉｖｅ−Ｃ、Ｊａｖａ（登録商標））の形態でも書き込まれ、独立したプログラムのような形態、モジュール、成分及びサブルーチンの形態、またはコンピュータ環境下で使用者に適した他のユニットを含む如何なる形態にも構成される。

前記命令のプログラム遂行のための適正なプロセッサは、例えば、何らかの種類のコンピュータの一般的または特別な目的のマイクロプロセッサのみならず、単独プロセッサ、マルチプルプロセッサまたはコアを含む。一般的に、プロセッサは、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）またはこれら二つから命令及びデータを受信する。前記コンピュータの必須要素は、命令を行うプロセッサと、命令及びデータを保存するための一つまたはそれ以上のメモリである。一般的に、コンピュータは、データファイルを保存するための一つまたはそれ以上の大容量保存装置を含むか、通信して動作可能に連結される。このような保存装置は、内部ハードディスクとデータ削除可能なディスクのような磁気ディスク、磁気光ディスク及び光ディスクを含む。コンピュータプログラム命令及びデータを実体的に具体化するのに適した保存装置は、非揮発性メモリの全ての形態、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ装置のような半導体メモリ装置、内部ハードディスクとデータ削除可能なディスクのような磁気ディスク、磁気光ディスク及びＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭディスクを含む。前記プロセッサとメモリは、ＡＳＩＣＳ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）によって、またはＡＳＩＣＳと一体化して補強される。

使用者との相互作用を提供するために、前記特性は、前記使用者に情報を出力するＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）またはＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）モニタのようなディスプレイ装置と、使用者がコンピュータに命令を入力できるキーボード及びマウスまたはトラックボールのようなポインティング装置が備わったコンピュータで実行される。

前記各特性は、データサーバのようなバックエンドコンポーネント（ｂａｃｋ−ｅｎｄ ｃｏｍｐｏｎｅｎｔ）を含むか、アプリケーションサーバまたはインターネットサーバのようなミドルウェアーコンポーネントを含むか、図式的な使用者インターフェース、インターネットブラウザまたはこれらの結合を備えるクライアントコンピュータのようなフロントエンドコンポーネント（ｆｒｏｎｔ−ｅｎｄ ｃｏｍｐｏｎｅｎｔ）を含むコンピュータシステムで実行される。前記システムの各成分は、通信ネットワークのようなデジタルデータ通信の何らかの形態または媒体と連結される。通信ネットワークとしてはＬＡＮ、ＷＡＮなどを含み、前記コンピュータとネットワークはインターネットを構成する。

前記コンピュータシステムは、クライアントとサーバを含むことができる。クライアントとサーバは、一般的に互いに遠く離れており、概してネットワークを通して互いに通信する。前記クライアントとサーバの関係は、それぞれのコンピュータで動作し、互いにクライアントサーバ関係を有するコンピュータプログラムの影響によって生じる。

以上、多くの実施例が説明されたが、これに限定されず、多様な変形例が可能であることを理解すべきである。例えば、一つまたはそれ以上の実施例を構成する構成要素は、他の実施例を形成するために結合、省略、変形または追加される。他の例として、図面に描写された論理フローは、所望の結果を得るために示された特別な順序や順次的な順序が要求されない。さらに、説明されたフローで他の段階が追加または省略されることもあり、説明されたシステムで他の成分が追加または省略されることもある。したがって、他の実施例も、下記の請求項の権利範囲内に含まれる。

Claims (25)

1. 音声成分信号と他の成分信号が含まれた複数のチャネルオーディオ信号を獲得し、
   オーディオ信号の音像内での前記音声成分信号の位置に基づいて前記音声成分信号を修正し、
   を有することを特徴とする方法。
2. 前記修正する段階は、
   前記音声成分信号のスペクトル成分に基づいて前記音声成分信号を修正することをさらに有する請求項１に記載の方法。
3. 前記修正する段階は、
   前記音像内の前記音声成分信号の位置を決定し、
   ゲインファクターを前記音声成分信号に適用すること、をさらに有する請求項１または２に記載の方法。
4. 前記ゲインファクタは、前記音声成分信号の位置の関数で、前記音声成分信号に対するゲインである、請求項３に記載の方法。
5. 前記関数は、前記ゲインファクタの方向的な感度と連関したゲイン領域を有する信号適応的ゲイン関数である、請求項４に記載の方法。
6. 前記修正する段階は、
   時間ドメインまたは周波数ドメインで前記複数のチャネルオーディオ信号を標準化ファクタで標準化することをさらに有する請求項１乃至５の何れか１項に記載の方法。
7. 前記オーディオ信号が実質的にモノであるかを決定し、
   前記オーディオ信号が実質的にモノでない場合、前記音声成分信号を自動的に修正することをさらに有する請求項１乃至６の何れか１項に記載の方法。
8. 前記オーディオ信号が実質的にモノであるかを決定する段階は、
   前記オーディオ信号の二つ以上のチャネルの間の相互相関を決定し、
   一つ以上の臨界値を用いて前記相互相関を比較し、
   前記比較の結果に基づいて前記オーディオ信号が実質的にモノであるかを決定することをさらに有する請求項７に記載の方法。
9. 前記修正する段階は、
   前記オーディオ信号を複数の周波数サブバンド信号に分解し、
   前記サブバンド信号を用いて前記複数のチャネルオーディオ信号の二つ以上のチャネルの第１パワーセットを推定し、
   前記第１パワーセットを用いて相互相関を決定し、
   前記第１パワーセットと前記相互相関を用いて分解ゲインファクタを推定することをさらに有する請求項１乃至８の何れか１項に記載の方法。
10. 前記少なくとも一つのサブバンドのバンド幅は、人間聴覚システムの主要バンドと同一になるように選択される、請求項９に記載の方法。
11. 前記第１パワーセットと前記相互相関から前記音声成分信号と背景音成分信号の第２パワーセットを推定することをさらに有する請求項８に記載の方法。
12. 前記第２パワーセットと分解ゲインファクタを用いて前記音声成分信号及び前記背景音成分信号を推定することをさらに有する請求項１１に記載の方法。
13. 前記推定された音声及び背景音成分信号は、最小二乗推定を用いて決定される、請求項１２に記載の方法。
14. 前記相互相関は標準化される、請求項１２に記載の方法。
15. 前記推定された音声成分信号及び前記推定された背景音成分信号はポストスケールされる、請求項１３または１４に記載の方法。
16. 前記第２パワーセットと使用者設定ゲインを用いてサブバンド信号を合成することをさらに有する請求項１１乃至１５の何れか１項に記載の方法。
17. 前記合成されたサブバンド信号を前記使用者設定ゲインによって修正された音声成分信号を含む時間ドメインオーディオ信号に変換することをさらに有する請求項１６に記載の方法。
18. オーディオ信号を獲得し、
    前記オーディオ信号の第１成分信号の修正を表す使用者入力を獲得し、
    前記オーディオ信号の音像で前記第１成分信号の位置情報及び前記入力に基づいて前記第１成分信号を修正することを有することを特徴とする方法。
19. 前記修正する段階は、
    ゲインファクタを前記第１成分信号に適用する段階をさらに有する請求項１８に記載の方法。
20. 前記ゲインファクタは、位置情報の関数で、前記第１成分信号に対するゲインである、請求項１９に記載の方法。
21. 前記関数は、前記ゲインファクタの方向的な感度と連関したゲイン領域を有する、請求項２０に記載の方法。
22. 前記修正する段階は、
    時間ドメインまたは周波数ドメインで前記オーディオ信号を標準化ファクタで標準化することをさらに有する請求項１８乃至２１の何れか１項に記載の方法。
23. 前記修正する段階は、
    前記オーディオ信号を複数の周波数サブバンド信号に分解し、
    前記サブバンド信号を用いて前記オーディオ信号の二つ以上のチャネルの第１パワーセットを推定し、
    前記第１パワーセットを用いて相互相関を決定し、
    前記第１パワーセットと前記相互相関を用いて分解ゲインファクタを推定し、
    前記第１パワーセットと前記相互相関から前記第１成分信号及び第２成分信号の第２パワーセットを推定し、
    前記第２パワーセットと前記分解ゲインファクタを用いて前記第１成分信号と前記第２成分信号を推定し、
    前記推定された第１及び第２成分信号及び前記入力を用いてサブバンド信号を合成し、
    前記合成されたサブバンド信号を修正された第１成分信号を有する時間ドメインのオーディオ信号に変換すること、
    を有する請求項１８乃至２２の何れか１項に記載の方法。
24. 音声成分信号及び他の成分信号を含む複数のチャネルオーディオ信号を獲得するように構成されるインターフェースと、
    前記インターフェースと連結され、前記オーディオ信号の音像で前記音声成分信号の位置に基づいて前記音声成分信号を修正するように構成されるプロセッサと、
    を有することを特徴とするシステム。
25. 音声成分信号及び他の成分信号を含む複数のチャネルオーディオ信号を獲得し、
    前記複数のチャネルオーディオ信号の音像での前記音声成分信号の位置に基づいて前記他の成分信号を修正する、
    ことを有することを特徴とする方法。

Images