JP2017533459A - マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置 - Google Patents

Abstract

マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置（100）であって、マルチチャネルオーディオ信号は、左チャネルオーディオ信号（L）、センタチャネルオーディオ信号（C）、および右チャネルオーディオ信号（R）を含み、信号処理装置（100）は、フィルタ（101）およびコンバイナ（103）を含み、フィルタ（101）が、左チャネルオーディオ信号（L）、センタチャネルオーディオ信号（C）、および右チャネルオーディオ信号（R）に基づいて、周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定し、センタチャネルオーディオ信号（C）の振幅の測定値とマルチチャネルオーディオ信号の全体振幅を表す測定値との比に基づいて利得関数（G）を取得し、利得関数（G）で左チャネルオーディオ信号（L）に重み付けして、重み付けされた左チャネルオーディオ信号（LE）を取得し、利得関数（G）でセンタチャネルオーディオ信号（C）に重み付けして、重み付けされたセンタチャネルオーディオ信号（CE）を取得し、利得関数（G）で右チャネルオーディオ信号（R）に重み付けして、重み付けされた右チャネルオーディオ信号（RE）を取得するように構成され、コンバイナ（103）が、左チャネルオーディオ信号（L）を重み付けされた左チャネルオーディオ信号（LE）と合成して、合成された左チャネルオーディオ信号（LEV）を取得し、センタチャネルオーディオ信号（C）を重み付けされたセンタチャネルオーディオ信号（CE）と合成して、合成されたセンタチャネルオーディオ信号（CEV）を取得し、右チャネルオーディオ信号（R）を重み付けされた右チャネルオーディオ信号（RE）と合成して、合成された右チャネルオーディオ信号（REV）を取得するように構成される。

Description

本発明は、オーディオ信号処理の分野に関し、特に、マルチチャネルオーディオ信号内の音声強調に関する。

マルチチャネルオーディオ信号、例えば、エンタテイメントオーディオ信号内の音声成分を強調するために、現行では、異なる手法が採用されている。

音声成分を強調するための簡単な手法は、マルチチャネルオーディオ信号で構成されるセンタチャネルオーディオ信号をブーストするか、またはそれに応じて他のチャネルのすべてのオーディオ信号を減衰させることである。この手法は、音声が典型的にはセンタチャネルオーディオ信号にパンされるという仮定を利用する。しかしながら、この手法は、通常、音声強調の性能が低いという欠点がある。

より精巧な手法では、別個のチャネルのオーディオ信号の分析を試みる。この点に関して、センタチャネルオーディオ信号と他のチャネルのオーディオ信号との関係に関する情報は、音声強調を可能にするためにステレオダウンミックスと共に提供され得る。しかしながら、この手法はステレオオーディオ信号には適用できず、別個の音声オーディオチャネルが必要である。

ソフトな音声成分のレベルを改善し、マルチチャネルオーディオ信号内の大きな非音声成分を減衰させる別の手法は、ダイナミックレンジ圧縮（DRC）である。まず、この手法は、大きな成分を減衰させることを含む。次に、全体のラウドネスレベルが増加し、その結果、音声または対話がブーストされる。しかしながら、この手法は、マルチチャネルオーディオ信号の性質を考慮しておらず、修正はラウドネスレベルにのみ関係する。

本発明の目的は、マルチチャネルオーディオ信号内の音声成分を強調するための効率的な概念を提供することである。

この目的は、独立請求項の特徴によって実現される。さらなる実装形態は、従属請求項、明細書および図面から明らかである。

本発明は、マルチチャネルオーディオ信号のすべてのチャネルから決定することができる利得関数に基づいて、マルチチャネルオーディオ信号をフィルタリングすることができるという知見に基づいている。フィルタリングは、ウィナーフィルタリング手法に基づくことができ、マルチチャネルオーディオ信号のセンタチャネルオーディオ信号が音声成分を含むものとみなすことができ、マルチチャネルオーディオ信号の別のチャネルが非音声成分を含むものとみなすことができる。マルチチャネルオーディオ信号内の音声成分の経時変化を考慮するために、音声アクティビティ検出をさらに行うことができ、マルチチャネルオーディオ信号のすべてのチャネルを処理して音声アクティビティインジケータを提供することができる。マルチチャネルオーディオ信号は、入力ステレオオーディオ信号のステレオアップミキシング処理の結果であり得る。これにより、マルチチャネルオーディオ信号内の音声成分の効率的な強調を実現することができる。

第1の態様によれば、本発明は、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置に関し、マルチチャネルオーディオ信号は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を含み、信号処理装置は、フィルタおよびコンバイナを含み、フィルタは、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号に基づいて、周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定し、センタチャネルオーディオ信号の振幅の測定値とマルチチャネルオーディオ信号の全体振幅を表す測定値との比に基づいて利得関数を取得し、利得関数で左チャネルオーディオ信号に重み付けして、重み付けされた左チャネルオーディオ信号を取得し、利得関数でセンタチャネルオーディオ信号に重み付けして、重み付けされたセンタチャネルオーディオ信号を取得し、利得関数で右チャネルオーディオ信号に重み付けして、重み付けされた右チャネルオーディオ信号を取得するように構成され、コンバイナは、左チャネルオーディオ信号を重み付けされた左チャネルオーディオ信号と合成して、合成された左チャネルオーディオ信号を取得し、センタチャネルオーディオ信号を重み付けされたセンタチャネルオーディオ信号と合成して、合成されたセンタチャネルオーディオ信号を取得し、右チャネルオーディオ信号を重み付けされた右チャネルオーディオ信号と合成して、合成された右チャネルオーディオ信号を取得するように構成される。これにより、マルチチャネルオーディオ信号内の音声成分を強調するための効率的な概念が実現される。

マルチチャネルオーディオ信号は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を含む。マルチチャネルオーディオ信号は、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号をさらに含むことができる。マルチチャネルオーディオ信号を、LCR／3．0ステレオオーディオ信号または5．1サラウンドオーディオ信号とすることができる。周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定することは、周波数領域におけるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定することを含む。

利得関数は、音声成分の振幅とマルチチャネルオーディオ信号の全体振幅との比を示すことができ、音声成分はセンタチャネルオーディオ信号で構成されるものとする。マルチチャネルオーディオ信号の全体振幅を、周波数にわたるマルチチャネルオーディオ信号内の音声成分および非音声成分の加算により決定することができる。利得関数は周波数に依存することができる。

このような第1の態様に係る信号処理装置の第1の実装形態では、フィルタは、マルチチャネルオーディオ信号の全体振幅を表す測定値を、センタチャネルオーディオ信号の振幅の測定値、および左チャネルオーディオ信号と右チャネルオーディオ信号との差の振幅の測定値の和として決定するように構成されている。したがって、左チャネルオーディオ信号と右チャネルオーディオ信号との差がセンタチャネルオーディオ信号の成分を含まない残差信号を表すため、マルチチャネルオーディオ信号の全体振幅を表す測定値は、フィルタ利得関数を得るために使用される、より適切な方法で効率的に決定される。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第2の実装形態では、フィルタは、以下の式：

に従って利得関数を決定するように構成され、ここで、Gは利得関数を示し、Lは左チャネルオーディオ信号を示し、Cはセンタチャネルオーディオ信号を示し、Rは右チャネルオーディオ信号を示し、P_Cはセンタチャネルオーディオ信号の振幅を表す測定値としてセンタチャネルオーディオ信号のパワーを示し、P_Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差のパワーを示し、P_CとP_Sの和はマルチチャネルオーディオ信号の全体振幅を表す測定値を示し、mはサンプル時間インデックスを示し、kは周波数ビンインデックスを示す。これにより、利得関数は、効率的かつ効果的な方法で決定される。

利得関数はウィナーフィルタリング手法に従って決定される。センタチャネルオーディオ信号は、音声成分を含むものとみなされる。左チャネルオーディオ信号と右チャネルオーディオ信号との差は、音声成分がセンタチャネルオーディオ信号にパンされるという仮定に基づいて、非音声成分を含むとみなされる。このようにウィナーフィルタの成分を画定することにより、信号対雑音比または信号の雑音パワースペクトル密度を推定するために高価な方法を使用することは回避される。

方程式内でパワーを用いる代わりに、利得関数を決定するために振幅または対数パワーを使用することができる。左チャネルオーディオ信号と右チャネルオーディオ信号との差は、非センタチャネルオーディオ信号の組合せを含む残差オーディオ信号を参照することができ、センタチャネルオーディオ信号を除くすべてのオーディオ信号は非センタチャネルオーディオ信号とも呼ばれる。残差オーディオ信号は、左チャネルオーディオ信号と右チャネルオーディオ信号との差であり得る。

左チャネルオーディオ信号の振幅と右チャネルオーディオの振幅との和は、センタチャネル抽出の特定の形態であるビーム形成に対応し、本発明の実施形態においても使用され得る。ただし、左チャネルオーディオ信号と右チャネルオーディオの振幅の差は、センタチャネルの成分の除去に対応する。これにより、左チャネルオーディオ信号と右チャネルオーディオ信号との差として画定される残差オーディオ信号は、フィルタ利得の改善された推定をもたらす。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第3の実装形態では、マルチチャネルオーディオ信号は、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号をさらに含み、フィルタは、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号に基づいて追加的に、周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定し、センタチャネルオーディオ信号の振幅の測定値、左チャネルオーディオ信号と右チャネルオーディオ信号との差の振幅の測定値、および左サラウンドチャネルオーディオ信号と右サラウンドチャネルオーディオ信号との差の振幅の測定値の和として、マルチチャネルオーディオ信号の全体振幅を表す測定値を決定するように構成される。これにより、マルチチャネルオーディオ信号内のサラウンドチャネルは、左サラウンドチャネルオーディオ信号と右サラウンドチャネルオーディオ信号との差から振幅を得ることによって、効率的に処理される。差信号は、センタチャネルオーディオ信号に対しより明らかな区別をつける。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第4の実装形態では、フィルタは、左チャネルオーディオ信号の周波数ビンを利得関数の周波数ビンで重み付けして、重み付けされた左チャネルオーディオ信号の周波数ビンを取得し、センタチャネルオーディオ信号の周波数ビンを利得関数の周波数ビンで重み付けして、重み付けされたセンタチャネルオーディオ信号の周波数ビンを取得し、右チャネルオーディオ信号の周波数ビンを利得関数の周波数ビンで重み付けして、重み付けされた右チャネルオーディオ信号の周波数ビンを取得するように構成される。このように、マルチチャネルオーディオ信号は、周波数領域において効率的に処理される。同じフィルタですべての信号を重み付けすることにより、ステレオ画像内のオーディオソースの位置がずれることがないという利点を有する。さらに、このようにして、音声成分がすべての信号から抽出される。

フィルタは、メル周波数スケールに従って周波数ビンをグループ化して、周波数帯域を得るようにさらに構成され得る。したがって、インデックスkは、周波数帯域インデックスに対応することができる。フィルタは、所定の周波数範囲内、例えば100Hz〜8kHz内に配置された周波数ビンまたは周波数帯域のみを処理するようにさらに構成され得る。このようにして、人間の声を含む周波数のみが処理される。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第5の実装形態では、信号処理装置は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号に基づいて音声アクティビティインジケータを決定するように構成された音声アクティビティ検出器をさらに備え、音声アクティビティインジケータはマルチチャネルオーディオ信号内の音声成分の振幅を経時的に示し、コンバイナは、重み付けされた左チャネルオーディオ信号を音声アクティビティインジケータと合成して、合成された左チャネルオーディオ信号を取得し、重み付けされたセンタチャネルオーディオ信号を音声アクティビティインジケータと合成して、合成されたセンタチャネルオーディオ信号を取得し、重み付けされた右チャネルオーディオ信号を音声アクティビティインジケータと合成して、合成された右チャネルオーディオ信号を取得するように、さらに構成される。これにより、マルチチャネルオーディオ信号内の時変音声成分の効率的な強調が実現され、非スピーチ信号が抑制される。

音声アクティビティインジケータは、時間領域におけるマルチチャネルオーディオ信号内の音声成分の振幅を示す。音声アクティビティインジケータは、例えば、音声成分が信号に存在しない場合にはゼロに等しく、音声が存在する場合には1に等しい。ゼロと1との間の値は、音声が存在する確率として解釈され、滑らかな出力信号を得るのに役立つことができる。

第1の態様の第5の実装形態に係る信号処理装置の第6の実装形態では、音声アクティビティ検出器は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号に基づいてマルチチャネルオーディオ信号の全体のスペクトル変動を表す測定値を決定し、センタチャネルオーディオ信号のスペクトル変動の測定値とマルチチャネルオーディオ信号の全体のスペクトル変動を表す測定値との比に基づいて、音声アクティビティインジケータを取得するように構成される。これにより、音声アクティビティインジケータは、スペクトル変動の測定値間の関係を利用して効率的に決定される。

全体のスペクトル変動を表す測定値は、スペクトルフラックスまたは時間微分であり得る。スペクトルフラックスを、正規化のための異なる手法を使用して決定することができる。スペクトルフラックスを、2つ以上のオーディオ信号フレーム間のパワースペクトルの差として計算することができる。全体のスペクトル変動を表す測定値をF_CとF_Sとの和とすることができ、ここで、F_Cは、センタチャネルオーディオ信号のスペクトル変動の測定値を示し、F_Sは、左チャネルオーディオ信号と右チャネルオーディオ信号との差のスペクトル変動の測定値を示す。

第1の態様の第6の実装形態に係る信号処理装置の第7の実装形態では、音声アクティビティ検出器は、以下の式：

に従って音声アクティビティインジケータを決定するように構成され、ここで、Vは音声アクティビティインジケータを示し、F_Cはセンタチャネルオーディオ信号のスペクトル変動の測定値を示し、F_Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差のスペクトル変動の測定値を示し、F_CとF_Sとの和はマルチチャネルオーディオ信号の全体のスペクトル変動を表す測定値を示し、aは所定のスケーリング係数を示す。これにより、音声アクティビティインジケータは効率的に決定される。F_CおよびF_Sが同じ値である信号は、0の値の音声アクティビティインジケータをもたらす。F_Cの値が大きいほど、音声アクティビティインジケータの値が大きくなる。スケーリング係数aは、音声アクティビティインジケータの振幅を制御することができる。

音声アクティビティインジケータの値は、事前の測定値の正規化とは無関係であり得る。音声アクティビティインジケータの値は、インターバル［0；1］に制限され得る。

第1の態様の第7の実装形態に係る信号処理装置の第8の実装形態では、音声アクティビティ検出器は、以下の式：

に従って、センタチャネルオーディオ信号のスペクトル変動の測定値をスペクトルフラックスとして、および左チャネルオーディオ信号と右チャネルオーディオ信号との差のスペクトル変動の測定値をスペクトルフラックスとして決定するように構成され、ここで、F_Cはセンタチャネルオーディオ信号のスペクトルフラックスを示し、F_Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差のスペクトルフラックスを示し、Cはセンタチャネルオーディオ信号を示し、Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差を示し、mはサンプル時間インデックスを示し、kは周波数ビンインデックスを示す。これにより、スペクトルフラックスは効率的に決定される。

第1の態様の第5の実装形態から第8の実装形態に係る信号処理装置の第9の実装形態では、音声アクティビティ検出器は、所定のローパスフィルタ機能に基づいて音声アクティビティインジケータを時間内にフィルタリングするように構成される。これにより、マルチチャネルオーディオ信号内のアーチファクトの効率的な緩和および／または音声アクティビティインジケータの効率的な時間平滑化が実現される。

所定のローパスフィルタ機能を、1タップ有限インパルス応答（FIR）のローパスフィルタによって実現することができる。

第1の態様の第5の実装形態から第9の実装形態に係る信号処理装置の第10の実装形態では、コンバイナは、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を所定の入力利得係数で重み付けし、音声アクティビティインジケータを所定のスピーチ利得係数で重み付けするようにさらに構成される。これにより、非音声成分の振幅に関する音声成分の振幅の効率的な制御が実現される。

第1の態様の第5の実装形態から第10の実装形態に係る信号処理装置の第11の実装形態では、コンバイナは、重み付けされた左チャネルオーディオ信号と音声アクティビティインジケータとの合成に左チャネルオーディオ信号を加えて、合成された左チャネルオーディオ信号を取得し、重み付けされた左チャネルオーディオ信号と音声アクティビティインジケータとの合成にセンタチャネルオーディオ信号を加えて、合成されたセンタチャネルオーディオ信号を取得し、重み付けされた左チャネルオーディオ信号と音声アクティビティインジケータとの合成に右チャネルオーディオ信号を加えて、合成された右チャネルオーディオ信号を取得するように構成される。これにより、コンバイナは効率的に実装される。抽出された音声成分は元の信号と合成され、出力信号の音声成分が強調される。

第1の態様の第5の実装形態から第11の実装形態に係る信号処理装置の第12の実装形態では、マルチチャネルオーディオ信号は、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号をさらに含み、音声アクティビティ検出器は、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号に基づいて追加的に音声アクティビティインジケータを決定するように構成される。これにより、マルチチャネルオーディオ信号内のサラウンドチャネルも、音声アクティビティインジケータを決定するために考慮され、音声アクティビティインジケータのより良好な推定をもたらす。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第13の実装形態では、信号処理装置は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を時間領域から周波数領域に変換するように構成された変換器をさらに備える。これにより、オーディオ信号の周波数領域への効率的な変換が実現される。これは、スピーチ強調および音声アクティビティ検出が周波数領域で実行される場合に必要とされ得る。

変換器は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号の短時間離散フーリエ変換（STFT）を実行するように構成され得る。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第14の実装形態では、信号処理装置は、合成された左チャネルオーディオ信号、合成されたセンタチャネルオーディオ信号、および合成された右チャネルオーディオ信号を周波数領域から時間領域に逆に変換するように構成された逆変換器をさらに備える。これにより、オーディオ信号の時間領域への効率的な逆変換が実現され、時間領域の出力信号が得られる。

逆変換器は、合成された左チャネルオーディオ信号、合成されたセンタチャネルオーディオ信号、および合成された右チャネルオーディオ信号の短時間逆離散フーリエ変換（ISTFT）を実行するように構成され得る。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第15の実装形態では、信号処理装置は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を、入力左チャネルステレオオーディオ信号および入力右チャネルステレオオーディオ信号に基づいて決定するように構成されたアップミキサをさらに備える。このようにして、信号処理装置を、2チャネルすなわち左右のチャネルの入力ステレオオーディオ信号を処理するために利用することができる。

第1の態様の第15の実装形態に係る信号処理装置の第16の実装形態では、アップミキサは、以下の式：

に従って、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を決定するように構成され、ここで、L_rは入力左チャネルステレオオーディオ信号の実数部を示し、R_rは入力右チャネルステレオオーディオ信号の実数部を示し、L_iは入力左チャネルステレオオーディオ信号の虚数部を示し、R_iは入力右チャネルステレオオーディオ信号の虚数部を示し、αは直交度パラメータを示し、L_inは入力左チャネルステレオオーディオ信号を示し、R_inは入力右チャネルステレオオーディオ信号を示し、Lは左チャネルオーディオ信号を示し、Cはセンタチャネルオーディオ信号を示し、Rは右チャネルオーディオ信号を示す。これにより、入力ステレオオーディオ信号の効率的なセンタチャネル抽出が、直交分解を用いて実現される。得られる左チャネルオーディオ信号および右チャネルオーディオ信号は、互いに直交している。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第17の実装形態では、信号処理装置は、合成された左チャネルオーディオ信号、合成されたセンタチャネルオーディオ信号、および合成された右チャネルオーディオ信号に基づいて、出力左チャネルステレオオーディオ信号および出力右チャネルステレオオーディオ信号を決定するように構成されたダウンミキサをさらに備える。これにより、2チャネルすなわち左右のチャネルの出力ステレオオーディオ信号が効率的に提供される。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第18の実装形態では、振幅の測定値は、信号のパワー、対数パワー、振幅、または対数振幅を含む。このように、振幅の測定値は、異なる尺度で異なる値を示すことができる。

マルチチャネルオーディオ信号の振幅は、マルチチャネルオーディオ信号のパワー、対数パワー、振幅、または対数振幅を含む。左チャネルオーディオ信号と右チャネルオーディオ信号との差の振幅の測定値は、左チャネルオーディオ信号と右チャネルオーディオ信号との差のパワー、対数パワー、振幅、または対数振幅を含む。センタチャネルオーディオ信号の振幅は、センタチャネルオーディオ信号のパワー、対数パワー、振幅、または対数振幅を含む。信号は、信号処理装置によって処理される任意の信号を参照することができる。

このような第1の態様すなわち第1の態様の前述の実装形態のいずれかに係る信号処理装置の第19の実装形態では、コンバイナは、所定の入力利得係数で左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を重み付けし、所定のスピーチ利得係数で重み付けされた左チャネルオーディオ信号、重み付けされたセンタチャネルオーディオ信号、および重み付けされた右チャネルオーディオ信号を重み付けするようにさらに構成される。これにより、非音声成分の振幅に関する音声成分の振幅の効率的な制御が実現される。

重み付けされたオーディオ信号C_E、L_E、およびR_Eを、所定のスピーチ利得係数G_Sで重み付けすることができる。音声アクティビティ検出器を使用せずに重み付けを行うことができる。

第2の態様によれば、本発明は、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理方法に関し、マルチチャネルオーディオ信号は、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を含み、信号処理方法は、フィルタによって、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号に基づいて、周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定するステップと、フィルタによって、センタチャネルオーディオ信号の振幅の測定値とマルチチャネルオーディオ信号の全体振幅を表す測定値との比に基づいて利得関数を取得するステップと、フィルタによって、利得関数で左チャネルオーディオ信号に重み付けして、重み付けされた左チャネルオーディオ信号を取得するステップと、フィルタによって、利得関数でセンタチャネルオーディオ信号に重み付けして、重み付けされたセンタチャネルオーディオ信号を取得するステップと、フィルタによって、利得関数で右チャネルオーディオ信号に重み付けして、重み付けされた右チャネルオーディオ信号を取得するステップと、コンバイナによって、左チャネルオーディオ信号を重み付けされた左チャネルオーディオ信号と合成して、合成された左チャネルオーディオ信号を取得するステップと、コンバイナによって、センタチャネルオーディオ信号を重み付けされたセンタチャネルオーディオ信号と合成して、合成されたセンタチャネルオーディオ信号を取得するステップと、コンバイナによって、右チャネルオーディオ信号を重み付けされた右チャネルオーディオ信号と合成して、合成された右チャネルオーディオ信号を取得するステップと、を含む。これにより、マルチチャネルオーディオ信号内の音声成分を強調するための効率的な概念が実現される。

信号処理方法を、信号処理装置によって実行することができる。信号処理方法のさらなる特徴は、信号処理装置の機能性に直接起因する。

このような第2の態様に係る信号処理方法の第1の実装形態では、方法は、フィルタによって、マルチチャネルオーディオ信号の全体振幅を表す測定値を、センタチャネルオーディオ信号の振幅の測定値、および左チャネルオーディオ信号と右チャネルオーディオ信号との差の振幅の測定値の和として決定するステップを含む。したがって、左チャネルオーディオ信号と右チャネルオーディオ信号との差がセンタチャネルオーディオ信号の成分を含まない残差信号を表すため、マルチチャネルオーディオ信号の全体振幅を表す測定値は、フィルタ利得関数を得るために使用される、より適切な方法で効率的に決定される。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第2の実装形態では、方法は、以下の式：

に従ってフィルタによって利得関数を決定するステップを含み、ここで、Gは利得関数、Lは左チャネルオーディオ信号、Cはセンタチャネルオーディオ信号、Rは右チャネルオーディオ信号、P_Cはセンタチャネルオーディオ信号の振幅を表す測定値としてセンタチャネルオーディオ信号のパワー、P_Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差のパワー、P_CとP_Sの和はマルチチャネルオーディオ信号の全体振幅を表す測定値、mはサンプル時間インデックス、kは周波数ビンインデックスを示す。これにより、利得関数は、効率的かつ効果的な方法で決定される。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第3の実装形態では、マルチチャネルオーディオ信号は、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号をさらに含み、方法は、フィルタによって、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号に基づいて追加的に、周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定するステップと、フィルタによって、センタチャネルオーディオ信号の振幅の測定値、左チャネルオーディオ信号と右チャネルオーディオ信号との差の振幅の測定値、および左サラウンドチャネルオーディオ信号と右サラウンドチャネルオーディオ信号との差の振幅の測定値の和として、マルチチャネルオーディオ信号の全体振幅を表す測定値を決定するステップと、を含む。これにより、マルチチャネルオーディオ信号内のサラウンドチャネルは、左サラウンドチャネルオーディオ信号と右サラウンドチャネルオーディオ信号との差から振幅を得ることによって、効率的に処理される。差信号は、センタチャネルオーディオ信号に対しより明らかな区別をつける。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第4の実装形態では、方法は、フィルタによって、左チャネルオーディオ信号の周波数ビンを利得関数の周波数ビンで重み付けして、重み付けされた左チャネルオーディオ信号の周波数ビンを取得するステップと、フィルタによって、センタチャネルオーディオ信号の周波数ビンを利得関数の周波数ビンで重み付けして、重み付けされたセンタチャネルオーディオ信号の周波数ビンを取得するステップと、フィルタによって、右チャネルオーディオ信号の周波数ビンを利得関数の周波数ビンで重み付けして、重み付けされた右チャネルオーディオ信号の周波数ビンを取得するステップと、を含む。このように、マルチチャネルオーディオ信号は、周波数領域において効率的に処理される。同じフィルタですべての信号を重み付けすることにより、ステレオ画像内のオーディオソースの位置がずれることがないという利点を有する。さらに、このようにして、音声成分がすべての信号から抽出される。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第5の実装形態では、方法は、音声アクティビティ検出器によって、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号に基づいて音声アクティビティインジケータを決定するステップであって、音声アクティビティインジケータはマルチチャネルオーディオ信号内の音声成分の振幅を経時的に示す、ステップと、コンバイナによって、重み付けされた左チャネルオーディオ信号を音声アクティビティインジケータと合成して、合成された左チャネルオーディオ信号を取得するステップと、コンバイナによって、重み付けされたセンタチャネルオーディオ信号を音声アクティビティインジケータと合成して、合成されたセンタチャネルオーディオ信号を取得するステップと、コンバイナによって、重み付けされた右チャネルオーディオ信号を音声アクティビティインジケータと合成して、合成された右チャネルオーディオ信号を取得するステップと、を含む。これにより、マルチチャネルオーディオ信号内の時変音声成分の効率的な強調が実現され、非スピーチ信号が抑制される。

第2の態様の第5の実装形態に係る信号処理方法の第6の実装形態では、方法は、音声アクティビティ検出器によって、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号に基づいてマルチチャネルオーディオ信号の全体のスペクトル変動を表す測定値を決定するステップと、音声アクティビティ検出器によって、センタチャネルオーディオ信号のスペクトル変動の測定値とマルチチャネルオーディオ信号の全体のスペクトル変動を表す測定値との比に基づいて、音声アクティビティインジケータを取得するステップと、を含む。これにより、音声アクティビティインジケータは、スペクトル変動の測定値間の関係を利用して効率的に決定される。

第2の態様の第6の実装形態に係る信号処理方法の第7の実装形態では、方法は、以下の式：

に従って、音声アクティビティ検出器によって音声アクティビティインジケータを決定するステップを含み、ここで、Vは音声アクティビティインジケータを示し、F_Cはセンタチャネルオーディオ信号のスペクトル変動の測定値を示し、F_Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差のスペクトル変動の測定値を示し、F_CとF_Sとの和はマルチチャネルオーディオ信号の全体のスペクトル変動を表す測定値を示し、aは所定のスケーリング係数を示す。これにより、音声アクティビティインジケータは効率的に決定される。F_CおよびF_Sが同じ値である信号は、0の値の音声アクティビティインジケータをもたらす。F_Cの値が大きいほど、音声アクティビティインジケータの値が大きくなる。スケーリング係数aは、音声アクティビティインジケータの振幅を制御することができる。

第2の態様の第7の実装形態に係る信号処理方法の第8の実装形態では、方法は、以下の式：

に従って、音声アクティビティ検出器によってセンタチャネルオーディオ信号のスペクトル変動の測定値をスペクトルフラックスとして、および左チャネルオーディオ信号と右チャネルオーディオ信号との差のスペクトル変動の測定値をスペクトルフラックスとして決定するステップを含み、ここで、F_Cはセンタチャネルオーディオ信号のスペクトルフラックスを示し、F_Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差のスペクトルフラックスを示し、Cはセンタチャネルオーディオ信号を示し、Sは左チャネルオーディオ信号と右チャネルオーディオ信号との差を示し、mはサンプル時間インデックスを示し、kは周波数ビンインデックスを示す。これにより、スペクトルフラックスは効率的に決定される。

第2の態様の第5の実装形態から第8の実装形態に係る信号処理方法の第9の実装形態では、方法は、音声アクティビティ検出器によって、所定のローパスフィルタ機能に基づいて音声アクティビティインジケータを時間内にフィルタリングするステップを含む。これにより、マルチチャネルオーディオ信号内のアーチファクトの効率的な緩和および／または音声アクティビティインジケータの効率的な時間平滑化が実現される。

第2の態様の第5の実装形態から第9の実装形態に係る信号処理方法の第10の実装形態では、方法は、コンバイナによって、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を所定の入力利得係数で重み付けするステップと、コンバイナによって、音声アクティビティインジケータを所定のスピーチ利得係数で重み付けするステップと、を含む。これにより、非音声成分の振幅に関する音声成分の振幅の効率的な制御が実現される。

第2の態様の第5の実装形態から第10の実装形態に係る信号処理方法の第11の実装形態では、方法は、コンバイナによって、重み付けされた左チャネルオーディオ信号と音声アクティビティインジケータとの合成に左チャネルオーディオ信号を加えて、合成された左チャネルオーディオ信号を取得するステップと、コンバイナによって、重み付けされた左チャネルオーディオ信号と音声アクティビティインジケータとの合成にセンタチャネルオーディオ信号を加えて、合成されたセンタチャネルオーディオ信号を取得するステップと、コンバイナによって、重み付けされた左チャネルオーディオ信号と音声アクティビティインジケータとの合成に右チャネルオーディオ信号を加えて、合成された右チャネルオーディオ信号を取得するステップと、を含む。これにより、合成が効率的に行われる。抽出された音声成分は元の信号と合成され、出力信号の音声成分が強調される。

第2の態様の第5の実装形態から第11の実装形態に係る信号処理方法の第12の実装形態では、マルチチャネルオーディオ信号は、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号をさらに含み、方法は、音声アクティビティ検出器によって、左サラウンドチャネルオーディオ信号および右サラウンドチャネルオーディオ信号に基づいて追加的に音声アクティビティインジケータを決定するステップを含む。これにより、マルチチャネルオーディオ信号内のサラウンドチャネルも、音声アクティビティインジケータを決定するために考慮され、音声アクティビティインジケータのより良好な推定をもたらす。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第13の実装形態では、方法は、変換器によって、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を時間領域から周波数領域に変換するステップを含む。これにより、オーディオ信号の周波数領域への効率的な変換が実現される。これは、例えば、スピーチ強調および音声アクティビティ検出が周波数領域で実行される場合に必要とされる。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第14の実装形態では、方法は、逆変換器によって、合成された左チャネルオーディオ信号、合成されたセンタチャネルオーディオ信号、および合成された右チャネルオーディオ信号を周波数領域から時間領域に逆に変換するステップを含む。これにより、オーディオ信号の時間領域への効率的な逆変換が実現され、時間領域の出力信号が得られる。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第15の実装形態では、方法は、アップミキサによって、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を、入力左チャネルステレオオーディオ信号および入力右チャネルステレオオーディオ信号に基づいて決定するステップを含む。このように、信号処理方法を、入力ステレオオーディオ信号を処理するために適用することができる。

第2の態様の第15の実装形態に係る信号処理方法の第16の実装形態では、方法は、以下の式：

に従って、アップミキサによって、左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を決定するステップを含み、ここで、L_rは入力左チャネルステレオオーディオ信号の実数部を示し、R_rは入力右チャネルステレオオーディオ信号の実数部を示し、L_iは入力左チャネルステレオオーディオ信号の虚数部を示し、R_iは入力右チャネルステレオオーディオ信号の虚数部を示し、αは直交度パラメータを示し、L_inは入力左チャネルステレオオーディオ信号を示し、R_inは入力右チャネルステレオオーディオ信号を示し、Lは左チャネルオーディオ信号を示し、Cはセンタチャネルオーディオ信号を示し、Rは右チャネルオーディオ信号を示す。これにより、入力ステレオオーディオ信号の効率的なセンタチャネル抽出が、直交分解を用いて実現される。得られる左チャネルオーディオ信号および右チャネルオーディオ信号は、互いに直交している。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第17の実装形態では、方法は、ダウンミキサによって、合成された左チャネルオーディオ信号、合成されたセンタチャネルオーディオ信号、および合成された右チャネルオーディオ信号に基づいて、出力左チャネルステレオオーディオ信号および出力右チャネルステレオオーディオ信号を決定するステップを含む。これにより、2チャネルすなわち左右のチャネルの出力ステレオオーディオ信号が効率的に提供される。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第18の実装形態では、振幅の測定値は、信号のパワー、対数パワー、振幅または対数振幅を含む。このように、振幅の測定値は、異なる尺度で異なる値を示すことができる。

このような第2の態様すなわち第2の態様の前述の実装形態のいずれかに係る信号処理方法の第19の実装形態では、方法は、コンバイナによって、所定の入力利得係数で左チャネルオーディオ信号、センタチャネルオーディオ信号、および右チャネルオーディオ信号を所定の入力利得係数で重み付けするステップと、コンバイナによって、所定のスピーチ利得係数で重み付けされた左チャネルオーディオ信号、重み付けされたセンタチャネルオーディオ信号、および重み付けされた右チャネルオーディオ信号を重み付けするステップと、を含む。これにより、非音声成分の振幅に関する音声成分の振幅の効率的な制御が実現される。

第3の態様によれば、本発明は、このような第2の態様すなわちコンピュータ上で実行される場合の第2の態様の実装形態のいずれかに係る方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。したがって、本方法は自動的に実行され得る。

信号処理装置は、コンピュータプログラムおよび／またはプログラムコードを実行するようにプログラム可能に構成され得る。

本発明は、ハードウェアおよび／またはソフトウェアで実施され得る。

本発明の実施形態を、以下の図面に関して説明する。

一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置を示す図である。 一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理方法を示す図である。 一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置を示す図である。 一実施形態に係る、信号処理装置のアップミキサを示す図である。 一実施形態に係る、信号処理装置のフィルタを示す図である。 一実施形態に係る、信号処理装置の音声アクティビティ検出器を示す図である。 一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置を示す図である。

同一または同等の特徴については同じ参照符号が使用されている。

図1は、一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置100の図を示している。マルチチャネルオーディオ信号は、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rを含む。信号処理装置100は、フィルタ101とコンバイナ103とを備える。

フィルタ101は、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rに基づいて、周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定し、センタチャネルオーディオ信号Cの振幅の測定値とマルチチャネルオーディオ信号の全体振幅を表す測定値との比に基づいて利得関数Gを取得し、利得関数Gで左チャネルオーディオ信号Lに重み付けして、重み付けされた左チャネルオーディオ信号L_Eを取得し、利得関数Gでセンタチャネルオーディオ信号Cに重み付けして、重み付けされたセンタチャネルオーディオ信号C_Eを取得し、利得関数Gで右チャネルオーディオ信号Rに重み付けして、重み付けされた右チャネルオーディオ信号R_Eを出力するように構成されている。

コンバイナ103は、左チャネルオーディオ信号Lと重み付けされた左チャネルオーディオ信号L_Eとを合成して、合成された左チャネルオーディオ信号L_EVを取得し、センタチャネルオーディオ信号Cと重み付けされたセンタチャネルオーディオ信号C_Eとを合成して、合成された左チャネルオーディオ信号C_EVを取得し、右チャネルオーディオ信号Rと重み付けされた右チャネルオーディオ信号R_Eとを合成して、合成された右チャネルオーディオ信号R_EVを取得するように構成されている。

マルチチャネルオーディオ信号は、例えば、3チャネルステレオオーディオ信号や5．1マルチチャネルオーディオ信号、または他のマルチチャネル信号を含んでもよく、3チャネルステレオオーディオ信号は、左チャネルオーディオ信号L、右チャネルオーディオ信号、およびセンタチャネルオーディオ信号Cのみを含み、3チャネルステレオオーディオ信号は、LCRステレオまたは3．0ステレオオーディオ信号とも呼ばれ、5．1マルチチャネルオーディオ信号は、左チャネルオーディオ信号L、右チャネルオーディオ信号R、センタチャネルオーディオ信号C、左サラウンドチャネルオーディオ信号L_S、右サラウンドチャネルオーディオ信号R_S、および低音チャネル信号Bを含み、他のマルチチャネル信号は、センタチャネルオーディオ信号および少なくとも2つの他のチャネルオーディオ信号を有する。センタチャネルオーディオ信号C以外のオーディオ信号、例えば、左チャネルオーディオ信号L、右チャネルオーディオ信号R、左サラウンドチャネルオーディオ信号L_S、右サラウンドチャネルオーディオ信号R_Sおよび低音チャネル信号Bは、非センタチャネルオーディオ信号とも呼ばれる。5．1マルチチャネルオーディオ信号の場合、マルチチャネルオーディオ信号の全体振幅を表す測定値は、センタチャネルオーディオ信号の振幅の測定値と、左チャネルオーディオ信号と右チャネルオーディオ信号との差の振幅の測定値と、左サラウンドチャネルオーディオ信号と右サラウンドチャネルオーディオ信号との差の振幅の測定値と、低周波効果チャネルオーディオ信号の振幅の測定値と、の和として取得され得る。5．1マルチチャネルオーディオ信号の場合、得られたフィルタを使用して、構成されたオーディオ信号のすべてを重み付けすることができる。

図2は、一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理方法200の図を示している。マルチチャネルオーディオ信号は、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rを含む。

信号処理方法200は、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rに基づいて、周波数にわたるマルチチャネルオーディオ信号の全体振幅を表す測定値を決定するステップ201と、センタチャネルオーディオ信号Cの振幅の測定値とマルチチャネルオーディオ信号の全体振幅を表す測定値との比に基づいて利得関数Gを取得するステップ203と、利得関数Gで左チャネルオーディオ信号Lに重み付けして、重み付けされた左チャネルオーディオ信号L_Eを取得するステップ205と、利得関数Gでセンタチャネルオーディオ信号Cに重み付けして、重み付けされたセンタチャネルオーディオ信号C_Eを取得するステップ207と、利得関数Gで右チャネルオーディオ信号Rに重み付けして、重み付けされた右チャネルオーディオ信号R_Eを取得するステップ209と、左チャネルオーディオ信号Lを重み付けされた左チャネルオーディオ信号L_Eと合成して、合成された左チャネルオーディオ信号L_EVを取得するステップ211と、センタチャネルオーディオ信号Cを重み付けされたセンタチャネルオーディオ信号C_Eと合成して、合成されたセンタチャネルオーディオ信号C_EVを取得するステップ213と、右チャネルオーディオ信号Rを重み付けされた右チャネルオーディオ信号R_Eと合成して、合成された右チャネルオーディオ信号R_EVを取得するステップ215と、を含む。

信号処理方法200を、信号処理装置100によって、例えば、フィルタ101とコンバイナ103とによって、実行することができる。

以下では、信号処理装置100および信号処理方法200のさらなる実装形態および実施形態について説明する。

本発明は、オーディオ信号処理の分野に関する。信号処理装置100および信号処理方法200を、オーディオ信号内、例えば、ステレオオーディオ信号内の音声強調、例えば、対話強調に適用することができる。特に、信号処理装置100および信号処理方法200を、アップミキサ301と組み合わせて、またはアップミキサ301およびダウンミキサ303と組み合わせて、対話の明瞭性を改善するためにステレオオーディオ信号を処理するのに適用することができる。

テレビ、ラップトップ、タブレットコンピュータ、携帯電話、スマートフォンなどの2つのスピーカを備えたさまざまなデバイスが存在する。このようなデバイスを使用してステレオオーディオ信号を再生する場合、例えば、映画からのサウンドトラックの音声成分は、正常なおよび聴力障害のリスナにとっては理解しにくい場合がある。これは特に、騒がしい環境の場合や、音声成分が非音声成分や音楽またはサウンドエフェクトなどのサウンドと重なっている場合に当てはまる。

本発明の実施形態は、特に、対話の明瞭性を改善するためにステレオオーディオ信号の音声成分を強調することを目的とする。1つの根底にある仮定は、音声または同等のスピーチが、マルチチャネルオーディオ信号においてセンタにパンされることであり、これは一般に、ほとんどのステレオオーディオ信号に当てはまる。目的は、非音声成分は変化させないまま、音声品質に影響を与えることなく音声成分のラウドネスを強調することである。これは特に、音声および非音声成分を同時に有する時間間隔で可能である必要がある。本発明の実施形態は、例えば、ステレオオーディオ信号のみを使用することを可能にし、別個の音声オーディオチャネルまたは元の5．1マルチチャネルオーディオ信号からのさらなる情報を必要とせず、または採用しない。目的は、上述した信号処理装置100または信号処理方法200を使用して、仮想センタチャネルオーディオ信号を抽出し、このセンタチャネルオーディオ信号および他のオーディオ信号を強調することによって達成される。さらに、非音声成分が処理の影響を受け得ないことを確実にするために、音声アクティビティ検出のための手法を採用することができる。本発明の他の実施形態を、5．1マルチチャネルオーディオ信号のような他のマルチチャネルオーディオ信号を処理するために使用することができる。

本発明の実施形態は、ステレオオーディオ信号記録から、センタチャネルオーディオ信号がアップミキシング手法を用いて抽出される、以下の手法に基づいている。このセンタチャネルオーディオ信号を、元の音声成分の推定値を得るために、音声強調および音声アクティビティ検出を使用してさらに処理することができる。手法の特徴は、音声成分がセンタチャネルオーディオ信号から抽出され得るだけでなく、残りのチャネルオーディオ信号からも抽出され得ることであり得る。アップミキシング処理は完全には機能しない可能性があるので、これらの残りのチャネルオーディオ信号は依然として音声成分を含み得る。また、音声成分が抽出されてブーストされると、結果として得られる出力オーディオ信号は、改善された音声品質および広がりを有する。

以下では、2から3のアップミキシングによって2チャネルのステレオオーディオ信号から得られる、マルチチャネルオーディオ信号LCR（センタチャネルオーディオ信号、左チャネルオーディオ信号、および右チャネルオーディオ信号を含む）の音声成分を強調するための本発明の特定の実施形態が、図3から図7に基づいて説明される。

ただし、本発明の実施形態は、そのようなマルチチャネルオーディオ信号に限定されず、例えば、他のデバイスから受信されたLCRの3つのチャネルオーディオ信号の処理、または、センタチャネルオーディオ信号を含む他のマルチチャネル信号、例えば、5．1または7．1マルチチャネル信号の処理を含んでもよい。さらなる実施形態は、音声アクティビティ検出の有無にかかわらず、音声または対話強調を適用する前に、仮想センタチャネルオーディオ信号を得るために、マルチチャネル信号をアップミキシングすることで、例えば、左右オーディオチャネル信号および左右サラウンドチャネル信号を含む4．0マルチチャネル信号である、センタチャネルオーディオ信号を含まないマルチチャネル信号を処理するように構成されてもよい。

図3は、一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置100の図を示している。信号処理装置100は、フィルタ101と、コンバイナ103と、アップミキサ301と、ダウンミキサ303とを備えている。フィルタ101およびコンバイナ103は、左チャネルプロセッサ305と、センタチャネルプロセッサ307と、右チャネルプロセッサ309とを備えている。

アップミキサ301は、入力左チャネルステレオオーディオ信号L_inと入力右チャネルステレオオーディオ信号R_inとに基づいて、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rを決定するように構成されている。つまり、アップミキサ301は、図4に基づいてより詳細に例示的に説明されるように、2から3のアップミックスを提供する。

左チャネルプロセッサ305は、合成された左チャネルオーディオ信号L_EVを提供するために、左チャネルオーディオ信号Lを処理するように構成されている。センタチャネルプロセッサ307は、合成されたセンタチャネルオーディオ信号C_EVを提供するために、センタチャネルオーディオ信号Cを処理するように構成されている。右チャネルプロセッサ309は、合成された右チャネルオーディオ信号R_EVを提供するために、右チャネルオーディオ信号Rを処理するように構成されている。左チャネルプロセッサ305、センタチャネルプロセッサ307、および右チャネルプロセッサ309は、図5に基づいてより詳細に例示的に説明されるように、音声強調ENHを実行するように構成されている。左チャネルプロセッサ305、センタチャネルプロセッサ307、および右チャネルプロセッサ309は、図6に基づいてより詳細に例示的に説明されるように、音声アクティビティ検出VADによって提供される音声アクティビティインジケータを処理するようにさらに構成されてもよい。

ダウンミキサ303は、合成された左チャネルオーディオ信号L_EV、合成されたセンタチャネルオーディオ信号C_EV、および合成された右チャネルオーディオ信号R_EVに基づいて、出力左チャネルステレオオーディオ信号L_outおよび出力右チャネルステレオオーディオ信号R_outを決定するように構成されている。つまり、ダウンミキサ303は、3から2のダウンミックスを提供する。

このように、音声強調オーディオ信号は、ダウンミックスされた2チャネルのステレオ信号L_outおよびR_outが従来の2チャネルステレオ再生装置、例えば、従来のステレオテレビセットに直接出力され得るように処理される。

本発明の一実施形態では、入力左チャネルステレオオーディオ信号L_inおよび入力右チャネルステレオオーディオ信号R_inを含む入力ステレオオーディオ信号からのセンタチャネル抽出のために、アップミキサ301による共通の手法が使用される。この結果、L、C、およびRで示される左、センタ、および右のチャネルオーディオ信号が得られる。本発明の他の実施形態は、アップミキシングのための他の手法を使用することができる。例えば、5．1マルチチャネルオーディオ信号が利用可能であり、構成された左、センタ、および右のチャネルが直接使用される、本発明のさらなる実施形態が考えられる。

左、センタ、および右のチャネルオーディオ信号L、C、およびRは、改善された方法で処理されて、時間および／または周波数に依存する音声強調フィルタ101を推定し、その後、音声強調フィルタ101をマルチチャネルオーディオ信号のすべてのチャネルに適用することができる。このフィルタ101は、音声成分と同時に存在し得る非音声成分を減衰させるように構成されている。他の手法に関する違いは、センタチャネルオーディオ信号だけでなく、他のオーディオ信号、例えば、図3に示すLCRの場合の左チャネルオーディオ信号と右チャネルオーディオ信号が、同じフィルタ101で処理されることである。本発明の実施形態は、音声強調フィルタ101を画定するための改善された手法を使用する。

さらに、マルチチャネルオーディオ信号のすべてのチャネルからの情報を利用する改善された手法を使用して音声アクティビティ検出を実行することができる。音声アクティビティ検出器の出力、例えば、音声アクティビティインジケータを、音声アクティビティを示すことができる軟判定とすることができる。音声強調と音声アクティビティ検出との組合せは、音声成分のみを含む、または少なくともほぼ音声成分のみを含むマルチチャネルオーディオ信号を提供する。この音声成分マルチチャネルオーディオ信号は、合成されたチャネルオーディオ信号L_EV、C_EV、およびR_EVを得るために、コンバイナ103によって元のマルチチャネルオーディオ信号にブーストされ、加えられることができる。ステレオへのダウンミックスを、最終出力チャネルステレオオーディオ信号L_outおよびR_outを提供するために、ダウンミキサ303によって実行することができる。

図4は、一実施形態に係る、信号処理装置100のアップミキサ301の図を示している。アップミキサ301は、入力左チャネルステレオオーディオ信号L_inと入力右チャネルステレオオーディオ信号R_inとに基づいて、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rを決定するように構成されている。アップミキサ301は、2から3のアップミックスを提供する。アップミキサ301は、アップミキシング手法を用いて入力2チャネルステレオオーディオ信号からセンタチャネルオーディオ信号Cの抽出を実行するように構成されている。

例えば、2チャネルの入力ステレオオーディオ信号から仮想センタチャネルオーディオ信号Cを取得する処理は、センタ抽出とも呼ばれる。これは、記録の従来のステレオオーディオ信号のみが利用可能な場合に望ましいことがある。センタ抽出を達成するための異なる手法が存在する。アップミキシング手法の1つのファミリは、マトリクス復号に基づいている。これらのアプローチは、アップミキシングのための線形の信号に依存しない手法である。それらはマトリクスデコーダと連結され、時間領域で動作することができる。一方、幾何学的手法は信号に依存する。これらの手法は、左チャネルオーディオ信号Lと右チャネルオーディオ信号Rとが互いに無相関であるという仮定に頼ることができる。これらの手法は、周波数領域で動作する。

以下では、本発明の任意の実施形態で使用することができるセンタ抽出の一例として、特定の手法を説明する。手法は周波数領域で実行される。これは、例えば、短時間ウィンドウに対して離散フーリエ変換（DFT）アルゴリズムを適用することによって、入力ステレオオーディオ信号が周波数領域に変換されることを意味する。離散フーリエ変換（DFT）のブロックサイズの適切な選択を、48000Hzのサンプリング周波数が使用される場合に、1024とすることができる。

この手法は、左右のチャネルオーディオ信号LおよびRがそれぞれ直交することを前提にしている。この考えは、センタチャネルオーディオ信号Cを
C＝α×（L_in＋R_in） （1）
として得ることであり、ここで、αは決定されるパラメータである。次に、得られたセンタチャネルオーディオ信号Cから左右のチャネルオーディオ信号LおよびRを
L＝L_in−C （2）
R＝R_in−C （3）
として導出することができる。パラメータαを、オーディオ信号の直交性を表す制約
L×R*＝0 （4）
を満たすように最適化することができる。この問題の数学的解を、

の結果により導くことができ、ここで、L_r、L_i、R_rおよびR_iは、それぞれ入力左ステレオオーディオ信号L_inおよび入力右ステレオオーディオ信号R_inのスペクトル成分の実数部および虚数部を示す。パラメータαは、時間依存性および周波数依存性であり、したがって、オーディオ信号サンプルの所与のフレームのすべての周波数ビンについて計算され得る。

センタ抽出のための他の特定の幾何学的手法を適用することができる。他の特定の手法は、例えば、センタ抽出のための主成分分析を使用する。

図5は、一実施形態に係る、信号処理装置100のフィルタ101の図を示している。フィルタ101は、減算器501、決定器503、決定器505、決定器507、重み付け器509、重み付け器511、および重み付け器513を備えている。この図は、音声強調手法を示している。

減算器501は、残差オーディオ信号Sを得るために、左チャネルオーディオ信号Lから右チャネルオーディオ信号Rを減算するように構成されている。

決定器503は、センタチャネルオーディオ信号Cの2乗された振幅またはパワーを決定して、センタチャネルオーディオ信号Cの振幅P_Cの測定値を得るように構成されている。決定器505は、残差オーディオ信号Sの2乗された振幅またはパワーを決定して、残差オーディオ信号Sの振幅P_Sの測定値を得るように構成されている。

決定器507は、センタチャネルオーディオ信号Cの振幅P_Cの測定値と、マルチチャネルオーディオ信号の全体振幅を表す測定値との比を判定して、利得関数Gを得るように構成されている。マルチチャネルオーディオ信号の全体振幅を表す測定値は、センタチャネルオーディオ信号Cの振幅P_Cの測定値と残差オーディオ信号Sの振幅P_Sの測定値の和によって形成される。利得関数Gは、時間依存性および／または周波数依存性であり得る。サンプル時間インデックスはmとして示される。周波数ビンインデックスはkとして示される。

重み付け器509は、利得関数Gによって左チャネルオーディオ信号Lを重み付けして、重み付けされた左チャネルオーディオ信号L_Eを得るように構成されている。重み付け器511は、利得関数Gによってセンタチャネルオーディオ信号Cを重み付けして、重み付けされたセンタチャネルオーディオ信号C_Eを得るように構成されている。重み付け器513は、利得関数Gによって右チャネルオーディオ信号Rを重み付けして、重み付けされた右チャネルオーディオ信号R_Eを得るように構成されている。

本発明の実施形態は、左、センタ、および右のチャネルオーディオ信号L、C、およびRからの情報を使用して、音声強調のためのウィナーフィルタリング手法に従って利得関数Gを推定する。非音声成分を除去するために、マルチチャネルオーディオ信号の全チャネルにウィナーフィルタリング手法を適用することができる。センタチャネルオーディオ信号Cが音声成分を含む場合、ウィナーフィルタリング手法は、（ほぼ）マルチチャネルオーディオ信号の全チャネルの音声成分のみを保持する。

一般に、採用された音声強調手法は、付加雑音に対処することができる。したがって、任意のチャネルの入力信号Yは、Y＝X＋Nとみなすことができ、Xはクリーン音声成分を含み、Nを付加雑音とみなすことができる。XとNは互いに無相関であるものとする。観測されたオーディオ信号YからNを除去するために、付加雑音Nの雑音パワースペクトル密度またはアプリオリ信号対雑音比X／Nを推定することができる。その後、周波数依存の利得関数GすなわちG（m，k）を

として得ることができ、オーディオ信号のすべての周波数ビンを生成する、クリーン音声成分を含むオーディオ信号の推定値を

として決定することができる。

音声強調手法は、センタチャネルオーディオ信号Cが主に音声を含むという仮定を利用する。通常、センタ抽出手法は完全なセンタ抽出を提供しないので、センタチャネルオーディオ信号Cは非音声成分を含むことができ、マルチチャネルオーディオ信号の他のチャネルは音声成分を含んでもよい。したがって、目的は、センタチャネルオーディオ信号Cの非音声成分を除去し、マルチチャネルオーディオ信号の他のチャネルの音声成分を分離することである。この目的を達成するために、利得関数Gを推定するためにウィナーフィルタリング手法を適用することができる。付加雑音Nの雑音パワースペクトル密度を推定するために複雑な手法を使用する代わりに、方程式（7）、（8）、および（9）によって画定されるように、ウィナーフィルタリング手法のためにXおよびNを画定するための単純かつ効率的な手法が使用される。センタチャネルオーディオ信号Cは、Xに対応する音声成分を含むものとみなされ、マルチチャネルオーディオ信号の他のチャネルのコンテンツは、Nに対応する雑音を含むものとみなされる。

一実施形態では、残差オーディオ信号Sは、例えば、S＝L−Rに従って、減算器501によって、左右のチャネルオーディオ信号から得られる。このようにして、センタ成分が残差信号から除去される。決定器503によるセンタチャネルオーディオ信号Cのスペクトルと、決定器505による残差オーディオ信号Sのスペクトルから、

に従って、パワーを決定することができ、ここで、mはサンプル時間インデックスであり、kは周波数ビンインデックスである。別の可能な手法は、パワーの代わりに振幅、または対数振幅もしくはパワーを使用することである。さらなる実施形態では、処理アーチファクトを低減するために、パワーは時間の経過とともに平滑化され得る。

次に、決定器507によって、

に従って、ウィナーフィルタリング手法により利得関数Gを決定する。

利得関数Gは、続いて、重み付け器509〜513によってそれぞれ左、センタ、および右チャネルのオーディオ信号L、C、およびRに適用される。この結果、重み付けされた左チャネルオーディオ信号L_E、重み付けされたセンタチャネルオーディオ信号C_E、および重み付けされた右チャネルオーディオ信号R_Eが得られる。

元のセンタチャネルオーディオ信号Cが音声成分のみを含む場合、強調された重み付けされたオーディオ信号はまた、音声成分のみを含む。

本発明の一実施形態では、異なるマルチチャネルオーディオ信号フォーマットが使用される。例示的な5．1マルチチャネルオーディオ信号の場合、残差オーディオ信号Sを決定するオプションは、
S＝L−R＋L_S−R_S （10）
であり、ここで、Lは左チャネルオーディオ信号を示し、Rは右チャネルオーディオ信号を示し、L_Sは左サラウンドチャネルオーディオ信号を示し、R_Sは右サラウンドチャネルオーディオ信号を示している。別の実施形態では、パワーP_Sを、L−RのパワーとL_S−R_Sのパワーの和として決定することができる。

残差オーディオ信号Sおよび残差オーディオ信号のパワーP_Sを、7．1マルチチャネルオーディオ信号フォーマットのような他のマルチチャネルオーディオ信号フォーマットを使用してそれに応じて決定することができる。

計算の複雑さをさらに低減するために、例えば、メル周波数スケールに従って、オーディオ信号の周波数ビンを周波数帯域にグループ化することができる。この場合、利得関数Gを各周波数ビンについて決定することができる。

さらに、例えば、100Hzから8000Hzの周波数範囲内の、人間の声を含む可能性のある周波数のみを処理することは、非音声成分をフィルタリングするのに役立つ。

音声強調の実施形態は、アップミキシング処理の間にセンタチャネルオーディオ信号Cに漏れる望ましくない非音声成分を除去する。さらに、マルチチャネルオーディオ信号の他のチャネルに漏れる直接成分をブースする。

図6は、一実施形態に係る、信号処理装置100の音声アクティビティ検出器601の図を示している。音声アクティビティ検出器601は、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rに基づいて音声アクティビティインジケータVを決定するように構成され、音声アクティビティインジケータVは、経時的なマルチチャネルオーディオ信号内の音声成分の振幅を示している。音声アクティビティ検出器601は、減算器603、決定器605、決定器607、遅延器609、遅延器611、減算器613、減算器615、決定器617、決定器619、および決定器621を備えている。

減算器603は、残差オーディオ信号Sを得るために、左チャネルオーディオ信号Lから右チャネルオーディオ信号Rを減算するように構成されている。決定器605は、センタチャネルオーディオ信号Cの振幅を決定して、｜C（m，k）｜を得るように構成され、ここで、mはサンプル時間インデックスを示し、kは周波数ビンインデックスを示している。決定器607は、残差オーディオ信号Sの振幅を決定して、｜S（m，k）｜を得るように構成され、ここで、mはサンプル時間インデックスを示し、kは周波数ビンインデックスを示している。遅延器609は、サンプル時間だけ｜C（m，k）｜を遅延させて、｜C（m−1，k）｜を得るように構成されている。遅延器611は、サンプル時間だけ｜S（m，k）｜を遅延させて、｜S（m−1，k）｜を得るように構成されている。減算器613は、｜C（m，k）｜−｜C（m−1、k）｜を得るために、｜C（m，k）｜から｜C（m−1，k）｜を減算するように構成されている。減算器615は、｜S（m，k）｜−｜S（m−1、k）｜を得るために、｜S（m，k）｜から｜S（m−1，k）｜を減算するように構成されている。

決定器617は、センタチャネルオーディオ信号Cのスペクトル変動F_Cの測定値、例えば、スペクトルフラックスを、例えば、｜C（m，k）｜−｜C（m−1，k）｜上のすべての周波数ビンにわたる二乗和Σ²に基づいて決定するように構成されている。決定器619は、左チャネルオーディオ信号Lと右チャネルオーディオ信号Rとの差のスペクトル変動F_Sの測定値、例えば、スペクトルフラックスを、例えば、｜S（m，k）｜−｜S（m−1，k）｜上のすべての周波数ビンにわたる二乗和Σ²に基づいて決定するように構成されている。決定器621は、スペクトル変動F_Cの測定値およびスペクトル変動F_Sの測定値に基づいて、例えば、比率F_C／（F_C＋F_S）に基づいて、音声アクティビティインジケータVを決定するように構成されている。

音声アクティビティ検出は、音声の時間的な検出およびセグメント化のプロセスを含む。音声アクティビティ検出の目的は、無音または他のサウンド中の音声を検出することである。このような手法は、ほぼあらゆる種類の音声技術にとって望ましい。

音声アクティビティ検出のためのさまざまな他の手法を本発明の実施形態に適用することができる。簡単な手法は、例えば、エネルギーに基づくものである。エネルギー閾値処理を使用して音声を検出することができる。典型的には、このような手法は、無音の音声に対してのみ有効である。他の手法は統計的モデルベースの手法を含み、これは、信号対雑音比（SNR）推定に基づいており、統計的音声強調手法に類似している。パラメトリックモデルベースの手法では、通常、低レベルのオーディオ特徴をガウス混合モデルなどの分類子と結合する。可能なオーディオ特徴は、4Hzの変調エネルギー、ゼロ交差率、スペクトル重心、またはスペクトルフラックスである。

本発明の一実施形態では、音声アクティビティ検出を使用して、音声または対話成分のみがブーストされ、非音声成分が変更されないことを確実にする。音声強調手法の概要を図6に示す。

音声強調手法で実行され得るように、音声アクティビティインジケータVは、センタチャネルオーディオ信号Cおよび残差オーディオ信号S＝L−Rから導出される。これらのオーディオ信号から、スペクトルフラックスが抽出される。スペクトルフラックスは、スペクトルの時間的変化の測定値である。DFTまたは周波数領域信号Xのスペクトルフラックスを、以下のように定義することができる。

スペクトルフラックスの他の類似の定義もまた、本発明のさらなる実施形態において採用することができる。スペクトルフラックスは、スペクトルエネルギー分布の変化を示し、経時的な時間微分を表す。2つの連続するオーディオ信号フレームにわたって差が決定される式（11）の定義の代わりに、スペクトルフラックスが、複数のオーディオ信号フレームを含む2つの連続するブロックにわたる差として決定されてもよい。音声成分を有するオーディオ信号については、音楽および他のサウンドに比べてより高い値のスペクトルフラックスが期待される。

本発明の一実施形態では、例えば、マルチチャネルオーディオ信号の1つのチャネルが主に音声を含むような、特定のチャネル設定が、周波数に依存しない連続的な音声アクティビティインジケータVを導出するために利用される。そして、式（11）に従って、センタチャネルオーディオ信号CのスペクトルフラックスF_Cと残差オーディオ信号SのスペクトルフラックスF_Sとを決定することができる。

任意の正規化プロセスとは関係のない音声アクティビティインジケータVを得るために、音声アクティビティインジケータVは、例えば、以下のように計算され得る。

音声アクティビティインジケータVのこの定義は、F_C＝F_Sの場合にV＝0を確実にする。最後に、VはV∈［0；1］に制限される。パラメータaは、Vのダイナミックレンジを制御する所定のスケーリング係数を示し、ここで、以下のようにa＝4を許容可能な値とすることができる。

さらに、F_Cがある閾値tを超えない場合、音声アクティビティインジケータVをV＝0に設定することができる。滑らかな音声アクティビティインジケータの曲線を経時的に得るために、時間平滑化をVに適用することができる。

音声強調手法と同様に、音声アクティビティ検出手法を、例えば、メル周波数スケールに従って、周波数ビンが周波数帯域にグループ化されたときに実行することもできる。さらに、考慮される周波数を人間の声の周波数範囲、例えば100〜8000Hzの範囲に限定することで、さらに性能が向上する。

音声アクティビティ検出手法の結果は、単純で効率的なアルゴリズムを使用して得られる、周波数に依存しない連続的な決定である。例えばモデルを学習するために、調整可能なパラメータはわずかしか使用され得ず、それ以上のデータは使用され得ない。この手法により、音声と音楽などの他のサウンドとを確実に区別することができる。

図7は、一実施形態に係る、マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置100の図を示している。この図は、ミキシング処理を示している。信号処理装置100は、図1に関連して説明した信号処理装置の可能な実装形態を形成している。信号処理装置100は、フィルタ101と、コンバイナ103と、音声アクティビティ検出器601とを備えている。

フィルタ101は、図5のフィルタ101に関連して説明した機能を提供する。音声アクティビティ検出器601は、図6の音声アクティビティ検出器601と関連して説明した機能を提供する。

一実施形態では、コンバイナ103は、左チャネルオーディオ信号Lと重み付けされた左チャネルオーディオ信号L_Eとを合成して、合成された左チャネルオーディオ信号L_EVを取得し、センタチャネルオーディオ信号Cと重み付けされたセンタチャネルオーディオ信号C_Eとを合成して、合成されたセンタチャネルオーディオ信号C_EVを取得し、右チャネルオーディオ信号Rと重み付けされた右チャネルオーディオ信号R_Eとを合成して、合成された右チャネルオーディオ信号R_EVを取得する。コンバイナは、加算器701、加算器703、加算器705、重み付け器707、重み付け器709、重み付け器711、および重み付け器713を備えている。

一実施形態では、重み付け器713は、所定のスピーチ利得係数G_Sで音声アクティビティインジケータV（m）を重み付けして、重み付けされた音声アクティビティインジケータV_G＝G_SV（m）を得るように構成され、ここで、mはサンプル時間インデックスを示している。コンバイナは、図示されていない別の重み付け器を備えることができ、この重み付け器は、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rに所定の入力利得係数G_inで重み付けするように構成されている。

重み付け器707は、重み付けされた左チャネルオーディオ信号L_Eを重み付けされた音声アクティビティインジケータV_G＝G_SV（m）で重み付けするように構成され、加算器701は、左チャネルオーディオ信号Lに結果を加算して、合成された左チャネルオーディオ信号L_EVを得るように構成されている。重み付け器709は、重み付けされたセンタチャネルオーディオ信号C_Eを重み付けされた音声アクティビティインジケータV_G＝G_SV（m）で重み付けするように構成され、加算器703は、センタチャネルオーディオ信号Cに結果を加算して、合成されたセンタチャネルオーディオ信号C_EVを得るように構成されている。重み付け器711は、重み付けされた右チャネルオーディオ信号R_Eを重み付けされた音声アクティビティインジケータV_G＝G_SV（m）で重み付けするように構成され、加算器705は、右チャネルオーディオ信号Rに結果を加算して、合成された右チャネルオーディオ信号R_EVを得るように構成されている。

一実施形態では、重み付け器713は、重み付けされた左チャネルオーディオ信号L_E、重み付けされたセンタチャネルオーディオ信号C_E、および重み付けされた右チャネルオーディオ信号R_Eに所定のスピーチ利得係数G_Sで重み付けするように構成されている。コンバイナ103は、図示されていない別の重み付け器を備えることができ、この重み付け器は、左チャネルオーディオ信号L、センタチャネルオーディオ信号C、および右チャネルオーディオ信号Rに所定の入力利得係数G_inで重み付けするように構成されている。

音声アクティビティ検出器601を使用しない場合にも、所定のスピーチ利得係数G_Sを適用することができる。簡略化のために、重み付け器713は、図において単一の重み付け器713として示されている。可能な実装形態では、重み付け器713は、特に重み付け器709と加算器703との間、重み付け器707と加算器701との間、および重み付け器711と加算器705との間で、3回使用される。音声アクティビティ検出器601が使用されない場合、V＝1と仮定することができ、G_Sを使用してVを修正することができる。

したがって、音声強調および音声アクティビティ検出の結果を、クリーン音声オーディオ信号の推定値を得るために合成することができる。上述したように、音声強調および音声アクティビティ検出を並行して実行することができる。音声アクティビティインジケータVを、スピーチ利得係数G_Sを用いて重み付け器713によって重み付けまたは乗算することができ、V_G＝VG_Sを用いて音声ブーストを制御することができる。V_Gを、重み付けされたオーディオ信号L_E，C_E，R_Eを用いて乗法的に重み付け器707，709，711により合成することができ、加算器701，703，705によって得られたオーディオ信号を元のオーディオ信号L，C，Rに加算して、信号処理装置100の最終的な合成されたオーディオ信号L_EV、C_EV、R_EVを、以下の式：
C_EV（m，k）＝G_in×C＋G_S×V（m）×G（m，k）×C（m，k） （14）
L_EV（m，k）＝G_in×L＋G_S×V（m）×G（m，k）×L（m，k） （15）
R_EV（m，k）＝G_in×R＋G_S×V（m）×G（m，k）×R（m，k） （16）
に従って得ることができ、ここで、G_inは元のオーディオ信号に適用される入力利得係数である。この係数は、マルチチャネルオーディオ信号で構成される非音声成分の利得を制御する。G_inおよびG_Sの特定の組み合わせ、例えば、G_in＝1およびG_S＝−1を使用して、マルチチャネルオーディオ信号から音声成分を除去することができる。音声成分をブーストするための適切な設定をG_in＝1とすることができるが、G_Sは1から4の範囲であってもよい。最終的に合成されたオーディオ信号L_EV，C_EV，R_EVを、時間領域に変換することができ、ステレオダウンミックスを生成するために使用することができる。

結果として、音声または対話強調の問題に対する計算上安価でありながら効率的な解決法が提供される。すべての成分は、DFT周波数領域で動作できる。例えば、5．1チャネルサラウンドオーディオ信号内の、センタチャネルオーディオ信号Cがブーストされ、センタチャネルオーディオ信号C内のすべてのサウンドが強調される、簡単な手法と比較して、本発明の実施形態では、例えば、音声アクティビティの検出に起因して、センタチャネルオーディオ信号C内の音声成分のみがブーストされる。さらに、本発明の実施形態はまた、音声および非音声成分を同時に処理し、例えば、音声強調手法のために、音声成分のみがブーストされる。

センタチャネルオーディオ信号Cだけでなく、他のオーディオ信号（例えば、LおよびR）が音声強調および音声アクティビティ検出を用いて処理されるという事実により、最終的なオーディオ信号が高品質の空間的に広がりのある音声成分を含むことが確実になる。これは、センタチャネルオーディオ信号Cのみが処理される場合には当てはまらない。本発明の実施形態は、5．1サラウンドオーディオ信号のような特定のコーデック、ミックス、またはマルチチャネルオーディオ信号フォーマットとは無関係であり、異なるチャネル設定に拡張され得る。

本発明の実施形態、特に信号処理装置は、本明細書に記載の装置および方法、例えば、図1〜図7に基づいて本明細書に記載のフィルタ101、コンバイナ103、および／または他のユニットまたはステップの、さまざまな機能を実装するように構成された単一または複数のプロセッサを備えることができる。

本発明の方法の特定の実施要件に応じて、本発明の方法を、ハードウェア、ソフトウェア、またはそれらの任意の組合せで実施することができる。

デジタル記憶媒体、特にフロッピディスク、CD、DVDもしくはブルーレイディスク、ROM、PROM、EPROM、EEPROM、または電子的に読み取り可能な制御信号が記憶されたフラッシュメモリを使用して実装を行うことができ、このデジタル記憶媒体は、本発明の方法の少なくとも1つの実施形態が実行されるようにプログラマブルコンピュータシステムと協働するか、または協働する能力がある。

したがって、本発明のさらなる実施形態は、機械読み取り可能なキャリアに格納されたプログラムコードを有するコンピュータプログラム製品であるか、またはそれを含み、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに、本発明の方法のうちの少なくとも1つを実行するように動作する。

つまり、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上、プロセッサ上などで動作するときに、本発明の方法のうちの少なくとも1つを実行するためのプログラムコードを有するコンピュータプログラムであるか、またはそれを含む。

したがって、本発明のさらなる実施形態は、コンピュータプログラム製品がコンピュータ上、プロセッサ上などで動作するときに、本発明の方法のうちの少なくとも1つを実行するように動作するコンピュータプログラムが格納される、機械読み取り可能なデジタル記憶媒体であるか、またはそれを含む。

したがって、本発明のさらなる実施形態は、コンピュータプログラム製品がコンピュータ上、プロセッサ上などで動作するときに、本発明の方法のうちの少なくとも1つを実行するように動作するコンピュータプログラムを表す、データストリームもしくは一連の信号であるか、またはそれらを含む。

したがって、本発明のさらなる実施形態は、本発明の方法のうちの少なくとも1つを実行するように適合されたコンピュータ、プロセッサ、または任意の他のプログラマブルロジックデバイスであるか、またはそれを含む。

したがって、本発明のさらなる実施形態は、コンピュータプログラム製品が、コンピュータ、プロセッサ、または任意の他のプログラマブルロジックデバイス、例えば、FPGA（フィールドプログラマブルゲートアレイ）またはASIC（特定用途向け集積回路）上で動作するときに、本発明の方法のうちの少なくとも1つを実行するように動作するコンピュータプログラムを格納した、コンピュータ、プロセッサ、または任意の他のプログラマブルロジックデバイスであるか、またはそれを含む。

以上、本発明の特定の実施形態を参照して特に図示し説明したが、当業者であれば、本発明の趣旨および範囲から逸脱することなく、形態および詳細におけるさまざまな他の変更を行うことができることを理解されたい。したがって、本明細書に開示され、以下の特許請求の範囲によって理解される広範な概念から逸脱することなく、異なる実施形態に適合するためにさまざまな変更を行うことができることを理解されたい。

100 信号処理装置
101 音声強調フィルタ
103 コンバイナ
200 信号処理方法
301 アップミキサ
303 ダウンミキサ
305 左チャネルプロセッサ
307 センタチャネルプロセッサ
309 右チャネルプロセッサ
501,603,613,615 減算器
503,505,507,605,607,617,619,621 決定器
509,511,513,707,709,711,713 重み付け器
601 音声アクティビティ検出器
609,611 遅延器
701,703,705 加算器

Claims (15)

1. マルチチャネルオーディオ信号内の音声成分を強調するための信号処理装置（100）であって、前記マルチチャネルオーディオ信号は、左チャネルオーディオ信号（L）、センタチャネルオーディオ信号（C）、および右チャネルオーディオ信号（R）を含み、前記信号処理装置（100）は、フィルタ（101）およびコンバイナ（103）を含み、
   前記フィルタ（101）が、
   前記左チャネルオーディオ信号（L）、前記センタチャネルオーディオ信号（C）、および前記右チャネルオーディオ信号（R）に基づいて、周波数にわたる前記マルチチャネルオーディオ信号の全体振幅を表す測定値を決定し、
   前記センタチャネルオーディオ信号（C）の振幅の測定値と前記マルチチャネルオーディオ信号の前記全体振幅を表す前記測定値との比に基づいて利得関数（G）を取得し、
   前記利得関数（G）で前記左チャネルオーディオ信号（L）に重み付けして、重み付けされた左チャネルオーディオ信号（L_E）を取得し、前記利得関数（G）で前記センタチャネルオーディオ信号（C）に重み付けして、重み付けされたセンタチャネルオーディオ信号（C_E）を取得し、前記利得関数（G）で前記右チャネルオーディオ信号（R）に重み付けして、重み付けされた右チャネルオーディオ信号（R_E）を取得するように構成され、
   前記コンバイナ（103）が、
   前記左チャネルオーディオ信号（L）を前記重み付けされた左チャネルオーディオ信号（L_E）と合成して、合成された左チャネルオーディオ信号（L_EV）を取得し、前記センタチャネルオーディオ信号（C）を前記重み付けされたセンタチャネルオーディオ信号（C_E）と合成して、合成されたセンタチャネルオーディオ信号（C_EV）を取得し、前記右チャネルオーディオ信号（R）を前記重み付けされた右チャネルオーディオ信号（R_E）と合成して、合成された右チャネルオーディオ信号（R_EV）を取得するように構成されている、
   信号処理装置（100）。
2. 前記フィルタ（101）が、前記マルチチャネルオーディオ信号の前記全体振幅を表す前記測定値を、前記センタチャネルオーディオ信号（C）の振幅の前記測定値、および前記左チャネルオーディオ信号（L）と前記右チャネルオーディオ信号（R）との差の振幅の測定値の和として決定するように構成されている、請求項1に記載の信号処理装置（100）。
3. 前記フィルタ（101）が、以下の式：
   に従って前記利得関数（G）を決定するように構成され、
   Gは前記利得関数を示し、Lは前記左チャネルオーディオ信号を示し、Cは前記センタチャネルオーディオ信号を示し、Rは前記右チャネルオーディオ信号を示し、P_Cは前記センタチャネルオーディオ信号（C）の振幅を表す前記測定値として前記センタチャネルオーディオ信号（C）のパワーを示し、P_Sは前記左チャネルオーディオ信号（L）と前記右チャネルオーディオ信号（R）との差のパワーを示し、P_CとP_Sの和は前記マルチチャネルオーディオ信号の前記全体振幅を表す前記測定値を示し、mはサンプル時間インデックスを示し、kは周波数ビンインデックスを示す、
   請求項1または2に記載の信号処理装置（100）。
4. 前記マルチチャネルオーディオ信号が、左サラウンドチャネルオーディオ信号（LS）および右サラウンドチャネルオーディオ信号（RS）をさらに含み、
   前記フィルタ（101）が、
   前記左サラウンドチャネルオーディオ信号（LS）および前記右サラウンドチャネルオーディオ信号（RS）に基づいて追加的に、周波数にわたる前記マルチチャネルオーディオ信号の前記全体振幅を表す前記測定値を決定し、
   前記センタチャネルオーディオ信号（C）の振幅の前記測定値、前記左チャネルオーディオ信号（L）と前記右チャネルオーディオ信号（R）との差の振幅の測定値、および前記左サラウンドチャネルオーディオ信号（LS）と前記右サラウンドチャネルオーディオ信号（RS）との差の振幅の測定値の和として、前記マルチチャネルオーディオ信号の前記全体振幅を表す前記測定値を決定する
   ように構成されている、請求項1から3のいずれか一項に記載の信号処理装置（100）。
5. 前記左チャネルオーディオ信号（L）、前記センタチャネルオーディオ信号（C）、および前記右チャネルオーディオ信号（R）に基づいて音声アクティビティインジケータ（V）を決定するように構成された音声アクティビティ検出器（601）をさらに備えた信号処理装置（100）であって、前記音声アクティビティインジケータ（V）は前記マルチチャネルオーディオ信号内の前記音声成分の振幅を経時的に示し、
   前記コンバイナ（103）が、前記重み付けされた左チャネルオーディオ信号（L_E）を前記音声アクティビティインジケータ（V）と合成して、前記合成された左チャネルオーディオ信号（L_EV）を取得し、前記重み付けされたセンタチャネルオーディオ信号（C_E）を前記音声アクティビティインジケータ（V）と合成して、前記合成されたセンタチャネルオーディオ信号（C_EV）を取得し、前記重み付けされた右チャネルオーディオ信号（R_E）を前記音声アクティビティインジケータ（V）と合成して、前記合成された右チャネルオーディオ信号（R_EV）を取得するように、さらに構成されている、
   請求項1から4のいずれか一項に記載の信号処理装置（100）。
6. 前記音声アクティビティ検出器（601）が、
   前記左チャネルオーディオ信号（L）、前記センタチャネルオーディオ信号（C）、および前記右チャネルオーディオ信号（R）に基づいて前記マルチチャネルオーディオ信号の全体のスペクトル変動を表す測定値を決定し、
   前記センタチャネルオーディオ信号（C）のスペクトル変動（F_c）の測定値と前記マルチチャネルオーディオ信号の前記全体のスペクトル変動を表す前記測定値との比に基づいて、前記音声アクティビティインジケータ（V）を取得する
   ように構成されている、請求項5に記載の信号処理装置（100）。
7. 前記音声アクティビティ検出器（601）が、以下の式：
   に従って前記音声アクティビティインジケータ（V）を決定するように構成され、
   Vは前記音声アクティビティインジケータを示し、F_Cは前記センタチャネルオーディオ信号（C）の前記スペクトル変動の測定値を示し、F_Sは前記左チャネルオーディオ信号（L）と前記右チャネルオーディオ信号（R）との差のスペクトル変動の測定値を示し、F_CとF_Sとの和は前記マルチチャネルオーディオ信号の前記全体のスペクトル変動を表す前記測定値を示し、aは所定のスケーリング係数を示す、
   請求項6に記載の信号処理装置（100）。
8. 前記音声アクティビティ検出器（601）が、以下の式：
   に従って、前記センタチャネルオーディオ信号（C）の前記スペクトル変動の測定値（F_c）をスペクトルフラックスとして、および前記左チャネルオーディオ信号（L）と前記右チャネルオーディオ信号（R）との前記差の前記スペクトル変動の測定値（F_S）をスペクトルフラックスとして決定するように構成され、
   F_Cは前記センタチャネルオーディオ信号（C）のスペクトルフラックスを示し、F_Sは前記左チャネルオーディオ信号（L）と前記右チャネルオーディオ信号（R）との前記差のスペクトルフラックスを示し、Cは前記センタチャネルオーディオ信号を示し、Sは前記左チャネルオーディオ信号（L）と前記右チャネルオーディオ信号（R）との前記差を示し、mはサンプル時間インデックスを示し、kは周波数ビンインデックスを示す、
   請求項7に記載の信号処理装置（100）。
9. 前記音声アクティビティ検出器（601）が、所定のローパスフィルタ機能に基づいて前記音声アクティビティインジケータ（V）を時間内にフィルタリングするように構成されている、請求項5から8のいずれか一項に記載の信号処理装置（100）。
10. 前記コンバイナ（103）が、前記左チャネルオーディオ信号（L）、前記センタチャネルオーディオ信号（C）、および前記右チャネルオーディオ信号（R）を所定の入力利得係数（G_in）で重み付けし、前記音声アクティビティインジケータ（V）を所定のスピーチ利得係数（G_S）で重み付けするようにさらに構成されている、請求項5から9のいずれか一項に記載の信号処理装置（100）。
11. 前記コンバイナ（103）が、前記重み付けされた左チャネルオーディオ信号（L_E）と前記音声アクティビティインジケータ（V）との前記合成に前記左チャネルオーディオ信号（L）を加えて、前記合成された左チャネルオーディオ信号（L_EV）を取得し、前記重み付けされた左チャネルオーディオ信号（L_E）と前記音声アクティビティインジケータ（V）との前記合成に前記センタチャネルオーディオ信号（C）を加えて、前記合成されたセンタチャネルオーディオ信号（C_EV）を取得し、前記重み付けされた左チャネルオーディオ信号（L_E）と前記音声アクティビティインジケータ（V）との前記合成に前記右チャネルオーディオ信号（R）を加えて、前記合成された右チャネルオーディオ信号（R_EV）を取得するように構成されている、請求項5から10のいずれか一項に記載の信号処理装置（100）。
12. 前記左チャネルオーディオ信号（L）、前記センタチャネルオーディオ信号（C）、および前記右チャネルオーディオ信号（R）を、入力左チャネルステレオオーディオ信号（L_in）および入力右チャネルステレオオーディオ信号（R_in）に基づいて決定するように構成されたアップミキサ（301）、および／または、
    前記合成された左チャネルオーディオ信号（L_EV）、前記合成されたセンタチャネルオーディオ信号（C_EV）、および前記合成された右チャネルオーディオ信号（R_EV）に基づいて、出力左チャネルステレオオーディオ信号（L_out）および出力右チャネルステレオオーディオ信号（R_out）を決定するように構成されたダウンミキサ（303）
    をさらに備えた、請求項1から11のいずれか一項に記載の信号処理装置（100）。
13. 前記振幅の測定値が、信号のパワー、対数パワー、振幅または対数振幅を含む、請求項1から12のいずれか一項に記載の信号処理装置（100）。
14. マルチチャネルオーディオ信号内の音声成分を強調するための信号処理方法（200）であって、前記マルチチャネルオーディオ信号は、左チャネルオーディオ信号（L）、センタチャネルオーディオ信号（C）、および右チャネルオーディオ信号（R）を含み、前記信号処理方法（200）が、
    前記左チャネルオーディオ信号（L）、前記センタチャネルオーディオ信号（C）、および前記右チャネルオーディオ信号（R）に基づいて、周波数にわたる前記マルチチャネルオーディオ信号の全体振幅を表す測定値を決定するステップ（201）と、
    前記センタチャネルオーディオ信号（C）の振幅の測定値と前記マルチチャネルオーディオ信号の前記全体振幅を表す前記測定値との比に基づいて利得関数（G）を取得するステップ（203）と、
    前記利得関数（G）で前記左チャネルオーディオ信号（L）に重み付けして、重み付けされた左チャネルオーディオ信号（L_E）を取得するステップ（205）と、
    前記利得関数（G）で前記センタチャネルオーディオ信号（C）に重み付けして、重み付けされたセンタチャネルオーディオ信号（C_E）を取得するステップ（207）と、
    前記利得関数（G）で前記右チャネルオーディオ信号（R）に重み付けして、重み付けされた右チャネルオーディオ信号（R_E）を取得するステップ（209）と、
    前記左チャネルオーディオ信号（L）を前記重み付けされた左チャネルオーディオ信号（L_E）と合成して、合成された左チャネルオーディオ信号（L_EV）を取得するステップ（211）と、
    前記センタチャネルオーディオ信号（C）を前記重み付けされたセンタチャネルオーディオ信号（C_E）と合成して、合成されたセンタチャネルオーディオ信号（C_EV）を取得するステップ（213）と、
    前記右チャネルオーディオ信号（R）を前記重み付けされた右チャネルオーディオ信号（R_E）と合成して、合成された右チャネルオーディオ信号（R_EV）を取得するステップ（215）と
    を含む、信号処理方法（200）。
15. コンピュータ上で実行される場合に請求項14に記載の方法（200）を実行するためのプログラムコードを含むコンピュータプログラム。