JP2019204081A - ドライ音と環境音の分離 - Google Patents

Abstract

【課題】ドライ音と環境音の分離の提供。【解決手段】本発明は、音声入力信号をドライ信号成分と環境信号成分とに分離する方法に関し、方法は、音声入力信号を周波数空間に変換することを含む、変換入力信号を生成することと、推定環境信号成分を生成するために、変換入力信号に平滑化フィルタを適用することと、推定環境信号成分に基づいて、ドライ信号成分を特定することと、特定したドライ信号成分及び音声入力信号に基づいて、環境信号成分を特定することとを含む。【選択図】図２

Description

本開示は、音声入力信号を、ドライ信号成分と環境信号成分とに分離する方法、及び方法を実行するのに使用される対応音声モジュールに関する。さらに、コンピュータプログラム、及びコンピュータプログラムを含むキャリアが提供される。

異なるソースから再生される音声信号は、ドライ信号成分と、音声信号を録音した部屋とドライ信号成分が相互に作用した時に生成された間接信号成分を含む環境信号成分とを含む。オーディオ業界では、主にドライ信号成分を必要とする、または環境信号成分のみを必要とするアプリケーションが知られている。例として、５．１システムで出力されるべきステレオ入力信号において、ドライ信号成分は実質的に前方スピーカで出力され、環境信号成分は後方スピーカで出力されることが望ましい。別のアプリケーションは、音声信号内の環境信号成分を増幅する。

従って、ドライ信号成分と環境信号成分の両成分を含む音声入力信号において、ドライ信号成分または環境信号成分を効果的に特定できる必要がある。

この要望は、独立した特許請求の範囲の特徴により満たされる。さらなる態様が、従属した特許請求の範囲に記載される。

第１の態様によれば、音声入力信号をドライ信号成分と環境信号成分とに分離する方法が提供され、この方法では変換入力信号が生成され、これは音声入力信号を周波数空間に変換することを含む。推定環境信号成分を生成するために、周波数空間において変換入力信号に平滑化フィルタが適用される。推定環境信号成分に基づいて、ドライ信号成分が特定され、次いで特定されたドライ信号成分及び音声入力信号に基づいて、環境信号成分が特定される。

環境信号成分に起因する音声入力信号の振幅変化の速度は遅いため、平滑化フィルタを用いて環境信号成分を抽出することが可能である。平滑化フィルタを適用すると、ドライ信号成分を抑制することができ、推定環境信号成分が生成され得る。推定環境信号成分に基づいてドライ信号成分を特定することが可能であり、次いで特定されたドライ信号成分及び音声入力信号を用いて、例えば特定されたドライ信号成分を音声入力から減算すると、環境信号成分が特定され得る。この減算は周波数空間で実行されてもよいが、この特定は時間領域で行うことが可能であることを理解されたい。

さらに、音声入力信号をドライ信号成分と環境信号成分とに分離するように構成された音声モジュールが提供され、音声モジュールは、メモリと、少なくとも１つの処理装置とを備え、メモリは、少なくとも１つの処理装置により実行可能な命令を含む。次いで音声モジュールは、上記で述べられたステップ、または下記でさらに詳しく論述されるステップを実行するように動作可能である。

さらに、プログラムコードを含むコンピュータプログラムが提供され、プログラムコードの実行に起因して、少なくとも１つの処理装置は、上記で論述されるまたは下記でさらに詳しく説明される方法を実行する。

コンピュータプログラムを含むキャリアが提供され、キャリアは、電子信号、光信号、無線信号、またはコンピュータ可読記憶媒体のうちの１つである。

上記で述べられた特徴、及び下記でこれから説明される特徴は、示されるそれぞれの組み合わせだけでなく、他の組み合わせまたは単独で、本発明の範囲から逸脱することなく使用できることを理解されたい。下記に説明される態様及び実施形態で述べられる上記及び下記の特徴は、別段の明記がない限り、他の実施形態において互いに組み合わせることができる。
例えば、本願は以下の項目を提供する。
（項目１）
音声入力信号（１０）をドライ信号成分（１１）と環境信号成分（１２）とに分離する方法であって、
上記音声入力信号を周波数空間に変換することを含む、変換入力信号を生成することと、
推定環境信号成分を生成するために、上記変換入力信号に平滑化フィルタ（１３０）を適用することと、
上記推定環境信号成分に基づいて、上記ドライ信号成分（１１）を特定することと、
上記特定したドライ信号成分（１１）及び上記音声入力信号（１０）に基づいて、上記環境信号成分（１２）を特定することと
を含む、上記方法。
（項目２）
上記音声入力信号（１０）は、上記環境信号成分（１２）及び上記ドライ信号成分（１１）が存在する複合信号期間（１５）と、実質的に上記環境信号のみが存在する、上記複合信号期間（１５）に続くリバーブ信号期間（１６）とを含み、
上記方法は、
上記音声入力信号内に上記リバーブ信号期間（１６）を検出することと、
上記リバーブ信号期間の上記推定環境信号成分内において、推定リバーブ信号成分を特定することと、
上記推定環境信号成分を生成するための上記平滑化フィルタにおいて使用される平滑化係数を決定するために、上記推定リバーブ信号成分を、上記リバーブ信号期間の上記音声入力信号と比較することと
を含む、上記項目に記載の方法。
（項目３）
上記平滑化フィルタ（１３０）は一次再帰フィルタを含む、上記項目のいずれか一項に記載の方法。
（項目４）
上記変換入力信号の振幅を特定することと、
上記平滑化フィルタ（１３０）を適用する前に、上記変換入力信号の上記特定された振幅を減衰させることと、
をさらに含む、上記項目のいずれか一項に記載の方法。
（項目５）
上記環境信号成分（１２）対上記音声入力信号（１０）の比が特定され、
上記特定された振幅は、上記特定された比に基づいて減衰される、上記項目のいずれか一項に記載の方法。
（項目６）
相当量の上記ドライ信号成分（１１）が上記音声入力信号（１０）内に存在し始めるオンセット（１７）を、上記音声入力信号（１０）内で特定するステップと、
上記相当量の上記ドライ信号成分（１１）が上記音声入力信号内に存在しなくなるオフセット（１８）を、上記音声入力信号内で特定するステップと
を含む、上記項目のいずれか一項に記載の方法。
（項目７）
相当量の上記ドライ信号成分（１１）が上記音声入力信号（１０）内に存在し始めるオンセット（１７）を、上記音声入力信号（１０）内で特定するステップと、
上記相当量の上記ドライ信号成分（１１）が上記音声入力信号内に存在しなくなるオフセット（１８）を、上記音声入力信号内で特定するステップと
を含み、
上記オフセット（１８）後に開始し、上記平滑化フィルタの出力が所定の基準を満たす時に終了する上記リバーブ信号期間（１６）が特定され、
上記推定リバーブ信号成分を上記リバーブ信号期間の上記音声入力信号と比較することは、上記特定されたオフセット（１８）後の上記音声入力信号の一部において実行される、上記項目のいずれか一項に記載の方法。
（項目８）
相当量の上記ドライ信号成分（１１）が上記音声入力信号（１０）内に存在し始めるオンセット（１７）を、上記音声入力信号（１０）内で特定するステップと、
上記相当量の上記ドライ信号成分（１１）が上記音声入力信号内に存在しなくなるオフセット（１８）を、上記音声入力信号内で特定するステップと
を含み、
上記環境信号成分（１２）対上記音声入力信号（１０）の上記比を特定することは、
上記オフセット前の上記音声入力信号の最後のサンプルにおける上記音声入力信号（１０）の振幅を特定することと、
上記オフセット後の上記音声入力信号の最初のサンプルにおける上記音声入力信号（１０）の振幅を特定することと、
上記最後のサンプルにおける上記振幅と、上記最初のサンプルにおける上記振幅を考慮して、上記比を特定することと
を含む、上記項目のいずれか一項に記載の方法。
（項目９）
上記変換入力信号の上記振幅を減衰させるために使用される平均比を決定するために、
上記最後のサンプル及び上記最初のサンプルを考慮して上記比を特定する上記ステップが、上記音声入力信号内の異なるオフセットに対し数回繰り返され、
上記異なるオフセットに対して上記ドライ信号成分の長さが特定され、
上記特定されたドライ信号成分の上記長さが長いほど、上記対応する比が上記平均比に大きく寄与する、上記項目のいずれか一項に記載の方法。
（項目１０）
上記音声入力信号（１０）内に上記リバーブ信号期間（１６）が現在存在するか否かが特定され、存在する場合は、上記推定環境信号成分に上記リバーブ信号期間の上記音声入力が使用され、存在しない場合は、上記推定環境信号成分に上記平滑化フィルタの出力が使用される、上記項目のいずれか一項に記載の方法。
（項目１１）
上記変換入力信号の上記減衰された振幅から、変動を抽出することと、
上記推定環境信号成分を特定するために、上記平滑化フィルタの出力に、上記抽出した変動を加えることと、
をさらに含む、上記項目のいずれか一項に記載の方法。
（項目１２）
上記方法は、上記変換入力信号から、指数関数的に減少するピーク後続信号を特定することであって、上記ピーク後続信号はその後１未満の係数で減衰される、上記特定することをさらに含み、
上記減衰されたピーク後続信号と上記音声入力信号が交差する時、上記入力信号が減少する点で上記オフセット（１８）が検出される、上記項目のいずれか一項に記載の方法。
（項目１３）
上記推定リバーブ信号成分が上記リバーブ信号期間の上記音声入力信号に対応するように、上記平滑化係数は決定される、上記項目のいずれか一項に記載の方法。
（項目１４）
上記ドライ信号成分を特定するために、上記平滑化フィルタの出力から生成された上記推定環境信号成分は、上記音声入力信号から減算される、上記項目のいずれか一項に記載の方法。
（項目１５）
音声入力信号をドライ信号成分と環境信号成分とに分離するように構成された音声モジュール（１００）であって、上記音声モジュールは、メモリと、少なくとも１つの処理装置とを備え、上記メモリは、上記少なくとも１つの処理装置により実行可能な命令を含み、上記音声モジュールは、
上記音声入力信号を周波数空間に変換することを含む、変換入力信号を生成することと、
推定環境信号成分を生成するために、上記変換入力信号に平滑化フィルタを適用することと、
上記推定環境信号成分に基づいて、上記ドライ信号成分を特定することと、
上記特定したドライ信号成分及び上記音声入力信号に基づいて、上記環境信号成分を特定することと
を動作可能である、上記音声モジュール。
（摘要）
本発明は、音声入力信号をドライ信号成分と環境信号成分とに分離する方法に関し、方法は、音声入力信号を周波数空間に変換することを含む、変換入力信号を生成することと、推定環境信号成分を生成するために、変換入力信号に平滑化フィルタを適用することと、推定環境信号成分に基づいて、ドライ信号成分を特定することと、特定したドライ信号成分及び音声入力信号に基づいて、環境信号成分を特定することとを含む。

本出願の前述及び追加の特徴及び効果は、下記の発明を実施するための形態を添付図面と併せて読むことにより、明らかになるであろう。添付図面において、類似参照番号は類似要素を指すものとする。

単一の周波数ビンにおける環境振幅を含む音声入力信号の経時的な概略図を示す。 音声入力信号内のドライ信号成分を環境信号成分から分離させるのに必要な構成要素を有するモジュールの概要を示す。 図２で実行されるリバーブ特性推定の詳細図を示す。 図２で行われる環境振幅の計算のさらなる詳細図を示す。 音声入力信号をドライ信号成分と環境信号成分とに分離するのに使用される平滑化再帰フィルタの概略図を示す。 ドライ信号成分及び環境信号成分を特定するために、音声入力信号を処理するのに使用される方法の例示的フローチャートを示す。 ドライ信号成分及び環境信号成分を特定するために、音声信号において実行される処理ステップの方法の別の例示的フローチャートを示す。 環境音信号成分内に存在するリバーブ成分を処理するステップを含む方法の例示的フローチャートを示す。 入力信号をドライ信号成分と環境信号成分とに分離するために実行される方法の例示的フローチャートを示す。 図１〜図９に関連して論述されるように音声信号を異なる成分に分離するように構成された音声モジュールの例示的構造表示を示す。

下記において、本発明の実施形態が、添付図面を参照して詳細に説明される。下記の実施形態の説明は、限定的な意味で解釈されるべきではないことを理解されたい。本発明の範囲は、下記に説明される実施形態または図面に限定される意図はなく、実施形態または図面は例示にすぎない。

図面は、概略的な表現であるとみなされるべきであり、図面に例示される要素は、必ずしも縮尺通りに示されてはいない。むしろ、様々な要素は、それらの機能及び一般的目的が当業者に明らかになるように表現されている。図面に示され、下記において説明される機能ブロック、デバイス、物理または機能ユニットの構成要素の間の任意の接続すなわち結合は、間接的な接続すなわち結合によっても実施され得る。構成要素間の結合は、有線または無線接続により確立され得る。機能ブロックは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせで実施され得る。

図１は、周波数空間に変換され異なるビンに分離された音声入力信号１０の概略図を示し、１つの周波数ビンの信号が経時的に示され、これには、環境振幅１２を含む入力振幅１０が含まれる。入力信号内に音が存在し始める時にオンセット１７が存在し、音が止まる時にオフセット１８が存在する。明らかなように、オンセットとオフセットの間の期間に、入力信号は、把握されておらず図示されていないドライ信号成分と、環境信号成分１２とを含む。この複合信号期間１５の後に、主に環境信号が存在するリバーブ信号期間１６が続く。リバーブ信号期間の一部は、リバーブテールとも呼ばれ、大抵の室内でこのリバーブテールは、指数関数的減少特性を有する。同様に、音響エネルギーが連続的に室内に供給されると、図１に示されるように、リバーブ振幅は指数関数的に増大する。楽器によりまたはスピーカを介して音が演奏されると、音がオフセット１８で止まるまで直接音と環境音は重なり、リバーブ部分で環境信号成分が明らかとなる。ドライ信号成分及び環境信号成分の両方を含む録音において、実際の部屋の中の音響による指数関数的増大及び減少を得るために、例えば一次再帰フィルタを用いて、全ての周波数ビンの振幅変化の速度を制限することにより、環境成分が抽出され得る。

図２は、音声入力信号１０内の環境信号成分をドライ信号成分から分離するために、音声入力信号の信号処理中に実行される主なステップに関する概略図を示す。

図２に示されるように、音声入力信号１０は、図２に示されるいくつかの処理モジュールで処理され、この処理は、入力信号のチャネルごとに個別に実行される。従って、提案される方法は、モノラルを含む任意の数の音声チャネルに対応する。モジュール５０にて、短時間フーリエ変換（ＳＴＦＴ）を用いて音声入力信号をフーリエ変換で周波数領域に変換した後、モジュール６０にて、時間フレームごとに振幅が計算され、推定モジュール２００にて推定された入力信号の分析から得られるパラメータに基づいて、モジュール１００にて振幅が平滑化される。このために、時間信号の重複ウィンドウが使用され得る。モジュール１００では、下記でさらに詳しく説明されるように、平滑化フィルタが信号に適用され、これによりドライ信号成分が抑制され、その結果、出力は信号の環境部分を表す。加算器７５において入力信号から環境部分を減算することにより、推定ドライ振幅が加算器７５の出力に存在する。モジュール７０にて、ドライ信号コンテンツの振幅が抽出され周波数領域の入力信号に適用されるように振幅調整が信号に適用され、次にモジュール８０にて時間領域に変換し戻される。従って、モジュール８０の出力には、Ｎ個のドライ出力信号成分が存在する。ドライ成分が判明すると、図２に示されるようにＮ個の環境出力チャネル１２を得るために、入力信号からドライ信号成分を減算することにより、環境成分が生成され得る。

下記では、異なるモジュールの信号の流れが、より詳しく説明される。モジュール５０では、短時間フーリエ変換ＳＴＦＴが行われ、入力信号は時間領域から周波数領域に変換される。計算効率のために高速フーリエ変換が使用され得るが、デジタルフーリエ変換の他の実施態様、ウェーブレット変換のコサイン変換といった他の種類の変換も適用することができる。時間領域の入力は、長さＮ／２のサンプルのブロックに分割され得る。ウィンドウ作成、任意でゼロパディング、及び実際の高速フーリエ変換動作が実行される。Ｎ個の入力サンプルのうちの１つの変換の出力は、ゼロパディングが適用されない場合、実数／虚数表現のＮ個の複素スペクトルビンのブロックである。

モジュール６０にて、実数及び虚数表現の複素入力スペクトルからの時間周波数ビンごとに、振幅が計算される。

モジュール２００にて、環境信号成分を推定するために、モジュール１００で使用されるいくつかのパラメータが決定される。図３に示されるように、オンセット検出モジュール２１０及びオフセット検出モジュール２２０に、モジュール６０からの出力である入力振幅が使用される。オフセット検出モジュール２２０にて、入力振幅に基づいて、周波数ごとに、指数関数的減少を有するピーク後続曲線が計算される。ピーク後続曲線は、０．４など、調整可能な係数ａ_ｐｆ（ｋ）により、０〜１の範囲で減衰される。図１に示されるように、ピーク後続曲線の減少時間は、現在の推定リバーブ時間もしくは調整可能な係数、またはこれらの組み合わせに対応する。図１に示されるように、入力振幅が減衰されたピーク後続曲線を下方向に交差する時、オフセットが検出される。

オンセット検出モジュール２１０にて、平滑化された実際の入力振幅が調整可能閾値より急勾配で増大する時、例えば２つの連続するサンプル間の比がある限度を超えた時、オンセットが観察され、図１に示されるオンセット１７が検出される。閾値は、現在の推定減少率に基づいて、自動的に調整され得る。閾値は、周波数にも依存し得る。閾値は、１より大きくなければならない。

モジュール２３０にて、音及びリバーブテール検出が実行される。リバーブテールすなわちリバーブ信号期間１６は、オフセット後に始まり、平滑化された振幅が再び増大し始めるまで続く。これは、平滑化された振幅の新しい値が、前の値よりも大きい場合に当てはまる。入力振幅は、リバーブ信号期間１６の終了を特定するのにも使用され得るが、これはさらに難しい。なぜなら、リバーブ信号期間１６の振幅は、明確な指数関数的減少を有さず、いくつかの変動を有し、この変動は、リバーブ信号期間の終了を検出することをより困難にするからである。オンセット１７とオフセット１８の間に、音が検出される。観察方法の性質に基づいて、いくつかのオンセットが、間にオフセットがない状態で検出され得る。この場合、音期間もリバーブ信号期間も検出されない。下記では、音期間は、環境信号成分及びドライ信号成分が存在する複合信号期間とも称される。最新のオンセットと後続のオンセットの間のいくつかのＳＴＦＴブロックを使用して、音の長さが測定される。

モジュール２４０にて、モジュール１００に含まれる平滑化フィルタにおいて後で使用される平滑化係数が更新される。このために、モジュール１００内の平滑フィルタから出力された推定振幅と、音声入力振幅との偏差は、リバーブ信号期間１６の間の周波数ビンごとに個別に評価される。オフセット検出２２０によりリバーブ信号期間すなわちリバーブテールの始まりが一旦示されると、推定リバーブテールと平滑化された実際のリバーブテールの推移は、両方ともバッファに記録される。これは、以下の基準のうちの１つが満たされるまで、全ての変換信号ブロックに対して行われる。
‐リバーブテールすなわちリバーブ信号期間の終わりが検出されること。
‐推定リバーブテール及び平滑化された実際のリバーブテールの両方が、オフセット検出後の第１のビンと比べて、例えば１０ｄＢなど定義された閾値を超えて減少すること。部屋のリバーブの初期減衰時間を特定するために１０ｄＢ減少が使用され得、１０ｄＢは好適な値であり得るが、他の値が使用されてもよい。
‐サンプルが最大数に達することであり、これはバッファがいっぱいになったことを意味する。

上記の基準の少なくとも１つが満たされると、リバーブ信号期間の第１のサンプルが、平滑化された実際のリバーブテールと同じ振幅を有するように、補正係数が推定環境信号成分に適用される。次に、２つのリバーブテールが比較され、これはつまり、リバーブ信号期間において、モジュール１００で平滑化フィルタにより計算された推定リバーブ信号成分と、音声入力信号とが、現在の周波数ビン内の時間フレームごとに差を計算することにより、比較される。差の平均には、急激な変化を避けるために、調整可能なスケーリング係数がかけられ、経時的に平滑化され得る。次に、結果得られた値を補正値として現在の再帰係数に追加することで、現在の再帰係数が更新され得る。

従って、モジュール２４０の出力は、図５に関連してより詳しく論述される振幅平滑化係数αである。

モジュール２５０にて、環境対入力比が決定され、更新される。特に長い音の後は、環境対入力比は、音のオフセット１８における振幅減少を調べることにより推定され得る。ドライ信号が停止した後は、環境信号成分のみが存在する。オフセット１８前の最後のサンプルと、オフセットが検出された時のサンプルとの差が、環境対入力比の概算に使用され得る。音がより長く演奏されるほど、室内の環境エネルギーが指数関数的に増大し飽和状態に近づくため、この概算はより正確になる。最後の音の長さを記録し、音の長さに応じて、平均環境対入力比の決定に対する最新測定値の寄与を重み付けすることで、これは考慮される。寄与の重み付けは、音の長さに依存する再帰係数を有する再帰フィルタを環境対入力比推定に適用することにより、行われ得る。音が長いほど、最新測定値の影響は大きくなり、逆もまた同様である。さらに、非常に短い音に基づく推定更新を避けるために、環境対入力比の推定の更新には、最低所要音長が使用され得る。

従って、モジュール２５０の出力は、平均環境対入力比であり、モジュール２３０の出力は、リバーブ信号期間１６が始まる時の情報である。

図４に関連してさらに詳しく説明されるように、これらの３つの情報は、図４に関連してさらに詳しく論述される環境振幅の計算１００において使用される。

図４に示されるように、平滑化のために再帰フィルタ１３０が使用される。しかし、元の入力振幅は、平滑化フィルタ１３０に投入される前に、図３に関連して前述されたように推定された環境対入力比により減衰される。あるいは、長い音の場合、平滑化フィルタの出力は、元の入力振幅に収束する。しかし実際の部屋では、環境エネルギーは通常、壁により吸収されるため、入力エネルギーよりも大幅に低い。

しかし実際の部屋の中の環境コンテンツは、明確な指数関数的な増大または減少を示すことはないが、ランダムな位相の重畳によるノイズのような小さい変動を有する。従って、モジュール１２０にて、減衰された振幅から小さい変動が抽出され、より自然な音を作り出すために、抽出された小さい変動は、フィルタによる平滑化１３０の後に加えられる。例えば移動平均フィルタまたは短時定数を有する別の再帰フィルタで振幅を平滑化し、入力信号からフィルタ処理された信号を減算することにより、変動は抽出され得る。検出されたリバーブ信号期間１６の間、環境振幅の推定に、元の振幅が使用され得る、あるいは、平滑化され減衰された振幅に変動が加えられたものが使用されるが、これは特に音が存在する期間に関連する。

分離の重要な一態様は、再帰フィルタ１３０による平滑化である。この平滑化は、全ての振幅に個別に適用される。これにより、リバーブ特性推定段階の平滑化された最新の推定に従って増大時間及び減少時間が限定され、室内の実際のリバーブに応じた指数関数的形状及び個々の時間定数で増大及び減少する振幅が生成される。従って、再帰フィルタ１３０の出力は、図１に示される信号１２に類似する信号である。

図５に示されるように、０〜１の間のフィードバックまたは平滑化係数αを有する一次再帰ローパスフィルタが使用され得、指数関数的増大及び減少を提供し低処理コストで実施できるフォワード係数１−αが使用され得る。図５に、漏洩積分器とも称される再帰フィルタの図が示される。

対応する式は以下のとおりである。
ｙ（ｎ）＝（１−α）・ｘ（ｎ）＋α・ｙ（ｎ−１）

漏洩積分器は振幅平滑化演算を実行するのに好適かつ効率的な方法ではあるが、制御された方法で振幅を平滑化することができる他の種類のフィルタを使用することも可能である。

最後に、モジュール１５０にて、推定環境振幅が、元の入力振幅よりも決して大きくなり得ないように、限定される。信号内の環境コンテンツが入力より大きくなり得ないことから、これは安全対策であるといえる。

再び図２に戻ると、モジュール１００の出力は、図４に関連して前述されたように、推定環境振幅である。加算器７５にて入力振幅から環境振幅が減算されると、加算器７５の後にドライ振幅が存在する。

周波数領域の入力信号の位相値は、振幅成形ブロックの出力と組み合わせることができる。しかし、モジュール７０にて、実数及び虚数表現の複素入力スペクトルの実数及び虚数部分に、ドライ振幅と元の入力振幅の比を乗算することのほうが、計算上より効率的である。最後に、モジュール１８０にて、逆短時間フーリエ変換が実行され、信号は時間領域に変換し戻される。逆フーリエ変換ＩＦＦＴも使用されてもよいが、他の変換実施態様が使用され得る。実数及び虚数表現のＮ個の複素周波数スペクトルビンは、時間領域に変換される。このモジュール８０はまた、時間領域信号を正しく再構築するのに必要な重畳加算機能を包含することができる。米国特許第２０１３／０２０８８９５Ａ１号にさらに詳しく開示されるように、デジタルフィルタリングの重畳加算法は、入力波形の一連の重畳ハニング窓セグメントを使用し、周波数領域において各セグメントを個別にフィルタリングすることを含み得る。フィルタリング後、重畳部分を一緒に合わせることにより、セグメントは再結合され得る。重畳加算法により、過度のメモリ要件なしに、連続信号に対し周波数領域のフィルタリングをリアルタイムで実行することが可能になり得る。

図６は、図２の左側の入力チャネル１０から、図２の右側のドライ出力チャネル１１のみ及びＮ個の環境出力チャネル１２までの概要及びより詳しい信号のフロー図を示す。図２に関連して前述されたように、ステップＳ６１にて信号は周波数空間に変換され、ステップＳ６２にて振幅が計算される。計算された振幅は次に、ステップＳ６３のオフセット検出及びステップＳ６４のオンセット検出に使用される。オフセット及びオンセットが判明すると、音声入力信号を、音が存在する複合信号期間１５と、環境信号が主に存在するリバーブ信号期間１６とに分離することが可能となる。複合信号期間１５の場合、ステップＳ６６にて音の長さが特定され、モジュール２５０に関連して前述されたように、ステップＳ６７にて環境対入力比推定が更新される。ステップＳ６８にて、環境対入力比の平滑化が実行され、これによりステップＳ６８後の出力は、ステップＳ７０にて入力振幅を減衰させるのに使用される環境対入力比となる。リバーブ信号期間の場合、ステップＳ７１にて減少率推定が実行され、これによりこのステップの後に減少率が取得される。ステップＳ７２にて、減少率の平滑化が行われ、これにより、平滑化フィルタで使用される再帰係数αが提供される。これに応じて、ステップＳ７３にて、再帰係数または平滑化係数αを用いて、一次再帰フィルタリングが行われる。さらに、図４に関連して前述されたように、変動が抽出され、平滑化された信号に加えられる。ステップＳ７５にて、音声信号が複合信号期間であるか、リバーブ信号期間１６であるかという事実に基づいて、入力信号から元の入力振幅または平滑化された振幅が選択される。図７に関連して説明されるように、ステップＳ７５にて、信号がリバーブ信号期間内にある場合、元の入力振幅が使用され、一方信号が複合信号期間内にある場合は、平滑化された振幅の信号が使用される。この情報に基づいて、モジュール１００から出力された推定環境信号成分を、入力信号から減算することにより、ドライ振幅を計算することが可能になる（Ｓ７６）。図２に関連して上記で説明されたように、ステップＳ７７にて振幅調整が実行され、その時間空間へ変換し戻された後、信号内にはドライ信号成分が存在し、ドライ信号成分を入力信号から減算することにより、環境信号成分が特定され得る。

図７は、実際の音声処理ステップのみを含むフローチャートを示す。方法の開始後、ステップＳ８１にて信号は周波数領域に変換され、ステップＳ８２にて、例えば図２に関連して論述されたモジュール６０において、入力振幅が計算される。図４に関連して論述されたように、ステップＳ８３にて環境対入力比により信号は減衰され、ステップＳ８４にて小さい変動が特定される。ステップＳ８５にて、図４に関連して論述されたように、再帰フィルタによる平滑化が実行され、ステップＳ８６にて小さい変動が加えられる。次に、ステップＳ８７にて、現在の信号がリバーブ信号期間１６内にあるか、複合信号期間１５内にあるかが調べられる。ドライ信号と環境信号が存在する複合信号期間１５内にある場合、ステップＳ８８にて平滑化された振幅が使用される。しかし、信号がリバーブテール内にある場合、ステップＳ８９にて元の入力信号が使用される。従って、ステップＳ８８及びＳ８９の後には推定環境音信号が存在し、ステップＳ９０にて、環境対入力比及び振幅平滑化係数などのリバーブパラメータの推定を更新することが可能である。図２に関連して論述されたモジュー７０において実行される調整に対応して、ステップＳ９１にてドライ振幅が計算され、ステップＳ９２にて振幅変化が適用される。

ステップＳ９３の逆フーリエ変換の後、ドライ出力信号に加えて、図２に関連して論述されたように、加算器８５にて環境信号を計算することが可能となる。

図８は、リバーブパラメータの処理のより詳しいフローチャートを示す。ステップＳ１０１にて、図３に関連して前述されたようにモジュール２２０において、オフセット検出が実行される。さらに、ステップＳ１０２にて、オンセット検出が実行される。ステップＳ１０３にて、オフセットが検出され得たか否かが調べられる。オフセットが検出された場合、ステップＳ１０４にて実際の信号はリバーブ信号期間内にあると判断され得、よってステップＳ１０５にて信号のバッファリングが実行されるべきであると判断され得る。推定リバーブテール及び実際のリバーブテールを記憶するために、ステップＳ１０６にてバッファがリセットされ、振幅がバッファに保存される。ステップＳ１０８にて、環境対入力比が更新される。

ステップＳ１０３における判定に戻って、オフセットが検出できなかった場合、ステップＳ１０９にてバッファリングが実行されたか否かが調べられる。バッファリングが実行されていた場合、ステップＳ１１０にて平滑化された振幅が増大しているか否かが調べられる。平滑化された振幅が増大している場合、ステップＳ１１１にて、信号はリバーブテール内にないと判断され得、よってステップＳ１１２にてバッファリングを実行する必要はないと判断され得る。ステップＳ１１３にて、振幅が適宜更新される。ステップＳ１１０に再び戻って、振幅が増大していないと判断された場合、ステップＳ１１４にて、バッファが一杯であるか、または振幅が１０ｄＢを超えて減少しているか、判断される。バッファは一杯ではなく、振幅が１０ｄＢを超えて減少していない場合、信号はまだリバーブテール内にあると推測され得るため、ステップＳ１１５にて、現在の元の振幅及び平滑化された振幅がバッファに保存され得る。図２及び図３に関連して論述されたように、次に、タイムフレームごとに実際のリバーブテールと推定リバーブテールとの差を計算することにより、２つのリバーブテールが比較される。

ステップＳ１０９に戻って、バッファリングが行われていない場合、ステップＳ１１６にて、音声入力信号内にオンセットが検出されたか否かが判定される。オンセットが検出された場合、ステップＳ１１７にて音の長さがリセットされ、オンセットが検出されなかった場合、ステップＳ１１８にて音の長さが増分される。

図９は、音声入力信号に対して行われる主なステップのうちのいくつかをまとめたものである。ステップＳ１２１にて、音声入力信号から変換入力信号が生成される。ステップＳ１２２にて、推定環境信号成分を生成するために、平滑化フィルタが適用される。推定環境信号成分は、図２に示されるモジュール１００の後に存在する成分である。次に、ステップＳ１２３にて、例えば入力信号から推定環境成分を減算することにより、ドライ信号成分を特定することが可能である。ドライ信号成分が判明すると、ステップＳ１２４にて、例えば図２に示される加算器８５で入力信号からドライ信号成分を減算することにより、実際の環境信号成分が特定され得る。

図１０は、図２〜図８に関連して前述された処理ステップを実行することができる音声モジュールの概略的構成図を示す。音声モジュールは、前述の分離を実行することができ、Ｎ個の入力チャネルを受信してＮ個のドライ出力チャネル１１及びＮ個の環境出力チャネル１２を出力する入出力モジュール１１０を備える。モジュール１００は、１つ以上のプロセッサを備える処理装置１２０を備え、メモリ１３０に記憶されている命令を実行することができ、メモリには、読み出し専用メモリ、ランダムアクセスメモリ、大容量記憶装置、またはハードディスクなどが含まれ得る。メモリはさらに、音声入力信号をドライ信号成分と環境信号成分に分離する前述の機能を実施するために、処理装置１２０により実行される好適なプログラムコードを含み得る。

上記から、いくつかの一般的な結論が引き出され得る。音声入力信号は、図２に示される両成分を含む複合信号期間１５と、複合信号期間１５に続くリバーブ信号期間１６とを含み得る。音声入力信号内にリバーブ信号期間１６を検出することは可能である。次に、推定環境信号成分を生成するための平滑化フィルタにおいて使用される平滑化係数を決定するために、フィルタから出力されたリバーブ信号期間の推定環境信号成分内において、推定リバーブ信号成分が特定され、推定リバーブ信号成分は、リバーブ信号期間の音声入力信号と比較される。

前述のように、推定環境信号成分に対応するフィルタ出力は、期間１６の入力信号と比較され、この比較に基づいて、平滑化係数が決定され得る。この平滑化係数は、０〜１の間であり得、平滑化フィルタの上記の式から推測され得るように、高い平滑化係数αは、大きな平滑化が適用されることを意味する。図５に示されるように、再帰フィルタにおいて高いαは、古い信号の高部分が使用され、新しい信号の低部分のみが使用されることを意味する。

平滑化フィルタは、一次再帰フィルタであり得るが、他のフィルタが使用されてもよい。

さらに、変換入力信号の振幅が特定され、特定された振幅は、平滑化フィルタを適用する前に減衰される。平滑化フィルタを用いて特定された推定環境信号成分は、入力信号より大きくなることは決してないため、減衰が実行される。減衰は、環境対入力比の推定を用いて実行され得る。

さらに、音声入力信号内に相当量のドライ信号成分が存在し始める、言い換えると、音声入力信号内に音が存在する音声信号内のオンセット１７を特定することが可能である。さらに、音声入力信号内に相当量のドライ信号成分が存在しなくなるオフセット１８を特定することができる。

次に、オフセット１８後に始まり、平滑化フィルタの出力が再び増大し始める時など平滑化フィルタの出力が所定の基準を満たす時に終わる、リバーブ信号期間が特定され得る。次に、特定されたオフセット後すなわちリバーブ信号期間の音声信号の部分において、推定リバーブ信号成分をリバーブ信号期間の音声入力信号と比較することが実行される。

さらに、オフセット前の音声入力の最後のサンプルにおける音声入力信号の振幅と、オフセット後の最初のサンプルにおける音声入力信号の振幅とを、特定することが可能である。次に、環境信号成分対音声入力信号の比は、最初のサンプルの振幅及び最後のサンプルの振幅に基づいて決定される。

変換入力信号の振幅を減衰させるのに使用される平均比を決定するために、最後のサンプル及び最初のサンプルに基づくこの比の決定は、入力信号内の異なるオフセットに対し数回繰り返すことができる。さらに、ドライ信号成分の長さは、異なるオフセットから特定され、特定されたドライ信号成分が長いほど、対応する比は平均比により大きく寄与する。

前述のように、演奏される音が長いほど、環境対入力比の決定はより正確になる。

さらに、音声入力信号内にリバーブ信号期間が現在存在するか否かが判定され得る。存在する場合は、推定環境信号成分にリバーブ信号期間の音声入力が使用され、存在しない場合は、推定環境信号成分に平滑化フィルタの出力が使用される。

さらに、推定環境信号成分を特定するために、変換入力信号の減衰された振幅から変動を抽出し、抽出された変動を平滑化フィルタの出力に加えることが可能である。

さらに、入力信号から、指数関数的に減少するピーク後続信号を特定することが可能であり、ピーク後続信号はその後０〜１の係数で減衰され、減衰されたピーク後続信号と音声入力信号が交差する時、入力信号が減少する点でオフセットが検出される。

図３に関連して論述されたように検出された平滑化係数は、推定リバーブ信号成分がリバーブテールの音声入力信号に対応するように、決定され得る。

推定環境信号成分は、平滑化フィルタ後の出力に基づいて特定され得、すなわち加算器７５で行われる減算の後にドライ出力チャネルが提供され、次に音声入力信号内に存在する環境信号成分を特定するために、ドライ出力チャネルは入力信号から減算される。

まとめると、上記の方法を用いて、音声入力信号内のドライ信号成分と環境信号成分との効果的な分離が可能である。

Claims (15)

1. 音声入力信号（１０）をドライ信号成分（１１）と環境信号成分（１２）とに分離する方法であって、
   前記音声入力信号を周波数空間に変換することを含む、変換入力信号を生成することと、
   推定環境信号成分を生成するために、前記変換入力信号に平滑化フィルタ（１３０）を適用することと、
   前記推定環境信号成分に基づいて、前記ドライ信号成分（１１）を特定することと、
   前記特定したドライ信号成分（１１）及び前記音声入力信号（１０）に基づいて、前記環境信号成分（１２）を特定することと
   を含む、前記方法。
2. 前記音声入力信号（１０）は、前記環境信号成分（１２）及び前記ドライ信号成分（１１）が存在する複合信号期間（１５）と、実質的に前記環境信号のみが存在する、前記複合信号期間（１５）に続くリバーブ信号期間（１６）とを含み、
   前記方法は、
   前記音声入力信号内に前記リバーブ信号期間（１６）を検出することと、
   前記リバーブ信号期間の前記推定環境信号成分内において、推定リバーブ信号成分を特定することと、
   前記推定環境信号成分を生成するための前記平滑化フィルタにおいて使用される平滑化係数を決定するために、前記推定リバーブ信号成分を、前記リバーブ信号期間の前記音声入力信号と比較することと
   を含む、請求項１に記載の方法。
3. 前記平滑化フィルタ（１３０）は一次再帰フィルタを含む、請求項１に記載の方法。
4. 前記変換入力信号の振幅を特定することと、
   前記平滑化フィルタ（１３０）を適用する前に、前記変換入力信号の前記特定された振幅を減衰させることと、
   をさらに含む、請求項１に記載の方法。
5. 前記環境信号成分（１２）対前記音声入力信号（１０）の比が特定され、
   前記特定された振幅は、前記特定された比に基づいて減衰される、請求項４に記載の方法。
6. 相当量の前記ドライ信号成分（１１）が前記音声入力信号（１０）内に存在し始めるオンセット（１７）を、前記音声入力信号（１０）内で特定するステップと、
   前記相当量の前記ドライ信号成分（１１）が前記音声入力信号内に存在しなくなるオフセット（１８）を、前記音声入力信号内で特定するステップと
   を含む、請求項１に記載の方法。
7. 相当量の前記ドライ信号成分（１１）が前記音声入力信号（１０）内に存在し始めるオンセット（１７）を、前記音声入力信号（１０）内で特定するステップと、
   前記相当量の前記ドライ信号成分（１１）が前記音声入力信号内に存在しなくなるオフセット（１８）を、前記音声入力信号内で特定するステップと
   を含み、
   前記オフセット（１８）後に開始し、前記平滑化フィルタの出力が所定の基準を満たす時に終了する前記リバーブ信号期間（１６）が特定され、
   前記推定リバーブ信号成分を前記リバーブ信号期間の前記音声入力信号と比較することは、前記特定されたオフセット（１８）後の前記音声入力信号の一部において実行される、請求項２に記載の方法。
8. 相当量の前記ドライ信号成分（１１）が前記音声入力信号（１０）内に存在し始めるオンセット（１７）を、前記音声入力信号（１０）内で特定するステップと、
   前記相当量の前記ドライ信号成分（１１）が前記音声入力信号内に存在しなくなるオフセット（１８）を、前記音声入力信号内で特定するステップと
   を含み、
   前記環境信号成分（１２）対前記音声入力信号（１０）の前記比を特定することは、
   前記オフセット前の前記音声入力信号の最後のサンプルにおける前記音声入力信号（１０）の振幅を特定することと、
   前記オフセット後の前記音声入力信号の最初のサンプルにおける前記音声入力信号（１０）の振幅を特定することと、
   前記最後のサンプルにおける前記振幅と、前記最初のサンプルにおける前記振幅を考慮して、前記比を特定することと
   を含む、請求項５に記載の方法。
9. 前記変換入力信号の前記振幅を減衰させるために使用される平均比を決定するために、
   前記最後のサンプル及び前記最初のサンプルを考慮して前記比を特定する前記ステップが、前記音声入力信号内の異なるオフセットに対し数回繰り返され、
   前記異なるオフセットに対して前記ドライ信号成分の長さが特定され、
   前記特定されたドライ信号成分の前記長さが長いほど、前記対応する比が前記平均比に大きく寄与する、請求項８に記載の方法。
10. 前記音声入力信号（１０）内に前記リバーブ信号期間（１６）が現在存在するか否かが特定され、存在する場合は、前記推定環境信号成分に前記リバーブ信号期間の前記音声入力が使用され、存在しない場合は、前記推定環境信号成分に前記平滑化フィルタの出力が使用される、請求項７に記載の方法。
11. 前記変換入力信号の前記減衰された振幅から、変動を抽出することと、
    前記推定環境信号成分を特定するために、前記平滑化フィルタの出力に、前記抽出した変動を加えることと、
    をさらに含む、請求項４に記載の方法。
12. 前記方法は、前記変換入力信号から、指数関数的に減少するピーク後続信号を特定することであって、前記ピーク後続信号はその後１未満の係数で減衰される、前記特定することをさらに含み、
    前記減衰されたピーク後続信号と前記音声入力信号が交差する時、前記入力信号が減少する点で前記オフセット（１８）が検出される、請求項６に記載の方法。
13. 前記推定リバーブ信号成分が前記リバーブ信号期間の前記音声入力信号に対応するように、前記平滑化係数は決定される、請求項２に記載の方法。
14. 前記ドライ信号成分を特定するために、前記平滑化フィルタの出力から生成された前記推定環境信号成分は、前記音声入力信号から減算される、請求項１に記載の方法。
15. 音声入力信号をドライ信号成分と環境信号成分とに分離するように構成された音声モジュール（１００）であって、前記音声モジュールは、メモリと、少なくとも１つの処理装置とを備え、前記メモリは、前記少なくとも１つの処理装置により実行可能な命令を含み、前記音声モジュールは、
    前記音声入力信号を周波数空間に変換することを含む、変換入力信号を生成することと、
    推定環境信号成分を生成するために、前記変換入力信号に平滑化フィルタを適用することと、
    前記推定環境信号成分に基づいて、前記ドライ信号成分を特定することと、
    前記特定したドライ信号成分及び前記音声入力信号に基づいて、前記環境信号成分を特定することと
    を動作可能である、前記音声モジュール。