JP2022529912A - 深層フィルタを決定するための方法および装置 - Google Patents

深層フィルタを決定するための方法および装置 Download PDF

Info

Publication number
JP2022529912A
JP2022529912A JP2021560853A JP2021560853A JP2022529912A JP 2022529912 A JP2022529912 A JP 2022529912A JP 2021560853 A JP2021560853 A JP 2021560853A JP 2021560853 A JP2021560853 A JP 2021560853A JP 2022529912 A JP2022529912 A JP 2022529912A
Authority
JP
Japan
Prior art keywords
filter
deep
mixture
frequency
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021560853A
Other languages
English (en)
Other versions
JP7486266B2 (ja
Inventor
ハーベッツ・エマニュエル
マック・ヴォルフガング
Original Assignee
フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2022529912A publication Critical patent/JP2022529912A/ja
Priority to JP2024003640A priority Critical patent/JP2024038369A/ja
Application granted granted Critical
Publication of JP7486266B2 publication Critical patent/JP7486266B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Noise Elimination (AREA)
  • Paper (AREA)
  • Measurement Of Radiation (AREA)

Abstract

深層フィルタを決定するための方法は、・混合物を受信するステップと、・深層ニューラルネットワークを使用して深層フィルタを推定するステップであって、深層フィルタが、混合物の要素に適用されるときに所望の表現のそれぞれの要素の推定値を取得するように、推定が実行される、推定するステップと、を含み、少なくとも１次元の深層フィルタが、要素を有するテンソルを含む。

Description

本発明の実施形態は、深層フィルタを決定するための方法および装置に関する。さらなる実施形態は、信号抽出、信号分離または信号再構成のための方法の使用に関する。
信号がセンサによって捕捉される場合、それは、通常、所望の成分および望ましくない成分を含む。追加の干渉スピーカまたは指向性ノイズ源（望ましくない）を有するノイズ環境における音声（望ましい）を考慮する。混合物から所望の音声を抽出することは、高品質のノイズのない記録を得るために必要であり、例えばテレビ会議システムまたはモバイル通信において知覚される音声品質に有益であり得る。生物医学的信号がセンサによって捕捉される心電図、筋電図または脳波図における異なるシナリオを考慮すると、捕捉された信号の最適な解釈およびさらなる処理を例えば医師によって可能にするために干渉またはノイズもキャンセルされる必要がある。一般に、混合物から所望の信号を抽出すること、または混合物中の複数の所望の信号を分離することは、多数の異なるシナリオにおいて望ましい。
抽出および分離の他に、捕捉された信号の部分にもはやアクセスできないシナリオがある。いくつかのパッケージが失われた送信シナリオ、または部屋音響効果が空間コムフィルタを引き起こし且つ特定の周波数の除去／破壊をもたらす録音を考える。失われた部分の内容に関する情報が信号の残りの部分にあると仮定すると、欠落した信号部分を再構成することもまた、多数の異なるシナリオにおいて非常に望ましい。
以下、電流信号の抽出および分離の手法について説明する。
所望のおよび望ましくない信号統計の適切な推定を考えると、ウィーナーフィルタリングのような従来の方法は、複素混合短時間フーリエ変換（ＳＴＦＴ）表現に実数値利得を適用して、混合物から所望の信号を抽出する［例えば、［０１］、［０２］］。
別の可能性は、統計から、各混合時間－周波数ビンについてのＳＴＦＴ領域における複素数値多次元フィルタを推定し、それを適用して抽出を実行することである。分離シナリオでは、各所望の信号は、それ自体のフィルタを必要とする［０２］。
統計ベースの方法は、定常信号が与えられると十分に機能するが、高度に非定常な信号が与えられると、統計推定は困難であることが多い。
別の手法は、非負値行列因子分解（ＮＭＦ）を使用することである。それは、試験中に認識されることができるデータの提供された訓練データ基底ベクトルから教師なしに学習する［例えば、［０３］、［０４］］。音声がホワイトノイズから分離される必要があると仮定すると、ＮＭＦは、訓練例において最も顕著な基底ベクトルを学習する。ホワイトノイズは、時間的に無相関であるため、それらのベクトルは、音声に属する。試験中、基底ベクトルのうちの１つが抽出を実行するために現在アクティブであるかどうかが判定されることができる。
異なる話者からの音声信号は非常に異なり、全ての可能な音声信号を限られた数の基底ベクトルによって近似することは、所望のデータのこの高い分散を満たさない。また、ホワイトノイズのようにではなく、ノイズが非定常性が高く、訓練中に未知である場合、基底ベクトルは、抽出性能を低下させるノイズセグメントをカバーする可能性がある。
近年、特に深層学習ベースの時間－周波数マスキング技術は、性能に関して大きな改善を示した［例えば、［０５］］。ラベル付き訓練データが与えられると、深層ニューラルネットワーク（ＤＮＮ）は、時間－周波数マスクを推定するように訓練される。このマスクは、信号抽出を行うために、または複数のマスクが信号分離を行う場合には、複素混合物ＳＴＦＴに要素ごとに適用される。混合時間－周波数ビンが単一のソースによってのみ支配される場合、マスク要素はバイナリとすることができる［例えば、［０６］］。マスク要素はまた、時間－周波数ビンごとに複数のアクティブ源が与えられた場合、実数値の比［例えば、［０７］］または複素数値の比［例えば、［０８］］とすることができる。
この抽出が図１に示されている。図１は、複数のビンｓｘ，ｙの２つの周波数／時間図を示している。ビンは入力ＳＴＦＴであり、入力ＳＴＦＴのＡによってマークされた領域は、その中の各時間周波数ビンの利得を推定するためにＤＮＮに与えられる。この利得は、要素ごとに複素入力ＳＴＦＴに適用される（入力内および抽出図内のｘによってマークされたビンを参照されたい）。これは、それぞれの所望の成分を推定する目的を有する。
所望の信号および望ましくない信号の相殺的干渉のために混合時間－周波数ビンがゼロであると仮定すると、マスクは、それぞれのマスク値が存在しないため、このビンにのみ利得を適用することによって所望の信号を再構成することができない。所望の信号および望ましくない信号の相殺的干渉のために混合時間－周波数ビンがゼロに近い場合であっても、それぞれのマスクは、通常、特定の時間－周波数ビンにおける相殺的干渉を考慮してそれらの性能を制限する大きさに制限されるため、マスクは、通常、このビンのみに利得を適用することによって所望の信号を完全に再構成することができない。さらにまた、信号の一部が失われると、マスクは、所望の信号を推定するために時間－周波数ビンにのみ利得を適用するため、これらの部分を再構成することができない。
したがって、改善された手法が必要とされている。
本発明の目的は、信号の抽出、分離、および再構成のための改善された手法を提供することである。
この目的は、独立請求項の主題によって解決される。
本発明の実施形態は、少なくとも１次元の深層フィルタを決定するための方法を提供する。本方法は、混合物を受信するステップと、深層ニューラルネットワークを使用して深層フィルタを推定するステップであって、深層フィルタが、混合物の要素に適用されたときに所望の表現のそれぞれの要素の推定値を取得するように、推定が実行される、推定するステップとを含む。ここで、少なくとも１次元の深層フィルタは、要素を有するテンソルを含む。
本発明は、統計的方法部分からの複素時間－周波数フィルタの概念と深層ニューラルネットワークとの組み合わせが、多次元テンソルから所望の値を抽出／分離／再構成することを可能にするという発見に基づいている（多次元テンソルが入力表現であると仮定するとき）。この一般的なフレームワークは、ニューラルネットワーク（コスト関数および訓練データを使用して訓練されることができる）の使用によって処理される歪み／ノイズ入力信号に基づく深層フィルタと呼ばれる。例えば、テンソルは、１次元もしくは２次元の複素ＳＴＦＴ、または追加のセンサ次元を有するＳＴＦＴとすることができるが、それらのシナリオに限定されない。ここで、深層ニューラルネットワークは、各等張テンソル要素（Ａ）に対して１次元さらには多次元（複素）深層フィルタを推定するために直接使用される。それらのフィルタは、劣化したテンソルの定義された領域に適用されて、強化されたテンソル内の所望の値の推定値を取得する。このようにして、それらの推定のためにいくつかのテンソル値を組み込むことによって、それらの境界値に起因する相殺的干渉を伴うマスクの問題を解消することが可能である。ＤＮＮの使用に起因して、時間周波数フィルタの統計的推定を解消することも可能である。
実施形態によれば、混合物は、（短時間フーリエ変換のような）実数値または複素数値の時間周波数表現またはその特徴表現を含むことができる。ここで、所望の表現は、所望の実数値または複素数値の時間周波数表現またはその特徴表現も含む。実施形態によれば、結果として、深層フィルタはまた、実数値または複素数値の時間－周波数フィルタも含むことができる。この場合、深層フィルタの１次元が短時間フーリエ変換領域に記述されるという選択肢がある。
さらにまた、少なくとも１次元は、時間次元、周波数次元、またはセンサ信号次元を含む群からはずれていてもよい。さらなる実施形態によれば、推定は、混合物の各要素について、または混合物の要素の所定の部分について、または混合物のテンソル要素の所定の部分について実行される。この推定は、実施形態によれば、少なくとも２つのソースのような１つ以上に対して実行されてもよい。
フィルタの定義に関して、本方法は、実施形態によれば、少なくとも１次元の深層フィルタについてのそのフィルタ変数を有するフィルタ構造を定義するステップを含むことができることに留意されたい。このステップは、深層ニューラルネットワークがいくつかの出力パラメータを含む実施形態に関連して留まることができ、出力パラメータの数は、深層フィルタのフィルタ関数のフィルタ値の数に等しくてもよい。訓練可能なパラメータの数は、典型的にははるかに多く、実数と虚数のフィルタ成分の数に等しい出力の数を定義することが有益であることに留意されたい。実施形態によれば、深層ニューラルネットワークは、バッチ正規化層、双方向長短期記憶層、フィードフォワード出力層、双曲線正接活性化を有するフィードフォワード出力層、および／または１つ以上の追加層を含む。上記のように、この深層ニューラルネットワークは訓練されることができる。したがって、本方法は、実施形態によれば、深層ニューラルネットワークを訓練するステップを含む。このステップは、グラウンドトゥルースと所望の表現と所望の表現の推定値との間の平均二乗誤差（ＭＳＥ）を使用して訓練のサブステップによって実行されることができる。訓練手順のための例示的な手法は、ＤＮＮの訓練中に平均二乗誤差を最小化することであることに留意されたい。あるいは、深層ニューラルネットワークは、所望の表現と所望の表現の推定値との間の再構成誤差を低減することによって訓練されてもよい。さらなる実施形態によれば、訓練は、大きさの再構成によって実行される。
実施形態によれば、推定は、式
Figure 2022529912000002
を使用して実行されることができ、ここで、
Figure 2022529912000003
は、時間フレーム方向のフィルタ次元であり、
Figure 2022529912000004
は、周波数方向のフィルタ次元であり、
Figure 2022529912000005
は、複素共役２Ｄフィルタである。完全を期すために、上記の式
Figure 2022529912000006
は、「適用ステップ」において実行されるべきものを表すことに留意されたい。
この式から開始して、訓練は、以下の式を使用して実行されることができ、
Figure 2022529912000007
、
ここで、
Figure 2022529912000008
は、所望の表現であり、
Figure 2022529912000009
は、推定された所望の表現であり、または
以下の式を使用して実行されることができる：
Figure 2022529912000010
、
ここで、
Figure 2022529912000011
は、所望の表現であり、
Figure 2022529912000012
は、推定された所望の表現である。
実施形態によれば、深層フィルタの要素は、大きさが制限されるか、または以下の式を使用して大きさが制限され、
Figure 2022529912000013
、
ここで、
Figure 2022529912000014
は、複素共役２Ｄフィルタである。好ましい実施形態では、境界は、ＤＮＮ出力層の双曲線正接活性化関数に起因することに留意されたい。
別の実施形態は、フィルタリングのための方法を提供する。この方法は、深層フィルタを決定するための上述した方法の基本的および任意のステップと、深層フィルタを混合物に適用するステップとを含む。ここで、実施形態によれば、適用するステップは、所望の表現の推定値を取得するために要素ごとの乗算および連続加算によって実行されることに留意されたい。
さらなる実施形態によれば、このフィルタリング方法は、信号抽出および／または少なくとも２つのソースの信号分離に使用されることができる。さらなる実施形態にかかる別の用途は、この方法が信号再構成に使用されることができるということである。典型的な信号再構成用途は、パケット損失隠蔽および帯域幅拡張である。
フィルタリングのための方法、ならびに信号抽出／信号分離および信号再構成のための方法は、コンピュータを使用して実行されることができることに留意されたい。これは、少なくとも１次元の深層フィルタを決定するための方法にも当てはまる。これは、さらなる実施形態が、コンピュータ上で実行されると、上述した方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムを提供することを意味する。
別の実施形態は、深層フィルタを決定するための装置を提供する。装置は、混合物を受信するための入力と、
深層フィルタが、混合物の要素に適用されたときに所望の表現のそれぞれの要素の推定値を取得するように、深層フィルタを推定するための深層ニューラルネットワークと、を備える。ここで、フィルタは、少なくとも１次元の（要素を有する）テンソルを含む。
別の実施形態によれば、混合物をフィルタリングすることを可能にする装置が提供される。この装置は、混合物に適用される上記で定義されたような深層フィルタを備える。この装置は、信号抽出／信号分離／信号再構成を可能にするように強化されることができる。
本発明の実施形態は、添付の図面を参照して以下に説明される。
従来の手法にかかるフィルタを生成／決定するための原理を示すために、入力としての混合物を表す図（周波数－時間図）を抽出を表す図と共に概略的に示している。 本発明の実施形態にかかるフィルタを推定する原理を示すための入力図（周波数－時間図）および抽出図（周波数－時間図）を概略的に示している。 実施形態にかかる深層フィルタを決定するための方法を示すための概略フローチャートを示している。 実施形態にかかるＤＮＮアーキテクチャの概略ブロック図を示している。 さらなる実施形態にかかるＤＮＮアーキテクチャの概略ブロック図を示している。 実施形態の利点を示すための２つの試験のＭＳＥ結果を表す２つの図を示している。 実施形態の利点を示すための２つの試験のＭＳＥ結果を表す２つの図を示している。 本発明の実施形態の原理および利点を示すための対数振幅ＳＴＦＴスペクトルの抜粋を概略的に示している。 本発明の実施形態の原理および利点を示すための対数振幅ＳＴＦＴスペクトルの抜粋を概略的に示している。 本発明の実施形態の原理および利点を示すための対数振幅ＳＴＦＴスペクトルの抜粋を概略的に示している。
以下、添付の図面を参照して本発明の実施形態が以下に説明されるが、同一または類似の機能を有する要素／対象物には同一の参照符号が与えられ、その説明は相互に適用可能且つ交換可能である。
図２ａは、２つの周波数－時間図を示しており、参照符号１０によってマークされた左側の周波数－時間図は、入力として受信された混合物を表す。ここで、混合物は、複数のビンｓｘ，ｙを有するＳＴＦＴ（短時間フーリエ変換）である。参照符号１０ａによってマークされたいくつかのビンは、図２ａおよび図２ｂの文脈で説明される方法１００の目的であるフィルタを推定するための入力として使用される。
図２ｂに示すように、方法１００は、２つの基本ステップ１１０および１２０を含む。基本ステップ１１０は、図２ａの左側の図によって示されるように、混合物１１０を受信する。
次のステップ１２０では、深層フィルタが推定される。このステップ１２０は、抽出として使用される右の周波数－時間図のマークされたビン１０ｘをマッピングする矢印１２によって示されている。推定されたフィルタは、十字１０ｘによって視覚化され、深層フィルタが、混合物の要素に適用されたときに所望の表現１１（抽象図を参照されたい）のそれぞれの要素の推定値を取得するように推定される。換言すれば、これは、それぞれの所望の成分（抽出図を参照されたい）を推定するために複素入力ＳＴＦＴの定義された領域にフィルタが適用されることができることを意味する。
ここで、ＤＮＮは、１０ｘに示すように、劣化したテンソル要素ｓｘ，ｙごとに、少なくとも１次元、または好ましくは多次元（複素）深層フィルタを推定するために使用される。（劣化したテンソル要素についての）フィルタ１０ｘは、劣化したテンソルｓｘ，ｙの定義された領域１０ａに適用されて、強化されたテンソル内の所望の値の推定値を取得する。このようにして、推定値にいくつかのテンソル値を組み込むことによって、それらの境界値に起因する相殺的干渉を伴うマスクの問題を解消することが可能である。ＤＮＮ出力は、限られた範囲、通常は（０，１）にあるため、マスクは制限されることに留意されたい。理論的な観点から、範囲（０，∞）は、完全な再構成を実行するための好ましい変形形態であり、上述した限定された範囲で十分であることが実際に示されている。この手法に起因して、ＤＮＮを使用することによって時間－周波数フィルタの統計的推定を解消することが可能である。
図２ａに示す例に関して、ここでは正方形フィルタが使用されており、フィルタ１０はこの形状に限定されないことに留意されたい。また、フィルタ１０ｘは、２次元、すなわち周波数次元および時間次元を有し、別の実施形態によれば、フィルタ１０ｘは、単に１次元、すなわち周波数次元または時間次元または別の（図示しない）次元を有することが可能であることに留意されたい。さらにまた、フィルタ１０ａは、図示された２次元よりも多くの次元を有し、すなわち、多次元フィルタとして実装されてもよいことに留意されたい。フィルタ１０ｘは、２Ｄの複素ＳＴＦＴフィルタとして示されているが、別の可能な選択肢は、フィルタが追加のセンサ次元を有するＳＴＦＴとして実装される、すなわち、必ずしも複素フィルタではないということである。代替形態は、実数値フィルタまたは４値フィルタである。これらのフィルタはまた、多次元深層フィルタを形成するように、少なくとも１次元、または多次元を有することができる。
多次元フィルタは、様々な異なるタスク（信号分離、信号再構成、信号抽出、ノイズ低減、帯域幅拡張、・・・）のための多目的解決策を提供する。それらは、時間－周波数マスク（最先端技術）よりも良好に信号抽出および分離を実行することができる。それらは、相殺的干渉を低減するため、パケット損失隠蔽または帯域幅拡張の目的で適用されることができ、これは、相殺的干渉と同様の問題であり、したがって、時間－周波数マスクによって対処することができない。さらにまた、それらは、信号をデクリッピングする目的に適用されることができる。
深層フィルタは、様々な次元、例えば時間－周波数またはセンサに沿って指定されることができ、これは、それを非常に柔軟にし、様々な異なるタスクに適用可能にする。
従来技術と比較して、時間－周波数（ＴＦ）マスクを使用して最も一般的に実行される追加の望ましくない信号を有する単一チャネル混合物からの信号抽出は、ＤＮＮを使用して推定された複素ＴＦフィルタが、混合物ＴＦビン内の相殺的干渉に対処するために、それぞれの混合物内のＳＴＦＴ領域を所望のＴＦビンにマッピングする各混合物ＴＦビンについて推定されることを明らかにする。上述したように、ＤＮＮは、グランドトゥルースＴＦフィルタを指定する必要なく訓練することを可能にするが、誤差低減によってフィルタを学習することを可能にする、抽出された所望信号とグランドトゥルースの所望信号との間の誤差を最小化することによって最適化されることができる。完全を期すために、従来の手法は、追加の望ましくない信号を有する単一チャネル混合物からの信号抽出のためのものであり、最も一般的には時間－周波数（ＴＦ）マスクを使用して実行されることに留意されたい。典型的には、深層ニューラルネットワークＤＮＮを用いてマスクが推定され、要素ごとに複素混合短時間フーリエ変換（ＳＴＦＴ）表現に適用されて抽出を行う。理想的なマスクの大きさは、ＴＦビン内の望ましくない信号のみについてはゼロであり、全体的な相殺的干渉については無限大である。通常、マスクは、限られた抽出能力を犠牲にして明確に定義されたＤＮＮ出力を提供する上限を有する。
以下、図３を参照して、フィルタの設計プロセスについてより詳細に説明する。
図３は、ＤＮＮ２０を使用する入力ＳＴＦＴ１０の実数および虚数値をフィルタ１０ｘにマッピングする例示的なＤＮＮアーキテクチャを示している（図３ａを参照されたい）。図３ｂに示す実装形態によれば、ＤＮＮアーキテクチャは、複数層を含むことができ、その結果、それらのマッピングは、３つの双方向長短期記憶層ＢＬＴＳＭＳ（または３つの長短期記憶層）ＬＳＴＭＳ（双方とも、深層フィルタの実数値および虚数値への双曲線正接活性化を伴うフィードフォワード層を追加する、のいずれかを使用して実行される。ＢＬＳＴＭＳは、時間方向および逆時間方向にＬＳＴＭ経路を有することに留意されたい。
第１のステップは、問題特有のフィルタ構造を定義することである。方法１００（図２ｂを参照されたい）では、この任意のステップは、参照符号１０５によってマークされている。この構造設計は、計算複雑度間のトレードオフである（すなわち、より多くの計算が必要とされるより多くのフィルタ値、および過度に少ないフィルタ値が与えられた場合の性能、例えば、相殺的干渉またはデータ損失が再び役割を果たすことができるため、再構成境界が与えられる）。
深層フィルタ１０ｘは、混合物１０またはその特徴表現をＤＮＮ２０に与えることによって得られる。特徴表現は、例えば、入力１０としての複素混合物ＳＴＦＴの実数部および虚数部であってもよい。
上記のように、ＤＮＮアーキテクチャは、例えば、バッチ正規化層、（双方向）長短期記憶層（ＢＬＳＴＭ）、および例えば双曲線正接活性化を有するフィードフォワード出力層から構成されることができる。双曲線正接活性化は、［－１，１］のＤＮＮ出力層をもたらす。具体例が付録に与えられる。ＢＬＳＴＭＳの代わりにＬＳＴＭが使用される場合、ＤＮＮ構造において時間的に逆方向の経路が回避されるため、オンライン分離／再構成が実行されることができる。もちろん、追加層または代替層がＤＮＮアーキテクチャ１０内で使用されることができる。
さらなる実施形態によれば、フィルタを混合物に適用することによって与えられるグラウンドトゥルースと推定信号との間の平均二乗誤差を用いてＤＮＮが訓練されることができる。図２は、ＤＮＮによって推定された例示的なフィルタの適用を示している。入力内の赤い十字は、抽出において対応するＳＴＦＴビン（赤い十字によってマークされている）を推定するために複素フィルタ値が推定されたＳＴＦＴビンをマークしている。抽出ＳＴＦＴにおける各値に対するフィルタ推定が存在する。分離されるべき入力ＳＴＦＴ内にＮ個の所望のソースがあると仮定すると、抽出プロセスは、それらのそれぞれに対して個別に実行される。フィルタは、例えば図４に示すアーキテクチャを用いて、各ソースについて推定されなければならない。
図４は、入力ＳＴＦＴ１０の実数値および虚数値を複数のフィルタ１０ｘ１から１０ｘｎにマッピングする例示的なＤＮＮアーキテクチャを示している。フィルタ１０ｘ１から１０ｘｎのそれぞれは、異なる所望のソース用に設計されている。このマッピングは、図３に関して説明したように、ＤＮＮ２０を使用して実行される。
実施形態によれば、推定／決定された深層フィルタは、異なる用途シナリオに使用されることができる。実施形態は、上述した原理にしたがって決定された深層フィルタの使用による信号抽出および分離のための方法を提供する。
１つまたはいくつかの所望の信号が混合物ＳＴＦＴから抽出されなければならない場合、可能なフィルタ形式は、所望の信号の分離／抽出を実行するための所望のソースごとのＳＴＦＴビンごとの２Ｄ矩形フィルタである。そのような深層フィルタが図２ａに示されている。
さらなる実施形態によれば、深層フィルタは、信号再構成に使用されてもよい。ＳＴＦＴ混合物がプレフィルタリング（例えばノッチフィルタ）によって劣化した場合、クリッピングアーチファクト、または所望の信号の一部が欠落している（例えば、伝送中または狭帯域伝送中に失われるパケット［例えば、［９］］に起因する）。
上記の場合、所望の信号は、時間および／または周波数情報を使用して再構成されなければならない。
検討されたシナリオは、ＳＴＦＴビンが時間次元または周波数次元のいずれかで欠落していた再構成問題に対処している。帯域幅拡張（例えば、狭帯域伝送の場合）の文脈では、特定のＳＴＦＴ領域が欠落している（例えば、上側周波数）。劣化していないＳＴＦＴビンに関する事前知識により、フィルタの数を劣化したＳＴＦＴビンの数に低減することが可能である（すなわち、上側周波数の欠落）。矩形フィルタ構造を維持することができるが、帯域幅拡張を実行するために所与のより低い周波数に深層フィルタを適用することができる。
上記の実施形態の実施形態／実装形態は、複素時間－周波数フィルタを使用した信号抽出に使用される深層フィルタを説明している。以下の手法では、Ｇｏｏｇｌｅ ＡｕｄｉｏＳｅｔコーパスからの様々な異なるサウンドおよびノイズクラスから音声を分離することによる、複素値および実数値のＴＦマスクを用いた手法との比較が与えられる。ここで、混合物ＳＴＦＴは、この手法の再構成能力を実証するために、ノッチフィルタおよびゼロ全時間フレームによって処理されることができる。提案された方法は、特にノッチフィルタおよび時間フレームゼロ化が適用された場合に、ベースラインを上回った。
現実世界の信号は、マイクロフォンの白色自己雑音、バブルノイズのような背景音、または交通のような望ましくないノイズ源または干渉物によって乱されることが多いが、拍手のような衝撃音もある。ノッチフィルタリングのような前処理、または空間コムフィルタを引き起こす特定の部屋音響効果もまた、記録された信号の品質の低下に寄与することができる。そのような混合物から所望の信号を抽出および／または再構成することは、高品質の信号が必要な場合に非常に望ましい。可能な用途は、例えば、記録された音声信号を強化すること、異なるソースを互いに分離すること、またはパケット損失隠蔽である。信号抽出方法は、単一チャネルおよびマルチチャネルの手法に広く分類されることができる。この文献では、単一チャネル手法に焦点を当て、所望の信号および望ましくない信号の混合物から所望の信号を抽出する問題に対処する。
一般的な手法は、短時間フーリエ変換（ＳＴＦＴ）領域においてこの抽出を実行し、所望のスペクトル振幅（例えば、［１］）または時間周波数（ＴＦ）マスクのいずれかが推定され、次いでこれが抽出を実行するために複素混合物ＳＴＦＴに要素ごとに適用される。ＴＦマスクを推定することは、通常、性能上の理由からスペクトルの大きさを直接推定することよりも好ましい［２］。典型的には、ＴＦマスクは、出力層がＳＴＦＴマスクを直接もたらすことが多い深層ニューラルネットワーク（ＤＮＮ）（例えば、［２］－［９］）による混合物表現から推定される。そのようなＤＮＮを訓練するための２つの一般的な手法が存在する。まず、グランドトゥルースマスクが定義され、ＤＮＮは、グランドトゥルースと推定マスクとの間の誤差関数を最小化することによって、混合物を学習してマスクマッピングを行う（例えば、［３］、［５］）。第２の手法では、ＤＮＮは、推定された信号と所望の信号との間の誤差関数を直接最小化することによってマッピングを学習する（例えば、［８］、［１０］、［１１］）。Ｅｒｄｏｇａｎら［１２］は、直接最適化が二乗混合物の大きさによって重み付けされたマスク最適化に等しいことを示した。その結果、損失に対する高エネルギーＴＦビンの影響が増加し、低エネルギーの影響が減少する。さらにまた、グランドトゥルースマスクは、グランドトゥルースの所望信号内で暗黙的に与えられるため、定義される必要はない。
異なる抽出タスクのために、異なるタイプのＴＦマスクが提案されている。各ＴＦビン内の信号が所望の信号または望ましくない信号のいずれかにのみ属するＳＴＦＴ領域内の混合物を考えると、抽出は、例えば［５］、［７］において使用されたバイナリマスク［１３］を使用して実行されることができる。いくつかのソースが同じＴＦビンにおいて活性であるＳＴＦＴ領域における混合物を考えると、比マスク（ＲＭ）［１４］または複素比マスク（ｃＲＭ）［１５］が適用されることができる。双方とも、所望のスペクトルを推定するために各混合物ＴＦビンに利得を割り当てる。ＲＭの実数値利得は、混合物から所望のスペクトルへのＴＦビンごとの大きさ補正を実行する。推定相は、この場合、混合相に等しい。ｃＲＭは、実際の利得の代わりに複素を適用し、さらに位相補正を実行する。スピーカ分離、残響除去、およびノイズ除去は、ＲＭ（例えば、［６］、［８］、［１０］、［１１］、［１６］）およびｃＲＭ（例えば、［３］、［４］）を使用して達成されている。理想的には、望ましくない信号のみがＴＦビン内で活性である場合、ＲＭおよびｃＲＭの大きさはゼロであり、所望の信号および望ましくない信号が特定のＴＦビン内で破壊的に重複する場合、無限大である。無限大に近い出力は、ＤＮＮでは推定されることができない。明確に定義されたＤＮＮ出力を得るために、ＤＮＮを用いて圧縮マスク（例えば、［４］）を推定し、解凍後に抽出を実行して高振幅のマスク値を得ることが可能である。しかしながら、ＤＮＮ出力のノイズが弱いと、推定マスクが大きく変化し、大きな誤差が生じる可能性がある。さらにまた、ＴＦビン内の所望の信号および望ましくない信号が合計でゼロになる場合、圧縮されたマスクもまた、乗算によってゼロからそれぞれの大きさを再構成することができない。大抵の場合、より高い値もノイズ増幅のリスクを伴うことから、相殺的干渉の場合は無視され（例えば、［６］、［１１］、［１７］）、１に制限されたマスク値が推定される。マスクに加えて、複素数値ＴＦフィルタ（例えば、［１８］）も信号抽出の目的のために適用されている。現在のＴＦフィルタ手法は、通常、現実世界のシナリオに存在するような急速に変化する統計を有する多種多様な未知の干渉信号を考えると重要であり得る統計的推定ステップ（例えば、［１８］－［２１］）を組み込む。
この文献では、本発明者らは、ＤＮＮを使用してＳＴＦＴ領域内の各ＴＦビンの複素値ＴＦフィルタを推定し、未知の統計量を有する高度に非定常な信号の抽出にも対処することを提案する。フィルタは、それぞれの混合物ＳＴＦＴ中の定義された領域に要素ごとに適用される。結果は合計されて、それぞれのＴＦビン内の所望の信号の推定値を取得する。個々の複素フィルタ値は、明確に定義されたＤＮＮ出力を提供するために大きさが制限される。各推定ＴＦビンは、複合混合物中のＴＦビン面積の複合加重和である。これは、マスク圧縮のノイズ感度なしに、単一のＴＦビンにおける相殺的干渉の場合に対処することを可能にする。それはまた、非ゼロの大きさを有する隣接するＴＦビンを考慮に入れることによって、ゼロであるＴＦビンを再構成することを可能にする。ＤＮＮとＴＦフィルタとの組み合わせは、ＴＦマスクおよび既存のＴＦフィルタ手法の双方の欠点を軽減する。
文献は、以下のように構成される。セクションＩＩでは、ＴＦマスクを用いた信号抽出プロセスを提示し、続いて、セクションＩＩＩでは、本発明者らの提案方法を説明する。セクションＩＶは、本発明者らが使用したデータセットを含み、セクションＶは、本発明者らの理論的考察を検証するための実験の結果を含む。
この抽出から開始して、ＳＴＦＴマスクベースの抽出が実行される。性能評価においてベースラインとして使用されるマスクの実装詳細を提供しながら、ＴＦマスクによって処理される抽出について説明する。
Ａ．目的
ＳＴＦＴ領域において、混合物の複素単一チャネルスペクトルをＸ（ｎ，ｋ）、所望の信号をＸｄ（ｎ，ｋ）、望ましくない信号をＸｕ（ｎ，ｋ）と定義し、ｎは時間フレームであり、ｋは周波数インデックスである。混合物Ｘ（ｎ，ｋ）は、重畳
Figure 2022529912000015
（１）
であると考える。
我々の目的は、重畳
Figure 2022529912000016
（２）となるＸ（ｎ，ｋ）にマスクを適用することによってＸｄ（ｎ，ｋ）の推定値を得ることである。
ここで、
Figure 2022529912000017
は、推定された所望の信号であり、
Figure 2022529912000018
（ｎ，ｋ）は、推定されたＴＦマスクである。バイナリマスクの場合、
Figure 2022529912000019
（ｎ，ｋ）は∈｛０，１｝であり、ＲＭの場合、上限ｂ∈
Figure 2022529912000020
を有する
Figure 2022529912000021
（ｎ，ｋ）∈［０，ｂ］であり、ｃＲＭの場合、｜
Figure 2022529912000022
（ｎ，ｋ）｜は、∈［０，ｂ］であり、
Figure 2022529912000023
（ｎ，ｋ）は∈Ｃである。上限ｂは、通常、１または１に近い。バイナリマスクは、ＴＦビンを分類し、ＲＭは、大きさ補正を実行し、ｃＲＭは、
Ｘ（ｎ，ｋ）から
Figure 2022529912000024
まで位相補正をさらに実行する。抽出問題に対処することは、この場合、マスク推定問題に対処することに等しい。
通常、ＴＦマスクは、全てのＮ・・・Ｋ個のＴＦビンについて事前定義されたグランドトゥルースのＴＦマスクを推定するように最適化されたＤＮＮを用いて推定され、Ｎは、時間フレームの総数であり、Ｋは、グランドトゥルースマスクＭ（ｎ，ｋ）を用いた時間フレーム
Figure 2022529912000025
（３）
、または再構成Ｘｄ（ｎ，ｋ）および
Figure 2022529912000026
を低減するために、
Figure 2022529912000027
（４）
または
大きさの再構成
Figure 2022529912000028
（５）
ごとの周波数ビンの数である。
再構成誤差を最適化することは、損失に対する低エネルギーのＴＦビンの影響を低減し且つ高エネルギーＴＦビンの影響を増加させるマスクの重み付け最適化と等価である［１２］。（１）の相殺的干渉の場合、
Figure 2022529912000029
（６）
によって与えられる周知の三角形不等式が成立し、１＜｜Ｍ（ｎ，ｋ）｜
Figure 2022529912000030
を必要とする。したがって、マスク上限ｂを超えて大域最適値に到達することはできない。
Ｂ．実装
マスク推定のために、バッチノルム層と、それに続く層あたり１２００ニューロンを有する３つの双方向長短期記憶（ＢＬＳＴＭ）層［２２］と、ＴＦビン∈［－１，１］あたり虚数出力および実数出力を表す次元（Ｎ，Ｋ，２）を有する出力Ｏをもたらす双曲線正接活性化を有するフィードフォワード出力層とを有するＤＮＮを使用する。
マスク推定のために、本発明者らは、ＲＭおよびｃＲＭ手法について同じ数の訓練可能なパラメータおよび同じ最大｜
Figure 2022529912000031
｜を有するようにモデルを設計した。本発明者らは、ＴＦビンごとに、Ｘのスタックされた虚数部および実数部と、ＯｒおよびＯｉとして定義される２つの出力とを有する実数値ＤＮＮを使用した。これらは、虚数および実数マスク成分として解釈されることができる。ＲＭ推定のために、
Figure 2022529912000032
（ｎ，ｋ）＝
Figure 2022529912000033
を計算し、
Figure 2022529912000034
（ｎ，ｋ）∈［０，√２］をもたらした。ｃＲＭ Ｒｅ｛
Figure 2022529912000035
（ｎ，ｋ）｝｝＝Ｏｒ（ｎ，ｋ）およびＩｍ｛
Figure 2022529912000036
（ｎ，ｋ）｝の場合、１と√２との間の大きさであり、ここで、Ｏｉ（ｎ，ｋ）に対して１が達成される。この設定は、位相依存最大ｃＲＭの純粋な実数マスク値または虚数マスク値、および｜Ｏｒ（ｎ，ｋ）｜＝｜Ｏｉ（ｎ，ｋ）｜＝１についての√２をもたらし、ＲＭと比較してｃＲＭの増幅欠点をもたらす。（５）によって最適化されたＲＭおよび（４）によって最適化されたｃＲＭを推定するために２つのＤＮＮを訓練した。ｃＲＭについて、（２）におけるＸ（ｎ，ｋ）および
Figure 2022529912000037
（ｎ，ｋ）の複素乗算を
Figure 2022529912000038
によって計算した。
（ｎ，ｋ）は、簡潔にするために省略されていることに留意されたい。本発明者らは１００エポックを訓練し、Ａｄａｍ［２３］のオプティマイザを使用し、ＢＬＳＴＭにおいて０．４のドロップアウト［２４］、６４のバッチサイズ、１ｅ－４の初期学習率に各エピソード後の０．９を乗算し、検証損失は減少しなかった。
以下、提案されたＳＴＦＴフィルタベースの抽出の改善された手法について説明する。ここでは、特に、ＴＦマスクの代わりにＳＴＦＴ領域フィルタを使用してｘｄを推定する方法が示される。このフィルタは深層フィルタ（ＤＦ）と呼ばれる。
Ａ．目的
本発明者らは、複素フィルタ
Figure 2022529912000039
（９）を適用することによって、
Figure 2022529912000040
から
Figure 2022529912000041
を取得し、ここで、２・Ｌ＋１は時間フレーム方向および２・Ｉ＋１は周波数方向におけるフィルタ次元であり、
Figure 2022529912000042
は、ＴＦビンの複素共役２Ｄフィルタ（ｎ，ｋ）である。一般性を失うことなく、本発明者らは、提示の簡単さの理由のみのために（９）において正方形フィルタを使用したことに留意されたい。フィルタ値は、明確に定義されたＤＮＮ出力
Figure 2022529912000043
（１０）を提供するために大きさが制限されたマスク値のようなものである。
ＤＮＮは、グランドトゥルースフィルタ（ＧＴＦ）を定義する必要なしに訓練を可能にし、再構成平均二乗誤差（ＭＳＥ）を直接最適化する（４）にしたがって最適化される。同じ抽出結果をもたらす異なるフィルタ値の組み合わせは通常無限に多いため、ＧＴＦの決定は重要である。無限に多くのＧＴＦのセットからＴＦビンに対してＧＴＦがランダムに選択された場合、選択されたフィルタ間に一貫性がないため、訓練は失敗する。この状況は、ＧＴＦ設計者にとっては部分的に観察可能なプロセスであり、ＤＮＮにとっては完全に観察可能なプロセスであると解釈することができる。入力データ特性から、ＤＮＮは、あいまいさなしにどのフィルタを取るかを正確に決定することができる。ＧＴＦ設計者は、可能なＧＴＦのセットが無限に大きいが、現在のＤＮＮ更新が以前の更新と一致するように、入力データを解釈してどのＧＴＦを取るかを決定することができない。（４）によって訓練することにより、ＧＴＦ選択の問題を回避する。
Ｂ．実装
出力形状を（Ｎ，Ｋ，２，２・Ｌ＋１，２・Ｉ＋１）に変更するセクションＩＩ－Ｂにおいて提案したものと同じＤＮＮを使用した。ここで、最後の２つのエントリはフィルタ次元である。（９）における複素乗算は、（７）および（８）に示すように行った。本発明者らの実験では、Ｌ＝２およびＩ＝１を設定し、その結果、フィルタの最大値｜Ｈｎ，ｋ（ｌ，ｉ）｜は、（５，３）の次元についての位相依存∈
Figure 2022529912000044
である。サブセクションＩＩ－ＢにおけるｃＲＭと同様に、出力層活性化を使用した。全ての｜Ｈｎ，ｋ（ｌ，ｉ）｜は少なくとも１とすることができるため、ＤＮＮは、
Figure 2022529912000045
（１１）
の場合、理論的に（４）をその大域的最適値ゼロに最適化することができ、ここで、
Figure 2022529912000046
∈
Figure 2022529912000047
は、本発明者らの設定において全てのフィルタ値が到達することができる最大の大きさであり、ｃ＝１である。したがって、相殺的干渉に対処するために、ｃによって重み付けされたフィルタによって考慮される全ての混合物の大きさの合計は、少なくとも所望のＴＦビンの大きさに等しくなければならない。フィルタがエッジにおけるＴＦビンについてのスペクトルを超えると、時間軸上のＬ個のゼロおよび周波数軸上のＩ個のゼロによってスペクトルをゼロパディングする。
ＩＶ．データセット
本発明者らは、（音声サンプルなしの）干渉元としてＡｕｄｉｏＳｅｔ［２５］を使用し、所望の音声データコーパスとしてＬＩＢＲＩ［２６］を使用した。全てのデータを８ｋＨｚのサンプリング周波数にダウンサンプリングし、５秒間の持続時間を有した。ＳＴＦＴの場合、ホップサイズを１０ｍｓ、フレーム長を３２ｍｓに設定し、Ｈａｎｎ窓を使用した。したがって、本発明者らの試験では、Ｋ＝１２９およびＮ＝５０１である。
ホワイトノイズ、ＡｕｄｉｏＳｅｔからの干渉、ノッチフィルタリングおよびランダム時間フレームゼロ化（Ｔ－キル）を加えることによって、所望の音声サンプルを劣化させた。各劣化は５０％の確率でサンプルに適用された。ＡｕｄｉｏＳｅｔ干渉について、本発明者らは、５秒のＡｕｄｉｏＳｅｔおよびＬＩＢＲＩからの所望の音声をランダムに選択して、１つの訓練サンプルを計算した。音声および干渉は、セグメント信号対雑音比（ＳＮＲ）∈［０，６］ｄＢ、ＳＮＲ∈［２０，３０］ｄＢの音声およびホワイトノイズと混合された。ノッチフィルタリングのために、品質係数∈［１０，４０］を有する中心周波数をランダムに選択した。Ｔ－キルを適用した場合、各時間フレームは１０％の確率でゼロにされた。本発明者らは、それぞれのセットのＬＩＢＲＩを使用し、上述した劣化を用いて、１０００００個の訓練サンプル、５０００個の検証サンプルおよび５００００個の試験サンプルを生成した。過剰適合を回避するために、ＡｕｄｉｏＳｅｔおよびＬＩＢＲＩからの別個の音声および干渉サンプルから訓練、検証および試験サンプルを作成した。試験サンプルを３つのサブセット、すなわち、試験１、試験２、および試験３に分けた。試験１では、ＡｕｄｉｏＳｅｔからの干渉によって音声のみが劣化した。試験２では、音声は、ノッチフィルタ処理とＴ－キルの双方によってのみ劣化した。試験３では、干渉、ノッチフィルタ、およびＴ－キルによって同時に音声が劣化した。全てのサブセットは、ホワイトノイズの有無にかかわらずサンプルを含む。
Ｄ．性能評価
性能評価のために、信号対歪み比（ＳＤＲ）、信号対アーチファクト比（ＳＡＲ）、信号対干渉比（ＳＩＲ）［２７］、再構成ＭＳＥ（（４）を参照）、短時間客観的了解度（ＳＴＯＩ）［２８］、［２９］、および試験データセットを使用した。
最初に、処理時にクリーンな音声がどのように劣化するかを試験した。ＲＭ、ｃＲＭ、およびＤＦ適用後のＭＳＥは、それぞれ、－３３．５、－３０．７、および－３０．２ｄＢであった。誤差は非常に小さく、ＤＮＮ出力上のノイズによって引き起こされると仮定する。ＲＭは、ＤＮＮ出力上のノイズが大きさのみに影響を及ぼすために最小のＭＳＥを生成し、次いで位相および大きさとしてのｃＲＭが影響を受け、最後にＤＦが最も高いＭＳＥを導入する。非公式の聴取試験では、差は認められなかった。表Ｉは、試験１～３の平均結果を示している。試験１では、ＤＦ、ｃＲＭおよびＲＭは、見えない干渉に対して良好に一般化することを示した。ＲＭの代わりにｃＲＭを用いた処理は、ｃＲＭではあるが性能改善をもたらさなかった。
表Ｉ：試験１におけるＡｕｄｉｏＳｅｔ干渉による、試験２におけるノッチフィルタおよび時間フレームゼロ化（Ｔ－キル）による、ならびに試験３における組み合わせによる、劣化した試験サンプルのＲＭ、ｃＲＭ、およびＤＦについてのＳＤＲ、ＳＩＲ、ＳＡＲ、ＭＳＥ（ｄＢ単位）、ＳＴＯＩの平均結果；非提案、試験１、２、３についてそれぞれＭＳＥ １．６０、－７．８０、１．１２およびＳＴＯＩ ０．８１、０．８９、０．７６
Figure 2022529912000048
大きさの補正に加えて位相を行う。これは、サブセクションＩＩ－Ｂに記載されている使用されているＤＮＮアーキテクチャによって引き起こされるＲＭと比較して、ｃＲＭの増幅欠点から生じ得る。メトリックＳＴＯＩの場合、ＤＦおよびＲＭは同等に実行されたが、他のメトリックの場合、ＤＦはより良好に実行され、ＳＤＲにおいて０．６１ｄＢのさらなる改善を達成した。ＭＳＥ結果の箱ひげ図が図５に示されている。これは、相殺的干渉に対するＤＦの高度な再構成能力によって引き起こされると仮定する。試験２では、試験条件が相殺的干渉に匹敵するシナリオを提供したため、ＤＦは、予想通りｃＲＭおよびＲＭを明らかに上回った。図６は、ＤＦによる強化後の、第５の時間フレームおよび周波数軸ごとのゼロ化による、クリーン音声、劣化音声の対数振幅スペクトルを示している。この図６の劣化は、データセットにおけるランダムな時間フレームゼロ化とは異なり、例示目的のためにのみ実行された。グリッドのトレースは、（４）における損失によって注目されるように、低エネルギースペクトル領域では依然として視認可能であるが、高エネルギースペクトル領域では視認可能ではない。試験３では、ＤＦは全ての劣化に対処することができるが、ＲＭおよびｃＲＭは対応することができないため、ＤＦが最も良好に機能した。ベースラインｃＲＭおよびＲＭは同等で実行された。
結論は以下の通りである：
本発明者らは、信号抽出のための時間周波数マスクの概念を複素フィルタに拡張して、干渉低減を増加させ、信号歪みを減少させ、所望の信号および望ましくない信号の相殺的干渉に対処した。本発明者らは、所望の信号と推定された信号との間のＭＳＥを最小化することによって訓練された深層ニューラルネットワークを用いてフィルタを推定することを提案し、無限の多くの可能性が与えられたネットワーク訓練のためのフィルタを一貫して定義する必要性のために重要となる訓練のためのグランドトゥルースフィルタの定義を回避する。フィルタおよびマスク方法は、それらの一般化可能性を示し、クリーンな音声を処理するときに非常に小さな誤差しか導入しないＡｕｄｉｏＳｅｔからの未知の干渉信号を考慮して、音声抽出を実行することができた。本発明者らの手法は、性能が同等であった１つのメトリックを除く、全てにおいて複素比マスク、および全てにおいて比マスクベースライン性能を上回った。干渉低減に加えて、本発明者らは、時間フレームゼロ化またはノッチフィルタによるフィルタリングによってシミュレートされたデータ損失に対処することができるかどうかを試験し、本発明者らの提案方法のみが所望の信号を再構成することができることを示した。したがって、深層フィルタでは、パケット損失または未知の干渉が与えられた非常に不利な条件下で、信号抽出および／または再構成が実行可能であるように思われる。
上述したように、上述した手法は、コンピュータによって実行されてもよく、すなわち、実施形態は、上述した方法のうちの１つを実行するコンピュータプログラムを指す。同様に、本手法は、装置を使用して実行されてもよい。
いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたは項目または機能の説明も表す。方法ステップの一部または全ては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（または使用して）実行されることができる。いくつかの実施形態では、いくつかの１つ以上の最も重要な方法ステップが、そのような装置によって実行されることができる。
本発明の符号化された音声信号は、デジタル記憶媒体に記憶されることができるか、または無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体上で送信されることができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されることができる。実装は、電子的に読み取り可能な制御信号が記憶され、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどのデジタル記憶媒体を使用して行うことができる。したがって、デジタル記憶媒体は、コンピュータ可読とすることができる。
本発明にかかるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協調することができる電子的に読み取り可能な制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、プログラムコードを備えたコンピュータプログラム製品として実装されることができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するために動作する。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを備える。
換言すれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをその上に記録したデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および／または非一時的である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブルロジックデバイスを備える。
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。
本発明にかかるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを備える。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置などとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能のいくつかまたは全てを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協調することができる。一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。
上述した実施形態は、本発明の原理を単に例示するものである。本明細書に記載された構成および詳細の変更および変形は、他の当業者にとって明らかであることが理解される。したがって、本明細書の実施形態の記載および説明として提示された特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図される。
参考文献
［０１］ Ｊ． Ｌｅ Ｒｏｕｘ ａｎｄ Ｅ． Ｖｉｎｃｅｎｔｅ， “Ｃｏｎｓｉｓｔｅｎｔ Ｗｉｅｎｅｒ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ａｕｄｉｏ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ，” ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ， ｐｐ． ２１７－２２０， Ｍａｒｃｈ ２０１３．
［０２］ Ｂ． Ｊａｃｏｂ ， Ｊ． Ｃｈｅｎ ａｎｄ Ｅ． Ａ． Ｐ． Ｈａｂｅｔｓ， Ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ ｉｎ ｔｈｅ ＳＴＦＴ ｄｏｍａｉｎ， Ｓｐｒｉｎｇｅｒ Ｓｃｉｅｎｃｅ ＆ Ｂｕｓｉｎｅｓｓ Ｍｅｄｉａ．， ２０１１．
［０３］ Ｔ． Ｖｉｒｔａｎｅｎ， “Ｍｏｎａｕｒａｌ ｓｏｕｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｂｙ ｎｏｎｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ｗｉｔｈ ｔｅｍｐｏｒａｌ ｃｏｎｔｉｎｕｉｔｙ ａｎｄ ｓｐａｒｓｅｎｅｓｓ ｃｒｉｔｅｒｉａ，” ＩＥＥＥ ＴＲＡＮＳ． ＯＮ ＡＵＤＩＯ， ＳＰＥＥＣＨ， ＡＮＤ ＬＡＮＧＵＡＧＥ ＰＲＯＣＥＳ．， ｐｐ． １０６６－１０７４， Ｆｅｂｒｕａｒｙ ２００７．
［０４］ Ｆ． Ｗｅｎｉｎｇｅｒ， Ｊ． Ｌ． Ｒｏｕｘ， Ｊ． Ｒ． Ｈｅｒｓｈｅｙ ａｎｄ Ｓ． Ｗａｔａｎａｂｅ， “Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ＮＭＦ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｓｉｎｇｌｅ－ｃｈａｎｎｅｌ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ，” Ｉｎ Ｆｉｆｔｅｅｎｔｈ Ａｎｎｕａｌ Ｃｏｎｆ． ｏｆ ｔｈｅ Ｉｎｔｌ． Ｓｐｅｅｃｈ Ｃｏｍｍｕｎ． Ａｓｓｏｃ．， Ｓｅｐｔｅｍｂｅｒ ２０１４．
［０５］ Ｄ． Ｗａｎｇ ａｎｄ Ｊ． Ｃｈｅｎ， “Ｓｕｐｅｒｖｉｓｅｄ ｓｐｅｅｃｈ ｓｅｐａｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ： Ａｎ ｏｖｅｒｖｉｅｗ，” Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， ｐｐ． １７０２ － １７２６， Ｍａｙ ２０１８．
［０６］ Ｊ． Ｒ． Ｈｅｒｓｈｅｙ， Ｚ． Ｃｈｅｎ， Ｊ． Ｌ． Ｒｏｕｘ ａｎｄ Ｓ． Ｗａｔａｎａｂｅ， “Ｄｅｅｐ ｃｌｕｓｔｅｒｉｎｇ： Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｅｍｂｅｄｄｉｎｇｓ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｓｅｐａｒａｔｉｏｎ，” Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， ｐｐ． ３１－３５， Ｍａｒｃｈ ２０１６．
［０７］ Ｙ． Ｄｏｎｇ， Ｍ． Ｋｏｌｂａｅｋ， Ｚ． Ｈ． Ｔａｎ ａｎｄ Ｊ． Ｊｅｎｓｅｎ， “Ｐｅｒｍｕｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｍｏｄｅｌｓ ｆｏｒ ｓｐｅａｋｅｒ－ｉｎｄｅｐｅｎｄｅｎｔ ｍｕｌｔｉ－ｔａｌｋｅｒ ｓｐｅｅｃｈ ｓｅｐａｒａｔｉｏｎ，” Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， ｐｐ． ２４１－２４５， Ｍａｒｃｈ ２０１７．
［０８］ Ｄ． Ｓ． Ｗｉｌｌｉａｍｓｏｎ ａｎｄ Ｄ． Ｗａｎｇ， “Ｓｐｅｅｃｈ ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ ａｎｄ ｄｅｎｏｉｓｉｎｇ ｕｓｉｎｇ ｃｏｍｐｌｅｘ ｒａｔｉｏ ｍａｓｋｓ，” Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， ｐｐ． ５５９０－５５９４， Ｍａｒｃｈ ２０１７．
［０９］ Ｊ． Ｌｅｃｏｍｔｅ ｅｔ ａｌ．， “Ｐａｃｋｅｔ－ｌｏｓｓ ｃｏｎｃｅａｌｍｅｎｔ ｔｅｃｈｎｏｌｏｇｙ ａｄｖａｎｃｅｓ ｉｎ ＥＶＳ，” Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， ｐｐ． ５７０８－５７１２， Ａｕｇｕｓｔ ２０１５．
［１］ Ｋ． Ｈａｎ， Ｙ． Ｗａｎｇ， Ｄ． Ｗａｎｇ， Ｗ． Ｓ． Ｗｏｏｄｓ， Ｉ． Ｍｅｒｋｓ， ａｎｄ Ｔ． Ｚｈａｎｇ， “Ｌｅａｒｎｉｎｇ ｓｐｅｃｔｒａｌ ｍａｐｐｉｎｇ ｆｏｒ ｓｐｅｅｃｈ ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ ａｎｄ ｄｅｎｏｉｓｉｎｇ，” ＩＥＥＥ／ＡＣＭ Ｔｒａｎｓ． Ａｕｄｉｏ， Ｓｐｅｅｃｈ， Ｌａｎｇ． Ｐｒｏｃｅｓｓ．， ｖｏｌ． ２３， ｎｏ． ６， ｐｐ． ９８２－９９２， Ｊｕｎｅ ２０１５．
［２］ Ｙ． Ｗａｎｇ， Ａ． Ｎａｒａｙａｎａｎ， ａｎｄ Ｄ． Ｗａｎｇ， “Ｏｎ ｔｒａｉｎｉｎｇ ｔａｒｇｅｔｓ ｆｏｒ ｓｕｐｅｒｖｉｓｅｄ ｓｐｅｅｃｈ ｓｅｐａｒａｔｉｏｎ，” ＩＥＥＥ／ＡＣＭ Ｔｒａｎｓ． Ａｕｄｉｏ， Ｓｐｅｅｃｈ， Ｌａｎｇ． Ｐｒｏｃｅｓｓ．， ｖｏｌ． ２２， ｎｏ． １２， ｐｐ． １８４９－１８５８， Ｄｅｃｅｍｂｅｒ ２０１４．
［３］ Ｄ． Ｓ． Ｗｉｌｌｉａｍｓｏｎ， Ｙ． Ｗａｎｇ， ａｎｄ Ｄ． Ｗａｎｇ， “Ｃｏｍｐｌｅｘ ｒａｔｉｏ ｍａｓｋｉｎｇ ｆｏｒ ｍｏｎａｕｒａｌ ｓｐｅｅｃｈ ｓｅｐａｒａｔｉｏｎ，” ＩＥＥＥ Ｔｒａｎｓ． Ａｕｄｉｏ， Ｓｐｅｅｃｈ， Ｌａｎｇ． Ｐｒｏｃｅｓｓ．， ｖｏｌ． ２４， ｎｏ． ３， ｐｐ． ４８３－４９２， Ｍａｒｃｈ ２０１６．
［４］ Ｄ． Ｓ． Ｗｉｌｌｉａｍｓｏｎ ａｎｄ Ｄ． Ｗａｎｇ， “Ｓｐｅｅｃｈ ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ ａｎｄ ｄｅｎｏｉｓｉｎｇ ｕｓｉｎｇ ｃｏｍｐｌｅｘ ｒａｔｉｏ ｍａｓｋｓ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， Ｍａｒｃｈ ２０１７， ｐｐ． ５５９０－５５９４．
［５］ Ｊ． Ｒ． Ｈｅｒｓｈｅｙ， Ｚ． Ｃｈｅｎ， Ｊ． Ｌ． Ｒｏｕｘ， ａｎｄ Ｓ． Ｗａｔａｎａｂｅ， “Ｄｅｅｐ ｃｌｕｓｔｅｒｉｎｇ： Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｅｍｂｅｄｄｉｎｇｓ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｓｅｐａｒａｔｉｏｎ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， Ｍａｒｃｈ ２０１６， ｐｐ． ３１－３５．
［６］ Ｚ． Ｃｈｅｎ， Ｙ． Ｌｕｏ， ａｎｄ Ｎ． Ｍｅｓｇａｒａｎｉ， “Ｄｅｅｐ ａｔｔｒａｃｔｏｒ ｎｅｔｗｏｒｋ ｆｏｒ ｓｉｎｇｌｅ－ｍｉｃｒｏｐｈｏｎｅ ｓｐｅａｋｅｒ ｓｅｐａｒａｔｉｏｎ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， Ｍａｒｃｈ ２０１７， ｐｐ． ２４６－２５０．
［７］ Ｙ． Ｉｓｉｋ， Ｊ． Ｌ． Ｒｏｕｘ， Ｚ． Ｃｈｅｎ， Ｓ． Ｗａｔａｎａｂｅ， ａｎｄ Ｊ． Ｒ． Ｈｅｒｓｈｅｙ， “Ｓｉｎｇｌｅ－ｃｈａｎｎｅｌ ｍｕｌｔｉ－ｓｐｅａｋｅｒ ｓｅｐａｒａｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｃｌｕｓｔｅｒｉｎｇ，” ｉｎ Ｐｒｏｃ． Ｉｎｔｅｒ－ｓｐｅｅｃｈ Ｃｏｎｆ．， Ｓｅｐｔｅｍｂｅｒ ２０１６， ｐｐ． ５４５－５４９．
［８］ Ｄ． Ｙｕ， Ｍ． Ｋｏｌｂａｅｋ， Ｚ． Ｈ． Ｔａｎ， ａｎｄ Ｊ． Ｊｅｎｓｅｎ， “Ｐｅｒｍｕｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｍｏｄｅｌｓ ｆｏｒ ｓｐｅａｋｅｒ－ｉｎｄｅｐｅｎｄｅｎｔ ｍｕｌｔｉ－ｔａｌｋｅｒ ｓｐｅｅｃｈ ｓｅｐａｒａｔｉｏｎ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， Ｍａｒｃｈ ２０１７， ｐｐ． ２４１－２４５．
［９］ Ｙ． Ｌｕｏ， Ｚ． Ｃｈｅｎ， Ｊ． Ｒ． Ｈｅｒｓｈｅｙ， Ｊ． Ｌ． Ｒｏｕｘ， ａｎｄ Ｎ． Ｍｅｓｇａｒａｎｉ， “Ｄｅｅｐ ｃｌｕｓｔｅｒｉｎｇ ａｎｄ ｃｏｎｖｅｎｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｕｓｉｃ ｓｅｐａｒａｔｉｏｎ： Ｓｔｒｏｎｇｅｒ ｔｏｇｅｔｈｅｒ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， Ｍａｒｃｈ ２０１７， ｐｐ． ６１－６５．
［１０］ Ｍ． Ｋｏｌｂａｅｋ， Ｄ． Ｙｕ， Ｚ．－Ｈ． Ｔａｎ， Ｊ． Ｊｅｎｓｅｎ， Ｍ． Ｋｏｌｂａｅｋ， Ｄ． Ｙｕ， Ｚ．－Ｈ． Ｔａｎ， ａｎｄ Ｊ． Ｊｅｎｓｅｎ， “Ｍｕｌｔｉｔａｌｋｅｒ ｓｐｅｅｃｈ ｓｅｐａｒａｔｉｏｎ ｗｉｔｈ ｕｔｔｅｒａｎｃｅ－ｌｅｖｅｌ ｐｅｒｍｕｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，” ＩＥＥＥ Ｔｒａｎｓ． Ａｕｄｉｏ， Ｓｐｅｅｃｈ， Ｌａｎｇ． Ｐｒｏｃｅｓｓ．， ｖｏｌ． ２５， ｎｏ． １０， ｐｐ． １９０１－１９１３， Ｏｃｔｏｂｅｒ ２０１７．
［１１］ Ｗ． Ｍａｃｋ， Ｓ． Ｃｈａｋｒａｂａｒｔｙ， Ｆ．－Ｒ． Ｓｔｏｅｔｅｒ， Ｓ． Ｂｒａｕｎ， Ｂ． Ｅｄｌｅｒ， ａｎｄ Ｅ． Ａ． Ｐ． Ｈａｂｅｔｓ， “Ｓｉｎｇｌｅ－ｃｈａｎｎｅｌ ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ ｕｓｉｎｇ ｄｉｒｅｃｔ ＭＭＳＥ ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ ｂｉｄｉｒｅｃｔｉｏｎａｌ ＬＳＴＭ ｎｅｔｗｏｒｋｓ，” ｉｎ Ｐｒｏｃ． Ｉｎｔｅｒｓｐｅｅｃｈ Ｃｏｎｆ．， Ｓｅｐｔｅｍｂｅｒ ２０１８， ｐｐ． １３１４－１３１８．
［１２］ Ｈ． Ｅｒｄｏｇａｎ ａｎｄ Ｔ． Ｙｏｓｈｉｏｋａ， “Ｉｎｖｅｓｔｉｇａｔｉｏｎｓ ｏｎ ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ ａｎｄ ｌｏｓｓ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｓｐｅｅｃｈ－ｂａｃｋｇｒｏｕｎｄ ｓｅｐａｒａｔｉｏｎ，” ｉｎ Ｐｒｏｃ． Ｉｎｔｅｒｓｐｅｅｃｈ Ｃｏｎｆ．， Ｓｅｐｔｅｍｂｅｒ ２０１８， ｐｐ． ３４９９－３５０３．
［１３］ Ｄ． Ｗａｎｇ， “Ｏｎ ｉｄｅａｌ ｂｉｎａｒｙ ｍａｓｋ ａｓ ｔｈｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｇｏａｌ ｏｆ ａｕｄｉ－ｔｏｒｙ ｓｃｅｎｅ ａｎａｌｙｓｉｓ，” ｉｎ Ｓｐｅｅｃｈ Ｓｅｐａｒａｔｉｏｎ ｂｙ Ｈｕｍａｎｓ ａｎｄ Ｍａｃｈｉｎｅｓ， Ｐ． Ｄｉｖｅｎｙｉ， Ｅｄ． Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ， ２００５， ｐｐ． １８１－１９７．
［１４］ Ｃ． Ｈｕｍｍｅｒｓｏｎｅ， Ｔ． Ｓｔｏｋｅｓ， ａｎｄ Ｔ． Ｂｒｏｏｋｅｓ， “Ｏｎ ｔｈｅ ｉｄｅａｌ ｒａｔｉｏ ｍａｓｋ ａｓ ｔｈｅ ｇｏａｌ ｏｆ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｕｄｉｔｏｒｙ ｓｃｅｎｅ ａｎａｌｙｓｉｓ，” ｉｎ Ｂｌｉｎｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ， Ｇ． Ｒ． Ｎａｉｋ ａｎｄ Ｗ． Ｗａｎｇ， Ｅｄｓ． Ｓｐｒｉｎｇｅｒ， ２０１４， ｐｐ． ３４９－ ３６８．
［０］ Ｆ． Ｍａｙｅｒ， Ｄ． Ｓ． Ｗｉｌｌｉａｍｓｏｎ， Ｐ． Ｍｏｗｌａｅｅ， ａｎｄ Ｄ． Ｗａｎｇ， “Ｉｍｐａｃｔ ｏｆ ｐｈａｓｅ ｅｓｔｉｍａｔｉｏｎ ｏｎ ｓｉｎｇｌｅ－ｃｈａｎｎｅｌ ｓｐｅｅｃｈ ｓｅｐａｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｍａｓｋｉｎｇ，” Ｊ． Ａｃｏｕｓｔ． Ｓｏｃ． Ａｍ．， ｖｏｌ． １４１， ｎｏ． ６， ｐｐ． ４６６８－４６７９， ２０１７．
［１］ Ｆ． Ｗｅｎｉｎｇｅｒ， Ｈ． Ｅｒｄｏｇａｎ， Ｓ． Ｗａｔａｎａｂｅ， Ｅ． Ｖｉｎｃｅｎｔ， Ｊ． Ｒｏｕｘ， Ｊ． Ｒ． Ｈｅｒｓｈｅｙ， ａｎｄ Ｂ． Ｓｃｈｕｌｌｅｒ， “Ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ ｗｉｔｈ ＬＳＴＭ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｎｏｉｓｅ－ｒｏｂｕｓｔ ＡＳＲ，” ｉｎ Ｐｒｏｃ． ｏｆ ｔｈｅ １２ｔｈ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｌａｔ．Ｖａｒ． Ａｎ． ａｎｄ Ｓｉｇ． Ｓｅｐ．， ｓｅｒ． ＬＶＡ／ＩＣＡ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ： Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ， ２０１５， ｐｐ． ９１－９９．
［２］ Ｘ． Ｌｉ， Ｊ． Ｌｉ， ａｎｄ Ｙ． Ｙａｎ， “Ｉｄｅａｌ ｒａｔｉｏ ｍａｓｋ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｎａｕｒａｌ ｓｐｅｅｃｈ ｓｅｇｒｅｇａｔｉｏｎ ｉｎ ｎｏｉｓｙ ｒｅｖｅｒｂｅｒａｎｔ ｃｏｎｄｉｔｉｏｎｓ，” Ａｕｇｕｓｔ ２０１７， ｐｐ． １２０３－１２０７．
［３］ Ｊ． Ｂｅｎｅｓｔｙ， Ｊ． Ｃｈｅｎ， ａｎｄ Ｅ． Ａ． Ｐ． Ｈａｂｅｔｓ， Ｓｐｅｅｃｈ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎ ｔｈｅ ＳＴＦＴ Ｄｏｍａｉｎ， ｓｅｒ． ＳｐｒｉｎｇｅｒＢｒｉｅｆｓ ｉｎ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ． Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ， ２０１１．
［４］ Ｊ． Ｂｅｎｅｓｔｙ ａｎｄ Ｙ． Ｈｕａｎｇ， “Ａ ｓｉｎｇｌｅ－ｃｈａｎｎｅｌ ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ＭＶＤＲ ｆｉｌｔｅｒ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， ２０１１， ｐｐ． ２７３－２７６．
［５］ Ｄ． Ｆｉｓｃｈｅｒ， Ｓ． Ｄｏｃｌｏ， Ｅ． Ａ． Ｐ． Ｈａｂｅｔｓ， ａｎｄ Ｔ． Ｇｅｒｋｍａｎｎ， “Ｃｏｍ－ｂｉｎｅｄ ｓｉｎｇｌｅ－ｍｉｃｒｏｐｈｏｎｅ Ｗｉｅｎｅｒ ａｎｄ ＭＶＤＲ ｆｉｌｔｅｒｉｎｇ ｂａｓｅｄ ｏｎ ｓｐｅｅｃｈ ｉｎｔｅｒｆｒａｍｅ ｃｏｒｒｅｌａｔｉｏｎｓ ａｎｄ ｓｐｅｅｃｈ ｐｒｅｓｅｎｃｅ ｐｒｏｂａｂｉｌｉｔｙ，” ｉｎ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ； １２． ＩＴＧ Ｓｙｍｐｏｓｉｕｍ， Ｏｃｔ ２０１６， ｐｐ． １－５．
［６］ Ｄ． Ｆｉｓｃｈｅｒ ａｎｄ Ｓ． Ｄｏｃｌｏ， “Ｒｏｂｕｓｔ ｃｏｎｓｔｒａｉｎｅｄ ＭＦＭＶＤＲ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｓｉｎｇｌｅ－ｍｉｃｒｏｐｈｏｎｅ ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ，” ｉｎ Ｐｒｏｃ． Ｉｎｔｌ． Ｗｏｒｋｓｈｏｐ Ａｃｏｕｓｔ． Ｓｉｇｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ （ＩＷＡＥＮＣ）， ２０１８， ｐｐ． ４１－４５．
［７］ Ｓ． Ｈｏｃｈｒｅｉｔｅｒ ａｎｄ Ｊ． Ｓｃｈｍｉｄｈｕｂｅｒ， “Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ，” Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， ｖｏｌ． ９， ｎｏ． ８， ｐｐ． １７３５－１７８０， Ｎｏｖ １９９７．
［８］ Ｊ． Ｂ． Ｄ． Ｋｉｎｇｍａ， “Ａｄａｍ： Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ｌｅａｒｎ． Ｒｅｐｒ． （ＩＣＬＲ）， Ｍａｙ ２０１５， ｐｐ． １－１５．
［９］ Ｎ． Ｓｒｉｖａｓｔａｖａ， Ｇ． Ｈｉｎｔｏｎ， Ａ． Ｋｒｉｚｈｅｖｓｋｙ， Ｉ． Ｓｕｔｓｋｅｖｅｒ， ａｎｄ Ｒ． Ｓａｌａｋｈｕｔｄｉｎｏｖ， “Ｄｒｏｐｏｕｔ： Ａ ｓｉｍｐｌｅ ｗａｙ ｔｏ ｐｒｅｖｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｒｏｍ ｏｖｅｒｆｉｔｔｉｎｇ，” Ｊ． Ｍａｃｈ． Ｌｅａｒｎ． Ｒｅｓ．， ｖｏｌ． １５， ｎｏ． １， ｐｐ． １９２９－１９５８， Ｊａｎｕａｒｙ ２０１４． ［Ｏｎｌｉｎｅ］． Ａｖａｉｌａｂｌｅ： ｈｔｔｐ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｃｉｔａｔｉｏｎ．ｃｆｍ？ｉｄ＝２６２７４３５．２６７０３１３
［１０］ Ｊ． Ｆ． Ｇｅｍｍｅｋｅ， Ｄ． Ｐ． Ｗ． Ｅｌｌｉｓ， Ｄ． Ｆｒｅｅｄｍａｎ， Ａ． Ｊａｎｓｅｎ， Ｗ． Ｌａｗｒｅｎｃｅ， Ｒ． Ｃ． Ｍｏｏｒｅ， Ｍ． Ｐｌａｋａｌ， ａｎｄ Ｍ． Ｒｉｔｔｅｒ， “Ａｕｄｉｏ Ｓｅｔ： Ａｎ ｏｎｔｏｌｏｇｙ ａｎｄ ｈｕｍａｎ－ｌａｂｅｌｅｄ ｄａｔａｓｅｔ ｆｏｒ ａｕｄｉｏ ｅｖｅｎｔｓ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， Ｍａｒｃｈ ２０１７， ｐｐ． ７７６－７８０．
［１１］ Ｖ． Ｐａｎａｙｏｔｏｖ， Ｇ． Ｃｈｅｎ， Ｄ． Ｐｏｖｅｙ， ａｎｄ Ｓ． Ｋｈｕｄａｎｐｕｒ， “Ｌｉｂｒｉｓｐｅｅｃｈ： Ａｎ ＡＳＲ ｃｏｒｐｕｓ ｂａｓｅｄ ｏｎ ｐｕｂｌｉｃ ｄｏｍａｉｎ ａｕｄｉｏ ｂｏｏｋｓ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｌ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）， Ａｐｒｉｌ ２０１５， ｐｐ． ５２０６－５２１０．
［１２］ Ｃ． Ｒａｆｆｅｌ， Ｂ． ＭｃＦｅｅ， Ｅ． Ｊ． Ｈｕｍｐｈｒｅｙ， Ｊ． Ｓａｌａｍｏｎ， Ｏ． Ｎｉｅｔｏ， Ｄ． Ｌｉａｎｇ， ａｎｄ Ｄ． Ｐ． Ｗ． Ｅｌｌｉｓ， “ＭＩＲ ＥＶＡＬ： Ａ ｔｒａｎｓｐａｒｅｎｔ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｃｏｍｍｏｎ ＭＩＲ ｍｅｔｒｉｃｓ，” ｉｎ Ｉｎｔｌ． Ｓｏｃ． ｏｆ Ｍｕｓｉｃ Ｉｎｆ． Ｒｅｔｒｉｅｖａｌ， Ｏｃｔｏｂｅｒ ２０１４， ｐｐ． ３６７－３７２．
［１３］ Ｃ． Ｈ． Ｔａａｌ， Ｒ． Ｃ． Ｈｅｎｄｒｉｋｓ， Ｒ． Ｈｅｕｓｄｅｎｓ， ａｎｄ Ｊ． Ｊｅｎｓｅｎ， “Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｅｄ ｎｏｉｓｙ ｓｐｅｅｃｈ，” ＩＥＥＥ Ｔｒａｎｓ． Ａｕｄｉｏ， Ｓｐｅｅｃｈ， Ｌａｎｇ． Ｐｒｏｃｅｓｓ．， ｖｏｌ． １９， ｎｏ． ７， ｐｐ． ２１２５－ ２１３６， Ｓｅｐｔｅｍｂｅｒ ２０１１．
［１４］ Ｍ． Ｐａｒｉｅｎｔｅ， “ｐｙｓｔｏｉ，” ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｍｐａｒｉｅｎｔｅ／ｐｙｓｔｏｉ， ２０１８．

Claims (21)

  1. 混合物をフィルタリングするための方法であって、
    少なくとも１次元の深層フィルタ（１０ｘ）を決定するステップ（１００）であって、
    混合物（１０）を受信すること（１１０）と、
    深層ニューラルネットワークを使用して前記深層フィルタ（１０ｘ）を推定すること（１２０）であって、前記深層フィルタ（１０ｘ）が、前記混合物（１０）の要素に適用されるときに所望の表現（１１）のそれぞれの要素の推定値を取得するように、前記推定すること（１２０）が実行され、
    少なくとも１次元の前記深層フィルタ（１０ｘ）が、要素（ｓｘ，ｙ）を有するテンソルを含む、推定すること（１２０）と、を含む決定するステップ（１００）と、
    前記混合物（１０）に前記深層フィルタ（１０ｘ）を適用するステップと、を含む方法。
  2. 前記混合物（１０）が、実数値または複素値の時間－周波数提示またはその特徴表現を含み、
    前記所望の表現（１１）が、所望の実数値もしくは複素値の時間－周波数提示またはその特徴表現を含む、請求項１に記載の方法（１００）。
  3. 前記深層フィルタ（１０ｘ）が、実数値または複素値の時間－周波数フィルタを含み、および／または、少なくとも１次元の前記深層フィルタ（１０ｘ）が、短時間フーリエ変換領域において記述される、請求項１または２に記載の方法（１００）。
  4. 前記推定するステップ（１２０）が、前記混合物（１０）の各要素について、または前記混合物（１０）の前記要素の所定の部分について実行される、請求項１～３のいずれか一項に記載の方法（１００）。
  5. 前記推定すること（１２０）が、少なくとも２つのソースに対して実行される、請求項１～４のいずれか一項に記載の方法（１００）。
  6. 少なくとも１次元の前記深層フィルタ（１０ｘ）についてのそのフィルタ変数を有するフィルタ構造を定義するステップをさらに含む、請求項１～５のいずれか一項に記載の方法（１００）。
  7. 前記深層ニューラルネットワークが、前記深層フィルタ（１０ｘ）のフィルタ関数のフィルタ値の数に等しい数の出力パラメータを含む、請求項１～６のいずれか一項に記載の方法（１００）。
  8. 前記少なくとも１次元が、時間、周波数、およびセンサを含むグループからはずれており、または、
    前記次元の前記少なくとも１つが、時間または周波数にわたる、請求項１～７のいずれか一項に記載の方法（１００）。
  9. 前記深層ニューラルネットワークが、バッチ正規化層、双方向長短期記憶層、双曲線正接活性化を有するフィードフォワード出力層、および／または１つ以上の追加層を含む、請求項１～８のいずれか一項に記載の方法（１００）。
  10. 前記深層ニューラルネットワークを訓練するステップをさらに含む、請求項１～９のいずれか一項に記載の方法（１００）。
  11. 前記深層ニューラルネットワークが、前記所望の表現（１１）のグラウンドトゥルースと前記所望の表現（１１）の推定値との間の平均二乗誤差を最適化することによって訓練される、または
    前記深層ニューラルネットワークが、前記所望の表現（１１）と前記所望の表現（１１）の推定値との間の再構成誤差を低減することによって訓練される、または
    前記訓練が、大きさの再構成によって実行される、請求項１０に記載の方法（１００）。
  12. 前記推定すること（１２０）が、以下の式を使用することによって実行される、請求項１～１１のいずれか一項に記載の方法（１００）。
    Figure 2022529912000049
    、
    ここで、
    Figure 2022529912000050
    は、時間フレーム方向のフィルタ次元であり、
    Figure 2022529912000051
    は、周波数方向のフィルタ次元であり、
    Figure 2022529912000052
    は、複素共役１Ｄまたは２Ｄフィルタであり、
    Figure 2022529912000053
    は、前記推定された所望の表現（１１）であり、ｎは時間フレームであり、ｋは周波数インデックスである。
  13. 前記訓練が、以下の式の使用によって実行される：
    Figure 2022529912000054
    、
    ここで、
    Figure 2022529912000055
    は、前記所望の表現（１１）であり、
    Figure 2022529912000056
    は、前記推定された所望の表現（１１）であり、Ｎは時間フレームの総数であり、Ｋは時間フレームごとの周波数ビンの数であり、または
    以下の式の使用によって実行される：
    Figure 2022529912000057
    、
    ここで、
    Figure 2022529912000058
    は、前記所望の表現（１１）であり、
    Figure 2022529912000059
    は、前記推定された所望の表現（１１）であり、Ｎは時間フレームの総数であり、Ｋは時間フレーム当たりの周波数ビンの数である、請求項１０、１１、または１２に記載の方法（１００）。
  14. 前記深層フィルタ（１０ｘ）の前記テンソル要素（ｓｘ，ｙ）が、大きさが制限されるか、または以下の式の使用によって大きさが制限される、請求項１～１３のいずれか一項に記載の方法（１００）。
    Figure 2022529912000060
    、
    ここで、
    Figure 2022529912000061
    は、複素共役２Ｄフィルタである。
  15. 前記適用するステップが、要素ごとに実行される、請求項１～１４のいずれか一項に記載の方法（１００）。
  16. 前記適用するステップが、それぞれのテンソル要素（ｓｘ，ｙ）における前記所望の表現（１１）の推定値を得るために合計することによって実行される、請求項１～１５のいずれか一項に記載の方法（１００）。
  17. 少なくとも２つのソースの信号抽出または信号分離のための、請求項１～１６のいずれか一項に記載の方法（１００）の使用。
  18. 信号再構成のための、請求項１～１６のいずれか一項に記載の方法（１００）の使用。
  19. コンピュータ上で実行されると、請求項１から１８のいずれか一項に記載の方法のうちの１つを実行するためのコンピュータプログラム。
  20. 深層フィルタ（１０ｘ）を決定するための装置であって、
    混合物（１０）を受信するための入力（１１０）と、
    前記深層フィルタ（１０ｘ）が、前記混合物（１０）の要素に適用されるときに所望の表現（１１）のそれぞれの要素の推定値を取得するように、前記深層フィルタ（１０ｘ）を推定する（１２０）ための深層ニューラルネットワークと、を備え、
    少なくとも１次元の前記深層フィルタ（１０ｘ）が、要素（ｓｘ，ｙ）を有するテンソルを含む、装置。
  21. 混合物をフィルタリングする装置であって、請求項２０に記載の装置によって決定された深層フィルタと、前記深層フィルタを前記混合物に適用するための手段とを備える、装置。

JP2021560853A 2019-04-16 2020-04-15 深層フィルタを決定するための方法および装置 Active JP7486266B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024003640A JP2024038369A (ja) 2019-04-16 2024-01-13 深層フィルタを決定するための方法および装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19169585.7A EP3726529A1 (en) 2019-04-16 2019-04-16 Method and apparatus for determining a deep filter
EP19169585.7 2019-04-16
PCT/EP2020/060586 WO2020212419A1 (en) 2019-04-16 2020-04-15 Method and apparatus for determining a deep filter

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024003640A Division JP2024038369A (ja) 2019-04-16 2024-01-13 深層フィルタを決定するための方法および装置

Publications (2)

Publication Number Publication Date
JP2022529912A true JP2022529912A (ja) 2022-06-27
JP7486266B2 JP7486266B2 (ja) 2024-05-17

Family

ID=66217806

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021560853A Active JP7486266B2 (ja) 2019-04-16 2020-04-15 深層フィルタを決定するための方法および装置
JP2024003640A Withdrawn JP2024038369A (ja) 2019-04-16 2024-01-13 深層フィルタを決定するための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024003640A Withdrawn JP2024038369A (ja) 2019-04-16 2024-01-13 深層フィルタを決定するための方法および装置

Country Status (9)

Country Link
US (1) US20220059114A1 (ja)
EP (2) EP3726529A1 (ja)
JP (2) JP7486266B2 (ja)
KR (1) KR20210153677A (ja)
CN (1) CN114041185A (ja)
BR (1) BR112021020361A2 (ja)
CA (1) CA3136870A1 (ja)
MX (1) MX2021012603A (ja)
WO (1) WO2020212419A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210137146A (ko) * 2019-03-10 2021-11-17 카르돔 테크놀로지 엘티디. 큐의 클러스터링을 사용한 음성 증강
WO2021226503A1 (en) 2020-05-08 2021-11-11 Nuance Communications, Inc. System and method for data augmentation for multi-microphone signal processing
GB2620747B (en) * 2022-07-19 2024-10-02 Samsung Electronics Co Ltd Method and apparatus for speech enhancement
US20240112690A1 (en) * 2022-09-26 2024-04-04 Cerence Operating Company Switchable Noise Reduction Profiles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284346A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deep neural net based filter prediction for audio event classification and extraction
JP2017520803A (ja) * 2014-10-21 2017-07-27 三菱電機株式会社 ノイズを有するオーディオ信号をエンハンスドオーディオ信号に変換する方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19948308C2 (de) * 1999-10-06 2002-05-08 Cortologic Ag Verfahren und Vorrichtung zur Geräuschunterdrückung bei der Sprachübertragung
EP2151822B8 (en) * 2008-08-05 2018-10-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an audio signal for speech enhancement using a feature extraction
US10339921B2 (en) * 2015-09-24 2019-07-02 Google Llc Multichannel raw-waveform neural networks
KR102151682B1 (ko) * 2016-03-23 2020-09-04 구글 엘엘씨 다중채널 음성 인식을 위한 적응성 오디오 강화
US11373672B2 (en) * 2016-06-14 2022-06-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
US10224058B2 (en) * 2016-09-07 2019-03-05 Google Llc Enhanced multi-channel acoustic models
WO2019008580A1 (en) * 2017-07-03 2019-01-10 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. METHOD AND SYSTEM FOR IMPROVING A VOICE SIGNAL OF A HUMAN SPEAKER IN A VIDEO USING VISUAL INFORMATION
CN108417207B (zh) * 2018-01-19 2020-06-30 苏州思必驰信息科技有限公司 一种深度混合生成网络自适应方法及系统
CN109194595B (zh) * 2018-09-26 2020-12-01 东南大学 一种基于神经网络的信道环境自适应ofdm接收方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520803A (ja) * 2014-10-21 2017-07-27 三菱電機株式会社 ノイズを有するオーディオ信号をエンハンスドオーディオ信号に変換する方法
US20160284346A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deep neural net based filter prediction for audio event classification and extraction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小泉 悠馬: "深層学習に基づく音源強調と位相制御", 日本音響学会誌, vol. 第75巻，第3号, JPN6022054543, March 2019 (2019-03-01), pages 156 - 163, ISSN: 0005151837 *

Also Published As

Publication number Publication date
EP3726529A1 (en) 2020-10-21
MX2021012603A (es) 2021-11-12
WO2020212419A1 (en) 2020-10-22
US20220059114A1 (en) 2022-02-24
BR112021020361A2 (pt) 2021-12-07
CA3136870A1 (en) 2020-10-22
KR20210153677A (ko) 2021-12-17
CN114041185A (zh) 2022-02-11
JP7486266B2 (ja) 2024-05-17
EP3956888A1 (en) 2022-02-23
JP2024038369A (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
Mack et al. Deep filtering: Signal extraction and reconstruction using complex time-frequency filters
Fu et al. Raw waveform-based speech enhancement by fully convolutional networks
Luo et al. Real-time single-channel dereverberation and separation with time-domain audio separation network.
Wang et al. On training targets for supervised speech separation
JP2022529912A (ja) 深層フィルタを決定するための方法および装置
Zhao et al. A two-stage algorithm for noisy and reverberant speech enhancement
Shivakumar et al. Perception optimized deep denoising autoencoders for speech enhancement.
Xu et al. Generalized spatio-temporal RNN beamformer for target speech separation
CN112735456A (zh) 一种基于dnn-clstm网络的语音增强方法
Liu et al. Deep CASA for talker-independent monaural speech separation
Tammen et al. Deep multi-frame MVDR filtering for single-microphone speech enhancement
Tammen et al. DNN-based speech presence probability estimation for multi-frame single-microphone speech enhancement
Tan et al. Improving robustness of deep learning based monaural speech enhancement against processing artifacts
Wang et al. Low-latency deep clustering for speech separation
Wang et al. Deep neural network based supervised speech segregation generalizes to novel noises through large-scale training
Dash et al. Speech intelligibility based enhancement system using modified deep neural network and adaptive multi-band spectral subtraction
Xiong et al. Spectro-Temporal SubNet for Real-Time Monaural Speech Denoising and Dereverberation.
Sheeja et al. Speech dereverberation and source separation using DNN-WPE and LWPR-PCA
Ram et al. Deep neural network based speech enhancement
Zhang et al. Multi-Target Ensemble Learning for Monaural Speech Separation.
Tkachenko et al. Speech enhancement for speaker recognition using deep recurrent neural networks
Parviainen et al. Time-frequency masking strategies for single-channel low-latency speech enhancement using neural networks
TWI749547B (zh) 應用深度學習的語音增強系統
KR102316627B1 (ko) 심화신경망 기반의 가상 채널 확장을 이용한 wpe 기반 잔향 제거 장치
Miyazaki et al. Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20211213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240503

R150 Certificate of patent or registration of utility model

Ref document number: 7486266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150