JP2020086434A

JP2020086434A - 音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置

Info

Publication number: JP2020086434A
Application number: JP2019158891A
Authority: JP
Inventors: フェリンキム; Hoirin Kim; ヨンムンチョン; Youngmoon Jung; ヨンジュチェ; Yeong-Ju Che
Original assignee: Korea Advanced Institute of Science and Technology KAIST
Current assignee: Korea Advanced Institute of Science and Technology KAIST
Priority date: 2018-11-29
Filing date: 2019-08-30
Publication date: 2020-06-04
Anticipated expiration: 2039-08-30
Also published as: JP6818372B2; KR102095132B1

Abstract

【課題】音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置を提供する。【解決手段】音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法は、トレーニング時に発生する内部共変量シフト現象を減少させるためにバッチ正規化を利用する段階、音質改善ＤＮＮが音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する段階及び音質改善ＤＮＮで雑音除去変分オートエンコーダを利用する段階を含む。音声検出のための統合トレーニング方法は、音質改善ＤＮＮによって音声特徴から雑音を除去するように音声特徴を変換し、雑音が除去された音声特徴を利用して音声検出ＤＮＮによって音声検出を実行する。【選択図】図１

Description

本発明は、音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置に関する。

フレームを音声または非音声に分類する過程である音声区間検出（ＶｏｉｃｅＡｃｔｉｖｉｔｙＤｅｔｅｃｔｉｏｎ：ＶＡＤ）は、音声コーディング、自動音声認識（ＡｕｔｏｍａｔｉｃＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ：ＡＳＲ）、音声向上（ＳｐｅｅｃｈＥｎｈａｎｃｅｍｅｎｔ：ＳＥ）、話者認識、および音声認識のような多様な音声アプリケーションにおける重要なモジュールである。

初期のＶＡＤ接近法のほとんどは、時間領域エネルギー、ピッチ、およびゼロクロッシング速度を含んだ原始的な音響特性を基盤としていた。既存のＶＡＤ方法のさらに他の類型としては、音声および雑音フレームの分布をＤＦＴ（ＤｉｓｃｒｅｔｅＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）領域のガウス分布にモデリングし、尤度比を使用してフレームが音声であるか否かを決定する統計モデル基盤の接近法がある。その後、ＶＡＤにＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）およびＨＭＭ（ｈｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）のような機械学習基盤方法が適用された。最近では、完全に結合されたディープニューラルネットワーク（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋｓ：ＤＮＮｓ）、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ：ＣＮＮｓ）および長・短期記憶（ＬｏｎｇＳｈｏｒｔ−ＴｅｒｍＭｅｍｏｒｙ：ＬＳＴＭ）、反復的ニューラルネットワークのような深層的な学習アキテクチャがＶＡＤで大きな成功を収め、ＶＡＤモデリングに広く普及された。

数年間の持続的な開発にもかかわらず、ＶＡＤは依然として極めて低い信号対雑音比（ＳＮＲ）に挑んでいる。騒然とした環境に対する確実性を向上させるためにＶＡＤに対する統合トレーニング方法が利用される。従来技術に係る音声向上と音声区間検出ＤＮＮの統合トレーニング接近法は、ＶＡＤに対してより優れた結果をもたらすことが確認された。

本発明が達成しようとする技術的課題は、２つのネットワーク間にバッチ正規化レイヤを追加することによって内部共変量シフト現象を減少させ、音質改善ＤＮＮのパラメータアップデートによって音質改善ＤＮＮが音声検出を助長する特徴を出力し、ＶＡＥに雑音除去過程を取り入れるＤＶＡＥを適用した、音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置を提供することを目的とする。

一側面において、本発明で提案する音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法は、トレーニング時に発生する内部共変量シフト（ｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ）現象を減少させるためにバッチ正規化（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ）を利用する段階、音質改善ＤＮＮ（Ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）が音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する段階、および音質改善ＤＮＮで雑音除去変分オートエンコーダ（ＤｅｎｏｉｓｉｎｇＶａｒｉａｔｉｏｎａｌＡｕｔｏｅｎｃｏｄｅｒ）を利用する段階を含み、前記音声検出のための統合トレーニング方法は、音質改善ＤＮＮによって音声特徴から雑音を除去するように音声特徴を変換し、雑音が除去された音声特徴を利用して音声検出ＤＮＮによって音声検出を実行することを含む。

トレーニング時に発生する内部共変量シフト現象を減少させるためにバッチ正規化を利用する段階は、２つのネットワークを結合して統合トレーニングを実行する場合に発生する音質改善ＤＮＮの出力分布の変分を減少させるために、２つのネットワーク間にバッチ正規化レイヤを追加して不正規的な入力分布を処理することによって内部共変量シフト現象を減少させることを含む。

音質改善ＤＮＮが音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する段階は、音質改善ＤＮＮと音声検出ＤＮＮの損失関数を計算し、逆伝播法を利用して各損失関数に対する勾配を求めた後、計算された勾配を利用して２つのネットワークのパラメータをアップデートし、音質改善ＤＮＮのパラメータアップデートによって音質改善ＤＮＮの損失関数だけでなく音声検出ＤＮＮの損失関数も減らすようにトレーニングを実行し、これによって音質改善ＤＮＮによる音声検出に必要な特徴を出力することを含む。

音質改善ＤＮＮで雑音除去変分オートエンコーダを利用する段階は、エンコーダ確率分布とデコーダ確率分布の両方を対角ガウス分布として仮定し、エンコーダＤＮＮとデコーダＤＮＮによってそれぞれ対応する確率分布の平均およびログ分散を推定し、事前確率を等方的なガウス分布として仮定し、エンコーダ確率分布とデコーダ確率分布から潜在変数と観測変数を決定的に求め、変分下限を最大化するようにネットワークパラメータをアップデートすることを含む。

また他の一側面において、本発明で提案する音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング装置は、トレーニング時に発生する内部共変量シフト（ｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ）現象を減少させるためにバッチ正規化（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ）を利用する正規化部、音質改善ＤＮＮ（Ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）が音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎ技法を利用する加重値部、および音質改善ＤＮＮで雑音除去変分オートエンコーダ（ｄｅｎｏｉｓｉｎｇｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ）を利用する符号化部を備え、前記音声検出のための統合トレーニング方法は、音質改善ＤＮＮによって音声特徴から雑音を除去するように音声特徴を変換し、雑音が除去された音声特徴を利用して音声検出ＤＮＮによって音声検出を実行することを含む。

本発明の実施形態によると、２つのネットワーク間にバッチ正規化レイヤを追加することによって内部共変量シフト現象を減少させることができ、音質改善ＤＮＮのパラメータアップデートによって音質改善ＤＮＮが音声検出を助長する特徴が出力され、ＶＡＥに雑音除去過程を取り入れるＤＶＡＥを適用した、音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置が提案される。

本発明の一実施形態における、音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法を説明するためのフローチャートである。本発明の一実施形態における、ＳＥ−ＤＶＡＥのための雑音除去変分オートエンコーダを説明するための図である。本発明の一実施形態における、３種類の統合トレーニング方法を説明するための図である。本発明の一実施形態における、音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング装置の構成を示した図である。

音声区間検出（ＶｏｉｃｅＡｃｔｉｖｉｔｙＤｅｔｅｃｔｉｏｎ：ＶＡＤ）は、フレーム（ｆｒａｍｅ）単位の入力信号に対し、該当フレームが音声であるか非音声であるかを分類する過程において、音声認識、音質改善、話者認識などの多様な音声アプリケーション分野の重要な前処理過程に利用される。音声検出は、低い信号対雑音比（Ｓｉｇｎａｌ−ｔｏ−ＮｏｉｓｅＲａｔｉｏ：ＳＮＲ）環境では低い性能を示す。このような問題を解決するために、本発明では、音声区間検出のための統合トレーニング方法を提案する。以下、本発明の実施例について、添付の図面を参照しながら詳細に説明する。

ＶＡＥ（ＶａｒｉａｔｉｏｎａｌＡｕｔｏｅｎｃｏｄｅｒ）は、変分推論の接近法と深層学習法を結合した潜在変数生成モデルである。ここで観測された変数ｘに対する潜在変数生成モデルｐθ（ｘ｜ｚ）（デコーダとも言う）は、媒介変数θを有するディープニューラルネットワークによって媒介変数化される。推論モデルｑψ（ｚ｜ｘ）（エンコーダとも言う）は、媒介変数ψを有する２番目のディープニューラルネットワークによって媒介変数化される。潜在変数ｚは、データｘの圧縮情報をエンベディングするように定義され、エンコーダは、データ空間を対応する潜在空間にマッピングする。デコーダは、潜在的空間のサンプル地点からデータを再構成する。媒介変数θおよびψは、数式（１）のように、ログ限界尤度の変分下限Ｌ（θ，φ；ｘ）を最大化することによって統合トレーニングされる。

本発明のＶＡＥフレームワークで、エンコーダとデコーダは、対角線ガウス分布を利用してパラメータ化される。このようなガウス分布は、それぞれ次のとおりとなる。ｑφ（ｚ｜ｘ）＝Ｎ（ｚ；μ_z，σ² _zＩ）およびｐθ（ｘ｜ｚ）＝Ｎ（ｘ；μ_x，σ² _xＩ）。事前確率（ｐｒｉｏｒ）は、自由媒介変数のない等方的なガウス分布ｐ（ｚ）＝Ｎ（ｚ；０，Ｉ）であると仮定する。

ここで、ＪとＤはそれぞれｚとｘの次元であり、ｘ_iはベクトルｘのｉ番目のエレメントである。μ_xiおよびσ_xiは、ベクトルμ_xおよびμ_xのｉ番目のエレメントを示す。同じように、μ_zjとσ_zjは、ベクトルμ_zとσ_zのｊ番目の要素を示す。

図１は、本発明の一実施形態における、音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法を説明するためのフローチャートである。

音質改善（ｓｐｅｅｃｈｅｎｈａｎｃｅｍｅｎｔ）ＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）と音声検出ＤＮＮの統合トレーニング方法においては、先ず、音質改善ＤＮＮを利用して雑音が混ざった音声の特徴（ｆｅａｔｕｒｅ）を綺麗な音声の特徴に変換し、音声検出ＤＮＮは、改善された音声特徴を利用して音声検出を実行する。このような方式では、従来技術の音声検出において統合トレーニング方法を利用したときの方が、利用しなかったときよりも優れた性能を示すということが確認された。本発明では、統合トレーニング方法を３つの側面から発展させた。

提案する音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法は、トレーニング時に発生する内部共変量シフト（ｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ）現象を減少させるためにバッチ正規化（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ）を利用する段階１１０、音質改善ＤＮＮ（Ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）が音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する段階１２０、および音質改善ＤＮＮで雑音除去変分オートエンコーダ（ｄｅｎｏｉｓｉｎｇｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ）を利用する段階１３０を含む。提案する音声検出のための統合トレーニング方法では、音質改善ＤＮＮによって音声特徴から雑音を除去するように音声特徴を変換し、雑音が除去された音声特徴を利用して音声検出ＤＮＮによって音声検出を実行する。

段階１１０では、トレーニング時に発生する内部共変量シフト現象を減少させるためにバッチ正規化を利用する。２つのネットワークを結合して統合トレーニングを実行する場合に発生する音質改善ＤＮＮの出力分布の変分を減少させるために、２つのネットワーク間にバッチ正規化レイヤを追加して不正規的な入力分布を処理することによって内部共変量シフト現象を減少させる。

本発明の実施形態に係るバッチ正規化は、音質改善と音声認識の統合トレーニング方法において、２つのネットワーク間にバッチ正規化レイヤを追加することによって内部共変量シフト（ｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ）現象を減少させ、トレーニングをより容易にする。２つのネットワークを結合して統合トレーニングを実行すれば、音質改善ＤＮＮの出力分布、言い換えれば、音声検出ＤＮＮの入力分布が継続して変わる。このような現象は内部共変量シフト現象と呼ばれ、これによって全体ネットワークのトレーニングに困難をきたすようになる。これは、音声検出ＤＮＮが非正常的（ｎｏｎ−ｓｔａｔｉｏｎａｒｙ）であり、正規化されていない（ｕｎｎｏｒｍａｌｉｚｅｄ）入力分布を扱わなければならないためである。したがって、本発明の実施形態に係るバッチ正規化により、このような内部共変量シフト現象を減少させることができる。

段階１２０では、音質改善ＤＮＮが音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する。音質改善ＤＮＮと音声検出ＤＮＮの損失関数を計算し、逆伝播法を利用して各損失関数に対する勾配を求めた後、計算された勾配を利用して２つのネットワークのパラメータをアップデートする。音質改善ＤＮＮのパラメータアップデートによって音声検出ＤＮＮの損失関数を減らすようにトレーニングを実行し、音質改善ＤＮＮによる音声検出に必要な特徴を出力する。

段階１２０では、先ず、音質改善ＤＮＮと音声検出ＤＮＮの損失関数（ｌｏｓｓｆｕｎｃｔｉｏｎ）を計算し、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）法を利用して各損失関数に対する勾配を求める。この後、計算された勾配を利用して２つのネットワークのパラメータをアップデートする。

勾配を求める段階において、音声検出の勾配は、音声検出ＤＮＮだけでなく音質改善ＤＮＮまで逆伝播される。したがって、音質改善ＤＮＮのパラメータアップデートは、音質改善損失関数だけではなく音声検出損失関数にも影響を受ける。

音質改善ＤＮＮのパラメータアップデートにより、音質改善ＤＮＮは、音声検出ＤＮＮの損失関数を減らすためにトレーニングされ、したがって、音質改善ＤＮＮが音声検出を助長する特徴を出力することができるようになる。

段階１３０では、音質改善ＤＮＮで雑音除去変分オートエンコーダを利用する。エンコーダ確率分布とデコーダ確率分布の両方を対角ガウス分布として仮定し、エンコーダＤＮＮとデコーダＤＮＮによってそれぞれ対応する確率分布の平均およびログ分散を推定する。そして、事前確率を等方的なガウス分布として仮定し、エンコーダ確率分布とデコーダ確率分布から潜在変数と観測変数を決定的に求め、変分下限を最大化するようにネットワークパラメータをアップデートする。

ＶＡＥ（ＶａｒｉａｔｉｏｎａｌＡｕｔｏｅｎｃｏｄｅｒ）は、潜在変数生成モデル（ＬａｔｅｎｔＶａｒｉａｂｌｅＧｅｎｅｒａｔｉｖｅＭｏｄｅｌ）であって、ディープラーニングと変分推論（ＶａｒｉａｔｉｏｎａｌＩｎｆｅｒｅｎｃｅ）を結合したものである。ＶＡＥは、大まかにはエンコーダ（ｅｎｃｏｄｅｒ）とデコーダ（ｄｅｃｏｄｅｒ）で構成され、エンコーダは、パラメータφを有するＤＮＮによって潜在変数ｚに対する確率分布ｑφ（ｚ｜ｘ）をモデリングするし、デコーダは、パラメータθを有するＤＮＮによって観測変数ｘに対する確率分布ｐθ（ｘ｜ｚ）をモデリングする。観測変数ｘのログ周辺尤度（ｌｏｇｍａｒｇｉｎａｌｌｉｋｅｌｉｈｏｏｄ）の変分下限（ｖａｒｉａｔｉｏｎａｌｌｏｗｅｒｂｏｕｎｄ）であるＬ（θ，φ；ｘ）を、数式（１）のように誘導することができる。

本発明では、エンコーダ確率分布（ｑφ（ｚ｜ｘ））とデコーダ確率分布（ｐθ（ｘ｜ｚ））の両方を対角ガウス分布（ｄｉａｇｏｎａｌＧａｕｓｓｉａｎｄｉｓｔｒｉｂｕｔｉｏｎ）として仮定し、エンコーダＤＮＮとデコーダＤＮＮはそれぞれ対応する確率分布の平均およびログ分散を推定する。事前確率（ｐｒｉｏｒ）は、等方的なガウス分布（ｉｓｏｔｒｏｐｉｃＧａｕｓｓｉａｎｄｉｓｔｒｉｂｕｔｉｏｎ）として仮定する。エンコーダ確率分布とデコーダ確率分布からそれぞれ潜在変数ｚと観測変数ｘをサンプリングすれば、全体ネットワークの微分が不可能になるため、再媒介化トリック（ｒｅｐａｒａｍｅｔｒｉｚａｔｉｏｎｔｒｉｃｋ）を取り入れてｚとｘを決定的（ｄｅｔｅｒｍｉｎｉｓｔｉｃ）に求める。数式（２）のように変分下限を整理することができ、これを最大化する方向としてネットワークパラメータであるθとφをアップデートする。

本発明の音質改善ＤＮＮでは、ＶＡＥに雑音除去（ｄｅｎｏｉｓｉｎｇ）過程を取り入れるＤＶＡＥ（ｄｅｎｏｉｓｉｎｇｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ）を適用する。ＤＶＡＥのトレーニング過程はＶＡＥのトレーニング過程とほぼ同じであるが、その差異としては、入力は雑音が混ざった音声であるが出力は綺麗な音声であるという点にある。ＶＡＥとＡＥ（ａｕｔｏｅｎｃｏｄｅｒ）を利用してフィルタバンク特徴（ｆｉｌｔｅｒ−ｂａｎｋｆｅａｔｕｒｅ）を復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）する実験において、ＶＡＥがＡＥに比べて復元能力が優れているということが確認されたことから、このような事実に着眼して音質改善ＤＮＮにＤＶＡＥを適用した。

図２は、本発明の一実施形態における、ＳＥ−ＤＶＡＥのための雑音除去変分オートエンコーダを説明するための図である。

バッチ正規化（ＢＮ）およびドロップアウトは、ガウス媒介変数レイヤを除いたすべての隠しレイヤで使用される。上述したように、ＢＮが統合トレーニングに大きな影響を及ぼすことは周知の事項である。統合トレーニング時、ＳＥネットワークの出力分布（すなわち、ＶＡＤネットワークの入力分布）は、トレーニングプロセス中に大きく変化するため、ＶＡＤモジュールは不正規的であり、不正規化された入力分布を処理しなければならない。内部共変量シフトというこのような問題により、全体ネットワークをトレーニングするのに困難をきたすようになる。ＢＮを利用することによって２つのモジュール間の境界で内部共変量シフトを減らし、事前トレーニングをしなくても全体ネットワークを効率的にトレーニングすることができるようになる。

図３は、本発明の一実施形態における、３種類の統合トレーニング方法を説明するための図である。

ＤＶＡＥを利用した統合トレーニング方法として大きく３つの方式を提案したが、それぞれ図３の（ａ）ＪＬ−ＤＶＡＥ−１方式、（ｂ）ＪＬ−ＤＶＡＥ−２方式、および（ｃ）ＪＬ−ＤＶＡＥ−３方式がこれに該当する。ＪＬ−ＤＶＡＥ−１方式は、音質改善ネットワーク出力である改善された特徴が直接的に音声検出ＤＮＮの入力に挿入するものである。ＪＬ−ＤＶＡＥ−２方式は、潜在変数ｚが音声検出ＤＮＮの入力に挿入するものであり、ＪＬ−ＤＶＡＥ−３方式は、改善された特徴と潜在変数が同時に音声検出ＤＮＮの入力に挿入するものである。実験により、ＪＬ−ＤＶＡＥ−３方式が最も優れていることが確認された。

１．ＳＥＤＶＡＥおよびＶＡＤ−ＤＮＮの出力で損失関数を計算する。
２．逆伝播を利用して損失Ｇｒａｄｉｅｎｔを計算する。
３．ＳＥ−ＤＶＡＥおよびＶＡＤＤＮＮの媒介変数をアップデートする。

段階２で、ＶＡＤＧｒａｄｉｅｎｔもＳ、Ｅ−ＤＶＡＥによって逆伝播される。これにより、ＳＥＤＶＡＥのパラメータアップデートは、ＳＥ損失関数だけでなくＶＡＤ損失関数にも依存するようになる。

数式（３）において、θ_SEはＳＥ−ＤＶＡＥのパラメータであり、ｇ_SEはθ_SEに対するＳＥ損失Ｇｒａｄｉｅｎｔであり、ｇ_VADはθ_SEに対するＶＡＤ損失勾配である。最後に、λはｇ_VADに加重値を与えるハイパー媒介変数であり、α₁はθ_SEに対する学習率である。改善プロセスが部分的にＶＡＤ損失関数によって案内されるため、フロントエンドは後続ＶＡＤ作業よりも適合し、差別化された向上された特徴を提供することができるであろう。ＶＡＤＤＮＮの媒介変数アップデートは、以下に表示するＶＡＤ損失関数だけに依存する。

図４は、本発明の一実施形態における、音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング装置の構成を示した図である。

提案する音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング装置は、正規化部４１０、加重値部４２０、符号化部４３０を備える。

正規化部４１０は、トレーニング時に発生する内部共変量シフト現象を減少させるためにバッチ正規化を利用する。２つのネットワークを結合して統合トレーニングを実行する場合に発生する音質改善ＤＮＮの出力分布の変分を減少させるために、２つのネットワーク間にバッチ正規化レイヤを追加して不正規的な入力分布を処理することによって内部共変量シフト現象を減少させる。

本発明の実施形態に係るバッチ正規化は、音質改善と音声認識の統合トレーニング方法において、２つのネットワーク間のバッチ正規化レイヤを追加することによって内部共変量シフト（ｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ）現象を減少させ、トレーニングをより容易にする。２つのネットワークを結合して統合トレーニングを実行すれば、音質改善ＤＮＮの出力分布、言い換えれば、音声検出ＤＮＮの入力分布が継続して変わる。このような現象は内部共変量シフト現象と呼ばれ、これによって全体ネットワークのトレーニングに困難をきたすようになる。これは、音声検出ＤＮＮが非正常的（ｎｏｎ−ｓｔａｔｉｏｎａｒｙ）であり、正規化されていない（ｕｎｎｏｒｍａｌｉｚｅｄ）入力分布を扱わなければならないためである。したがって、本発明の実施形態に係るバッチ正規化により、このような内部共変量シフト現象を減少させることができる。

加重値部４２０は、音質改善ＤＮＮが音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する。音質改善ＤＮＮと音声検出ＤＮＮの損失関数を計算し、逆伝播法を利用して各損失関数に対する勾配を求めた後、計算された勾配を利用して２つのネットワークのパラメータをアップデートする。音質改善ＤＮＮのパラメータアップデートによって音声検出ＤＮＮの損失関数を減らすようにトレーニングを実行し、音質改善ＤＮＮによる音声検出に必要な特徴を出力する。

加重値部４２０は、先ず、音質改善ＤＮＮと音声検出ＤＮＮの損失関数（ｌｏｓｓｆｕｎｃｔｉｏｎ）を計算し、逆伝播法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を利用して各損失関数に対する勾配を求める。この後、計算された勾配を利用して２つのネットワークのパラメータをアップデートする。

勾配を求める段階において、音声検出勾配は、音声検出ＤＮＮだけでなく音質改善ＤＮＮにまで逆伝播される。したがって、音質改善ＤＮＮのパラメータアップデートは、音質改善損失関数だけでなく音声検出損失関数にも影響を受ける。

音質改善ＤＮＮのパラメータアップデートにより、音質改善ＤＮＮは、音声検出ＤＮＮの損失関数を減らすためにトレーニングされるようになり、したがって、音質改善ＤＮＮが音声検出を助長する特徴を出力することができるようになる。

符号化部４３０は、音質改善ＤＮＮで雑音除去変分オートエンコーダを利用する。エンコーダ確率分布とデコーダ確率分布の両方を対角ガウス分布として仮定し、エンコーダＤＮＮとデコーダＤＮＮによってそれぞれ対応する確率分布の平均およびログ分散を推定する。そして、事前確率を等方的なガウス分布として仮定し、エンコーダ確率分布とデコーダ確率分布から潜在変数と観測変数を決定的に求め、変分下限を最大化するようにネットワークパラメータをアップデートする。

本発明では、既存の統合トレーニング方法を３つの方法に拡張する。第１に、トレーニング中の内部共変量変分を減らすためにバッチ正規化を使用する。バッチ正規化が音声認識作業における統合トレーニング接近法に対する内部共変量変分を減少させるのに効果的であるということは、既に証明されている。これは、ＶＡＤ作業でも同じである。第２に、ＳＥネットワークのパラメータ更新は、ＳＥ損失関数だけでなくＶＡＤ損失関数にも依存する。このために、フロントエンドは、後続ＶＡＤ作業に適合した、向上された特徴を提供することができる。最後に、音声向上のためにＤＶＡＥ（ｄｅｎｏｉｓｉｎｇｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ）を適用する。ＤＶＡＥは、雑音がある特徴を潜伏コードにマッピングした後、潜伏コードを復号化することによって綺麗な機能を再構成する。本発明の実施形態によると、ＶＡＤネットワークに、向上された機能だけでなく潜在的コードも提供する。実験結果では、提案された方法が既存の統合トレーニング基盤方法よりも優れていることが示された。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、任意に動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置によって具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、限定された実施形態と図面に基づいて実施形態を説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

４１０：正規化部
４２０：加重値部
４３０：符号化部

Claims

音声検出のための統合トレーニング方法であって、
トレーニング時に発生する内部共変量シフト（ｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ）現象を減少させるためにバッチ正規化（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ）を利用する段階、
音質改善ＤＮＮ（Ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）が音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する段階、および
音質改善ＤＮＮで雑音除去変分オートエンコーダ（ｄｅｎｏｉｓｉｎｇｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ）を利用する段階
を含み、
前記音声検出のための統合トレーニング方法は、音質改善ＤＮＮによって音声特徴から雑音を除去するように音声特徴を変換し、雑音が除去された音声特徴を利用して音声検出ＤＮＮによって音声検出を実行することを含む、
音声検出のための統合トレーニング方法。
前記トレーニング時に発生する前記内部共変量シフト現象を減少させるために前記バッチ正規化を利用する前記段階は、
２つのネットワークを結合して前記統合トレーニングを実行する場合に発生する前記音質改善ＤＮＮの出力分布の変分を減少させるために、前記２つのネットワーク間にバッチ正規化レイヤを追加して不正規的な入力分布を処理することによって前記内部共変量シフト現象を減少させることを含む、
請求項１に記載の音声検出のための統合トレーニング方法。
前記音質改善ＤＮＮが前記音声検出に必要な前記音声特徴を出力するように前記Ｇｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する前記段階は、
前記音質改善ＤＮＮと前記音声検出ＤＮＮの損失関数を計算し、逆伝播法を利用して各前記損失関数に対する勾配を求めた後、計算された前記勾配を利用して２つのネットワークのパラメータをアップデートすることを含む、
請求項１に記載の音声検出のための統合トレーニング方法。
前記音質改善ＤＮＮの前記パラメータアップデートによって前記音声検出ＤＮＮの前記損失関数を減らすように前記トレーニングを実行し、前記音質改善ＤＮＮによる前記音声検出に必要な特徴を出力することを含む、
請求項３に記載の音声検出のための統合トレーニング方法。
前記音質改善ＤＮＮで前記雑音除去変分オートエンコーダを利用する前記段階は、
エンコーダ確率分布とデコーダ確率分布の両方を対角ガウス分布として仮定し、エンコーダＤＮＮとデコーダＤＮＮによってそれぞれ対応する確率分布の平均およびログ分散を推定し、事前確率を等方的なガウス分布として仮定し、前記エンコーダ確率分布と前記デコーダ確率分布から潜在変数と観測変数を決定的に求め、変分下限を最大化するようにネットワークパラメータをアップデートすることを含む、
請求項１に記載の音声検出のための統合トレーニング方法。
音声検出のための統合トレーニング装置であって、
トレーニング時に発生する内部共変量シフト（ｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ）現象を減少させるためにバッチ正規化（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ）を利用する正規化部、
音質改善ＤＮＮ（Ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）が音声検出に必要な音声特徴を出力するようにＧｒａｄｉｅｎｔｗｅｉｇｈｔｉｎｇ技法を利用する加重値部、および
前記音質改善ＤＮＮで雑音除去変分オートエンコーダ（ｄｅｎｏｉｓｉｎｇｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ）を利用する符号化部
を備え、
前記音声検出のための統合トレーニング方法は、前記音質改善ＤＮＮによって前記音声特徴から雑音を除去するように前記音声特徴を変換し、前記雑音が除去された前記音声特徴を利用して音声検出ＤＮＮによって前記音声検出を実行することを含む、
音声検出のための統合トレーニング装置。
前記正規化部は、
２つのネットワークを結合して統合トレーニングを実行する場合に発生する前記音質改善ＤＮＮの出力分布の変分を減少させるために、前記２つのネットワーク間にバッチ正規化レイヤを追加して不正規的な入力分布を処理することによって前記内部共変量シフト現象を減少させる、
請求項６に記載の音声検出のための統合トレーニング装置。
前記加重値部は、
前記音質改善ＤＮＮと前記音声検出ＤＮＮの損失関数を計算し、逆伝播法を利用して各前記損失関数に対する勾配を求めた後、計算された前記勾配を利用して２つのネットワークのパラメータをアップデートする、
請求項６に記載の音声検出のための統合トレーニング装置。
前記音質改善ＤＮＮの前記パラメータアップデートによって前記音声検出ＤＮＮの前記損失関数を減らすように前記トレーニングを実行し、前記音質改善ＤＮＮによる前記音声検出に必要な特徴を出力する、
請求項８に記載の音声検出のための統合トレーニング装置。
前記符号化部は、
エンコーダ確率分布とデコーダ確率分布の両方を対角ガウス分布として仮定し、エンコーダＤＮＮとデコーダＤＮＮによってそれぞれ対応する確率分布の平均およびログ分散を推定し、事前確率を等方的なガウス分布として仮定し、前記エンコーダ確率分布と前記デコーダ確率分布から潜在変数と観測変数を決定的に求め、変分下限を最大化するようにネットワークパラメータをアップデートする、
請求項６に記載の音声検出のための統合トレーニング装置。