JP2022091725A - ニューラルネットワークをトレーニングするためのコンピュータ実装方法、非一時的なコンピュータ可読記憶媒体、およびシステム（深層クラスタリングを用いた知識の蒸留） - Google Patents

Abstract

【課題】ニューラルネットワークをトレーニングするためのコンピュータ実装方法、非一時的なコンピュータ可読記憶媒体及びシステムを提供する。【解決手段】ニューラルネットワークをトレーニングする方法は、トレーニングデータサンプルのフルセットを専門トレーニングクラスタにクラスタ化することを含む。専門教師ニューラルネットワークは、専門トレーニングクラスタのそれぞれの専門トレーニングクラスタを使用してトレーニングされる。ソフトラベルは、専門教師ニューラルネットワークを使用して、トレーニングデータサンプルのフルセットに対して生成される。生徒モデルは、トレーニングデータサンプルのフルセット、専門トレーニングクラスタ及びソフトラベルを使用して、トレーニングされる。【選択図】図２

Description

本発明は、一般に機械学習に関し、より詳細には、より大きなモデルと同じ機能を実行するコンパクトなモデルをトレーニングすることに関する。

知識の蒸留トレーニングは知識を比較的大きなモデルから比較的小さなモデルに移す。例えば、より大きなモデルは、その処理能力を十分に使用しない可能性があり、その結果、より小さなモデルは、より少ないリソースを消費しながら、同じ機能を実行するようにトレーニングされ得る。

ニューラルネットワークをトレーニングするためのコンピュータ実装方法、非一時的なコンピュータ可読記憶媒体、およびシステムを提供する。

ニューラルネットワークをトレーニングする方法は、トレーニングデータサンプルのフルセットを専門トレーニングクラスタにクラスタ化することを含む。専門教師ニューラルネットワークは、専門トレーニングクラスタのそれぞれの専門トレーニングクラスタを使用してトレーニングされる。ソフトラベルは、専門教師ニューラルネットワークを使用して、トレーニングデータサンプルのフルセットに対して生成される。生徒モデルは、トレーニングデータサンプルのフルセット、専門トレーニングクラスタ、およびソフトラベルを使用して、トレーニングされる。

ニューラルネットワークをトレーニングするためのシステムは、ハードウェアプロセッサと、コンピュータプログラムコードを格納するメモリとを含む。コンピュータプログラムコードは、ハードウェアプロセッサによって実行されると、生徒モデルと、クラスタリングネットワークと、複数の専門教師ニューラルネットワークと、モデルトレーナーとを実装する。クラスタリングネットワークは、トレーニングデータサンプルのフルセットを複数の専門トレーニングクラスタにクラスタ化する。専門教師ニューラルネットワークは、トレーニングデータサンプルのフルセットに対してソフトラベルを一緒に生成する。モデルトレーナーは、複数の専門トレーニングクラスタのそれぞれの専門トレーニングクラスタを使用して複数の専門教師ニューラルネットワークをトレーニングし、トレーニングデータサンプルのフルセット、専門トレーニングクラスタ、およびソフトラベルを使用して、生徒モデルをトレーニングする。

これらおよび他の特徴および利点は、添付の図面に関連して読まれる、それらの例示的な実施形態の以下の詳細な説明から明らかになるであろう。

以下の説明は、以下の図面を参照して、好適な実施形態の詳細を提供する。

本発明の一実施形態による、異なる音響条件のための一般教師モデルおよび専門教師モデルに基づく生徒モデルのトレーニングおよび使用の図である。 本発明の一実施形態による、異なる音響条件のための一般教師モデルおよび専門教師モデルに基づいて生徒モデルをトレーニングする方法のブロック／フロー図である。 本発明の一実施形態による、トレーニングされた生徒モデルを使用して、新しい発話に対して音声認識および自然言語タスクを実行する方法のブロック／フロー図である。 本発明の一実施形態による、異なる音響条件のための一般教師モデルおよび専門教師モデルに基づいて生徒モデルをトレーニングする自然言語処理システムのブロック図である。 本発明の一実施形態による、ニューラルネットワークの特徴を示す人工ニューラルネットワークの一般化された図である。 本発明の一実施形態による、ニューラルネットワークの特徴を示す特定の人工ニューラルネットワークのアーキテクチャの一般化された図である。 一実施形態による、クラウド消費者によって使用されるローカルコンピューティング装置が通信する１つまたは複数のクラウドコンピューティングノードを有する例示的なクラウドコンピューティング環境を示すブロック図である。 一実施形態による、クラウドコンピューティング環境によって提供される機能抽象化レイヤのセットを示すブロック図である。

知識の蒸留は、比較的大きな「教師モデル」を用い、それを使用して比較的小さな「生徒モデル」をトレーニングすることができる。生徒モデルは、クラスタ化されたデータを表すドメイン固有の知識を組み込むことができる。音声認識および他の音響処理タスクにおいて、このようなモデルは、背景雑音の相違および話者のアクセントおよび影響の相違を含むことがある様々な音響条件のための専門教師を組み込むことができる。

複数のデータクラスタが生成され、教師なし深層クラスタリングを用いて専門教師モデルを形成するために使用できる。複数の教師を使用してソフトラベルを決定するトレーニングパイプラインが本明細書に記載されており、このソフトラベルは生徒モデルのトレーニングに使用される。１つのモデルで複数の音響条件を同時に表現することは困難であるため、専門教師モデルを使用することは、生徒モデルをトレーニングする際に音響条件の違いを捉えるのに役立つ。

自動音声認識における１つの目的は、広範囲の音響条件に対してロバストな音響モデリングを提供することである。本明細書では、音響データを扱うものとしてモデルを具体的に説明するが、代わりに別の形式のデータを使用してもよいことを理解されたい。音響データは、例えば、経時的に空気圧の強度を表す波形として表すことができるが、同様の波形として表すことができる他の多くの形態の情報がある。したがって、入力データは、人間の可聴範囲内の音声信号、人間の可聴範囲外の超低周波音信号または超音波信号、電磁スペクトル内のエネルギーの波形を含む電磁信号、地表の動きを記録する地震信号、または任意の他の適切な波形データを含み得る。

トレーニングデータは、話者の年齢、場所、グループアイデンティティ、または発声速度、チャンネルまたは環境条件、または周囲雑音レベルを含むことができる異なる音響条件などの様々な条件で収集され得るが、データがそのような情報のラベルを含むとは想定されない。このため、音響状態に関する先験的な情報が得られない場合がある。したがって、トレーニングデータは、音響条件に従って発話をグループ化するために教師なし深層クラスタリングを使用してクラスタ化され、これらのクラスタは、条件固有の教師ネットワークをトレーニングするために使用され得る。

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載する教示の実施はクラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在知られているか、または後に開発される任意の他のタイプのコンピューティング環境と共に実施することができる。

ここで図１を参照すると、音響処理タスクの概要が示されている。話者１０２は、マイクロフォン１０４によって録音される発話を行い、マイクロフォン１０４は、その発話の空気圧波を波形に変換する。波形は、トレーニングされた生徒モデル１０６によって処理され、例えば、波形に対して音声認識を実行して、話者１０２が何を言ったかを判断することができる。次いで、トレーニングされた生徒モデル１０６によって生成された情報は、自然言語タスク１１２の一部として処理され、例えば、要求された情報のためのクエリを実行したり、またはコマンドに応答したアクションを実行したりする。

トレーニングされた生徒モデル１０６は、一般教師モデル１０８および専門教師モデル１１０を含む教師モデルのセットによってトレーニングすることができる。一般教師モデル１０８は、各構成波形の音響条件に関係なく、トレーニングデータのフルセットでトレーニングすることができる。一般教師モデル１０８の例示的な構造は、双方向の長短期記憶ネットワーク、ビジュアルジオメトリグループ（ＶＧＧ）の畳み込みニューラルネットワーク、および残留ニューラルネットワークを含むことができる。一般教師モデル１０８を使用して、専門教師モデル１１０が一般環境からの異なる特性をどのように表すかを判断することができる。一般教師モデル１０８はまた、自動音声認識の特性がクラスタリングに反映されるように、教師なしクラスタリングに使用される特徴として文脈依存音素のログ尤度を推定するために使用される。

専門教師モデル１１０は、例えば、異なる音響条件に従ってトレーニングデータがクラスタ化された後に、トレーニングデータのサブセットに従ってそれぞれトレーニングされてもよい。専門教師モデル１１０は、一般教師モデル１０８から始まり、異なる教師モデル間の各ニューロンの基本を維持するモデル適応として実施することができる。一般教師モデル１０８および専門教師モデル１１０と比較して、生徒モデル１０６は、より少ないネットワークパラメータを有するニューラルネットワークであってもよい。その結果、生徒モデル１０６は教師モデルよりも速く動作することができる。ある特定の例では、音声信号を復号するために使用される生徒モデルは、９３００の出力ターゲットの事後確率を推定するために、１レイヤ当たり２０４８個のノードを有する４つの完全に接続されたレイヤに加えて、それぞれ１２８個および２５６個の隠れノードを有する２つの畳み込みレイヤを有することができる。生徒モデル１０６の出力は、教師モデルの出力と同じフォーマットを有することができる。

畳み込みニューラルネットワーク（ＣＮＮｓ）は、ＣＮＮレイヤ内の各ニューロンが各ウィンドウ位置に適用されるそれぞれの「フィルタ」を有する入力にわたって、スライディング「ウィンドウ」を使用して情報を処理する。各フィルタは、例えば、入力内のそれぞれのパターンを処理するようにトレーニングすることができる。ＣＮＮｓは、画像を処理する際に特に有用であり、画像の異なる領域を通過する際に、個々の画素間のローカルリレーションシップがフィルタによって捕捉され得る。ＣＮＮレイヤ内のニューロンの出力は、それぞれのフィルタがスライディングウィンドウ内の値の各セットに一致したかどうかを表す値のセットを含むことができる。

クラスタリングは、話者ベクトルとして表されるトレーニングデータ波形上で実行されてもよく、話者ベクトルは、それぞれ、音の特徴と話者の音レベルの信頼スコアとを含む。音レベルの信頼スコアを含む話者ベクトルは、同じ話者からの特徴ベクトル系列全体の平均から決定することができる。

このように、一般教師モデル１０８は、データセット内のすべての波形でトレーニングされてもよく、またはトレーニングデータの平均音響条件を表すサブセットを使用してトレーニングされてもよい。このサブセットは、例えば、トレーニングデータプールから発話をランダムに選択することによって生成することができる。信頼スコアを生成するために使用される初期音響モデルも、同じデータからトレーニングされ得る。

クラスタリング後、トレーニングデータはＮ個のクラスに分割され、教師なし深層ラーニングを使用して音響ドメイン固有のデータセットｄ_ｎ（ｎはＮ個のクラスの１つ）が作成され得る。次いで、専門教師モデル１１０は、それぞれのデータセットｄ_ｎを用いてトレーニングされ、一般教師モデル１０８を適合させる。

生徒モデル１０６をトレーニングするために、対応する専門教師モデル１１０を用いてソフトラベルｌ_ｎが生成される。次いで、生徒モデル１０６は、対応するソフトラベルセットｌ_ｎを用いて、全てのトレーニングデータｄ_ｎでトレーニングされる。専門教師モデル１１０によって生成されたソフトラベルは、一般教師モデル１０８よりも、対応する音響条件ドメインに対してより良い品質を有することができる。したがって、生徒モデル１０６は、様々な専門教師モデル１１０の識別能力を黙示的に含む。

次に図２を参照すると、生徒モデル１０６をトレーニングする方法が示されている。ブロック２０２は、例えば、トレーニングデータセット全体またはトレーニングデータセット全体のランダムにサンプリングされたサブセットを使用して、一般教師モデル１０８をトレーニングすることから始まる。このトレーニングは、例えば、確率的勾配降下法およびバックプロパゲーションを用いて実行することができ、教師モデルからの予測出力と所定のトレーニングデータラベルとの間の交差エントロピー損失を最小化する。

ブロック２０４は、例えば教師なし深層クラスタリングを使用して、トレーニングデータに対してクラスタリングを実行する。深層クラスタリングは、例えば、ディープニューラルネットワークを使用して、クラスタリングプロセス（例えばＫ平均法）を使用して特徴を反復的にグループ化し、後続の割当てを監視として使用して、ネットワークの重みを更新してもよい。クラスタリングの各反復は、トレーニングデータの疑似ラベルを提供するために使用され、疑似ラベルは、その後、クラスタリングの次の反復で使用される。トレーニングデータ波形のそれぞれのサブセットを含むＮ個のクラスタｄ_ｎのセットが形成される。深層クラスタリングの代わりに他の形式のクラスタリングを使用することもできるが、深層クラスタリングのアプローチは、複数の専門モデルに基づくフレームワークで優れたパフォーマンスを提供する。

ブロック２０４は、特徴マッピングレイヤ、分類レイヤ、およびｋ平均法クラスタリングコンポーネントを含み得るクラスタリングニューラルネットワークモデルを採用し得る。特徴マッピングレイヤは、入力信号を特徴の中間表現に変換する。次いで、分類レイヤは、中間表現の分類を行う。重みパラメータが更新されると、特徴マッピングと分類レイヤが組み合わされる。

各話者が特定の音響条件で話すと仮定することができる。トレーニングデータ内の全ての発話は、Ｄ次元スーパーベクトルを使用して表現されてもよく、これは、全ての文脈依存音素について平均化されたログメル周波数特徴（およびそれらのデルタおよびダブルデルタ）を連結することによって形成されてもよい。平均化されたログメル周波数特徴は、発話に対して強制アライメントが実行された後に計算され得る。アライメント推定プロセス中に得られた各音素の平均ログ尤度も、スーパーベクトルに付加することができ、その結果、スーパーベクトルのサイズは、Ｄ＝Ｆ×Ｐ＋Ｓとなる。この場合、Ｆがログメル周波数特徴の次元であり、Ｐが文脈依存音素の数であり、Ｓがスーパーベクトルを作成する際に使用されたログ尤度の数であり、Ｐに等しくなり得る。

音素文脈依存性が、例えば、トライフォンまたはクインフォンである場合、スーパーベクトルのサイズは、クラスタリングネットワークのための実践的な入力として使用するには大きすぎる可能性がある。したがって、スーパーベクトルは、例えば主成分分析（ＰＣＡ）によって、より扱いやすいサイズに圧縮されてもよく、または代わりに文脈非依存音素が使用されてもよい。

発話が音声的にバランスがとれている場合、チャネル関連特性が平均化されるので、発話ベクトルは音響特性のみの良好な表現となり得る。対照的に、発話が短いか、またはバランスが良くない場合、ベクトルは音声的に偏った成分を含み得る。しかし、このような情報は、専門教師モデル１１０によって使用され得る言語的に意味のある特性を表すため、有用である。各話者のすべての発話を含むスーパーベクトルを使用することは、音声的にバランスのとれた表現を得るのに役立つ。

このように、このシステムを使用してトレーニングデータをクラスタ化するために、各フレームがどの音素に属するかを表す音アライメント情報を生成することができる。同じ音素の平均をとると、各話者に対してスーパーベクトルを生成することができる。各音には、対応する特徴を含む話者ベクトルの最初の部分があり、その後にその音に対する平均信頼スコアが続く。音レベルの信頼スコアは、推定され、話者ベクトルに付加され、クラスタリングのための音声認識情報を組み込むことができる。これにより、音素の数に対応するコンポーネントの追加セットが音ごとに作成される。

ブロック２０６は、専門教師モデル１１０をトレーニングする。各専門教師モデル１１０は、それぞれのサブセットｄ_ｎをトレーニングデータとして使用して、特定の音響条件を有する波形でトレーニングされるモデルを生成する。次いで、これらの専門教師モデル１１０をブロック２０８で使用して、トレーニングデータの各サブセットのためのソフトラベルｑ_ｓｐを生成し、一方、一般教師モデル１０８を使用して、トレーニングデータの全セットのためのソフトラベルｑ_ｂｌを生成する。

次に、ブロック２１０は、ソフトラベルおよびクラスタ化されたトレーニングデータを使用して、生徒モデル１０６をトレーニングする。ブロック２１０は、生徒モデル１０６をトレーニングするために双方向損失関数を使用することができる。例えば、損失関数は以下のように表される。

ここで、λは、２つの異なる損失成分を重み付けするハイパーパラメータであり、ｑ_ｂｌ（ｉ|ｘ）は一般教師モデル１０８からのソフトラベルを表し、ｑ_ｓｐ（ｉ|ｘ）は専門教師モデル１１０からのソフトラベルを表し、ｘは入力特徴であり、ｐ（ｉ|ｘ）は、ｉが文脈依存音素のインデックスを示すとき、生徒モデル１０６からのクラスの出力確率である。ハイパーパラメータは、例えば０．５に設定することができる。

専門教師モデル１１０の損失Ｌ_ｓｐは、まず、分類されたデータｄ_ｎの予測出力と対応するソフトラベルｑ_ｓｐ（ｉ|ｘ）との間で計算される。同じデータが一般教師モデル１０８を通過して、一般教師モデル１０８のための損失Ｌ_ｂｌが生成される。生徒モデル１０６のパラメータは、結合損失Ｌを最小にするように更新される。

損失関数の２つの成分は、それぞれ、生徒モデル１０６と一般教師モデル１０８の分布の間、および生徒モデル１０６と専門教師モデル１１０の分布の間の差を最小化しようとする。ソフトラベルｑを使用すると、各トレーニング例について、競合するクラスは小さいがゼロ以外の確率を持つことになる。生徒モデル１０６をトレーニングするために使用することができるカルバックライブラー（ＫＬ）情報量基準は、等価的に、ソフトターゲットラベルの結合された交差エントロピーも最小化する。

ここで図３を参照すると、自然言語タスクを実行する方法が示されている。ブロック３０２は、生徒モデル１０６を、例えば、一般教師モデル１０８および専門教師モデル１１０を使用して、様々な発話波形を含むトレーニングデータのセットでトレーニングする。ブロック３０４は、例えばマイクロフォン１０４を使用して新しい発話を記録する。

ブロック３０６は、例えばトレーニングされた生徒モデル１０６を使用して、新しい発話に対して音声認識を実行する。トレーニングされた生徒モデル１０６は、例えば、発話中の異なる音に対応する音素のセットを出力することができる。場合によっては、トレーニングされた生徒モデル１０６は、音素を完全な単語および文にさらに変換し、新しい発話をテキスト文字列として表すことができる。

次に、ブロック３０８は、テキストに対して自然言語タスク１１２を実行する。例えば、自然言語タスク１１２は、質疑応答システムを実装するチャットボットを含むことができる。このような例では、自然言語タスク１１２は、話し言葉からユーザの意図を識別し、特定の情報に対する要求を識別し、要求された情報を提供する。別の例では、自然言語タスク１１２は、新しい発話に符号化されたコマンドを実行する実行エンジンを含むことができる。

本発明は、任意の可能な技術詳細レベルで統合されたシステム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピュータ装置／処理装置へダウンロード可能である。あるいは、ネットワーク（例えばインターネット、ＬＡＮ、ＷＡＮもしくはワイヤレスネットワークまたはこれらの組み合わせ）を介して、外部コンピュータまたは外部記憶装置へダウンロード可能である。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータもしくはエッジサーバまたはこれらの組み合わせを備えることができる。各コンピュータ装置／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、各々のコンピュータ装置／処理装置におけるコンピュータ可読記憶媒体に記憶するために転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、または、スモールトークやＣ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードもしくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、スタンドアロン型ソフトウェアパッケージとして完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行可能である。後者の場合、リモートコンピュータは、ＬＡＮやＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続してもよいし、外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続してもよい。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行する目的で当該電子回路をカスタマイズするために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。

本発明の各態様は、本明細書において、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートもしくはブロック図またはその両方を参照して説明されている。フローチャートもしくはブロック図またはその両方における各ブロック、および、フローチャートもしくはブロック図またはその両方における複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実行可能である。

上記のコンピュータ可読プログラム命令は、機械を生産するために、コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供してよい。これにより、かかるコンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行するための手段を創出する。上記のコンピュータ可読プログラム命令はさらに、コンピュータ、プログラマブルデータ処理装置もしくは他の装置またはこれらの組み合わせに対して特定の態様で機能するよう命令可能なコンピュータ可読記憶媒体に記憶してよい。これにより、命令が記憶された当該コンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作の態様を実行するための命令を含む製品を構成する。

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブル装置、または他の装置にロードし、一連の動作ステップを当該コンピュータ、他のプログラマブル装置、または他の装置上で実行させることにより、コンピュータ実行プロセスを生成してもよい。これにより、当該コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行する。

本明細書において、本発明の「一実施形態（one embodiment）」または「一実施形態（an embodiment）」、ならびに、それらの他の変形例を参照することは、本実施形態に関連して説明される特定の特徴、構造、特性などが、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書中の様々な箇所に現れる「１つの実施形態において（in one embodiment）」または「１つの実施形態において（in an embodiment）」という語句の出現および他の変形は、必ずしもすべて同じ実施形態を指しているわけではない。

以下の「／」、「および／または（and/or）」、および「～のうちの少なくとも1つ（at least one of）」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ（A and/or B）」、および「ＡおよびＢのうちの少なくとも１つ（at least one of A and B）」の場合に、１番目に列挙されたオプション（Ａ）のみの選択、または２番目に列挙されたオプション（Ｂ）のみの選択、または両方のオプション（ＡおよびＢ）の選択を包含することが意図されていることを理解されたい。さらに別の例として、「Ａ、Ｂおよび／またはＣ（A, B, and/or C）」および「Ａ、Ｂ、Ｃのうちの少なくとも１つ（at least one of A, B, and C）」の場合、そのような表現は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、１番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみの選択、または３つの全てのオプション（ＡおよびＢおよびＣ）の選択を包含することを意図している。これは、この技術および関連技術の当業者によって容易に明らかなように、列挙された項目の数だけ拡張することができる。

本開示の図面におけるフローチャートおよびブロック図は、本発明の種々の実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。この点に関して、フローチャートまたはブロック図における各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことができる。他の一部の実装形態において、ブロック内に示した機能は、各図に示す順序とは異なる順序で実行してもよい。例えば、連続して示される２つのブロックは、実際には、関係する機能に応じて、１つの工程として達成してもよいし、同時もしくは略同時に実行してもよいし、部分的もしくは全体的に時間的に重複した態様で実行してもよいし、または場合により逆順で実行してもよい。なお、ブロック図もしくはフローチャートまたはその両方における各ブロック、および、ブロック図もしくはフローチャートまたはその両方における複数のブロックの組み合わせは、特定の機能または動作を行う専用ハードウェアベースのシステムによって、または専用ハードウェアとコンピュータ命令との組み合わせによって実行可能である。

本明細書で使用される用語「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」は、１つまたは複数の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェアまたはそれらの組み合わせを指すことができる。有用な実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行装置など）を含むことができる。１つまたは複数のデータ処理要素は、中央処理装置、グラフィックス処理装置、もしくは別個のプロセッサベースまたはコンピューティングエレメントベースのコントローラ（例えば、論理ゲート等）またはその組み合わせに含まれ得る。ハードウェアプロセッササブシステムは、１つまたは複数のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み取り専用メモリなど）を含むことができる。いくつかの実施形態では、ハードウエアプロセッササブシステムは、オンボードまたはオフボードであってもよく、または、ハードウエアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）など）によって使用されるために専用であってもよい１つまたは複数のメモリを含むことができる。

いくつかの実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のソフトウェア要素を含み、実行することができる。１つまたは複数のソフトウェア要素は、オペレーティングシステムもしくは、１つまたは複数のアプリケーションもしくは、特定のコードまたはその組み合わせを含み、特定の結果を達成することができる。

他の実施形態では、ハードウェアプロセッササブシステムは、特定の結果を達成するために１つまたは複数の電子処理機能を実行する専用の専用回路を含むことができる。このような回路は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣｓ）、ＦＰＧＡｓ、もしくはＰＬＡｓまたはその組み合わせを含むことができる。

本発明の実施形態によれば、ハードウェアプロセッササブシステムのこれらの変形例および他の変形例も考えられる。

図４を参照すると、自然言語処理システム４００が示されている。システム４００は、ハードウェアプロセッサ４０２およびメモリ４０４を含む。センサインタフェース４０６は、マイクロフォン１０４などのセンサから波形情報を受信する。トレーニングデータ４０８は、メモリ４０４に格納されてもよい。

クラスタリングネットワーク４１０は、上述のようにトレーニングデータ４０８をクラスタリングし、異なる音響条件に対応するトレーニングサブセットを提供する。トレーニングデータ４０８は、モデルトレーナー４１２が一般教師モデル１０８をトレーニングするために使用される。クラスタリングネットワーク４１０によって生成されたトレーニングデータ４０８のクラスタ化されたサブセットは、モデルトレーナー４１２によって使用されて、それぞれの専門教師モデル１１０をトレーニングする。一般教師モデル１０８と専門教師モデル１１０とを用いてトレーニングデータに対してソフトラベルが生成され、モデルトレーナー４１２はこれらのソフトラベルを用いて生徒モデル１０６をトレーニングする。

トレーニングされた生徒モデル１０６は、センサインタフェース４０６から新しい発話を受信する。生徒モデル１０６は、例えば発話に対して自動音声認識を行い、テキスト出力を生成する。次いで、自然言語タスク１１２は、テキスト出力を受け入れ、適切な応答を提供する。

一般教師モデル１０８、専門教師モデル１１０および生徒モデル１０６は、それぞれ人工ニューラルネットワーク（ＡＮＮｓ）として実装されてもよい。ＡＮＮは、脳などの生物学的な神経系からヒントを得た情報処理システムである。ＡＮＮの重要な要素は、情報処理システムの構造であり、これは、特定の問題を解決するために並列に動作する多数の高度に相互接続された処理要素（「ニューロン」と呼ばれる）を含む。ＡＮＮｓはさらに使用中にトレーニングされ、ニューロン間に存在する重みを調整する学習を伴う。ＡＮＮは、このような学習プロセスを介して、パターン認識やデータ分類などの特定のアプリケーション用に構成される。

次に図５を参照すると、ニューラルネットワークの一般化された図が示されている。ＡＮＮｓは、複雑または不正確なデータから意味を引き出す能力を示し、ヒトまたは他のコンピュータベースのシステムによって検出するには複雑すぎるパターンを抽出し傾向を検出するために使用することができる。ニューラルネットワークの構造は、一般に、１つまたは複数の「隠れ」ニューロン５０４に情報を提供する入力ニューロン５０２を有することが知られている。入力ニューロン５０２と隠れニューロン５０４との間の接続５０８は重み付けされ、これらの重み付けされた入力は、隠れニューロン５０４によって、隠れニューロン５０４のある機能に従って、レイヤ間の重み付けされた接続５０８で処理される。隠れニューロン５０４の任意の数のレイヤ、ならびに異なる機能を実行するニューロンが存在し得る。畳み込みニューラルネットワーク、マックスアウトネットワークなどの異なるニューラルネットワーク構造も存在する。最後に、出力ニューロン５０６のセットは、隠れニューロン５０４の最後のセットからの重み付けされた入力を受け入れて処理する。

これは、情報が入力ニューロン５０２から出力ニューロン５０６に伝播する「フィードフォワード」計算を表す。フィードフォワード計算が完了すると、出力はトレーニングデータから得られる所望の出力と比較される。トレーニングデータに関するエラーは、次に、「フィードバック」計算で処理され、隠れニューロン５０４および入力ニューロン５０２は、出力ニューロン５０６から逆方向に伝播するエラーに関する情報を受け取る。逆方向のエラー伝播が完了すると、重み更新が実行され、重み付き接続５０８は、受信されたエラーを考慮して更新される。これは、ＡＮＮの１つの種類にすぎない。

次に図６を参照すると、ＡＮＮ用の例示的なアーキテクチャ６００が示されている。本アーキテクチャは純粋に例示的なものであり、他のアーキテクチャまたはタイプのニューラルネットワークを代わりに使用できることを理解されたい。特に、ＡＮＮのハードウェア実施形態が本明細書に記載されているが、ニューラルネットワークアーキテクチャは、ソフトウェアで実装またはシミュレートすることができることを理解されたい。本明細書に記載されるハードウェアの実施形態は、高レベルの一般性でのニューラルネットワーク計算の一般原理を説明する意図で含まれ、いかなる方法においても制限するものと解釈されるべきではない。

さらに、以下に記載されるニューロンのレイヤおよびそれらを接続する重みは、一般的な方法で記載され、任意の適切な程度またはタイプの相互接続性を有する任意のタイプのニューラルネットワークレイヤで置き換えることができる。例えば、レイヤには、畳み込みレイヤ、プーリングレイヤ、完全に接続されたレイヤ、ソフトマックスレイヤ、またはその他の適切なタイプのニューラルネットワークレイヤを含めることができる。さらに、必要に応じてレイヤを追加または除去することができ、より複雑な相互接続の形態のために重みを省略することができる。

フィードフォワード動作中、入力ニューロン６０２のセットの各々は、重み６０４のそれぞれの列に平行な入力電圧を供給する。本明細書に記載するハードウェア実施形態では、重み６０４の各々は、電流出力が重み付き入力を表すために重み６０４からそれぞれの隠れニューロン６０６に流れるように、設定可能な抵抗値を有する。ソフトウェア実施形態では、重み６０４は、単に、関連するニューロン出力に対して乗算される係数値として表すことができる。

ハードウェアの実施形態に従って、与えられた重み６０４による電流出力は、Ｉ＝ｖ／ｒと決定される。ここで、Ｖは入力ニューロン６０２からの入力電圧であり、ｒは重み６０４の設定抵抗である。各重みからの電流は列方向に加算され、隠れニューロン６０６に流れる。基準重み６０７のセットは固定抵抗を有し、それらの出力を結合して、隠れニューロン６０６の各々に供給される基準電流にする。コンダクタンス値は正の数にしかできないため、マトリックス内の正の値と負の値の両方をエンコードするには、ある程度の基準コンダクタンスが必要である。重み６０４によって生成される電流は連続的に値が付けられて正であるため、基準重み６０７は基準電流を提供するために使用され、基準電流を超えると電流は正の値を有すると考えられ、基準電流を下回ると電流は負の値を有すると考えられる。基準重み６０７の使用は、出力および重みの値が正確かつ直接的に得られるソフトウェア実施形態では必要とされない。基準重み６０７を使用する代わりに、別の実施形態は、重み６０４の別個のアレイを使用して負の値を捉えることができる。

隠れニューロン６０６は、重み６０４のアレイからの電流および基準重み６０７を使用して、何らかの計算を実行する。次に、隠れニューロン６０６は、自身の電圧を重み６０４の別のアレイに出力する。このアレイは、同様に動作し、重み６０４の列がそれぞれの隠れニューロン６０６から電圧を受け取り、行方向に加算して出力ニューロン６０８に供給される加重電流出力を生成する。

アレイの追加のレイヤおよび隠れニューロン６０６を介在させることによって、これらのステージの任意の数を実施できることを理解されたい。いくつかのニューロンは、アレイに一定の出力を提供する一定ニューロン６０９であり得ることにも留意されたい。一定ニューロン６０９は、入力ニューロン６０２もしくは隠れニューロン６０６またはその両方の間に存在することができ、フィードフォワード動作中にのみ使用される。

バックプロパゲーションの間、出力ニューロン６０８は、重み６０４のアレイに電圧を戻す。出力レイヤは、生成されたネットワーク応答をトレーニングデータと比較し、エラーを計算する。エラーは電圧パルスとしてアレイに印加され、パルスの高さもしくは持続時間またはその両方はエラー値に比例して変調される。この例では、重み６０４の列は、それぞれの出力ニューロン６０８から並列に電圧を受け取り、その電圧を、列ごとに加算して、隠れニューロン６０６に入力を提供する電流に変換する。隠れニューロン６０６は、重み付きフィードバック信号をそのフィードフォワード計算の導関数と結合し、エラー値を格納してから、フィードバック信号電圧をそれぞれの重み６０４の列に出力する。このバックプロパゲーションは、すべての隠れニューロン６０６および入力ニューロン６０２がエラー値を格納するまでネットワーク６００全体を伝播する。

重み更新の間、入力ニューロン６０２および隠れニューロン６０６は、第１の重み更新電圧を順方向に印加し、出力ニューロン６０８および隠れニューロン６０６は、ネットワーク６００を介して第２の重み更新電圧を逆方向に印加する。これらの電圧の組み合わせは、各重み６０４内に状態変化を生じさせ、重み６０４に新しい抵抗値を生じさせる。このようにして、重み６０４は、ニューラルネットワーク６００をその処理におけるエラーに適応させるようにトレーニングすることができる。なお、フィードフォワード、バックプロパゲーション、重み更新の３つの動作モードは互いに重複しない。

上述したように、重み６０４は、例えば、比較的複雑な重み付け回路を使用したり、抵抗性クロスポイント装置を使用したりして、ソフトウェアまたはハードウェアで実装することができる。このような抵抗装置は、データ処理に使用できる非線形性を有するスイッチング特性を有することができる。重み６０４は、それらの非線形特性がニューラルネットワーク６００における計算を実行するために使用されるので、抵抗型処理ユニット（ＲＰＵ）と呼ばれる装置のクラスに属することができる。ＲＰＵ装置は、抵抗変化型メモリ（ＲＲＡＭ）、相変化メモリ（ＰＣＭ）、プログラマブルメタライゼーションセル（ＰＭＣ）メモリ、または非線形抵抗スイッチング特性を有する任意の他の装置で実装することができる。このようなＲＰＵ装置は、メモリスタシステムと考えることもできる。

クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの実装モデルを含むことがある。

特性は以下の通りである。

オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。

ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。

迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。

サービスモデルは以下の通りである。

サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。ただし、ユーザ固有の限られたアプリケーション構成の設定はその限りではない。

サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。

サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備し、消費者がオペレーティングシステムおよびアプリケーションを含む任意のソフトウェアを展開および実行できるようにすることである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。

展開モデルは以下の通りである。

プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。

クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

ここで、図７に例示的なクラウドコンピューティング環境５０を示す。図示するように、クラウドコンピューティング環境５０は１つ以上のクラウドコンピューティングノード１０を含む。これらに対して、クラウド消費者が使用するローカルコンピュータ装置（例えば、ＰＤＡもしくは携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎまたはこれらの組み合わせなど）は通信を行うことができる。ノード１０は互いに通信することができる。ノード１０は、例えば、上述のプライベート、コミュニティ、パブリックもしくはハイブリッドクラウドまたはこれらの組み合わせなど、１つ以上のネットワークにおいて、物理的または仮想的にグループ化（不図示）することができる。これにより、クラウドコンピューティング環境５０は、サービスとしてのインフラストラクチャ、プラットフォームもしくはソフトウェアまたはこれらの組み合わせを提供することができ、クラウド消費者はこれらについて、ローカルコンピュータ装置上にリソースを維持する必要がない。なお、図７に示すコンピュータ装置５４Ａ～Ｎの種類は例示に過ぎず、コンピューティングノード１０およびクラウドコンピューティング環境５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能接続（例えば、ウェブブラウザの使用）またはその両方を介して、任意の種類の電子装置と通信可能であることを理解されたい。

ここで、クラウドコンピューティング環境５０（図７）によって提供される機能的抽象化レイヤのセットを図８に示す。なお、図８に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェアレイヤ６０は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム６１、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、記憶装置６５、ならびにネットワークおよびネットワークコンポーネント６６が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８を含む。

仮想化レイヤ７０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５。

一例として、管理レイヤ８０は以下の機能を提供することができる。リソース準備８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウド消費者およびタスクの識別確認を可能にする。ユーザポータル８３は、消費者およびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行８５は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。

ワークロードレイヤ９０は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育の配信９３、データ分析処理９４、取引処理９５、ならびに、モデルトレーニング９６が含まれる。

深層クラスタリングを使用する知識の蒸留の好適な実施形態（例示的であり、限定的ではないことが意図されている）を説明したが、上記の教示に照らして、修正および変形が当業者によってなされ得ることに留意されたい。したがって、添付の特許請求の範囲によって概説されるように、本発明の範囲内にある開示された特定の実施形態に変更を加えることができることを理解されたい。このようにして、特許法によって要求される詳細および特殊性と共に、本発明の態様を説明してきたが、特許状によって特許請求され、保護されることが望まれるものは、添付の特許請求の範囲に記載されている。

Claims (20)

1. ニューラルネットワークをトレーニングするためのコンピュータ実装方法であって、
   トレーニングデータサンプルのフルセットを複数の専門トレーニングクラスタにクラスタ化することと、
   前記複数の専門トレーニングクラスタのそれぞれの専門トレーニングクラスタを使用して複数の専門教師ニューラルネットワークをトレーニングすることと、
   前記複数の専門教師ニューラルネットワークを使用して、前記トレーニングデータサンプルのフルセットに対してソフトラベルを生成することと、
   前記トレーニングデータサンプルのフルセット、前記専門トレーニングクラスタ、および前記ソフトラベルを使用して、生徒モデルをトレーニングすることと、
   を含む、コンピュータ実装方法。
2. 前記トレーニングデータサンプルは、音響波形を含む、請求項１に記載のコンピュータ実装方法。
3. 前記トレーニングデータサンプルのフルセットをクラスタ化することは、音響条件に従ってクラスタ化することを含む、請求項２に記載のコンピュータ実装方法。
4. クラスタ化することは、教師なし深層クラスタリングを行うことを含む、請求項１に記載のコンピュータ実装方法。
5. 前記トレーニングデータサンプルのフルセットを使用して一般教師ニューラルネットワークをトレーニングすることをさらに含む、請求項１に記載のコンピュータ実装方法。
6. 前記ソフトラベルを生成することは、前記一般教師ニューラルネットワークをさらに使用する、請求項５に記載のコンピュータ実装方法。
7. 前記生徒モデルをトレーニングすることは、下記損失関数を最小化することを含む、請求項６に記載のコンピュータ実装方法。
   

   

   ここで、λは重みハイパーパラメータであり、ｑ_ｂｌは前記一般教師ニューラルネットワークからのソフトラベルのセットであり、ｑ_ｓｐは前記複数の専門教師ニューラルネットワークからのソフトラベルのセットであり、ｐ（ｉ|ｘ）は、ｉが文脈依存音素のインデックスを示し、ｘが入力信号を示すとき、前記生徒モデルからのクラスの確率である。
8. 前記生徒モデルは、前記一般教師ニューラルネットワークよりも少ないパラメータを有するニューラルネットワークである、請求項５に記載のコンピュータ実装方法。
9. 前記トレーニングされた生徒モデルを使用して、新しい発話に対して音声認識を実行することをさらに含む、請求項１に記載のコンピュータ実装方法。
10. 前記新しい発話から認識された音声に対して自然言語タスクを実行することをさらに含む、請求項９に記載のコンピュータ実装方法。
11. ニューラルネットワークをトレーニングするためのコンピュータ可読プログラムを含む非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムは、コンピュータ上で実行されたときに前記コンピュータに、
    トレーニングデータサンプルのフルセットを複数の専門トレーニングクラスタにクラスタ化することと、
    前記複数の専門トレーニングクラスタのそれぞれの専門トレーニングクラスタを使用して複数の専門教師ニューラルネットワークをトレーニングすることと、
    前記複数の専門教師ニューラルネットワークを使用して、前記トレーニングデータサンプルのフルセットに対してソフトラベルを生成することと、
    前記トレーニングデータサンプルのフルセット、前記専門トレーニングクラスタ、および前記ソフトラベルを使用して、生徒モデルをトレーニングすることと、
    をさせる、非一時的なコンピュータ可読記憶媒体。
12. 前記トレーニングデータサンプルは、音響波形を含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
13. コンピュータ可読プログラムは、前記コンピュータに、音響条件に従ってクラスタ化することをさらにさせる、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
14. コンピュータ可読プログラムは、前記コンピュータに、前記トレーニングデータサンプルのフルセットに対して教師なし深層クラスタリングを行うことをさらにさせる、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
15. コンピュータ可読プログラムは、前記コンピュータに、前記トレーニングデータサンプルのフルセットを使用して一般教師ニューラルネットワークをトレーニングすることをさらにさせる、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
16. コンピュータ可読プログラムは、前記コンピュータに、前記一般教師ニューラルネットワークを使用してソフトラベルを生成することをさらにさせる、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
17. コンピュータ可読プログラムは、前記コンピュータに、下記損失関数を最小化して前記生徒モデルをトレーニングすることをさらにさせる、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
    

    

    ここで、λは重みハイパーパラメータであり、ｑ_ｂｌは前記一般教師ニューラルネットワークからのソフトラベルのセットであり、ｑ_ｓｐは前記複数の専門教師ニューラルネットワークからのソフトラベルのセットであり、ｐ（ｉ|ｘ）は、ｉが文脈依存音素のインデックスを示し、ｘが入力信号を示すとき、前記生徒モデルからのクラスの確率である。
18. 前記生徒モデルは、前記一般教師ニューラルネットワークよりも少ないパラメータを有するニューラルネットワークである、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
19. コンピュータ可読プログラムは、前記コンピュータに、前記トレーニングされた生徒モデルを使用して、新しい発話に対して音声認識を実行することをさらにさせる、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
20. ニューラルネットワークをトレーニングするためのシステムであって、
    ハードウェアプロセッサと、
    コンピュータプログラムコードを格納するメモリと、を含み、前記コンピュータプログラムコードは、前記ハードウェアプロセッサによって実行されると、
    生徒モデルと、
    トレーニングデータサンプルのフルセットを複数の専門トレーニングクラスタにクラスタ化するクラスタリングネットワークと、
    前記トレーニングデータサンプルのフルセットに対してソフトラベルを一緒に生成する複数の専門教師ニューラルネットワークと、
    前記複数の専門トレーニングクラスタのそれぞれの専門トレーニングクラスタを使用して前記複数の専門教師ニューラルネットワークをトレーニングし、前記トレーニングデータサンプルのフルセット、前記専門トレーニングクラスタ、および前記ソフトラベルを使用して、生徒モデルをトレーニングするモデルトレーナーと、
    を実装する、システム。

Images