JP2022512053A - 共有エンコーダ生成方法、装置及び電子機器 - Google Patents

Abstract

本出願は、共有エンコーダの生成方法、装置及び電子機器を提供し、コンピュータ技術の分野に属する。当該方法は、各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいて、トレーニングサンプルを取得するように、プライマリノードが共有エンコーダトレーニング命令を各セカンダリノードに送信するステップと、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信するステップと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得するステップと、第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するステップと、を含む。これにより、このような共有エンコーダの生成方法によって、多領域でのトレーニング言語資料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。【選択図】図１

Description

［関連出願の相互参照］
本願は、北京百度網訊科技有限公司が２０１９年１１月２２日に出願された出願番号２０１９１１１１５５５０９．２、発明名称「共有エンコーダ生成方法、装置及び電子機器」である中国特許出願の優先権を主張する。

本出願は、コンピュータ技術分野に関し、特に、ビッグデータ技術分野に関し、共有エンコーダ生成方法、装置及び電子機器を提案する。

事前トレーニング済みのモデルは、すでにコンピュータビジョン、自然言語処理などの分野での応用実践に有効であることが証明されており、ビッグデータの下で一度事前トレーニングを行い、さらに具体的なタスク管理に応じてモデルパラメータを微調整することが既に人気のある方法となっている。

ただし、従来技術において、多領域トレーニング言語材料の入手難度やコストが高く、その結果、事前トレーニング済みのモデルの実現もしにくくなっている。

本出願は、関連技術における多領域トレーニング言語材料の入手難度やコストが高く、その結果、事前トレーニング済みのモデルの実現もしにくくなっている技術的な問題を解決する共有エンコーダ生成方法、装置及び電子機器を提供する。

本出願の第１の態様の実施例は、
各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードによって、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を各セカンダリノードに送信するステップと、
各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、前記ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信するステップと、
各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得するステップと、
第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するステップと、を含む共有エンコーダ生成方法を提供する。

本出願の第２の態様の実施例は、
第２セカンダリノードは、プライマリノードから送信されたトレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を取得するステップと、
前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージを前記プライマリノードに返信するステップと、
前記プライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得するステップと、
前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、前記ターゲット共有エンコーダの更新パラメータセットを決定するステップと、
前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信するステップと、を含む共有エンコーダ生成方法を提供する。

本出願の第３の態様の実施例は、
各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードから、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を、各セカンダリノードに送信するための第１送信モジュールと、
各セカンダリノードから返信された確認メッセージを取得した後に、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、各セカンダリノードに、それぞれのトレーニングサンプルを用いて、前記ターゲット共有エンコーダの初期化パラメータセットをトレーニングさせるための第２送信モジュールと、
各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得するための第１取得モジュールと、
第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するための第１決定モジュールと、を含む共有エンコーダの生成装置を提供する。

本出願の第４の態様の実施例は、
第２セカンダリノードが、プライマリノードから送信された、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を、取得するように使用される第１取得モジュールと、
前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージを前記プライマリノードに返信するための第１返信モジュールと、
前記プライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得するための第２取得モジュールと、
前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、前記ターゲット共有エンコーダの更新パラメータセットを決定するための第１決定モジュールと、
前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信するための第２返信モジュールと、を含む共有エンコーダの生成装置を提供する。

本出願の第５の態様の実施例は、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信可能に接続されたメモリと、を備える電子機器であって、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行されると、前記少なくとも一つのプロセッサが、上記の実施例に記載の方法を実行する電子機器を提供する。

本出願の第６の態様の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令が実行される場合、上記の実施例に記載の共有エンコーダ生成方法が実行される。

上記の出願のうちのいずれか一つの実施例は、具体的には、以下のような利点又は有益な効果を有する。プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードによりターゲット共有エンコーダに対するトレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードによって共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、その後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得し、さらに第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するため、多領域トレーニング言語材料入手難度とコストが高く、事前トレーニング済みのモデルの実現もしにくくなっているという問題を克服し、多領域トレーニング言語材料の共有を実現することができるとともに、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

上記の選択可能な形態が有する他の効果については、具体的な実施例を組み合わせて以下に説明する。

図面は、本技術案がよりよく理解されるためのものであり、本出願を限定するものではない。
本出願の実施例に係る共有エンコーダ生成方法の概略フローチャートである。 本出願の実施例に係る別の共有エンコーダ生成方法の概略フローチャートである。 本出願の実施例に係るさらなる共有エンコーダ生成方法の概略フローチャートである。 本出願の実施例に係るさらに別の共有エンコーダ生成方法の概略フローチャートである。 本出願の実施例に係るさらに別の共有エンコーダ生成方法の概略フローチャートである。 本出願の実施例に係る共有エンコーダの生成装置の概略構成図である。 本出願の実施例に係る別の共有エンコーダの生成装置の概略構成図である。 本出願の実施例に係る電子機器の概略構成図である。

以下、本出願の例示的な実施例を図面を参照して説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び趣旨から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構成の説明を省略する。

多領域トレーニング言語材料の入手難度やコストが高く、事前トレーニング済みのモデルの実現もしにくくなっている技術的な問題を解決するために、本出願は、共有エンコーダ生成方法を提供する。

本出願の実施例に係る共有エンコーダ生成方法、装置、電子機器、及び記憶媒体について、図面を参照して以下に説明する。

本出願の実施例に係る共有エンコーダ生成方法について、プライマリノード側、セカンダリノード側を例として詳細にそれぞれ説明する。

まず、本出願の実施例に係る共有エンコーダ生成方法について、プライマリノード側を例として詳細に説明する。

本出願の実施例に係る共有エンコーダ生成方法について、図１を関連して以下に詳細に説明する。

図１は、本出願の実施例に係る共有エンコーダ生成方法の概略フローチャートであり、この方法は、プライマリノードに適用される。

図１に示すように、当該共有エンコーダ生成方法は、以下ステップ１０１～ステップ１０４を含む。
ステップ１０１において、プライマリノードによって、各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を各セカンダリノードに送信する。

なお、事前トレーニング済みのモデルは、すでにコンピュータビジョン、自然言語処理などの分野での応用実践に有効であることが証明されており、ビッグデータの下で一度事前トレーニングを行い、さらに具体的なタスク管理に応じてモデルパラメータを微調整することが既に人気のある方法となっている。しかしながら、事前トレーニング済みのモデルは、大量の事前トレーニング言語材料を必要とするので、多領域の教師なし言語材料を収集するのは全くの難題である。さらに、異なる会社及び組織は、自身の領域業務に関する大量の教師なし言語材料を持っているが、開放されなかったかもしれない、事前トレーニング言語材料の共有、トレーニングを通じてより高性能な事前トレーニング済みのモデルを得ることが困難になる。本出願の実施例に係る共有エンコーダ生成方法は、ディープラーニングにおける分散型トレーニング技術を用いて、複数のセカンダリノード（複数の組織）の共有トレーニング言語材料における情報をトレーニングすることにより、共有エンコーダを取得し、セカンダリノードのトレーニング言語材料の安全性とプライバシー性を保証する。

ここで、プライマリノードとは、共有エンコーダのトレーニングプロセスをトリガーするためのノードを指す。例えば、本出願の実施例に係る共有エンコーダ生成方法をフェデレーテッド・ラーニングシステムに適用される場合、プライマリノードはフェデレーテッド・ラーニングシステムのサーバであってもよい。

セカンダリノードとは、自身のトレーニングサンプルを用いて、共有エンコーダのトレーニングを参加するノードを指す。例えば、共有エンコーダのトレーニングを参加する会社であってもよいし、トレーニングモデルを組織する場合に適用されるサーバであってもよい。

実際に利用する場合、本出願の実施例に係る共有エンコーダ生成方法は、任意の共同トレーニングを実行するシーンに適用することができるが、本出願実施例では限定されない。以下、本出願の実施例に係る共有エンコーダ生成方法について、応用シーンがフェデレーテッド・ラーニングシステムであることを例として詳細に説明する。

本出願の実施例では、プライマリノードは、共有エンコーダをトレーニングする需要があるときに、各セカンダリノードが共有エンコーダトレーニング命令を取得すると、トレーニング命令に含まれるトレーニング対象のターゲット共有エンコーダのタイプに基づいてローカルに当該ターゲット共有エンコーダのタイプに対応するトレーニングサンプルが有るか否かを判断するように、共有エンコーダトレーニング命令をフェデレーテッド・ラーニングシステムの各セカンダリノードに送信することができる。もしあるなら、当該ターゲット共有エンコーダのタイプに対応するトレーニングサンプルを取得する。

なお、セカンダリノードは、異なるタイプの共有エンコーダのトレーニングために複数種類のトレーニングサンプルを含む可能性がある。従って、プライマリノードは、共有エンコーダトレーニング命令を各セカンダリノードに送信する際に、セカンダリノードが複数種類のトレーニングサンプルからターゲット共有エンコーダのタイプに対応するトレーニングサンプルを取得するように、トレーニング対象のターゲット共有エンコーダのタイプを含むことができる。

さらに、プライマリノードは、セカンダリノードのターゲット共有エンコーダに対する取得要求または更新要求に基づいて、ターゲット共有エンコーダに対するトレーニングをトリガーすることができる。すなわち、本出願の可能な一実現形態では、上記のステップ１０１の前に、

前記プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダ取得要求を取得するステップと、
または、

前記プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダの更新要求を取得するステップと、を含むこともできる。
前記更新要求には、前記ターゲット共有エンコーダの識別子を含む。

本出願の可能な一実現形態として、プライマリノードは、ターゲット共有エンコーダをトレーニングしていない前に、各セカンダリノードのターゲット共有エンコーダに対する取得要求または更新要求に基づいて、ターゲット共有エンコーダに対するトレーニングプロセスをトリガーすることができる。すなわち、プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダに対する取得要求を取得し、取得要求にターゲット共有エンコーダに対応する初期化パラメータセットを含む場合、少なくとも１つのセカンダリノードのターゲット共有エンコーダに対する取得要求を決定することができ、それによって、ターゲット共有エンコーダに対するトレーニングプロセスをトリガーするように、共有エンコーダトレーニング命令を各セカンダリノードに送信することができる。

本出願の可能な一実現形態として、プライマリノードは、ターゲット共有エンコーダを１回または複数回トレーニングした後に、各セカンダリノードのターゲット共有エンコーダに対する更新要求に基づいて、ターゲット共有エンコーダに対するトレーニングプロセスをトリガーすることもできる。すなわち、プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダ更新要求を取得すると、ターゲット共有エンコーダに対するトレーニングプロセスをトリガーし、ターゲット共有エンコーダに対する更新を実現するように、共有エンコーダトレーニング命令を各セカンダリノードに送信することができる。ここで、プライマリノードがターゲット共有エンコーダの識別子に基づいてターゲット共有エンコーダのタイプを決定し、さらにターゲット共有エンコーダのタイプに基づいて共有エンコーダトレーニング命令を各セカンダリノードに送信することができるように、セカンダリノードから送信された共有エンコーダ更新要求には、ターゲット共有エンコーダの識別子を含むことができる。

本出願の可能な一実現形態として、プライマリノードは、更新ルールに基づいて、ターゲット共有エンコーダに対するトレーニングプロセスを自発的にトリガーすることもできる。例えば、更新ルールは、事前設定の頻度でターゲット共有エンコーダを更新することである場合、ターゲット共有エンコーダのトレーニングプロセスをトリガーするように、プライマリノードは、共有エンコーダトレーニング命令を事前設定の頻度で各セカンダリノードに送信することができる。

なお、ターゲット共有エンコーダのトレーニングプロセスをトリガーする方法は、上記の方法を含むことができるが、これらに限定されない。実際に利用する場合、実際のニーズまたは具体的な応用シーンに応じて適切なターゲット共有エンコーダのトレーニングプロセスをトリガーする方法を決定することができるが、本出願実施例では限定されない。

ステップ１０２において、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信する。

本出願の実施例では、プライマリノードは、共有エンコーダトレーニング命令を各セカンダリノードに送信した後に、各セカンダリノードが自身のターゲット共有エンコーダに対する需要、またはターゲット共有エンコーダのタイプに適合するトレーニングサンプルの有無に基づいて、ターゲット共有エンコーダに対するトレーニングに参加するか否かを判断することができる。ターゲット共有エンコーダに対するトレーニングに参加可能であれば、確認メッセージをプライマリノードに返信してもよい。ターゲット共有エンコーダに対するトレーニングに参加不可であれば、確認メッセージをプライマリノードに返さない。

したがって、プライマリノードは、セカンダリノードから返信された確認メッセージを取得すると、セカンダリノードが自身のトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングすることができるように、ターゲット共有エンコーダに対するトレーニングに参加する各セカンダリノード（すなわち、確認メッセージを返信した各セカンダリノード）を決定し、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットをプルし、ターゲット共有エンコーダの初期化パラメータセットをターゲット共有エンコーダに対するトレーニングに参加する各セカンダリノードに送信することができる。

本出願の可能な一実現形態として、プライマリノードは、セカンダリノードから返信された確認メッセージを取得した後に、ターゲット共有エンコーダに対するトレーニングに参加する各セカンダリノードが実行可能なプログラムに基づいて、ターゲット共有エンコーダをトレーニングすることができるように、事前設定の実行可能なプログラムおよびトレーニング対象のターゲット共有エンコーダの初期化パラメータセットとともに、ターゲット共有エンコーダに対するトレーニングに参加する各セカンダリノードに送信することができる。

なお、プライマリノードから各セカンダリノードに送信する実行可能なプログラムには、セカンダリノードがターゲット共有エンコーダをトレーニングするルール、ターゲット共有エンコーダの更新パラメータセットを返信するルールなどを含むことができる。例えば、実行可能なプログラムには、セカンダリノードがプライマリノードから送信されたトレーニング命令を取得するたびに、ターゲット共有エンコーダに対するトレーニング回数を含むことができ、または、セカンダリノードがプライマリノードから送信されたトレーニング命令を取得するたびに、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する時間周期などを含むこともできるが、本出願実施例では限定されない。

さらに、ターゲット共有エンコーダをトレーニングする前に、プライマリノードは、ターゲット共有エンコーダに対応する初期化パラメータセットを決定する必要がある。すなわち、本出願の可能な一実現形態では、上記のステップ１０２の前に、

第２事前設定ルールに基づいて、前記トレーニング対象のターゲット共有エンコーダを生成するステップを含むこともできる。

ここで、第２事前設定ルールとは、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを取得する事前設定されたルールを指し、および第２事前設定ルールは、実際のニーズに応じて変更することができる。

本出願の可能な一実現形態として、第２事前設定ルールは、「各セカンダリノードによって事前定義される」ことであってもよく、これによって、プライマリノードは、各セカンダリノードから各セカンダリノードがターゲット共有エンコーダに対する事前定義された初期化パラメータセットを事前取得することができ、およびターゲット共有エンコーダの初期化パラメータセットは、各セカンダリノードにより交渉によって定義されるので、各セカンダリノードの事前定義された初期化パラメータセットは、同じものである。

本出願の可能な一実現形態として、第２事前設定ルールは、「公開モデルにおける既存の同じタイプのエンコーダのパラメータセットによって決定する」ことであってもよく、これによって、プライマリノードは、公開モデルからターゲット共有エンコーダのタイプと同じエンコーダを取得し、さらに、取得されたエンコーダのパラメータセットをターゲット共有エンコーダの初期化パラメータセットとして決定することができる。

ステップ１０３において、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得する。

本出願の実施例では、プライマリノードによって、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信した後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットをリアルタイムで取得することができる。ここで、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットは、各セカンダリノードが自身のトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットのトレーニングによって得られたものである。

ステップ１０４において、第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。

ここで、第１事前設定ルールとは、ターゲット共有エンコーダに対応するターゲットパラメータセットを取得するように、事前設定され、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを融合するルールである。例えば、第１事前設定ルールは、各セカンダリノードから返信された更新パラメータセットにおける各パラメータの平均値をターゲットパラメータセットにおける相応するパラメータの値として決定してもよいし、各セカンダリノードから返信された更新パラメータセットにおける各パラメータのバリアンス、標準偏差、中央値をターゲットパラメータセットにおける相応するパラメータの値として決定してもよい。

なお、第１事前設定ルールは、上記の場合を含むことができるが、これらに限定されない。実際に利用する場合、現在の使用ニーズ及び応用シーンに適応するように、実際の需要に応じて事前設定及びリアルタイムでの修正を行うことができるが、本出願実施例では限定されない。

本出願の実施例では、プライマリノードは、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得した後に、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するように、取得された更新パラメータセットを第１事前設定ルールに基づいて融合することができる。

一例として、第１事前設定ルールは、「各セカンダリノードから返信された更新パラメータセットにおける各パラメータの平均値をターゲットパラメータセットにおける相応するパラメータの値として決定する」であり、現在のフェデレーテッド・ラーニングシステムには３つのセカンダリノードＸ、Ｙ、Ｚがあり、ターゲット共有エンコーダのパラメータセットには３つのパラメータが含まれており、セカンダリノードＸから返信されたターゲット共有エンコーダの更新パラメータセットは｛ａ_１， ｂ_１， ｃ_１｝であり、セカンダリノードＹから返信されたターゲット共有エンコーダの更新パラメータセットは｛ａ_２， ｂ_２， ｃ_２｝であり、セカンダリノードＺから返信されたターゲット共有エンコーダの更新パラメータセットは｛ａ_３， ｂ_３， ｃ_３｝であるものと仮定すると、ターゲット共有エンコーダに対応するターゲットパラメータセットは｛ａ， ｂ， ｃ｝となり、ここで、ａ＝（ａ_１＋ａ_２＋ａ_３）／３，ｂ＝（ｂ_１＋ｂ_２＋ｂ_３）／３，ｃ＝（ｃ_１＋ｃ_２＋ｃ_３）／３となる。

本出願の実施例の技術案によれば、各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードによって共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、その後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得し、さらに第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。さらに、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードによりターゲット共有エンコーダに対するトレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する、これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

本出願の可能な一実現形態では、最終的に得られる共有エンコーダの性能をさらに向上させ、および各セカンダリノードが共有エンコーダのトレーニングプロセスにおける重要度をバランスさせるために、セカンダリノードのトレーニングサンプルの数量に基づいて、各セカンダリノードが異なる重みを与えることとして決定してもよい。

本出願の実施例に係る共有エンコーダ生成方法について、図２を関連して以下にさらに説明する。

図２は、本出願の実施例に係る別の共有エンコーダ生成方法の概略フローチャートであり、この方法は、プライマリノードに適用される。

図２に示すように、当該共有エンコーダ生成方法は、以下ステップ２０１～ステップ２０６を含む。

ステップ２０１において、プライマリノードによって、各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を各セカンダリノードに送信する。

ステップ２０２において、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信する。

上記のステップ２０１～２０２についての具体的な実装過程及び原理は、上記の実施例の詳細な説明を参照することができるため、ここでは説明を省略する。

ステップ２０３において、各セカンダリノードに含まれるトレーニングサンプルの数を取得する。

ここで、セカンダリノードに含まれるトレーニングサンプルの数は、セカンダリノードに含まれるターゲット共有エンコーダをトレーニングするために使用され得るトレーニングサンプルの数であってもよい。

本出願の可能な一実現形態として、プライマリノードは、各セカンダリノードに含まれるターゲット共有エンコーダをトレーニングするために使用され得るトレーニングサンプルの数に基づいて、各セカンダリノードがターゲット共有エンコーダをトレーニングするときの重みを決定することができる。これにより、プライマリノードは、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信した後に、各セカンダリノードに含まれるターゲット共有エンコーダをトレーニングするために使用され得るトレーニングサンプルの数をリアルタイムで取得することができる。

ステップ２０４において、各セカンダリノードに含まれるトレーニングサンプルの数に基づいて、各セカンダリノードの重みを決定する。

本出願の実施例では、セカンダリノードに含まれるトレーニングサンプルの数が多いほど、当該セカンダリノードから返信された更新パラメータセットに基づいて決定されるターゲット共有エンコーダの性能はより良くなる。したがって、プライマリノードは、各セカンダリノードに含まれるトレーニングサンプルの数に基づいて、各セカンダリノードの重みを決定することができる。

本出願の可能な一実現形態として、セカンダリノードの重みは、セカンダリノードに含まれるトレーニングサンプルの数と正比例を成すことができる。すなわち、セカンダリノードに含まれるトレーニングサンプルの数が多いほど、当該セカンダリノードの重みが大きくなることにより、セカンダリノードがターゲット共有エンコーダをトレーニングする際には、トレーニングサンプルの数が多いほど、果たす役割は大きくなり、最終的に得られる共有エンコーダの性能を向上させる。

一例として、各セカンダリノードに含まれるトレーニングサンプルの数と、すべてのセカンダリノードに含まれるトレーニングサンプルの数との比を各セカンダリノードの重みとして決定してもよい。例えば、現在のフェデレーテッド・ラーニングシステムには３つのセカンダリノードＸ、Ｙ、Ｚがあり、セカンダリノードＸに含まれるトレーニングサンプルの数はｍであり、セカンダリノードＹに含まれるトレーニングサンプルの数はｎであり、セカンダリノードＺに含まれるトレーニングサンプルの数はｋである場合、セカンダリノードＹの重みはｍ／（ｍ＋ｎ＋ｋ）であり、セカンダリノードＹの重みはｎ／（ｍ＋ｎ＋ｋ）となり、セカンダリノードＺの重みはｋ／（ｍ＋ｎ＋ｋ）となる。

ステップ２０５において、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得する。

上記のステップ２０５についての具体的な実装過程及び原理は、上記の実施例の詳細な説明を参照することができるため、ここでは説明を省略する。

ステップ２０６において、第１事前設定ルールと、各セカンダリノードの重みと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。

本出願の実施例では、各セカンダリノードの重みを決定し、および各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得した後に、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するように、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを第１事前設定ルールと、各セカンダリノードの重みとに基づいて融合することができる。

本出願の可能な一実現形態として、まず、各セカンダリノードの重みに基づいて、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを補正することができる。すなわち、各セカンダリノードの重みとそれに対応する更新パラメータセットにおける各パラメータの積は、各セカンダリノードの補正された更新パラメータセットにおける各パラメータの値として決定する。その後、第１事前設定ルールに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するように、各セカンダリノードの補正された更新パラメータセットを融合する。

一例として、第１事前設定ルールは、「各セカンダリノードから返信された更新パラメータセットにおける各パラメータの平均値をターゲットパラメータセットにおける相応するパラメータの値として決定する」であり、現在のフェデレーテッド・ラーニングシステムには、３つのセカンダリノードＸ、Ｙ、Ｚがあり、セカンダリノードＸの重みはｗ_１であり_、返信されたターゲット共有エンコーダの更新パラメータセットは｛ａ_１， ｂ_１， ｃ_１｝であり、セカンダリノードＹの重みはｗ_２であり_、返信されたターゲット共有エンコーダの更新パラメータセットは｛ａ_２， ｂ_２， ｃ_２｝であり、セカンダリノードＺの重みはｗ_３であり_、返信されたターゲット共有エンコーダの更新パラメータセットは｛ａ_３， ｂ_３， ｃ_３｝である場合、セカンダリノードＸの補正された更新パラメータセットは｛ ｗ_１・ａ_１， ｗ_１・ｂ_１， ｗ_１・ｃ_１｝であり、セカンダリノードＹの補正された更新パラメータセットは｛ ｗ_２・ａ_２， ｗ_２・ｂ_２， ｗ_２・ｃ_２｝であり、セカンダリノードＺの補正された更新パラメータセットは｛ ｗ_３・ａ_３， ｗ_３・ｂ_３， ｗ_３・ｃ_３｝である。したがって、ターゲット共有エンコーダに対応するターゲットパラメータセットは｛ａ， ｂ， ｃ｝となり、ここで、ａ＝（ ｗ_１・ａ_１＋ ｗ_２・ａ_２＋ ｗ_３・ａ_３）／３，ｂ＝（ ｗ_１・ｂ_１＋ ｗ_２・ｂ_２＋ ｗ_３・ｂ_３）／３，ｃ＝（ ｗ_１・ｃ_１＋ ｗ_２・ｃ_２ ＋ ｗ_３・ｃ_３）／３となる。

本出願の実施例の技術案によれば、プライマリノードによって、各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、および取得された各セカンダリノードに含まれるトレーニングサンプルの数に基づいて、各セカンダリノードの重みを決定し、その後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得し、さらに第１事前設定ルールと、各セカンダリノードの重みと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。これにより、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードに含まれるトレーニングサンプルの数に基づいて、各セカンダリノードの重みを調整し、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

本出願の可能な一実現形態では、共有エンコーダの信頼性及びロバスト性をさらに向上させるために、プライマリノードは、前回のトレーニングプロセスで得られたターゲットパラメータセットに基づいて、共有エンコーダが性能要求を満足するか否かを判断することができ、満足されなければ、前回のトレーニングを実行した上において共有エンコーダを再トレーニングすることができる。

本出願の実施例に係る共有エンコーダ生成方法について、図３を関連して以下にさらに説明する。

図３は、本出願の実施例に係る別の共有エンコーダ生成方法の概略フローチャートであり、この方法は、プライマリノードに適用される。

図３に示すように、当該共有エンコーダ生成方法は、以下ステップ３０１～ステップ３０５を含む。

ステップ３０１において、プライマリノードによって、各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を各セカンダリノードに送信する。

ステップ３０２において、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信する。

ステップ３０３において、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得する。

ステップ３０４において、第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。

上記のステップ３０１～３０４についての具体的な実装過程及び原理は、上記の実施例の詳細な説明を参照することができるため、ここでは説明を省略する。

ステップ３０５において、各セカンダリノードがターゲット共有エンコーダに対応するターゲットパラメータセットに基づいて、ターゲット共有エンコーダを続けてトレーニングするように、ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードにそれぞれ送信する。

本出願の実施例では、プライマリノードは、ターゲット共有エンコーダに対応するターゲットパラメータセットを毎回決定した後に、ターゲット共有エンコーダが性能要求を適合するか否かを判断することができ、性能要求が適合されれば、今回のターゲット共有エンコーダに対するトレーニングプロセスを終了することを決定することができ、性能要求が適合されなければ、ターゲット共有エンコーダの性能を向上させるために、ターゲット共有エンコーダに対する再トレーニングを行う必要があることを決定することができる。

したがって、プライマリノードは、ターゲット共有エンコーダに対応するターゲットパラメータセットが性能要求に適合しないことを決定した後に、各セカンダリノードが自身のトレーニングサンプルを用いて、ターゲット共有エンコーダのターゲットパラメータセットに基づいて、ターゲット共有エンコーダを続けてトレーニングすることができるように、ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードにそれぞれ送信することができる。プライマリノードは、各セカンダリノードから再返信された更新パラメータに基づいて決定されたターゲット共有エンコーダに対応するターゲットパラメータセットが性能要求に適合するまで、ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードに送信しない。すなわち、今回のターゲット共有エンコーダに対するトレーニングプロセスを終了する。

さらに、ターゲット共有エンコーダに対して複数回トレーニングを行う場合には、セカンダリノードがターゲット共有エンコーダのトレーニングプロセスでの果たす役割をバランスさせるために、各セカンダリノードのターゲット共有エンコーダに対するトレーニング回数に基づいて、各セカンダリノードの重みを決定することもできる。すなわち、本出願の可能な一実現形態では、上記のステップ３０５の後に、

第１セカンダリノードから再返信されたターゲット共有エンコーダパラメータセットを取得するステップと、

取得された第１セカンダリノードのターゲット共有エンコーダパラメータセットを返信する回数に基づいて、前記第１セカンダリノード現在の重み値を決定するステップと、

第１事前設定ルールに従って、前記第１セカンダリノードの現在重み値と、現在再返信されたターゲット共有エンコーダパラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを更新するステップと、を含むことができる。

ここで、第１セカンダリノードとは、複数のセカンダリノードのうちのターゲット共有エンコーダのトレーニングに複数回に参加するのセカンダリノードを指す。

本出願の可能な一実現形態として、プライマリノードは、第１セカンダリノードから再返信されたターゲット共有エンコーダパラメータセットを取得すると、取得された第１セカンダリノードのターゲット共有エンコーダパラメータセットを返信する回数（すなわち、第１セカンダリノードがターゲット共有エンコーダのトレーニングに参加する回数）を決定し、第１セカンダリノードのターゲット共有エンコーダパラメータセットを返信する回数に基づいて、第１セカンダリノードの現在の重み値を決定することができる。

また、セカンダリノードがターゲット共有エンコーダのトレーニングに参加する回数が多いほど、当該セカンダリノードから返信されたターゲット共有エンコーダパラメータセットは、最終的に決定されるターゲット共有エンコーダに対応するターゲットパラメータセットへの影響が大きくなるので、最終的に決定されるターゲット共有エンコーダが当該セカンダリノードのトレーニングサンプルの特性に適合すぎ、ターゲット共有エンコーダの汎用性が悪くなる。このため、本出願の可能な一実現形態では、第１セカンダリノードの現在の重み値は、第１セカンダリノードのターゲット共有エンコーダパラメータセットを返信する回数と負相関関係を呈することができる。

本出願の実施例では、各セカンダリノードからターゲット共有エンコーダパラメータセットを返信するタイミングが異なる可能性があるため、第１セカンダリノードから再返信されたターゲット共有エンコーダパラメータセットを取得するたびに、直ちに当該第１セカンダリノードの現在の重み値を決定することができる。さらに、プライマリノードは、第１セカンダリノードの現在の重み値に基づいて、第１セカンダリノードから再返信されたターゲット共有エンコーダのパラメータセットを補正し、その後、ターゲット共有エンコーダに対応するターゲットパラメータセットを更新するように、第１事前設定ルールに基づいて、補正された第１セカンダリノードから再返信されたターゲット共有エンコーダのパラメータセットと、前回決定されたターゲット共有エンコーダに対応するターゲットパラメータセットと、を融合する。

一例として、第１事前設定ルールは、「各セカンダリノードから返信された更新パラメータセットにおける各パラメータの和をターゲットパラメータセットにおける相応するパラメータの値として決定する」であり、プライマリノードが前回に決定したターゲット共有エンコーダに対応するターゲットパラメータセットは｛ａ， ｂ， ｃ｝であり、現在取得された第１セカンダリノードＸから再返信されたターゲット共有エンコーダのパラメータセットは｛ａ_ｘ， ｂ_ｘ， ｃ_ｘ｝であり、第１セカンダリノードＸから再返信されたターゲット共有エンコーダのパラメータセットの回数に基づいて、第１セカンダリノードＸの重み値をｗ_ｘと決定する。したがって、補正された後の第１セカンダリノードＸから再返信されたターゲット共有エンコーダのパラメータセットは｛ｗ_ｘ・ａ_ｘ， ｗ_ｘ・ｂ_ｘ， ｗ_ｘ・ｃ_ｘ｝として決定することができ、更新されたターゲット共有エンコーダに対応するターゲットパラメータセットは｛ａ＋ｗ_ｘ・ａ_ｘ， ｂ＋ｗ_ｘ・ｂ_ｘ， ｃ＋ｗ_ｘ・ｃ_ｘ｝として決定することができる。

本出願の実施例の技術案によれば、プライマリノードによって、各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、その後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得し、さらに第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定し、さらに、各セカンダリノードがターゲット共有エンコーダに対応するターゲットパラメータセットに基づいて、ターゲット共有エンコーダを続けてトレーニングするように、ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードにそれぞれ送信する。さらに、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いて、ターゲット共有エンコーダを複数回トレーニングし、各セカンダリノードによりターゲット共有エンコーダに対する複数回トレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの正確性と汎用性をさらに向上させた。

本出願の実施例に係る共有エンコーダ生成方法について、セカンダリノード側を例として詳細に説明する。

本出願の実施例に係る共有エンコーダ生成方法について、図４を関連して以下にさらに説明する。

図４は、本出願の実施例に係るさらに別の共有エンコーダ生成方法の概略フローチャートである。この方法は、セカンダリノードに適用される。

図４に示すように、当該共有エンコーダ生成方法は、以下ステップ４０１～ステップ４０５を含む。

ステップ４０１において、第２セカンダリノードは、プライマリノードから送信された共有エンコーダトレーニング命令を取得し、トレーニング命令には、トレーニング対象のターゲット共有エンコーダのタイプを含む。

ここで、プライマリノードとは、共有エンコーダのトレーニングプロセスをトリガーするためのノードを指す。例えば、本出願の実施例に係る共有エンコーダ生成方法をフェデレーテッド・ラーニングシステムに適用される場合、プライマリノードは、フェデレーテッド・ラーニングシステムのサーバであってもよい。

セカンダリノードとは、自身のトレーニングサンプルを用いて、共有エンコーダのトレーニングを参加するノードを指す。例えば、共有エンコーダのトレーニングを参加する会社、トレーニングモデルを組織する場合に適用されるサーバであってもよい。第２セカンダリノードとは、複数のセカンダリノードのうちの１つのセカンダリノードを指す。

実際に利用する場合、本出願の実施例に係る共有エンコーダ生成方法は、任意のフェデレーテッド・ラーニングを実行するシーンに適用することができるが、本出願実施例では限定されない。以下、本出願の実施例に係る共有エンコーダ生成方法について、応用シーンがフェデレーテッド・ラーニングシステムであることを例として詳細に説明する。

本出願の実施例では、第２セカンダリノードは、プライマリノードが共有エンコーダをトレーニングする需要があるときに、各セカンダリノードに送信した共有エンコーダトレーニング命令をリアルタイムで取得することができ、第２セカンダリノードは、共有エンコーダトレーニング命令を取得すると、トレーニング命令に含まれるトレーニング対象のターゲット共有エンコーダのタイプに基づいて、ターゲット共有エンコーダに対するトレーニングに参加するか否かを判断する。

ステップ４０２において、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージをプライマリノードに返信する。

本出願の実施例では、第２セカンダリノードは、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定すると、ターゲット共有エンコーダに対するトレーニングに参加できることを決定し、これにより、確認メッセージをプライマリノードに返信することができ、プライマリノードが取得された確認メッセージに基づいて、ターゲット共有エンコーダに対するトレーニングに参加するセカンダリノードを決定し、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットをプルし、第２セカンダリノードに送信する。

ステップ４０３において、プライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得する。

本出願の実施例では、第２セカンダリノードは、確認メッセージをプライマリノードに返信した後に、ターゲット共有エンコーダの初期化パラメータセットに基づいて、ターゲット共有エンコーダをトレーニングするように、プライマリノードから返信されたターゲット共有エンコーダの初期化パラメータセットをリアルタイムで取得することができる。

ステップ４０４において、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、ターゲット共有エンコーダの更新パラメータセットを決定する。

本出願の実施例では、第２セカンダリノードは、ターゲット共有エンコーダの初期化パラメータセットを取得した後に、ターゲット共有エンコーダの更新パラメータセットを決定するように、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルと、取得されたターゲット共有エンコーダの初期化パラメータセットとを用いて、モデルをトレーニングすることができる。

ステップ４０５において、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する。

本出願の実施例では、第２セカンダリノードは、ターゲット共有エンコーダに対するトレーニングを終了した後に、プライマリノードが各セカンダリノードから返信された更新パラメータセットに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するように、決定されたターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信することができる。

さらに、最終的に得られる共有エンコーダの性能をさらに向上させ、各セカンダリノードが共有エンコーダのトレーニングプロセスにおける重要度をバランスさせるために、プライマリノードは、セカンダリノードのトレーニングサンプルの数に基づいて、各セカンダリノードが異なる重みを与えることとして決定してもよい。すなわち、本出願の可能な一実現形態では、上記の方法は、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルの数を前記プライマリノードに送信するステップをさらに含むことができる。

本出願の可能な一実現形態として、プライマリノードは、ターゲット共有エンコーダをトレーニングさせるための第２セカンダリノードに含まれるトレーニングサンプルの数に基づいて（すなわち、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルの数）、ターゲット共有エンコーダをトレーニングするときの第２セカンダリノードの重みを決定することができる。したがって、第２セカンダリノードは、プライマリノードが第２セカンダリノードに含まれるターゲット共有エンコーダのタイプに一致するトレーニングサンプルの数に基づいて、第２セカンダリノードの重みを決定することができるように、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルの数をプライマリノードに返信することができる。

さらに、セカンダリノードは、プライベートトレーニングサンプルに基づいて、プライベートエンコーダ及びプライベートデコータを設計し、さらに、設計されたプライベートエンコーダと、プライベートデコータとに基づいて、参加できる共有エンコーダのトレーニングタスクを決定することもできる。すなわち、本出願の可能な一実現形態では、上記のステップ４０５の後に、ターゲット共有エンコーダに対応するプライベートエンコーダ及びプライベートデコータを決定するステップをさらに含むことができる。

本出願の可能な一実現形態では、第２セカンダリノードは、含まれるトレーニングサンプルに基づいて、プライベートエンコーダ及びプライベートデコータを設計することができ、また、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングした後に、ターゲット共有エンコーダに対応するプライベートエンコーダ及びプライベートデコータを取得することができる。さらに、ターゲット共有エンコーダに対するトレーニング結果と、ターゲット共有エンコーダに対応するプライベートエンコーダ及びプライベートデコータとに基づいて、ターゲット共有エンコーダの更新パラメータセットを共同に決定する。

本出願の実施例の技術案によれば、第２セカンダリノードによってプライマリノードから送信された共有エンコーダトレーニング命令を取得し、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージをプライマリノードに返信し、およびプライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得し、その後、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、ターゲット共有エンコーダの更新パラメータセットを決定し、さらに、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する。さらに、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードによりターゲット共有エンコーダに対するトレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

本出願の可能な一実現形態では、セカンダリノードは、プライマリノードに事前設定された更新ルールに基づいて、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信することができる。

本出願の実施例に係る共有エンコーダ生成方法について、図５を関連して以下にさらに説明する。

図５は、本出願の実施例に係るさらに別の共有エンコーダ生成方法の概略フローチャートである。この方法は、セカンダリノードに適用される。

図５に示すように、当該共有エンコーダ生成方法は、以下ステップ５０１～ステップ５０６を含む。

ステップ５０１において、第２セカンダリノードは、プライマリノードから送信された共有エンコーダトレーニング命令を取得し、トレーニング命令には、トレーニング対象のターゲット共有エンコーダのタイプを含む。

ステップ５０２において、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージをプライマリノードに返信する。

上記のステップ５０１～５０２についての具体的な実装過程及び原理は、上記の実施例の詳細な説明を参照することができるため、ここでは説明を省略する。

ステップ５０３において、プライマリノードから返信されたターゲット共有エンコーダのパラメータ更新ルールを取得する。

ここで、ターゲット共有エンコーダのパラメータ更新ルールは、プライマリノードから返信された実行可能なプログラムに含まれてもよい。

本出願の可能な一実現形態として、プライマリノードは、セカンダリノードから返信された確認メッセージを取得した後に、事前設定された実行可能なプログラムをターゲット共有エンコーダのトレーニングに参加する各セカンダリノードに送信することができ、よって、第２セカンダリノードが実行可能なプログラムに基づいてターゲット共有エンコーダをトレーニングすることができ、更に、実行可能なプログラムに含まれるターゲット共有エンコーダのパラメータ更新ルールに基づいて、決定された更新パラメータセットをプライマリノードに返信することができるか否かを判断する。

なお、ターゲット共有エンコーダのパラメータ更新ルールは、第２セカンダリノードがプライマリノードから送信されたトレーニング命令を取得するたびに、ターゲット共有エンコーダに対するトレーニング回数であってもよいし、または、第２セカンダリノードがプライマリノードから送信されたトレーニング命令を取得するたびに、プライマリノードにターゲット共有エンコーダの更新パラメータセットを返信する時間周期などであってもよいが、本出願実施例では限定されない。

一例として、ターゲット共有エンコーダのパラメータ更新ルールは、「ターゲット共有エンコーダを５回トレーニングした後に、取得されたターゲット共有エンコードの更新パラメータセットをプライマリノードに返信する」であってもよく、または、「ターゲット共有エンコードの更新パラメータセットを毎月にプライマリノードに１回返信する」であってもよい。

ステップ５０４において、プライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得する。

ステップ５０５において、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、ターゲット共有エンコーダの更新パラメータセットを決定する。

上記のステップ５０４～５０５についての具体的な実装過程及び原理は、上記の実施例の詳細な説明を参照することができるため、ここでは説明を省略する。

ステップ５０６において、現在、更新ルールを満足したことを決定すると、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する。

本出願の実施例では、第２セカンダリノードは、ターゲット共有エンコーダに対する１回のトレーニングを終了する毎に、現在がターゲット共有エンコーダの更新ルールを満足するか否かを決定することができ、更新ルールが満足されれば、現在取得されたターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信することができ、更新ルールが満足されなければ、現在がターゲット共有エンコーダのパラメータ更新ルールを満足するまで、ターゲット共有エンコーダに対する次回のトレーニングを続けることができる。

ターゲット共有エンコーダのパラメータ更新ルールは、「セカンダリノードは、ターゲット共有エンコーダに対して５回のトレーニングを終了する毎に、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する」であり、現在、第２セカンダリノードは、ターゲット共有エンコーダに対する４回目のトレーニングを終了すると、現在がターゲット共有エンコーダのパラメータ更新ルールを満足しなかったことを判断することができ、すなわち、ターゲット共有エンコーダに対する次回のトレーニングを続けることができる。現在、第２セカンダリノードは、ターゲット共有エンコーダに対する５回目のトレーニングを終了すると、現在がターゲット共有エンコーダのパラメータ更新ルールを満足したことを判断することができ、５回目のトレーニング終了後に得られたターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信することができる。

本出願の実施例の技術案によれば、第２セカンダリノードによってプライマリノードから送信された共有エンコーダトレーニング命令を取得し、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージをプライマリノードに返信し、およびプライマリノードから返信されたターゲット共有エンコーダのパラメータ更新ルールと、ターゲット共有エンコーダの初期化パラメータセットとを取得し、その後、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、ターゲット共有エンコーダの更新パラメータセットを決定し、さらに、現在が更新ルールを満足したことを決定すると、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する。従って、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、さらにプライマリノードから返信されたパラメータ更新ルールに基づいて、セカンダリノードは、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信するタイミングを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

上記の実施例を実現するために、本出願は、共有エンコーダの生成装置をさらに提供する。

図６は、本出願の実施例に係る共有エンコーダの生成装置の概略構成図である。この装置は、プライマリノードに適用される。

図６に示すように、当該共有エンコーダの生成装置６０は、以下のモジュール６１～モジュール６４を含む。

第１送信モジュール６１は、プライマリノードによって、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように構成される。

第２送信モジュール６２は、各セカンダリノードから返信された確認メッセージを取得した後に、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、前記ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように構成される。

第１取得モジュール６３は、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得するように構成される。

第１決定モジュール６４は、第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するように構成される。

実際に利用する場合、本出願の実施例に係る共有エンコーダの生成装置は、上記の共有エンコーダ生成方法を実装するように、任意の電子機器に配置されてもよい。

本出願の実施例の技術案によれば、各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードによって共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、その後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得し、さらに第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。従って、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードによりターゲット共有エンコーダに対するトレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

本出願の可能な一実現形態では、上記の共有エンコーダの生成装置６０は、
前記プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダ取得要求を取得するための第２取得モジュールと、
または、
前記プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダの更新要求を取得するための第３取得モジュールと、をさらに含む。
前記更新要求には、前記ターゲット共有エンコーダの識別子を含む。

さらに、本出願のもう１つの可能な実現形態では、上記の共有エンコーダの生成装置６０は、
各セカンダリノードに含まれるトレーニングサンプルの数を取得するための第４取得モジュールと、
各セカンダリノードに含まれるトレーニングサンプルの数に基づいて、各セカンダリノードの重みを決定するための第２決定モジュールと、をさらに含む。

従って、上記の第１決定モジュール６４は、具体的に、以下のように使用される。

前記第１事前設定ルールと、前記各セカンダリノードの重みと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。

さらに、本出願のさらにもう一つ可能な実現形態では、上記の共有エンコーダの生成装置６０は、
前記ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードにそれぞれ送信し、各セカンダリノードが前記ターゲット共有エンコーダに対応するターゲットパラメータセットに基づいて、前記ターゲット共有エンコーダを続けてトレーニングさせるための第３送信モジュールをさらに含む。

さらに、本出願のさらに別の可能な実現形態では、上記の共有エンコーダの生成装置６０は、
第１セカンダリノードから再返信されたターゲット共有エンコーダパラメータセットを取得するための第５取得モジュールと、

取得された前記第１セカンダリノードから返信されたターゲット共有エンコーダパラメータセットの回数に基づいて、前記第１セカンダリノードの現在の重み値を決定するための第３決定モジュールと、

前記第１事前設定ルールに従って、前記第１セカンダリノードの現在の重み値と、現在再返信されたターゲット共有エンコーダパラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを更新するための更新モジュールと、をさらに含む。

さらに、本出願のさらに別の可能な実現形態では、上記の共有エンコーダの生成装置６０は、
第２事前設定ルールに従って、前記トレーニング対象のターゲット共有エンコーダを生成するための生成モジュールをさらに含む。

なお、図１、図２、図３に示す共有エンコーダ生成方法の実施例についての上記の説明は、当該実施例での共有エンコーダの生成装置６０にも適用されるため、ここでは説明を省略する。

本出願の実施例の技術案によれば、プライマリノードによって、各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、その後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得し、および第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定し、さらに、各セカンダリノードがターゲット共有エンコーダに対応するターゲットパラメータセットに基づいて、ターゲット共有エンコーダを続けてトレーニングするように、ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードにそれぞれ送信する。従って、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードによりターゲット共有エンコーダに対するトレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの正確性と汎用性をさらに向上させた。

上記の実施例を実現するために、本出願は、もう１つの共有エンコーダの生成装置も提供する。

図７は、本出願の実施例に係る別の共有エンコーダの生成装置の概略構成図である。この装置は、プライマリノードに適用される。

図７に示すように、当該共有エンコーダの生成装置７０は、
第２セカンダリノードは、プライマリノードから送信されたトレーニング対象のターゲット共有エンコーダのタイプを含む前記共有エンコーダトレーニング命令を取得するための第１取得モジュール７１と、
前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージを前記プライマリノードに返信するための第１返信モジュール７２と、
前記プライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得するための第２取得モジュール７３と、
前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、前記ターゲット共有エンコーダの更新パラメータセットを決定するための第１決定モジュール７４と、
前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信するための第２返信モジュール７５と、を含む。

実際に利用する場合、本出願の実施例に係る共有エンコーダの生成装置は、上記の共有エンコーダ生成方法を実装するように、任意の電子機器に配置されてもよい。

本出願の実施例の技術案によれば、第２セカンダリノードによってプライマリノードから送信された共有エンコーダトレーニング命令を取得し、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージをプライマリノードに返信し、およびプライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得し、その後、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、ターゲット共有エンコーダの更新パラメータセットを決定し、さらに、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する。従って、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードによりターゲット共有エンコーダに対するトレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

本出願の可能な一実現形態では、上記の共有エンコーダの生成装置７０は、
前記プライマリノードから返信されたターゲット共有エンコーダのパラメータ更新ルールを取得するための第３取得モジュールをさらに含む。

従って、上記の第２返信モジュール７５は、具体的に、以下のように使用される。

現在、前記更新ルールを満足したことを決定すると、前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信する。

さらに、本出願のもう1つの可能な実現形態では、上記の共有エンコーダの生成装置７０は、
前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルの数を前記プライマリノードに送信するための送信モジュールをさらに含む。

さらに、本出願のさらに別の可能な実現形態では、上記の共有エンコーダの生成装置７０は、
前記ターゲット共有エンコーダに対応するプライベートエンコーダ及びプライベートデコータを決定するための第２決定モジュールをさらに含む。

なお、図４、図５に示す共有エンコーダ生成方法の実施例についての上記の説明は、当該実施例での共有エンコーダの生成装置７０にも適用されるため、ここでは説明を省略する。

本出願の実施例の技術案によれば、第２セカンダリノードによってプライマリノードから送信された共有エンコーダトレーニング命令を取得し、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージをプライマリノードに返信し、およびプライマリノードから返信されたターゲット共有エンコーダパラメータ更新ルールと、ターゲット共有エンコーダの初期化パラメータセットと、を取得し、その後、ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、ターゲット共有エンコーダの更新パラメータセットを決定し、さらに、現在、前記更新ルールを満足したことを決定すると、ターゲット共有エンコーダの更新パラメータセットをプライマリノードに返信する。従って、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、プライマリノードから返信されたパラメータ更新ルールに基づいて、セカンダリノードからプライマリノードにターゲット共有エンコーダの更新パラメータセットを返信するタイミングを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
図８に示すように、本出願の実施例に係る電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図８に示すように、当該電子機器は、一つ又は複数のプロセッサ８０１と、メモリ８０２と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図８では、一つのプロセッサ８０１を例とする。

メモリ８０２は、本出願に係る非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも一つのプロセッサによって実行される命令を記憶されることにより、前記少なくとも一つのプロセッサが本出願に係る共有エンコーダ生成方法を実行することができる。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願に係る共有エンコーダ生成方法を実行させるためのコンピュータ命令が記憶されている。

メモリ８０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願に係る共有エンコーダ生成方法に対応するプログラム命令／モジュール（例えば、図６に示す第１送信モジュール６１、第２送信モジュール６２、第１取得モジュール６３及び第１決定モジュール６４、および図７に示す第１取得モジュール７１、第１返信モジュール７２、第２取得モジュール７３、第１決定モジュール７４及び第２返信モジュール７５）などの、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するように構成される。プロセッサ８０１は、メモリ８０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法の実施例に係る共有エンコーダ生成方法を実現する。

メモリ８０２は、ストレージプログラム領域とストレージデータ領域と、を含むことができ、ここで、ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータ領域は、電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ８０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ８０２は、プロセッサ８０１に対して遠隔に設置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介して共有エンコーダ生成方法を実行電子機器に接続することができる。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

共有エンコーダ生成方法を実行する電子機器は、入力装置８０３と出力装置８０４とをさらに含むことができる。プロセッサ８０１、メモリ８０２、入力装置８０３、及び出力装置８０４は、バス又は他の方式を介して接続することができ、図８では、バスを介して接続することを例とする。

入力装置８０３は、入力された数字又はキャラクタ情報を受信し、共有エンコーダ生成のための電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置８０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することを含む。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するように構成されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力と、を含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されてもい。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアント側とサーバとを含むことができる。クライアント側とサーバは、一般に、互いに離れており、通常に通信ネットワークによってインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係が生成される。

本出願の実施例の技術案によれば、
各セカンダリノードがトレーニング命令に含まれるターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードによって共有エンコーダトレーニング命令を各セカンダリノードに送信し、各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、その後、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得し、さらに第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する。従って、プライマリノードによって各セカンダリノードを組織し、プライベートトレーニングサンプルを用いてターゲット共有エンコーダをトレーニングし、各セカンダリノードによりターゲット共有エンコーダに対するトレーニング結果に基づいて、ターゲット共有エンコーダのターゲットパラメータセットを決定する。これにより、多領域トレーニング言語材料の共有を実現するだけでなく、多領域トレーニング言語材料の入手難度とコストを低減させ、共有エンコーダの性能をさらに向上させた。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本出願実施例では限定されない。

上記の具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び置換を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改良などは、いずれも本出願の保護範囲内に含まれるべきである。

本出願の第６の態様の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令が実行される場合、上記の実施例に記載の共有エンコーダ生成方法が実行される。
本出願の第７の態様の実施例は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムにおける命令が実行された場合に、上記の実施例に記載の共有エンコーダ生成方法が実行される。

入力装置８０３は、入力された数字又はキャラクタ情報を受信し、共有エンコーダ生成のための電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置８０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、本出願の実施例の共有エンコーダ生成方法が実行される。

Claims (22)

1. 各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードによって、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を、各セカンダリノードに送信するステップと、
   各セカンダリノードから返信された確認メッセージを取得した後に、各セカンダリノードがそれぞれのトレーニングサンプルを用いて、前記ターゲット共有エンコーダの初期化パラメータセットをトレーニングするように、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信するステップと、
   各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得するステップと、
   第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するステップと、を含む、
   ことを特徴とする共有エンコーダの生成方法。
   
2. 上記のプライマリノードによって、共有エンコーダトレーニング命令を各セカンダリノードに送信するステップの前に、 前記プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダの取得要求を取得するステップと、
   または、
   前記プライマリノードは、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダの更新要求を取得するステップと、をさらに含み、
   前記更新要求には、前記ターゲット共有エンコーダの識別子が含まれる、
   ことを特徴とする請求項１に記載の共有エンコーダの生成方法。
   
3. 上記のトレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信した後、
   各セカンダリノードに含まれるトレーニングサンプルの数を取得するステップと、
   各セカンダリノードに含まれるトレーニングサンプルの数に基づいて、各セカンダリノードの重みを決定するステップと、をさらに含み、 上記の第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するステップは、
   前記第１事前設定ルールと、前記各セカンダリノードの重みと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するステップを含む、
   ことを特徴とする請求項１または２に記載の共有エンコーダの生成方法。
   
4. 上記の前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定した後、
   各セカンダリノードが前記ターゲット共有エンコーダに対応するターゲットパラメータセットに基づいて、前記ターゲット共有エンコーダを続けてトレーニングするように、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを、各セカンダリノードにそれぞれ送信するステップをさらに含む、
   ことを特徴とする請求項１～３のいずれかに記載の共有エンコーダの生成方法。
   
5. 上記の前記ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードにそれぞれ送信した後、
   第１セカンダリノードから再返信されたターゲット共有エンコーダパラメータセットを取得するステップと、
   取得された前記第１セカンダリノードから返信されたターゲット共有エンコーダパラメータセットの回数に基づいて、前記第１セカンダリノード現在の重み値を決定するステップと、
   前記第１事前設定ルールに従って、前記第１セカンダリノードの現在の重み値と、現在再返信されたターゲット共有エンコーダパラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを更新するステップと、をさらに含む、
   ことを特徴とする請求項４に記載の共有エンコーダの生成方法。
   
6. 上記のトレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信する前に、
   第２事前設定ルールに従って、前記トレーニング対象のターゲット共有エンコーダを生成するステップをさらに含む、
   ことを特徴とする請求項１～５のいずれかに記載の共有エンコーダの生成方法。
   
7. 第２セカンダリノードは、プライマリノードから送信された共有エンコーダトレーニング命令を取得し、前記トレーニング命令には、トレーニング対象のターゲット共有エンコーダのタイプが含まれる、ステップと、
   前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージを前記プライマリノードに返信するステップと、
   前記プライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得するステップと、
   前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、前記ターゲット共有エンコーダの更新パラメータセットを決定するステップと、
   前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信するステップと、を含む、
   ことを特徴とする共有エンコーダの生成方法。
   
8. 上記の確認メッセージを前記プライマリノードに返信した後、
   前記プライマリノードから返信されたターゲット共有エンコーダのパラメータ更新ルールを取得するステップをさらに含み、
   上記の前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信するステップは、
   現在、前記更新ルールを満足したことを決定すると、前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信するステップを含む、
   ことを特徴とする請求項７に記載の共有エンコーダの生成方法。
   
9. 前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルの数を前記プライマリノードに送信するステップをさらに含む、
   ことを特徴とする請求項７または８に記載の共有エンコーダの生成方法。
   
10. 上記の前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングした後、
    前記ターゲット共有エンコーダに対応するプライベートエンコーダ及びプライベートデコータを決定するステップをさらに含む、
    ことを特徴とする請求項７～９のいずれかに記載の共有エンコーダ生成方法。
    
11. 各セカンダリノードがターゲット共有エンコーダのタイプに基づいてトレーニングサンプルを取得するように、プライマリノードから、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を、各セカンダリノードに送信するための第１送信モジュールと、
    各セカンダリノードから返信された確認メッセージを取得した後に、トレーニング対象のターゲット共有エンコーダの初期化パラメータセットを各セカンダリノードに送信し、各セカンダリノードに、それぞれのトレーニングサンプルを用いて、前記ターゲット共有エンコーダの初期化パラメータセットをトレーニングさせるための第２送信モジュールと、
    各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットを取得するための第１取得モジュールと、
    第１事前設定ルールと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定するための第１決定モジュールと、を含む、
    ことを特徴とする共有エンコーダの生成装置。
    
12. 前記プライマリノードが、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダの取得要求を取得するように使用される第２取得モジュールと、
    または、
    前記プライマリノードが、少なくとも１つのセカンダリノードから送信されたターゲット共有エンコーダの更新要求を取得するように使用される第３取得モジュールと、をさらに含み、
    前記更新要求には、前記ターゲット共有エンコーダの識別子が含まれている、
    ことを特徴とする請求項１１に記載の共有エンコーダの生成装置。
    
13. 各セカンダリノードに含まれるトレーニングサンプルの数を取得するための第４取得モジュールと、
    各セカンダリノードに含まれるトレーニングサンプルの数に基づいて、各セカンダリノードの重みを決定するための第２決定モジュールと、をさらに含み、
    前記第１決定モジュールは、具体的に、以下のように使用され、
    前記第１事前設定ルールと、前記各セカンダリノードの重みと、各セカンダリノードから返信されたターゲット共有エンコーダの更新パラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを決定する、
    ことを特徴とする請求項１１または１２に記載の共有エンコーダの生成装置。
    
14. 前記ターゲット共有エンコーダに対応するターゲットパラメータセットを各セカンダリノードにそれぞれ送信し、各セカンダリノードに、前記ターゲット共有エンコーダに対応するターゲットパラメータセットに基づいて、前記ターゲット共有エンコーダを続けてトレーニングさせる第３送信モジュールをさらに含む、
    ことを特徴とする請求項１１～１３のいずれかに記載の共有エンコーダの生成装置。
    
15. 第１セカンダリノードから再返信されたターゲット共有エンコーダパラメータセットを取得するための第５取得モジュールと、
    取得された前記第１セカンダリノードから返信されたターゲット共有エンコーダパラメータセットの回数に基づいて、前記第１セカンダリノードの現在の重み値を決定するための第３決定モジュールと、
    前記第１事前設定ルールに従って、前記第１セカンダリノードの現在の重み値と、現在再返信されたターゲット共有エンコーダパラメータセットとに基づいて、前記ターゲット共有エンコーダに対応するターゲットパラメータセットを更新するための更新モジュールと、をさらに含む、
    ことを特徴とする請求項１４に記載の共有エンコーダの生成装置。
    
16. 第２事前設定ルールに従って、前記トレーニング対象のターゲット共有エンコーダを生成するための生成モジュールをさらに含む、
    ことを特徴とする請求項１１～１５のいずれかに記載の共有エンコーダの生成装置。
    
17. 第２セカンダリノードが、プライマリノードから送信された、トレーニング対象のターゲット共有エンコーダのタイプを含む共有エンコーダトレーニング命令を、取得するように使用される第１取得モジュールと、
    前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを含むことを決定した後に、確認メッセージを前記プライマリノードに返信するための第１返信モジュールと、
    前記プライマリノードから送信されたターゲット共有エンコーダの初期化パラメータセットを取得するための第２取得モジュールと、
    前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルを用いて、モデルをトレーニングし、前記ターゲット共有エンコーダの更新パラメータセットを決定するための第１決定モジュールと、
    前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信するための第２返信モジュールと、を含む、
    ことを特徴とする共有エンコーダの生成装置。
    
18. 前記プライマリノードから返信されたターゲット共有エンコーダのパラメータ更新ルールを取得するための第３取得モジュールをさらに含み、
    前記第２返信モジュールは、具体的に、以下のように使用され、
    現在、前記更新ルールを満足したことを決定すると、前記ターゲット共有エンコーダの更新パラメータセットを前記プライマリノードに返信する、
    ことを特徴とする請求項１７に記載の装置。
    
19. 前記ターゲット共有エンコーダのタイプに一致するトレーニングサンプルの数を、前記プライマリノードに送信するための送信モジュールをさらに含む、
    ことを特徴とする請求項１７または１８に記載の装置。
    
20. 前記ターゲット共有エンコーダに対応するプライベートエンコーダ及びプライベートデコータを決定するための第２決定モジュールをさらに含む、
    ことを特徴とする請求項１７～１９のいずれかに記載の装置。
    
21. 少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサと通信可能に接続されたメモリと、を備え、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行されると、前記少なくとも一つのプロセッサが、請求項１～６または７～１０のいずれかに記載の方法を実行する、
    ことを特徴とする電子機器。
    
22. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が実行される場合、請求項１～６または７～１０のいずれかに記載の共有エンコーダ生成方法が実行される、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。

Images