JP2023157843A - コンピュータ実装方法、コンピュータプログラムおよびコンピュータシステム（動的なマスキングを用いたリソース制限のある連合学習） - Google Patents

Abstract

【課題】集中型のプルーニングプロセスは訓練データから独立しているので、モデル精度が低下する。【解決手段】動的なマスキングを用いたリソース制限のある連合学習のための、コンピュータ実装方法、コンピュータプログラム製品、およびコンピュータシステム。連合機械学習におけるサーバが、連合機械学習におけるそれぞれのエージェントのリソースを評価して、それぞれのエージェントによるモデル訓練の能力を判定する。サーバは上記能力に基づき、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築する。サーバは、マスクされた機械学習モデルを訓練するそれぞれのエージェントに、マスクされた機械学習モデルを配布する。サーバはそれぞれのエージェントから、マスクされた機械学習モデルの訓練によって取得された更新後の重みを受け取る。サーバは、更新後の重みに基づいて完全版機械学習モデルを更新する。【選択図】図１

Description

本発明は、米国陸軍研究所から授与されたＮ９１１ＮＦ－１６－３－０００１の下で政府の支援を受けて行われたものである。本発明に対して、政府は一定の権利を有する。

本発明は概して連合学習に関し、より詳細には、動的なマスキングを用いたリソース制限のある連合学習に関する。

連合学習は、特に、通信リソースの制限およびデータプライバシーの問題に関する懸念から、エージェントがそのローカルデータを融合サーバと共有しにくい場合に、複雑な学習プロセスを複数のエージェントに割り当てることを目的としている。しかしながら、ディープニューラルネットワーク（ＤＮＮ）などの機械学習モデルには何億ものパラメータが含まれることがあり、リソース制約のあるエッジサーバでの訓練および推論をひどく困難にしている。

連合学習のモデルサイズを低減するのに、モデルプルーニング技法が活用されており、これによって、全てのエージェントが訓練プロセスに寄与できるようになる。しかしながら、連合学習における前述のモデルプルーニング作業は、通常の連合学習プロセスの前に、集中方式で融合サーバにより行われるものであり、一般に２つのカテゴリに分類できる。（１）サーバは、エージェントのいかなるローカルデータも用いずに、初期モデルを直接プルーニングする。（２）サーバは、エージェントのローカルデータの蓄積に基づいてモデルを訓練し、次いでこの予め訓練されたモデルをプルーニングする。そのような集中型のプルーニングプロセスは訓練データから独立しているので、モデル精度が低下する。あるいは、そのような集中型のプルーニングプロセスはエージェントのローカルデータを収集する必要があるので、エージェントのローカルデータのプライバシーにとって危険であり、連合学習の性質と矛盾する。

Ji et. al. Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning, IEEE Intelligent Systems, 2021

米国特許出願公開第２０２２／００３６１９４号明細書

Ｊｉら（Ｄｙｎａｍｉｃ Ｓａｍｐｌｉｎｇ ａｎｄ Ｓｅｌｅｃｔｉｖｅ Ｍａｓｋｉｎｇ ｆｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ－Ｅｆｆｉｃｉｅｎｔ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ， ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０２１）は、それぞれのローカルの訓練におけるモデルパラメータの重要性を考慮して、上位ｋ個の選択的マスキングを提案している。モデルパラメータの割合に静的なマスキングレートが選択基準として与えられると、最大絶対差を持つモデルパラメータのみが、比例して連合集約およびモデル更新に選択される。Ｊｉの開示では、選択的マスキング方法は静的なものであり、全てのエージェントにわたって同じである。Ｓｕｎｄａｒｅｓａｎら（米国特許公開第２０２２００３６１９４ Ａ１号）は、パラメータのクラスを作成して、リソース制約のあるアプリケーションに適した効率的な人工知能または機械学習モデルを計算するための、スパース性抽出型フレームワークを開示している。スパース性抽出型フレームワークは同時に、計算重視の教師モデルから知識を抽出すると共に、単一パスの訓練において生徒モデルのプルーニングも行うことにより、訓練回数および調整回数を大幅に低減する。Ｓｕｎｄａｒｅｓａｎの開示では、連合学習設定におけるリソース制約が考慮されず、さらに、小規模のマスクされたモデルが異なるエージェントによって毎回更新されず、更新された小規模のマスクされたモデルをサーバでの大規模モデルの訓練に結びつけていない。

１つの態様では、動的なマスキングを用いたリソース制限のある連合学習のためのコンピュータ実装方法が提供される。本コンピュータ実装方法は、連合機械学習におけるサーバが、連合機械学習におけるそれぞれのエージェントのリソースを評価して、それぞれのエージェントによるモデル訓練の能力を判定する段階を含む。本コンピュータ実装方法はさらに、サーバが上記能力に基づき、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築する段階を含む。本コンピュータ実装方法はさらに、サーバが、マスクされた機械学習モデルを訓練するそれぞれのエージェントに、マスクされた機械学習モデルを配布する段階を含む。本コンピュータ実装方法はさらに、サーバがそれぞれのエージェントから、マスクされた機械学習モデルの訓練によって取得された更新後の重みを受け取る段階を含む。本コンピュータ実装方法はさらに、サーバが更新後の重みに基づいて完全版機械学習モデルを更新する段階を含む。

本コンピュータ実装方法はさらに、更新された完全版機械学習モデルが収束しているかどうかをサーバが判定する段階を含む。本コンピュータ実装方法はさらに、更新された完全版機械学習モデルが収束しているとの判定に応答して、リソースが変化しているかどうかをサーバが判定する段階を含む。

リソースが変化しているとの判定に応答して、本コンピュータ実装方法はさらに、サーバがリソースを再評価して、それぞれのエージェントによるモデル訓練の新たな能力を判定する段階を含む。本コンピュータ実装方法はさらに、サーバが現在の反復において新たな能力に基づき、更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する段階を含む。本コンピュータ実装方法はさらに、新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、サーバが新たなマスクされた機械学習モデルをそれぞれのエージェントに配布する段階を含む。本コンピュータ実装方法はさらに、サーバが新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する段階を含む。

リソースが変化していないとの判定に応答して、本コンピュータ実装方法はさらに、サーバが現在の反復において能力に基づき、更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する段階を含む。本コンピュータ実装方法はさらに、新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、サーバが新たなマスクされた機械学習モデルをそれぞれのエージェントに配布する段階を含む。本コンピュータ実装方法はさらに、サーバが新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する段階を含む。

別の態様では、動的なマスキングを用いたリソース制限のある連合学習のためのコンピュータプログラム製品が提供される。本コンピュータプログラム製品は、プログラム命令を具現化したコンピュータ可読記憶媒体を備え、プログラム命令は１つまたは複数のプロセッサにより実行可能である。プログラム命令は、連合機械学習におけるサーバが、連合機械学習におけるそれぞれのエージェントのリソースを評価して、それぞれのエージェントによるモデル訓練の能力を判定するように実行可能である。プログラム命令はさらに、サーバが上記能力に基づき、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築するように実行可能である。プログラム命令はさらに、サーバが、マスクされた機械学習モデルを訓練するそれぞれのエージェントに、マスクされた機械学習モデルを配布するように実行可能である。プログラム命令はさらに、サーバがそれぞれのエージェントから、マスクされた機械学習モデルの訓練によって取得された更新後の重みを受け取るように実行可能である。プログラム命令はさらに、サーバが新たな更新後の重みに基づいて、完全版機械学習モデルを更新するように実行可能である。

さらに別の態様では、動的なマスキングを用いたリソース制限のある連合学習のためのコンピュータシステムが提供される。本コンピュータシステムは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読有形ストレージデバイスと、１つまたは複数のプロセッサのうちの少なくとも１つによって実行するために１つまたは複数のコンピュータ可読有形ストレージデバイスのうちの少なくとも１つに格納されたプログラム命令とを備える。プログラム命令は、連合機械学習におけるサーバが、連合機械学習におけるそれぞれのエージェントのリソースを評価して、それぞれのエージェントによるモデル訓練の能力を判定する；サーバが上記能力に基づき、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築する；サーバが、マスクされた機械学習モデルを訓練するそれぞれのエージェントに、マスクされた機械学習モデルを配布する；サーバがそれぞれのエージェントから、マスクされた機械学習モデルの訓練によって取得された更新後の重みを受け取る；およびサーバが更新後の重みに基づいて完全版機械学習モデルを更新するように実行可能である。

コンピュータプログラム製品およびコンピュータシステムのために、プログラム命令はさらに、更新された完全版機械学習モデルが収束しているかどうかをサーバが判定する；および更新された完全版機械学習モデルが収束しているとの判定に応答して、リソースが変化しているかどうかをサーバが判定するように実行可能である。

コンピュータプログラム製品およびコンピュータシステムのために、プログラム命令はさらに、リソースが変化しているとの判定に応答して、サーバがリソースを再評価して、それぞれのエージェントによるモデル訓練の新たな能力を判定する；サーバが現在の反復において新たな能力に基づき、更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する；新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、サーバが新たなマスクされた機械学習モデルをそれぞれのエージェントに配布する；およびサーバが新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新するように実行可能である。

コンピュータプログラム製品およびコンピュータシステムのために、プログラム命令はさらに、リソースが変化していないとの判定に応答して、サーバが現在の反復において上記能力に基づき、更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する；新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、サーバが新たなマスクされた機械学習モデルをそれぞれのエージェントに配布する；およびサーバが新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新するように実行可能である。

これまでの開示に対する本コンピュータ実装方法、本コンピュータプログラム製品、および本コンピュータシステムの利点は以下のとおりである。連合機械学習におけるリソース制約がサーバによって考慮されており、完全版機械学習モデルの重みをマスクすることが、そのようなリソース制約に基づいており、マスクされた機械学習モデルがローカルの訓練データを用いてそれぞれのエージェントにより訓練され、更新後の重みがそれぞれのエージェントにより取得され、更新後の重みに基づいて完全版機械学習モデルが更新される。本コンピュータ実装方法、本コンピュータプログラム製品、および本コンピュータシステムを使用すると、マスクされた機械学習モデルを用いることにより、それぞれのエージェントの計算コストおよび通信コストが低減され、連合機械学習の全体的な効率および精度が維持される。

これまでの開示に対する本コンピュータ実装方法、本コンピュータプログラム製品、および本コンピュータシステムのさらなる利点は以下のとおりである。完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを生成することが動的である。それぞれのエージェントによるモデル訓練の能力は、動的にモニタリングされて解析される。それぞれの反復では、新たなマスクされた機械学習モデルが、それぞれのエージェントによるモデル訓練の能力に基づいて作成される；新たなマスクされた機械学習モデルはサーバにより配布され、それぞれのエージェントにより訓練される；完全版機械学習モデルは更新後の重みに基づいて更新される。更新された完全版機械学習モデルが収束するまで、反復が継続される。

本発明の１つの実施形態による、動的なマスキングを用いたリソース制限のある連合学習のシステムを例示した系統図である。

本発明の１つの実施形態による、動的なマスキングを用いたリソース制限のある連合学習の動作段階を示すフローチャートである。

本発明の１つの実施形態による、コンピューティングデバイスまたはサーバの各コンポーネントを例示した図である。

本発明の１つの実施形態による、クラウドコンピューティング環境を描いた図である。

本発明の１つの実施形態による、クラウド環境の各抽象化モデル層を描いた図である。

本発明の実施形態が、動的なマスキングを用いたリソース制約のあるエージェントのための、安全なモデルプルーニングおよび連合学習のシステムおよび方法を開示する。それぞれの反復では、完全版モデルの同じサイズおよび形状のバイナリマスクが生成され、開示されるシステムおよび方法では、どの重みをエージェントに送るべきかを判定する。それぞれの反復では、連合学習を通じて全てのエージェントが協力して、マスクされたモデルが更新される。

開示されるシステムおよび方法の基本的な考え方は、連合学習のプルーニングおよび訓練を自動的且つ動的な方式で協力して行うことであり、これにより、リソース制約のあるエージェントのデータを、融合サーバと共有することなく十分に利用できるようになる。

開示されるシステムおよび方法は、優れたモデル精度およびプライバシーの両方を達成できる。優れたモデル精度は、エージェントのローカルデータを十分に組み込むことで達成される。エージェントのローカルデータを共有する必要がないため、連合機械学習のプライバシーが達成される。本発明の実施形態では、マスクされたモデルを連合学習のそれぞれの反復で更新することにより、優れたモデル精度およびプライバシーの両方が、リソース制約のあるエージェントのために達成される。

図１は、本発明の１つの実施形態による、動的なマスキングを用いたリソース制限のある連合学習のシステム１００を例示した系統図である。システム１００は、連合学習設定にサーバ１１０を含む。システム１００はさらに、連合学習設定にＮ個のエージェントを含み、図１に示すように、Ｎ個のエージェントには、エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０が含まれる。システム１００では、エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０がリソース制約のあるエージェントである。エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれは、ローカルの訓練データを持っている。サーバ１１０は、各エージェントにあるローカルの訓練データにアクセスすることなく、正確なプルーニングされたモデルを学習することを目的としている。

サーバ１１０は、あるコンピューティングデバイスに存在してよい。Ｎ個のエージェント（エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０）はコンピューティングデバイスのそれぞれに存在してよく、例えば、エージェントはエッジデバイスおよびモバイルデバイスであってよい。コンピューティングデバイスとは、ユーザからの入力を受け取り、コンピュータプログラム命令を実行し、ネットワークを介して別のコンピューティングシステムと通信できる任意の電子デバイスでも、コンピューティングシステムでもよい。以後の段落では図３を参照して、コンピューティングデバイスホスティングサーバ１１０、またはエージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれについて、より詳細に説明する。

システム１００は、サーバ１１０とＮ個のエージェント（エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０）との間の通信をサポートする接続とプロトコルとの任意の組み合わせとすることができるネットワークで実現されてよい。例えば、ネットワークは、インターネットに接続されたデバイス間の通信をサポートするためのネットワークおよびゲートウェイの世界的規模の集合体を表すインターネットであってよく、ネットワークは、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、および無線ネットワークとして実現されてよい。システム１００は、クラウド環境で実現されてよい。クラウド環境については、以後の段落で図４および図５を参照しながら説明する。

サーバ１１０は最初に、完全版機械学習モデル（例えば、ディープニューラルネットワーク）を構築し、完全版機械学習モデルの重み付けを開始する。重みの初期化は、例えば、ランダム初期化、分散スケーリング初期化などの様々な形式であってよい。

サーバ１１０は、エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれのリソース（例えば、コンピューティング能力もしくは接続性またはその両方）を評価し、こうしてサーバ１００は、エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれによる連合機械学習におけるモデル訓練の能力を判定する。上記能力に基づいて、サーバ１００は、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデル（またはスパース機械学習モデル）を構築する。サーバ１００は、完全版機械学習モデルの予め決められた数の最小重みをマスクする。マスクされた機械学習モデルは、リソース制約のあるエージェントであるエージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のために生成される。連合機械学習におけるリソース制約がサーバ１００により考慮され、完全版機械学習モデルの重みをマスクすることは、そのようなリソース制約に基づいている。完全版機械学習モデルをマスクして、マスクされた機械学習モデルを生成することにより、サーバ１１０は、エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれの計算コストおよび通信コストを低減し、同時に、連合機械学習の全体的な効率および精度が保証される。

サーバ１１０は、エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれに、マスクされた機械学習モデルを配布する。エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれは、通常の連合機械学習プロセスを開始する。エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれは、そのローカルの訓練データまたはそのローカルの訓練データのサブセットを用いて、マスクされた機械学習モデル（またはスパース機械学習モデル）を訓練し、マスクされた機械学習モデルの更新後の重みを取得する。エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれは、更新後の重みをサーバ１１０にアップロードする。

サーバ１１０は、更新後の重みを受け取ると、更新後の重みに基づいて完全版機械学習モデルを更新する。サーバ１１０は、完全版機械学習モデルを更新すると、更新された完全版機械学習モデルが収束しているかどうかを判定する。更新された完全版機械学習モデルが収束している場合、サーバ１１０は連合機械学習を完了する。更新された完全版機械学習モデルが収束していない場合、サーバ１００は、動的なマスキングを用いて連合学習を反復することになる。エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれのリソースが変化している条件下では、サーバ１１０が、連合機械学習におけるモデル訓練の能力を再評価し、更新された完全版機械学習モデルをマスクし、新たなマスクされた機械学習モデルを生成し、この新たなマスクされた機械学習モデルを別のサイクルのモデル訓練のためにエージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０に配布する。エージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０のそれぞれのリソースが変化していない条件下では、サーバ１１０が、更新された完全版機械学習モデルをマスクし、新たなマスクされた機械学習モデルを生成して、この新たなマスクされた機械学習モデルを別のサイクルのモデル訓練のためにエージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０に配布する。完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを生成することは動的なものであり、言い換えれば、リソース制限のある連合学習は、完全版機械学習モデルまたは更新された完全版機械学習の重みを動的にマスクすることにより反復して行われる。

図２は、本発明の１つの実施形態による、動的なマスキングを用いたリソース制限のある連合学習の動作段階を示すフローチャートである。段階２０１では、連合機械学習におけるサーバ（例えば、図１に示すサーバ１１０）が、完全版機械学習モデルを構築して、完全版機械学習モデルの重み付けを開始する。

段階２０２では、サーバが連合機械学習におけるそれぞれのエージェントのリソースを評価して、それぞれのエージェント（図１に示すエージェント１ １２０、エージェント２ １３０、エージェント３ １４０、…、およびエージェントＮ １５０など）によるモデル訓練の能力を判定する。それぞれのエージェントは、連合機械学習におけるリソース制約のあるエージェントである。モデル訓練の能力が、リソース制限のある連合機械学習の要素を制御している。

段階２０３では、それぞれのエージェントによるモデル訓練の能力に基づいて、サーバが完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築する。サーバは、段階２０１で構築された完全版機械学習モデルの予め決められた数の最小重みをマスクする。段階２０３では、サーバが、リソース制約のあるエージェントのために、マスクされた機械学習モデルを生成する。それぞれのエージェントの計算コストおよび通信コストは、マスクされた機械学習モデルを連合機械学習に用いることで低減し、連合機械学習の全体的な効率および精度が維持される。

段階２０４では、サーバが、マスクされた機械学習モデルをそれぞれのエージェントに配布する。マスクされた機械学習モデルは、それぞれのエージェントでローカルの訓練データを用いて訓練するために、それぞれのエージェントに送られる。マスクされた機械学習モデルは、サーバとそれぞれのエージェントとの間の通信をサポートする接続とプロトコルとの任意の組み合わせとすることができるネットワークを通じて、それぞれのエージェントに配布される。

段階２０５では、それぞれのエージェントがローカルの訓練データを用いて、マスクされた機械学習モデルを訓練する。それぞれのエージェントは、マスクされた機械学習モデルをサーバから受け取ると、通常の連合機械学習プロセスを開始する。各エージェントは、そのローカルの訓練データまたはそのローカルの訓練データのサブセットを用いて、マスクされた機械学習モデル（またはスパース機械学習モデル）を訓練する。しかしながら、各エージェントは、そのローカルデータをサーバと共有しない。したがって、マスクされた機械学習モデルの訓練の高い精度が維持され、同時に、各エージェントのローカルデータのプライバシーが保護され得る。

段階２０６では、それぞれのエージェントが、マスクされた機械学習モデルの訓練によって、更新後の重みを取得する。段階２０７では、それぞれのエージェントが更新後の重みをサーバにアップロードする。それぞれのエージェントはアップグレードされた重みをサーバにアップロードするが、それぞれのエージェントはローカルデータをサーバと共有しないので、それぞれのエージェントのローカルデータのプライバシーが保護される。更新後の重みは、サーバとそれぞれのエージェントとの間の通信をサポートする接続とプロトコルとの任意の組み合わせとすることができるネットワークを通じて、サーバにアップロードされる。

段階２０８では、サーバが、それぞれのエージェントによりアップロードされた更新後の重みに基づいて完全版機械学習モデルを更新する。サーバは、マスクされた機械学習モデルの更新後の重みを受け取ると、完全版機械学習モデルを更新して、更新された完全版機械学習モデルを生成する。

段階２０９では、更新された完全版機械学習モデルが収束しているかどうかをサーバが判定する。更新された完全版機械学習モデルが収束しているとの判定に応答して（判断ブロック２０９のＹＥＳ分岐）、サーバは、動的なマスキングを用いたリソース制限のある連合学習を完了する。更新された完全版機械学習モデルが収束していないとの判定に応答して（判断ブロック２０９のＮＯ分岐）、サーバは段階２１０で、それぞれのエージェントのリソースが変化しているかどうかを判定する。

それぞれのエージェントのリソースが変化しているとの判定に応答して（判断ブロック２１０のＹＥＳ分岐）、サーバは段階２０２を反復して、それぞれのエージェントのリソースを再評価し、それぞれのエージェントによるモデル訓練の新たな能力を判定する。次いで、現在の反復において、サーバは段階２０３～２０９を反復し、サーバは更新された完全版機械学習モデルの更新後の重みをマスクして、新たなマスクされた機械学習モデルを構築し、サーバは新たなマスクされた機械学習モデルをそれぞれのエージェントに配布し、それぞれのエージェントは新たなマスクされた機械学習モデルを訓練し、それぞれのエージェントは新たな更新後の重みを取得して、これをサーバにアップロードし、サーバは前の反復で更新された完全版機械学習モデルを更新し、サーバは現在の反復で更新された完全版機械学習モデルが収束しているかどうかを判定する。現在の反復で更新された完全版機械学習モデルが収束している場合、サーバは反復を完了する。それぞれのエージェントのリソースが変化していないとの判定に応答して（判断ブロック２１０のＮＯ分岐）、サーバはリソースを再評価することなく段階２０３～２０９を反復する。

図３は、本発明の１つの実施形態による、コンピューティングデバイスまたはサーバ３００の各コンポーネントを例示した図である。図３は、１つの実装例の例示を提供しているだけであり、いかなる限定も示唆するものではなく、異なる実施形態が実装されてもよいことを理解されたい。

図３を参照すると、コンピューティングデバイスまたはサーバ３００は、プロセッサ３２０、メモリ３１０、および有形のストレージデバイス３３０を含む。図３では、コンピューティングデバイスまたはサーバ３００の上述したコンポーネント間の通信が、数字３９０で示されている。メモリ３１０は、ＲＯＭ（読み出し専用メモリ）３１１、ＲＡＭ（ランダムアクセスメモリ）３１３、およびキャッシュ３１５を含む。１つまたは複数のオペレーティングシステム３３１および１つまたは複数のコンピュータプログラム３３３が、１つまたは複数のコンピュータ可読有形ストレージデバイス３３０に存在する。

コンピューティングデバイスまたはサーバ３００はさらに、Ｉ／Ｏインタフェース３５０を含む。Ｉ／Ｏインタフェース３５０によって、コンピューティングデバイスまたはサーバ３００に接続され得る外部デバイス３６０とのデータの入力および出力が可能になる。コンピューティングデバイスまたはサーバ３００はさらに、コンピューティングデバイスまたはサーバ３００とコンピュータネットワークとの間で通信するためのネットワークインタフェース３４０を含む。

本発明は、任意の可能性のある技術詳細レベルで統合化されたシステム、方法、もしくはコンピュータプログラム製品、またはその組み合わせであり得る。コンピュータプログラム製品は、プロセッサに本発明の各態様を実行させるためのコンピュータ可読プログラム命令を有する１つ（または複数）のコンピュータ可読記憶媒体を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスが用いるための命令を保持し格納できる有形のデバイスであってよい。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述したデバイスの任意の好適な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、次のもの、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能型読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、機械的に符号化されたデバイス（例えば、パンチカード、または命令を記録した溝内の隆起構造）、および前述した媒体の任意の好適な組み合わせが含まれる。コンピュータ可読記憶媒体は、本明細書では、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号などの一時的な信号それ自体であると解釈されるべきではない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてもよく、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはその組み合わせ）を介して、外部コンピュータまたは外部ストレージデバイスにダウンロードされてもよい。ネットワークには、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはその組み合わせが含まれてよい。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、このコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、または１つもしくは複数のプログラミング言語（Ｓｍａｌｌｔａｌｋ（登録商標）またはＣ＋＋などといったオブジェクト指向プログラミング言語、およびＣプログラミング言語または同様のプログラミング言語といった手続き型プログラミング言語を含む）の任意の組み合わせで記述されたソースコードもしくはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータで完全に実行してもよく、ユーザのコンピュータで部分的に実行してもよく、スタンドアロン型ソフトウェアパッケージとして、ユーザのコンピュータで部分的に且つリモートコンピュータで部分的に実行してもよく、リモートコンピュータまたはサーバで完全に実行してもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続されてもよく、この接続は（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータに行われてもよい。いくつかの実施形態では、例えば、プログラム可能型論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路が、本発明の各態様を行うために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、この電子回路を個別化してよい。

本発明の各態様は、本明細書において、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して説明されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令により実現され得ることが理解されるであろう。

これらのコンピュータ可読プログラム命令をコンピュータまたは他のプログラム可能型データ処理装置のプロセッサに提供して機械をもたらしてよく、これにより、コンピュータまたは他のプログラム可能型データ処理装置のプロセッサを介して実行される命令が、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックに指定された機能／動作を実現するための手段をもたらすようになる。コンピュータ、プログラム可能型データ処理装置、もしくは他のデバイス、またはその組み合わせに特定の方式で機能するよう指示できるこれらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に格納されてもよく、これにより、命令を格納したコンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックに指定された機能／動作の態様を実現する命令を含む製造品を含むようになる。

コンピュータ可読プログラム命令をコンピュータ、他のプログラム可能型データ処理装置、または他のデバイスに読み込んで、一連の動作段階がコンピュータ、他のプログラム可能型装置、または他のデバイスで行われるようにして、コンピュータ実装プロセスをもたらしてもよく、これにより、コンピュータ、他のプログラム可能型装置、または他のデバイス上で実行される命令が、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／動作を実現するようになる。

各図のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の、可能性のある実装例のアーキテクチャ、機能性、および動作を例示している。これに関して、フローチャートまたはブロック図の各ブロックは命令のモジュール、セグメント、または一部を表してよく、ここには指定された論理機能を実現する１つまたは複数の実行可能命令が含まれる。いくつかの代替的な実装例において、ブロックに記載されている機能は、図に記載されている順序から外れて生じてもよい。例えば、連続して示されている２つのブロックが、実際には、１つの段階として実現されても、同時に、実質的に同時に、部分的にもしくは全体的に時間重複する方式で実行されてもよく、各ブロックは、場合によっては、関係する機能に応じて逆の順序で実行されてもよい。ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方におけるブロックの組み合わせが、指定された機能もしくは動作を行うかまたは専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースのシステムによって実現され得ることにも留意されたい。

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載された教示の実現がクラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在知られている、または今後開発される任意の他の種類のコンピューティング環境と併せて実現される可能性がある。

クラウドコンピューティングは、最小限の管理労力またはサービスの提供者との最小限のやり取りで迅速なプロビジョニングおよびリリースが可能となる構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理能力、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの簡便なオンデマンドネットワークアクセスを可能にするためのサービス提供のモデルである。このクラウドモデルには、少なくとも５つの特徴、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルが含まれ得る。

特徴については以下のとおりである。

オンデマンドセルフサービス：クラウド利用者は、サービスの提供者との人的なやり取りを必要とすることなく必要に応じて自動的に、サーバ時間およびネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングできる。

幅広いネットワークアクセス：各機能がネットワークを介して利用可能であり、異種のシンククライアントプラットフォームまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準的な仕組みを通じてアクセスされる。

リソースプーリング：提供者のコンピューティングリソースは、マルチテナントモデルを用いて複数の利用者にサービスを提供するためにプールされ、異なる物理リソースおよび仮想リソースが要求に従って動的に割り当てられ、また再び割り当てられる。概して利用者は、提供されたリソースの正確な位置を制御することも知ることもできないが、より高い抽象化レベル（例えば、国、州、またはデータセンタ）で位置を指定できる場合があるという点で、位置独立感がある。

スピーディな拡張性：各機能を迅速かつ弾力的に、場合によっては自動的に、プロビジョニングしてすぐにスケールアウトし、且つ迅速にリリースしてすぐにスケールインすることができる。利用者にとっては、プロビジョニングに利用可能な各機能は、無制限のように見えることが多く、量を問わずいつでも購入可能である。

計測可能なサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理能力、帯域幅、および実利用中のユーザアカウント数）に適切な、ある抽象化レベルでの計測機能を活用することによって、リソース利用を自動的に制御し且つ最適化する。リソース使用量をモニタリングし、制御し、報告できるので、利用されるサービスの提供者および利用者の両方に透明性を提供できる。

サービスモデルについては以下のとおりである。

サービスとしてのソフトウェア（ＳａａＳ）：利用者に提供される機能は、クラウドインフラストラクチャ上で動作する提供者のアプリケーションを用いることである。このアプリケーションには、ウェブブラウザ（例えば、ウェブベースの電子メール）などのシンクライアントインタフェースを通じて、様々なクライアントデバイスからアクセス可能である。利用者は、ネットワーク、サーバ、オペレーティングシステム、ストレージ、または個々のアプリケーション機能さえも含んだ、基礎となるクラウドインフラストラクチャを管理することも、制御することもない。ただし、限定されたユーザ固有のアプリケーション構成設定は例外となる場合がある。

サービスとしてのプラットフォーム（ＰａａＳ）：利用者に提供される機能は、クラウドインフラストラクチャ上に、利用者が作成したまたは取得したアプリケーションを展開することであり、このアプリケーションは提供者がサポートするプログラミング言語およびツールを用いて作成されている。利用者は、ネットワーク、サーバ、オペレーティングシステム、またはストレージを含んだ基礎となるクラウドインフラストラクチャを管理することも、制御することもないが、展開されたアプリケーション、および場合によってはアプリケーションホスティング環境構成を制御する。

サービスとしてのインフラストラクチャ（ＩａａＳ）：利用者に提供される機能は、処理能力、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースをプロビジョニングすることであり、利用者は、オペレーティングシステムおよびアプリケーションを含み得る任意のソフトウェアを展開し且つ動作させることが可能である。利用者は、基礎となるクラウドインフラストラクチャを管理することも、制御することもないが、オペレーティングシステム、ストレージ、展開されたアプリケーションを制御し、場合によっては選択したネットワーキングコンポーネント（例えば、ホストファイアウォール）の限定された制御を行う。

展開モデルについては以下のとおりである。

プライベートクラウド：このクラウドインフラストラクチャは、ある組織のためだけに運用される。これは、その組織または第三者によって管理されてよく、オンプレミスに存在してもオフプレミスに存在してもよい。

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有されており、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス上の考慮事項）を有する特定のコミュニティをサポートする。これは、その組織または第三者により管理されてよく、オンプレミスに存在してもオフプレミスに存在してもよい。

パブリッククラウド：このクラウドインフラストラクチャは、一般大衆または大規模な業界団体に利用可能となっており、クラウドサービスを販売する組織によって所有されている。

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つまたはそれより多くのクラウド（プライベート、コミュニティ、またはパブリック）の複合体であり、各クラウドは独自のエンティティのままであるが、標準化された技術または独自の技術によって共に結合されているため、データおよびアプリケーションの移植性（例えば、クラウド間の負荷分散を図るためのクラウドバースティング）が可能になる。

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性、およびセマンティック相互運用性に重点を置いたサービス指向型である。クラウドコンピューティングの中核には、相互接続されたノードのネットワークを含むインフラストラクチャが存在する。

ここで図４を参照すると、例示的なクラウドコンピューティング環境５０が描かれている。示されているように、クラウドコンピューティング環境５０には、クラウド利用者により用いられるローカルのコンピューティングデバイス（例えば、モバイルデバイス５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは車載コンピュータシステム５４Ｎ、またはその組み合わせ）の通信先となり得る１つまたは複数のクラウドコンピューティングノード１０が含まれる。ノード１０は、互いに通信してよい。これらのノードは、上記で説明したようなプライベートクラウド、コミュニティクラウド、パブリッククラウド、もしくは、ハイブリッドクラウド、または、その組み合わせといった１つまたは複数のネットワーク内で物理的にまたは仮想的にグループ化されてよい（不図示）。これにより、クラウドコンピューティング環境５０は、サービスとしてインフラストラクチャ、プラットフォーム、もしくはソフトウェア、またはその組み合わせを提供することが可能になり、こうしたサービスのためにクラウド利用者がリソースをローカルのコンピューティングデバイス上に維持する必要はない。コンピューティングデバイス５４Ａ～５４Ｎの種類は、例示のみを意図したものであり、コンピューティングノード１０およびクラウドコンピューティング環境５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能な接続またはその両方を利用して（例えば、ウェブブラウザを用いて）、任意の種類のコンピュータ化されたデバイスと通信可能であることが理解される。

ここで図５を参照すると、クラウドコンピューティング環境５０（図４）により提供される機能抽象化層一式が示されている。図５に示すコンポーネント、層、および機能は例示のみを意図したものであり、本発明の実施形態はそれらに限定されないことを予め理解されたい。描かれているように、以下の層および対応する機能が提供されている。

ハードウェアおよびソフトウェア層６０には、ハードウェアコンポーネントおよびソフトウェアコンポーネントが含まれる。ハードウェアコンポーネントの例としては、メインフレーム６１、ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、ストレージデバイス６５、ならびにネットワークおよびネットワーキングコンポーネント６６が挙げられる。いくつかの実施形態において、ソフトウェアコンポーネントには、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８が含まれる。

仮想化層７０は抽象化層を提供し、そこから、仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５といった仮想エンティティの例が提供され得る。

１つの例では、管理層８０が、後述される機能を提供し得る。リソースプロビジョニング８１では、クラウドコンピューティング環境内でタスクを行うのに利用されるコンピューティングリソースおよび他のリソースの動的な調達を行う。計測および価格設定８２では、クラウドコンピューティング環境内でリソースが利用されると、コストの追跡を行い、これらのリソースの消費に対して請求書作成またはインボイス作成を行う。一例において、これらのリソースには、アプリケーションソフトウェアライセンスが含まれることがある。セキュリティでは、クラウド利用者およびタスクの資格情報確認、ならびにデータおよび他のリソースの保護を行う。ユーザポータル８３では、利用者およびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４では、必要なサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を行う。サービスレベルアグリーメント（ＳＬＡ）の計画および履行８５では、将来的な必要性が予想されるクラウドコンピューティングリソースの事前調整およびその調達をＳＬＡに従って行う。

ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得るワークロードおよび機能の例としては、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想クラスルーム教育の提供９３、データ分析処理９４、トランザクション処理９５、および機能９６が挙げられる。本発明における機能９６とは、動的なマスキングを用いたリソース制限のある連合学習の機能性である。

Claims (18)

1. 動的なマスキングを用いたリソース制限のある連合学習のためのコンピュータ実装方法であって、前記コンピュータ実装方法が、
   連合機械学習におけるサーバが、前記連合機械学習におけるそれぞれのエージェントのリソースを評価して、前記それぞれのエージェントによるモデル訓練の能力を判定する段階；
   前記サーバが前記能力に基づき、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築する段階；
   前記サーバが、前記マスクされた機械学習モデルを訓練する前記それぞれのエージェントに前記マスクされた機械学習モデルを配布する段階；
   前記サーバが前記それぞれのエージェントから、前記マスクされた機械学習モデルの訓練によって取得された更新後の重みを受け取る段階；および
   前記サーバが前記更新後の重みに基づいて前記完全版機械学習モデルを更新する段階
   を備える、コンピュータ実装方法。
2. 更新された完全版機械学習モデルが収束しているかどうかを前記サーバが判定する段階；および
   前記更新された完全版機械学習モデルが収束しているとの判定に応答して、前記リソースが変化しているかどうかを前記サーバが判定する段階
   をさらに備える請求項１に記載のコンピュータ実装方法。
3. 前記リソースが変化しているとの判定に応答して、前記サーバが前記リソースを再評価して、前記それぞれのエージェントによる前記モデル訓練の新たな能力を判定する段階；
   前記サーバが現在の反復において前記新たな能力に基づき、前記更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する段階；
   前記新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、前記サーバが前記新たなマスクされた機械学習モデルを前記それぞれのエージェントに配布する段階；および
   前記サーバが前記新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する段階
   をさらに備える、請求項２に記載のコンピュータ実装方法。
4. 前記リソースが変化していないとの判定に応答して、前記サーバが現在の反復において前記能力に基づき、前記更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する段階；
   前記新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、前記サーバが前記新たなマスクされた機械学習モデルを前記それぞれのエージェントに配布する段階；および
   前記サーバが前記新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する段階
   をさらに備える、請求項２に記載のコンピュータ実装方法。
5. 前記サーバが前記完全版機械学習モデルを構築する段階；および
   前記サーバが前記完全版機械学習モデルの前記重み付けを開始する段階
   をさらに備える、請求項１から４のいずれか一項に記載のコンピュータ実装方法。
6. 前記それぞれのエージェントがローカルの訓練データを用いて、前記マスクされた機械学習モデルを訓練する段階；
   前記それぞれのエージェントが前記更新後の重みを取得する段階；および
   前記それぞれのエージェントが前記更新後の重みを前記サーバにアップロードする段階
   をさらに備える、請求項１から４のいずれか一項に記載のコンピュータ実装方法。
7. 動的なマスキングを用いたリソース制限のある連合学習のためのコンピュータプログラムであって、プロセッサに、
   連合機械学習におけるサーバが、前記連合機械学習におけるそれぞれのエージェントのリソースを評価して、前記それぞれのエージェントによるモデル訓練の能力を判定する手順；
   前記サーバが前記能力に基づき、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築する手順；
   前記サーバが、前記マスクされた機械学習モデルを訓練する前記それぞれのエージェントに前記マスクされた機械学習モデルを配布する手順；
   前記サーバが前記それぞれのエージェントから、前記マスクされた機械学習モデルの訓練によって取得された更新後の重みを受け取る手順；および
   前記サーバが前記更新後の重みに基づいて前記完全版機械学習モデルを更新する手順
   を実行させるためのコンピュータプログラム。
8. 前記プロセッサに、
   更新された完全版機械学習モデルが収束しているかどうかを前記サーバが判定する手順；および
   前記更新された完全版機械学習モデルが収束しているとの判定に応答して、前記リソースが変化しているかどうかを前記サーバが判定する手順
   をさらに実行させる、請求項７に記載のコンピュータプログラム。
9. 前記プロセッサに、
   前記リソースが変化しているとの判定に応答して、前記サーバが前記リソースを再評価して、前記それぞれのエージェントによる前記モデル訓練の新たな能力を判定する手順；
   前記サーバが現在の反復において前記新たな能力に基づき、前記更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する手順；
   前記新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、前記サーバが前記新たなマスクされた機械学習モデルを前記それぞれのエージェントに配布する手順；および
   前記サーバが前記新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する手順
   をさらに実行させる、請求項８に記載のコンピュータプログラム。
10. 前記プロセッサに、
    前記リソースが変化していないとの判定に応答して、前記サーバが現在の反復において前記能力に基づき、前記更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する手順；
    前記新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、前記サーバが前記新たなマスクされた機械学習モデルを前記それぞれのエージェントに配布する手順；および
    前記サーバが前記新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する手順
    をさらに実行させる、請求項８に記載のコンピュータプログラム。
11. 前記プロセッサに、
    前記サーバが前記完全版機械学習モデルを構築する手順；および
    前記サーバが前記完全版機械学習モデルの前記重み付けを開始する手順
    をさらに実行させる、請求項７から１０のいずれか一項に記載のコンピュータプログラム。
12. 前記プロセッサに、
    前記それぞれのエージェントがローカルの訓練データを用いて、前記マスクされた機械学習モデルを訓練する手順；
    前記それぞれのエージェントが前記更新後の重みを取得する手順；および
    前記それぞれのエージェントが前記更新後の重みを前記サーバにアップロードする手順
    をさらに実行させる、請求項７から１０のいずれか一項に記載のコンピュータプログラム。
13. 動的なマスキングを用いたリソース制限のある連合学習のためのコンピュータシステムであって、前記コンピュータシステムが、１つまたは複数のプロセッサ、１つまたは複数のコンピュータ可読有形ストレージデバイス、および前記１つまたは複数のプロセッサのうちの少なくとも１つによる実行のために前記１つまたは複数のコンピュータ可読有形ストレージデバイスのうちの少なくとも１つに格納されたプログラム命令を備え、前記プログラム命令が、
    連合機械学習におけるサーバが、前記連合機械学習におけるそれぞれのエージェントのリソースを評価して、前記それぞれのエージェントによるモデル訓練の能力を判定する；
    前記サーバが前記能力に基づき、完全版機械学習モデルの重みをマスクして、マスクされた機械学習モデルを構築する；
    前記サーバが、前記マスクされた機械学習モデルを訓練する前記それぞれのエージェントに前記マスクされた機械学習モデルを配布する；
    前記サーバが前記それぞれのエージェントから、前記マスクされた機械学習モデルの訓練によって取得された更新後の重みを受け取る；および
    前記サーバが前記更新後の重みに基づいて前記完全版機械学習モデルを更新する
    ように実行可能である、コンピュータシステム。
14. 更新された完全版機械学習モデルが収束しているかどうかを前記サーバが判定する；および
    前記更新された完全版機械学習モデルが収束しているとの判定に応答して、前記リソースが変化しているかどうかを前記サーバが判定する
    ように実行可能なプログラム命令をさらに備える、請求項１３に記載のコンピュータシステム。
15. 前記リソースが変化しているとの判定に応答して、前記サーバが前記リソースを再評価して、前記それぞれのエージェントによる前記モデル訓練の新たな能力を判定する；
    前記サーバが現在の反復において前記新たな能力に基づき、前記更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する；
    前記新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、前記サーバが前記新たなマスクされた機械学習モデルを前記それぞれのエージェントに配布する；および
    前記サーバが前記新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する
    ように実行可能なプログラム命令をさらに備える、請求項１４に記載のコンピュータシステム。
16. 前記リソースが変化していないとの判定に応答して、前記サーバが現在の反復において前記能力に基づき、前記更新された完全版機械学習モデルの重みをマスクして、新たなマスクされた機械学習モデルを構築する；
    前記新たなマスクされた機械学習モデルを訓練して新たな更新後の重みを取得するために、前記サーバが前記新たなマスクされた機械学習モデルを前記それぞれのエージェントに配布する；および
    前記サーバが前記新たな更新後の重みに基づいて、前の反復で更新された完全版機械学習モデルを更新する
    ように実行可能なプログラム命令をさらに備える、請求項１４に記載のコンピュータシステム。
17. 前記サーバが前記完全版機械学習モデルを構築する；および
    前記サーバが前記完全版機械学習モデルの前記重み付けを開始する
    ように実行可能なプログラム命令をさらに備える、請求項１３から１６のいずれか一項に記載のコンピュータシステム。
18. 前記それぞれのエージェントがローカルの訓練データを用いて、前記マスクされた機械学習モデルを訓練する；
    前記それぞれのエージェントが前記更新後の重みを取得する；および
    前記それぞれのエージェントが前記更新後の重みを前記サーバにアップロードする
    ように実行可能なプログラム命令をさらに備える、請求項１３から１６のいずれか一項に記載のコンピュータシステム。